CN110058570A - 信息处理装置和显示装置的控制方法 - Google Patents

Abstract

一种信息处理装置和显示装置的控制方法。该信息处理装置包括被配置为输出要在显示装置上显示的显示信息的显示控制器，及分析单元。显示装置包括显示基于机器人控制数据的机器人系统的操作的操作显示区域和基于机器人控制数据以时间序列方式显示与机器人系统的操作参数相关的信息的信息显示区域。分析单元被配置为分析操作参数，以指定警告事件。显示控制器彼此相关联地将由分析单元指定的警告事件显示在操作显示区域和信息显示区域中。

Description

信息处理装置和显示装置的控制方法

技术领域

本发明涉及向显示装置输出显示信息的信息处理装置以及显示装置的控制方法。

背景技术

在通过使用机器人进行工作的情况下，一般在机器人周围存在诸如工具、相邻的机器人和墙壁之类的障碍物。因此，机器人可能会造成诸如干扰、碰撞和与这类障碍物接触之类的麻烦。要确认机器人是否可以在实际机器不造成干扰、碰撞和接触之类的麻烦的情况下进行操作并不容易。因此，常常使用使得能够在虚拟空间中验证机器人的操作的模拟器。这种模拟器通过使用与用于实际机器的相同的教学点数据和机器人程序来操作基于虚拟空间内实际机器的结构和尺寸准备的3D模型。于是，例如，有可能通过以3D动画的模式在显示器上显示其状态来验证3D模型的操作，诸如工件的传送和组装。

这种模拟器的使用使得能够确认机器人是否会造成诸如干扰、碰撞和接触之类的麻烦并且在不使用实际机器的情况下校正会造成这种麻烦的机器人的具体操作。通过移动区分虚拟空间内诸如机器人和障碍物之类的3D模型的位置关系的干扰监视任务并且通过判断不应当相互干扰的机器人和障碍物的模型是否占据同一个空间来检测诸如干扰、碰撞和接触之类的麻烦。

如果干扰监视任务检测到诸如干扰、碰撞和接触之类的麻烦，那么在显示3D模型的显示器上显示检测到的干扰的条件，以通知用户该麻烦。通常作为此时的显示方法被实现的是改变虚拟空间内造成诸如干扰、碰撞和接触之类的麻烦的整个3D模型或有关部分的显示颜色，如例如日本专利特许公开No.2013-136123中所公开的。

用户可以通过现有技术配置容易地确认改变与干扰的发生对应的3D模型或相关部分的显示颜色的这种状态，例如如上所述在干扰发生在静止条件下或3D虚拟显示是静止图像的情况下。但是，在通过动画(移动图像)显示3D模型使得3D模型在虚拟显示内连续操作的情况下，有时难以在视觉上辨别干扰并直观地判断干扰是否发生。

此外，即使用户在显示3D模型的动画(移动图像)的同时确认干扰状态并且进行操作以立即停止动画，也存在动画显示停在从有关的定时的显示前进的位置的情况。在这种情况下，如果不进行诸如在过去方向上馈送显示帧之类的操作，就无法显示干扰发生的定时。一般来说，制作这种GUI(图形用户界面)也是麻烦的。在特别地使用动画(移动图像)显示以便显示虚拟环境的情况下，存在这样的情况：在仅一帧中即刻发生干扰的情况下或者在干扰发生在机器人与另一个3D模型重叠的阴影点中的情况下，难以通过显示屏验证条件。虽然可以想到采用一帧接一帧地来回馈送3D模型操作的帧以防止错过确认的方法，但是，如果验证工作需要长生产节拍(takt time)，那么需要大量工时进行确认并且可能效率不高。

发明内容

根据本发明的第一方面，一种信息处理装置包括：显示控制器，被配置为输出要在显示装置上显示的显示信息，该显示装置具有显示基于机器人控制数据在虚拟环境内模拟操作的机器人系统的操作的操作显示区域和基于机器人控制数据以时间序列方式显示与机器人系统的操作参数相关的信息的信息显示区域；以及分析单元，被配置为分析操作参数，以指定警告事件。显示控制器彼此相关联地将由分析单元指定的警告事件显示在操作显示区域和信息显示区域中。

根据本发明的第二方面，一种显示装置的控制方法，该显示装置通过基于机器人控制数据操作模拟机器人系统的模型显示在虚拟环境中操作的机器人系统的模型，该控制方法包括：基于机器人控制数据以时间序列的方式显示与机器人系统的操作参数相关的信息，分析操作参数以指定警告事件，并且在与以时间序列方式显示的机器人系统的操作参数相关的信息的时间轴上的位置处显示指定的警告事件。

参考附图，根据示例性实施例的以下描述，本发明的其它特征将变得清楚。

附图说明

图1图示了本公开的第一实施例的模拟器系统的硬件配置。

图2是图示第一实施例的模拟器系统的控制系统的框图。

图3图示了第一实施例的模拟软件和显示输出的概要。

图4是图示第一实施例的模拟器系统的处理过程的流程图。

图5A是图示指示被指定为干扰(碰撞)的警报事件的事件显示区域的图表。

图5B是示出事件显示区域的图表，该事件显示区域指示被指定为与阈值干扰(碰撞)的警报事件。

图6A图示了由线性滑块显示组成的事件显示区域。

图6B图示了由环形滑块显示组成的事件显示区域。

图6C图示了具有表格格式的显示方式的事件显示区域。

图6D图示了具有程序编辑器的显示方式的事件显示区域。

图7A图示了通过阴影显示方式来突出警告事件的事件显示区域。

图7B图示了通过标记来突出警告事件的事件显示区域。

图7C图示了通过字符的显示方式来突出警告事件的事件显示区域。

图8是图示第四实施例的模拟器系统的控制系统的框图。

图9A是图示分析条件设置区域的图。

图9B图示了奇点显示的示例性配置。

图9C图示了与图9B中所示的奇点显示不同的奇点显示的示例性配置。

图10A是图示分析条件设置区域的图。

图10B图示了尖端加速度显示的示例性配置。

图11是图示第五实施例的搜索控制过程的流程图。

图12是图示第五实施例的动画的回放控制过程的流程图。

图13图示了用于制造由通过本公开的模拟器系统验证的机器人控制数据操作的物品的机器人系统。

具体实施方式

以下将参考附图描述用于执行本公开的实施例。要注意的是，以下配置始终是示例性配置，并且本领域技术人员可以例如在不脱离本公开的主旨的范围内适当地修改详细配置。实施例中采用的数值也是参考数值，并不限制本公开。

第一实施例

以下将参考图1至5描述本公开的第一实施例的模拟器系统及其控制方法。

如图1中所示，本实施例的模拟器系统包括计算机主体A以及分别连接到计算机主体A的显示器B、鼠标C和键盘D。

模拟软件E安装在用作信息处理装置的计算机主体A上，并且在用作显示装置的显示器B上进行屏幕显示。图1图示了与显示器B上的模拟软件E的屏幕显示对应的部分。

图2图示了控制系统的示例性配置，它是本实施例的模拟软件E的执行环境。虽然图2中的配置由上面在硬件方面描述的计算机主体A的控制电路组成，但是图2也图示了功能块的配置。因此，图2中的相应功能块可以被认为或者是硬件配置或者是软件配置。图2中的配置是显示单元102、操作单元103、输入/输出单元104、存储单元105和分析单元106连接到控制器101，其中控制器101用作输出要显示在显示单元102(显示装置)上的显示信息的显示控制器。

显示单元102的显示格式可以是任何格式，只要显示单元102例如与图1中的显示器B对应并且使得能够显示稍后描述的模型显示区域和事件显示区域即可。操作单元103构成用户界面，并且例如与图1中的鼠标C和键盘D对应。操作单元103的硬件可以包括另一个指点设备(诸如跟踪板)。显示单元102还可以通过使用诸如触摸板之类的设备与操作单元103集成。

如图3中所示，显示单元102将屏幕绘制为显示3D模型显示区域107、事件显示区域108和分析条件设置区域109。在本实施例中，3D模型显示区域107由通过基于机器人控制数据模拟虚拟环境中机器人系统的操作来显示机器人系统的操作的操作显示区域构成。事件显示区域108由以时间序列的方式基于机器人控制数据显示与操作参数相关的信息的信息显示区域构成。

3D模型显示区域107、事件显示区域108和分析条件设置区域109的显示被控制，以便通过虚拟环境内机器人系统的3D模型的操作并通过用户的操作链接，其中用户的操作是通过显示单元102和操作单元103进行的。例如，光标或垂直条显示在事件显示区域108上的时间轴上与3D模型显示区域107上显示的绘制帧对应的位置处，以将这两个显示彼此相关联。此外，在3D模型显示区域107上进行动画(移动图像)显示的情况下，事件显示区域108的显示被自动滚动，使得时间轴上与3D模型显示区域107的显示对应的位置容纳在显示区域内。同时，上述光标和垂直条自动移动，使得它们采用时间条上与3D模型显示区域107的显示对应的位置。

还期望进行控制，使得在3D模型显示区域107和事件显示区域108中的任一个的显示区域上显示的信息与通过操作单元进行的操作对应地被更新，其中操作是指明(designate)或选择显示在3D模型显示区域107和事件显示区域108中的另一个上的信息。

优选地，3D模型显示区域107、事件显示区域108和分析条件设置区域109的显示由显示单元102以使得用户能够同时在视觉上识别相关部分的方式显示。例如，在显示单元102由一个显示器B组成的情况下，这些相应的显示区域107至109以一个显示区域内多窗口和选项卡的格式显示。在存在组成显示单元102的多个显示器B的情况下(所谓的多头配置)，可以进行配置，使得相应的显示区域107至109分别显示在多个不同显示器的显示区域上。

例如，假定在显示单元102的一个显示区域内同时显示3D模型显示区域107、事件显示区域108和分析条件设置区域109的情况。在那种情况下关于组成相应显示区域107至109的显示窗口的屏幕的分割(division)模式和重叠模式被配置为使得它们可以根据许多操作系统中GUI(图形用户界面)的操作实践等而改变。此外，在显示器B不仅由一个监视设备而且由多个监视设备组成的情况下，系统可以被配置为使得3D模型显示区域107、事件显示区域108和分析条件设置区域109的任意部分分别显示在不同监视设备的显示区域上。

3D模型显示区域107显示再现系统的3D模型，并且使得能够改变3D模型的视点或部署。

事件显示区域108包括执行分析按钮111和图形显示区域112。

事件显示区域108的图形显示区域112沿着时间轴显示，并以图形的格式显示操作时间与机器人系统的每个轴的命令值之间的关系，如图3中所示。根据本实施例，图形显示区域112的时间轴被示出，同时主要沿着屏幕显示中的图形中的水平方向部署。图3中的图形显示区域112处于以图形方式显示沿着机器人系统的(3D模型：机器人1的)两个关节轴(关节1和2)的关节位置(关节角度)的时间轴的变化的条件下。

自机器人控制数据(诸如OS的时间起点(epoch)、机器人程序和教学点数据)中描述的参考时间(诸如操作开始时间)起的经过时间(秒、毫秒等)可以用作图形显示区域112的时间轴的单位。本领域技术人员可以任意采用图形显示区域112的时间轴的单位，诸如GMT(格林威治标准时间)、JST(日本标准时间)等的参考时间。要注意的是，优选地在图形显示区域112的屏幕上配置这种时间轴可以通过适当的用户界面放大或缩小，该用户界面使得能够选择例如与图形显示区域112的一个屏幕对应的时间宽度。

该系统还被配置为使得图形显示区域112的显示可以沿着时间轴滚动(例如，在水平方向上)，或者在有大量显示项目的情况下在显示项目的方向上滚动(例如，在垂直方向上)。所谓的滚动条在图3中的图形显示区域112的下边缘部分和右边缘部分处提供，使得可以通过使用图1中的鼠标C如上所述进行滚动操作。如上所述的滚动操作也可以通过未示出并在鼠标C中提供的轮子来进行。

分析条件设置区域109使用户能够选择稍后描述的分析单元106的分析条件。输入/输出单元104使用户能够输入/输出模拟所需的数据。存储单元105存储通过输入/输出单元104输入的数据和稍后描述的分析单元106的结果。存储单元105可以由ROM、RAM以及诸如HDD(硬盘驱动器)和SSD(固态驱动器)之类的外部存储单元配置。在这种情况下，描述由稍后描述的流程图所示的控制过程的控制程序存储在存储单元105的ROM区域中以及诸如HDD和SSD之类的外部存储单元中。描述本公开的控制过程的控制程序的存储单元构成本公开的计算机可读存储介质。本公开的控制程序的存储单元不仅可以是诸如ROM区域之类的固定存储硬件以及诸如HDD和SSD之类的外部存储单元，而且还可以是诸如磁盘、光盘和半导体存储器件之类的可移动存储介质。本公开的控制程序可以通过这些存储介质传送，可以从存储介质安装到模拟器系统。安装的控制程序可以被更新。此外，除了计算机可读存储介质之外，还可以通过网络进行本公开的控制程序到模拟器系统的安装和更新。

存储单元105的RAM区域用作实现控制器101和分析单元106的CPU的主存储区域(或工作区域)。这个主存储区域可以由交换区域形成的所谓虚拟(区域)组成，该交换区域部署在RAM区域以及除RAM区域以外诸如HDD和SSD之类的外部存储设备中。

本实施例的分析单元106分析要由模拟器系统验证的机器人系统的3D模型的操作事件。更具体而言，分析单元106分析机器人的操作参数并指定与机器人系统的3D模型的操作相关的警告事件。本实施例的分析单元106判断干扰确定，即，判断在虚拟环境中操作的机器人系统的模型与另一个障碍物模型之间是否发生了干扰。然后，在发生干扰(碰撞或接触)的情况下，分析单元106将这种事件指定为警告事件。即，本实施例的分析单元106包括干扰确定110的功能。

当用户通过使用鼠标C、键盘D等操作分析条件设置区域109中的执行分析按钮111时，分析单元106执行干扰确定110的处理。在这里，分析单元106分析与诸如机器人系统和在虚拟环境中操作的其它对象之类的模型的条件相关的模拟数据，并检测机器人系统与其它对象的干扰作为警告事件。

要注意的是，分析条件设置区域109和事件显示区域108被示为图3中的不同显示窗口(或窗格)，分析条件设置区域109可以被认为构成事件显示区域108的一部分。分析条件设置区域109的显示部分可以显示在事件显示区域108的显示窗口(或窗格)内。

3D模型显示区域107、事件显示区域108和分析条件设置区域109的显示的链接控制包括在本实施例中如上所述的设置分析条件和执行分析按钮111的控制。此外，例如，如果通过分析条件设置区域109和执行分析按钮111的操作来搜索满足诸如干扰(碰撞或接触)之类的搜索(分析)条件的事件，那么在本实施例中相应地更新事件显示区域108的图形显示区域112的显示。例如，图形显示区域112的显示被更新，使得时间轴上与被搜索事件对应的位置出现在图形显示区域112上。有关的事件也显示在图形显示区域112上，并具有显示模式的控制(诸如稍后描述的显示颜色的改变)。

如上所述，事件显示区域108中图形显示区域112的显示可以沿着时间轴(或在项目阵列的方向上)滚动，使得引起用户注意的事件出现在显示器内。然后，结合这种滚动操作和鼠标C对图形显示区域112的显示内的目标事件的点击，在3D模型显示区域107上显示的机器人系统(的3D模型)的操作条件被更新为与目标事件对应的条件。

例如，根据如图4中所示的控制过程，进行由分析条件设置区域109设置分析条件以及通过执行分析按钮111的操作执行的模拟分析的控制。

首先，在图4的步骤S1中输入模拟对象的数据。模拟对象的数据包括要被验证的机器人系统的3D模型、3D模型的布置信息、机器人系统的可移动轴的命令值及其它。在配置文件中以机器人程序、教学点数据或其它具体描述格式的格式描述模拟对象的数据。用户通过显示单元102和操作单元103的用户界面指明与模拟对象的数据对应的文件名等。

当在步骤S1中读取模拟对象的指明的数据时，有关的机器人系统的3D模型显示在3D模型显示区域107上(例如，在预定的初始条件下)，如图3中所示。在这个时候，事件显示区域108的图形显示区域112响应于其中包括在3D模型显示区域107上显示的模型的条件的事件之前和之后的时间轴而显示与有关的3D模型相关的该事件。在图3中的图形显示区域112的显示格式中，沿着机器人系统的3D模型操作的时间轴(时间)显示机器人系统的关节轴的位置(角度)的值(例如，命令值)。

在步骤S2中设置分析条件。在本实施例中，选择干扰(碰撞)或带阈值的干扰(碰撞)作为要在分析条件设置区域109中分析(搜索)的警告事件。在本实施例中，干扰(碰撞)与3D模型在物理上彼此接触的条件对应。带阈值的干扰(碰撞)是防止由于由实际机器人的处理准确度或机械误差造成的模拟误差在实际机器中可能发生的干扰(碰撞)。例如，在3D模型彼此接触的条件之前和之后可以确保操作的可靠性的数值范围由带阈值的干扰(碰撞)指定，以确认3D模型确实落入那个范围。在带阈值的干扰(碰撞)被选择为要在分析条件设置区域109中分析(搜索)的警告事件的情况下，通过阈值设置可以确保操作的可靠性的范围。这个阈值由用户在3D模型彼此接触的条件下以净空(间隙距离)的值(以mm等为单位)的格式通过分析条件设置区域109指明。

在步骤S3中，分析单元106对由机器人控制数据(机器人程序或教学点数据)描述的机器人操作执行分析处理。例如，这个分析通过点击图3中的执行分析按钮111开始。在这里，机器人系统的3D模型在虚拟环境内操作，以便以适当的单元(诸如在3D模型显示区域107上显示的移动图像显示的帧)进行干扰确定(110)。例如，每个帧都检查机器人系统的3D模型的操作，以便对所有帧进行干扰确定(110)。在这个时候，在步骤S2中设置的条件下进行干扰确定(110)。

分析单元106的干扰确定(110)被输出，作为区分干扰(碰撞)、带阈值的干扰(碰撞)和无干扰(碰撞)这三种类型事件的数据的确定(分析)结果。干扰确定(110)的确定(分析)结果由诸如预先设置的结果代码之类的错误代码(数值)表示。分析单元106的干扰确定(110)的分析结果与操作的帧一起存储在存储单元105中。

在步骤S4中，从步骤S3中的分析结果获得的、与机器人系统的3D模型的操作相关的事件被分类，并且显示在3D模型显示区域107(显示器B)上，每种条件(内容)有不同的显示模式(显示方式)。在本实施例中，分析结果显示在事件显示区域108的图形显示区域112上。

在这里，在对事件进行分类时，分析单元106分析分析结果，以便如上所述指定干扰(碰撞)、带阈值的干扰(碰撞)和无干扰(碰撞)这三种事件。即，分析单元106将与机器人系统的3D模型的操作相关的事件分类为这三种事件。要注意的是，在具体分析结果(例如，一帧)既包括干扰(碰撞)又包括带阈值的干扰(碰撞)的情况下，分析单元106优先显示更有问题的干扰(碰撞)并将其分类为干扰(碰撞)事件。

对于在分类的事件当中被指明为要在分析条件设置区域109中分析(搜索)的警告事件的事件的显示，通过不同的显示模式(显示方式)显示以相当于其它事件(例如，无干扰(碰撞)的事件)突出。例如，在干扰(碰撞)和/或带阈值的干扰(碰撞)的事件被指明为要指定(搜索)的警告事件的情况下，如图5A和5B中的图形显示区域112中所示来控制显示方式。

例如，在被指定为干扰(碰撞)的警告事件的情况下，图形显示区域112中有关的帧被显示，同时与例如红色带(113)的颜色叠加，不同于其它部分，如图5A中所示。与被指定为带阈值的干扰(碰撞)的警告事件对应的帧被显示，同时与例如黄色带(114)叠加，与其它部分不同，如图5B中所示。要注意的是，在“干扰(碰撞)”的警告事件的情况下，机器人系统一般沿着某个轨迹操作，因此，在警告事件之前和之后出现与“带阈值的干扰(碰撞)”对应的警告事件。因此，在图5B中的红色带(113)之前和之后的两侧都显示黄色带(113a和113a)。对于没有干扰(碰撞)的其它事件，采用图形显示区域112的缺省显示颜色(或显示亮度和浓度)。要注意的是，虽然这里例示了改变图形显示区域112的改变显示颜色的显示方式的控制，但是可以通过改变显示亮度和浓度来改变显示方式。

如上所述，根据本实施例，取决于分析单元106对事件显示区域108的图形显示区域112的分析(搜索)结果，在显示与警告事件对应的事件时采用与其它事件的显示不同的显示方式。这种布置使得用户有可能在事件显示区域108的图形显示区域112的一个屏幕中容易地感知与机器人系统的3D模型的干扰(碰撞)相关的警告事件的存在。即，用户可以直观地判断干扰(碰撞)等的警告事件的存在，并且可以使用模拟器系统显著地减少验证处理所需的工时。

在事件显示区域108的图形显示区域112上视觉辨别出警告事件的用户改变机器人系统的3D模型的机器人控制数据(教学点数据和机器人程序)，使得警告事件消失。

在存在干扰(碰撞)或带阈值的干扰(碰撞)的条件的情况下，用户进行选择(指示)造成干扰(碰撞)的事件的帧(的色带)的操作，例如通过鼠标C。与这个操作对应，模拟软件E在事件的时间点计算机器人系统的3D模型在虚拟环境中的位置和朝向，并将它们显示在3D模型显示区域107上。由此，用户可以在干扰(碰撞)或带阈值的干扰(碰撞)的事件发生的时间点通过3D模型显示区域107的3D显示来容易地确认机器人系统的3D模型的虚拟环境。在这个时候3D模型显示区域107上的3D显示可以是在有关的事件的定时处的静止图像显示，或者可以是与有关的事件之前和之后的适当时间宽度对应的运动图像显示。

在与警告事件相关的3D模型显示区域107上的3D模型的显示中，造成干扰(碰撞)的具体机器人系统的一部分或(整个)3D模型的显示方式被改变为与其它模型不同的显示方式。例如，在改变显示颜色作为显示方式的改变的情况下，使用与在事件显示区域108上指示(突出)有关的警告事件的带的显示颜色相同的显示颜色。然后，通过如此改变在3D模型显示区域107上显示3D模型的显示模式，用户可以非常容易地在视觉上辨别与有关的警告事件相关的具体3D模型或具体部分。

要注意的是，可以存在指示有关的警告事件的带(113、114等)较细并且不能取决于图形显示区域112上的时间轴的显示比例来被选择的情况。在这种情况下，有可能通过改变图形显示区域112的时间轴的显示比例来加宽指示有关的警告事件的带(113、114等)的宽度。然后，图形显示区域112的每一帧的显示区域增加，从而使得用户能够容易地选择带。

还有可能确认机器人控制数据的经校正的部分，用于从3D模型显示区域107上的3D模型的条件中消除警告事件。例如，为了避免机器人的干扰(碰撞)被指定为警告事件的条件，准备成为避让点的教学点，并准备通过教学点的程序。

在这种情况下，通过使用3D模型显示区域107对机器人系统(的3D模型)的位置和朝向进行操作，以准备成为避让点的教学点。通过使用诸如鼠标C之类的指点设备和3D模型显示区域107来操作3D模型的位置和朝向的用户界面是已知的，并且这种已知的用户界面可以用于准备成为避让点的教学点。在3D模型显示区域107上操作机器人系统(的3D模型)的同时进行干扰确定110的处理并且发生干扰(碰撞)的情况下，以与上述相同的方式改变显示方式，以警告用户警告事件。

当用户将教学点指明为避让点时，用于将机器人系统移动到教学点的指令附加地记录在机器人控制数据中(例如，在机器人程序和教学点数据中)。用于进行这种附加记录的用户界面在模拟器系统中也是已知的，并且可以用于教学点对机器人程序和教学点数据的附加记录。被附加记录的程序和教学点数据可以被转换成命令值的数据，用于通过在模拟器系统中内置的机器人控制器或外部机器人控制器的逆运动学算术运算来单独地操作机器人系统的关节等。之后，通过将改变的(附加记录的)机器人程序和教学点数据输入到模拟软件E中并通过再次执行上述步骤S1至步骤S4的处理，可以验证是否存在诸如干扰(碰撞)之类的警告事件。用户可以验证机器人控制数据并且可以通过重复如上所述的校正操作将其编辑成其中不发生诸如干扰(碰撞)之类的警告事件的状态。

如上所述，根据本实施例，模拟器系统设有事件显示区域108，该事件显示区域108与显示在虚拟环境中操作的机器人系统的模型的3D模型显示区域107的显示链接地在时间轴上显示与虚拟环境中机器人系统的模型的操作相关的事件。即，由分析单元106指定的警告事件彼此相关联地显示在用作操作显示区域的3D模型显示区域107上和用作信息显示区域的事件显示区域108上。因而，本实施例可以提供用户界面，该用户界面使用户能够容易且直观地判断警告事件(诸如与正被验证的机器人系统的操作相关的干扰(碰撞))的存在。根据本实施例的用户界面，用户可以直观地判断与正被验证的机器人系统的操作相关的警告事件的存在，并且可以可靠且非常高效地进行机器人控制数据的验证工作或编辑工作，而不会遗漏确认。

第二实施例

在第一实施例中已经例示了其中图形显示区域112被提供为在事件显示区域108中伴随有时间轴的显示区域的配置。但是，其中在时间轴上指示事件的事件显示区域108的显示格式不限于在时间轴上显示线性或波浪线的图形显示区域112的显示格式，即，具有所谓“图”的格式的图形显示区域112的显示格式。事件显示区域可以是任何显示，只要它可以按时间顺序将具有某个时间长度的一系列机器人操作显示为事件即可。例如，可以想到下面描述的各种配置。

图6A至6D图示了第二实施例的事件显示区域(201、202、203等)的各种示例性显示形式。其它硬件/软件配置与第一实施例的相同。与第一实施例的那些构件具有完全相同或相同功能的第二实施例的构件将用相同的标号表示，并且可以省略其详细描述。

图6A和6B分别图示了所谓的线性和圆形(环形)线的滑块显示的事件显示区域201A和201B的配置。在图6A和6B中，事件显示区域201A和201B分别显示在线性和环形滑动条上指示干扰和带阈值的干扰(碰撞)的相应警告事件的位置的红色带(113)和黄色带(113a和114)。时间轴的起点和终点的时间的数值显示(0至xxxx)显示在每个滑动条的两端。更进一步，如图6A和6B中所示，事件显示区域201A和201B设有用于在滑动条上选择具体时间或那个时间的事件的滑块手柄201a。

在由滑块手柄201a选择滑动条上的具体时间的事件的情况下，单独弹出并显示显示与那个事件相关的信息的细节显示区域的窗口或选项卡。这个系统使得用户有可能读取指定事件的详细信息，例如，诸如每个关节的关节位置(角度)。这个时候弹出窗口或选项卡的所显示内容可以是数字信息(诸如每个关节的关节位置(角度))和机器人程序的指令文本，如事件显示区域202和203的第一行上所示。

与第一实施例的图形显示区域112相比，如图6A和6B中所示的事件显示区域201A和201B是紧凑的并且适于在有限的空间中显示显示区域。例如，图6A和6B的显示格式适于其中图形显示区域112(显示器B)的显示表面有限并且由纵向和横向包括较少数量像素的显示区域组成的情况，如移动终端和教学挂件。

图6C图示了具有表格格式的显示方式的事件显示区域202的示例。图6C中的事件显示区域202在表格的垂直方向上(在线的阵列方向上)取时间轴并且通过使用每列显示机器人系统(机器人1)的六个关节位置(角度)。还有可能也在表格格式的事件显示区域202中显示分别指示干扰和带阈值的干扰(碰撞)的相应警告事件的位置的红色带(113)和黄色带(113a和114)。在验证命令值和操作的分析结果之间的关系的情况下，这种表格格式的相对详细的事件显示区域202是合适的。例如，在准备用于避免机器人的干扰(碰撞)条件的教学点的情况下，这种表格格式显示区域是合适的。即，有可能确认机器人可以在表格格式的事件显示区域202上显示的干扰(碰撞)条件的帧中从每个轴的命令值和每个轴的限制移动多少。这种表格格式作为准备教学点的标准是有用的。

还可以想到的是，具有事件显示区域的时间轴的显示方式是其中机器人操作的描述按时间顺序排列的列表显示。可以想到的是，这种列表显示是例如描述机器人程序的源代码的列表显示。例如，图6D中的事件显示区域203被组成为机器人程序的源代码的列表显示，例如，作为程序编辑器的显示。图6D中的事件显示区域203显示10行的机器人程序，其中描述要被执行的机器人操作的指令按时间顺序排列。

还有可能在图6D中的事件显示区域203中显示分别指示干扰和带阈值的干扰(碰撞)的相应警告事件的位置的红色带(113)和黄色带(113a和114)。在这个示例中，通过改变显示颜色来控制显示方式，使得警告事件被突出到有关的指令文本，从而造成干扰和带阈值的干扰(碰撞)的相应警告事件。要注意的是，虽然在图6A至6D的示例中对改变干扰和带阈值的干扰(碰撞)的相应警告事件的显示颜色的显示方式进行控制，但是也可以进行其它显示方式(诸如亮度和浓度)的控制。

在判断通过关于机器人程序的哪些指令生成干扰和带阈值的干扰(碰撞)的警告事件的情况下，如图6D中所示的机器人程序编辑器格式的事件显示区域203是合适的。要注意的是，一般而言在机器人程序中，使用对某个位置的以移动(Move)TCP(传输控制协议)格式的这种指令文本。因此，存在这样的情况：一个指令文本包括机器人操作的多个帧，并且一个指令文本涉及干扰(碰撞)和带阈值的干扰(碰撞)的两种警告事件。在这种情况下，通过采用更有问题的干扰(碰撞)的显示方式来进行显示方式的改变。

使用第一实施例的图形显示区域112和上述图6A至6D中所示的事件显示区域201至203的配置虽然自己具有作为事件显示区域的特殊效果，但是它们在组合多个屏幕使用时也可以是有效的。即，有可能从图6A和6B中所示的滑块显示的事件显示区域201A和201B的界面弹出图6C和6D中所示的详细显示的事件显示区域202和203。更进一步，如果显示器B的显示区域具有空间，那么可以显示那些事件显示区域，使得用户可以同时在视觉上辨别它们。

更进一步，为了在图6D中以程序编辑器格式结合事件显示区域203使用第一实施例的图形显示区域112，可以例如进行以下显示控制。在这种情况下，假定图6D中的程序编辑器格式的事件显示区域203允许编辑(改变)由用户通过经由显示单元102和操作单元103的用户界面进行的编辑处理来显示的程序的代码。更进一步，假定编辑结果的源代码的文件可以存储在诸如外部存储单元(HDD和SSD)之类的存储介质中。

例如，存在这样的情况：在机器人系统的3D模型在模拟的过程中在两个教学点之间移动期间生成干扰(碰撞)或带阈值的干扰(碰撞)这种警告事件。在这种情况下，用户通过例如添加教学点来校正程序，以便能够避免干扰(碰撞)条件。在这种情况下，用户能够显示和使用第一实施例的3D模型显示区域107连同第一实施例的图形显示区域112以及图6D中程序编辑器格式的事件显示区域203作为事件显示区域是有用的。

在这种情况下，用户首先确认图形显示区域112，通过使用鼠标C等指明与干扰(碰撞)或带阈值的干扰(碰撞)的警告事件对应的帧的色带(113、113a或114)，然后移动到那个帧。在进行移动到与警告事件对应的帧的操作之后，用户更新3D模型显示区域107的显示，使得警告事件可以同时并且在视觉上被辨别到那个帧，以在有关的警告事件的条件下的位置和朝向处显示机器人系统。

在这个时候，优选地布置成使得可以改变3D模型显示区域107的显示，使得用户可以通过移动3D模型显示区域107的视点或者通过移动转动3D模型的GUI来容易地并且在视觉上辨别警告事件。更进一步，在使用3D模型显示区域107的情况下，已知通过使用鼠标C等进行操作所显示的3D模型的直接教学操作的配置。这种直接教学操作可以用于添加教学点，以避免如上所述的警告事件。

例如，用户通过使用鼠标C等从干扰(碰撞)或带阈值的干扰(碰撞)的警告事件显示在3D模型显示区域上107的条件进行直接教学操作，以改变机器人系统的3D模型的位置和朝向，并指明使得能够避免有关的警告事件的教学点。在准备了避让教学点之后，用户在图形显示区域112上再次选择有关的干扰(碰撞)或带阈值的干扰(碰撞)的警告事件的帧。要注意的是，如果在这个时候仍然显示程序编辑器格式的事件显示区域203，那么有关的部分的代码以与这个选择操作对应的程序编辑器格式显示在事件显示区域203上。

更新程序编辑器格式的事件显示区域203的显示，以便与3D模型显示区域107的显示条件或与图形显示区域112的时间轴上的事件选择链接。例如，如果在图形显示区域112上再次选择与干扰(碰撞)或带阈值的干扰(碰撞)的警告事件的有关帧，那么通过突出显示来突出有关帧的操作代码。在刚好例如与警告事件的帧对应的操作代码之前，自动地并且附加地记录移动到通过使用3D模型显示区域107添加和准备的避让教学点的操作代码。或者，可以仅自动生成插入位置，作为指明移动到教学点的操作代码，或者用户可以手动输入。或者，移动到避让教学点的操作代码被自动生成并自动插入有关的位置，或者在用户允许这种插入的操作之后定义操作代码的添加。

当在将移动指令添加到避让教学点之后执行经校正的机器人程序时，准备机器人系统的命令值数据。然后，通过再次将准备好的命令值数据输入到模拟软件E并且通过执行第一实施例的步骤S1至S4的处理，有可能在校正之后确认机器人系统的操作。

如上所述，有可能将3D模型显示区域107的显示与一个或多个事件显示区域203的显示链接，以更新它们与用户的事件选择或编辑处理对应的显示。这种布置使得有可能容易地校正机器人控制数据(教学点和机器人程序)，以减少模拟机器人系统所需的工时并高效地执行模拟处理。要注意的是，可以想到通过模拟器内的虚拟控制器准备要由模拟器系统验证的机器人控制数据(教学点和机器人程序)，例如，通过使用3D模型显示区域107的直接教学。仅仅是，通过使用诸如教学挂件之类的另一个外部设备的控制终端准备的内容也可以用作要由模拟器系统验证的机器人控制数据(教学点和机器人程序)。

第三实施例

以下将参考图7A至图7C描述本公开第三实施例的模拟器系统的显示控制。

已经关于第一实施例的事件显示区域108的图形显示区域112图示了分别通过红色带(113)和黄色带(113a和114)指示干扰和带阈值的干扰(碰撞)的警告事件的位置的显示方式的示例性控制。

除改变显示颜色以外的方法可以用作用于在具有时间轴的事件显示区域108上改变突出干扰和带阈值的干扰(碰撞)的每个警告事件的显示方式的控制方法。

例如，如图7A中的事件显示区域201C中所示，诸如条带(301)和网状带(302)之类的显示模式可以用于突出干扰和带阈值的干扰(碰撞)的相应警告事件。这种阴影显示方式在显示器B是不具有彩色显示功能的单色显示器的情况下是合适的。

要注意的是，虽然图7A和7B中所示的事件显示区域201C和201D的显示格式图示了显示图6A中的滑动条的事件显示区域201A的其它示例，但是这些事件显示区域可以设有作为显示区域的图形显示区域112，伴随有事件显示区域108中的时间轴，类似于图5中的显示方式。

图7B中的事件显示区域201D在滑动条上有关的事件的位置处显示诸如箭头(303)和三角形(304)之类的标记，以突出干扰和带阈值的干扰(碰撞)的相应警告事件。通过这种标记的突出显示在显示滑动条的事件显示区域201D的显示表面或图形显示区域112的机器人操作的每一帧的显示表面小的情况下是合适的。更进一步，通过仅标记其中分析结果已改变的帧，有可能提高显示器的可视辨别的容易度，因为降低了彼此重叠标记的可能性。

图7C中所示的事件显示区域202具有类似于图6B中的表格类型的显示格式。图7C中的事件显示区域202改变字符的尺寸(305)和字符的粗细(306：粗体字)，以突出干扰和带阈值的干扰(碰撞)的相应警告事件。字符显示方式的其它可采用的改变包括字符的颜色和字体的改变。取决于显示器B，由于阴影显示图案和字符的叠加显示，字符的可读性下降。在这种显示器中，存在这样的情况：通过改变字符本身的显示方式来突出干扰和带阈值的干扰(碰撞)的相应警告事件是有用的，如图7C中所示。

因而，如图7A至图7C中所示的显示方式还使得用户有可能通过突出诸如带阈值的干扰(碰撞)之类的警告事件来直观地辨别警告事件并高效地进行模拟工作。即，根据本实施例的用户界面，用户可以直观地判断与正被验证的机器人系统的操作相关的警告事件的存在，并且可以可靠且非常高效地进行机器人控制数据的验证工作或编辑工作，而不会遗漏确认。

要注意的是，在通过如图7A至7C中所示的阴影显示图案、标记显示和字符改变显示方式的情况下，如第一和第二实施例中所例示的显示颜色(或亮度、浓度等)的改变可以同时进行。例如，通过同时改变颜色(亮度和浓度)的显示方式连同颜色以外的显示方式(如红色条带(301)和黄色三角形(304))，可以更加可辨别地显示警告事件。

第四实施例

下面将参考图8至10描述本公开第四实施例的模拟器系统的控制系统的配置及其显示控制。

控制系统的配置及其显示控制已经在上述第一至第三实施例中通过主要例示干扰(碰撞)作为警告事件进行了描述。但是，要在事件显示区域上显示为警告事件的事件可以是与另一个分析结果相关的事件。在第四实施例中，将例示除干扰确定(110)之外分析单元106还具有奇点确定(401)和尖端加速度确定(402)的分析功能的配置。本实施例就硬件和软件的配置而言与第一至第三实施例中描述的配置基本相同，并且下面将描述与那些不同的构件。与已经描述的构件的相同或等同的构件将由相同的标号表示，并且这里将省略它们的详细描述。

图8以与图2中所示的第一实施例相同的格式图示了本实施例的控制系统的硬件和软件的功能块配置。图8与图2中所示的配置的不同之处在于，除了干扰确定110之外，分析单元106还具有奇点确定401和尖端加速度确定402的功能。干扰确定110的功能是指定干扰(碰撞)和带阈值的干扰(碰撞)的相应警告事件的功能，与上面提到的实施例相似。

奇点确定401是计算和确定机器人系统的位置和朝向的解未稳定的区域的处理。例如，在给出指定TCP的位置的教学点作为机器人控制数据的情况下，存在即使进行逆运动学计算也不能在机器人系统的操作空间中获得机器人系统的位置和朝向的解的教学点的位置。变为奇点的区域取决于诸如关节的可移动角度范围和实际机器人系统中的链路长度或模拟机器人系统的3D模型之类的硬件条件而不同。进行奇点确定401，以限制奇点的这个区域。即，奇点确定401被用于防止当机器人系统最终移动到以下奇点时可能发生的异常停止的可能性，在该奇点处，由于机器人系统的位置等的校正，不能获得机器人系统的位置和朝向的解。

尖端加速度确定402是计算机器人系统的尖端(例如，TCP)的加速度以及确定加速度是否大于阈值的处理。如果机器人系统的尖端(例如，TCP)以过度的加速度操作，那么机器人系统有可能使被保持的工件掉落或因为过多负载施加到其关节机制而变得有故障。尖端加速度确定402被用于进行控制，使得机器人系统不在这种过度的加速度下操作。

在分析单元106除了干扰确定110之外还具有奇点确定401和尖端加速度确定402的功能并且在事件显示区域上显示由这些确定单元指定的警告事件的情况下的显示方式将在下面例示。要注意的是，在本实施例中，六轴铰接式机器人将用作要模拟的机器人系统(或其3D模型)。

图4中已经图示了干扰确定110的分析过程和伴随有第一实施例的指定的警告事件的显示模式的改变的控制。图4中的控制过程可以用于分析奇点确定401和尖端加速度确定402并且用于伴随有由这些确定指定的警告事件的显示模式的改变的控制。

但是，在图4的步骤S4中，在附带有与由奇点确定401和尖端加速度确定402指定的警告事件的显示方式的改变的显示控制中使用可与其它事件区分的显示方式，类似于例如由干扰确定110指定的警告事件的情况。

例如，由奇点确定401分析的机器人系统的(3D模型的)奇点包括具体关节的两个轴位于一条直线上的条件。更进一步，六轴铰接式机器人有三种类型的关节：手腕、肘部和肩膀，并且存在奇点手腕、奇点肘部和奇点肩膀，作为针对这三种类型的关节生成的奇点的条件。

在这里，奇点手腕是第四轴和第六轴位于一条直线上并且位置和朝向的解未稳定的条件。奇点肘部是第二、第三和第五轴位于一条直线上并且位置和朝向的解未稳定的条件。奇点肩部是第一和第六轴位于一条直线上并且位置和朝向的解未稳定的条件。

根据本实施例，分析条件设置区域109被配置为使得用户可以设置要分析的三种类型的奇点(即，奇点手腕、奇点肘部和奇点肩部)的阈值，如图9A中所示。奇点手腕由角度(单位为度)设置，奇点肘部和奇点肩膀由距奇点的距离(单位为mm)设置。

以每个机器人为单位显示奇点确定401的分析结果。这是因为，如果存在两个或更多个机器人并且如果以重叠的方式显示所有机器人的奇点的分析结果，那么难以区分哪个机器人生成了奇点。

例如，图9B图示了在本实施例中在事件显示区域108的图形显示区域112上显示奇点确定401的分析结果的示例。在这里，对于奇点确定401的分析结果，奇点事件和带阈值的奇点事件(由分析条件设置区域109指定)由不同的色带(113、113a和114)指示，类似于与上述干扰相关的警告事件的显示方式的情况。

在图9B的显示方式中，机器人1和机器人2这两个机器人系统的第一关节(关节1)的角度分别显示在上部和下部图形显示的两个阶段中。通过分离每个机器人1和机器人2的图形显示区域112的显示并且通过在图形中显示关节角度(命令值)，用户变得有可能直观地判断哪个机器人已经生成了奇点。

图9C图示了改变显示方式的示例，以便能够将由分析条件设置区域109指定的奇点事件和带阈值的奇点事件与事件显示区域201E上的其它事件区分开来，类似于在图6A中。如图9C中所示的滑动条类型的事件显示区域201E只能显示一个机器人的事件。在这种情况下，优选的是在事件显示区域201E中提供由下拉菜单等组成的显示选择区域(403)，以能够选择要显示的机器人的分析结果。指定为警告事件的奇点事件和带阈值的奇点事件(由分析条件设置区域109指定)也在图9C的示例中由不同的色带(113、113a和114)显示。

将参考图10A和10B描述改变由尖端加速度确定402指定(分析)的警告事件的显示方式的控制。在具体参考部分(诸如TCP)的加速度超过某个阈值的情况下，通过尖端加速度确定402将尖端加速度指定为警告事件。在这种情况下，优选地配置分析条件设置区域109，使得用户可以设置与要验证的条件等对应的多个阈值(1和2)，如图10A中所示。

在事件显示区域108的图形显示区域112上显示由尖端加速度确定402指定的警告事件时，优选地如图10B中所示以每个机器人为单位分别显示，类似于奇点的情况。在图10B中所示的示例中，机器人系统的(3D模型的)尖端加速度超过由分析条件设置区域109设置的两个阈值的帧被指定为警告事件。然后，分别由不同的色带(113、113a和114)显示这两个阈值的过量。要注意的是，要用于显示的数值可以不是关节角度的命令值，而是可以是图形显示区域112中(或者在图6B和7C中表格格式的事件显示区域202中)尖端加速度的计算结果。

通过由如上所述的奇点确定401和尖端加速度确定402分析奇点和尖端加速度而获得的警告事件被通过与其它事件不同的显示方式显示，类似于第一至第三实施例的干扰确定110的情况。因而，用户可以直观地辨别这些警告事件，并且可以通过突出这些警告事件来高效地进行模拟工作。即，根据本实施例的用户界面，用户可以直观地判断与正被验证的机器人系统的操作相关的警告事件的存在，并且可以可靠且非常高效地进行机器人控制数据的验证工作或编辑工作，而不会遗漏确认。

第五实施例

下面将参考图11和12描述本公开第五实施例的模拟器系统的显示控制。要注意的是，虽然将通过图11和12中的流程图图示控制器101的控制过程，但是假定模拟器系统的其它硬件和/或软件配置与上面在相应实施例中描述的那些相同。

第五实施例说明了移动到事件的帧的方法，其中分析结果的条件在彼此链接的事件显示区域(上述相应实施例中的108和201至203)和3D模型显示区域107中的事件之前和之后改变。

例如，如果有可能搜索在3D模型显示区域107的显示上的事件之前和之后条件从非警告事件(正常事件，不是警告事件)变为警告事件或从警告事件变为非警告事件的位置并且移动到其显示状态，那么是方便的。如上所述，还存在不同类型或不同状态的警告事件，如干扰和带阈值的干扰(碰撞)的情况。这些不同警告事件之间的这种过渡也是本实施例中的搜索的对象。

但是，一般而言，非警告事件占据事件显示区域(108、201至203)的显示表面中的大显示区域。因而，本实施例主要用于从非警告事件中搜索警告事件并用于移动到那个位置。然后，下面将例示和描述搜索条件从非警告事件变为警告事件的位置的情况。但是，图11和12中所示的过程也可以用于搜索条件从警告事件变为非警告事件的位置。

图11和12中的流程图分别图示了第五实施例的模拟器系统的事件显示区域(108、201至203)的不同显示控制过程。

要注意的是，将通过使用干扰和带阈值的干扰(碰撞)的相应警告事件作为警告事件的示例来进行以下描述。但是，在搜索第三和第四实施例中描述的其它警告事件的情况下，可以利用图11和12中所示的控制过程。

图11中所示的显示控制过程是从被显示(或被选择)的事件帧移动到其中分析结果的条件通过用户的一个操作而改变的事件的最接近的帧。在这里，假定要搜索的事件的条件的改变是从无干扰(无碰撞)事件到带阈值的干扰(碰撞)和从带阈值的干扰(碰撞)到干扰(碰撞)的改变。更进一步，在本实施例中，从干扰(碰撞)事件到带阈值的干扰(碰撞)的改变以及从带阈值的干扰(碰撞)到无干扰(无碰撞)事件的改变也被处理为要搜索的对象。

如图11中所示，通过步骤S5至S7的搜索处理来执行本实施例的显示控制。要注意的是，本实施例的搜索处理被假定为通过键盘D的预定操作或通过显示器B上显示的搜索对话框开始，可以使用其它方法来开始搜索处理。

当如上所述开始本实施例的搜索处理时，显示控制基于步骤S5中分析单元(106)的分析结果来搜索如上所例示的其中条件改变的事件的帧。在这里存在多个搜索结果的情况下，它们被存储为列表。由此，可以通过在下一次搜索中使用存储的列表来进行搜索处理。

如果在步骤S6中存在对应的帧，那么在步骤S7中选择与在事件显示区域(108、201至203)上显示的帧最近的帧，以移动到所选择的帧。然后，通过3D模型显示区域107上的帧显示机器人系统的3D模型的条件。更进一步，与此链接，事件显示区域(108、201至203)的显示被自动滚动或者显示因子被自动改变，使得事件发生改变的位置在显示区域内。如果在步骤S6中没有其中条件改变的对应帧，那么搜索处理结束。

如上所述，有可能移动到在彼此链接的事件显示区域(108、201至203)和3D模型显示区域107上的当前帧之前或之后的其中分析结果的条件改变的事件的帧。即，用户可以基于预定操作就时间序列而言指定前面的或后面的警告事件，并且可以在用作操作显示区域的3D模型显示区域107和用作信息显示区域的事件显示区域108上显示。因而，用户可以直观地判断与正被验证的机器人系统的操作相关的警告事件的存在，并且可以可靠且非常高效地进行机器人控制数据的验证工作或编辑工作，而不会遗漏确认。

要注意的是，期望进行设置，使得搜索的方向在操作机器人系统的模型的时间轴中在过去和将来(前面和后面)的两个方向上可移动。然后，在显示器B上显示开始图11中的搜索处理的对话框的情况下，优选地布置成使得“搜索方向”可以被指定到过去或将来(前面或后面)。

在已经存在如上所述搜索的事件(或帧)的列表的情况下，可以在显示器B上显示以表格格式或图形格式显示列表的显示窗口或显示选项卡。表格格式或图形格式的这种列表显示使用户能够查看并且容易地确认注意到的警告事件发生的频率、次数和时段。

表格格式或图形格式的列表显示可以用作用于搜索事件的对话框。例如，通过由鼠标C等指定列表显示中包括的具体警告事件或非警告事件，由有关的事件更新3D模型显示区域107上的机器人系统的3D模型的显示状态。这种操作显示控制使用户能够非常精细地掌握正被验证的机器人系统的3D模型的行为。

图12图示了在动画(移动图像)中在3D模型显示区域107上显示机器人系统的3D模型的操作的同时搜索事件的改变并且在那个位置停止动画(停止运动或显示静止图像)的控制。

在3D模型显示区域107上显示(回放)机器人系统的3D模型的操作的情况下，存在在取决于播放速度的设置和硬件限制抽取帧(所谓的帧丢弃)的同时显示操作的情况。如现有技术中所公开的，可以在3D模型显示区域107上突出造成干扰(碰撞)等的部分或机器人系统(通过改变显示颜色、亮度、浓度等)。但是，在3D模型显示区域107上伴随着上面提到的帧丢弃来显示动画(移动图像)的情况下，有可能省略仅出现在一帧或几帧中的警告事件的突出。

然后，图12中的控制过程从所有帧中搜索其中事件改变的帧，并且如果存在对应的帧，那么更新3D模型显示区域107的显示，以显示有关的帧并停在有关的显示处。这种布置使得，即使在3D模型显示区域107上进行动画(移动图像)显示，用户也有可能可靠地确认其中事件改变的帧(例如，与警告事件对应的帧)。

在图12中，当指定3D模型显示区域107上动画的回放时，在步骤S8中设置要在正被显示的帧旁边绘制的帧。执行这个处理，使得接下来被指派给具体存储单元105内的具体区域的要绘制的图像数据指定被绘制的帧缓冲区。通常，两个或更多个帧缓冲区部署在存储单元105中，并且被布置成使得在一个帧缓冲区中进行读取(步骤S13中的显示)期间，另一个帧缓冲区绘制后续帧。

在本实施例中，通过利用从当前正在显示的帧直到下一个帧在显示器B上显示的区段(步骤S8到S13)来进行其中要搜索的事件改变的对应帧的搜索(步骤S9和S10)。即，在步骤S9中搜索其中要搜索的事件改变的对应帧，并且如果没有对应的帧，那么处理转到步骤S13，以通过使用在步骤S8中设置的帧来更新3D模型显示区域107的显示。

如果在步骤S8之后没有通过帧之间的搜索来搜索出与事件的改变对应的帧(步骤S9和S10)，那么动画(移动图像)显示被显示到操作的结束，其中循环为通过步骤S13和S14返回步骤S8(判断最终操作)。在步骤S14中已经显示了最终显示帧的情况下，在步骤S12中停止动画(移动图像)显示。

同时，如果在步骤S10中搜索出与要搜索的事件的改变对应的帧，那么进行从步骤S10到步骤S11的过渡。在步骤S11中，通过不使用在步骤S8中设置的“下一帧”而是使用生成事件的改变的搜索帧来更新3D模型显示区域107的显示。然后，在步骤S12中停止动画(移动图像)显示，同时将这个帧保持为静止图像显示。

如上所述，根据如图12中所示的控制过程，在3D模型显示区域107上进行动画(移动图像)显示的情况下，有可能通过使用显示帧之间的区段在后续帧的方向上搜索与事件的改变对应的帧，并在显示该帧时停止动画。因此，在3D模型显示区域107上进行动画(移动图像)显示的情况下，这种布置使得，即使在发生帧丢弃的状态下，用户也有可能可靠地确认其中事件改变的帧(例如，与警告事件对应的帧)。因而，用户可以直观地判断与正被验证的机器人系统的操作相关的警告事件的存在，并且可以可靠且非常高效地进行机器人控制数据的验证工作或编辑工作，而不会遗漏确认。

在这里，将描述通过由图1和2中的模拟器系统验证的机器人控制数据(教学点数据和机器人程序)操作的机器人系统的更具体的示例性配置以及在机器人臂应用于生产系统的情况下的配置。

图13图示了通过由图1和2的模拟器系统验证的机器人控制数据(教学点数据和机器人程序)操作的机器人系统1001的整体配置。在图13中，机器人系统1001包括例如六轴(关节)垂直铰接式机器人臂体1201。通过由在每个关节中提供的伺服马达进行伺服控制，可以将机器人臂体1201的每个关节控制到期望的位置和朝向。

诸如手1202之类的工具附连在机器人臂体1201的远端处。这个手1202使得能够进行抓取工件1203、组合工件1203和机加工工件1203的生产工作。工件1203是例如工业产品(诸如汽车和电子产品)的组成部分，并且机器人系统1001可以作为这种生产系统(生产线)的生产单元。

机器人系统1001的机器人臂体1201的操作由机器人控制器1200控制。机器人系统1001的机器人控制数据可以由连接到机器人控制器1200的操作终端1204(例如，教学挂件或平板终端)编程(教导)。还有可能附加地编辑数据以进行小的修订。上述实施例中的模拟器系统可以被配置为可利用无线电和电线中任一形式与机器人控制器1200通信。更进一步，虽然在上述实施例中模拟器系统与这些操作终端和机器人控制器1200分开提供，但是上述模拟软件可以安装在操作终端和机器人控制器1200中，以使这些操作终端和机器人控制器1200本身作为模拟器系统。特别是在模拟软件安装在操作终端中的情况下，还期望同时结合显示单元。

机器人系统1001或机器人控制器1200可以通过网络NW从如上所述的图1和2中所示的模拟器系统接收优化的机器人控制数据或轨迹数据。这种配置使得有可能基于通过上面提到的处理优化的机器人控制数据来操作作为组成生产系统(生产线)的生产单元的机器人系统1001，并且通过机器人系统1001制造物品。

本公开还可以通过以下处理来实现：通过该处理，通过网络或存储介质将实现上述实施例的一个或多个功能的程序提供给系统或装置，并且通过该处理，系统或装置的计算机中的一个或多个处理器读取并执行程序。还有可能通过电路(例如，ASIC)实现一个或多个功能。

其它实施例

本发明的(一个或多个)实施例还可以通过读出并执行记录在存储介质(其也可以被更完整地称为“非瞬态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或包括用于执行上述(一个或多个)实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，以及通过由系统或装置的计算机例如从存储介质读出并执行计算机可执行指令以执行上述(一个或多个)实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例中的一个或多个实施例的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括单独计算机或单独处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如紧凑盘(CD)、数字多功能盘(DVD)或蓝光盘(BD)TM)、闪存设备、存储卡等中的一个或多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本发明，但是应当理解的是，本发明不限于所公开的示例性实施例。所附权利要求的范围将被赋予最广泛的解释，以便涵盖所有此类修改以及等效的结构和功能。

Claims (8)

1.一种信息处理装置，包括：

显示控制器，被配置为输出要在显示装置上显示的显示信息，该显示装置具有操作显示区域和信息显示区域，所述操作显示区域显示基于机器人控制数据在虚拟环境内模拟操作的机器人系统的操作，所述信息显示区域基于机器人控制数据以时间序列方式显示与机器人系统的操作参数相关的信息；以及

分析单元，被配置为分析操作参数，以指定警告事件，

其中显示控制器彼此相关联地将由分析单元指定的警告事件显示在操作显示区域和信息显示区域中。

2.如权利要求1所述的信息处理装置，其中显示控制器以与警告事件的类型和阶段对应的不同显示方式显示警告事件。

3.如权利要求1或2所述的信息处理装置，还包括操作单元，

其中显示控制器与通过操作单元对操作显示区域和信息显示区域中的一个进行的操作对应地更新操作显示区域和信息显示区域中另一个的显示状态。

4.如权利要求1或2所述的信息处理装置，其中显示控制器基于用户的预定操作按时间序列指定前面或后面的警告事件，并在操作显示区域和信息显示区域中显示处于指定的警告事件中的机器人系统的情况。

5.如权利要求1或2所述的信息处理装置，其中信息处理装置基于机器人控制数据在动画中显示机器人系统的操作，并且在发生警告事件的定时停止动画。

6.一种显示装置的控制方法，该显示装置通过基于机器人控制数据对模拟机器人系统的模型进行操作来显示在虚拟环境中操作的机器人系统的模型，该控制方法包括：

基于机器人控制数据以时间序列的方式显示与机器人系统的操作参数相关的信息；

分析操作参数以指定警告事件；以及

在与以时间序列方式显示的机器人系统的操作参数相关的信息的时间轴上的位置处显示指定的警告事件。

7.一种非瞬态计算机可读介质，存储通过如权利要求6所述的控制方法控制显示装置的程序。

8.一种制造方法，用于通过使机器人系统执行使用如权利要求1所述的信息处理装置验证的操作来制造物品。