CN117773910A - 信息处理装置和方法、机器人系统、物品制造方法和介质 - Google Patents

Abstract

公开了信息处理装置和方法、机器人系统、物品制造方法和介质。信息处理装置通过使用虚拟模型来执行模拟。信息处理装置包括处理单元。处理单元被配置成在显示单元上显示虚拟模型和操作部，该操作部被用户用来操作虚拟模型，并且响应于用户的输入来改变关于操作部的设定信息。

Description

信息处理装置和方法、机器人系统、物品制造方法和介质

技术领域

本公开涉及信息处理。更具体而言，本公开涉及信息处理装置、信息处理方法、机器人系统、使用机器人系统的物品制造方法、程序和记录介质。

背景技术

迄今为止，在用于机器人的操作的设定作业(也称为示教(teach)作业)中，使用能够在不使用机器人的真实机器的情况下预先检查机器人的操作的机器人模拟器。设定作业的示例包括设定作为机器人的末端执行器(end effector)部分的代表点的工具中心点(下文中称为TCP)、创建作为TCP的移动目的地的坐标的示教点、然后创建用于使机器人通过使用TCP和示教点来进行操作的程序的作业。在这种机器人模拟器中，将机器人和周围环境的模型布置在虚拟空间中，并且通过例如移动机器人的模型(TCP)和周围环境的模型来执行模拟，从而示教机器人的操作。存在作为供用户移动机器人的模型和周围环境的模型的设备的操作手柄(operating handle)(操作部)的功能。日本专利特许公开No.2014-161921描述了分别在机器人的轴和TCP的位置处显示操作手柄的功能。

发明内容

根据本公开的实施例，信息处理装置通过使用虚拟模型来执行模拟。信息处理装置包括处理单元。处理单元被配置成在显示单元上显示虚拟模型和操作部，该操作部被用户用来操作虚拟模型，并且响应于用户的输入来改变关于操作部的设定信息。

通过以下参考附图对实施例的描述，本公开的进一步的特征将变得清楚。

附图说明

图1是图示出根据第一实施例的机器人系统的图。

图2是图示出根据第一实施例的机械臂本体的图。

图3是图示出根据第一实施例的信息处理装置的图。

图4是根据第一实施例的信息处理装置的控制框图。

图5是示出根据第一实施例的模拟画面的示例的图。

图6A至图6C是关于操作手柄的显示中的问题的图。

图7是根据第一实施例的控制流程图。

图8A和图8B是示出根据第一实施例的操作手柄设定画面的示例的图。

图9A至图9F是根据第一实施例的与操作手柄的显示相关的图。

图10是根据第二实施例的控制流程图。

图11是示出根据第二实施例的操作手柄设定画面的示例的图。

图12A至图12C是根据第二实施例的与操作手柄的显示相关的图。

图13是根据第三实施例的控制流程图。

图14是示出根据第三实施例的操作手柄设定画面的示例的图。

图15是示出根据第三实施例的模拟画面的示例的图。

图16是根据第四实施例的控制流程图。

图17A至图17C是根据第四实施例的与操作手柄的显示相关的图。

图18是根据第五实施例的控制流程图。

图19A和图19B是根据第五实施例的与操作手柄的显示相关的图。

图20A至图20C是与虚拟机械臂本体的特异点相关的图。

图21是根据第六实施例的控制流程图。

图22A和图22B是根据第六实施例的与操作手柄的显示相关的图。

图23A和图23B是根据第六实施例的与操作手柄的显示相关的图。

图24A至图24D是根据第六实施例的与操作手柄的显示相关的图。

图25是根据第七实施例的控制流程图。

图26A至图26C是示出根据第七实施例的模拟画面的示例的图。

图27是根据第七实施例的与操作手柄的显示相关的图。

图28是图示出根据第八实施例的机器人系统的图。

图29是示出根据第八实施例的模拟画面的示例的图。

图30是图示出根据第九实施例的机器人系统的图。

图31是根据第九实施例的信息处理装置的控制框图。

图32是示出根据第九实施例的模拟画面的示例的图。

图33是示出根据第九实施例的模拟画面的示例的图。

图34是根据第九实施例的控制流程图。

具体实施方式

在日本专利特许公开No.2014-161921中，存在如下不便：取决于操作手柄的显示状态，例如，周围环境的模型与操作部的显示位置重叠，周围环境的模型使得难以目视检查或访问操作手柄，因此使得难以对操作部进行操作。

在下文中，将参考附图描述本公开的实施例。下面描述的实施例仅仅是说明性的，并且例如，在不脱离本公开的主旨的情况下，本领域技术人员可以根据需要修改细节部分的构造。本实施例中描述的数值是参考数值并且不限制本公开。在下面的附图中，图中的箭头X、Y、Z表示机器人系统的整体坐标系。一般而言，XYZ三维坐标系表示整个安装环境的世界坐标系。除此之外，为了控制的方便，对于机械手、手指、关节等可以根据需要使用局部坐标系。在本实施例中，世界坐标系是用XYZ表示的整体坐标系，而局部坐标系用xyz表示。

第一实施例

图1是图示出根据本实施例的机器人系统1000的示意性构造的图。

图1示意性地示出了真实空间RS中的机器人系统1000。机器人系统1000包括机械臂本体200、机械手本体300、控制器400以及信息处理装置500。在本实施例中，控制器400和信息处理装置500分别由不同的计算机构成。可替代地，控制器400和信息处理装置500可以由一个计算机构成。

机械臂本体200是垂直铰接式的机械臂，其包括基部、多个连杆、用于驱动多个连杆的驱动源以及例如当从驱动源供给电力以操作连杆时减速的传动机构。机械手本体300由机械臂本体200支撑。机械手本体300附接到机械臂本体200的预定区域，例如，机械臂本体200的远端部分。

机械手本体300可以通过机械臂本体200定位在XYZ空间中选择的位置处。

机械手本体300包括能够握持工件W的手指、用于操作手指的驱动源以及例如在从驱动源供给电力以操作手指时减速的传动机构。例如，将作为要输送的物体的工件W放置在机械手本体300的周围，并且能够通过机械臂本体200和机械手本体300执行握持工件W和例如将工件W组装到另一个工件的操作。在本实施例中，机械臂本体200可以被称为机器人，或者机械臂本体200和机械手本体300可以被统称为机器人。

机械臂本体200和机械手本体300通过布线线路可通信地连接到控制器400。控制器400和信息处理装置500通过布线线路可通信地连接到彼此。在本实施例中，控制器400和信息处理装置500通过有线通信连接。可替代地，控制器400和信息处理装置500可以通过无线通信连接。

信息处理装置500通过离线示教─即，计算机模拟─来虚拟地执行并显示在握持工件W时机械臂本体200和机械手本体300的操作。控制器400从信息处理装置500取得关于握持位置的信息，并生成机械臂本体200从握持位置到作为工件W的输送目的地的位置的轨迹数据。控制器400根据生成的轨迹数据控制机械臂本体200和机械手本体300以执行输送工件W的操作。在本实施例中，机械臂本体200和机械手本体300执行输送所握持的工件W并将工件W组装到另一个工件的操作。因此，能够制造工业产品或物品。轨迹数据的计算可以由信息处理装置500执行。

当机械臂本体200和机械手本体300输送工件W时，需要对机械臂本体200和机械手本体300进行示教，以使其不与周围的物体接触。对机器人进行示教是设定用于获得机械臂本体200和/或机械手本体300的轨迹数据的示教点。

图2是用于图示出根据本实施例的机械臂本体200和机械手本体300的构造的图。机械臂本体200包括基部210和通过多个旋转驱动关节J1、J2、J3、J4、J5、J6连接的多个连杆201、202、203、204、205。连杆201耦接到基部210。

机械臂本体200的每个关节包括：用作驱动多个关节中的对应的一个关节的驱动源的马达、减速齿轮以及用作检测马达的旋转角度的位置检测器的编码器。编码器的安装位置和输出方式不受限制。机械手本体300附接到作为机械臂本体200的远端部分的连杆205。机械手本体300能够与关节J6一起旋转。当驱动机械臂本体200的关节J1至J6时，可以将机械臂本体200设定为各种姿势。

机械手本体300包括手掌303和由手掌303支撑以便可打开和可闭合的多个手指，例如两个手指301、302。两个手指301、302被部署成彼此面对。机械手本体300具有用恒定的力操作手指301、302的力控制功能。机械手本体300的手掌303支撑手指301、302，并且包括线性地操作这对手指301、302的驱动单元(未示出)。驱动单元包括马达、将马达的旋转运动转换成线性运动的转换机构等。当驱动单元被操作时，手指301、302可以在由图2中的箭头指示的打开方向D11、D12和闭合方向D21、D22上被线性地移动。驱动单元能够通过生成驱动力而使手指301、302生成用于握持工件W的握持力。驱动单元只需要使手指301、302生成握持力以使得工件W相对于机械臂本体200不移位即可。

本实施例中手指的数量是两个；但是，本领域技术人员可以根据需要改变手指的数量。在本实施例中，机械手本体300通过马达驱动来操作手指。可替代地，机械手本体300可以是气动驱动的空气夹持器或者可以被配置成通过吸收或吸附来握持。末端执行器可以不是机械手的形式，而是执行工件的切割、磨削等的工具。而且，末端执行器也可以是执行螺钉紧固等的驱动工具。

图3是图示出根据本实施例的信息处理装置500的图。信息处理装置500包括装置主体501、作为连接到装置主体501的显示装置的示例的显示器502以及作为连接到装置主体501的输入装置的示例的键盘503和鼠标504。装置主体501使用通用个人计算机(PC)中的操作系统(OS)。

当装置主体501执行用于实现作为示教方法的模拟方法的应用软件时，显示器502显示模拟画面600。由装置主体501构造的虚拟空间VS被显示在模拟画面600上。在虚拟空间VS中部署有虚拟机械臂本体200V、虚拟机械手本体300V、虚拟工件WV等。这些作为2D图像或3D图像被显示在显示器502上。输入、编辑或改变模拟器的各条信息的操作被配置成通过输入设备(即，键盘503、鼠标504等)来执行。

显示在显示器502上的模拟画面600是用于让用户编辑机器人系统1000的示教和程序并检查其操作和干扰的画面。显示器502可以被配置成使得所谓的触摸面板被层压在显示器502的表面上。在这种情况下，可以通过触摸面板来执行与输入设备(即，键盘503、鼠标504等)的输入操作等同的输入操作。在一些情况下，可以省略输入设备。

图2的模拟画面600被配置成至少包括虚拟空间画面。虚拟空间画面可以被配置成图形用户界面(GUI)。在这种情况下，构成模拟画面600的对象(诸如选单、用于数值和文本的输入字段以及机器人的虚拟表示)可以被配置成通过诸如鼠标504(或上述触摸面板)之类的点选设备来操作。

在下文中，例如，将描述信息处理装置500是作为通用计算机的台式PC的情况；但是，构造并不限于此。信息处理装置500例如可以是通用计算机，诸如膝上型PC、平板PC和智能手机，或者可以是示教器(teaching pendant)，或者可以是模拟器专用的计算机。而且，信息处理装置500可以被组装到控制器400。换句话说，控制器400可以具有模拟器的功能。

虚拟机械臂本体200V是与机械臂本体200对应的机器人模型。虚拟机械手本体300V是与机械手本体300对应的机器人模型。虚拟工件WV是与工件W对应的工件模型。每个模型的三维数据例如作为CAD数据被预先录入到装置主体501中。

当工作人员通过操作键盘503和鼠标504向装置主体501输入数据时，工作人员能够使装置主体501在虚拟空间VS中模拟机械臂本体200和机械手本体300的操作。

在本实施例中，通过离线示教来示教机械臂本体200和机械手本体300对工件W的操作。确定机械臂本体200和机械手本体300的操作是确定关节J1至J6的旋转量和手指301、302的移动量。但是，如果机械手本体300本身具有关节并且能够改变手指301、302在旋转方向上的位置，那么机械手本体300的关节的旋转量也被确定。当机械手本体300的打开状态下的手指301、302在闭合方向上移动以与工件W接触并且由手指301、302施加握持力时，工件W可以被握持。

这里，握持位置是指当由机械臂本体200和机械手本体300握持工件W时机械手本体300相对于工件W的相对位置。握持姿势与在工件W相对于机械臂本体200被定位的状态下当通过机械手本体300握持工件W时机械臂本体200的姿势对应。因此，在工件W相对于机械臂本体200被定位的状态下，通过将机械臂本体200设定为预定姿势，机械手本体300能够在预定位置处握持工件W。

图4是示出信息处理装置500的控制系统的控制框图。如图4中所示，信息处理装置500的装置主体501包括作为硬件的中央处理单元(CPU)511。装置主体501还包括由只读存储器(ROM)512a、随机存取存储器(RAM)512b、硬盘驱动器(HDD)512c等构成的存储设备512。

装置主体501还包括用于与输入设备(即，键盘503、鼠标504等)通信和连接的接口513a以及用于与显示器502通信和连接的接口513b。装置主体501包括用于与控制器400进行通信处理的接口514。装置主体501包括用于与控制器400或外部装置(诸如另一个模拟器装置和机器人)发送和接收例如文件530形式的数据的接口515。这些接口各自由例如串行总线、并行总线、网络接口等构成。

ROM 512a是非暂态存储设备。在计算机启动时由CPU 511读取的基本程序存储在ROM 512a中。RAM 512b是在CPU 511的算术运算处理中使用的临时存储设备。HDD 512c是存储各种数据(诸如CPU 511的算术运算处理结果)的非暂态存储设备。

在本实施例中，用作应用软件的程序被存储在HDD 512c中。CPU 511用作能够通过运行程序来模拟虚拟空间(后面描述)中虚拟机器人、虚拟手和虚拟工件的行为的信息处理单元。

在本实施例中，非暂态计算机可读存储介质是HDD 512c，并且用作应用软件的程序被记录在HDD 512c上；但是，构造不限于此。程序可以被记录在任何记录介质上，只要该记录介质是非暂态计算机可读记录介质即可。用于将程序供给计算机的记录介质的示例包括软盘、光盘、磁光盘、磁带和非易失性存储器。可以使用固态驱动器(SSD)来代替HDD。

CPU 511控制信息处理装置500的整个系统。CPU 511的操作处理单元包括显示单元516、解释单元517和计算单元518。显示单元516基于存储设备512中保存的信息来更新模拟画面600的显示，并且将显示命令发送到诸如显示器502之类的显示装置。解释单元517控制用诸如鼠标和键盘之类的输入设备对模拟画面600的操作。解释单元517解释操作输入的细节，向计算单元518做出执行必要计算的请求，并且向显示单元516做出基于计算出的结果更新显示的请求。计算单元518根据由解释单元517解释的操作细节来执行与在虚拟空间VS(后面描述)中绘制模型相关的计算处理。计算出的结果被保存在存储设备512中。

存储设备512存储作为显示在模拟画面600上的组件的模型和操作手柄的显示信息。存储在存储设备512中的信息响应于来自CPU 511的请求而被输出，或者响应于来自CPU511的请求而被更新。响应于来自外部装置的请求或者对键盘503或鼠标504的特定操作，CPU 511能够以文件530的形式从接口515发送保存在存储设备512中的信息。CPU 511能够根据需要经由接口515从外部源读取文件530。

例如，在信息处理装置500的启动或还原(恢复)处理时，CPU 511从外部装置(外部存储设备，诸如SSD和网络附加存储装置(NAS))读取过去输出的文件530。然后，CPU 511可以通过更新存储设备512来再现先前的存储状态。在本实施例中，存储设备512中存储组件的存储区域是可选择的。例如，可以使用RAM 512b上的预定区域或HDD 512c的存储区域(与例如预定文件对应)。上述构造是信息处理装置500的整体构造的示例。

图5是根据本实施例的模拟画面600的示例。虚拟空间VS和选单栏610被显示在模拟画面600上。虚拟空间VS中的虚拟物体(虚拟模型)由三维模型数据(例如，CAD数据)定义，并且为了方便起见被可视化并绘制为结构。在选单栏610中显示用于显示用以设定操作手柄(后面描述)的显示的画面的操作手柄设定按钮620(虚拟按钮)。

将描述在图5中所示的虚拟空间VS中定义的虚拟物体。虚拟物体由在虚拟空间VS中模拟图1中所示的机械臂本体200、机械手本体300以及工件W的三维模型数据来定义。示出了虚拟空间VS的绝对坐标系“世界”(World)。在虚拟空间VS中，在虚拟机械臂本体200V周围，定义了作为模拟工件W的三维模型数据的虚拟工件WV。CPU 511执行对于用虚拟机械臂本体200V及虚拟机械手本体300V握持虚拟工件WV的操作的示教。图5中所示的虚拟空间VS以静止图像或运动图像被显示在图2中所示的显示器502的模拟画面600上。

图6A至图6C示出了根据本实施例的被显示在虚拟空间VS中的操作手柄700。

图6A示出了在改变作为待操作的目标的虚拟机械臂本体200V的布局(layout)的情况下显示的操作手柄700。图6B示出了在选择作为待操作的目标的虚拟机械臂本体200V的工具中心点(TCP)并执行示教的情况下的操作手柄700。图6C示出了在改变作为待操作的目标的虚拟工件WV的布局的情况下显示的操作手柄700。

这里，操作手柄是设定虚拟模型的布局并在虚拟空间VS中示教机械臂本体200V的功能。图6A至图6C中的操作手柄700具有在正交三轴方向上延伸的箭头700a以及各自被用于使模型绕箭头700a中的对应的一个箭头旋转的环700b。当用鼠标504拖动箭头700a中的任意一个箭头时，目标模型可以随着该操作而被平移。当用鼠标504拖动环700b中的任意一个环时，目标模型可以随着操作而绕箭头700a中的对应的一个箭头被旋转。通过这些操作，改变虚拟模型的布局，通过操作工具中心点(TCP)(未示出)来改变虚拟机械臂本体200V的姿势，并执行示教。

在图6A的状态下，操作手柄700的方向与绝对坐标系“世界”的方向一致，并且与跟虚拟机械臂本体200V的原点位置对应的方向一致。在这个状态下操作操作手柄700时，可以在整体姿势保持不变的状态下使虚拟机械臂本体200V和虚拟机械手本体300V平移或旋转。在图6B的状态下，操作手柄700的方向与TCP的方向一致。当在这个状态下操作操作手柄700时，可以使虚拟机械手本体300V平移和旋转。相应地，虚拟机械臂本体200V的姿势改变，以将虚拟机械臂本体300V设定在操作位置和姿势。在图6C的状态下，操作手柄700的方向从绝对坐标系“世界”开始绕Z方向在纸面上顺时针方向倾斜60°，并且与跟工件WV的模型的原点位置对应的方向一致。

当在这个状态下操作操作手柄700时，工件WV可以被平移和旋转。

如图6A、图6B和图6C中所示，在上述操作手柄700的显示状态下，操作手柄700在显示中被埋没在虚拟模型中，并且可能难以操作操作手柄700。在本实施例中，通过执行改变在操作手柄700的显示位置处的设定信息的处理来解决这个问题。在下文中，将详细描述本实施例中显示操作手柄700的处理。以这种方式，在本说明书中，操作手柄700的显示中的设定信息可以被称为显示条件。

图7示出了根据本实施例的与操作手柄700的显示相关的控制流程图。图8A和图8B示出了根据本实施例的操作手柄设定画面800。图9A至图9F是图示出根据本实施例的显示位置被改变的操作手柄700的显示的图。假设本实施例中的控制流程由信息处理装置500的CPU 511执行。图7中的控制流程图示出从操作手柄700被显示的状态开始的控制流程。

首先，在步骤S1中改变操作手柄700的设定。当用户按下图5中所示的操作手柄设定按钮620时，显示图8A和图8B中所示的操作手柄设定画面800。图8A和图8B中仅显示操作手柄设定画面800。操作手柄设定画面800可以以叠加方式被显示为模拟画面600上的弹出窗口(第二画面)，或者可以被显示在显示器502中与模拟画面600不同的显示区域中。图8A示出了在选择零件坐标系的状态下的操作手柄设定画面800。图8B示出了在选择世界坐标系的状态下的操作手柄设定画面800。

在图8A和图8B中，操作手柄的显示位置设定(数值输入)和作为位置的基准的坐标系选择(单选按钮)显示在操作手柄设定画面800上。这些被显示，以使得被显示在虚拟空间VS中的操作手柄700的显示位置从图6A至图6C中所示的基准位置起、相对于所选择的坐标系的方向被更新为相对位置。显示OK按钮806和取消按钮807。当按下OK按钮806时，根据输入详细信息更新操作手柄700的显示。当按下取消按钮807时，不保留输入详细信息，并且关闭操作手柄设定画面800。

在显示位置设定中提供用于输入作为坐标系的方向的X、Y和Z方向上的位置的位置输入框801至803，并且通过在位置输入框801至803中输入数值来变更操作手柄700的位置。向位置输入框801至803的输入可以是用键盘503和鼠标504直接输入所显示的数值，或者可以是用鼠标504通过位置输入框801至803的上下箭头按钮进行设定。

坐标系选择是单选按钮，并且可以选择零件坐标系按钮804和世界坐标系按钮805中的任意一个。当如图8A中所示选择零件坐标系按钮804时，以图6A至图6C中所示的操作手柄700中的XYZ方向(箭头708a)为基准，相对于当前显示的操作手柄700的位置，根据输入的数值相对地移动操作手柄700。然后，操作手柄700的显示位置被更新。在图8A中，向位置输入框801至803中的每一个输入100mm(毫米)，并且在坐标系选择中选择零件坐标系按钮804。

当如图8B的情况那样选择世界坐标系按钮805时，以图6A至图6C中所示的世界坐标系“世界”的XYZ方向为基准，相对于当前显示的操作手柄700的位置，基于输入的数值相对地移动操作手柄700。然后，操作手柄700的显示位置被更新。在图8B中，向位置输入框801至803中的每一个输入100mm，并且在坐标系选择中选择世界坐标系按钮805。

随后，在步骤S2中，根据在步骤S1中设定的值来更新操作手柄700的显示。图9A至图9F是图示出根据本实施例的显示位置被改变的操作手柄700的显示的图。

当如图8A中所示通过选择零件坐标系按钮804来更新操作手柄700的显示位置时，如图9A至图9C中所示更新操作手柄700的显示位置。在图9A至图9C中，相对于图6A至图6C中每一个的状态下显示的操作手柄700的显示位置，以操作手柄700的XYZ方向(箭头708a)为基准，相对地移动操作手柄700的显示位置。在图9A中，操作手柄700的显示位置从图6A的状态起，以操作手柄700的XYZ方向(箭头708a)为基准，在X方向上移动100mm、在Y方向上移动100mm并在Z方向上移动100mm。在图9B中，操作手柄700的显示位置从图6B的状态起，以操作手柄700的XYZ方向(箭头708a)为基准，在X方向上移动100mm、在Y方向上移动100mm并在Z方向上移动100mm。在图9C中，操作手柄700的显示位置从图6C的状态起，以操作手柄700的XYZ方向(箭头708a)为基准，在X方向上移动100mm、在Y方向上移动100mm并在Z方向上移动100mm。

当如图8B中所示通过选择世界坐标系按钮805来更新操作手柄700的显示位置时，如图9D至图9F中所示更新操作手柄700的显示位置。在图9D至图9F中，相对于在图6A至图6C中的每一个的状态下显示的操作手柄700的显示位置，以世界坐标系“世界”的XYZ方向为基准，相对地移动操作手柄700的显示位置。在图9D中，操作手柄700的显示位置从图6A的状态起，以世界坐标系“世界”的XYZ方向为基准，在X方向上移动100mm、在Y方向上移动100mm并在Z方向移动100mm。在图9E中，操作手柄700的显示位置从图6B的状态起，以世界坐标系“世界”的XYZ方向为基准，在X方向上移动100mm、在Y方向上移动100mm并在Z方向上移动100mm。在图9F中，操作手柄700的显示位置从图6C的状态起，以世界坐标系“世界”的XYZ方向为基准，在X方向上移动100mm、在Y方向上移动100mm并在Z方向上移动100mm。

如上所述，根据本实施例，如图6A至图6C中所示，当操作手柄700与虚拟空间VS的虚拟模型的内部重叠并且因此难以被操作时，操作手柄700的显示位置可以如图9A至图9F中所示那样被移动(改变)。因此，与操作手柄700的显示相关的设定信息可以由用户设定，因此能够使得操作手柄700的操作变得容易。当用户选择性地改变操作手柄700的显示位置时，可以将操作手柄700显示在对于用户来说最优的位置，因此提高操作手柄700的可操作性。特别地，在日本专利特许公开No.2014-161921中，关于操作手柄本身的设定信息已经由模拟器确定，举例而言，如特定的操作手柄相对于另一个操作手柄以彩色显示或者以不同尺寸显示。但是，当如本公开的情况中那样允许用户改变关于操作手柄700本身的设定信息时，操作手柄700的可操作性得到提高。

在本实施例中，当按下操作手柄设定按钮620时，显示操作手柄设定画面800。但是，构造不限于此。操作手柄设定画面800可以通过例如快捷键(诸如图标和键盘503或虚拟键盘的功能键)而被显示。可以持续地显示操作手柄设定画面800。在操作手柄设定画面800中，除了零件坐标系或世界坐标系以外的坐标系可以被配置成供选择。例如，由用户选择性地设定的坐标系可以被配置成供选择。

第二实施例

接下来，将详细描述本公开的第二实施例。当操作手柄700的尺寸恒定时，取决于情况，操作手柄700的操作可能是困难的。因此，在本实施例中，将描述改变显示倍率以改变操作手柄700的显示中的设定信息的情况。

在下文中，硬件构造、显示画面的构造等的基本部分与上述实施例的那些相同，因此省略详细描述。在以下的实施例中，对相同或基本相同的构件指派相同的附图标记，并省略详细描述。

图10示出了根据本实施例的与操作手柄700的显示相关的控制流程图。图11示出了根据本实施例的操作手柄设定画面800。图12A至图12C是图示出根据本实施例的显示倍率被改变的操作手柄700的显示的图。

首先，在步骤S11中改变操作手柄700的设定。当用户按下操作手柄设定按钮620时，显示图11中所示的操作手柄设定画面800。图11中仅显示操作手柄设定画面800。操作手柄设定画面800可以以叠加的方式被显示为模拟画面600上的弹出窗口，或者可以被显示在显示器502中与模拟画面600不同的显示区域中。

在根据本实施例的操作手柄设定画面800中，除了第一实施例中描述的项目之外，还显示滑块808、条809和倍率输入框810作为操作手柄700的显示倍率的设定。由条809中的滑块808指示的倍率与倍率输入框810的倍率同步，并且当一个的倍率改变时，另一个的倍率也改变。通过改变滑块808或倍率输入框810的数值来改变操作手柄700的显示倍率。对倍率输入框810的输入可以是用键盘503和鼠标504直接输入所显示的数值，或者可以是用鼠标504通过倍率输入框810的上下箭头按钮进行设定。

在条809中，仅执行1[％]至1000[％](即，1/100倍至10倍)的倍率变化；但是，通过将所选择的数值输入到倍率输入框810，允许小于或等于1[％]的数值或者大于或等于1000[％]的数值。当大于或等于由条809指示的倍率的倍率被输入到倍率输入框810时，滑块808被定位在任一端部并且不移动。例如，当小于或等于1[％]的倍率被输入到倍率输入框810时，滑块808定位在纸面上的条809的左侧端部并且不移动。例如，当将大于或等于1000[％]的倍率输入到倍率输入方框810时，滑块808定位在纸面上的条809的右侧端部并且不移动。在对倍率输入框810的输入中，可以仅允许输入由条809指示的倍率范围。例如，当小于或等于1[％]的倍率被输入到倍率输入框810时，“1”被显示在倍率输入框810中。例如，当输入大于或等于1000[％]的倍率时，“1000”被显示在倍率输入框810中。例如，在上下箭头按钮处，不显示小于或等于1[％]或大于或等于1000[％]的数值。

随后，在步骤S12中，基于在步骤S11中设定的值来更新操作手柄700的显示。图12A至图12C是图示出根据本实施例的显示倍率被改变的操作手柄700的显示的图。

图12A示出了操作手柄700的显示倍率从图9E的状态变为100％的状态，即，图9E的原样状态。图12B是从图9E和图12A的状态将显示倍率设定为40[％]并且更新显示的情况。当将图9E和图12A彼此进行比较时，操作手柄700不与虚拟机械臂本体200V重叠，因此虚拟机械臂本体200V的可视性提高。图12C是从图9E和图12A的状态将显示倍率设定为300[％]并且更新显示的情况。当将图9E和图12A彼此进行比较时，操作手柄700与虚拟机械臂本体200V重叠，但是显示了操作手柄700中的足够大的箭头700a和环700b。因此，能够允许用户没有任何不便地对操作手柄700进行操作。

如上所述，根据本实施例，如图6A至图6C中所示，当操作手柄700与虚拟空间VS的虚拟模型的内部重叠并且因此难以操作时，操作手柄700的显示倍率700可以改变，如图12C中所示。因此，与操作手柄700的显示相关的设定信息可以由用户设定，因此能够使得操作手柄700的操作变得容易。当用户选择性地改变操作手柄700的显示倍率时，可以以对于用户而言最优的尺寸显示操作手柄700，因此提高了操作手柄700的可操作性。当操作手柄700的显示位置和显示倍率一起改变时，可以将操作手柄700显示为不与虚拟模型重叠，如图12B中所示，并提高虚拟模型的可视性。当允许用户改变关于操作手柄700本身的设定信息时，提高了操作手柄700的可操作性。

在本实施例中，当按下操作手柄设定按钮620时，显示操作手柄设定画面800。但是，构造不限于此。操作手柄设定画面800可以通过例如快捷键(诸如图标和键盘503的功能键)而被显示。可以持续地显示操作手柄设定画面800。在操作手柄设定画面800中，在图11的示例中，操作手柄700的显示位置和显示倍率在同一画面上改变。可替代地，可以在不同的画面上改变操作手柄700的显示位置和显示倍率。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。

第三实施例

接下来，将详细描述本公开的第三实施例。取决于模拟器的工作，推测操作手柄700在虚拟空间VS中的操作是困难的。因此，在本实施例中，将描述操作手柄700被显示在与其中显示虚拟空间VS的区域不同的区域中以改变操作手柄700的显示中的设定信息的情况。

在下文中，硬件构造、显示画面的构造等的基本部分与上述实施例的那些相同，因此省略详细描述。在以下的实施例中，对相同或基本相同的构件指派相同的附图标记，并省略详细描述。

图13示出了根据本实施例的与操作手柄700的显示相关的控制流程图。图14示出了根据本实施例的操作手柄设定画面800。图15是图示出根据本实施例的显示区域被改变的操作手柄700的显示的图。

首先，在步骤S21中改变操作手柄700的设定。当用户按下操作手柄设定按钮620时，显示图14中所示的操作手柄设定画面800。图14中仅显示操作手柄设定画面800。操作手柄设定画面800可以以叠加的方式被显示为模拟画面600上的弹出窗口，或者可以被显示在显示器502中与模拟画面600不同的显示区域中。

图14是图示出根据本实施例的操作手柄设定画面800的图。除了上述各个实施例中描述的项目之外，单选按钮─即，示出按钮811和隐藏按钮812─被显示为不同区域的显示设定。在图14中，选择示出按钮811。

随后，在步骤S22中，基于在步骤S21中设定的值更新操作手柄700的显示。图15是图示出根据本实施例的显示区域被改变的操作手柄700的显示的图。

如图15中所示，当在选择示出按钮811的状态下执行显示更新时，操作手柄画面690被显示在与其中显示虚拟空间VS的模拟画面600的区域不同的区域(画面)中。图15是从图6B的状态起，基于图14中所示的设定值，不改变操作手柄700的显示位置和显示倍率并且执行更新以使得操作手柄700'被显示在另一个区域(另一个画面)中的状态。与操作手柄700连动(interlock)的操作手柄700'被显示在操作手柄画面690上。关闭按钮691被显示在纸面上的操作手柄画面690的右上方。当关闭按钮691被按下时，可以关闭操作手柄画面690。在图15中，操作手柄画面690被显示为叠加在模拟画面600上；但是，构造不限于此。例如，操作手柄画面690可以被显示在显示器502中与模拟画面600不同的显示区域中。

随后，在步骤S23中，操作操作手柄画面690上的操作手柄700'。当通过用鼠标504拖动来操作箭头700a'或环700b'时，与箭头700a'或环700b'的操作同步地操作在虚拟空间VS中显示的箭头700a或环700b，并且编辑虚拟机械臂本体200V。

在上述本实施例中，操作手柄被显示在与模拟画面600不同的区域(画面)中。因此，用户能够设定与操作手柄700的显示相关的设定信息，并且即使当操作手柄与虚拟空间中的模型重叠时，也能够用另一个区域(另一个画面)中的操作手柄来执行操作，因此可操作性得到提高。当允许用户改变关于操作手柄700本身的设定信息时，操作手柄700的可操作性得到提高。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。

第四实施例

接下来，将详细描述本公开的第四实施例。如果操作手柄700的尺寸与虚拟空间VS的缩放(zoom)操作同步地更新，那么操作手柄被与减小(zoom-out)和扩大(zoom-in)同步地缩小或放大，因此可能难以操作操作手柄700。因此，在本实施例中，将描述即使当执行虚拟空间VS的缩放操作作为操作手柄700的显示中的设定信息时也维持操作手柄700的尺寸的模式。

在下文中，硬件构造、显示画面的构造等的基本部分与上述实施例的那些相同，因此省略详细描述。在以下的实施例中，对相同或基本相同的构件指派相同的附图标记，并省略详细描述。

图16示出了根据本实施例的与操作手柄700的显示相关的控制流程图。图17A至图17C是图示出根据本实施例的显示倍率被改变的操作手柄700的显示的图。

首先，在步骤S31中，执行虚拟空间VS的画面的缩放操作。可以通过使用鼠标504的一般滚轮操作、滑块操作、数值输入等来执行缩放操作。当显示模拟画面600的显示器502是触摸面板时，可以通过经由用户的触摸的向外推或向内捏来执行缩放操作。

随后，在步骤S32中，根据设定的显示倍率和通过缩放操作的缩放倍率来取得操作手柄700中的缩放后的显示倍率。对于设定的显示倍率，取得在上述第二实施例中描述的设定的显示倍率。默认设定的显示倍率被设定为100[％]。缩放倍率是缩放操作中的输入倍率。本次设定的显示倍率是100[％]。然后，将假设缩放操作中减小的情况下的缩放倍率是30[％]来进行描述。而且，将假设在缩放操作中扩大情况下的缩放倍率为300[％]来进行描述。

在步骤S32中，计算包括小数点的设定的显示倍率除以缩放倍率的商(设定的显示倍率/缩放倍率)。不是整数而是包括小数点，可以通过缩放对尺寸执行微小调整。在本实施例中，将描述执行到小数点后面两位的计算的情况。在本实施例的情况下，由于减小操作是100[％]除以30[％]的商，即，3.33...，因此缩放操作之后的显示倍率是333.33[％]。由于对于扩大操作，100[％]除以300[％]的商是0.33...，因此缩放操作之后的显示倍率是33.33[％]。

随后，在步骤S33中，根据在步骤S32中取得的缩放后的显示倍率来更新操作手柄700的显示。图17A是图9E的状态并且示出了缩放之前的操作手柄700。图17B示出了被显示在虚拟空间VS中的操作手柄700，虚拟空间VS从图17A的状态起被减小了30[％]的缩放倍率。图17C示出了被显示在虚拟空间VS中的操作手柄700，虚拟空间VS被扩大了300[％]的缩放倍率。

由于减小，除了操作手柄700之外的整体虚拟模型比图17B中的要小；但是，操作手柄700以333.33[％]的所取得的缩放后的显示倍率的倍率被显示并且明显大于虚拟模型。换句话说，维持与图17A的状态下的操作手柄700的尺寸相当的尺寸。因此，即使当执行缩放操作时，画面上的表观尺寸也与图17A的状态中操作手柄700相比保持不变。

由于扩大，除了操作手柄700之外的整体虚拟模型比图17C中的更大。但是，操作手柄700以33.33[％]的所取得的缩放后的显示倍率的倍率被显示并且明显小于虚拟模型。换句话说，维持与图17A的状态下的操作手柄700的尺寸相当的尺寸。因此，即使当执行缩放操作时，画面上的表观尺寸也与图17A的操作手柄700相比保持不变。

根据本实施例，即使当执行虚拟空间VS的缩放操作时，显示也以使得画面上的操作手柄的尺寸表观地不变的方式被更新。因此，能够减少由于减小导致操作手柄的尺寸过度缩小而引起的访问操作手柄方面的困难。还能够减少由于扩大导致操作手柄的尺寸过度增大使得发生操作手柄的一部分被显示在画面之外而引起的访问操作手柄的困难。因此，能够在缩放操作之后容易地操作操作手柄，因此可操作性得到提高。当允许用户改变关于操作手柄700本身的设定信息时，操作手柄700的可操作性得到提高。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。为了允许用户设定是否维持显示倍率，可以在模拟画面600或操作手柄设定画面800上显示设定按钮等。

第五实施例

接下来，将详细描述本公开的第五实施例。当对操作手柄700进行操作时，用鼠标504将光标放在与箭头700a和环700b对应的模型上并拖动。但是，当箭头700a或环700b被埋没在机械臂或工件的虚拟模型内时，可能无法选择操作手柄700。为此，在本实施例中，将描述以下模式：作为操作手柄700的显示中的设定信息，以透明模式显示除了操作手柄700之外的虚拟模型，同时显示操作手柄700，以使得易于操作操作手柄700。

在下文中，硬件构造、显示画面的构造等的基本部分与上述实施例的那些相同，因此省略详细描述。在以下的实施例中，对相同或基本相同的构件指派相同的附图标记，并省略详细描述。

图18示出了根据本实施例的与操作手柄700的显示相关的控制流程图。图19A和图19B是图示出根据本实施例的透明模式下的虚拟模型的图。图19A示出了在未显示操作手柄700的状态下模拟画面600中的虚拟空间VS。图19B示出了在显示操作手柄700的状态下模拟画面600中的虚拟空间VS。如图19A和图19B中所示，在本实施例中，操作手柄显示按钮630被显示在模拟画面600上。

如图18中所示，首先，在步骤S41中显示操作手柄700。当在图19A的状态下用鼠标504按下操作手柄显示按钮630时，如图19B中所示，操作手柄700被显示在虚拟空间VS中。在图19B的状态下，操作手柄显示按钮630由“隐藏操作手柄(I)”指示，并且当在这个状态下按下操作手柄显示按钮630时，操作手柄700被隐藏，如图19A中所示。例如，可以通过图标或快捷键─诸如键盘503的功能键─来切换示出/隐藏状态。通过点击虚拟空间VS可以切换示出/隐藏状态。

接下来，在步骤S42中，如图19B中所示，在显示操作手柄700之后，以半透明模式显示作为除了操作手柄700之外的虚拟模型的虚拟机械臂本体200V、虚拟机械手本体300V以及虚拟工件WV。

随后，在步骤S43中，当用户访问透明虚拟模型与操作手柄700重叠的部分时，优先访问操作手柄700。在本实施例中，设定了优先级次序；但是，可以只接受对操作手柄700的访问。

当显示被更新为透明模式并且优先访问操作手柄700时，即使当例如操作手柄700与工件WV重叠时，箭头700a和环700b的位置也被了解，并且可以用鼠标504操作箭头700a和环700b。当显示操作手柄700时，维持透明模式和访问优先级状态。

随后，在步骤S44中，当按下操作手柄显示按钮630时，隐藏操作手柄700。随后，在步骤S45中结束除了操作手柄700之外的虚拟模型的透明模式，并且显示状态返回(更新)到图19A的显示状态。取消在步骤S43中设定的优先级访问次序。当仅接受对操作手柄700的访问时，也接受对虚拟模型的访问。

根据本实施例，即使当操作手柄和虚拟模型彼此重叠时，除了操作手柄之外的虚拟模型也被设定为在显示操作手柄的同时以透明模式被显示。因此，能够使用户准确地了解操作手柄的位置。通过与访问虚拟模型相比对于访问操作手柄给予更高的优先级，能够准确地操作操作手柄。当允许用户改变关于操作手柄700本身的设定信息时，操作手柄700的可操作性得到提高。

在本实施例中，已经在图19A中操作手柄700被隐藏的状态下进行了描述；但是，构造不限于此。例如，在图19A中，操作手柄700可以被配置成以透明模式显示。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。

第六实施例

接下来，将详细描述本公开的第六实施例。在执行虚拟机械臂本体200V的示教时，用户能够容易地了解所示教的姿势是否是机械臂本体200能够做出的姿势，因此能够提供操作性更高的模拟。在本实施例中，将描述通过操作手柄700使得用户容易了解虚拟机械臂本体200V的姿势是否是机械臂本体200可以做出的姿势的模式。

在下文中，硬件构造、显示画面的构造等的基本部分与上述实施例的那些相同，因此省略详细描述。在以下的实施例中，对相同或基本相同的构件指派相同的附图标记，并省略详细描述。

图20A至图20C是示出根据本实施例的虚拟机械臂本体200V的特异点(singularpoint)的姿势的示例的图。特异点是从机械臂的姿势的计算式的观点来看机械臂无法控制的姿势。特异点的示例包括将手(虚拟机械手本体300V)伸到末端的状态的姿势。图20A示出了虚拟机械臂本体200V的姿势不是特异点的状态。图20B示出了机械臂本体200V的姿势处于特异点附近的状态。图20C示出了虚拟机械臂本体200V是特异点的状态。在本实施例中，描述了手伸到末端的状态的特异点；但是，特异点不限于此。例如，在六轴多关节机器人的情况下，多于两个轴被布置在一条直线上的情况也是特异点。

在图20A的情况下，虚拟机械手本体300V具有上下左右方向上的自由度，并且控制是可能的。但是，在图20C的状态下，相对于手延伸的方向，在平面方向上不存在自由度。因此，如果在真实机器的机械臂本体200中执行这个状态，那么由于特异点而不可能进行控制。在示教时检查这种特异点是重要的。迄今为止，当使用通过示教获得的示教点的程序在真实机器上运行时，这种特异点大多被认为是个错误。本实施例使得能够检查用操作手柄700操作虚拟机械臂本体200V期间的特异点的状态。

图21示出了根据本实施例的与操作手柄700的显示相关的控制流程图。图22A和图22B以及图23A和图23B是根据本实施例的带有特异点的指示的与操作手柄700的显示相关的图。

首先，在步骤S51中，用户通过操作手柄700操作虚拟机械臂本体200V和/或虚拟机械手本体300V，以改变虚拟机械臂本体200V的姿势。

随后，在步骤S52中，执行特异点计算处理。在特异点计算处理中，一般而言，以移动目的地处的姿态作为输入执行雅可比矩阵(Jacobian)计算，确定雅可比矩阵是否变为零(特异点：异常)或接近于0的值(特异点附近：警告)，并输出结果。确定姿势是否是特异点或接近特异点。对于雅可比矩阵计算，使用一般技术，因此省略其描述。特异点计算处理的方法可以是除了雅可比矩阵以外的方法。例如，在两个或更多个轴被布置在直线上的特异点的情况下，可以监视特定关节角度，或者可以通过在距离特定轴的延长线的一定范围内提供阈值来监视轴。

随后，在步骤S52中，在操作手柄700上指示特异点计算的结果。图22A是在操作手柄700的中心处提供的方形模型(对象)700c上用颜色示出特异点的状态时的图。在本实施例中，箭头700a可以被称为第一模型，方形模型700c可以被称为第二模型，而环700b可以被称为第三模型。在正常(既不是特异点也不是特异点附近)情况下，方形模型700c以第一颜色(例如，蓝色)显示。在警告(在特异点附近)情况下，方形模型700c以第二颜色(例如，黄色)显示。在异常(特异点)情况下，方形模型700c以第三颜色(例如，红色)显示。颜色的布置不限于此。可以使用任何颜色，只要使用不同的可区分的颜色即可。方形模型700c可以具有其它形状。可以使用所选择的形状，诸如三角形、矩形、梯形、圆形和星形。正常情况可以被称为第一阶段，警告情况可以被称为第二阶段，而异常情况可以被称为第三阶段。

图22B是在操作手柄700周围的中心处提供的方形模型(对象)700c上用图案(诸如设计图案)示出特异点的状态时的图。在正常(既不是特异点也不是特异点附近)情况下，方形模型700c以第一图案显示，该第一图案也可以是无图案(单色)。在警告(在特异点附近)情况下，方形模型700c以第二图案(例如，网格图案)显示。在异常(特异点)情况下，方形模型700c以第三图案(点图案)显示。图案不限于此。可以使用任何图案，只要用户能够识别正常、警告或异常即可。在本实施例中，已经描述了中心方形模型的颜色和设计；但是，构造不限于此。例如，箭头700a或环700b可以被改变。

图23A和图23B是图示出根据本实施例的在用弹出窗口710指示特异点的状态时操作手柄700的显示的图。图23A示出了警告(在特异点附近)情况下的弹出窗口710。图23B示出了异常(特异点)情况下的弹出窗口710。以这种方式，在操作手柄700附近显示的弹出窗口710与操作手柄700的移动同步(连动)。因此，能够确定特异点的状态。在本实施例中，描述了与操作手柄700的移动连动地显示弹出窗口710的情况。弹出窗口710可以被显示在虚拟空间VS、模拟画面600或显示器502中的预定固定位置处。

图24A至图24D示出了在本实施例中用操作手柄700改变虚拟机械臂本体200V和/或虚拟机械手本体300V的姿势时操作手柄700的显示状态的改变。

图24A示出虚拟机械臂本体200V位于特异点附近时的模拟画面600。在这种状态下，操作手柄700的方形模型700c如图22A中所示显示为黄色，或者如图22B中所示显示为网格。如图24B中所示，假设姿势从这个状态转变到在虚拟机械臂本体200V中被确定为特异点的姿势。此时，与用户改变虚拟机械臂本体200V的姿势连动地，操作手柄700的方形模型700c如图22A中所示以红色显示，或者如图22B中所示以点显示。以这种方式，操作手柄700的方形模型700c的显示与被用户改变的虚拟机械臂本体200V的状态同步(连动)。因此，由于用户操作操作手柄700，因此用户能够立即了解虚拟机械臂本体200V的姿势处于哪个状态。

类似地，图24C示出了当确定虚拟机械臂本体200V位于特异点附近时的模拟画面600。在这种状态下，被显示为如图23A中所示的“特异点附近”的弹出窗口710与操作手柄700的移动连动地显示。假设姿势从这个状态转变到如图24D中所示的虚拟机械臂本体200V被确定为特异点的姿势。此时，与用户改变虚拟机械臂本体200V的姿势连动地，显示带有如图23B中所示的特异点的指示的弹出窗口710。以这种方式，弹出窗口710的显示与被用户改变的虚拟机械臂本体200V的状态同步(连动)。因此，用户能够立即了解虚拟机械臂本体200V的姿势处于哪个状态。

根据本实施例，在机械臂的操作期间，改变操作手柄的显示模式以指示机械臂中的特异点的状态。利用这种构造，能够立即确定不应当示教的姿势，因此能够高效地执行示教作业。机械臂的状态被显示在操作手柄的模型上或操作手柄附近。由此，能够使操作操作手柄的用户可靠地目视识别机械臂的状态。为了允许用户设定是否用操作手柄700指示特异点，可以在模拟画面600或操作手柄设定画面800上显示设定按钮等。当允许用户改变关于操作手柄700本身的设定信息时，操作手柄700的可操作性得以提高。

在本实施例中，以机械臂变为特异点的状态的示例进行描述；但是，构造不限于此。例如，也可以如上所述将虚拟机械臂本体200V和/或虚拟机械手本体300V与周围对象发生干扰的干扰状态分类成阶段并显示。干扰状态可以被分类为正常(既不是干扰也不是干扰附近)情况、警告(参考模型之间设定的阈值的干扰附近)情况和异常(模型彼此重叠的干扰)情况并被显示。关于虚拟机械臂本体200V和/或虚拟机械手本体300V是否超出机械臂本体200内的机械机构(诸如马达、减速器、和连杆)的操作范围的范围外状态可以如上所述被分类成阶段并显示。范围外状态可以被分类为正常(既不超出范围也不在超出范围附近)情况、警告(参考设定的阈值的超出范围附近)情况和异常(超出范围)情况并被显示。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。

在本实施例中，方形模型700c的颜色或图案根据多个阶段而改变。但是，构造不限于此。例如，方形模型700c的形状可以改变，如正常情况下，方形模型700c的形状是矩形；在警告情况下，方形模型700c的形状是三角形；且在异常情况下，方形模型700c的形状是星形。在指示干涉状态时，可以改变操作虚拟工件WV的操作手柄的显示。

第七实施例

接下来，将详细描述本公开的第七实施例。在上述各个实施例中，在设定与操作手柄700的显示相关的设定信息时，通过例如打开选单并输入数值来更新操作手柄700的显示。在本实施例中，将描述通过用光标直接改变虚拟空间VS中显示的操作手柄700来改变显示中的设定信息的模式。

在下文中，硬件构造、显示画面的构造等的基本部分与上述实施例的那些相同，因此省略详细描述。在以下的实施例中，对相同或基本相同的构件指派相同的附图标记，并省略详细描述。

图25示出了根据本实施例的与操作手柄700的显示相关的控制流程图。图26A至图26C是图示出根据本实施例的显示位置和/或显示倍率被改变的操作手柄700的显示的图。

如图25中所示，首先，在步骤S61中，由用户设定操作手柄显示改变模式。图26A是通过用光标650按下操作手柄显示改变模式按钮640来将操作手柄显示改变模式从关闭状态设定为开启状态时的图。用户能够通过按下操作手柄显示改变模式按钮640来在操作手柄显示改变模式的开启和关闭状态之间切换。

随后，在步骤S62中，禁止用光标650对操作手柄700中的箭头700a和环700b进行操作。由此，能够减少虽然想要使操作手柄700本身移动、放大或缩小，但由于错误地操作箭头700a或环700b而使虚拟机械臂本体200V和/或虚拟机械手本体300V移动的情况。操作手柄显示改变模式关闭的情况可以被称为第一模式，而操作手柄显示改变模式开启的情况可以被称为第二模式。

随后，在步骤S63中，使得能够用光标650改变操作手柄700的显示位置和/或显示倍率。然后，在步骤S64中，利用用光标650设定的显示位置和/或显示倍率来更新操作手柄700的显示。图26B是当操作手柄700的显示位置随着光标650改变时的图。当在用光标650点击的状态下拖动表示操作手柄700的模型时，允许以在操作手柄设定画面800中设定的坐标系为基准来移动模型。在图26B中，在绝对坐标系“世界”中改变显示位置。

图26C是当用光标650放大操作手柄700的显示倍率时的图。当用光标650点击操作手柄700时，显示边641和方形642。方形642可以具有任何形状，诸如三角形、矩形、梯形、圆形和星形。当在被点击的状态下拖动任何一个方形642时，操作手柄700的显示尺寸被改变。在图26C中，当从图26B的状态起在点击的状态下在纸面上在右下方向上拖动右下方形642时，操作手柄700处于放大状态。另一方面，当从图26C的状态起在点击的状态下在纸面上在左上方向上拖动右下方形642时，可以缩小操作手柄700。

当用户再次按下操作手柄显示改变模式按钮640并且取消操作手柄显示改变模式时，禁止用光标650改变操作手柄700的显示位置和/或显示倍率。使得能够用光标650对操作手柄700中的箭头700a和环700b进行操作。

根据本实施例，能够允许用户在虚拟空间中直接改变关于操作手柄的设定信息。由此，能够使用户直观地了解操作手柄的显示位置和显示倍率，从而进一步提高操作手柄的可操作性。当允许用户改变关于操作手柄700本身的设定信息时，操作手柄700的可操作性得以提高。

如图27中所示，可以改变操作手柄700的显示位置和/或显示倍率。在图27中，在用键盘503保持按下预定键的同时操作光标650。因此，可以改变操作手柄700的显示位置和/或显示倍率。在图27中，在Ctrl键和D键保持按下的状态下用鼠标504操作光标650。因此，操作手柄700的显示位置和/或显示倍率被改变。要输入的键以及键的组合不限于以上构造。

如图27中所示，当输入Ctrl键和D键时，确定操作手柄显示改变模式开启。然后，禁止用光标650对操作手柄700中的箭头700a和环700b进行操作，并且使得能够用光标650改变操作手柄700的显示位置和/或显示倍率。当在这个状态(按键保持被按下)下在用光标650点击的状态下拖动表示操作手柄700的模型时，允许以在操作手柄设定画面800中设定的坐标系为基准来移动模型。当在这个状态(按键保持被按下)下在用光标650点击操作手柄700时，显示边641和方形642。当在被点击的状态下拖动任何一个方形642时，可以改变操作手柄700的显示尺寸。

当按下Ctrl键和D键被释放(手指从按键释放)时，禁止用光标650改变操作手柄700的显示位置和/或显示倍率。使得能够用光标650对操作手柄700中的箭头700a和环700b进行操作。

同样利用上述实施例，能够允许用户在虚拟空间中直接改变操作手柄的显示。因此，能够使用户直观地了解操作手柄的显示位置和显示倍率，从而进一步提高操作手柄的可操作性。由于可以通过按键输入立即直接改变操作手柄的显示，因此能够进一步提高可操作性。当允许用户改变关于操作手柄700本身的设定信息时，操作手柄700的可操作性得以提高。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。

第八实施例

接下来，将详细描述本公开的第八实施例。在上述各个实施例中，在执行模拟的装置是诸如PC之类的信息处理装置500的示例中进行描述。但是，执行模拟的装置也可以是平板示教器。

在下文中，硬件构造、显示画面的构造等的基本部分与上述实施例的那些相同，因此省略详细描述。在以下的实施例中，对相同或基本相同的构件指派相同的附图标记，并省略详细描述。

图28是图示使用本实施例的平板示教器900的机器人系统1000的图。平板示教器900连接到控制器400。图29是示出根据本实施例的模拟画面600的图。在图29中，显示用于操作真实机器的机械臂本体200和机械手本体300的手操作部901和关节操作部902。手操作部901使得能够操作机械手本体300并且允许机械手本体300在分别沿着彼此正交的三个轴的三个平移方向和分别围绕三个轴的三个旋转方向上移动。关节操作部902允许机械臂本体200的关节在预定的旋转方向上移动。

根据上述本实施例，在示教器900上显示模拟画面600，并且显示操作手柄700。因此，通过示教器900，能够在虚拟空间中执行模拟的同时对真实机器进行示教。因此，可使用性提高。示教器900可以是用于示教的操作者控制面板。示教器900可以具有与信息处理装置500的功能相同的功能，或者控制器400可以具有信息处理装置500的控制单元和计算单元，并且可以通过通信将结果发送到示教器900。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。

第九实施例

将详细描述本公开的第九实施例。在上述各个实施例中，在执行模拟的装置是PC、平板计算机等的示例中进行描述。但是，执行模拟的装置可以是增强现实(AR)系统。

在下文中，硬件构造、显示画面的构造等的基本部分与上述实施例的那些相同，因此省略详细描述。在以下的实施例中，对相同或基本相同的构件指派相同的附图标记，并省略详细描述。

图30是图示出根据本实施例的使用AR系统的机器人系统1000的图。头戴式显示器910和操作件920连接到控制器400。在本实施例中，头戴式显示器910、操作件920和控制器400可以被统称为信息处理装置。在头戴式显示器910上显示在真实机器的机械臂本体200上叠加了增强现实的增强空间AR。本实施例中的模拟画面600以使得操作手柄700和光标650通过增强现实被叠加在机械臂本体200上的方式显示真实机器的机械臂本体200。在模拟画面600上操作手柄700的操作可以通过用操作件920操作光标650来执行。AR系统由头戴式显示器910和操作件920构成。后面将描述在头戴式显示器910上显示的画面的详细信息。

图31是示出根据本实施例的控制系统的控制框图。如图31中所示，控制器400包括作为硬件的CPU 911。控制器400还包括由ROM 915a、RAM 915b、HDD 915c等构成的存储设备915。控制器400还包括用于与诸如操作件920之类的输入设备通信和连接的接口916a，以及用于与头戴式显示器910通信和连接的接口916b。

控制器400还包括接口917，用于将例如文件530形式的数据发送到外部装置(诸如另一个模拟器装置和机器人装置)或从外部装置接收数据。这些接口各自由例如串行总线、并行总线、网络接口等构成。

ROM 915a是非暂态存储设备。在计算机启动时由CPU 911读取的基本程序被存储在ROM 915a中。RAM 915b是在CPU 911的算术运算处理中使用的临时存储设备。HDD 915c是存储各种数据(诸如CPU 911的算术运算处理结果)的非暂态存储设备。

在本实施例中，用作应用软件的程序被存储在HDD 915c中。CPU 911能够通过运行程序来在真实机器环境中执行对机械臂本体200和机械手本体300的控制。

在本实施例中，非暂态计算机可读存储介质是HDD 915c，并且用作应用软件的程序被记录在HDD 915c上；但是，构造不限于此。程序可以被记录在任何记录介质上，只要记录介质是非暂态计算机可读记录介质即可。用于将程序供给计算机的记录介质的示例包括软盘、光盘、磁光盘、磁带和非易失性存储器。可以使用SSD。

CPU 911控制控制器400的整个系统。CPU 911的操作处理单元包括显示单元912、解释单元913和计算单元914。显示单元912基于头戴式显示器910的相机的图片和存储设备915中保存的信息来更新增强现实画面的显示，并将显示命令发送到头戴式显示器910。

解释单元913用诸如操作件920之类的输入设备控制增强现实画面上的操作。解释单元913解释由操作件920输入的操作细节，向计算单元914请求必要的计算，并且向显示单元912请求根据计算出的结果更新显示。解释单元913根据计算出的结果控制机械臂本体200和机械手本体300。计算单元914根据由解释单元913输入的操作信息执行与绘图(后面描述)和真实机器的操作相关的计算处理。计算结果被保存在存储设备915中。

存储设备915存储在作为以增强现实显示的画面的模拟画面600上显示的操作手柄700的显示信息。存储在存储设备915中的信息响应于来自CPU 911的请求而被输出，或者响应于来自CPU 911的请求而被更新。响应于来自外部装置的请求或者对操作件920的特定操作，CPU 911能够以文件530的形式从接口917发送保存在存储设备915中的信息。CPU 911能够根据需要经由接口917从外部源读取文件530。

例如，在控制器启动时或者在还原(恢复)处理中，CPU 911从外部装置(外部存储设备，诸如SSD和NAS)读取过去输出的文件530。然后，CPU 911可以通过更新存储设备915来再现先前的存储状态。在本实施例中，存储设备915的存储组件的存储区域是可选择的。例如，可以使用RAM 915b上的预定区域或HDD 915c的存储区域(与例如预定文件对应)。连接头戴式显示器910和操作件920的控制器400的控制系统的示例如上所述。

图32是图示出在根据本实施例的头戴式显示器910上显示的模拟画面600的图。由安装在头戴式显示器910中的相机取得(拍摄)的图片作为增强空间AR被显示在头戴式显示器910上，并且显示机械臂本体200、机械手本体300和工件W。此外，选单条610被显示为增强现实，并且显示操作手柄设定按钮620、操作手柄显示改变模式按钮640、手操作按钮660和臂操作按钮670。在显示机械臂本体200和机械手本体300的增强空间AR中，操作手柄700和光标650作为增强现实而以重叠的方式被显示。

可以通过使用操作件920来操作显示为增强现实的光标650。可以用光标650按下手操作按钮660或臂操作按钮670。当按下手操作按钮660时，在机械臂本体200的姿势保持不变且机械手本体300的位置固定的状态下，可以通过用光标650操作操作手柄700来改变机械手本体300的朝向。当根据机械臂本体200的可移动范围、通过操作手柄700输入机械手本体300不能采取的姿势时，如图33中所示，显示弹出窗口680。在图33中所示的示例中，“超出可移动范围！”在弹出窗口680中被指示以警告用户。然后，从用户输入的值不被输出到机械手本体300(维持机械手本体300的姿势)。然后，在弹出窗口680显示预定时间之后，弹出窗口680被隐藏，并且再次接受用操作手柄700的操作。

当按下臂操作按钮670时，可以通过用光标650操作操作手柄700来改变机械臂本体200的姿势，以使得可以采取由机械手本体300改变的姿势。换句话说，能够改变机械手本体300的位置和姿势，并且机械臂本体200的姿势跟随机械手本体300的位置和姿势的改变而改变。当根据机械臂本体200的可移动范围、通过操作手柄700输入机械手本体300和机械臂本体200不能采取的姿势时，显示弹出窗口680，如图33中所示。在图33中所示的示例中，“超出可移动范围！”在弹出窗口680中被指示以警告用户。然后，从用户输入的值不被输出到机械臂本体200和机械手本体300(维持机械臂本体200和机械手本体300的姿势)。然后，在弹出窗口680显示预定时间之后，弹出窗口680被隐藏，并且再次接受用操作手柄700的操作。

本实施例中的弹出窗口680指示关于机械臂本体200和机械手本体300的可移动范围的状态；但是，构造不限于此。弹出窗口680可以指示例如关于特异点的状态或关于干扰的状态。当用操作手柄700操作真实机器的机械臂本体200和/或机械手本体300时，操作手柄700可以如第六实施例中所述的那样多阶段地指示超出可移动范围、特异点或干扰。

当按下操作手柄设定按钮620时，如第一至第三实施例中所述，在头戴式显示器910上显示操作手柄设定画面800，并且可以执行操作手柄的显示位置、显示倍率或在另一个区域中的显示。当按下操作手柄显示按钮630时，能够如第五实施例中所述的那样改变操作手柄700的示出/隐藏状态。当按下操作手柄显示改变模式按钮640时，可以如第七实施例中所述的那样直接改变操作手柄700的显示位置和显示倍率。

接下来，将详细描述在通过增强现实显示的情况下操作手柄700的缩放操作。当使用增强现实时，过程与第四实施例的过程不同。图34是根据本实施例的控制流程图。

如图34中所示，首先，在步骤S71中开始机械臂本体200的操作。当按下臂操作按钮670时开始操作。当按下臂操作按钮670时，在步骤S72中操作手柄700被显示在增强空间AR中。

操作手柄700可以显示在TCP的位置处，或者可以显示在距TCP预定距离的相对位置处，如第一实施例中所述。

随后，在步骤S73中，穿戴头戴式显示器910的用户接近或远离机械臂本体200。在步骤S74中，计算(取得)缩放倍率，以使得即使当用户接近或远离机械臂本体200时，操作手柄700的显示倍率也恒定。步骤S74中取得的缩放倍率是通过将虚拟机械臂本体200V与真实机器的机械臂本体200进行图案匹配并取得虚拟机械臂本体200V的显示倍率而获得的。

例如，根据第四实施例，当用户远离机械臂本体200、机械臂本体200相对于虚拟机械臂本体200V缩小(减小)30[％]时，显示倍率被设定为333.33[％]。另一方面，根据第四实施例，当用户接近机械臂本体200、机械臂本体200相对于虚拟机械臂本体200V放大(扩大)300[％]时，显示倍率被设设定为33.33[％]。对于模式匹配，使用一般技术，因此省略其描述。在步骤S75中，根据在步骤S74中设定的显示倍率来更新操作手柄700的显示。为了允许用户设定是否维持显示倍率，可以在模拟画面600或操作手柄设定画面800上显示设定按钮等。

虚拟机械臂本体200V和虚拟机械手本体300V(未示出)可以以重叠的方式被显示在增强空间AR中。在这种情况下，在操作真实机器的机械臂本体200和机械手本体300之前，可以作为模拟操作虚拟机械臂本体200V和虚拟机械手本体300V。

根据本实施例，通过使用增强现实(AR)将模拟画面600显示在头戴式显示器910上，并且显示操作手柄700。因此，能够在看到真实机器的机械臂本体200的同时直观地操作操作手柄700，因此可操作性得以提高。上述各个实施例和变形例可以与本实施例和/或本变形例组合实现。

其它实施例

上述实施例的过程具体地由CPU执行。因此，CPU可以被配置成读取其上记录有能够执行上述功能的软件程序的记录介质，并且运行该程序。在这种情况下，从记录介质读取的程序本身实现上述实施例的功能，并且程序本身和其上记录该程序的记录介质是本公开的组成部分。

在每个实施例中，已经描述了计算机可读记录介质是ROM或RAM或闪存ROM并且程序被存储在ROM或RAM或闪存ROM中的情况。但是，本公开不限于此类模式。用于执行本公开的程序可以记录在任何记录介质上，只要该记录介质是计算机可读记录介质即可。

在上述各个实施例中，已经描述了使用其中机械臂本体200包括多个关节的多关节机械臂的情况；但是，关节的数量不限于此。垂直多轴构造被描述为机械臂的形式。即使对于不同形式的关节(诸如水平关节型、平行连杆型和正交机器人)，也可以实现与上述相同的构造。

上述各个实施例适用于能够根据在控制器中提供的存储设备的信息自动执行伸展和收缩、弯曲和伸长、上下移动、左右运动、或摆动操作、或它们的组合操作的机器。

本公开不限于上述实施例，并且在本公开的技术构思内可以应用许多修改。本公开的实施例中所描述的有利效果仅仅是从本公开获得的最有益的效果，并且本公开的有利效果并不限于本公开的实施例中所描述的效果。上述各个实施例和变形例可以组合实现。

本发明的(一个或多个)实施例也可以由系统或装置的计算机实现，其中计算机读出并执行记录在存储介质(其也可以被更完整地称为“非暂态计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述(一个或多个)实施例的功能，和/或计算机包括用于执行上述(一个或多个)实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))，并且由系统或装置的计算机通过例如从存储介质中读出并执行计算机可执行指令以便执行上述(一个或多个)实施例之中的一个或多个实施例的功能和/或控制一个或多个电路执行上述(一个或多个)实施例之中的一个或多个实施例的功能所执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可以包括独立计算机或独立处理器的网络来读出和执行计算机可执行指令。计算机可执行指令可以从例如网络或存储介质中提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储装置、光盘(诸如压缩盘(CD)、数字多样化盘(DVD)或蓝光盘(BD)^TM)、闪存设备、存储卡等等当中的一个或多个。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参考实施例描述了本公开，但是应该理解的是，本公开不限于所公开的实施例。以下权利要求的范围应被赋予最广泛的解释，以涵盖所有这些修改以及等同的结构和功能。

Claims (28)

1.一种通过使用虚拟模型来执行模拟的信息处理装置，其特征在于，该信息处理装置包括处理单元，其中，

处理单元被配置成

在显示单元上显示虚拟模型和操作部，该操作部被用户用来操作虚拟模型，并且

响应于用户的输入来改变关于操作部的设定信息。

2.根据权利要求1所述的信息处理装置，其中，

设定信息是在操作部与虚拟模型一起显示时的关于操作部的显示条件。

3.根据权利要求1所述的信息处理装置，其中，

处理单元被配置成

响应于用户的输入来改变操作部的显示位置。

4.根据权利要求3所述的信息处理装置，其中，

处理单元被配置成

接受在改变显示位置时的坐标系的设定。

5.根据权利要求1所述的信息处理装置，其中，

处理单元被配置成

响应于用户的输入来改变操作部的显示倍率。

6.根据权利要求1所述的信息处理装置，其中，

处理单元被配置成

响应于用户的输入，在与显示操作部的区域不同的区域中显示新的操作部，该新的操作部与操作部连动。

7.根据权利要求1所述的信息处理装置，其中，

处理单元被配置成

当通过用户的输入放大或缩小虚拟模型时，维持在放大或缩小虚拟模型之前确定的操作部的显示倍率。

8.根据权利要求1所述的信息处理装置，其中，

处理单元被配置成

响应于用户的输入来以半透明模式显示虚拟模型，该虚拟模型是用操作部操作的对象。

9.根据权利要求1所述的信息处理装置，其中，

虚拟模型包括虚拟机器人，并且

处理单元被配置成

通过用户对操作部进行操作来改变虚拟机器人的位置或姿势。

10.根据权利要求1所述的信息处理装置，其中，

处理单元被配置成

当由于用户的输入而使虚拟模型处于某一状态时，改变操作部的显示以指示出虚拟模型处于某一状态。

11.根据权利要求10所述的信息处理装置，其中，

操作部是由三轴方向上的箭头显示的第一模型、与第一模型连接的第二模型、和由分别绕箭头旋转的环显示的第三模型，并且

处理单元被配置成

改变第二模型的显示模式来指示出虚拟模型处于某一状态。

12.根据权利要求11所述的信息处理装置，其中，

处理单元被配置成

通过将某一状态分类成多个阶段来识别某一状态，并且

根据阶段在多个颜色或多个图案之间改变显示模式，从而指示出虚拟模型处于某一状态。

13.根据权利要求12所述的信息处理装置，其中，

阶段包括确定虚拟模型不处于某一状态的第一阶段、基于阈值确定虚拟模型接近某一状态的第二阶段和确定虚拟模型处于某一状态的第三阶段，并且

处理单元被配置成

对于第一阶段，以第一颜色或第一图案显示第二模型，对于第二阶段，以第二颜色或第二图案显示第二模型，并且对于第三阶段，以第三颜色或第三图案显示第二模型。

14.根据权利要求10所述的信息处理装置，其中，

操作部由通过三轴方向上的箭头表示的第一模型、与第一模型连接的第二模型和由分别绕箭头旋转的环表示的第三模型构成，并且

处理单元被配置成

改变第二模型的形状来指示出虚拟模型处于某一状态。

15.根据权利要求1所述的信息处理装置，其中，

处理单元被配置成，

当由于用户的输入而使虚拟模型处于某一状态时，与操作部一起显示第二画面并且在第二画面中指示出虚拟模型处于某一状态。

16.根据权利要求10所述的信息处理装置，其中，

虚拟模型是虚拟机械臂，并且

某一状态包括虚拟机械臂是特异点的状态、虚拟机械臂在可移动范围之外的状态和虚拟机械臂干扰另一个虚拟模型的状态中的至少一个。

17.根据权利要求10所述的信息处理装置，其中，

处理单元被配置成

与用户对虚拟模型的操作连动地改变操作部的显示。

18.根据权利要求1所述的信息处理装置，其中，

处理单元被配置成

执行用操作部操作虚拟模型的第一模式和改变操作部的显示位置或显示倍率的第二模式。

19.根据权利要求18所述的信息处理装置，其中，

处理单元被配置成

当在第一模式下、在第一模式和第二模式之间进行切换的虚拟按钮被操作或者来自输入设备的预定输入被输入时，执行第二模式。

20.根据权利要求18所述的信息处理装置，其中，

处理单元被配置成

在第二模式下允许用户直接地改变操作部的显示位置或显示倍率。

21.根据权利要求1所述的信息处理装置，其中，

提供PC、示教器和头戴式显示器中的至少一个作为显示单元。

22.一种机器人系统，其特征在于，包括由根据权利要求1至21中的任一项所述的信息处理装置来设定其操作的机器人。

23.一种通过使用根据权利要求22所述的机器人系统来制造物品的方法。

24.一种通过使用虚拟模型来执行模拟的信息处理方法，其特征在于，该信息处理方法包括：

在显示单元上显示虚拟模型和操作部，该操作部被用户用来操作虚拟模型；以及

响应于用户的输入来改变关于操作部的设定信息。

25.一种信息处理装置，其特征在于，用于操作设备并且在拍摄设备的画面上通过增强现实显示虚拟模型，该信息处理装置包括处理单元，其中，

处理单元被配置成

在显示单元上显示画面，

在画面上显示作为虚拟模型的操作部，该操作部被用户用来操作设备，并且

响应于用户的输入来改变关于操作部的设定信息。

26.根据权利要求25所述的信息处理装置，其中，

处理单元被配置成，

当虚拟模型随着用户远离或接近设备而被放大或缩小时，

维持在设备被放大或缩小之前的操作部的显示倍率。

27.一种信息处理方法，其特征在于，该方法操作设备并且在拍摄设备的画面上通过增强现实显示虚拟模型，该信息处理方法包括：

在显示单元上显示画面；

在画面上显示作为虚拟模型的操作部，该操作部被用户用来操作设备；以及

响应于用户的输入来改变关于操作部的设定信息。

28.一种非暂态计算机可读记录介质，其特征在于，存储有能够执行根据权利要求24或27所述的信息处理方法的程序。