CN114502337A - 机器人系统以及工件的三维模型的形成方法 - Google Patents

机器人系统以及工件的三维模型的形成方法 Download PDF

Info

Publication number
CN114502337A
CN114502337A CN202080069455.2A CN202080069455A CN114502337A CN 114502337 A CN114502337 A CN 114502337A CN 202080069455 A CN202080069455 A CN 202080069455A CN 114502337 A CN114502337 A CN 114502337A
Authority
CN
China
Prior art keywords
workpiece
robot
information
control device
dimensional model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080069455.2A
Other languages
English (en)
Other versions
CN114502337B (zh
Inventor
扫部雅幸
杉山裕和
田中佑树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Motors Ltd
Original Assignee
Kawasaki Jukogyo KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Jukogyo KK filed Critical Kawasaki Jukogyo KK
Publication of CN114502337A publication Critical patent/CN114502337A/zh
Application granted granted Critical
Publication of CN114502337B publication Critical patent/CN114502337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671—Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/06—Control stands, e.g. consoles, switchboards
    • B25J13/065—Control stands, e.g. consoles, switchboards comprising joy-sticks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1689—Teleoperation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35149—Generate model with haptic interface, virtual sculpting
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40195—Tele-operation, computer assisted manual operation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40553—Haptic object recognition

Abstract

本公开的机器人系统(100)具备：机器人(101)，设置在作业区域(201)内，由第二控制装置(112)控制；3D照相机(103)，由操作者操作；传感器(104)，配置于作为与作业区域(201)不同的空间的操作区域(202)，通过无线检测3D照相机(103)的位置信息及姿势信息；显示装置(105)；以及第一控制装置(111)，第一控制装置(111)取得由3D照相机(103)拍摄到的工件(300)的图像信息，从传感器(104)取得由3D照相机(103)拍摄到工件(300)时的位置信息及姿势信息，使已取得的图像信息显示于显示装置(105)，以图像信息和已取得的位置信息及姿势信息为基础，形成工件(300)的三维模型，使已形成的三维模型显示于显示装置(105)，将作为已形成的三维模型数据的第一数据输出至第二控制装置(112)。

Description

机器人系统以及工件的三维模型的形成方法
相关申请的交叉引用
本件申请主张于2019年12月13日向日本专利厅申请的特愿2019-225562号的优先权，通过参照将其整体作为构成本件申请的一部分的内容进行引用。
技术领域
本公开涉及机器人系统以及工件的三维模型的形成方法。
背景技术
公知有在各种移动终端显示表示机器人的工作单元的三维图像的显示系统(例如，参照专利文献1)。在专利文献1所公开的显示系统中，生成包含三维机器人模型以及工作单元的其他构造的模型的机器人工作单元数据，具有显示已生成的三维机器人模型等三维效果图的显示器。
另外，在专利文献1所公开的显示系统中，在用户(操作者)使用操作机构来操作显示于显示器的机器人时，在该机器人执行动作前，在显示器内示出碰撞物(例如，安全墙)。而且，在由于用户的操作而物理机器人和碰撞物碰撞的情况下，在显示器显示该碰撞。
专利文献1：日本特开2019-177477号公报
然而，在上述专利文献1所公开的显示系统中，程序员需要制作三维机器人模型、动画化的三维机器人模型等三维数据。因此，若作为机器人的作业对象的工件的种类变多，则该制作的数据数量变得庞大，数据的制作费用增加。特别是，在工件为少量的情况下，生产成本中的数据的制作费用的比例变大。
因此，在上述专利文献1所公开的显示系统中，从提高生产效率的观点出发，尚有改善的余地。
发明内容
本公开是解决上述课题的，其目的在于提供一种与现有的显示系统相比，能够使生产效率提高的机器人系统以及工件的三维模型的形成方法。
本公开所涉及的机器人系统具备：机器人，设置在作业区域内，由第二控制装置控制；3D照相机，由操作者操作；传感器，配置于作为与上述作业区域不同的空间的操作区域，通过无线来检测上述3D照相机的位置信息及姿势信息；显示装置；以及第一控制装置，上述第一控制装置取得由上述3D照相机拍摄到的工件的图像信息，从上述传感器取得由上述3D照相机拍摄到上述工件时的上述位置信息及上述姿势信息，使已取得的上述图像信息显示于上述显示装置，以已取得的上述图像信息和已取得的上述位置信息及上述姿势信息为基础，形成上述工件的三维模型，使已形成的上述三维模型显示于上述显示装置，将作为已形成的上述三维模型数据的第一数据输出至上述第二控制装置。
根据该方式的机器人系统，不需要由程序员制作工件的三维模型数据，所以能够降低数据制作所花费的费用。因此，与现有的显示系统相比，能够使生产效率提高。
本公开所涉及的工件的三维模型的形成方法检测由上述3D照相机拍摄到在作为与设置有机器人的作业区域不同的空间的操作区域配置的工件时的上述3D照相机的位置信息及姿势信息，取得拍摄到的上述工件的图像信息，取得检测到的上述位置信息及上述姿势信息，使已取得的上述图像信息显示于上述显示装置，以已取得的上述图像信息和已取得的上述位置信息及上述姿势信息为基础，形成上述工件的三维模型。
根据该方式的工件的三维模型的形成方法，不需要由程序员制作工件的三维模型数据，所以能够降低数据制作所花费的费用。因此，与现有的显示系统相比，能够使生产效率提高。
附图说明
图1是表示本实施方式1所涉及的机器人系统的概略结构的示意图。
图2是表示图1所示的机器人系统中的机器人的概略结构的示意图。
图3是表示本实施方式1所涉及的机器人系统的动作的一个例子的流程图。
图4是表示机器人系统按照图3所示的流程图进行动作时的操作区域内的状态的示意图。
图5是表示机器人系统按照图3所示的流程图进行动作时的操作区域内的状态的示意图。
图6是表示机器人系统按照图3所示的流程图进行动作时的操作区域内的状态的示意图。
图7是表示机器人系统按照图3所示的流程图进行动作时的操作区域内的状态的示意图。
图8是表示机器人系统按照图3所示的流程图进行动作时的操作区域内的状态的示意图。
图9是表示机器人系统按照图3所示的流程图进行动作时的操作区域内的状态的示意图。
图10是表示本实施方式1中的变形例1的机器人系统的概略结构的示意图。
图11是表示本实施方式1中的变形例2的机器人系统的概略结构的示意图。
图12是表示本实施方式2所涉及的机器人系统的概略结构的示意图。
图13是表示在图12所示的机器人系统中从窗观察作业区域的状态的示意图。
图14是表示本实施方式2所涉及的机器人系统的动作的一个例子的流程图。
图15是表示本实施方式2中的变形例1的机器人系统的概略结构的示意图。
图16是表示本实施方式2中的变形例1的机器人系统的动作的一个例子的流程图。
图17是表示本实施方式2中的变形例2的机器人系统的概略结构的示意图。
图18是表示本实施方式2中的变形例2的机器人系统的概略结构的示意图。
图19是表示本实施方式3所涉及的机器人系统的概略结构的示意图。
图20A是表示本实施方式3所涉及的机器人系统的动作的一个例子的流程图。
图20B是表示本实施方式3所涉及的机器人系统的动作的一个例子的流程图。
具体实施方式
以下，边参照附图边对本公开的实施方式进行说明。此外，在所有附图中，对相同或者相当的部分标注相同的附图标记，省略重复的说明。另外，在所有附图中，摘录并图示用于对本公开进行说明的构成要素，对其他构成要素有时省略图示。并且，本公开并不限定于以下的实施方式。
(实施方式1)
[机器人系统的结构]
图1是表示本实施方式1所涉及的机器人系统的概略结构的示意图。机器人系统100具备机器人101、第一操作器121、3D照相机103、传感器104、显示装置105、第一控制装置111以及第二控制装置112。机器人101以及第二控制装置112设置在作业区域201内，传感器104、显示装置105以及第一控制装置111配置于操作区域202。另外，第一操作器121在操作区域202内被操作者把持(保持)操作。在第一操作器121的前端部配设有3D照相机103。
此外，在本实施方式1中，3D照相机103布置于第一操作器121的前端部，但3D照相机103也可以不布置于第一操作器121，3D照相机103和第一操作器121也可以各自独立地构成。
作业区域201是设置有机器人101的空间，至少包括机器人101的动作范围内的空间。另外，操作区域202是从作业区域201分开的空间(与作业区域201不同的空间)。作业区域201和操作区域202可以由壁部件203划分。
在壁部件203布置有窗204，操作者能够视觉识别配置在作业区域201内的机器人101。此外，也可以构成为作业区域201是实施有防爆规格的防爆区域，操作区域202是未实施防爆规格的非防爆区域。
传感器104通过无线来检测3D照相机103(例如，透镜)的位置信息及姿势信息，输出至第一控制装置111。另外，传感器104通过无线检测第一操作器121的前端部的位置信息及姿势信息，输出至第二控制装置112。此外，对于传感器104而言，向第一控制装置111以及/或者第二控制装置112的输出可以通过无线进行，也可以通过有线进行。
传感器104例如可以是红外线传感器、照相机。此外，在传感器104为照相机的情况下，传感器104也可以不配置在操作区域202内。例如，照相机也可以是设置于操作者所携带的移动终端或者头戴式显示器等的照相机。另外，检测3D照相机103的位置信息等的传感器104和检测第一操作器121的前端部的位置信息等的传感器104可以由相同的传感器构成，也可以由不同的传感器构成。
第一操作器121供操作者把持把持部121A，操作机器人101。具体而言，机器人101以追随把持着的第一操作器121中的主体部121E的前端部的轨迹的方式进行动作，从而操作者在操作区域202内通过第一操作器121，能够直观地操作机器人101。
在把持部121A也可以配置向操作者传递布置于后述的机器人101的末端执行器20的力觉传感器所检测到的力觉信息或者声音信息的设备。作为该设备，例如可以举出振动马达，扬声器、使构成把持部的壳体伸缩的机构等。
另外，在第一操作器121也可以布置有开始/停止向工件300喷洒或喷射颗粒、液体或者气体、或者切削或研磨工件300的开关121B。
此外，第一操作器121也可以构成为操作者能够携带、手持。另外，第一操作器121的主体部121E也可以形成为与机器人101的末端执行器20相同的形状。并且，第一操作器121例如也可以使用操纵杆、键盘、数字键、示教器等公知的操作器。
3D照相机103将在操作区域202内拍摄到的图像信息输出至第一控制装置111。此外，在这里说的“图像信息”中，包括静止图像信息、动态图像信息以及视频信息中的至少一个。另外，以下的说明中的“图像信息”这样的用语也相同。而且，在3D照相机103在操作区域202内拍摄工件300等时，传感器104通过无线检测3D照相机103的位置信息及姿势信息，输出至第一控制装置111。
显示装置105显示从第一控制装置111输出的工件300以及机器人101等的三维模型、3D照相机103拍摄到的工件300等的图像信息。作为显示装置105，例如可以由安置于桌子、地板等来使用的安置式的显示器构成。另外，显示装置105也可以由操作者穿着在身上来使用的头戴式显示器或者眼镜构成。
机器人101的末端执行器20可以是能够向工件300喷洒或者喷射颗粒、液体或者气体的构造，也可以是能够切削或者研磨工件300的构造，也可以是能够焊接工件300的构造，或者也可以是能够清洗工件300的构造。这里，边参照图2，边对机器人101的结构详细进行说明。
图2是表示图1所示的机器人系统中的机器人的概略结构的示意图。
如图2所示，机器人101是具备多个连杆(这里为第一连杆11a、第二连杆11b、第三连杆11c、第四连杆11d、第五连杆11e以及第六连杆11f)的连接体、多个关节(这里为第一关节JT1、第二关节JT2、第三关节JT3、第四关节JT4、第五关节JT5以及第六关节JT6)以及支承它们的基台15的垂直多关节机器人臂。此外，在本实施方式1中，作为机器人101，采用了垂直多关节型机器人，但并不限定于此，也可以采用水平多关节型机器人。
在第一关节JT1，基台15和第一连杆11a的基端部连结为能够绕在铅垂方向上延伸的轴旋转。在第二关节JT2，第一连杆11a的前端部和第二连杆11b的基端部连结为能够绕在水平方向上延伸的轴旋转。在第三关节JT3，第二连杆11b的前端部和第三连杆11c的基端部连结为能够绕在水平方向上延伸的轴旋转。
另外，在第四关节JT4，第三连杆11c的前端部和第四连杆11d的基端部连结为能够绕在第四连杆11d的长边方向上延伸的轴旋转。在第五关节JT5，第四连杆11d的前端部和第五连杆11e的基端部连结为能够绕与第四连杆11d的长边方向正交的轴旋转。在第六关节JT6，第五连杆11e的前端部和第六连杆11f的基端部连结为能够扭转旋转。
而且，在第六连杆11f的前端部布置有机械接口。在该机械接口，以能够装卸的方式安装与作业内容对应的末端执行器20。
在这里，末端执行器20对工件300喷洒或者喷射液体(例如，涂料等)。另外，在末端执行器20，连接有向该末端执行器20供给液体的配管21。
另外，在第一关节JT1、第二关节JT2、第三关节JT3、第四关节JT4、第五关节JT5以及第六关节JT6，分别布置有作为使各关节所连结的2个部件相对旋转的致动器的一个例子的驱动马达(未图示)。驱动马达例如可以是由第二控制装置112进行伺服控制的伺服马达。另外，在第一关节JT1、第二关节JT2、第三关节JT3、第四关节JT4、第五关节JT5以及第六关节JT6，分别布置有检测驱动马达的旋转位置的旋转传感器、和检测对驱动马达的旋转进行控制的电流的电流传感器(未图示)。旋转传感器例如也可以是编码器。
第一控制装置111具备微处理器、CPU等运算处理器111a、和ROM、RAM等存储器111b。在存储器111b存储有基本程序、各种固定数据等信息。运算处理器111a读出并执行存储器111b所存储的基本程序等软件。
另外，运算处理器111a根据从3D照相机103输入的图像信息、从传感器104输入的3D照相机103拍摄到工件300时的位置信息及姿势信息，形成工件300的三维模型(3D计算机图形或者3DCAD数据)。存储器111b存储运算处理器111a已形成的工件300的三维模型。
并且，运算处理器111a将已形成的工件300的三维模型输出至显示装置105。显示装置105将从运算处理器111a输入的工件300的三维模型显示为3D工件301(参照图6等)。
第二控制装置112与第一控制装置111相同地，具备微处理器、CPU等运算处理器112a、和ROM、RAM等存储器112b。在存储器112b存储有基本程序、各种固定数据等信息。运算处理器112a通过读出并执行存储器112b所存储的基本程序等软件，来执行机器人101的各种动作。
此外，第一控制装置111以及/或者第二控制装置112可以由进行集中控制的单个控制装置构成，也可以由相互配合进行分散控制的多个控制装置构成。另外，第一控制装置111以及/或者第二控制装置112可以由微型计算机构成，也可以由MPU、PLC(ProgrammableLogic Controller)、逻辑电路等构成。
另外，在本实施方式1所涉及的机器人系统100中，采用了具备第一控制装置111和第二控制装置112双方的方式，但并不限定于此。也可以采用第一控制装置111兼具第二控制装置112的功能、即、机器人系统100仅具备第一控制装置111的方式。相同地也可以采用第二控制装置112兼具第一控制装置111的功能、即、机器人系统100仅具备第二控制装置112的方式。
[机器人系统的动作(工件的三维模型形成方法)以及作用效果]
接下来，边参照图1至图9，边对本实施方式1所涉及的机器人系统100的动作以及作用效果详细进行说明。此外，对于以下动作而言，第一控制装置111的运算处理器111a通过读出存储器111b所存储的程序来执行。
图3是表示本实施方式1所涉及的机器人系统的动作的一个例子(工件的三维模型形成方法)的流程图。图4至图9是表示机器人系统按照图3所示的流程图进行动作时的操作区域内的状态的示意图。此外，在图4至图9中，将工件的前后方向、左右方向以及上下方向表示为图中的前后方向、左右方向以及上下方向。
首先，如图4所示，在操作区域202内配置有上部开口的箱状的工件300。然后，如图5所示，操作者(作业者)为了制作该工件300的三维模型，而把持设置有3D照相机103的第一操作器121，从工件300的前方拍摄了该工件300。
此时，操作者可以借助3D照相机103取得(拍摄)一个工件300的图像信息，也可以不连续地取得(拍摄)多个工件300的图像信息，也可以取得(拍摄)工件300的视频信息。另外，操作者也可以借助3D照相机103从除工件300的前方以外的方向拍摄该工件300。
这样，第一控制装置111从3D照相机103取得该3D照相机103拍摄到的工件300的图像信息(步骤S101)。接着，第一控制装置111从传感器104取得拍摄到在步骤S101中取得的图像信息时的3D照相机103的位置信息及姿势信息(步骤S102)。
接下来，第一控制装置111使在步骤S101中取得的工件300的图像信息作为工件图像302A，显示于显示装置105(步骤S103；参照图5)。
接下来，第一控制装置111判定是否由操作者从未图示的输入器等输入了工件300的图像信息的取得结束指示指令(工件300的拍摄结束信息)(步骤S104)。
第一控制装置111在判定为从输入器等输入了工件300的拍摄结束信息的情况(步骤S104中为是)下，以在步骤S101中取得的工件300的图像信息、和在步骤S102中取得的3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型(3D计算机图形或者3DCAD)(步骤S105)。
接下来，第一控制装置111使在步骤S105中形成的工件300的三维模型作为3D工件301A，显示于显示装置105(步骤S106；参照图6)。
接下来，第一控制装置111判定是否由操作者从未图示的输入器等输入了工件300的三维模型的形成结束指示(三维模型形成结束信息)(步骤S107)。
第一控制装置111在判定为未从输入器等输入三维模型形成结束信息的情况(步骤S107中为否)下，返回至步骤S101的处理。另一方面，第一控制装置111在判定为从输入器等输入了三维模型形成结束信息的情况(步骤S107中为是)下，进入至步骤S108的处理。
在步骤S108中，第一控制装置111将在步骤S105中形成的工件300的三维模型输出至第二控制装置112，结束本程序。由此，第二控制装置112能够以工件300的三维模型数据为基础，执行机器人101的动作的控制。
另一方面，在步骤S104中，例如当在将工件图像302A显示于显示装置105后、操作者进一步拍摄工件300、被从3D照相机103输入了拍摄到的工件300的图像信息的情况下，第一控制装置111也可以判定为未从输入器等输入工件300的拍摄结束信息。
第一控制装置111在判定为未输入工件300的拍摄结束信息的情况(步骤S104中为否)下，返回至步骤S101的处理。
例如，如图7所示，若操作者从工件300的右侧的后方进一步拍摄了该工件300，则拍摄到的工件300的图像信息被输入至第一控制装置111(步骤S101)。
接下来，第一控制装置111从传感器104取得拍摄到在第二次的步骤S101中取得的图像信息时的3D照相机103的位置信息及姿势信息(步骤S102)。
接下来，第一控制装置111使在第二次的步骤S101中取得的工件300的图像信息作为工件图像302B，显示于显示装置105(步骤S103；参照图7)。由此可知，在工件300的后面下部形成有矩形的贯通孔。
然后，第一控制装置111再次判定是否从未图示的输入器等输入了工件300的图像信息的取得结束指示指令(步骤S104)。
接下来，例如，如图8所示，若操作者从工件300的上方进一步拍摄了该工件300，则拍摄到的工件300的图像信息被输入至第一控制装置111(步骤S101)。
接下来，第一控制装置111从传感器104取得拍摄到在第三次的步骤S101中取得的图像信息时的3D照相机103的位置信息及姿势信息(步骤S102)。
接下来，第一控制装置111使在第三次的步骤S101中取得的工件300的图像信息作为工件图像302C，显示于显示装置105(步骤S103；参照图8)。由此可知，在工件300的下表面形成有矩形的贯通孔。另外，操作者知道对工件300的所有部分的拍摄结束了。因此，操作者使工件300的拍摄结束信息从输入器等输出至第一控制装置111。
由此，第一控制装置111判定为从输入器等输入了工件300的拍摄结束信息(步骤S104中为是)，以在步骤S101中取得的工件300的图像信息、和在步骤S102中取得的3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型(步骤S105)。
此时，第一控制装置111例如可以以各次取得的工件300的图像信息、和各次取得的3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型。
另外，第一控制装置111例如也可以在每一次中以工件300的图像信息和3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型，并以已形成的工件300的三维模型组为基础，再次形成工件300的三维模型。
另外，第一控制装置111例如也可以执行：以第A次(例如，第一次)取得的工件300的图像信息、和3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型的处理(步骤S105)；和以在形成该三维模型的处理(步骤S105)中形成的工件300的三维模型、第B次(B≠A；例如，第二次和第三次)取得的工件300的图像信息、以及3D照相机103的位置信息及姿势信息为基础，再次形成工件300的三维模型的处理。
相同地，第一控制装置111例如也可以执行：以第A次(例如，第一次和第二次)取得的工件300的图像信息、和3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型的处理(步骤S105)；和以在形成该三维模型的处理(步骤S105)中形成的工件300的三维模型、第B次(B≠A；例如，第三次)取得的工件300的图像信息为基础，再次形成工件300的三维模型的处理。
另外，第一控制装置111例如也可以执行：以第C次(例如，第一次)取得的工件300的图像信息、和3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型的处理(步骤S105)；以第D次(D≠C；例如，第二次和第三次)取得的工件300的图像信息、和3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型的处理(步骤S105)；以及以基于第C次取得的工件300的图像信息和3D照相机103的位置信息及姿势信息而在步骤S105中形成的工件300的三维模型、和基于第D次取得的工件300的图像信息和3D照相机103的位置信息及姿势信息而在步骤S105中形成的工件300的三维模型为基础，再次形成工件300的三维模型的处理。
相同地，第一控制装置111例如也可以执行：以第C次(例如，第一次和第二次)取得的工件300的图像信息、和3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型的处理(步骤S105)；以第D次(D≠C；例如，第三次)取得的工件300的图像信息、和3D照相机103的位置信息及姿势信息为基础，形成工件300的三维模型的处理(步骤S105)；以及以基于第C次取得的工件300的图像信息和3D照相机103的位置信息及姿势信息而在步骤S105中形成的工件300的三维模型、和基于在第D次取得的工件300的图像信息和3D照相机103的位置信息及姿势信息而在步骤S105中形成的工件300的三维模型为基础，再次形成工件300的三维模型的处理。
并且，第一控制装置111也可以执行如下的处理，即、以上述的通过以第A次取得的工件300的图像信息和3D照相机103的位置信息及姿势信息为基础形成工件300的三维模型的处理(步骤S105)、和以在形成该三维模型的处理(步骤S105)中形成的工件300的三维模型、第B次取得的工件300的图像信息、以及3D照相机103的位置信息及姿势信息为基础再次形成工件300的三维模型的处理从而再次形成的工件300的三维模型、和上述的通过以基于第C次取得的工件300的图像信息和3D照相机103的位置信息及姿势信息而在步骤S105中形成的工件300的三维模型、和基于第D次取得的工件300的图像信息和3D照相机103的位置信息及姿势信息而在步骤S105中形成的工件300的三维模型为基础再次形成工件300的三维模型的处理从而再次形成的工件300的三维模型为基础，再次形成工件300的三维模型。
接下来，第一控制装置111使在步骤S105的处理中形成的工件300的三维模型作为3D工件301C，显示于显示装置105(步骤S106；参照图9)。由此，在工件300的左右侧表面下部、后表面下部以及下表面形成有矩形的贯通孔的3D工件301C显示于显示装置105。因此，操作者知道工件300的三维模型的形成已完成，使三维模型形成结束信息从输入器等输出至第一控制装置111。
由此，第一控制装置111判定为从输入器等输入了模型形成结束信息(步骤S107中为是)，将在步骤S105中形成的工件300的三维模型输出至第二控制装置112，结束本程序。
此外，第一控制装置111的运算处理器111a也可以将在步骤S105中形成的工件300的三维模型数据(3D工件301C)作为第一数据，存储于存储器111b。
在本实施方式1所涉及的机器人系统100中，第一控制装置111以由3D照相机103拍摄到的工件300的图像信息、3D照相机103拍摄到工件300时的3D照相机103的位置信息及姿势信息为基础，形成工件的三维模型，因此不需要由程序员制作工件的三维模型数据，所以能够降低数据制作所花费的费用。因此，与现有的显示系统相比，能够使生产效率提高。
另外，在本实施方式1所涉及的机器人系统100中，第一控制装置111使已形成的工件300的三维模型显示于显示装置105，因此操作者能够判定在工件300是否存在未被拍摄的部分。另外，操作者通过已显示于显示装置105的工件300的三维模型，能够理解若从哪个方向拍摄工件300则能够高效地执行工件300的拍摄。
因此，与现有的显示系统相比，能够使工件300的三维模型的形成效率提高。
并且，在本实施方式1所涉及的机器人系统100中，第一控制装置111使拍摄到的工件300(工件图像302A等)显示于显示装置105，因此操作者能够判定在工件300是否存在未被拍摄的部分。另外，操作者通过显示于显示装置105的工件300(工件图像302A等)，能够理解若从哪个方向拍摄工件300则能够高效地执行工件300的拍摄。
因此，与现有的显示系统相比，能够使工件300的三维模型的形成效率提高。
在仅使用分别仅执行一次工件300的图像信息的取得、3D照相机103的位置信息及姿势信息的取得而得到的信息，来显示工件300的图像的情况、来形成工件300的三维模型的情况下，有时不能够以完整的形式显示工件300，或者不能够以完整的形式形成三维模型。为了以更加完整的形式显示工件300的图像，形成工件300的三维模型，而优选为重复执行工件300的图像信息的取得、3D照相机103的位置信息及姿势信息的取得、以及工件300的图像信息的显示，利用重复执行这些处理从而取得的工件300的图像信息、和3D照相机103的位置信息及姿势信息，再次形成三维模型。以下对用于此的各种方式进行说明。
在本实施方式中，第一控制装置111也可以重复执行：取得由3D照相机103拍摄到的工件300的图像信息的处理(步骤S101)；从传感器104取得由3D照相机103拍摄到工件300时的位置信息及姿势信息的处理(步骤S102)；使已取得的图像信息显示于显示装置105的处理(步骤S103)，在此后，执行：基于已取得的图像信息和已取得的位置信息及姿势信息来形成工件300的三维模型的处理(步骤S105)；使已形成的三维模型显示于显示装置105的处理(步骤S106)；将作为已形成的三维模型数据的第一数据输出至第二控制装置112的处理(步骤S108)。
另外，在本实施方式中，第一控制装置111也可以在执行了取得图像信息的处理(步骤S101)、从传感器104取得位置信息及姿势信息的处理(步骤S102)、使已取得的图像信息显示于显示装置105的处理(步骤S103)、形成三维模型的处理(步骤S105)、使三维模型显示于显示装置105的处理(步骤S106)后，重复执行一次以上取得图像信息的处理(步骤S101)、从传感器104取得位置信息及姿势信息的处理(步骤S102)、使已取得的图像信息显示于显示装置105的处理(步骤S103)后，在形成三维模型的处理(步骤S105)中，执行以第A次取得的图像信息和已取得的位置信息及姿势信息为基础形成三维模型的处理、和以在形成该三维模型的处理中形成的三维模型和第B次(B≠A)取得的图像信息为基础再次形成三维模型的处理，之后，执行使三维模型显示于显示装置105的处理(步骤S106)、和将第一数据输出至第二控制装置112的处理(步骤S108)。
并且，在本实施方式中，第一控制装置111也可以在执行了取得图像信息的处理(步骤S101)、从传感器104取得位置信息及姿势信息的处理(步骤S102)、使已取得的图像信息显示于显示装置105的处理(步骤S103)、形成三维模型的处理(步骤S105)、以及使三维模型显示于显示装置105的处理(步骤S106)后，重复执行一次以上取得图像信息的处理(步骤S101)、从传感器104取得位置信息及姿势信息的处理(步骤S102)、使已取得的图像信息显示于显示装置105的处理(步骤S103)后，在形成三维模型的处理(步骤S105)中，执行以第C次取得的图像信息和已取得的位置信息及姿势信息为基础形成三维模型的处理、以第D次(D≠C)取得的图像信息为基础形成三维模型的处理、以基于第C次取得的图像信息和已取得的位置信息及姿势信息而形成的三维模型、和基于第D次(D≠C)取得的图像信息而形成的三维模型为基础再次形成三维模型的处理，之后，执行使三维模型显示于显示装置105的处理(步骤S106)、和将第一数据输出至第二控制装置112的处理(步骤S108)。
此外，在本实施方式中，也可以作业区域201为防爆区域，操作区域202为非防爆区域。由此，当在操作区域202使用第一操作器121、3D照相机103的情况下，不需要使这些装置为防爆规格。
此外，在本实施方式1中，第一控制装置111采用了在步骤S107的处理中判定是否输入了三维模型形成结束信息的方式，但并不限定于此。第一控制装置111也可以采用不执行步骤S107的处理的方式。
[变形例1]
图10是表示本实施方式1中的变形例1的机器人系统的概略结构的示意图。关于在第一操作器121布置有检测器12以及发送器13这一点，本变形例1的机器人系统100和实施方式1所涉及的机器人系统100不同。检测器12通过无线通信检测第一操作器121以及3D照相机103的位置信息和姿势信息。检测器12例如为陀螺仪传感器、照相机。在发送器13将由检测器12检测到的位置信息和姿势信息发送至第一控制装置111的本变形例1中，检测器12和发送器13相当于传感器104。此外，检测器12也可以不检测位置信息和姿势信息，检测器12也可以仅检测位置信息，也可以仅检测姿势信息。
在本变形例1的机器人系统100中，也可起到与实施方式1所涉及的机器人系统100相同的作用效果。
[变形例2]
图11是表示本实施方式1中的变形例2的机器人系统的概略结构的示意图。关于3D照相机103布置于机器人臂102的前端部这一点、和追加具备第二操作器122这一点，本变形例2的机器人系统100和实施方式1所涉及的机器人系统100不同。
机器人臂102可以是垂直多关节机器人臂，也可以是水平多关节型机器人。机器人臂102由第二操作器122操作。第二操作器122例如可以使用操纵杆、键盘、数字键、示教器等公知的操作器。在第二操作器122布置有用于指示借助3D照相机103的拍摄的开始以及停止的开关122B。
此外，也可以采用第一操作器121兼作第二操作器122的方式。该情况下，也可以在第一操作器121布置有对机器人101的操作、和机器人臂102的操作进行切换的切换器(切换开关)。
在本变形例2的机器人系统100中，也起到与实施方式1所涉及的机器人系统100相同的作用效果。
在本变形例2中，3D照相机103布置于机器人臂102的前端部，还具备操作机器人臂102的第二操作器122，因此容易得到处于机器人101附近的工件300的图像信息。
另外，在本变形例2中，第一控制装置111兼作第二控制装置112。即，第一控制装置111也实现第二控制装置112的功能。由此，能够用单个控制装置执行两种控制装置的功能，因此简化布线等结构。
(实施方式2)
[机器人系统的结构]
图12是表示本实施方式2所涉及的机器人系统的概略结构的示意图。此外，在图12中，为了方便，用图中示出的三维正交坐标系的X轴、Y轴以及Z轴的方向表示机器人的方向。关于追加具备搬运装置106这一点，本实施方式2所涉及的机器人系统100和实施方式1(包括变形例)所涉及的机器人系统不同。搬运装置106将工件从操作区域搬运至作业区域的预先设定的第一位置。搬运装置106是传送带等公知的搬运装置。
此外，在本实施方式2所涉及的机器人系统100中，也可以具备许可/禁止工件300从操作区域202向作业区域201的移动的卷升门107等。
另外，在本实施方式2中，第一操作器121为操纵杆，第一操作器121和3D照相机103独立构成。
并且，在第二控制装置112的存储器112b也可以存储有表示预先设定的规定的第一范围的标尺的三维模型信息。作为标尺的三维模型信息，例如可以是用于测量距机器人101的前端的距离的尺子的信息，也可以是表示喷射颗粒、液体或者气体的范围的圆锥(圆锥台)形状的信息。
[机器人系统的动作以及作用效果]
接下来，边参照图12至图14，边对本实施方式2所涉及的机器人系统100的动作以及作用效果详细进行说明。此外，对于以下动作而言，第二控制装置112的运算处理器112a通过读出存储器112b所存放的程序来执行。
图13是表示在图12所示的机器人系统中从窗观察作业区域的状态的示意图。图14是表示本实施方式2所涉及的机器人系统的动作的一个例子的流程图。如图13所示，操作者从窗204观察作业区域201时，存在工件300和机器人101重叠的情况。另外，存在机器人101(末端执行器20)的前端部与工件300的位置关系难以掌握的情况。该情况下，可以考虑在作业区域201内设置照相机，拍摄机器人101(末端执行器20)的前端部和工件300，向操作者显示拍摄到的视频。
然而，在机器人101对工件300进行涂装的情况、或者执行焊接作业的情况下，需要使设置于作业区域201的照相机为防爆规格。防爆规格的照相机昂贵，设备成本增加。另外，还存在若被涂装的工件的大小变化、则需要变更照相机的拍摄位置的情况，作业者的作业负担增加。
因此，在本实施方式2所涉及的机器人系统100中，第二控制装置112使用第一控制装置111制作出的工件300的三维模型，执行如下的动作(处理)。
首先，从操作者经由未图示的输入器等，向第二控制装置112输入表示对工件300执行作业(例如，涂装作业)的指示信息。如图14所示，第二控制装置112的运算处理器112a从第一控制装置111的存储器111b取得作为工件300的三维模型数据的第一数据(步骤S201)。此外，当在存储器112b中存储有第一数据的情况下，运算处理器112a也可以从存储器112b取得第一数据。
接下来，第二控制装置112的运算处理器112a从存储器112b取得作为工件300的作业区域201内的搬运位置的第一位置的位置信息(步骤S202)。
接下来，第二控制装置112的运算处理器112a从存储器112b取得作为机器人101的三维模型数据的第二数据(步骤S203)。此外，对于第二数据而言，也可以预先使程序员形成了机器人101的三维模型数据存储于存储器112b。另外，对于第二数据而言，也可以如在实施方式1所涉及的机器人系统100的动作中说明的那样，第一控制装置111使用设置于第一操作器121的3D照相机103，形成机器人101的三维模型，使该三维模型数据存储于存储器112b。
接下来，第二控制装置112的运算处理器112a使搬运装置106将配置于操作区域202的工件300搬运至作业区域201的第一位置(步骤S204)。此外，第二控制装置112也可以在从输入器等输入指示信息前预先执行步骤S201至步骤S203的处理，也可以在步骤S204的处理之后执行。
接下来，第二控制装置112的运算处理器112a取得操作者通过操作第一操作器121而从第一操作器121输出的机器人101的操作信息(动作信息)(步骤S205)。接着，第二控制装置112的运算处理器112a以在步骤S205中取得的操作信息为基础，使机器人101动作(步骤S206)。
接下来，第二控制装置112的运算处理器112a以在步骤S201至步骤S203的处理中取得的第一数据、第一位置以及第二数据、和在步骤S205中取得的操作信息为基础，使机器人101(末端执行器20)的前端部与工件300的位置关系以三维模型显示于显示装置105(步骤S207)。
具体而言，第二控制装置112的运算处理器112a使从与操作者从操作区域202观察机器人101的方向不同的方向观察的情况下的3D工件301和3D机器人101A显示于显示装置105。
这里，操作者从操作区域202观察机器人101的方向例如可以是操作者从操作区域202的窗204观察机器人101的方向(这里为X方向)。另外，例如也可以是在操作区域202配置人感传感器、将该人感传感器检测到的操作者的位置坐标与机器人101的位置坐标连结的直线方向。
并且，在本实施方式2中，与操作者从操作区域202观察机器人101的方向不同的方向是只要是除X方向以外的方向，则可以是任一方向，例如可以是与X方向正交的方向(这里为Y方向或者Z方向)。
因此，第二控制装置112的运算处理器112a例如也可以使从与操作者从操作区域202的窗204观察机器人101的方向(这里为X方向)不同的方向观察的情况下的3D工件301、和3D机器人101A显示于显示装置105。
更详细而言，如图12所示，第二控制装置112的运算处理器112a也可以使从Y方向观察的情况下的机器人101(末端执行器20)的前端部与工件300的位置关系显示于显示装置105。
此外，在步骤S207的处理中，第二控制装置112的运算处理器112a也可以使作为标尺的三维模型的3D标尺20A在显示装置105中显示于机器人101的末端执行器20(3D机器人101A)的前端(参照图12)。
接下来，第二控制装置112的运算处理器112a判定是否从操作者经由未图示的输入器等，输入了表示对工件300作业结束的指示信息(步骤S208)。
第二控制装置112的运算处理器112a在判定为未输入表示对工件300的作业结束的指示信息的情况(步骤S208中为否)下，重复步骤S205至步骤S208的处理，直到判定为输入了表示对工件300的作业结束的指示信息为止。
另一方面，第二控制装置112的运算处理器112a在判定为输入了表示对工件300的作业结束的指示信息的情况下(步骤S208中为是)，结束本程序。
在这样构成的本实施方式2所涉及的机器人系统100中，第二控制装置112使用由第一控制装置111制作出的工件300的三维模型，使机器人101(末端执行器20)的前端部与工件300的位置关系以三维模型显示于显示装置105。
由此，不需要由程序员制作工件的三维模型数据，所以能够降低数据制作所花费的费用。因此，与现有的显示系统相比，能够使生产效率提高。
并且，在本实施方式2所涉及的机器人系统100中，第二控制装置112使3D标尺20A在显示装置105中显示于机器人101的末端执行器20(3D机器人101A)的前端，因此能够减轻操作者的负担，使作业效率提高。
在本实施方式中，还具备将工件300从操作区域202搬运至作业区域201的预先设定的第一位置的搬运装置106。由此，能够使在操作区域202中用3D照相机103拍摄了的工件300移动至适合作业的正确位置。
另外，在本实施方式中，还具备操作机器人101、配置于操作区域202的第一操作器121，第二控制装置112具有存储有作为机器人101的三维模型数据的第二数据的存储器112b，并且，在操作者操作第一操作器121、使机器人101动作、使其对工件300执行作业时，第二控制装置112基于通过第一数据向第二控制装置112的输出而输入的第一数据、已搬运的工件的第一位置的位置信息、第二数据、从第一操作器121输入的机器人101的操作信息，使从与操作者从操作区域202观察机器人101的方向不同的方向观察的情况下的工件300与机器人101的前端部的位置关系显示于显示装置105。根据上述，操作者能够理解仅通过直接视觉识别机器人101、工件300而不知道的工件300与机器人101前端部的位置关系。
并且，在本实施方式中，在第一操作器121安装有3D照相机103。据此，操作者应把持的装置为单个装置即可，因此第一操作器121的操作、3D照相机103的操作变得容易。
而且，在本实施方式中，也可以构成为传感器104通过无线检测来自第一操作器121的位置信息及姿势信息，第二控制装置112以由传感器104检测到的来自第一操作器121的位置信息及姿势信息为基础来计算第一操作器121的轨迹，基于计算出的轨迹来实时地执行使机器人101动作的处理(步骤S206)。由此，容易使第一操作器121移动，因此能够正确地进行机器人101的动作。
此外，第二控制装置112也可以使基于操作者通过操作第一操作器121而产生的操作信息而使机器人101执行了的作业(第一操作器121的操作信息)存储于存储器112b。另外，第二控制装置112也可以根据存储器112b所存储的第一操作器121的操作信息，使机器人101自动地动作。
[变形例1]
[机器人系统的结构]
图15是表示本实施方式2中的变形例1的机器人系统的概略结构的示意图。关于第二控制装置112以从传感器104输入的第一操作器121的位置信息及姿势信息为基础、以追随第一操作器121的前端部的运动的方式、使机器人101(末端执行器20)动作这一点，本变形例1的机器人系统100和实施方式2所涉及的机器人系统100不同。
即，在本变形例1中，第二控制装置112以传感器104检测到的第一操作器121的位置信息及姿势信息为基础，计算第一操作器121的轨迹，实时地使机器人101动作。第二控制装置112也可以构成为：以传感器104检测到的第一操作器121的三维空间上的位置信息及姿势信息为基础，计算第一操作器121的轨迹，基于计算出的轨迹，实时地使机器人101执行向工件300喷射液体或者气体的喷射作业、切削工件300的切削作业、研磨工件300的研磨作业、焊接工件300的焊接作业、清洗工件300的清洗作业内的任一作业。喷射作业、切削作业、研磨作业、焊接作业以及清洗作业的“作业”是指机器人101对工件300执行的一系列的动作，是包括多个动作的概念。作业例如包括机器人101接近工件300的动作、对工件300开始液体的喷射等的动作、停止液体的喷射等的动作、以及从工件300分离的动作。
[机器人系统的动作以及作用效果]
边参照图15以及图16，边对本实施方式2中的变形例1的机器人系统100的动作以及作用效果详细进行说明。此外，对于以下的动作而言，第二控制装置112的运算处理器112a通过读出存储器112b所存放的程序来执行。
图16是表示本实施方式2中的变形例1的机器人系统的动作的一个例子的流程图。如图16所示，关于取代步骤S205的处理而执行步骤S205A以及步骤S205B的处理(动作)这一点，本变形例1的机器人系统100的动作和实施方式2所涉及的机器人系统100的动作不同。
具体而言，第二控制装置112的运算处理器112a从传感器104取得该传感器104检测到的第一操作器121的位置信息及姿势信息(步骤S205A)。接着，第二控制装置112的运算处理器112a以在步骤S205中取得的第一操作器121的位置信息及姿势信息为基础，计算第一操作器121的轨迹(步骤S205B)。
接下来，第二控制装置112的运算处理器112a以在步骤S205B中计算出的第一操作器121的轨迹为基础，实时地使机器人101动作(步骤S206)。
接下来，第二控制装置112的运算处理器112a以在步骤S201至步骤S203的处理中取得的第一数据、第一位置以及第二数据、和在步骤S205B中计算出的第一操作器121的轨迹为基础，使机器人101(末端执行器20)的前端部与工件300的位置关系以三维模型显示于显示装置105(步骤S207)。具体而言，如图15所示，第二控制装置112使3D工件301和3D机器人101A显示于显示装置105。
接下来，第二控制装置112的运算处理器112a判定是否从操作者经由未图示的输入器等、输入了表示对工件300的作业结束的指示信息(步骤S208)。
第二控制装置112的运算处理器112a在判定为未输入表示对工件300的作业结束的指示信息的情况(步骤S208中为否)下，重复步骤S205A至步骤S208的处理，直到判定为输入了表示对工件300的作业结束的指示信息为止。
另一方面，第二控制装置112的运算处理器112a在判定为输入了表示对工件300的作业结束的指示信息的情况(步骤S208中为是)下，结束本程序。
在本变形例1的机器人系统100中，第二控制装置112以传感器104检测到的第一操作器121的位置信息及姿势信息为基础，计算第一操作器121的轨迹，实时地使机器人101动作。
由此，操作者能够实时地操作机器人101，因此能够直观地操作机器人101。另外，能够瞬时地判断是否正在正确地执行借助机器人101的对工件300的作业动作。
另外，在本变形例1的机器人系统100中，第二控制装置112使用第一控制装置111制作出的工件300的三维模型，使机器人101(末端执行器20)的前端部与工件300的位置关系以三维模型显示于显示装置105。
由此，不需要由程序员制作工件的三维模型数据，所以能够降低数据制作所花费的费用。因此，与现有的显示系统相比，能够使生产效率提高。
在本变形例1中，也可以构成为第二控制装置112具有存储有作为机器人101的三维模型数据的第二数据的存储器112b，第二控制装置112基于在将第一数据输出至第二控制装置112的处理(步骤S108)中输入的第一数据、已搬运的工件300的第一位置的位置信息、第二数据、在实时地使机器人101动作的处理(步骤S206)中计算出的轨迹，使从与操作者从操作区域202观察机器人101的方向不同的方向观察的情况下的工件300与机器人101的前端部的位置关系显示于显示装置105。由此，操作者能够理解仅通过直接视觉识别机器人101、工件300而不知道的工件300与机器人101前端部的位置关系。
此外，第二控制装置112也可以使计算操作者通过使第一操作器121移动(操作第一操作器121)而产生的第一操作器121的轨迹、基于计算出的轨迹而使机器人101执行了的作业(第一操作器121的轨迹信息)存储于存储器112b。另外，第二控制装置112也可以根据存储器112b所存储的第一操作器121的轨迹信息，使机器人101动作。
[变形例2]
图17以及图18是表示本实施方式2中的变形例2的机器人系统的概略结构的示意图。此外，在图17以及图18中，为了方便，用图中示出的三维正交坐标系的X轴、Y轴以及Z轴的方向表示机器人的方向。如图17以及图18所示，关于第二控制装置112基于工件300的三维模型信息使表示相对于该工件300的预先设定的规定的第一部分的法线方向的线30显示于显示装置105这一点，本变形例2的机器人系统100和实施方式2所涉及的机器人系统100不同。第一部分可以是与机器人101的末端执行器20的前端对置的部分。
在本变形例2的机器人系统100中，也可以还具备报告器150。作为报告器150，可以是使文字数据或者图像数据等显示于显示装置105的形态，也可以是通过扬声器等用声音通知的形态，也可以是用光或颜色通知的形态。另外，也可以是经由通信网络在智能手机、移动电话或者平板型计算机等中用邮件或者应用程序通知的形态。
并且，在本变形例2的机器人系统100中，第二控制装置112也可以构成为：若线30和机器人101的末端执行器20(3D机器人101A中的末端执行器20)的轴心方向一致，则变更线30的颜色以及/或者线的粗细，使其显示于显示装置105(参照图18)。
另外，第二控制装置112也可以构成为若线30和机器人101的末端执行器20(3D机器人101A中的末端执行器20)的轴心方向一致，则使报告器150工作，使其报告一致的情况。
在本变形例2的机器人系统100中，也起到与实施方式2所涉及的机器人系统100相同的作用效果。
(实施方式3)
[机器人系统的结构]
图19是表示本实施方式3所涉及的机器人系统的概略结构的示意图。此外，在图19中，为了方便，用图中示出的三维正交坐标系的X轴、Y轴以及Z轴的方向表示机器人的方向。
如图19所示，关于在操作区域202配置有报告器150这一点，本实施方式3所涉及的机器人系统100和实施方式2所涉及的机器人系统100不同。作为报告器150，可以是使文字数据或者图像数据等显示于显示装置105的形态，也可以是通过扬声器等用声音通知的形态，也可以是用光或者颜色通知的形态。另外，也可以是经由通信网络在智能手机、移动电话或者平板型计算机等中用邮件或者应用软件通知的形态。
[机器人系统的动作以及作用效果]
接下来，边参照图19、图20A以及图20B，边对本实施方式3所涉及的机器人系统100的动作以及作用效果详细进行说明。此外，对于以下的动作而言，第二控制装置112的运算处理器112a通过读出存储器112b所存放的程序来执行。
图20A以及图20B是表示本实施方式3所涉及的机器人系统的动作的一个例子的流程图。如图20A以及图20B所示，关于在步骤S207与步骤S208之间执行步骤S207A至步骤S207C的处理这一点，本实施方式3所涉及的机器人系统100的动作和实施方式2所涉及的机器人系统100的动作不同。
具体而言，第二控制装置112的运算处理器112a以在步骤S201至步骤S203的处理中取得的第一数据、第一位置以及第二数据、和在步骤S205中取得的操作指令信息为基础，使机器人101(末端执行器20)的前端部与工件300的位置关系以三维模型显示于显示装置105(步骤S207)。
接下来，第二控制装置112的运算处理器112a以第一数据以及第二数据、和在步骤S205中取得的操作指令信息为基础，计算机器人101(3D机器人101A)与工件300(3D工件301)的距离A(步骤S207A)。
此时，第二控制装置112的运算处理器112a也可以计算机器人101(3D机器人101A)中的距工件300(3D工件301)最近的部分与工件300(3D工件301)的距离。
即，在机器人101的末端执行器20的前端位于与工件300最近的位置的情况下，第二控制装置112的运算处理器112a计算末端执行器20的前端与工件300的距离即可。另外，在机器人101的某部分位于与工件300最近的位置的情况下，第二控制装置112的运算处理器1112计算机器人101的该部分与工件300的距离即可。
接下来，第二控制装置112的运算处理器112a判定在步骤S207A中计算出的距离A是否为预先设定的规定的第一距离以下(步骤S207B)。这里，第一距离能够根据机器人101的动作速度以及对工件300的作业内容等设定。
在机器人101的动作速度较小的情况下，可以将第一距离设定得较小。另外，在对工件300的作业为焊接、切削、清洗以及研磨作业的情况下，也可以将第一距离设定得较小。
另一方面，在机器人101的动作速度较大的情况下，可以将第一距离设定得较大。另外，在对工件300的作业为液体等的喷射/喷洒作业的情况下，也可以将第一距离设定得较大。
作为第一距离，例如从抑制与工件300的碰撞的观点，可以为0.5cm以上，从对工件300执行作业的观点考虑也可以为30cm。
第二控制装置112的运算处理器112a在判定为距离A为第一距离以下的情况(步骤S207B中为是)下，使报告器150动作，使其报告有可能与工件300碰撞的警告(步骤S207C)。此时，第二控制装置112的运算处理器112a可以减慢机器人101的动作速度，也可以使机器人101停止。
由此，操作者能够识别机器人101有可能与工件300碰撞，能够通过操作器102，以不与工件300碰撞的方式，使机器人101操作。
因此，第二控制装置112的运算处理器112a取得从操作器102输入的操作指令信息。即，第二控制装置112的运算处理器112a返回至步骤S205的处理。
另一方面，第二控制装置112的运算处理器112a在判定为距离A不为第一距离以下的情况(步骤S207B中为否)下，判定是否从操作者经由未图示的输入器等、输入了表示对工件300的作业结束的指示信息(步骤S208)。
第二控制装置112的运算处理器112a在判定为未输入表示对工件300的作业结束的指示信息的情况(步骤S208中为否)下，重复步骤S205至步骤S208的处理，直到判定为输入了表示对工件300的作业结束的指示信息为止。
另一方面，第二控制装置112的运算处理器112a在判定为输入了表示对工件300的作业结束的指示信息的情况(步骤S208中为是)下，结束本程序。
在本实施方式3所涉及的机器人系统100中，也起到与实施方式2所涉及的机器人系统100相同的作用效果。
在本实施方式中，还具备将工件300从操作区域202搬运至作业区域201的预先设定的第一位置的搬运装置106。由此，能够使在操作区域202中用3D照相机103拍摄了的工件300移动至适合作业的正确的位置。
另外，在本实施方式中，还具备操作机器人101、配置于操作区域202的第一操作器121，第二控制装置112具有存储有作为机器人101的三维模型数据的第二数据的存储器112b，并且，第二控制装置112在操作者操作第一操作器121、使机器人101动作、使其对工件300执行作业时，基于通过第一数据向第二控制装置112的输出而输入的第一数据、已搬运的工件的第一位置的位置信息、第二数据、从第一操作器121已输入的机器人101的操作信息，使从与操作者从操作区域202观察机器人101的方向不同的方向观察的情况下的工件300与机器人101的前端部的位置关系显示于显示装置105。根据上述，操作者能够理解仅通过直接视觉识别机器人101、工件300不知道的工件300与机器人101前端部的位置关系。
并且，在本实施方式中，在第一操作器121安装有3D照相机103。据此，操作者应把持的装置为单个装置即可，因此第一操作器121的操作、3D照相机103的操作变得容易。
而且，在本实施方式中，也可以传感器104通过无线检测来自第一操作器121的位置信息及姿势信息，第二控制装置112以由传感器104检测到的来自第一操作器121的位置信息及姿势信息为基础来计算第一操作器121的轨迹，基于计算出的轨迹来实时地执行使机器人101动作的处理(步骤S206)。由此，容易使第一操作器121移动，因此能够正确地进行机器人101的动作。
根据上述说明，对于本领域技术人员而言，可清楚知道本发明的较多的改进或者其他实施方式。因此，上述说明仅作为例示进行解释，将执行本发明的最好形态以向本领域技术人员教示的目的提供。能够以不脱离本发明的方式实质上变更其构造以及/或者功能的详情。
附图标记说明
11a…第一连杆；11b…第二连杆；11c…第三连杆；11d…第四连杆；11e…第五连杆；11f…第六连杆；12…检测器；13…发送器；15…基台；20…末端执行器；21…配管；100…机器人系统；101…机器人；101A…3D机器人；102…机器人臂；103…3D照相机；104…传感器；105…显示装置；106…搬运装置；107…卷升门；111…第一控制装置；111a…运算处理器；111b…存储器；112…第二控制装置；112a…运算处理器；112b…存储器；121…第一操作器；121A…把持部；121B…开关；121E…主体部；122…第二操作器；122B…开关；150…报告器；201…作业区域；202…操作区域；203…壁部件；204…窗；300…工件；301…3D工件；301A…3D工件；301B…3D工件；301C…3D工件；302A…工件图像；302B…工件图像；302C…工件图像；JT1…第一关节；JT2…第二关节；JT3…第三关节；JT4…第四关节；JT5…第五关节；JT6…第六关节。

Claims (13)

1.一种机器人系统，其特征在于，具备：
机器人，设置在作业区域内，由第二控制装置控制；
3D照相机，由操作者操作；
传感器，配置于作为与所述作业区域不同的空间的操作区域，通过无线来检测所述3D照相机的位置信息及姿势信息；
显示装置；以及
第一控制装置，
所述第一控制装置构成为，
取得由所述3D照相机拍摄到的工件的图像信息，
从所述传感器取得由所述3D照相机拍摄到所述工件时的所述位置信息及所述姿势信息，
使已取得的所述图像信息显示于所述显示装置，
以所述图像信息、和已取得的所述位置信息及所述姿势信息为基础，形成所述工件的三维模型，
使已形成的所述三维模型显示于所述显示装置，
将作为已形成的所述三维模型数据的第一数据输出至所述第二控制装置。
2.根据权利要求1所述的机器人系统，其特征在于，
所述第一控制装置在重复执行了所述图像信息的取得、从所述传感器的所述位置信息及所述姿势信息的取得、所述图像信息向所述显示装置的显示后，执行：所述3D模型的形成；已形成的所述3D模型向所述显示装置的显示；以及所述第一数据向所述第二控制装置的输出。
3.根据权利要求1或2所述的机器人系统，其特征在于，
所述第一控制装置构成为，
在执行了所述图像信息的取得、从所述传感器的所述位置信息及所述姿势信息的取得、所述图像信息向所述显示装置的显示、所述3D模型的形成、已形成的所述3D模型向所述显示装置的显示后，重复执行一次以上的所述图像信息的取得、从所述传感器的所述位置信息及所述姿势信息的取得、所述图像信息向所述显示装置的显示，之后，
在所述3D模型的形成中，以第A次取得的所述图像信息、和已取得的所述位置信息及所述姿势信息为基础，形成所述三维模型，
以已形成的所述三维模型、和第B次取得的所述图像信息为基础，再次形成所述三维模型，其中B≠A，
之后，执行已形成的所述3D模型向所述显示装置的显示、和所述第一数据向所述第二控制装置的输出。
4.根据权利要求1～3中的任一项所述的机器人系统，其特征在于，
所述第一控制装置构成为，
在执行了所述图像信息的取得、从所述传感器的所述位置信息及所述姿势信息的取得、所述图像信息向所述显示装置的显示、所述3D模型的形成、已形成的所述3D模型向所述显示装置的显示后，重复执行一次以上的所述图像信息的取得、从所述传感器的所述位置信息及所述姿势信息的取得、所述图像信息向所述显示装置的显示，之后，
在所述3D模型的形成中，以第C次取得的所述图像信息、和已取得的所述位置信息及所述姿势信息为基础，形成所述三维模型，
以第D次取得的所述图像信息为基础，形成所述三维模型，其中D≠C，
以基于所述第C次取得的所述图像信息和已取得的所述位置信息及所述姿势信息而形成的所述三维模型、和基于所述第D次取得的所述图像信息而形成的所述三维模型为基础，再次形成所述三维模型，其中D≠C，
之后，执行已形成的所述3D模型向所述显示装置的显示、和所述第一数据向所述第二控制装置的输出。
5.根据权利要求1～4中的任一项所述的机器人系统，其特征在于，
还具备将所述工件从所述操作区域向所述作业区域的预先设定的第一位置搬运的搬运装置。
6.根据权利要求1～5中的任一项所述的机器人系统，其特征在于，
还具备操作所述机器人、配置于所述操作区域的第一操作器，
所述第二控制装置具有存储有作为所述机器人的三维模型数据的第二数据的存储器，
在所述操作者操作所述第一操作器、使所述机器人动作、使其对所述工件执行作业时，所述第二控制装置基于通过所述第一数据向所述第二控制装置的输出而被输入的所述第一数据、所述已搬运的所述工件的第一位置的位置信息、所述第二数据、以及从所述第一操作器输入的所述机器人的操作信息，使从与所述操作者从所述操作区域观察所述机器人的方向不同的方向观察的情况下的所述工件与所述机器人的前端部的位置关系显示于所述显示装置。
7.根据权利要求6所述的机器人系统，其特征在于，
在所述第一操作器安装有所述3D照相机。
8.根据权利要求7所述的机器人系统，其特征在于，
所述传感器通过无线检测来自所述第一操作器的所述位置信息及所述姿势信息，
所述第二控制装置以由所述传感器检测到的来自所述第一操作器的所述位置信息及所述姿势信息为基础，计算所述第一操作器的轨迹，基于计算出的所述轨迹，实时地使所述机器人动作。
9.根据权利要求8所述的机器人系统，其特征在于，
所述第二控制装置具有存储有作为所述机器人的三维模型数据的第二数据的存储器，
所述第二控制装置基于通过所述第一数据向所述第二控制装置的输出而被输入的所述第一数据、所述已搬运的所述工件的第一位置的位置信息、所述第二数据、以及在所述实时地进行的所述机器人的动作中计算出的所述轨迹，使从与所述操作者从所述操作区域观察所述机器人的方向不同的方向观察的情况下的所述工件与所述机器人的前端部的位置关系显示于所述显示装置。
10.根据权利要求1～9中的任一项所述的机器人系统，其特征在于，
所述作业区域为防爆区域，所述操作区域为非防爆区域。
11.根据权利要求1～10中的任一项所述的机器人系统，其特征在于，
所述3D照相机布置于机器人臂的前端部，
所述机器人系统还具备操作所述机器人臂的第二操作器。
12.根据权利要求1～11中的任一项所述的机器人系统，其特征在于，
所述第一控制装置兼作所述第二控制装置。
13.一种工件的三维模型形成方法，其特征在于，
对由所述3D照相机拍摄到在作为与设置有机器人的作业区域不同的空间的操作区域配置的工件时的、所述3D照相机的位置信息及姿势信息进行检测，
取得拍摄到的所述工件的图像信息，
取得检测到的所述位置信息及所述姿势信息，
使已取得的所述图像信息显示于所述显示装置，
以已取得的所述图像信息、和已取得的所述位置信息及所述姿势信息为基础，形成所述工件的三维模型。
CN202080069455.2A 2019-12-13 2020-12-11 机器人系统以及工件的三维模型的形成方法 Active CN114502337B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019225562 2019-12-13
JP2019-225562 2019-12-13
PCT/JP2020/046282 WO2021117868A1 (ja) 2019-12-13 2020-12-11 ロボットシステム及びワークの３次元モデルの形成方法

Publications (2)

Publication Number Publication Date
CN114502337A true CN114502337A (zh) 2022-05-13
CN114502337B CN114502337B (zh) 2024-01-09

Family

ID=76330001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080069455.2A Active CN114502337B (zh) 2019-12-13 2020-12-11 机器人系统以及工件的三维模型的形成方法

Country Status (5)

Country Link
US (1) US20230028457A1 (zh)
EP (1) EP4074474A1 (zh)
JP (1) JP6905651B1 (zh)
CN (1) CN114502337B (zh)
WO (1) WO2021117868A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023047141A (ja) * 2021-09-24 2023-04-05 村田機械株式会社 ワーク位置判定装置、レーザ加工装置、及びワーク位置判定方法
WO2023079652A1 (ja) * 2021-11-04 2023-05-11 ファナック株式会社 制御装置、制御方法、及びクラウドシステム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103659838A (zh) * 2012-08-29 2014-03-26 发那科株式会社 用机器人取出散装物品的装置和方法
JP2016197393A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017094466A (ja) * 2015-11-26 2017-06-01 株式会社デンソーウェーブ ロボットモニタシステム
CN107908152A (zh) * 2017-12-26 2018-04-13 苏州瀚华智造智能技术有限公司 一种活动式机器人自动喷涂装置、控制系统及方法
CN110389558A (zh) * 2018-04-16 2019-10-29 发那科株式会社 控制装置和控制系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2961264B1 (ja) * 1998-09-21 1999-10-12 工業技術院長 ３次元物体モデル生成方法及び３次元物体モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体
GB0023681D0 (en) * 2000-09-27 2000-11-08 Canon Kk Image processing apparatus
JP2004046542A (ja) * 2002-07-11 2004-02-12 Mitsubishi Heavy Ind Ltd モデル加工方法およびモデル加工システム
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
US10475240B2 (en) * 2010-11-19 2019-11-12 Fanuc Robotics America Corporation System, method, and apparatus to display three-dimensional robotic workcell data
JP5659787B2 (ja) * 2010-12-28 2015-01-28 トヨタ自動車株式会社 操作環境モデル構築システム、および操作環境モデル構築方法
JP5843359B2 (ja) * 2012-03-29 2016-01-13 株式会社Ｊｓｏｌ 情報処理システム、サーバ装置、端末装置、情報処理装置、情報処理方法、およびプログラム
JP6344890B2 (ja) * 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
US9996974B2 (en) * 2013-08-30 2018-06-12 Qualcomm Incorporated Method and apparatus for representing a physical scene
JP6300120B2 (ja) * 2015-12-28 2018-03-28 株式会社ニイガタマシンテクノ 制御用データ生成方法および制御用データ生成装置
JP6707485B2 (ja) * 2017-03-22 2020-06-10 株式会社東芝 物体ハンドリング装置およびその較正方法
JP2018192602A (ja) * 2017-05-19 2018-12-06 川崎重工業株式会社 作業方法およびロボットシステム
TWI650626B (zh) * 2017-08-15 2019-02-11 由田新技股份有限公司 基於三維影像之機械手臂加工方法及系統

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103659838A (zh) * 2012-08-29 2014-03-26 发那科株式会社 用机器人取出散装物品的装置和方法
JP2016197393A (ja) * 2015-04-03 2016-11-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2017094466A (ja) * 2015-11-26 2017-06-01 株式会社デンソーウェーブ ロボットモニタシステム
CN107908152A (zh) * 2017-12-26 2018-04-13 苏州瀚华智造智能技术有限公司 一种活动式机器人自动喷涂装置、控制系统及方法
CN110389558A (zh) * 2018-04-16 2019-10-29 发那科株式会社 控制装置和控制系统

Also Published As

Publication number Publication date
CN114502337B (zh) 2024-01-09
JP6905651B1 (ja) 2021-07-21
WO2021117868A1 (ja) 2021-06-17
US20230028457A1 (en) 2023-01-26
EP4074474A1 (en) 2022-10-19
JPWO2021117868A1 (ja) 2021-12-09

Similar Documents

Publication Publication Date Title
CN111093903B (zh) 机器人系统及其运行方法
EP3222393B1 (en) Automated guidance system and method for a coordinated movement machine
EP3342541B1 (en) Remote control robot system
US9849595B2 (en) Contact force limiting with haptic feedback for a tele-operated robot
CN110465935B (zh) 用于机器人编程的方法、设备和系统
CN107088878B (zh) 计算扫描空间的机器人的模拟装置
CN114502337B (zh) 机器人系统以及工件的三维模型的形成方法
CN109789556B (zh) 机器人系统及其运转方法
CN109318244B (zh) 多关节机器人的控制装置
CN111093911B (zh) 机器人系统及其运行方法
CN109789555B (zh) 机器人系统及其运转方法
CN114761180A (zh) 机器人系统
CN113631333A (zh) 机器人系统
WO2020195928A1 (ja) ロボットシステム
TW202206242A (zh) 顯示系統及機器人系統
JP2022042867A (ja) ロボット制御方法
CN116635190A (zh) 机器人系统以及机器人作业方法
CN116981548A (zh) 使用示教工具或作业者的手来设定示教点的示教装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant