CN107791245A - 机器人控制装置、机器人以及机器人系统 - Google Patents

机器人控制装置、机器人以及机器人系统 Download PDF

Info

Publication number
CN107791245A
CN107791245A CN201710753842.8A CN201710753842A CN107791245A CN 107791245 A CN107791245 A CN 107791245A CN 201710753842 A CN201710753842 A CN 201710753842A CN 107791245 A CN107791245 A CN 107791245A
Authority
CN
China
Prior art keywords
area
robot
robot controller
image
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710753842.8A
Other languages
English (en)
Inventor
相矶政司
说田信之
塚本健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN107791245A publication Critical patent/CN107791245A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41845—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by system universality, reconfigurability, modularity
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31264—Control, autonomous self learn knowledge, rearrange task, reallocate resources
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39163—Formation control, robots form a rigid formation, fixed relationship
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40004—Window function, only a specific region is analyzed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45063—Pick and place manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机器人控制装置、机器人以及机器人系统，可以基于相关联的区域使机器人把持对象物。机器人控制装置基于接收到的表示第一区域的第一区域信息、以及表示根据所述第一区域的第二区域的第二区域信息，使机器人把持被指定了与其它所述对象物的所述第一区域不重叠的所述第二区域的所述对象物，而使机器人不把持所述第二区域与其它所述对象物的所述第一区域重叠的所述对象物，其中，该第一区域是获取到的拍摄有多个所述对象物的图像中指定的区域，该第二区域是不同于所述第一区域的区域。

Description

机器人控制装置、机器人以及机器人系统
技术领域
本发明涉及机器人控制装置、机器人以及机器人系统。
背景技术
现已进行基于摄像部拍摄到的摄像图像来使机器人进行作业的技术的研究、开发。
关于该技术，已知有如下所述的跟踪方法：在规定的拍摄区域中对输送体输送的多个对象物进行拍摄，基于该摄像结果来获得各对象物的位置坐标以及方向，获得输送体的移动距离，基于位置坐标以及方向和移动距离使把持多个对象物的夹钳移动以及转动，从而在规定的可动区域内控制多个对象物的操作，在该跟踪方法中，考虑了从夹钳的角度到能够操作各对象物的角度的转动时间，计算出从夹钳的位置到各对象物的移动时间，将计算出的夹钳的移动时间设定为操作时间，从该操作时间短的对象物开始依次确定规定的可动区域内的对象物的操作顺序(参照专利文献1)。
在先技术文献
专利文献
专利文献1：日本专利特开2002-113678号公报
但是，在如上所述的跟踪方法中，在其它对象物与所把持的对象物相邻时，存在夹钳与其它对象物接触，导致夹钳、其它对象物变形的情况。
发明内容
为解决上述技术问题中至少一技术问题，本发明的一实施方式涉及一种机器人控制装置：基于接收到的表示第一区域的第一区域信息、以及表示与所述第一区域相应的第二区域的第二区域信息，使机器人把持被指定了不与其它对象物的所述第一区域重叠的所述第二区域的对象物，而使机器人不把持所述第二区域与其它对象物的所述第一区域重叠的对象物，其中，所述第一区域和所述第二区域是对获取到的拍摄有多个对象物的图像指定的区域，所述第二区域是不同于所述第一区域的区域。
通过该构成，机器人控制装置基于接收到的表示第一区域的第一区域信息、以及表示根据第一区域的第二区域的第二区域信息，使机器人把持被指定了不与其它对象物的第一区域重叠的第二区域的对象物，而使机器人不把持第二区域与其它对象物的第一区域重叠的对象物，其中，第一区域和第二区域是对获取到的拍摄有多个对象物的图像指定的区域，第二区域是不同于第一区域的区域。由此，机器人控制装置可以使机器人把持满足操作者期望的条件的对象物。
此外，本发明的其它方式也可以采用如下所述的构成：在机器人控制装置中，基于所述第一区域信息，使所述机器人把持被指定了不与对其它对象物指定的所述第一区域重叠的所述第一区域的对象物，而使所述机器人不把持被指定了与对其它对象物指定的所述第一区域重叠的所述第一区域的对象物。
通过该构成，机器人控制装置基于第一区域信息，使机器人把持被指定了不与对其它对象物指定的第一区域重叠的第一区域的对象物，而使机器人不把持被指定了与对其它对象物指定的第一区域重叠的第一区域的对象物。由此，机器人控制装置可以基于与对象物相关联的第一区域，使机器人把持满足操作者期望的条件的对象物。
此外，本发明的其它方式也可以采用如下所述的构成：在机器人控制装置中，所述第二区域随着指定了所述第一区域而被设定。
通过该构成，在机器人控制装置中，随着第一区域的指定而设定第二区域。由此，机器人控制装置可以辅助第二区域的设定。
此外，本发明的其它方式也可以采用如下所述的构成：在机器人控制装置中，所述第二区域是通过接收到的操作而指定的。
通过该构成，在机器人控制装置中，通过接收到的操作来指定第二区域。由此，机器人控制装置可以基于所设定的第二区域，使机器人把持满足操作者期望的条件的对象物。
此外，本发明的其它方式也可以采用如下所述的构成：所述机器人控制装置基于所述第一区域信息以及所述第二区域信息，对所述多个对象物中的至少一部分对象物的所述图像设定对应于所述第一区域的第三区域、以及对应于所述第二区域的第四区域，并且，使显示部显示所述第三区域和所述第四区域、以及设定了所述第三区域和所述第四区域的所述至少一部分对象物。
通过该构成，机器人控制装置基于第一区域信息以及第二区域信息，对多个对象物中的至少一部分对象物的图像设定对应于第一区域的第三区域、以及对应于第二区域的第四区域，并且，使显示部显示第三区域和第四区域、以及设定了第三区域和第四区域的至少一部分对象物。由此，机器人控制装置可以辅助操作者对对象物指定第一区域和第二区域。
此外，本发明的其它方式也可以采用如下所述的构成：在机器人控制装置中，使显示部显示所述第一区域信息表示的所述第一区域和所述第二区域信息表示的所述第二区域、以及所述对象物的所述图像。
通过该构成，机器人控制装置使显示部显示第一区域信息表示的第一区域和第二区域信息表示的第二区域、以及对象物的图像。由此，机器人控制装置可以辅助操作者使第一区域和第二区域与对象物相关联。
此外，本发明的其它方式也可以采用如下所述的构成：在机器人控制装置中，所述第一区域是包含所述对象物的轮廓全体的区域，并且是基于所述对象物的形状的区域。
通过该构成，在机器人控制装置中，第一区域是包含对象物的轮廓全体的区域，是基于对象物的形状的区域。由此，机器人控制装置可以基于包含对象物全体的第一区域，使机器人把持满足操作者期望的条件的对象物。
此外，本发明的其它方式也可以采用如下所述的构成：在机器人控制装置中，所述第一区域的形状是凸包。
通过该构成，在机器人控制装置中，第一区域的形状是凸包。由此，机器人控制装置可以基于与凸包形状的第一区域对应的第一区域，使机器人把持满足操作者期望的条件的对象物。
此外，本发明的实施方式也可以采用如下所述的构成：在机器人控制装置中，所述第二区域是与所述机器人把持所述对象物相关的区域。
通过该构成，在机器人控制装置中，第二区域是与机器人把持对象物相关的区域。由此，机器人控制装置可以基于与把持相关的第二区域，使机器人把持满足操作者期望的条件的对象物。
此外，本发明的其它方式涉及一种基于上述记载的机器人控制装置的控制进行动作的机器人。
通过该构成，机器人基于第一区域以及第二区域把持对象物。由此，机器人可以把持满足操作者期望的条件的对象物。
此外，本发明的其它方式涉及一种机器人系统，具备上述记载的机器人控制装置；以及上述记载的机器人。
通过该构成，机器人系统基于第一区域以及第二区域，使机器人把持对象物。由此，机器人系统可以使机器人把持满足操作者期望的条件的对象物。
综上所述，机器人控制装置基于接收到的表示第一区域的第一区域信息、以及表示根据第一区域的第二区域的第二区域信息，使机器人把持被指定了不与其它对象物的第一区域重叠的第二区域的对象物，而使机器人不把持第二区域与其它对象物的第一区域重叠的对象物，其中，第一区域和第二区域是对获取到的拍摄有多个对象物的图像指定的区域，第二区域是不同于第一区域的区域。由此，机器人控制装置可以使机器人把持满足操作者期望的条件的对象物。
此外，机器人以及机器人系统基于接收到的表示第一区域的第一区域信息、以及表示根据第一区域的第二区域的第二区域信息，把持被指定了不与其它对象物的第一区域重叠的第二区域的对象物，而不把持第二区域与其它对象物的第一区域重叠的对象物，其中，第一区域和第二区域是对获取到的拍摄有多个对象物的图像指定的区域，第二区域是不同于第一区域的区域。由此，机器人可以把持满足操作者期望的条件的对象物。
附图说明
图1是示出本实施方式所涉及的机器人系统1的构成的一个例子的图。
图2是示出机器人控制装置30的硬件构成的一个例子的图。
图3是示出机器人控制装置30的功能构成的一个例子的图。
图4是示出机器人控制装置30进行的处理的流程的一个例子的流程图。
图5是对第一对象物指定的第一区域的具体例1的第一图。
图6是对第一对象物指定的第一区域的具体例1的第二图。
图7是示出对第一对象物指定的第二区域的一个例子的图。
图8是示出与图像G所包含的每个对象物P相关联的第一区域以及第二区域的一个例子的图。
图9是示出机器人控制装置30使机器人20把持的对象物P的一个例子的表。
图10是对第一对象物指定的第一区域的具体例2的图。
图11是与图像G所包含的每个对象物P相关联的第一区域的具体例2的图。
图12是对第一对象物指定的第一区域的具体例3的图。
图13是与图像G所包含的每个对象物P相关联的第一区域的具体例3的图。
图14是对第一对象物指定的第一区域的具体例4的图。
图15是与图像G所包含的每个对象物P相关联的第一区域的具体例4的图。
图16是示出本实施方式所涉及的机器人系统1中的各装置的硬件构成的一个例子的图。
图17是示出变形例4所涉及的机器人系统2的构成的一个例子的图。
图18是示出变形例5所涉及的机器人系统3的构成的一个例子的图。
符号说明
1、2、3机器人系统；20、21、22机器人；30机器人控制装置；31CPU；32存储部；33输入部；34通信部；35输出部；36控制部；361获取部；362关联部；363显示控制部；364机器人控制部；PU图像处理装置；601开发用PC；602操作键；621显示装置；DP显示装置；A11、A21-1、A21-2、A31、A32、A37、A41、A41-1、A41-2、A42-1、A42-2、A43-1、A43-2、A44-1、A44-2、A45-1、A45-2、A46-1、A46-2、A47、A47-1、A47-2区域；BC带式输送机；CR摄像机；DG显示图像；G、G1图像；P、P1、P2、P3、P4、P5、P6、P7对象物；TB工作台。
具体实施方式
[实施方式]
下面，参照附图对本发明的实施方式进行说明。
<机器人系统的构成>
首先，对机器人系统1的构成进行说明。
图1是示出本实施方式所涉及的机器人系统1的构成的一个例子的图。机器人系统1具备机器人20、机器人控制装置30、图像处理装置PU、摄像机CR、显示装置DP、开发用PC601、操作键602、以及显示装置621。
在图1的例子中，在工作台TB之外的构成部中，除了操作键602之外，均承载配置于工作台TB上。
这里，关于操作键602之外的构成部，机器人20等的一部分构成部也可以配置于工作台TB的外侧(例如地板等)。
此外，并不是必须采用工作台TB，也可以是所有的构成部配置于地板等上。
带式输送机BC具备驱动部和带，通过驱动部进行驱动，从而使带进行移动。由此，带式输送机BC使载置于带上的对象物P移动。在图1的例子中，七个对象物P、即对象物P1～对象物P7被载置于带式输送机BC而进行移动。此外，通过带式输送机BC而移动的对象物P既可以少于七个，也可以为七个以上。
在图1的例子中，带式输送机BC使载置于该带式输送机BC上的物体沿预先设定的移动方向移动。在本实施方式中，该移动方向是从该物体被摄像机CR拍摄的位置朝向通过机器人20对该物体进行作业的位置的方向。
这里，在图1的例子中，示出了带式输送机BC的一部分。作为一个例子，带式输送机BC从规定的开始起点(未图示)延续至规定的结束地点(未图示)。规定的开始起点例如是配置将对象物P载置于带式输送机BC的装置的位置。此外，规定的结束地点例如是在前述移动方向上比机器人20进行规定作业的作业区域往前数m的位置。作为其它例子，带式输送机BC所具备的带也可以是不存在开始起点和结束地点的环状的带。
此外，关于载置于带式输送机BC来进行移动的对象物P1～对象物P7，也可以在本实施方式所涉及的机器人20的作业场所之外的场所(未图示)对其进行任意的作业。
需要注意的是，在本实施方式中，对象物P1～对象物P7载置于带式输送机BC来进行移动，但是，作为其它构成例，也可以将对象物P1～对象物P7载置于平台(stage)上配置为静止状态。该平台既可以是工作台TB，或者也可以是其它平台。
对象物P1～对象物P7是机器人20进行的作业所采用的工件的一个例子。对象物P1～对象物P7例如是组装于产品的板、螺杆、螺栓等工业用的零件或部件。在图1中，将对象物P1～对象物P7作为组合了长方体和半圆筒形的形状的物体来示出。此外，对象物P1～对象物P7也可以是日用品或生物体等其它物体来取代工业用的零件或部件。此外，对象物P1～对象物P7的形状也可以是其它形状来取代组合了长方体和半圆筒形的形状。
在图1的例子中，在对象物P1～对象物P7中，对象物P4和对象物P5、以及对象物P6和对象物P7以重叠的状态而配置，但是，对象物P1～对象物P7既可以配置为彼此不重叠，也可以配置为对象物P1～对象物P7都重叠的状态。
摄像机CR是拍摄规定范围的图像G的拍摄装置。在图1的例子中，该规定范围是在带式输送机BC的带上比机器人20可以进行作业的范围更靠跟前的范围，是可以拍摄包括通过带式输送机BC进行移动的对象物P中的至少一个以上的对象物P各自的轮廓的范围全体的范围。需要注意的是，摄像机CR拍摄的规定范围也可以是将设置带式输送机BC的带的范围全部包括在内的范围。在该例子中，摄像机CR配置为可以对载置于带式输送机BC进行移动的对象物P1～对象物P7进行拍摄，其被支承部SP所支承。在图1的例子中，摄像机CR配置于摄像机CR的拍摄光轴与带式输送机BC的带的上表面正交的位置(即、带式输送机BC的带的上表面和拍摄图像的面平行的位置)。
摄像机CR经由缆线以能够通信的方式与图像处理装置PU连接。由此，摄像机CR经由缆线将所拍摄的图像G的信息(图像数据)发送至图像处理装置PU。图像处理装置PU经由缆线接收从摄像机CR发送的表示图像G的图像信息。此外，摄像机CR和图像处理装置PU经由缆线的有线通信例如根据以太网(注册商标)、USB(Universal Serial Bus：通用串行总线)等标准来进行。此外，摄像机CR也可以是通过根据Wi-Fi(注册商标)等通信标准进行的无线通信与图像处理装置PU连接的构成。
此外，在本实施方式中，示出了摄像机CR固定于支承部SP的情况，但是，作为其它构成例，也可以采用能够变更摄像机CR的拍摄范围的构成。
此外，作为其它构成例，也可以采用其它设备来取代摄像机CR作为测定对象物P1～对象物P7的形状等信息的设备，例如也可以采用使用了激光器的测量设备等。
<图像处理装置>
图像处理装置PU经由缆线接收从摄像机CR发送的图像的信息。图像处理装置PU经由缆线将接收到的图像的信息发送至机器人控制装置30。图像处理装置PU经由缆线以能够通信的方式与机器人控制装置30连接。由此，图像处理装置PU经由缆线将图像G的信息(图像数据)发送至机器人控制装置30。
机器人控制装置30经由缆线接收从图像处理装置PU发送的表示图像G的图像数据。此外，图像处理装置PU和机器人控制装置30经由缆线的有线通信例如根据以太网(注册商标)、USB(Universal Serial Bus)等标准来进行。此外，摄像机CR也可以是通过根据Wi-Fi(注册商标)等通信标准进行的无线通信与图像处理装置PU连接的构成。此外，图像处理装置PU也可以对从摄像机CR接收到的图像的信息进行规定的图像处理，并经由缆线将该图像处理的结果的信息发送至机器人控制装置30。
图像处理装置PU将作为显示对象的信息向显示装置DP输出(发送)。该作为显示对象的信息例如既可以采用通过摄像机CR拍摄到的图像G的信息，也可以采用图像处理装置PU所进行的图像处理的结果的信息，或者，还可以采用机器人控制装置30所进行的处理的结果的信息。
需要注意的是，在开发时，也可以基于来自于开发用PC601的控制进行图像处理装置PU所进行的图像处理以及显示控制等中的一部分或全部。
这里，在图1的例子中，可以理解为是在机器人系统1中设置有具备图像处理装置PU的图像处理系统。该图像处理系统例如也可以包括摄像机CR。此外，该图像处理系统例如也可以包括显示装置DP。
需要注意的是，图像处理系统例如也可以是测定图像的图像测定系统等。
<显示装置>
显示装置DP经由缆线以能够通信的方式与图像处理装置PU连接。由此，图像处理装置PU经由缆线将从机器人控制装置30接收到的图像数据发送至显示装置DP。需要注意的是，显示装置DP和图像处理装置PU经由缆线的有线通信例如根据以太网(注册商标)、USB(Universal SerialBus)等标准来进行。此外，显示装置DP也可以是通过根据Wi-Fi(注册商标)等通信标准进行的无线通信与图像处理装置PU连接的构成。
显示装置DP例如是包括液晶显示面板、或者有机EL(ElectroLuminescence：场致发光)显示面板的显示装置。显示装置DP经由缆线接收从图像处理装置PU发送的表示图像G的图像数据，并显示接收到的图像数据所表示的图像G。
<开发用PC>
开发用PC601在开发机器人控制装置30中使用的程序时等使用。该程序例如是控制机器人20的动作的程序。
开发用PC601经由缆线与机器人控制装置30之间进行通信。
此外，开发用PC601例如也可以在开发结束之后，不与机器人控制装置30连接。
开发用PC601例如具有设定机器人20所进行的规定处理的条件的功能。作为处理的条件可以采用任意的条件，例如可以采用处理所使用的参数(也可以称为“特性(properties)”等)的值或范围。
在本实施方式中，在开发时，开发用PC601通过机器人控制装置30对图像处理装置PU发出命令(指示)，从而来进行各种处理。此外，在开发时，例如由用户来操作开发用PC601具有的操作部。
显示装置621例如是在画面上显示信息的显示器装置。显示装置621经由缆线从开发用PC601接收图像数据，并在画面上显示接收到的信息。
开发用PC601将作为显示对象的信息向显示装置621输出(发送)。该作为显示对象的信息例如可以采用摄像机CR所拍摄的图像G的信息，也可以采用图像处理装置PU所进行的图像处理的结果的信息，或者还可以采用机器人控制装置30所进行的处理的结果的信息。
在本实施方式中，开发用PC601对图像处理装置PU指示图像处理的执行，图像处理装置PU将图像、图像处理结果向开发用PC601发送，使显示装置621显示开发用PC601接收到的该图像、该图像处理结果。
这里，在本实施方式中，在开发时，在作为主要(main)的显示装置的开发用PC601的显示装置621上显示各种信息。
需要说明的是，在图像处理装置PU的显示装置DP中也可以显示和开发用PC601的显示装置621同样的信息，或者也可以显示其它信息。在本实施方式中，图像处理装置PU的显示装置DP用作辅助(sub)的显示装置。例如，在图像处理装置PU的显示装置DP中可以进行自动动作中的对象物的显示、或者结果显示。
<水平关节式机器人>
机器人20作为其一个例子是水平关节式机器人。此外，机器人20也可以取代水平关节式机器人而采用直角坐标机器人、单臂机器人、多臂机器人等其它机器人。直角坐标机器人例如是龙门型机器人。
在图1所示的例子中，机器人20设置于工作台TB。此外，也可以采用取代工作台TB而将机器人20设置于壁面、天花板、夹具、台架的上表面等的构成。下面，为了便于说明，将与设置有机器人20的面正交的方向、且从机器人20朝向该面的方向称为下，将与该方向相反的方向称为上，来进行说明。与设置有机器人20的面正交的方向、且从机器人20的重心朝向该面的方向例如是世界坐标系中的Z轴的负方向、或机器人坐标系RC中的Z轴的负方向。
机器人20具备设置于工作台TB的支承台B、以及可动部AM。此外，可动部AM具备：以可以绕未图示的第一轴AX1转动的方式由支承台B支承的第一臂部AM1、以可以绕未图示的第二轴AX2转动的方式由第一臂部AM1支承的第二臂部AM2、以及以可以绕未图示的第三轴AX3转动且可以在第三轴AX3的轴向上平移的方式由第二臂部AM2支承的轴(工作轴)S。可动部AM是臂部的一个例子。
轴S是圆柱形状的轴体。在轴S的周表面上分别形成未图示的滚珠丝杠槽(ballscrew groove)和花键槽。轴S设置为上下贯通第二臂部AM2的端部中的和第一臂部AM1相反一侧的端部。此外，该例子中，在轴S中，在轴S的端部中的上侧的端部上设置有半径大于该圆柱的半径的圆盘形状的凸缘。该圆柱的中心轴和该凸缘的中心轴一致。
在轴S的未设置有凸缘的一端部上设置有末端执行器E。在该例子中，末端执行器E是具备可以把持物体的指部的末端执行器。此外，末端执行器E也可以是通过空气的吸引、磁力、夹具等来举起物体的末端执行器、或其它末端执行器，来取代具备该指部的末端执行器。
末端执行器E通过缆线以能够通信的方式与机器人控制装置30连接。由此，末端执行器E进行基于从机器人控制装置30获得的控制信号的动作。
支承台B固定于工作台TB。支承台B具备未图示的第一关节。前述的第一轴AX1是该第一关节的转动轴。第一关节具备未图示的执行机构，基于从机器人控制装置30获得的控制信号使第一臂部AM1绕第一轴AX1转动。
第一臂部AM1由于绕第一轴AX1转动，因此，沿水平方向移动。在该一例中，水平方向是与上下方向正交的方向。水平方向例如是沿着世界坐标系中的XY平面的方向、或沿着机器人坐标系RC中的XY平面的方向。
第二臂部AM2具备未图示的第二关节。前述的第二轴AX2是该第二关节的转动轴。第二关节具备未图示的执行机构，基于从机器人控制装置30获得的控制信号使第二臂部AM2绕第二轴AX2转动。第二臂部AM2由于绕第二轴AX2转动，因此，沿水平方向移动。
此外，第二臂部AM2具备未图示的上下动执行机构、以及未图示的转动执行机构来支承轴S。上下动执行机构通过正时带等使设置于轴S的滚珠丝杠槽的外周部的滚珠丝杠螺母转动，从而使轴S在上下方向(即、前述的第三轴AX3的轴向)上移动(升降)。转动执行机构通过正时带等使设置于轴S的花键槽的外周部的滚珠花键螺母转动，从而使轴S绕轴S的中心轴(即、前述的第三轴AX3)转动。
机器人20具备的各执行机构分别通过缆线以能够通信的方式与机器人控制装置30连接。由此，该各执行机构分别进行基于从机器人控制装置30获得的控制信号的动作。
<机器人控制装置>
机器人控制装置30经由缆线从图像处理装置PU获取表示图像G的图像数据。此外，在可以变更摄像机CR的配置的构成中，机器人控制装置30可以控制、变更摄像机CR的配置。在这种情况下，机器人控制装置30例如也可以控制摄像机CR。此外，也可以是图像处理装置PU控制摄像机CR的构成，从而来取代机器人控制装置30控制摄像机CR的构成。
此外，机器人控制装置30和开发用PC601经由缆线以能够通信的方式而连接。需要注意的是，机器人控制装置30和开发用PC601经由缆线的有线通信例如根据以太网(注册商标)、USB(Universal Serial Bus)等标准来进行。此外，开发用PC601也可以是通过根据Wi-Fi(注册商标)等通信标准进行的无线通信与机器人控制装置30连接的构成。
此外，机器人控制装置30和操作键602经由缆线以能够通信的方式而连接。需要注意的是，机器人控制装置30和操作键602经由缆线的有线通信例如根据以太网(注册商标)、USB(Universal Serial Bus)等标准来进行。此外，操作键602也可以是通过根据Wi-Fi(注册商标)等通信标准进行的无线通信与机器人控制装置30连接的构成。
<操作键>
操作键602是设置于机器人控制装置30的外部的操作装置的一个例子。操作键602具有由用户操作的操作部(例如，一个以上的键)，其接收用户对该操作部所进行的操作的内容，并经由缆线发送至机器人控制装置30。
操作键602例如是具备键盘、鼠标、触摸板等的示教器、或其它输入装置。操作键602取得开发用PC601、机器人控制装置30或图像处理装置PU的操作者基于显示装置621或显示装置DP显示的图像G进行的操作，并经由缆线将表示所获取的操作的操作信息发送至机器人控制装置30。机器人控制装置30将接收到的该操作发送至开发用PC601。
机器人控制装置30经由缆线将显示用的信息发送至显示装置621。此外，机器人控制装置30获取表示机器人控制装置30的操作者根据显示用的信息在显示装置621上显示而对操作键602输入的操作的信息。
机器人控制装置30控制机器人20。例如，机器人控制装置30分别控制机器人20具有的各个执行机构以及末端执行器E。
<机器人进行的规定作业的概要>
在图1所示的一个例子中，机器人20将逐个把持载置于带式输送机BC上进行移动的对象物P1～对象物P7，并将所把持的对象物P载置于未图示的供件区域的作业作为规定的作业来进行。
<开发用PC以及机器人控制装置使机器人进行规定作业的处理的概要>
下面，对开发用PC601以及机器人控制装置30使机器人20进行规定作业的处理的概要进行说明。
显示装置621从机器人控制装置30接收表示图像G的图像数据，并显示该图像数据所表示的图像G。开发用PC601的操作者从显示装置621所显示的图像G包含的多个对象物P中指定作为操作者期望的对象物P的第一对象物。具体而言，开发用PC601的操作者进行将第一区域信息输入开发用PC601所具备的输入部IP(未图示)的操作，该第一区域信息表示作为第一对象物的区域的第一区域。输入部IP是键盘、鼠标等。此外，开发用PC601的操作者进行将表示第二区域的第二区域信息输入到输入部IP的操作，该第二区域是指定第一对象物的区域、且是不同于第一区域的区域。开发用PC601从输入部IP获取表示第一区域的第一区域信息、以及表示第二区域的第二区域信息。开发用PC601基于所获取的第一区域信息以及第二区域信息，使与对第一对象物指定的第一区域对应的第一区域、以及与对第一对象物指定的第二区域对应的第二区域同图像G所包含的多个对象物P中的至少一部分对象物P相关联。机器人控制装置30基于第一区域和第二区域使机器人20把持通过开发用PC601使其与该第一区域和该第二区域关联对应的对象物P。并且，机器人控制装置30使机器人进行动作，将对象物P载置于未图示的供给区域。
此外，开发用PC601基于所获得的第一区域信息以及第二区域信息，对多个对象物P中的至少一部分对象物P的图像G设定对应于第一区域的第三区域、以及对应于第二区域的第四区域，并使显示装置621显示第三区域和第四区域、以及设定了第三区域和第四区域的至少一部分对象物。
<机器人控制装置的硬件构成>
下面，参照图2对机器人控制装置30的硬件构成进行说明。图2是示出机器人控制装置30的硬件构成的一个例子的图。机器人控制装置30例如具备CPU(Central ProcessingUnit：中央处理器)31、存储部32、输入部33、通信部34以及输出部35。这些构成部分经由总线Bus以能够相互通信的方式而连接。此外，机器人控制装置30通过通信部34与机器人20、开发用PC601、操作键602以及图像处理装置PU进行通信。通信部34例如构成为包括USB等数字输入输出端口、以太网(注册商标)端口等。
输入部33输入从外部的装置输出的信息。在图1的例子中，输入部33例如输入(接收)从图像处理装置PU、开发用PC601、或操作键602输出(发送)的信息。
输出部35向外部输出信息。作为一个例子，输出部35向显示画面输出(发送)信息。作为其它例子，输出部35可以向发出声响(包括声音)的扬声器输出(发送)声响的信息。此外，输出部35例如向机器人20(例如，操作器M1、末端执行器E1)、开发用PC601、图像处理装置PU或操作键602输出信息。
此外，在本实施方式中，机器人控制装置30和显示装置621并未连接，但是，作为其它构成例，也可以是显示装置621与机器人控制装置30的输出部35连接为一体或以分体的形式连接。
此外，输入部33具有的操作部例如也可以是采用了显示画面(或其它画面)的触摸面板。
CPU31执行存储部32所存储的各种程序。
存储部32例如包括HDD(Hard Disk Drive：硬盘驱动器)、SSD(Solid StateDrive：固态硬盘)、EEPROM(Electrically Erasable Programmable Read-Only Memory：电可擦可编程只读存储器)、ROM(Read-Only Memory：只读存储器)、RAM(Random AccessMemory：随机存取存储器)等。此外，关于存储部32，也可以取代内置于机器人控制装置30的存储部，而为USB等通过数字输入输出端口等而连接的外置型的存储装置。存储部32存储机器人控制装置30处理的各种信息、图像、程序等。
<机器人控制装置的功能构成>
下面，参照图3对机器人控制装置30的功能构成进行说明。图3是示出机器人控制装置30的功能构成的一个例子的图。机器人控制装置30具备存储部32以及控制部36。
控制部36控制整个机器人控制装置30。控制部36具备获取部361、关联部362、显示控制部363以及机器人控制部364。控制部36具备的这些功能部例如通过CPU31执行存储于存储部32的各种程序来实现。此外，该功能部中的一部分或全部也可以是LSI(Large ScaleIntegration：大规模集成电路)、ASIC(Application Specific Integrated Circuit：专用集成电路)等硬件功能部。
获取部361从开发用PC601获取表示输入部IP接收到的操作的信息。输入部IP接收到的操作中包括操作者对第一对象物指定第一区域的操作、以及操作者对第一对象物指定不同于第一区域的第二区域的操作，该第一对象物是显示装置621显示的图像G所包含的对象物P中的、操作者期望的对象物P。这里，图像G所包含的对象物P是被摄像机CR拍到图像G中的对象物P。获取部361获取输入部IP接收到的表示第一区域的第一区域信息、以及表示第二区域的第二区域信息。此外，输入部IP接收到的操作也可以是操作者对第一对象物指定第一区域的操作、以及操作者对第一对象物指定不同于第一区域的第二区域的操作中的至少一种，该第一对象物是操作者期望的对象物P。在这种情况下，未进行操作者进行指定的操作的第一区域或第二区域预先与第一对象物相关联。
关联部362基于获取部361获取到的第一区域信息以及第二区域信息，使与关联到了第一对象物的第一区域对应的第一区域、以及与关联到了第一对象物的第二区域对应的第二区域同图像G所包含的多个对象物P中的至少一部分对象物P每个相关联。在本实施方式中，关联部362使与关联到了第一对象物的第一区域对应的第一区域、以及与关联到了第一对象物的第二区域对应的第二区域同图像G所包含的所有对象物P中的每一个相关联。
需要注意的是，在仅进行操作者对作为操作者期望的对象物P的第一对象物指定第一区域的操作的情况下，未进行操作者进行指定的操作的第二区域也可以和与关联到了第一对象物的第一区域的位置相应的位置相关联。
显示控制部363生成显示图像DG，该显示图像DG是显示由关联部362关联到了对象物P的第一区域对应的第三区域和第二区域对应的第四区域、以及该对象物P的图像。此外，显示控制部363使显示装置621显示所生成的显示图像DG。
机器人控制部364基于由关联部362关联到每个对象物P的第一区域以及第二区域，使机器人20把持对象物P。
<机器人控制装置的关联处理>
下面，参照图4对机器人控制装置30的关联处理进行说明。图4是示出机器人控制装置30进行的处理的流程的一个例子的流程图。
获取部361从开发用PC601获取输入部IP从操作者接收到的第一区域信息、以及第二区域信息(步骤S110)。下面，参照图5～图7，对为第一对象物指定的第一区域以及第二区域进行说明。
图5是对第一对象物指定的第一区域的具体例1的第一图。
图6是对第一对象物指定的第一区域的具体例1的第二图。
图7是示出对第一对象物指定的第二区域的一个例子的图。
具体而言，图5是示出在关联处理中显示的画面2001的例子的图。图6是示出在关联处理中显示的画面2002的例子的图。图7是示出在关联处理中显示的画面2003的例子的图。
这里，这些画面2001～2003的大致构成相同。这些画面2001～2003包括图像显示部2021、特性设定显示部2022、检测结果显示部2023、图标显示部2024、以及对象(object)执行按钮3011。图像显示部2021、特性设定显示部2022以及检测结果显示部2023各自的内部所显示的信息可以根据处理情况等发生变化。
图像显示部2021是显示图像的部分。
特性设定显示部2022是显示设定特性的栏的部分。
检测结果显示部2023是显示检测结果的部分。
图标显示部2024是显示多个图标的部分。
对象执行按钮3011是用于执行处理的按钮。
在本例子中，通过开发用PC601进行控制，从而来进行图像处理装置PU的图像处理以及显示处理。
首先，如图5所示，在显示装置621上显示画面2001。
在图5的例子中，输入的图像G1显示于图像显示部2021。
根据操作者所进行的操作，如果光标2051的位置对准规定的图标2041的位置进行指定(例如点击等)，则进行与该图标2041相关联的处理。
这里，该规定的图标2041与指定为第一对象物指定的第一区域的处理相关联。
图像G1中包括对象物P1～对象物P7，该对象物P1～对象物P7是摄像机CR拍摄的某种状态的对象物P1～对象物P7，其具有相同的形状。机器人控制装置30从图像处理装置PU接收图像G1的图像数据，并发送给开发用PC601。显示装置621从开发用PC601接收图像G1的图像数据，并显示图像G1。开发用PC601的操作者基于显示装置621所显示的图像G1，对第一对象物指定第一区域，该第一对象物是图像G1所包含的对象物P中的、操作者期望的对象物P。具体而言，操作者通过输入部IP指定区域A11的位置以及大小来作为对第一对象物指定的第一区域。
接着，显示图6所示的画面2002。
在图6的例子中，如果根据操作者所进行的操作，通过光标2051指定(例如点击等)了画面2002(例如，图像显示部2021的区域)，则在图像显示部2021中显示窗口2111。
这里，窗口2111是在图像显示部2021所显示的图像中表示指定为第一对象物指定的第一区域的区域(区域A11)的框。窗口2111例如可以是和周围不同颜色的框，也可以是红色等。
此外，窗口2111的特性的值(例如，大小、形状等的值)，初始设定为默认值。该默认值是预先设定的值，可根据操作者进行的操作而变更。
在图6的例子中，在特性设定显示部2022中显示窗口2111的特性的值。该特性的值可以根据操作者进行的操作而变更。
在图6的例子中，作为窗口2111的特性的值(设定值)，有角度(Angle)、重心位置(或图心位置)的X坐标值(CenterX)、重心位置(或图心位置)的Y坐标值(CenterY)、高度方向的长度(Height)、左侧的位置(Left)、高度方向的上侧的位置(Top)、形状的类型(Type)。
这里，通过XY正交坐标系的平面来表示图像显示部2021的区域，X坐标对应于横向，Y坐标对应于高度方向(纵向)。
此外，在图6的例子中，作为形状的类型(Type)，采用了矩形(Rectangle)，但也可以采用其它形状，例如，也可以采用圆或椭圆等形状。
此外，在图6的例子中，作为第一区域的区域A11，设定了重心位置(或图心位置)的X坐标值(CenterX)为222、重心位置(或图心位置)的Y坐标值(CenterY)为285、高度方向的长度(Height)为234、左侧的位置(Left)为39、高度方向的上侧的位置(Top)为168、形状的类型(Type)为矩形(Rectangle)的窗口2111。
如图6所示，在该例子中，第一对象物是对象物P1。此外，如图6所示，在本实施方式中，长方形状的第一区域与第一对象物相关联。此外，在该例子中，通过上述构成在第一区域的中心和第一对象物的重心一致的位置上指定第一区域。这里，对第一对象物指定的第一区域是包括作为第一对象物的对象物P的轮廓全体的区域，是基于第一对象物的形状的区域。此外，操作者进行的该指定的操作例如可以使用开发用PC601具有的操作部来进行。作为其它构成例，该操作也可以使用其它的操作部(例如，图像处理装置PU、机器人控制装置30或操作键602具有的操作部)来进行。
接着，显示图7所示的画面2003。
在图7的例子中，如果根据操作者进行的操作，通过光标2051指定(例如，点击等)了画面2003(例如，图像显示部2021的区域)，则在图像显示部2021中显示窗口2112(在该例子中，为窗口2112-1、2112-2)。
这里，窗口2112(窗口2112-1、2112-2)是在图像显示部2021所显示的图像中表示指定为第一对象物指定的第二区域的区域(区域A21-1、A21-2)的框。窗口2112例如可以是和周围不同颜色的框，也可以是红色等。
此外，窗口2112的特性的值(例如，大小、形状等的值)初始设定为默认值。该默认值是预先设定的值，可以根据操作者进行的操作而变更。
在图7的例子中，在特性设定显示部2022中显示窗口2112的特性的值。该特性的值可以根据操作者进行的操作而变更。
在图7的例子中，作为窗口2112的特性的值(设定值)，有角度(Angle)、重心位置(或图心位置)的X坐标值(CenterX)、重心位置(或图心位置)的Y坐标值(CenterY)、高度方向的长度(Height)、左侧的位置(Left)、高度方向的上侧的位置(Top)、形状的类型(Type)。
这里，通过XY正交坐标系的平面来表示图像显示部2021的区域，X坐标对应于横向，Y坐标对应于高度方向(纵向)。
此外，在图7的例子中，作为形状的类型(Type)，采用了矩形(Rectangle)，但也可以采用其它形状，例如，也可以采用圆或椭圆等形状。
开发用PC601的操作者基于显示装置621所显示的图像G1，对关联了第一区域的第一对象物指定第二区域，该第二区域是不同于第一区域的区域。具体而言，操作者通过输入部IP，利用上述的构成指定区域A21-1以及区域A21-2的位置和大小来作为第一对象物的第二区域。这里，对第一对象物指定的第二区域是与机器人20把持对象物P相关的区域。与把持对象物P相关的区域例如是基于机器人20所具备的末端执行器E的形状的区域。此外，第二区域的位置是基于末端执行器E把持对象物P时的末端执行器E的位置的位置。
在进行了步骤S110的处理之后，关联部362基于获取部361获取的第一区域信息以及第二区域信息，将与关联到了第一对象物的第一区域对应的第一区域以及与关联到了第一对象物的第二区域对应的第二区域同图像G中包含的每个对象物P相关联(步骤S120)。下面，参照图9，对与图像G所包含的每个对象物P相关联的第一区域以及第二区域进行说明。
图8是示出与图像G所包含的每个对象物P相关联的第一区域以及第二区域的一个例子的图。
关联部362基于从获取部361获取的第一区域信息所表示的第一区域，对图像G1所包含的对象物P(在该例子中，为对象物P1～对象物P7)关联与关联到了第一对象物的第一区域相应的第一区域。具体而言，关联部362根据现有的图像识别，检测图像G1中第一区域所包含的第一对象物的边缘。关联部362检测图像G1中与第一对象物相同轮廓及大小的对象物(在该例子中，为对象物P1～对象物P7)。需要注意的是，关联部362检测第一区域所包含的第一对象物的边缘的方法既可以是基于现有的图像识别的方法，也可以是今后开发的方法。关联部362对于图像G1中与第一对象物具有相同轮廓及大小的对象物，在与对应第一对象物的第一区域的位置相对地相同的位置关联与关联到了第一对象物的第一区域相同轮廓及相同大小的第一区域。如图8所示，在该例子中，对图像G1所包含的对象物P1～对象物P7关联作为第一区域的区域A31～区域A37。区域A31～区域A37是包含第一对象物的轮廓全体的区域，是基于第一对象物的形状的区域。如上所述，在该例子中，图像G1所包含的对象物P1～对象物P7具有相同的形状。因此，区域A31～区域A37是包含对象物P1～对象物P7的轮廓全体的区域，是基于对象物P1～对象物P7的形状的区域。需要说明的是，关联部362也可以从图像G所包含的对象物P中与第一对象物类似的程度(类似度)高的对象物P开始依次对对象物P编号。在这种情况下，显示装置621也可以通过现有的方法来显示该编号。
关联部362基于从获取部361获取的第二区域信息所表示的第二区域，对图像G1所包含的对象物P(在该例子中，为对象物P1～对象物P7)关联与关联到了第一对象物的第二区域相应的第二区域。具体而言，关联部362通过与基于第一区域信息对图像G1所包含的对象物P关联与第一区域对应的第一区域的方法相同的方法，对图像G1所包含的对象物P关联与第二区域对应的第二区域。如图8所示，在该例子中，对图像G1所包含的对象物P1～对象物P7关联作为第二区域的区域A41～区域A47。具体而言，对对象物P1关联区域A41-1以及区域A41-2，对对象物P2关联区域A42-1以及区域A42-2，对对象物P3关联区域A43-1以及区域A43-2，对对象物P4关联区域A44-1以及区域A44-2，对对象物P5关联区域A45-1以及区域A45-2，对对象物P6关联区域A46-1以及区域A46-2，对对象物P7关联区域A47-1以及区域A47-2。区域A41～区域A47是与机器人20把持对象物P时相关的区域。
对上述多个对象物P关联第一区域以及第二区域的处理是根据操作者所进行的规定的操作来进行的。该规定的操作是使光标2051对准对象执行按钮3011的位置进行指定(例如，点击等)的操作。
于是，显示图8所示的画面2004。在图像显示部2021中显示基于特性设定显示部2022所显示的特性的设定内容所执行的第一区域和第二区域的关联处理的结果。
在本例子中，关联处理后的多个对象物P从与第一对象物类似的程度(类似度)高的对象物P开始依次排列。
此外，在图8的例子中，在检测结果显示部2023中显示进行了关联处理后的对象物P各自的处理结果。作为处理结果，有角度(Angle)、面积(Area)、摄像机X(CameraX)、摄像机Y(CameraY)、密实度(Compactness)、是否查找到(Found)、边缘处找到(FoundOnEdge)、孔(Holes)、外径(MajorDiameter)、最大费雷特直径(MaxFeretDiameter)、最大的X坐标值(MaxX)、最大的Y坐标值(MaxY)。
需要注意的是，也可以取代根据操作者所进行的规定的操作来一并进行对多个对象物P关联第一区域和第二区域的关联处理的构成，而采用单独地进行对多个对象物P关联第一区域的关联处理和对多个对象物P关联第二区域的关联处理的构成。
在进行了步骤S120的处理之后，显示控制部363生成显示图像DG，该显示图像DG是显示由关联部362关联到了对象物P1～对象物P7的第一区域对应的第三区域和第二区域对应的第四区域、以及该对象物P1～对象物P7的图像。此外，显示控制部363使显示装置621显示生成的显示图像DG(步骤S130)。
需要注意的是，也可以取代显示控制部363生成显示第三区域和第四区域以及该对象物P1～对象物P7的图像、即显示图像DG的构成，而采用显示控制部363生成显示第一区域、第二区域、第三区域和第四区域、以及对象物P1～对象物P7的显示图像DG的构成。
机器人控制部364根据与对象物P1～对象物P7各自相关联的第一区域以及第二区域，使机器人20把持对象物P(步骤S140)。
机器人控制部364使机器人20把持图像G所包含的多个对象物P中与关联到其它对象物P的第一区域不重叠的第一区域所关联的、且关联到其它对象物P的第二区域不与第一区域重叠的第一区域所关联的对象物P。如图8所示，在该例子中，表示对象物P1所关联的第一区域的区域A31与作为其它对象物P的对象物P2～对象物P7所关联的第一区域(即、区域A32～区域A37)不重叠。此外，如图8所示，在该例子中，表示对象物P2～对象物P7所关联的第一区域的区域A32～区域A37有与其它对象物P的第一区域重叠。因此，如图9所示，在图像G1所包含的多个对象物P中，与同关联到其它对象物P的第一区域不重叠的第一区域关联的对象物P是对象物P1。图9是示出机器人控制装置30使机器人20保持的对象物P的一个例子的表。此外，如图8所示，在该例子中，表示与对象物P1相关联的第二区域的区域A41-1及区域A41-2同作为其它对象物P的对象物P2～对象物P7所关联的第一区域(即、区域A32～区域A37)不重叠。此外，如图8所示，在该例子中，表示与对象物P2～对象物P7相关联的第二区域的区域A41-1、区域A42-2、……、区域A47-2同其它对象物P的第一区域有重叠。因此，如图9所示，在图像G1所包含的多个对象物P中，与同关联到其它对象物P的第二区域没有重叠的第一区域(关联到其它对象物P的第二区域不与第一区域重叠的第一区域所)关联的对象物P是对象物P1。
由此，机器人控制部364使机器人20把持对象物P1～对象物P7中的对象物P1。需要说明的是，也可以采用机器人控制部364使机器人20把持满足与和关联到其它对象物P的第一区域不重叠的第一区域相关联的对象物P、以及关联到其它对象物P的第二区域与第一区域不重叠的第一区域所关联的对象物P中至少一方的对象物P的构成。
如上所述，在该例子中，第一区域是包含对象物P的轮廓全体的区域，是基于对象物P的形状的区域。这里，第一区域重叠的对象物P是对象物P与其它对象物P重叠的对象物P。在机器人20要把持相互重叠的对象物P时，会有末端执行器E或该对象物P产生变形的情况。机器人控制装置30根据上述构成，使机器人20把持相互不重叠的对象物P，从而可以抑制末端执行器E或对象物P变形。
此外，如上所述，在该例子中，第二区域是与把持对象物P相关的区域。这里，第二区域与其它对象物P的第一区域重叠的对象物P是在机器人20的末端执行器E把持对象物P的位置上存在其它对象物P的对象物P。机器人20在末端执行器E把持对象物P的位置上存在其它对象物P时，会有末端执行器E或该对象物P产生变形的情况。机器人控制装置30根据上述构成，使机器人20把持在末端执行器E把持对象物P的位置上不存在其它对象物P的对象物P，从而可以抑制末端执行器E或对象物P变形。
<变形例1：第一区域的角度>
下面，参照附图对本实施方式所涉及的变形例1进行说明。
图10是对第一对象物指定的第一区域的具体例2的图。
如上所述，开发用PC601的操作者基于显示装置621所显示的图像G1，对图像G1所包含的对象物P中的第一对象物(在该例子中为对象物P1)指定第一区域。如图10所示，在该例子中，第一区域是长方形。这里，开发用PC601的操作者除了可以指定第一区域的位置及大小之外，还可以指定第一区域的角度。具体而言，操作者基于显示装置621所显示的画面2005，和上述构成同样地指定区域A11作为对第一对象物指定的第一区域，在特性设定显示部2022中指定该区域A11的角度(Angle)。在该例子中，第一区域的角度的指定是将第一区域的中心和第一对象物的重心一致的位置、且是第一区域的长方形的长边方向和第一对象物的长方体部分的长边方向平行的位置作为基准位置来指定与该基准位置的角度。此外，基准位置也可以是第一区域的中心和第一对象物的重心一致的位置、且是图像G的纵向与第一区域的纵向平行、且图像G的横向与第一区域的横向平行的位置。如图10所示，第一区域的角度的指定可以通过操作者进行使第一区域向期望的方向旋转的操作来进行指定。
图11是图像G所包含的每个对象物P所关联的第一区域的具体例2的图。
如图11所示，在画面2006中，根据上述构成对图像G1所包含的对象物P(在该例子中为对象物P1～对象物P2)关联与图10所示的第一区域对应的第一区域、即区域A31～区域A37。
<变形例2：第一区域的形状的一个例子>
下面，参照附图对本实施方式所涉及的变形例2进行说明。
图12是对第一对象物指定的第一区域的具体例3的图。
如上所述，开发用PC601的操作者基于显示装置621所显示的图像G1，对图像G1所包含的对象物P中的第一对象物(在该例子中为对象物P1)指定第一区域。如图12所示，在该例子中，第一区域是圆形。这里，开发用PC601的操作者除了可以指定第一区域的位置及大小之外，还可以指定第一区域的形状。具体而言，操作者基于显示装置621所显示的画面2007，指定区域A11作为对第一对象物指定的第一区域，在特性设定显示部2022中将该区域A11的形状的类型(Type)指定为圆(Circle)。第一区域的形状的指定是通过操作者将表示指定的形状的信息输入到输入部IP来进行指定。
图13是图像G所包含的每个对象物P所关联的第一区域的具体例3的图。
如图13所示，在画面2008中，根据上述构成对图像G1所包含的对象物P(在该例子中为对象物P1～对象物P2)关联与图12所示的第一区域对应的第一区域、即区域A31～区域A37。
<变形例3：第一区域的形状的一个例子>
下面，参照附图对本实施方式所涉及的变形例3进行说明。
图14是对第一对象物指定的第一区域的具体例4的图。
如上所述，开发用PC601的操作者基于显示装置621所显示的图像G1，对图像G1所包含的对象物P中的第一对象物(在该例子中为对象物P1)指定第一区域。如图14所示，在该例子中，第一区域是第一对象物内接的凸包(convex closure)。具体而言，操作者基于显示装置621所显示的画面2009，指定区域A11作为对第一对象物指定的第一区域，在特性设定显示部2022中将该区域A11的形状的类型(Type)指定为凸(Convex)。第一区域的形状的指定是通过操作者将表示指定的形状的信息输入到输入部IP来进行指定。此外，也可以是在操作者指定了包含第一对象物的适当的区域时，该第一区域的形状自动地转换为第一对象物内接的凸包的形状的构成。
图15是图像G所包含的每个对象物P所关联的第一区域的具体例4的图。
如图15所示，在画面2010中，根据上述构成对图像G1所包含的对象物P(在该例子中为对象物P1～对象物P2)关联与图14所示的第一区域对应的第一区域、即区域A31～区域A37。
<机器人系统的硬件构成的例子>
图16是示出本实施方式所涉及的机器人系统1中的各装置的硬件构成的一个例子的图。需要注意的是，在图16的例子中，省略了关于图1所示的显示装置DP、621和其缆线的图示。
在图16中示出了摄像机CR、图像处理装置PU、机器人控制装置30、机器人20、操作键602、开发用PC601、以能够通信的方式连接摄像机CR和图像处理装置PU的缆线、以能够通信的方式连接图像处理装置PU和机器人控制装置30的缆线、以能够通信的方式连接机器人20和机器人控制装置30的缆线、以能够通信的方式连接开发用PC601和机器人控制装置30的缆线、以及以能够通信的方式连接操作键602和机器人控制装置30的缆线。
这里，各缆线例如也可以是以太网(注册商标)的缆线，此外，例如作为连接方法，也可以使用USB(Universal Serial Bus：通用串行总线)。需要注意的是，其它缆线也是同样的。
机器人控制装置30具备CPU(Central Processing Unit：中央处理器)711、ROM(Read-Only Memory：只读存储器)712、RAM(Random Access Memory：随机存取存储器)713以及四个接口(I/F)714～717。
四个接口714、715、716、717分别与缆线连接。
机器人20具备接口(I/F)751。接口751与缆线连接。经由该缆线，从机器人控制装置30向机器人20发送驱动信号，此外，从机器人20向机器人控制装置30发送传感器的检测信息等。
操作键602与机器人控制装置30分体设置，接收用户所进行的操作。操作键602例如可以具有指示处理执行的开关的键等。操作键602是I/O(Input/Output：输入/输出)的设备的一个例子。
图像处理装置PU具备CPU731、ROM732、RAM733以及两个接口(I/F)734～735作为大致的硬件构成。
两个接口(I/F)734～735分别与缆线连接。
开发用PC601具备CPU811、ROM812、RAM813以及接口(I/F)814作为大致的硬件构成。接口(I/F)814与缆线连接。
将图16所示的机器人系统1中进行的动作的例子作为(动作规程例1)～(动作规程例6)来示出。需要注意的是，该动作的例子仅为一个示例，也可以采用其它任意的动作。
在本实施方式中，编写用于使机器人20进行动作的程序时，是开发用PC601与机器人控制装置30相连接的状态。但是，在量产阶段等时，也有开发用PC601与机器人控制装置30分离的情况。
(动作规程例1)
开发用PC601为获取图像G，向图像处理装置PU输出命令，由此，取得图像G。该命令在开发用PC601和图像处理装置PU之间通过机器人控制装置30中转。此外，该图像G是摄像机CR所拍摄的图像G。
(动作规程例2)
开发用PC601基于所获取的图像G来设定第一区域以及第二区域。该设定例如可以通过用户来进行，或者也可以通过装置(例如，开发用PC601)自动进行。作为一个例子，可以利用图5～图8所示的画面2001～2004来进行特性的设定。
(动作规程例3)
开发用PC601基于第一区域以及第二区域的设定内容编写反映了所设定的条件的程序，并将该程序存储(保存)在机器人控制装置30的存储部32(例如，ROM712)中。
(动作规程例4)
机器人控制装置30向图像处理装置PU输出关联处理的命令。由此，在图像处理装置PU中进行关联处理。
(动作规程例5)
图像处理装置PU将关联处理的结果的信息发送至机器人控制装置30。由此，机器人控制装置30从图像处理装置PU获取关联处理的结果的信息。
(动作规程例6)
机器人控制装置30基于获取到的关联处理的结果的信息，控制机器人20的动作。此时，机器人控制装置30向机器人20输出直接的驱动信号，此外，从机器人20获取传感器的检测结果的信息，根据需要进行反馈控制等。
[开发用PC、图像处理装置和机器人控制装置]
在本实施方式中，图像处理装置PU执行规定的图像处理(在本实施方式中是在拍摄图像中指定第一区域以及第二区域的处理)，基于该图像处理的结果的信息，开发用PC601设定规定的处理的条件，机器人控制装置30对机器人20执行该处理进行控制。
这里，作为通过图像处理装置PU进行的规定的图像处理的内容，并不仅限于本实施方式中的图像处理的内容，例如与本实施方式中的图像处理的内容相比，可少可多，或者也可以是不同的内容。在这种情况下，例如，关于由图像处理装置PU所进行的处理，也可以不在开发用PC601或机器人控制装置30中进行，此外，关于由开发用PC601或机器人控制装置30所进行的处理，也可以不在图像处理装置PU中进行。
此外，在本实施方式中，是开发用PC601进行开发时的处理的控制的构成，但作为其它构成例，也可以是机器人控制装置30或图像处理装置PU具备开发用PC601具有的全部或一部分功能。
也就是说，只要是在集合了开发用PC601进行的处理、图像处理装置PU进行的处理以及机器人控制装置30进行的处理的全体处理中执行所需的处理，则由各个装置(开发用PC601、图像处理装置PU、机器人控制装置30)进行的处理的分担也可以是各种各样的。
作为一个例子，也可以将图像处理装置PU的功能一体化于机器人控制装置30中，即、机器人控制装置30也可以包含图像处理装置PU的功能。
这里，在本实施方式中，在程序的开发阶段，关联处理以及关联处理的结果的显示等均在开发用PC601的显示装置621(监控器)上显示。作为具体例，图5-图8、图10-图15所示出的图像(画面)均在开发用PC601的显示装置621上显示。
需要注意的是，这些图像(画面)也可以辅助性地由图像处理装置PU在显示装置DP的画面上显示。
<变形例4：单臂机器人>
下面，参照附图对本实施方式所涉及的变形例4进行说明。
图17是示出变形例4所涉及的机器人系统2的构成的一个例子的图。
在变形例4中，机器人系统2具备的机器人21是单臂机器人。
机器人21具备基端(支承台)B1、操作器M1以及末端执行器E1。
此外，在变形例4中，机器人控制装置30和机器人21分体设置。作为其它构成例，机器人控制装置30也可以和机器人21一体设置，例如，设置于机器人21的基端B1的内部。
机器人21的基端B1设置于工作台TB。
机器人21的操作器M1的一端与基端B1连接。机器人21的操作器M1的另一端与末端执行器E1连接。
机器人21的操作器M1具有六轴垂直多关节型的结构，具备六个关节。各个关节具备执行机构(未图示)。并且，在机器人21中，通过六个关节各自的执行机构的动作，进行六轴的自由度的动作。作为其它构成例，也可以将以五轴以下的自由度进行动作的机器人、或者以七轴以上的自由度进行动作的机器人用于机器人系统2。
机器人21的末端执行器E1例如是抓手，具备可以把持物体的指部。作为其它构成例，机器人21的末端执行器E1可以是任意的部件，例如，也可以是利用空气的吸引来吸附物体的部件、利用磁力使物体靠近的部件等。
机器人控制装置30根据预先设定的动作控制程序来控制机器人21。例如，机器人控制装置30对机器人21(主体)示教用于实现机器人21的动作所需的各种信息。具体而言，机器人控制装置30分别控制操作器M1具有的各个执行机构以及末端执行器E1。
机器人控制装置30对机器人21进行和使机器人20把持对象物P的控制同样的控制，使机器人21进行规定的作业。
<变形例5：双臂机器人>
下面，参照附图对本实施方式所涉及的变形例5进行说明。
图18是示出变形例5所涉及的机器人系统3的构成的一个例子的图。
在变形例5中，机器人系统3具备的机器人22是双臂机器人。
机器人22具备位于上部的头部、位于中央部的躯干部、位于下部的底座部(底座的部分)以及设置于躯干部的臂部。
机器人22是具有两只臂作为臂部的双臂机器人。
机器人22具备第一操作器M11以及第一末端执行器E11作为一条臂侧的构成。
机器人22具备第二操作器M12以及第二末端执行器E12作为另一条臂侧的构成。
在变形例5中，可以通过一条臂侧的构成(安装有第一末端执行器E11的第一操作器M11)进行七轴的自由度的动作，可以通过另一条臂侧的构成(安装有第二末端执行器E12的第二操作器M12)进行七轴的自由度的动作，但作为其它构成例，也可以采用进行六轴以下或八轴以上的自由度的动作的构成。
这里，第一操作器M11、第二操作器M12以七轴的自由度进行动作时，与以六轴以下的自由度进行动作时相比，能够进行的姿势增加，从而例如动作变得顺畅，可以容易地避免该第一操作器M11、第二操作器M12周围存在的物体的干扰。此外，第一操作器M11、第二操作器M12以七轴的自由度进行动作时，与第一操作器M11、第二操作器M12以八轴以上的自由度进行动作时相比，该第一操作器M11、第二操作器M12的控制的计算量少，从而更加容易。基于这样的理由，在变形例5中，作为优选示例，采用了以七轴的自由度进行动作的第一操作器M11、第二操作器M12。
此外，在变形例5中，躯干部是可以在腰的部分以一轴的自由度旋转的构成。
此外，机器人22具备分别设置于头部的左右的两个摄像机(第一摄像机1031-1、第二摄像机1031-2)、设置于第一操作器M11的规定部位的摄像机(第三摄像机1051-1)、以及设置于第二操作器M12的规定部位的摄像机(第四摄像机1051-2)。
各个摄像机(第一摄像机1031-1、第二摄像机1031-2、第三摄像机1051-1、第四摄像机1051-2)例如是采用了CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等的摄像机。
第一摄像机1031-1以及第二摄像机1031-2分别随着头部的活动而活动。
第三摄像机1051-1以及第四摄像机1051-2分别随着第一操作器M11以及第二操作器M12各自的活动而活动。
此外，机器人22具备机器人控制装置30。在变形例5中，机器人22在底座部的内部具备机器人控制装置30。
机器人控制装置30控制机器人22的动作。机器人控制装置30例如控制第一操作器M11以及第二操作器M12的动作。而且，在机器人22的腰等部分可以动作的构成中，机器人控制装置30控制该腰等部分的动作。
在变形例5中，第一摄像机1031-1、第二摄像机1031-2、第三摄像机1051-1以及第四摄像机1051-2各自拍摄图像，将拍摄到的图像的信息发送(输出)至机器人控制装置30。
在变形例5中，对于第一操作器M11的位置及姿势、第二操作器M12的位置及姿势以及各摄像机(第一摄像机1031-1、第二摄像机1031-2、第三摄像机1051-1、第四摄像机1051-2)所拍摄的图像，进行坐标系的校准。
在变形例5中，机器人控制装置30根据预先设定的动作控制程序，控制机器人22的动作。机器人控制装置30对机器人22(主体)示教用于实现机器人22的动作所需的各种信息。
作为具体例，机器人控制装置30控制各操作器(第一操作器M11以及第二操作器M12)的动作，从而可以通过各末端执行器(第一末端执行器E11以及第二末端执行器E12)把持物体。此外，机器人控制装置30还可以进行使各末端执行器所把持的物体移动、将各末端执行器所把持的物体载置于规定位置后放开(解除把持)、对各末端执行器所把持的物体进行加工(例如，开孔等)等。
在变形例5中，各个末端执行器E11、E12具备掌部1091-1、1091-2以及爪部(指部)1092-1、1092-2。
在变形例5中，机器人控制装置30可以控制两个操作器M11、M12中的任意一方，此外，可以协调控制两个操作器M11、M12双方。
此外，在变形例5中，例如也可以取代摄像机CR，而采用多个摄像机1031-1～1031-2、1051-1～1051-2中的一个以上。
机器人控制装置30对机器人22进行和使机器人20把持对象物P的控制同样的控制，使第一末端执行器E11、第二末端执行器E12中的任一方或双方把持对象物P。
此外，在上述内容中，对机器人控制装置30基于摄像机CR拍摄到的图像G进行把持对象物P的控制进行了说明，但并不仅限于此。也可以是机器人控制装置30对对象物P进行三维计测，基于计测的结果，对第一对象物指定第一区域以及第二区域。
如上所述，机器人控制装置30基于接收到的表示第一区域的第一区域信息、以及表示与第一区域相应的第二区域的第二区域信息使机器人把持被指定了与其它对象物P的第一区域不重叠的第二区域的对象物P，而使机器人不把持第二区域与其它对象物P的第一区域重叠的对象物P，其中，该第一区域和第二区域是对所取得的拍摄有多个对象物P的图像G指定的区域，该第二区域是不同于第一区域的区域。由此，机器人控制装置30使机器人把持满足操作者期望的条件的对象物P。
此外，机器人控制装置30基于第一区域信息，使机器人把持被指定了与对其它对象物P指定的第一区域不重叠的第一区域的对象物P，而使机器人不把持被指定了与对其它对象物P指定的第一区域重叠的第一区域的对象物P。由此，机器人控制装置30基于与对象物P关联的第一区域，使机器人把持满足操作者期望的条件的对象物P。
此外，在机器人控制装置30中，随着指定了第一区域而设定第二区域。由此，机器人控制装置30可以辅助第二区域的设定。
此外，在机器人控制装置30中，通过接收到的操作来指定第二区域。由此，机器人控制装置30可以为对象物P指定操作者期望的第二区域。
此外，机器人控制装置30基于第一区域信息以及第二区域信息，对多个对象物P中的至少一部分对象物P的图像G设定对应于第一区域的第三区域以及对应于第二区域的第四区域，并使显示部(在该例子中，为显示装置621或显示装置DP)显示第三区域和第四区域、以及设定了第三区域和第四区域的至少一部分对象物P。由此，机器人控制装置30可以辅助操作者为对象物P指定第一区域和第二区域。
此外，机器人控制装置30使显示部显示第一区域信息表示的第一区域和第二区域信息表示的第二区域以及对象物P的图像G。由此，机器人控制装置30可以辅助操作者将第一区域及第二区域与对象物P相关联。
此外，在机器人控制装置30中，第一区域是包括对象物P的轮廓全体的区域，并且是基于对象物P的形状的区域。由此，机器人控制装置30可以基于包含整个对象物P的第一区域，使机器人把持满足操作者期望的条件的对象物P。
此外，在机器人控制装置30中，第一区域的形状是凸包。由此，机器人控制装置30可以基于与凸包形状的第一区域对应的第一区域，使机器人把持满足操作者期望的条件的对象物P。
此外，在机器人控制装置30中，第二区域是与机器人把持对象物P相关的区域。由此，机器人控制装置30可以基于与把持相关的第二区域，使机器人把持满足操作者期望的条件的对象物P。
此外，机器人20基于第一区域以及第二区域来把持对象物P。由此，机器人20可以把持满足操作者期望的条件的对象物P。
此外，机器人系统1基于第一区域以及第二区域，使机器人20把持对象物P。由此，机器人系统1可以使机器人20把持满足操作者期望的条件的对象物P。
以上，参照附图对本发明的实施方式进行了详细说明，但具体的构成并不限定于上述实施方式，也可以在不脱离本发明宗旨的范围内进行变更、替换、删除等。
需要说明的是，也可以将用于实现以上说明的装置(例如机器人控制装置30等)中的任意构成部的功能的程序记录在计算机可读记录介质中，使计算机系统读取该程序来执行。此外，这里所述的“计算机系统”是指包括操作系统(OS：Operating System)、外围设备等硬件的系统。此外，“计算机可读记录介质”是指软盘、磁光盘、ROM、CD(Compact Disc：光盘)-ROM等便携式介质、内置于计算机系统中的硬盘等存储装置。进而，“计算机可读记录介质”也包括像通过因特网等网络、电话线路等通信线路发送了程序时作为服务器、客户端的计算机系统内部的易失性存储器(RAM)那样在一定时间内保持程序的物质。
此外，上述程序也可以从将该程序存储于存储装置等中的计算机系统经由传送介质、或通过传送介质中的传送波传送至其它计算机系统。这里，传送程序的“传送介质”是指像因特网等网络(通信网)、电话线路等通信线路(通信线)那样具有传送信息的功能的介质。
此外，上述程序也可以用于实现前述功能的一部分。进而，上述程序也可以是能够和已记录在计算机系统中的程序组合来实现前述功能的程序、即所谓的差分文件(差分程序)。

Claims (11)

1.一种机器人控制装置，其特征在于，
基于接收到的表示第一区域的第一区域信息、以及表示与所述第一区域相应的第二区域的第二区域信息，使机器人把持被指定了不与其它对象物的所述第一区域重叠的所述第二区域的对象物，而使机器人不把持所述第二区域与其它对象物的所述第一区域重叠的对象物，其中，所述第一区域和所述第二区域是对获取到的拍摄有多个对象物的图像指定的区域，所述第二区域是不同于所述第一区域的区域。
2.根据权利要求1所述的机器人控制装置，其特征在于，
所述机器人控制装置基于所述第一区域信息，使所述机器人把持被指定了不与对其它对象物指定的所述第一区域重叠的所述第一区域的对象物，而使所述机器人不把持被指定了与对其它对象物指定的所述第一区域重叠的所述第一区域的对象物。
3.根据权利要求1或2所述的机器人控制装置，其特征在于，
所述第二区域随着指定了所述第一区域而被设定。
4.根据权利要求1或2所述的机器人控制装置，其特征在于，
所述第二区域是通过接收到的操作而指定的。
5.根据权利要求1至4中任一项所述的机器人控制装置，其特征在于，
所述机器人控制装置基于所述第一区域信息以及所述第二区域信息，对所述多个对象物中的至少一部分对象物的所述图像设定对应于所述第一区域的第三区域、以及对应于所述第二区域的第四区域，并且，
使显示部显示所述第三区域和所述第四区域、以及设定了所述第三区域和所述第四区域的所述至少一部分对象物。
6.根据权利要求1至5中任一项所述的机器人控制装置，其特征在于，
所述机器人控制装置使显示部显示所述第一区域信息表示的所述第一区域和所述第二区域信息表示的所述第二区域、以及所述对象物的所述图像。
7.根据权利要求1至6中任一项所述的机器人控制装置，其特征在于，
所述第一区域是包含所述对象物的轮廓全体的区域，并且是基于所述对象物的形状的区域。
8.根据权利要求1至7中任一项所述的机器人控制装置，其特征在于，
所述第一区域的形状是凸包。
9.根据权利要求1至8中任一项所述的机器人控制装置，其特征在于，
所述第二区域是与所述机器人把持所述对象物相关的区域。
10.一种机器人，其特征在于，
基于权利要求1至9中任一项所述的机器人控制装置的控制进行动作。
11.一种机器人系统，其特征在于，具备：
权利要求1至9中任一项所述的机器人控制装置；以及
权利要求10所述的机器人。
CN201710753842.8A 2016-08-31 2017-08-28 机器人控制装置、机器人以及机器人系统 Pending CN107791245A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016168976A JP2018034242A (ja) 2016-08-31 2016-08-31 ロボット制御装置、ロボット、及びロボットシステム
JP2016-168976 2016-08-31

Publications (1)

Publication Number Publication Date
CN107791245A true CN107791245A (zh) 2018-03-13

Family

ID=59761783

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710753842.8A Pending CN107791245A (zh) 2016-08-31 2017-08-28 机器人控制装置、机器人以及机器人系统

Country Status (4)

Country Link
US (1) US10618181B2 (zh)
EP (1) EP3290165A3 (zh)
JP (1) JP2018034242A (zh)
CN (1) CN107791245A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025889A (zh) * 2019-05-24 2022-02-08 代尔夫特科技大学 从表面上拾取物体的装置和方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6889574B2 (ja) * 2017-03-03 2021-06-18 株式会社キーエンス ロボット設定装置、ロボット設定方法、ロボット設定プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP6549655B2 (ja) 2017-08-03 2019-07-24 ファナック株式会社 物品搬送装置
US10471591B1 (en) * 2018-06-01 2019-11-12 X Development Llc Object hand-over between robot and actor
JP6763914B2 (ja) 2018-06-08 2020-09-30 ファナック株式会社 ロボットシステムおよびロボットシステムの制御方法
CN112218748B (zh) 2018-06-14 2023-09-05 雅马哈发动机株式会社 机器人系统
CN110893999A (zh) * 2018-09-12 2020-03-20 泰科电子(上海)有限公司 图像采集系统和图像采集方法
JP7097799B2 (ja) 2018-11-21 2022-07-08 Thk株式会社 画像情報処理装置、把持システム、および画像情報処理方法
NL2023190B1 (nl) * 2019-05-24 2020-12-02 Univ Delft Tech Werkwijze en inrichting voor het vanaf een vlak uitnemen van objecten
JP2020199625A (ja) * 2019-06-13 2020-12-17 ファナック株式会社 シミュレーション装置
JP7343329B2 (ja) 2019-08-05 2023-09-12 ファナック株式会社 ワーク選定及びロボット作業を同時に行うロボット制御システム
US11795012B1 (en) * 2020-11-06 2023-10-24 Aaron Thomas Bacon Multi-gripper system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5877486A (ja) * 1981-10-28 1983-05-10 富士通株式会社 ロボツト用視覚認識装置
JPS6134675A (ja) * 1984-07-27 1986-02-18 Hitachi Ltd 画像認識方法および装置
CN1749135A (zh) * 2004-09-16 2006-03-22 发那科株式会社 搬运机器人系统
US20100092032A1 (en) * 2008-10-10 2010-04-15 Remus Boca Methods and apparatus to facilitate operations in image based systems
CN101909778A (zh) * 2008-03-12 2010-12-08 许勒自动控制有限责任两合公司 用于调整板形零件位置的装置和方法
EP2263837A1 (en) * 2008-03-10 2010-12-22 Toyota Jidosha Kabushiki Kaisha Operation teaching system and operation teaching method
JP2013184257A (ja) * 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5040056A (en) * 1990-01-29 1991-08-13 Technistar Corporation Automated system for locating and transferring objects on a conveyor belt
JP3451749B2 (ja) 1994-10-14 2003-09-29 ダイキン工業株式会社 リング状ワーク供給方法およびその装置
JP3300682B2 (ja) * 1999-04-08 2002-07-08 ファナック株式会社 画像処理機能を持つロボット装置
JP4303411B2 (ja) 2000-10-06 2009-07-29 セイコーインスツル株式会社 トラッキング方法、及びトラッキングシステム
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
JP4938115B2 (ja) * 2010-07-27 2012-05-23 ファナック株式会社 ワーク取出し装置およびワーク取出し方法
JP5685027B2 (ja) * 2010-09-07 2015-03-18 キヤノン株式会社 情報処理装置、物体把持システム、ロボットシステム、情報処理方法、物体把持方法およびプログラム
FI20106090A0 (fi) * 2010-10-21 2010-10-21 Zenrobotics Oy Menetelmä kohdeobjektin kuvien suodattamiseksi robottijärjestelmässä
US9089966B2 (en) * 2010-11-17 2015-07-28 Mitsubishi Electric Corporation Workpiece pick-up apparatus
JP5767464B2 (ja) * 2010-12-15 2015-08-19 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、およびプログラム
FI20106387A (fi) * 2010-12-30 2012-07-01 Zenrobotics Oy Menetelmä, tietokoneohjelma ja laite tartuntakohdan määrittämiseksi
JP5003840B1 (ja) * 2011-10-31 2012-08-15 オムロン株式会社 画像処理装置および画像処理プログラム
JP5266377B2 (ja) * 2011-12-19 2013-08-21 ファナック株式会社 物品の姿勢を修正する機能を備えた取出し装置
US9014857B2 (en) * 2012-01-13 2015-04-21 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and computer-program products for generating grasp patterns for use by a robot
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP5975685B2 (ja) * 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP2013184273A (ja) 2012-03-09 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JP5642759B2 (ja) * 2012-10-31 2014-12-17 ファナック株式会社 物品取出装置及び物品取出方法
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
JP6415026B2 (ja) * 2013-06-28 2018-10-31 キヤノン株式会社 干渉判定装置、干渉判定方法、コンピュータプログラム
JP5788460B2 (ja) * 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP2015089590A (ja) * 2013-11-05 2015-05-11 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP5788461B2 (ja) * 2013-11-05 2015-09-30 ファナック株式会社 バラ積みされた物品をロボットで取出す装置及び方法
JP2015147256A (ja) * 2014-02-04 2015-08-20 セイコーエプソン株式会社 ロボット、ロボットシステム、制御装置、及び制御方法
US9259844B2 (en) * 2014-02-12 2016-02-16 General Electric Company Vision-guided electromagnetic robotic system
JP5824173B1 (ja) * 2014-02-28 2015-11-25 ファナック株式会社 ロボットを用いて物品を整列させる物品整列装置及び物品整列方法、並びに物品整列装置を備えた物品移送システム
US9272417B2 (en) * 2014-07-16 2016-03-01 Google Inc. Real-time determination of object metrics for trajectory planning
JP6415190B2 (ja) * 2014-09-03 2018-10-31 キヤノン株式会社 ロボット装置、ロボット制御プログラム、記録媒体、およびロボット装置の制御方法
JP6140204B2 (ja) * 2015-02-06 2017-05-31 ファナック株式会社 ３次元センサを備えた搬送ロボットシステム
JP6576050B2 (ja) * 2015-02-27 2019-09-18 キヤノン株式会社 物体移動方法及びシステム
JP6548422B2 (ja) * 2015-03-27 2019-07-24 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9120622B1 (en) * 2015-04-16 2015-09-01 inVia Robotics, LLC Autonomous order fulfillment and inventory control robots
US10335951B2 (en) * 2015-07-29 2019-07-02 Canon Kabushiki Kaisha Information processing apparatus, information processing method, robot control apparatus, and robot system
JP6639181B2 (ja) * 2015-10-13 2020-02-05 キヤノン株式会社 撮像装置、生産システム、撮像方法、プログラム及び記録媒体
US10245724B2 (en) * 2016-06-09 2019-04-02 Shmuel Ur Innovation Ltd. System, method and product for utilizing prediction models of an environment
US10933533B2 (en) * 2017-06-23 2021-03-02 Kindred Systems Inc. Systems, devices, articles, and methods for stow verification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5877486A (ja) * 1981-10-28 1983-05-10 富士通株式会社 ロボツト用視覚認識装置
JPS6134675A (ja) * 1984-07-27 1986-02-18 Hitachi Ltd 画像認識方法および装置
CN1749135A (zh) * 2004-09-16 2006-03-22 发那科株式会社 搬运机器人系统
EP2263837A1 (en) * 2008-03-10 2010-12-22 Toyota Jidosha Kabushiki Kaisha Operation teaching system and operation teaching method
CN101909778A (zh) * 2008-03-12 2010-12-08 许勒自动控制有限责任两合公司 用于调整板形零件位置的装置和方法
US20100092032A1 (en) * 2008-10-10 2010-04-15 Remus Boca Methods and apparatus to facilitate operations in image based systems
JP2013184257A (ja) * 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114025889A (zh) * 2019-05-24 2022-02-08 代尔夫特科技大学 从表面上拾取物体的装置和方法
CN114025889B (zh) * 2019-05-24 2024-03-08 代尔夫特科技大学 从表面上拾取物体的装置和方法

Also Published As

Publication number Publication date
EP3290165A3 (en) 2018-04-04
US20180056523A1 (en) 2018-03-01
US10618181B2 (en) 2020-04-14
JP2018034242A (ja) 2018-03-08
EP3290165A2 (en) 2018-03-07

Similar Documents

Publication Publication Date Title
CN107791245A (zh) 机器人控制装置、机器人以及机器人系统
JP6361213B2 (ja) ロボット制御装置、ロボット、ロボットシステム、教示方法、及びプログラム
CN107571260B (zh) 控制机器人抓取物体的方法和装置
JP6733239B2 (ja) 制御装置及びロボットシステム
US10589424B2 (en) Robot control device, robot, and robot system
JP6450960B2 (ja) ロボット、ロボットシステム及び教示方法
US20180029232A1 (en) Control apparatus and robot
US20170277167A1 (en) Robot system, robot control device, and robot
CN106003020A (zh) 机器人、机器人控制装置以及机器人系统
CN107962563A (zh) 控制装置、机器人以及机器人系统
CN104608153A (zh) 机器人、机器人系统、以及机器人控制装置
TW202122225A (zh) 使用先進掃描技術之用於機器人箱揀取的系統及方法
US20180215044A1 (en) Image processing device, robot control device, and robot
JP2015186834A (ja) ロボット制御装置、把持部制御装置、ロボット、把持部、ロボット制御方法、及びプログラム
US10369703B2 (en) Robot, control device, and robot system
Yang et al. Automation of SME production with a Cobot system powered by learning-based vision
JP2018034241A (ja) ロボット、ロボット制御装置およびロボットシステム
CN107775638A (zh) 机器人、机器人控制装置及机器人系统
JP6488571B2 (ja) 教示装置、及びロボットシステム
CN108089488A (zh) 机器人及机器人系统
JP2015085480A (ja) ロボット、制御装置、ロボットシステム、ロボット制御方法、及びプログラム
JP2017100197A (ja) ロボット、及び制御方法
JP2016013590A (ja) 教示装置、及びロボットシステム
JP2019111588A (ja) ロボットシステム、情報処理装置、及びプログラム
JP2019042836A (ja) ロボット制御装置、ロボット、ロボットシステムおよびロボット制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180313