CN105269581A - 机器人、机器人系统、以及控制方法 - Google Patents

机器人、机器人系统、以及控制方法 Download PDF

Info

Publication number
CN105269581A
CN105269581A CN201510271092.1A CN201510271092A CN105269581A CN 105269581 A CN105269581 A CN 105269581A CN 201510271092 A CN201510271092 A CN 201510271092A CN 105269581 A CN105269581 A CN 105269581A
Authority
CN
China
Prior art keywords
robot
electronic driver
holding object
location status
shooting image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510271092.1A
Other languages
English (en)
Inventor
清泽勇贵
丸山健一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN105269581A publication Critical patent/CN105269581A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40487—Sensing to task planning to assembly execution, integration, automatic
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45064—Assembly robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/02—Arm motion controller
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及机器人、机器人系统、以及控制方法，机器人包括手以及控制手的控制部，控制部通过手对把持对象进行把持，并基于包括把持对象的拍摄图像检测把持对象的位置。

Description

机器人、机器人系统、以及控制方法
技术领域
本发明涉及机器人、机器人系统、控制装置、以及控制方法。
背景技术
使机器人进行使用道具的作业的技术被研究、开发。
与此相关，提出了将末端执行器作为上述的道具直接连接到机器人的臂的技术(参照专利文献1)。
专利文献1：日本特开2012－35391号公报
然而，在现有的机器人中，在用手对把持对象进行把持的情况下，由于在把持时产生的误差而存在无法把持预先规定的把持对象的把持位置的情况，其结果，存在手与把持对象的规定位置之间的相对位置产生误差，且通过把持对象的作业失败的情况。另外，现有的机器人存在由于上述的失败而上述的误差对通过把持对象进行的作业造成影响的情况。
更具体而言，现有的机器人存在如下的情况，例如，在把持旋具时，若把持从旋具预先规定的把持位置偏离的位置，则在通过旋具的前端将螺丝作为作业部件安装，并将安装后的螺丝紧固于规定的位置时，螺丝的安装失败。
发明内容
因此，本发明是鉴于上述的现有技术的问题而提出的，提供能够判定把持对象的把持的成功与否的机器人、机器人系统、控制装置、以及控制方法。
本发明的一方式是一种机器人，包括手、和控制上述手的控制部，上述控制部通过上述手对把持对象进行把持，并基于包括上述把持对象的拍摄图像来判定上述把持对象的把持状态。
通过该结构，机器人通过手对把持对象进行把持，并基于包括把持对象的拍摄图像来检测把持对象的位置。由此，机器人能够判定把持对象的把持的成功与否。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，上述控制部进行基于检测到的上述把持对象的位置，来判定表示上述把持对象的位置与上述手的位置的相对位置的位置状态是否是规定的位置状态的位置状态的判定处理。
通过该结构，机器人基于检测到的把持对象的位置，判定表示把持对象的位置与手的位置的相对位置的位置状态是否是规定的位置状态。由此，机器人能够实现与位置状态对应的动作。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，将作业部件安装到上述把持对象，并基于包括上述作业部件的拍摄图像来判定上述作业部件的安装状态。
通过该结构，机器人将作业部件安装到把持对象，并基于包括作业部件的拍摄图像判定作业部件的安装状态。由此，机器人能够实现与作业部件的安装状态对应的动作。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，上述控制部在判定为上述位置状态是上述规定的位置状态的情况下，进行上述安装并判定上述安装状态。
通过该结构，机器人在判定为位置状态是规定的位置状态的情况下，将作业部件安装到把持对象并判定安装状态。由此，机器人能够抑制在把持把持对象时产生的误差，并且例如进行上述的安装作为下个作业。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，上述控制部在判定为上述位置状态不是上述规定的位置状态且判定为从上述规定的位置状态的偏离在规定范围内的情况下，进行上述安装并判定上述安装状态。
通过该结构，机器人在判定为位置状态不是规定的位置状态且判定为从规定的位置状态的偏离在规定范围内的情况下，将作业部件安装到把持对象并判定安装状态。由此，机器人能够将把持把持对象时产生的误差抑制在规定范围内，并且例如进行上述的安装作为下个作业。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，上述控制部在判定为上述位置状态不是上述规定的位置状态且判定为从上述规定的位置状态的偏离不在规定范围内的情况下，重新把持上述把持对象。
通过该结构，机器人在判定为位置状态不是规定的位置状态且判定为从规定的位置状态的偏离不在规定范围内的情况下，重新把持把持对象。由此，机器人能够在把持把持对象时产生的误差大的情况下，重新把持把持对象后，例如进行上述的安装作为下个作业。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，上述控制部判定上述作业部件是否被以规定的安装状态安装。
通过该结构，机器人判定作业部件是否被以规定的安装状态安装。由此，机器人能够在作业部件被以规定的安装状态安装的情况和未被以规定的安装状态安装的情况下，进行不同的动作。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，作业部件通过磁力以磁性的方式附着于把持对象的前端。
通过该结构，机器人通过把持对象的前端的磁力以磁性的方式将作业部件安装于把持对象的前端，并判定该安装状态。由此，机器人能够进行与根据把持对象的前端的磁力的作业部件的安装状态对应的动作。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，上述控制部基于从2个以上方向按照各个方向拍摄到的上述拍摄图像来判定上述作业部件的安装状态。
通过该结构，机器人基于从2个以上方向按照各个方向拍摄到的拍摄图像来判定作业部件的安装状态。由此，机器人能够抑制对作业部件的安装状态进行错误判定。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，上述控制部通过图案匹配基于上述拍摄图像来判定上述把持对象的上述位置状态。
通过该结构，机器人通过图案匹配基于拍摄图像来判定把持对象的位置状态。由此，机器人能够使用图案匹配来判定把持对象的位置状态。
另外，本发明的其他的方式，在机器人中也可以使用如下的结构，即，上述控制部通过图案匹配基于上述拍摄图像来判定上述作业部件的安装状态。
通过该结构，机器人通过图案匹配基于拍摄图像来判定作业部件的安装状态。由此，机器人能够使用图案匹配来判定作业部件的安装状态。
另外，本发明的其他的方式，也可以在机器人中使用如下的结构，即，上述控制部根据判定上述位置状态的结果移动上述手。
通过该结构，机器人根据判定位置状态的结果移动手。由此，机器人能够实现与把持对象的位置状态对应的手的动作。
另外，本发明的其他的方式，也可以在机器人中使用如下的结构，即，上述控制部根据判定上述安装状态的结果移动上述手。
通过该结构，机器人根据判定作业部件的安装状态的结果移动手。由此，机器人能够实现与作业部件的安装状态对应的手的动作。
另外，本发明的其他的方式，也可以在机器人中使用如下的结构，即，上述控制部在判定为上述作业部件未被以上述规定的安装状态安装的情况下，使上述手的动作停止。
通过该结构，机器人在判定为作业部件未被以规定的安装状态安装的情况下，使手的动作停止。由此，机器人例如在作业部件的安装失败的情况下，也无需用户停止手的动作。
另外，本发明的其他的方式是一种机器人系统，包括：机器人，其具备对把持对象进行把持的手；以及拍摄部，其拍摄包括上述把持对象的拍摄图像，上述机器人通过上述手对把持对象进行把持，并基于包括上述把持对象的拍摄图像来检测上述把持对象的位置。
通过该结构，机器人系统通过手对把持对象进行把持，并基于包括把持对象的拍摄图像来检测把持对象的位置。由此，机器人系统能够判定把持对象的把持的成功与否。
另外，本发明的其他的方式是使具备对把持对象进行把持的手的机器人动作的控制装置，通过上述手对把持对象进行把持，并基于包括上述把持对象的拍摄图像检测上述把持对象的位置。
通过该结构，控制装置通过手对把持对象进行把持，并基于包括把持对象的拍摄图像检测把持对象的位置。由此，控制装置能够判定把持对象的把持的成功与否。
另外，本发明的其他的方式是使具备对把持对象进行把持的手的机器人动作的控制方法，通过手对把持对象进行把持，并基于包括把持对象的拍摄图像检测把持对象的位置。
通过该结构，控制方法通过手对把持对象进行把持，并基于包括把持对象的拍摄图像检测把持对象的位置。由此，控制方法能够判定把持对象的把持的成功与否。
通过以上，机器人、机器人系统、控制装置、以及控制方法通过手对把持对象进行把持，并基于包括把持对象的拍摄图像检测把持对象的位置。由此，机器人能够判定把持对象的把持的成功与否。
附图说明
图1是表示本实施方式所涉及的机器人系统1的结构的图。
图2是表示第2动拍摄图像被第2动拍摄部22拍摄到的情况的一个例子的图。
图3是表示控制装置30的硬件构成的一个例子的图。
图4是表示控制装置30的功能构成的一个例子的图。
图5是表示从控制装置30使机器人20把持电动旋具T后，到进行基于是否发生安装错误的判定结果的动作为止的处理流程的一个例子的流程图。
图6是分别例示了未发生安装错误的状态和发生了安装错误的状态的图。
具体实施方式
＜实施方式＞
以下，参照附图对于本发明的实施方式进行说明。图1是表示本实施方式所涉及的机器人系统1的结构的图。机器人系统1具备：具备4个拍摄部(第1固定拍摄部11、第2固定拍摄部12、第1动拍摄部21、第2动拍摄部22)的机器人20和控制装置30。
机器人系统1通过第1固定拍摄部11和第2固定拍摄部12拍摄机器人20进行作业的范围。这里，机器人系统1通过第1固定拍摄部11和第2固定拍摄部12进行上述的拍摄。机器人系统1基于由第1固定拍摄部11和第2固定拍摄部12拍摄到的拍摄图像，利用机器人20将第1物体、和通过紧固螺丝而组装于第1物体的第2物体重叠配置。另外，机器人系统1在进行上述的配置时，以第1物体的螺孔和第2物体的螺孔在从螺孔的正上面向正下面观察时一致的方式在装配架(在图1所示的一个例子中，桌子形状的装配架)上重叠配置。以下，将此时的螺孔的位置称为规定的螺纹紧固位置来进行说明。
在将第1物体和第2物体配置在上述的装配架上后，机器人系统1根据由第1固定拍摄部11和第2固定拍摄部12拍摄到的拍摄图像，检测设置有电动旋具T的位置，并基于检测到的位置使机器人20把持电动旋具T。机器人系统1在使机器人20把持电动旋具T后，通过由第1动拍摄部21拍摄到的拍摄图像和由第2动拍摄部22拍摄到的拍摄图像中的任一方，检测对把持部(把持电动旋具T的把持部HND1或者把持部HND2中的任一方)预先规定的位置(以下，称为把持部的位置)和电动旋具T的前端SC的位置。
而且，机器人系统1判定上述的把持部的位置与电动旋具T的前端SC的位置之间的相对位置的状态(以下，称为电动旋具T的位置状态)是否是实现适当的相对位置的位置状态(以下，称为适当位置状态)。所谓上述的适当的相对位置是指把持部HND1或者把持部HND2中把持电动旋具T的一方的位置与电动旋具T的前端SC的位置的相对位置，且表示在把持部HND1或者把持部HND2中把持电动旋具T的一方把持了对电动旋具T预先规定的把持位置时实现的相对位置。
机器人系统1在判定为电动旋具T的位置状态是适当位置状态时，通过被机器人20把持的电动旋具T将螺丝O从零件供应装置SB供应到电动旋具T的前端SC。这里，所谓供应到电动旋具T的前端SC，是指使螺丝O附着于电动旋具T的前端SC。具体而言，将螺丝O供应到电动旋具T的前端SC包含有将螺丝O以磁性的方式附着于电动旋具T的前端SC、使用空气来使螺丝O附着于电动旋具T的前端SC等现有的技术中可采用的所有形态。在本实施方式中，作为其一个例子，对于将螺丝O磁性附着于电动旋具T的前端SC的技术进行说明。另外，以下，将螺丝O磁性附着于电动旋具T的前端SC称为将螺丝O安装于电动旋具T的前端SC来进行说明。
另外，机器人系统1在判定为电动旋具T的位置状态不是适当位置状态的情况下，判定电动旋具T的位置状态为适当位置状态时的电动旋具T的前端SC与把持部的位置的相对位置(以下，称为适当位置)、和现在的位置状态中的电动旋具T的前端SC与把持部的位置的相对位置(以下，称为不适当位置)的差是否在规定范围内。
机器人系统1在上述的判定的结果为判定为适当位置与不适当位置的差在规定范围内的情况下，通过被机器人20把持的电动旋具T将螺丝O从零件供应装置SB安装于电动旋具T的前端SC。另一方面，在上述的判定的结果为判定为适当位置与不适当位置的差不在规定范围内的情况下，使机器人20进行规定动作。所谓规定动作，例如是指将电动旋具T返回到初始位置，并重新把持电动旋具T的动作、使机器人20的动作停止等。以下，为了方便说明，作为规定动作是将电动旋具T返回到初始位置并重新把持电动旋具T的动作的情况进行说明。所谓零件供应装置SB是每次螺丝O被从图1所示的位置SPP去除，都将储存于内部的螺丝O配置在位置SPP的装置。
机器人系统1在螺丝O被安装于电动旋具T的前端SC后，根据由第1动拍摄部21拍摄到的拍摄图像和由第2动拍摄部22拍摄到的拍摄图像中的任一方判定安装于电动旋具T的前端SC的螺丝O的状态(以下，称为安装状态)是否是适当的状态。
所谓适当的状态，例如是指电动旋具T的前端SC的前端嵌入设置于螺丝O的螺丝头的凹部，并且沿电动旋具T的长边方向延伸的中心轴和沿螺丝O通过螺纹紧固行进的方向延伸的中心轴重叠，从而可通过电动旋具T拧紧螺丝O的状态，但是并不局限于此，也可以是其他的任何的状态。此外，包括上述的适当的状态的螺丝O的电动旋具T的前端SC中的安装后的状态分别是安装状态的一个例子。另外，上述的适当的状态是规定的状态的一个例子。
机器人系统1在上述的判定的结果为判定为螺丝O未被以适当的状态安装(安装错误)的情况下，进行基于安装错误的动作。所谓基于安装错误的动作例如是在使电动旋具T移动到规定的待机位置后停止的动作、从电动旋具T将螺丝O去除并从零件供应装置SB重新安装螺丝O的动作等。另一方面，机器人系统1在上述的判定的结果为判定为螺丝O被以适当的状态安装的情况下，例如，使安装于电动旋具T的螺丝O移动到规定的螺纹紧固位置，进行螺纹紧固。以下，对在第1物体和第2物体被机器人20重叠配置后由机器人系统1进行的动作进行说明。
此外，在机器人系统1中，为机器人20把持电动旋具T的结构，但是也可以代替它，而是其他的任何的人类可使用的道具(工具)，也可以是其他的任何的机器人专用的道具。所谓人类可使用的道具，例如是棘爪手柄、扳手等。在上述的道具是棘爪手柄的情况下，安装的部件不是螺丝O，而是棘爪插头等，在上述的道具是扳手的情况下，安装的部件不是螺丝O，而为螺栓、螺母等。另外，所谓机器人专用的道具，是指被作为末端执行器设置于机器人的机械手的电动旋具等。电动旋具T(即，上述的道具)是把持对象的一个例子。另外，螺丝O(即，上述安装的部件)是作业部件的一个例子。
机器人20是具备拍摄部10、第1动拍摄部21、第2动拍摄部22、力传感器23、把持部HND1、把持部HND2、机械手MNP1、机械手MNP2、未图示的多个致动器的双臂机器人。所谓双臂机器人，是表示具有由把持部HND1和机械手MNP1构成的臂(以下，称为第1臂)、和由把持部HND2和机械手MNP2构成的臂(以下，称为第2臂)的2个臂的机器人。
此外，机器人20也可以不是双臂机器人，而是单臂机器人。所谓单臂机器人是指具有1个臂的机器人，例如，表示具有上述的第1臂和第2臂中的任一方的机器人。另外，机器人20还内置控制装置30，被内置的制装置30控制。此外，机器人20也可以代替内置控制装置30的构成，而构成为被设置于外部的控制装置30控制。
第1臂分别为6轴垂直多关节型，能够通过支承台、机械手MNP1、以及把持部HND1通过致动器的协作的动作进行6轴自由度的动作。另外，第1臂具备第1动拍摄部21和力传感器23。
第1动拍摄部21例如是具备将聚光的光转换为电信号的拍摄元件亦即CCD(ChargeCoupledDevice：电荷耦合器件)、CMOS(ComplementaryMetalOxideSemiconductor：互补金属氧化物半导体)等的照相机。
第1动拍摄部21通过电缆与控制装置30以可通信的方式连接。经由电缆的有线通信例如根据以太网(注册商标)、USB(UniversalSerialBus：通用串行总线)等标准进行。此外，第1动拍摄部21和控制装置30也可以是通过根据Wi－Fi(注册商标)等通信标准进行的无线通信连接的构成。
如图1所示，第1动拍摄部21设置于构成第1臂的机械手MNP1的一部分，可通过第1臂的动作移动。第1动拍摄部21在电动旋具T被把持部HND2的情况下，拍摄包括把持部HND2和被把持部HND2把持的电动旋具T的范围的静止图像作为第1动拍摄图像。另外，第1动拍摄部21在电动旋具T被把持部HND2把持的情况下，拍摄包括被把持部HND2把持的电动旋具T和安装于上述的电动旋具T的前端SC的螺丝O的范围的静止图像作为第1动拍摄图像。此外，虽然第1动拍摄部21是拍摄静止图像作为第1动拍摄图像的结构，但是也可以代替它，而为拍摄动态图像作为第1动拍摄图像的结构。
设置于第1臂的力传感器23设置于第1臂的把持部HND1与机械手MNP1之间。力传感器23检测作用于把持部HND1(或者，被把持部HND1把持的电动旋具T)的力、力矩。力传感器23通过通信将表示检测到的力、力矩的信息向控制装置30输出。表示被力传感器23检测到的力、力矩的信息例如使用于控制装置30的机器人20的顺应运动(Compliantmotion)控制。
第2臂分别为6轴垂直多关节型，能够通过支承台、机械手MNP2、以及把持部HND2通过致动器的协作的动作进行6轴自由度的动作。另外，第2臂具备第2动拍摄部22和力传感器23。
第2动拍摄部22例如是具备将聚光的光转换为电信号的拍摄元件亦即CCD、CMOS等的照相机。
第2动拍摄部22通过电缆与控制装置30以可通信的方式连接。经由电缆的有线通信例如根据以太网(注册商标)、USB等标准进行。此外，第2动拍摄部22和控制装置30也可以是通过根据Wi－Fi(注册商标)等通信标准进行的无线通信连接的构成。
如图1所示，第2动拍摄部22设置于构成第2臂的机械手MNP2的一部分，可通过第2臂的动作移动。第2动拍摄部22在电动旋具T被把持部HND1把持的情况下，拍摄包括把持部HND1和被把持部HND1把持的电动旋具T的范围的静止图像作为第2动拍摄图像。另外，第2动拍摄部22在电动旋具T被把持部HND1把持的情况下，拍摄包括被把持部HND1把持的电动旋具T和安装于上述的电动旋具T的前端SC的螺丝O的范围的静止图像作为第2动拍摄图像。此外，虽然第2动拍摄部22是拍摄静止图像作为第2动拍摄图像的结构，但是也可以代替它，而为拍摄动态图像作为第2动拍摄图像的结构。第2动拍摄图像是拍摄图像的一个例子。
设置于第2臂的力传感器23设置于第2臂的把持部HND2与机械手MNP2之间。力传感器23检测作用于把持部HND2(或者，被把持部HND2把持的电动旋具T)的力、力矩。力传感器23将表示检测到的力、力矩的信息通过通信向控制装置30输出。表示通过力传感器23检测到的力、力矩的信息例如是用于控制装置30的机器人20的顺应运动控制。
此外，第1臂和第2臂也可以是分别以5自由度(5轴)以下动作的部件，也可以是以7自由度(7轴)以上动作的部件。以下，对于通过第1臂和第2臂进行的机器人20的动作进行说明。另外，机器人20的把持部HND1以及把持部HND2具备可把持物体的爪部。由此，机器人20能够通过把持部HND1和把持部HND2中的任一方或者双方把持电动旋具T。
拍摄部10具备第1固定拍摄部11和第2固定拍摄部12，是由这2台拍摄部构成的立体拍摄部。此外，拍摄部10也可以不由2台拍摄部构成，而由3台以上的拍摄部构成，也可以是通过1台照相机拍摄二维图像的构成。在本实施方式中，如图1所示，拍摄部10作为机器人20的一部分设置于机器人20的头顶部，但是也可以代替它，而为作为与机器人20独立的个体设置于与机器人20不同的位置的结构。
第1固定拍摄部11例如是具备将聚光的光转换为电信号的拍摄元件亦即CCD、CMOS等的照相机。第1固定拍摄部11通过电缆与控制装置30以可通信的方式连接。经由电缆的有线通信例如根据以太网(注册商标)、USB等标准进行。此外，第1固定拍摄部11和控制装置30也可以是通过根据Wi－Fi(注册商标)等通信标准进行的无线通信连接的结构。
第1固定拍摄部11设置于可拍摄包括零件供应装置SB的范围(以下，称为作业区域)作为机器人20进行作业的范围的位置。以下，将由第1固定拍摄部11拍摄到的静止图像称为第1固定拍摄图像来进行说明。此外，虽然第1固定拍摄部11是拍摄静止图像作为第1固定拍摄图像的构成，但是也可以代替它，为拍摄动态图像作为第1固定拍摄图像的结构。
第2固定拍摄部12例如是具备将聚光的光转换为电信号的拍摄元件亦即CCD、CMOS等的照相机。第2固定拍摄部12通过电缆与控制装置30以可通信的方式连接。经由电缆的有线通信例如根据以太网(注册商标)、USB等标准进行。此外，第2固定拍摄部12和控制装置30也可以是通过根据Wi－Fi(注册商标)等通信标准进行的无线通信连接的结构。
第2固定拍摄部12设置于可拍摄与第1固定拍摄部11相同的拍摄范围(作业区域)的位置。以下，将由第2固定拍摄部12拍摄到的静止图像称为第2固定拍摄图像来进行说明。此外，虽然是第2固定拍摄部12拍摄静止图像作为第2固定拍摄图像的结构，但是也可以代替它，为拍摄动态图像作为第2固定拍摄图像的结构。以下，为了方便说明，将第1固定拍摄图像和第2固定拍摄图像统称为立体拍摄图像来进行说明。
机器人20例如通过电缆与内置于机器人20的控制装置30以可通信的方式连接。经由电缆的有线通信例如根据以太网(注册商标)、USB等标准进行。此外，机器人20与控制装置30也可以通过根据Wi－Fi(注册商标)等通信标准进行的无线通信连接。
在本实施方式中，机器人20作为从内置于机器人20的控制装置30获取控制信号，并基于获取到的控制信号，将螺丝O从零件供应装置SB安装到被机器人20的把持部HND1把持的电动旋具T的装置来进行说明。而且，机器人20在通过电动旋具T的螺丝O的安装失败的情况下，进行基于上述的安装错误的动作。
此外，在以下的说明中，第1臂进行的动作也可以由第2臂进行，第2臂进行的动作也可以由第1臂进行。换言之，机器人20也可以不是电动旋具T被把持部HND1把持的结构，而是电动旋具T被把持部HND2把持的结构。在该情况下，第1臂和第2臂进行的动作在以下的说明中调换。
控制装置30基于作业区域被拍摄部10拍摄到的立体拍摄图像检测设置有电动旋具T的位置，基于被检测到的位置通过机器人20的第1臂的把持部HND1把持电动旋具T。控制装置30在使第1臂的把持部HND1把持电动旋具T后，通过把持部HND1使电动旋具T移动到用于判定电动旋具T的前端SC的位置状态的规定的位置状态判定位置。而且，控制装置30控制机器人20以便利用第2臂的第2动拍摄部22拍摄包括被把持部HND1把持的电动旋具T和把持部HND1的范围的静止图像作为第2动拍摄图像。
控制装置30基于第2动拍摄图像检测把持部HND1的位置和电动旋具T的前端SC的位置。而且，控制装置30基于检测到的把持部HND1的位置和电动旋具T的前端SC的位置，判定电动旋具T的位置状态。控制装置30在上述的判定的结果为判定为电动旋具T的位置状态是适当位置状态的情况、或者判定为电动旋具T的位置状态不是适当位置状态的情况且适当位置与不适当位置的差在规定范围内的情况下，控制机器人20通过电动旋具T将螺丝O从零件供应装置SB安装到电动旋具T的前端SC。控制装置30在上述的判定的结果为判定为电动旋具T的位置状态不是适当位置状态的情况并且适当位置与不适当位置的差不在规定范围内的情况下，控制机器人20将电动旋具T返回到初始位置，并重新把持电动旋具T。
以下，作为上述的判定的结果为判定为电动旋具T的位置状态是适当位置状态的情况、或者判定为电动旋具T的位置状态不是适当位置状态的情况且适当位置与不适当位置的差在规定范围内的情况对控制装置30进行说明。控制装置30基于由拍摄部10拍摄到的立体拍摄图像，检测零件供应装置SB的位置。此外，控制装置30也可以不是基于立体拍摄图像检测零件供应装置SB的位置的结构，而是基于第1固定拍摄图像和第2固定拍摄图像中的任一方检测零件供应装置SB的位置的结构。另外，控制装置30也可以是基于作业区域被拍摄到的第1动拍摄图像和第2动拍摄图像中的任一方或者双方检测零件供应装置SB的位置的结构。
控制装置30控制机器人20基于被检测到的零件供应装置SB的位置将螺丝O安装到被第1臂的把持部HND1把持的电动旋具T的前端SC。然后，螺丝O被电动旋具T的前端SC被安装后，控制装置30控制机器人20利用第2臂的第2动拍摄部22拍摄包括被把持部HND1把持的电动旋具T和吸附于电动旋具T的前端SC的螺丝O的范围的静止图像作为第2动拍摄图像。
这里，参照图2，对于第2动拍摄部22的第2动拍摄图像的拍摄进行说明。图2是表示第2动拍摄图像被第2动拍摄部22拍摄到的情况的一个例子的图。控制装置30在螺丝O被电动旋具T的前端SC安装后，控制机器人20通过把持部HND1使前端SC安装有螺丝O的电动旋具T移动到规定的拍摄位置。而且，控制装置30利用第2动拍摄部22从第1方向C1和与第1方向C1不同的第2方向C2的2个方向拍摄包括被把持部HND1把持的电动旋具T和吸附于电动旋具T的前端SC的螺丝O的范围。
这样，通过分别从第1方向C1和第2方向C2的2个方向拍摄第2动拍摄图像，控制装置30能够抑制将发生安装错误的状态错误判定为未发生安装错误的状态。此外，控制装置30也可以是从包括第1方向C1和第2方向C2的3个以上的方向拍摄第2动拍摄图像的结构，也可以是仅从第1方向C1和第2方向C2中的任意一个方向拍摄第2动拍摄图像的结构。另外，控制装置30也可以是通过固定第2臂(即，第2动拍摄部22)的位置，移动第1臂(即，移动电动旋具T)来从第1方向C1和第2方向C2中的任一方或者双方利用第2动拍摄部22拍摄第2动拍摄图像的结构。
另外，在本实施方式中，控制装置30构成为在基于由第2动拍摄部22拍摄到的第2动拍摄图像判定电动旋具T的位置状态时，基于从一个方向拍摄了包括电动旋具T和把持部HND1的范围的第2动拍摄图像检测把持部HND1的位置和电动旋具T的前端SC的位置，但是也可以代替它，与在图2中说明的判定安装状态的情况相同地，构成为使第2动拍摄部22从2个以上方向的各个方向拍摄包括电动旋具T和把持部HND1的范围的第2动拍摄图像，并基于从2个以上方向分别拍摄的第2动拍摄图像检测把持部HND1的位置和电动旋具T的前端SC的位置。
控制装置30基于第2动拍摄图像(在该一个例子中，从2方向分别各拍摄1张的2张第2动拍摄图像)，判定螺丝O是否被以适当的状态被电动旋具T的前端SC安装。控制装置30在上述的判定的结果为判定为螺丝O未以适当的状态安装的情况下，控制机器人20进行基于安装错误的动作。
此外，控制装置30也可以是基于由拍摄部10拍摄到的立体拍摄图像(或者第1固定拍摄图像和第2固定拍摄图像中的任一方)，检测把持部HND1的位置和电动旋具T的前端SC的位置的结构。在该情况下，控制装置30在电动旋具T被把持部HND1把持后通过把持部HND1使电动旋具T移动的位置状态判定位置成为，可利用拍摄部10拍摄到包括被把持部HND1把持的电动旋具T和把持部HND1的范围的位置。
另外，控制装置30也可以是基于被拍摄部10拍摄到的立体拍摄图像，判定螺丝O是否被以适当的状态安装于电动旋具T的前端SC的结构。在该情况下，控制装置30在螺丝O被安装于电动旋具T的前端SC后通过把持部HND1使前端SC安装有螺丝O的电动旋具T移动的规定的拍摄位置为，可利用拍摄部10拍摄到包括被把持部HND1把持的电动旋具T和吸附于电动旋具T的前端SC的螺丝O的范围的位置。
另一方面，控制装置30在上述的判定的结果为判定为螺丝O被以适当的状态安装的情况下，例如控制机器人20使安装于电动旋具T的前端SC的螺丝O移动到规定的螺纹紧固位置，并进行螺纹紧固。此外，控制装置30构成为例如通过视觉伺服和顺应运动控制以不破坏零件供应装置SB、螺丝O的方式进行将螺丝O从零件供应装置SB安装到螺丝O电动旋具T的动作、螺丝O的螺纹紧固等动作，但是也可以代替它，构成为不进行顺应运动控制，也可以构成为通过视觉伺服以外的其他的任何的方法控制机器人20。另外，把持部HND1和把持部HND2中的任一方或者双方是手的一个例子。
接下来，参照图3对控制装置30的硬件构成进行说明。图3是表示控制装置30的硬件构成的一个例子的图。控制装置30例如具备CPU(CentralProcessingUnit：中央处理器)31、存储部32、输入接受部33、以及通信部34，经由通信部34与机器人20进行通信。这些构成要素经由总线Bus以可相互通信的方式连接。CPU31执行储存于存储部32的各种程序。
存储部32例如包括HDD(HardDiskDrive：硬盘驱动器)、SSD(SolidStateDrive：固态硬盘)、EEPROM(ElectricallyErasableProgrammableRead－OnlyMemory：电可擦除可编程只读存储器)、ROM(Read－OnlyMemory：只读存储器)、RAM(RandomAccessMemory：随机存取存储器)等，储存控制装置30所处理的各种信息、图像、程序。此外，存储部32也可以不是内置于控制装置30的存储装置，而是通过USB等数字输入输出端口等连接的外置型的存储装置。
输入接受部33例如是键盘、鼠标、触摸板、其他的输入装置。此外，输入接受部33也可以作为显示部发挥作用，并且，也可以构成为触摸面板。
通信部34例如构成为包括USB等数字输入输出端口、以太网端口等。
接下来，参照图4来对控制装置30的功能构成进行说明。图4是表示控制装置30的功能构成的一个例子的图。控制装置30具备存储部32、图像获取部35、以及控制部36。控制部36具备的功能部中的一部分或者全部例如通过CPU31执行存储于存储部32的各种程序来实现。另外，这些功能部中的一部分或者全部也可以是LSI(LargeScaleIntegration：大规模集成电路)、ASIC(ApplicationSpecificIntegratedCircuit：专用集成电路)等硬件功能部。
图像获取部35从机器人20获取由拍摄部10拍摄到的立体拍摄图像。图像获取部35向控制部36输出获取到的立体拍摄图像。另外，图像获取部35从机器人20获取由第1动拍摄部21拍摄到的第1动拍摄图像。图像获取部35向控制部36输出获取到的第1动拍摄图像。另外，图像获取部35从机器人20获取由第2动拍摄部22拍摄到的第2动拍摄图像。图像获取部35向控制部36输出获取到的第2动拍摄图像。
控制部36具备拍摄控制部41、检测部43、判定部45、以及机器人控制部47。
拍摄控制部41控制拍摄10拍摄立体拍摄图像。更具体而言，拍摄控制部41控制第1固定拍摄部11拍摄第1固定拍摄图像，控制第2固定拍摄部12拍摄第2固定拍摄图像。另外，拍摄控制部41控制第1动拍摄部21拍摄第1动拍摄图像。另外，拍摄控制部41控制第2动拍摄部22拍摄第2动拍摄图像。
检测部43基于由图像获取部35获取到的立体拍摄图像来检测设置有电动旋具T的位置。更具体而言，检测部43读取被存储部32存储的电动旋具T的图像(拍摄图像、CG(ComputerGraphics：计算机图形)等)，并通过基于读取到的电动旋具T的图像的图案匹配根据上述的立体拍摄图像检测电动旋具T的位置。
另外，检测部43基于由图像获取部35获取到的第1动拍摄图像或者第2动拍摄图像，检测把持部HND1或者把持部HND2的位置和电动旋具T的前端SC的位置。更具体而言，检测部43读取被存储部32存储的包括把持部HND1或者把持部HND2和电动旋具T的图像(拍摄图像、CG等)，并通过基于上述的图像的图案匹配检测把持部HND1或者把持部HND2的位置和电动旋具T的前端SC的位置。此外，检测部43也可以不是基于第1动拍摄图像或者第2动拍摄图像检测把持部HND1或者把持部HND2的位置和电动旋具T的前端SC的位置的结构，而是基于第1固定拍摄图像和第2固定拍摄图像中的任一方或者双方，检测把持部HND1或者把持部HND2的位置和电动旋具T的前端SC的位置的结构。
另外，检测部43基于由图像获取部35获取到的立体拍摄图像，检测零件供应装置SB的位置。更具体而言，检测部43读取被存储部32存储的零件供应装置SB的图像(拍摄图像、CG等)，通过基于读取到的零件供应装置SB的图像的图案匹配根据上述的立体拍摄图像检测零件供应装置SB的位置。此外，检测部43也可以不是基于立体拍摄图像检测零件供应装置SB的位置的结构，而是基于第1固定拍摄图像和第2固定拍摄图像中的任一方检测零件供应装置SB的位置的结构。另外，检测部43也可以是基于拍摄有作业区域的第1动拍摄图像和第2动拍摄图像中的任一方或者双方检测零件供应装置SB的位置的结构。
此外，检测部43也可以代替通过图案匹配检测电动旋具T、零件供应装置SB的位置的结构，而例如为读取预先存储于存储部32的电动旋具T、零件供应装置SB的位置的结构，也可以为通过粘贴于零件供应装置SB的标识符等根据立体拍摄图像检测电动旋具T、零件供应装置SB的位置的结构等通过其他的任何方法检测零件供应装置SB的结构，也可以为分别以不同的方法检测电动旋具T和零件供应装置SB的结构。
检测部43读取被存储部32存储的信息且表示从零件供应装置SB的位置到螺丝O的相对位置的螺丝位置信息，并基于读取到的螺丝位置信息，检测(计算)螺丝O的位置。此外，检测部43也可以不是检测零件供应装置SB的位置，并基于被检测到的零件供应装置SB的位置检测螺丝O的位置的结构，而为不借助零件供应装置SB的位置地通过图案匹配等根据立体拍摄图像检测螺丝O的结构。在该情况下，检测部43不掌握零件供应装置SB的位置，就根据立体拍摄图像检测螺丝O的位置。
判定部45在电动旋具T被把持部HND1把持的情况下，基于由检测部43检测到的把持部HND1的位置和电动旋具T的前端SC的位置，判定电动旋具T的位置状态。另外，判定部45在电动旋具T被把持部HND2把持的情况下，基于由检测部43检测到的把持部HND2的位置和电动旋具T的前端SC的位置，判定电动旋具T的位置状态。另外，判定部45在通过电动旋具T的位置状态的判定而判定为电动旋具T的位置状态不是适当位置状态的情况下，判定上述的适当位置与不适当位置之间的差是否在规定范围内。
判定部45在电动旋具T被把持部HND2把持的情况下，基于从第1方向C1拍摄到的第1动拍摄图像以及从第2方向C2拍摄到的第1动拍摄图像，判定螺丝O是否以适当的状态安装于电动旋具T的前端SC(即，是否发生安装错误)。另外，判定部45在如图1所示电动旋具T被把持部HND1把持的情况下，基于从第1方向C1拍摄到的第2动拍摄图像以及从第2方向C2拍摄到的第2动拍摄图像，判定是否发生安装错误。
机器人控制部47控制机器人20基于由检测部43检测到的设置有电动旋具T的位置，例如通过视觉伺服等使把持部HND1或者把持部HND2把持电动旋具T。机器人控制部47在电动旋具T被把持部HND1或者把持部HND2把持后，控制机器人20通过把持部HND1或者把持部HND2将电动旋具T移动到位置状态判定位置。
机器人控制部47在上述的判定的结果为判定为电动旋具T的位置状态是适当位置状态的情况、或者判定为电动旋具T的位置状态不是适当位置状态的情况且适当位置与不适当位置的差在规定范围内的情况下，控制机器人20通过电动旋具T将螺丝O从零件供应装置SB安装到电动旋具T的前端SC。机器人控制部47在上述的判定的结果为判定为电动旋具T的位置状态不是适当位置状态的情况且适当位置与不适当位置的差不在规定范围内的情况下，控制机器人20将电动旋具T返回到初始位置并重新把持电动旋具T。
另外，机器人控制部47控制机器人20基于由检测部43检测到的螺丝O的位置，例如通过视觉伺服等使螺丝O吸附于电动旋具T的前端SC来将螺丝O安装于电动旋具T的前端SC。机器人控制部47在螺丝O安装于电动旋具T的前端SC后，控制机器人20通过移动把持电动旋具T的臂(第1臂或者第2臂)，从而电动旋具T移动到规定的拍摄位置。
另外，机器人控制部47在判定为发生了安装错误的情况下，控制机器人20进行基于安装错误的动作。机器人控制部47在判定为未发生安装错误的情况下，例如控制机器人20使安装于电动旋具T的螺丝O移动到规定的螺纹紧固位置，并进行螺纹紧固。
以下，参照图5，对从控制装置30使机器人20把持电动旋具T后，到进行基于是否发生安装错误的判定结果的动作为止的处理进行说明。图5是表示从控制装置30使机器人20把持电动旋具T到进行基于是否发生安装错误的判定结果的动作为止的处理的流程的一个例子的流程图。
首先，拍摄控制部41控制拍摄部10拍摄作业区域的立体拍摄图像。然后，控制部36通过图像获取部35获取被拍摄部10拍摄到的立体拍摄图像(步骤S30)。接下来，检测部43通过基于在步骤S30中获取到的立体拍摄图像的图案匹配检测设置有电动旋具T的位置(步骤S40)。此时，检测部43读取被存储部32存储的图像且图案匹配所使用的电动旋具T的图像，根据读取到的图像进行图案匹配。
接下来，机器人控制部47控制机器人20基于在步骤S40中检测到的设置有电动旋具T的位置，移动第1臂来利用把持部HND1把持对电动旋具T预先规定的把持位置(步骤S50)。接下来，机器人控制部47控制机器人20将在步骤S50中被把持部HND1把持的电动旋具T通过移动第1臂而移动到位置状态判定位置。机器人控制部47通过移动第2臂来将第2动拍摄部22移动到可拍摄包括电动旋具T和把持部HND1的范围的位置。然后，拍摄控制部41利用第2动拍摄部22拍摄包括电动旋具T和把持部HND1的范围作为第2动拍摄图像。然后，控制部36通过图像获取部35获取被第2动拍摄部22拍摄到的第2动拍摄图像(步骤S60)。
接下来，检测部43基于在步骤S60中拍摄到的第2动拍摄图像，检测把持部HND1的位置和电动旋具T的前端SC的位置。然后，判定部45基于由检测部43检测到的把持部HND1的位置和电动旋具T的前端SC的位置，判定电动旋具T的位置状态是否是适当位置状态(步骤S70)。在判定为电动旋具T的位置状态是适当位置状态的情况(步骤S70－是)下，拍摄控制部41控制拍摄部10拍摄作业区域的立体拍摄图像，控制部36通过图像获取部35获取被拍摄部10拍摄到的立体拍摄图像(步骤S100)。另一方面，在判定为电动旋具T的位置状态不是适当位置状态的情况(步骤S70－否)下，判定部45判定适当位置与不适当位置之间的差是否在规定范围内(步骤S80)。
在判定为适当位置与不适当位置之间的差不在规定范围内的情况(步骤S80－否)下，机器人控制部47将电动旋具T返回到在步骤S50中利用把持部HND1把持之前的位置，返回步骤S30重新把持电动旋具T。另一方面，在判定为适当位置与不适当位置之间的差在规定范围内的情况(步骤S80－是)下，拍摄控制部41迁移到步骤S100，控制拍摄部10拍摄作业区域的立体拍摄图像，然后，控制部36通过图像获取部35获取被拍摄部10拍摄到的立体拍摄图像。
接下来，检测部43通过基于在步骤S100中获取到的立体拍摄图像的图案匹配检测零件供应装置SB的位置。此时，检测部43读取被存储部32存储的图像且图案匹配所使用的零件供应装置SB的图像，根据读取到的图像进行图案匹配。
然后，检测部43从存储部32读取上述的螺丝位置信息，基于读取到的螺丝位置信息和检测到的零件供应装置SB的位置检测螺丝O(作业部件)的位置(步骤S110)。接下来，机器人控制部47控制机器人20基于在步骤S110中检测到的螺丝O的位置，移动第1臂来将螺丝O安装于电动旋具T的前端SC(步骤S120)。
接下来，机器人控制部47通过移动机器人20的第1臂来将在前端SC安装有螺丝O的电动旋具T移动到规定的拍摄位置。之后，机器人控制部47控制机器人20以使第2动拍摄部22移动到拍摄包括电动旋具T的范围的第2动拍摄图像的位置。然后，拍摄控制部41控制第2动拍摄部22拍摄第2动拍摄图像(步骤S130)。
更具体而言，电动旋具T被移动到规定的拍摄位置后，机器人控制部47控制机器人20的第2臂以使第2动拍摄部22移动到可从第1方向C1拍摄包括电动旋具T的范围的位置。在第2动拍摄部22被移动到可从第1方向C1拍摄包括电动旋具T的范围的位置后，拍摄控制部41控制第2拍摄部22拍摄第一张第2动拍摄图像。
机器人控制部47在拍摄到第一张第2动拍摄图像后，控制机器人20的第2臂将第2动拍摄部22移动到可从第2方向C2拍摄包括电动旋具T的范围的位置。在第2动拍摄部22被移动到可从第2方向C2拍摄包括电动旋具T的范围的位置后，拍摄控制部41控制第2动拍摄部22拍摄第二张第2动拍摄图像。
接下来，判定部45基于在步骤S130中拍摄到的第一张以及第二张第2动拍摄图像，判定是否发生安装错误(步骤S140)。更具体而言，判定部45通过基于从存储部32读取到的螺丝O以适当的状态安装于电动旋具T的前端SC的状态的图像(拍摄到的图像、CG等)进行图案匹配，来进行上述的判定。
在第一张第2动拍摄图像和第二张第2动拍摄图像的任一方中，在上述的图案匹配的判定的结果为判定为电动螺丝O未被以适当的状态安装于旋具T的前端SC的情况(步骤S140－是)下，机器人控制部47判定为发生安装错误，控制机器人20进行基于安装错误的动作(步骤S160)。在该一个例子中，上述的控制是使电动旋具T移动到规定的待机位置之后使动作停止的控制。
另一方面，在第一张第2动拍摄图像和第二张第2动拍摄图像的双方中，在上述的图案匹配的判定的结果为判定为螺丝O以适当的状态安装于电动旋具T的前端SC的情况(步骤S140－否)下，机器人控制部47判定为未发生安装错误，控制机器人20使安装于电动旋具T的螺丝O移动到规定的螺纹紧固位置，并进行螺纹紧固(步骤S150)。
这里，参照图6来对安装错误进行说明。图6是分别例示未发生安装错误的状态和发生了安装错误的状态的图。图6(A)中示出未发生安装错误的状态的一个例子。如图6(A)所示，所谓未发生安装错误的状态(即，安装于电动旋具T的前端SC的螺丝O是适当的状态)，是电螺丝O的螺丝头通过前端SC以能够螺纹紧固的状态嵌合于电动旋具T的前端SC的状态。更具体而言，所谓以可螺纹紧固的状态嵌合的状态是指以电动旋具T的长边方向的中心轴与对螺丝O进行螺纹紧固时的行进方向所涉及的中心轴一致的方式嵌合的状态。
对于图6(A)所示的状态，图6(B)中示出发生安装错误的状态的一个例子。在图6(B)所示的例子中，根据电动旋具T的前端SC，螺丝O的螺丝头未以能够螺纹紧固的方式嵌合于前端SC，对螺丝O进行螺纹紧固时的中心轴与电动旋具T的长边方向的中心轴不一致。所谓不是上述的适当的状态的情况是电动旋具T无法对螺丝O进行螺纹紧固这样的情况。
另外，在图6(C)中示出发生安装错误的状态的其他的例子。图6(C)所示的状态是螺丝O未安装于电动旋具T的前端SC的状态。这表示在电动旋具T的前端SC安装螺丝O失败。控制部36在图6(A)所示的状态的情况下，控制机器人20在规定的螺纹紧固位置进行螺丝O的螺丝拧紧，在图6(B)、图6(C)所示的状态的情况下，控制机器人20进行基于安装错误的动作。
此外，控制部36也可以构成为在发生安装给材错误时，按照发生的安装错误的种类使机器人20进行基于不同的安装错误的动作。例如，控制部36也可以构成为，在发生图6(B)所示的状态的安装错误的情况下，使机器人20进行基于安装错误的第1动作，在发生图6(C)所示的状态的安装错误的情况下，使机器人20进行基于安装错误的第2动作。
另外，作为判定部45是判定螺丝O是否被以适当的的状态安装于电动旋具T的前端SC，且将不是上述的适当的状态的情况判定为安装错误的结构进行了说明，但是也可以代替它，构成为判定螺丝O是否被以多个状态中的任一状态安装于电动旋具T的前端SC。在该情况下，上述的多个状态中既可以包括表示上述的安装错误的状态，也可以不包括。
如以上说明，本实施方式所涉及的机器人系统1利用把持部HND1或者把持部HND2把持电动旋具T，并基于包括电动旋具T的第2动拍摄图像检测电动旋具T的前端SC的位置。由此，机器人系统1能够判定电动旋具T的把持的成功与否。
另外，机器人系统1基于检测到的电动旋具T的前端SC的位置，判定电动旋具T的位置状态是否是适当位置状态。由此，机器人系统1能够实现与位置状态对应的动作。
另外，机器人系统1将螺丝O安装到电动旋具T，并基于包括螺丝O的拍摄图像判定螺丝O的安装状态。由此，机器人系统1能够实现与螺丝O的安装状态对应的动作。
另外，机器人系统1在判定为位置状态是适当位置状态的情况下，将螺丝O安装到电动旋具T，并判定安装状态。由此，机器人系统1能够抑制在把持电动旋具T时产生的误差，并且例如进行上述的安装作为下个作业。
另外，机器人系统1在判定为位置状态不是适当位置状态，并且判定为从适当位置状态的偏离(即，适当位置与不适当位置的差)在规定范围内的情况下，将螺丝O安装到电动旋具T，并判定安装状态。由此，机器人系统1能够将在把持电动旋具T时产生的误差抑制在规定范围内，并且例如进行上述的安装作为下个作业。
另外，机器人系统1在判定为位置状态不是适当位置状态，并且判定为从适当位置状态的偏离不在规定范围内的情况下，重新把持电动旋具T。由此，机器人系统1能够在把持电动旋具T时产生的误差大的情况下，重新把持电动旋具T后，例如进行上述的安装作为下个作业。
另外，机器人系统1判定螺丝O是否以适当的状态安装。由此，机器人能够在螺丝O被以适当的状态安装的情况和未被以适当的状态安装的情况下进行不同的动作。
另外，机器人系统1利用电动旋具T的前端SC的磁力将螺丝O安装于电动旋具T的前端SC，并判定其安装状态。由此，机器人系统1能够进行与利用电动旋具T的前端SC的磁力的螺丝O的安装状态对应的动作。
另外，机器人系统1基于从2个以上方向按照各个方向拍摄到的第2动拍摄图像判定螺丝O的安装状态。由此，机器人系统1能够抑制对螺丝O的安装状态进行错误判定。
另外，机器人系统1通过图案匹配基于第2动拍摄图像判定电动旋具T的位置状态。由此，机器人系统1能够使用图案匹配来判定电动旋具T的位置状态。
另外，机器人系统1通过图案匹配基于第2动拍摄图像判定螺丝O的安装状态。由此，机器人系统1能够使用图案匹配来判定螺丝O的安装状态。
另外，机器人系统1根据判定位置状态的结果移动把持部HND1或者把持部HND2。由此，机器人系统1能够实现与电动旋具T的位置状态对应的把持部HND1或者把持部HND2的动作。
另外，机器人系统1根据判定螺丝O的安装状态的结果移动把持部HND1或者把持部HND2。由此，机器人系统1能够实现与螺丝O的安装状态对应的把持部HND1或者把持部HND2的动作。
另外，机器人系统1在判定为螺丝O未被以适当的状态安装的情况下，使把持部HND1或者把持部HND2的动作停止。由此，机器人系统1例如在螺丝O的安装失败的情况下，也无需用户停止把持部HND1或者把持部HND2的动作。
此外，在本实施方式中，机器人系统1构成为基于第1动拍摄图像或者第2动拍摄图像检测电动旋具T的前端SC的位置，但是也可以代替它，例如构成为向电动旋具T照射激光，并基于从电动旋具T的前端SC反射的激光的位置检测电动旋具T的前端SC的位置。在该情况下，机器人系统1具备激光照射部、以及检测反射的激光的反射激光检测部，被反射的激光的位置和电动旋具T的前端SC的位置通过预先校准等建立关联。
以上，参照附图对本发明的实施方式进行了详细描述，但是具体的结构并不局限于该实施方式，只要不脱离本发明的主旨，也可以进行变更、置换、削除等。
另外，也可以将用于实现以上说明的装置(例如，机器人系统1的控制装置30)中的任意的构成部的功能的程序记录在计算机可读取的记录介质，使计算机系统读取该程序并执行。此外，这里所说的“计算机系统”包括OS(OperatingSystem：操作系统)、周边机器等硬件。另外，所谓“计算机可读取的记录介质”是指软盘、光磁盘、ROM(ReadOnlyMemory：只读存储器)、CD(CompactDisk：光盘)－ROM等的可移动介质，内置于计算机系统的硬盘等的存储装置。并且所谓“计算机可读取的记录介质”是指也包括如成为经由因特网等网络、电话线路等通信线路发送了程序的情况下的服务器、客户端的计算机系统内部的易失性存储器(RAM：RandomAccessMemory：随机存取存储器)那样将程序保持一定时间的存储器的存储器。
另外，上述的程序也可以从将该程序储存在存储装置等的计算机系统经由传送介质、或者通过传送介质中的传送波传送至其他的计算机系统。这里，传送程序的“传送介质”是指如因特网等的网络(通信网)、电话线路等的通信线路(通信线)那样具有传送信息的功能的介质。
另外，上述的程序也可以是用于实现上述的功能的一部分的程序。并且，上述的程序也可以是能够以与已经记录于计算机系统的程序的组合实现前述的功能的所谓的差分文件(差分程序)。
附图标记的说明：1...机器人系统；10...拍摄部；11...第1固定拍摄部；12...第2固定拍摄部；20...机器人；21...第1动拍摄部；22第2动拍摄部；23...力传感器；30...控制装置；31...CPU；32...存储部；33...输入接受部；34...通信部；35...图像获取部；36...控制部；41...拍摄控制部；43...检测部；45...判定部；47...机器人控制部。

Claims (16)

1.一种机器人，其特征在于，包括：
手；和
控制部，其控制所述手；
所述控制部通过所述手对把持对象进行把持，并基于包括所述把持对象的拍摄图像来检测所述把持对象的位置。
2.根据权利要求1所述的机器人，其特征在于，
所述控制部基于检测到的所述把持对象的位置，来判定表示所述把持对象的位置与所述手的位置的相对位置的位置状态是否是规定的位置状态。
3.根据权利要求2所述的机器人，其特征在于，
所述控制部将作业部件安装到所述把持对象，基于包括所述作业部件的拍摄图像来判定所述作业部件的安装状态。
4.根据权利要求3所述的机器人，其特征在于，
所述控制部在判定为所述位置状态是所述规定的位置状态的情况下，进行所述安装并判定所述安装状态。
5.根据权利要求3或者4所述的机器人，其特征在于，
所述控制部在判定为所述位置状态不是所述规定的位置状态且判定为从所述规定的位置状态的偏离在规定范围内的情况下，进行所述安装并判定所述安装状态。
6.根据权利要求5所述的机器人，其特征在于，
所述控制部在判定为所述位置状态不是所述规定的位置状态且判定为从所述规定的位置状态的偏离不在规定范围内的情况下，重新把持所述把持对象。
7.根据权利要求3～6中任一项所述的机器人，其特征在于，
所述控制部判定所述作业部件是否被以规定的安装状态安装。
8.根据权利要求3～7中任一项所述的机器人，其特征在于，
所述作业部件通过磁力以磁性的方式附着于所述把持对象的前端。
9.根据权利要求3～8中任一项所述的机器人，其特征在于，
所述控制部基于从2个以上方向按照各个方向拍摄到的所述拍摄图像来判定所述作业部件的安装状态。
10.根据权利要求3～9中任一项所述的机器人，其特征在于，
所述控制部通过图案匹配基于所述拍摄图像来判定所述把持对象的所述位置状态。
11.根据权利要求3～9中任一项、或者引用权利要求3的权利要求10所述的机器人，其特征在于，
所述控制部通过图案匹配基于所述拍摄图像来判定所述作业部件的安装状态。
12.根据权利要求3～11中任一项所述的机器人，其特征在于，
所述控制部根据判定所述位置状态的结果移动所述手。
13.根据权利要求3～12中任一项所述的机器人，其特征在于，
所述控制部根据判定所述安装状态的结果移动所述手。
14.根据权利要求7、以及引用权利要求7的权利要求8～13中任一项所述的机器人，
所述控制部在判定为所述作业部件未被以所述规定的安装状态安装的情况下，使所述手的动作停止。
15.一种机器人系统，其特征在于，包括：
机器人，其具备对把持对象进行把持的手；和
拍摄部，其拍摄包括所述把持对象的拍摄图像；
所述机器人通过所述手对把持对象进行把持，并基于包括所述把持对象的拍摄图像来检测所述把持对象的位置。
16.一种控制方法，其特征在于，
是使具备对把持对象进行把持的手的机器人动作的控制方法，
通过所述手对把持对象进行把持，并基于包括所述把持对象的拍摄图像来检测所述把持对象的位置。
CN201510271092.1A 2014-06-02 2015-05-25 机器人、机器人系统、以及控制方法 Pending CN105269581A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-114286 2014-06-02
JP2014114286A JP2015226963A (ja) 2014-06-02 2014-06-02 ロボット、ロボットシステム、制御装置、及び制御方法

Publications (1)

Publication Number Publication Date
CN105269581A true CN105269581A (zh) 2016-01-27

Family

ID=54700732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510271092.1A Pending CN105269581A (zh) 2014-06-02 2015-05-25 机器人、机器人系统、以及控制方法

Country Status (3)

Country Link
US (1) US20150343642A1 (zh)
JP (1) JP2015226963A (zh)
CN (1) CN105269581A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105921990A (zh) * 2016-06-28 2016-09-07 江苏捷帝机器人股份有限公司 一种用于快速安装螺丝的高精度机械臂及其工作方法
CN106256507A (zh) * 2015-06-17 2016-12-28 波音公司 顺应式末端执行器、包括顺应式末端执行器的机器人及利用顺应式末端执行器的方法
CN107255537A (zh) * 2017-06-16 2017-10-17 重庆市灵龙自动化设备有限公司 打螺丝机机器人末端扭矩检测装置
CN109926815A (zh) * 2019-04-25 2019-06-25 中国重型机械研究院股份公司 一种机器人自动装配螺纹副方法
CN110961903A (zh) * 2019-12-27 2020-04-07 中国电子科技集团公司第十三研究所 自动锁螺钉系统及方法
CN112246941A (zh) * 2020-09-27 2021-01-22 柳州工学院 一种汽车零件智能化冲压设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100415459C (zh) * 2004-10-01 2008-09-03 发那科株式会社 机器人程序生成装置以及解析装置
CN101384402A (zh) * 2006-02-17 2009-03-11 丰田自动车株式会社 可移动机器人
US20120059517A1 (en) * 2010-09-07 2012-03-08 Canon Kabushiki Kaisha Object gripping system, object gripping method, storage medium and robot system
JP2012161860A (ja) * 2011-02-04 2012-08-30 Seiko Epson Corp ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
CN102785249A (zh) * 2011-05-16 2012-11-21 精工爱普生株式会社 机械手控制系统，机械手系统以及程序
CN103029118A (zh) * 2011-10-04 2013-04-10 株式会社安川电机 机器人装置、机器人系统和被加工物的制造方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63288683A (ja) * 1987-05-21 1988-11-25 株式会社東芝 組立てロボット
JPH085021B2 (ja) * 1990-02-01 1996-01-24 川崎重工業株式会社 ワークの位置決め方法
JPH0970780A (ja) * 1995-09-06 1997-03-18 Fanuc Ltd ロボットのツール形状補正方式
JP3688506B2 (ja) * 1999-02-09 2005-08-31 株式会社マキタ 磁気吸着式ドライバー
WO2007149183A2 (en) * 2006-05-25 2007-12-27 Braintech Canada, Inc. System and method of robotically engaging an object
JP5130509B2 (ja) * 2010-08-11 2013-01-30 川田工業株式会社 作業ロボット用エンドエフェクタ交換装置およびその一部を具える作業ロボット
JP5975685B2 (ja) * 2012-03-09 2016-08-23 キヤノン株式会社 情報処理装置、情報処理方法
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100415459C (zh) * 2004-10-01 2008-09-03 发那科株式会社 机器人程序生成装置以及解析装置
CN101384402A (zh) * 2006-02-17 2009-03-11 丰田自动车株式会社 可移动机器人
US20120059517A1 (en) * 2010-09-07 2012-03-08 Canon Kabushiki Kaisha Object gripping system, object gripping method, storage medium and robot system
JP2012161860A (ja) * 2011-02-04 2012-08-30 Seiko Epson Corp ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
CN102785249A (zh) * 2011-05-16 2012-11-21 精工爱普生株式会社 机械手控制系统，机械手系统以及程序
CN103029118A (zh) * 2011-10-04 2013-04-10 株式会社安川电机 机器人装置、机器人系统和被加工物的制造方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106256507A (zh) * 2015-06-17 2016-12-28 波音公司 顺应式末端执行器、包括顺应式末端执行器的机器人及利用顺应式末端执行器的方法
CN106256507B (zh) * 2015-06-17 2021-07-06 波音公司 顺应式末端执行器、包括顺应式末端执行器的机器人及利用顺应式末端执行器的方法
CN105921990A (zh) * 2016-06-28 2016-09-07 江苏捷帝机器人股份有限公司 一种用于快速安装螺丝的高精度机械臂及其工作方法
CN107255537A (zh) * 2017-06-16 2017-10-17 重庆市灵龙自动化设备有限公司 打螺丝机机器人末端扭矩检测装置
CN109926815A (zh) * 2019-04-25 2019-06-25 中国重型机械研究院股份公司 一种机器人自动装配螺纹副方法
CN110961903A (zh) * 2019-12-27 2020-04-07 中国电子科技集团公司第十三研究所 自动锁螺钉系统及方法
CN110961903B (zh) * 2019-12-27 2021-06-15 中国电子科技集团公司第十三研究所 自动锁螺钉系统及方法
CN112246941A (zh) * 2020-09-27 2021-01-22 柳州工学院 一种汽车零件智能化冲压设备

Also Published As

Publication number Publication date
JP2015226963A (ja) 2015-12-17
US20150343642A1 (en) 2015-12-03

Similar Documents

Publication Publication Date Title
CN105269581A (zh) 机器人、机器人系统、以及控制方法
CN105269582A (zh) 机器人、机器人系统以及控制方法
CN105291088B (zh) 机器人、机器人系统以及控制方法
US11173609B2 (en) Hand-eye calibration method and system
US20160034746A1 (en) Control system, robot system, and control method
CN105269578A (zh) 指示装置以及机器人系统
US20150251314A1 (en) Robot, robot system, control device, and control method
CN108145728B (zh) 机器人控制装置以及推定施加给机器人的干扰值的方法
US20150343641A1 (en) Robot, control method of robot, and control device of robot
TW201403277A (zh) 機器人系統、機器人、機器人控制裝置、機器人控制方法及機器人控制程式
JP2008087074A (ja) ワーク取り出し装置
JP2014161950A (ja) ロボットシステム、ロボット制御方法、ロボット較正方法
JP6699097B2 (ja) ロボット及び制御装置
US11351672B2 (en) Robot, control device, and robot system
JP2014188617A (ja) ロボット制御システム、ロボット、ロボット制御方法及びプログラム
JP6390088B2 (ja) ロボット制御システム、ロボット、プログラム及びロボット制御方法
CN106476015B (zh) 机器人、控制装置以及机器人系统
JP2006224291A (ja) ロボットシステム
JP6772630B2 (ja) 三次元計測装置及び三次元物体認識方法
EP3290164A2 (en) Robot, robot control device, and robot system
CN112540604A (zh) 机器人充电系统、方法及终端设备
WO2021145280A1 (ja) ロボットシステム
WO2019182084A1 (ja) 方法及び装置
JP6578671B2 (ja) ロボット、ロボットの制御方法、及びロボットの制御装置
JP2018017610A (ja) 三次元計測装置、ロボット、ロボット制御装置、及びロボットシステム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160127

WD01 Invention patent application deemed withdrawn after publication