CN104816306A - 机器人、机器人系统、控制装置、以及控制方法 - Google Patents

机器人、机器人系统、控制装置、以及控制方法 Download PDF

Info

Publication number
CN104816306A
CN104816306A CN201510055571.XA CN201510055571A CN104816306A CN 104816306 A CN104816306 A CN 104816306A CN 201510055571 A CN201510055571 A CN 201510055571A CN 104816306 A CN104816306 A CN 104816306A
Authority
CN
China
Prior art keywords
region
image
robot
central shaft
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510055571.XA
Other languages
English (en)
Inventor
原田智纪
桥本浩一
荒井翔悟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN104816306A publication Critical patent/CN104816306A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1612—Programme controls characterised by the hand, wrist, grip control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39543—Recognize object and plan hand shapes in grasping movements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40053—Pick 3-D object from pile of objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种机器人、机器人系统、控制装置以及控制方法。该机器人包括手以及使手动作的控制部，控制部针对构成拍摄部拍摄得到的拍摄图像的一部分生成三维点云信息，并使手把持图像的一部分所包括的物体。

Description

机器人、机器人系统、控制装置、以及控制方法
技术领域
本发明涉及机器人、机器人系统、控制装置、以及控制方法。
背景技术
在机器人进行的作业中有逐个地取出杂乱地堆积的对象物并向其他的物体进行组装的动作。在这样的动作中例如有销拾取，是工业上重要的工序。在取出对象物时，使用夹具、专用的装置来使机器人臂把持杂乱地堆积的对象物，并重新码放以取得恒定的位置、姿势。但是，由于需要根据对象物的形状、大小来安装各自不同的专用的夹具、专用的装置，所以经济上以及时间上的成本增大。
为了消除或者减少这样的问题，尝试通过使用投影仪、激光发生器等光源向对象物照射光线并处理来自对象物的反射光来获取对象物的三维信息。虽然获取的三维信息用于求出对象物的位置、姿势的处理，但并不通用。另外，该处理所花费的时间较多。
于是，尝试使用照相机那样更为通用的设备来获取包括对象物的纵浓信息的三维信息，并使用获取的三维信息来获取对象物的位置以及姿势。三维信息例如是由表示对象物的形状的三维点云形成的图像数据。在求位置、姿势时，进行规定的对象物的模板与三维点云的匹配。但是三维点云的匹配与二维图像的匹配相比，应运算的维数增加。换句话说，与匹配的对象从二维增加至三维相应地，求对象物的位置、姿势时的维数从三维增加至六维。在使用同种计算方法的情况下，计算量、计算时间与对象物的维数相应地呈指数函数增加。因此，对于针对三维点云的位置、姿势的推断，依然需要庞大的计算量、计算时间。
为了解决该问题，提出有在位置、姿势的推断中使用对象物所具有的形状的特征的方法。例如，在专利文献1中记载有能够针对同一形状的部件杂乱地堆积的部件群进行销拾取的具备位置姿势识别装置等的销拾取系统。在该销拾取系统中，从拍摄图像提取拍摄图像中的亮区域单独地以直线状延伸的直线状亮区域。更具体而言，使用阈值从拍摄图像提取亮区域，并从提取出的各亮区域提取亮区域不交叉且单独地以直线状延伸的直线状亮区域。
专利文献1：日本特开2009－128201号公报
然而，在工厂等作业现场中使用的对象物的形状各不相同。例如，存在很多像螺钉、螺栓等那样平面占据表面的区域较少的物体。那样的物体被装入由塑料膜构成的袋中进行运输、存库，很少被码放在作业空间内。因此，在使机器人作为对象物操作那样的物体的任意一个时，需要分别决定该物体的位置和姿势。
对此，也考虑从散乱地堆积的物体群的三维点云信息分离出属于认为是一个物体的区域的点云，并从分离出的点云表示的物体的形状获取表示该物体的位置以及姿势的位置姿势信息。在决定认为是一个物体的区域时，若使用散乱地堆积的物体群的三维点云信息的整体，则用于决定该区域的处理量、处理时间增多。另外，存在若错误地判定认为是一个物体的区域，则从属于错误地判定出的区域的点云确定出物体的位置、姿势，确定出本来不存在的物体的位置、姿势。
发明内容
因此，本发明是鉴于上述问题而成的，本发明的课题在于提供一种能够在对象物的位置、姿势的推断中减少处理时间并使检测精度提高的机器人、机器人系统、控制装置、以及控制方法。
本发明的一方式是一种机器人，该机器人包括：手；以及控制部，使上述手动作，上述控制部针对构成拍摄部拍摄得到的拍摄图像的图像的一部分生成三维点云信息，并使上述手把持上述图像的一部分所包括的物体。
若对拍摄图像整体进行三维点云处理，则运算处理增加，但根据上述结构，对部分图像进行三维点云处理，从而能够削减运算处理并高速地进行作业。
本发明的一方式是上述的机器人，上述控制部从上述拍摄图像决定出表现上述物体的第一区域和包括上述第一区域且具有规定的形状的第二区域，并从上述拍摄图像生成与上述第一区域对应的第一三维点云信息和与上述第二区域对应的第二三维点云信息，并选择出由上述第一三维点云信息所包括的两点构成的多个组中的两点间的线段的长度为规定的长度的范围内的组，并从上述第二三维点云信息提取距形成选择出的组的两点间的线段在预先决定的范围内的点，并选择出至从上述第二三维点云信息提取出的各点的距离与规定的阈值的差在预先决定的范围内的中心轴。
根据该结构，基于拍摄图像将与第一区域对应的第一三维点云信息和与第二区域对应的第二三维点云信息决定为处理对象，所以能够使处理量降低。另外，确定出表现对象物的图像的点，该点由距连结长度在规定的范围内的两点的中心轴的半径在规定的范围内的点形成。因此，作为具有曲面的对象物，能够推断出形状具有曲面的对象物的位置以及姿势。另外，由于基于比选择用于本中心轴的推断的两点的组的第一三维点云信息所涉及的第一区域广泛的第二区域所涉及的第二三维点云信息的点来选择中心轴，所以能够使推断对象物的位置以及姿势时需要的处理量降低，能够不损害精度地使处理高速化。
本发明的一方式是上述的机器人，上述控制部从上述拍摄图像检测亮度比预先决定的阈值大的区域，并将表示检测出的区域的形状的指标值在规定的范围内的区域决定为上述第一区域。
根据该结构，由于选择清晰地表现被拍摄体的区域作为第一区域，所以能够可靠地把握表现于选择出的第一区域的物体。
本发明的一方式是上述的机器人，上述第二区域的形状是矩形，上述控制部从上述拍摄图像决定比上述第二区域的长边方向的长度长的第三区域，并从上述拍摄图像提取与上述第三区域对应的第三三维点云信息，并基于上述第三三维点云信息所包括的点向上述中心轴的方向的分布来计算上述物体的上述中心轴的方向的长度。
根据该结构，能够比第二三维点云信息广泛地获取中心轴的方向的第三三维点云信息的点的分布。因此，即使在由于不同的长度的物体混在而确定出较长的物体的情况下，也能够不遗漏表示该物体的点地求出向中心轴的方向的长度，能够分别识别出不同的长度的物体。
本发明的一方式是一种控制装置，该控制装置包括：图像受理部，受理拍摄部拍摄多个物体得到的拍摄图像；以及处理部，使机器人动作，上述处理部针对构成上述拍摄图像的图像的一部分生成三维点云信息，并使上述机器人把持上述图像的一部分所包括的物体。
若针对拍摄图像整体进行三维点云处理，则运算处理增加，但根据上述结构，针对部分图像进行三维点云处理，从而能够削减运算处理并高速地进行作业。
本发明的一方式是一种机器人系统，该机器人系统包括：拍摄部，拍摄多个物体；机器人；以及控制部，使上述机器人动作，上述控制部针对构成上述拍摄部拍摄得到的拍摄图像的图像的一部分生成三维点云信息，并使上述机器人把持上述图像的一部分所包括的物体。
若针对拍摄图像整体进行三维点云处理，则运算处理增加，但根据上述结构，针对部分图像进行三维点云处理，从而能够削减运算处理并高速地进行作业。
本发明的一方式是一种控制方法，该控制方法包括拍摄多个物体；针对构成拍摄上述多个物体得到的拍摄图像的图像的一部分生成三维点云信息；以及使用生成的上述三维点云信息来使机器人把持上述图像的一部分所包括的物体。
若针对拍摄图像整体进行三维点云处理，则运算处理增加，但根据上述结构，针对部分图像进行三维点云处理，从而能够削减运算处理并高速地进行作业。
附图说明
图1是本发明的实施方式所涉及的机器人系统的简要立体图。
图2是表示本实施方式所涉及的控制部的结构的简要框图。
图3是表示二维图像的一个例子的图。
图4是表示近似对象物的形状的模型的一个例子的图。
图5是表示关注区域设定部决定关注区域的处理的流程图。
图6是表示二值化图像的一个例子的图。
图7是表示膨胀收缩处理的一个例子的图。
图8是表示分选出的亮区域的一个例子的图。
图9是由关注区域设定部生成的直方图的一个例子。
图10是表示关注区域的例子的图。
图11是表示选择出的点对的例子的图。
图12是表示属于线段的样本点的例子的图。
图13是表示选择出的中心轴的一个例子的剖视图。
图14是表示中心轴与样本点的一个例子的立体图。
图15是由空间数据生成部生成的直方图的一个例子。
图16是表示本实施方式所涉及的机器人控制的流程图。
图17是表示本实施方式的变形例所涉及的机器人系统的结构的图。
具体实施方式
以下，参照附图对本发明的实施方式进行详细地说明。
图1是本实施方式所涉及的机器人系统1的简要立体图。
如图1所示，机器人系统1具备拍摄装置10、控制装置20以及机器人30。应予说明，为了使图清晰，存在使图1中的部件、构造等的比例尺与实际的比例尺不同的情况。
拍摄装置10拍摄被拍摄体的三维的形状，并生成表示拍摄得到的三维的形状的三维图像数据。生成的三维图像数据例如是由以规定的分辨率对拍摄得到的三维的形状进行取样得到的多个各样本点的位置信息形成的数据。各样本点表示对被拍摄体的表面进行取样得到的三维的欧几里得空间内的正交坐标(X，Y，Z)。换句话说，生成的图像数据是包括多个样本点数据的点云数据。样本点数据是表示对被拍摄体的表面进行取样得到的各样本点的位置的数据。另外，各样本点数据也可以包括表示该点处的明亮度的亮度值。样本点与二维的图像数据中的像素相当，以由多个样本点伸展的面表现被拍摄体的表面。图像数据表示的图像也被称作点云图像。
应予说明，在图1所示的例子中，X方向为左方，Y方向为纵浓方向，Z方向为下方。
拍摄装置10例如是形状检查用三维传感器。拍摄装置10设置在能够光学观察被拍摄体的位置，例如设置在能够光学观察成为机器人30的操作对象的物体(以下称作对象物)Wk堆积的区域的位置。如下所述，对象物Wk是表面具有曲面的圆柱物体。作业台Tb的表面与水平面平行，在作业台Tb的表面上杂乱地堆积有多个对象物Wk。
拍摄装置10被设置成光轴例如朝向与水平面垂直的方向(下方)。拍摄装置10对表现拍摄区域Ir所包括的多个对象物Wk的一个帧的三维的图像进行拍摄。拍摄区域Ir是拍摄装置10能够拍摄放置于该区域内的被拍摄体的图像的具有预先决定的大小的三维的区域。因此，通过拍摄得到的三维的图像(三维图像)是表示多个对象物Wk的三维形状的图像，该三维图像由以多个样本点形成的样本点数据来表现。样本点其亮度越高越以高密度分布。
拍摄装置10将表示通过拍摄得到的三维图像的样本点数据作为三维图像数据输出至控制装置20。
拍摄装置10还拍摄表现拍摄区域Ir所包括的多个对象物Wk的一个帧的二维的图像(二维图像)。二维图像与将上述的三维图像投影至与拍摄装置10的光轴交叉的平面所形成的图像相当。换句话说，二维图像表现与三维图像同一拍摄区域Ir内的同一被拍摄体，且各拍摄区域对应。拍摄装置10将表示拍摄得到的二维图像的二维图像数据输出至控制装置20。在以下的说明中，将二维图像数据和三维图像数据仅统称作“图像数据”。
控制装置20基于从拍摄装置10输入的图像数据来控制机器人30的动作。控制装置20包括图像数据获取部(图像受理部)21以及控制部(处理部)22而构成。
从拍摄装置10向图像数据获取部21输入图像数据，并将输入的图像数据输出至控制部22。图像数据获取部21例如是数据输入接口。
控制部22生成表示输入的三维图像数据中的三维的拍摄图像的一部分即部分图像的点云数据(点云信息)，并使机器人30把持在生成的点云数据表示的部分图像中示出的一个对象物Wk。这里，控制部22将表示输入的二维图像数据表示的一个对象物Wk的一部分的形状的区域决定为关注区域。控制部22基于表示决定出的关注区域内的三维的图像的点云数据来计算一个对象物Wk的位置以及配置的方向(姿势)。在计算对象物Wk的位置以及方向时，控制部22例如将对象物Wk的形状视作圆柱，并应用RANSAC(Random Sample Consensus：随机抽样一致性算法)法来计算圆柱的中心轴的方向和长度。这里，控制部22将计算出的中心轴的中点的坐标、方向分别决定为对象物Wk的位置、姿势。在以下的说明中，将位置、姿势、或者位置以及姿势统称作空间状态。另外，控制部22也可以决定对象物Wk的长度。
控制部22基于计算出的对象物Wk的空间状态来控制机器人30的动作。在决定出了对象物Wk的长度的情况下，也可以进一步基于对象物Wk的长度来控制机器人30的动作。
控制部22例如通过使机器人30的手部30c(下述)接近计算出的位置并向与计算出的姿势交叉的方向夹入来把持对象物Wk。从机器人30向控制部22输入表示在手部30c检测到的力的负荷信号，并将基于输入的负荷信号来控制手部30c的动作的控制信号输出至机器人30。下述控制部22的结构。
机器人30例如是六轴的垂直多关节机器人，机器人30包括支承台30a、臂部30b、以及手部30c而构成。机器人30通过支承台30a、臂部30b以及手部30c的协调的动作而具有六轴的自由度，机器人30能够任意地变更手部30c把持的对象物Wk的位置以及姿势。另外，机器人30通过控制部22进行的控制使臂部30b和手部30c的任意一个或者它们的组合动作。手部30c具备两个前端部，两个前端部被配置成各自的长边方向相互相对。
机器人30的自由度并不局限于六轴，也可以是七轴以上或者五轴以下。另外，也可以将支承台30a设置于墙壁、天棚等相对于地板固定的地方。
机器人30具备以预先决定的时间间隔(例如1ms)检测施加至手部30c的力和力矩的力传感器(未图示)，机器人30将表示检测出的力以及力矩的负荷信号输出至控制装置20。机器人30具备编码器(未图示)。编码器检测机器人30的各关节的角度，并将检测出的各关节的角度输出至控制装置20。
接下来，对本实施方式所涉及的控制部22的结构进行说明。
图2是表示本实施方式所涉及的控制部22的结构的简要框图。
控制部22包括关注区域设定部222、第一中心轴推断部224、点云提取部225、第二中心轴推断部226、中心轴选择部227、空间数据生成部228、以及控制信号生成部229而构成。
从图像数据获取部21向关注区域设定部222输入图像数据。关注区域设定部222从输入的二维图像数据表示的二维图像决定Ni(Ni为2或者大于2的整数，例如是3)个表示对象物的关注区域。所谓关注区域是在第一中心轴推断部224、点云提取部225、第二中心轴推断部226、中心轴选择部227、空间数据生成部228中一次作为处理的对象的二维的区域。即，与关注区域对应的三维的区域与作为拍摄区域的一部分的部分图像相当。以下，主要以Ni为3的情况为例进行说明。
三个关注区域分别包括表示同一对象物的区域，分别称作区域1、2、3。区域2是包括区域1的区域(例如与区域1外接)，且是具有预先决定的形状(例如矩形)的区域。区域3是包括区域2的区域(例如是长边方向的长度比区域2长预先决定的长度的区域)，且是具有预先决定的形状(例如矩形)的区域。关注区域设定部222从图像数据提取分别与作为二维的区域的区域1、2、3对应的三维的区域所包括的表示坐标的样本点并生成点云数据(三维点云信息)1、2、3。关注区域设定部222将生成的点云数据1输出至第一中心轴推断部224，将点云数据2输出至点云提取部225，将点云数据3输出至空间数据生成部。应予说明，将为与作为二维的区域的区域1、2、3对应的关注区域的一部分的三维的区域分别称作部分区域1、2、3。因此，部分区域1、2、3分别是投影至区域1、2、3的区域。换句话说，点云数据(三维点云信息)是表示分布于部分区域1、2、3的样本点的集合，且各样本点的集合主要表示一个对象物的形状的至少一部分或者存在表示一个对象物的形状的至少一部分的可能性的数据。
如上所述，关注区域设定部222在生成点云数据1、2、3时不进行三维图像数据的解析，而选择从对应的二维图像数据选择出的区域1、2、3，所以能够显著地使处理量降低。
下述关注区域设定部222决定关注区域的处理。
第一中心轴推断部224选择由从关注区域设定部222输入的点云数据1表示的样本点中的两点构成的组(点对，point pair)中满足规定的条件的组。第一中心轴推断部224将形成选择出的组的两点间的线段决定为中心轴的候补(中心轴候补)。
这里，第一中心轴推断部224从点云数据1表示的样本点中提取两点，并选择Ne(Ne为预先决定的个数)个提取出的两点间的距离L在距长度l在预先决定的范围内的点对，例如选择Ne个从0.8l至1.0l之间的点对。由此，提取出由对象物的表面上的一点和底面上的一点构成的点对，剔出该点对以外的点对。
Ne例如是从对象物能够获取的样本点的总数M选择出的任意的两点不包括在部分区域1内的概率比预先决定的显著性水平p(例如0.05)低的点对的个数中的最小值。Ne由式(1)给出。
公式1
( 1 - C 2 M / C 2 N ) N e < p . . . ( 1 )
在式(1)中，N是能够存在于部分区域1内的样本点的最大数。换句话说，N取决于由拍摄装置10获取的图像数据所包括的样本点的空间分辨率。通过像这样预先决定Ne，能够可靠地检测对象物，并且能够使处理量降低。
第一中心轴推断部224对表示形成所选择出的各点对的两点间的直线的一次函数的系数(轴方程式)进行计算。计算出的系数表示该直线的斜率与X、Y、Z轴的截距。
第一中心轴推断部224选择出根据计算出的系数导出的相对于X－Y平面的斜率θz在预先决定的斜率的范围内的点对，并剔出该范围外的点对。预先决定的斜率的范围例如是比斜率的阈值θmax小的斜率。θmax例如是在构成手部30c的夹具等部件的形状、配置下能够把持对象物的斜率θz的最大值。由此，从处理对象排除手部30c不能够把持对象物的对象物的图像。另外，由于θz越大，直线的方向越接近拍摄装置10的光轴的方向，所以该直线的周围的表示曲面的样本点的个数减少。这是因为将该曲面投影至X－Y平面时的面积变小。由于这样的曲面被从处理对象中剔出，所以能够防止无用的处理。
第一中心轴推断部224将表示选择出的点对的选择点对信息输出至点云提取部225。
从第一中心轴推断部224向点云提取部225输入选择点对信息，从关注区域设定部222向点云提取部225输入点云数据2。
点云提取部225从点云数据2表示的样本点中提取距连结形成选择点对信息表示的各点对的两点的线段在规定距离内的样本点来作为属于线段的点，剔出其以外的样本点。规定距离ρ例如是比对象物的半径r大的值，且是比与邻接的对象物的平均距离小的值，例如是2r。由此，从比部分区域1广泛的部分区域2可靠地获取表现一个对象物的表面的样本点，极力剔出表现其他的对象物的表面的样本点。然后，点云提取部225对提取出的样本点的个数Nc进行计数(投票)。
点云提取部225选择提取出的样本点的个数Nc在规定个数的范围内的点对，排除规定个数的范围外的点对。所谓的规定个数的范围例如是式(2)所示的范围。
公式2
RNmax cosθmax＜Nc＜Nmax  …(2)
在式(2)中，R表示与拍摄装置10的可靠性相应的设定值。R越大表示可靠性越高，R越小表示可靠性越低。R例如是从0.7至0.95的实数。此外，R的最大值、最小值分别为1、0。Nmax是在部分区域2中对象物能够获取的样本点个数的最大值。在对象物的形状为圆柱的情况下，且在被配置成中心轴与拍摄装置10的光轴的方向垂直，对象物的整体包括于拍摄区域Ir并且距拍摄装置10的距离最短时，形成拍摄得到的图像数据的样本点个数最大。θmax是上述的斜率的阈值。由此，选择出表现其侧面相对于拍摄装置10充分地露出的对象物的样本点包括在规定距离ρ内的线段。根据该选择出的线段来确定出由以该线段连结的两点构成的点对。
点云提取部225按照选择出的各点对将表示提取出的样本点的提取点云信息输出至第二中心轴推断部226。
第二中心轴推断部226按照各点对推断出以从点云提取部225输入的提取点云信息表示的样本点延展成的表面(曲面)的中心轴候补。在推断中心轴候补时，第二中心轴推断部226例如能够使用序列二次规划法(SQP：Sequential Quadratic Programming method)。第二中心轴推断部226生成由推断出的中心轴候补的系数构成的中心轴信息，并按照各点对使生成的中心轴信息和提取点云信息对应地输出至中心轴选择部227。
中心轴选择部227按照各点对从第二中心轴推断部226输入中心轴信息和提取点云信息。中心轴选择部227选择根据中心轴候补的系数导出的相对于XY平面的斜率θz在预先决定出的斜率的范围内的中心轴，剔出该范围外的中心轴。预先决定的斜率的范围是由第一中心轴推断部224选择了点对的斜率的范围，换句话说，是比斜率的阈值θmax小的斜率。
对于选择出的各中心轴，中心轴选择部227基于对应的提取点云信息表示的样本点并例如使用式(3)来计算推断误差err，并选择出计算出的推断误差err比预先决定的误差小的中心轴。在选择出的中心轴有多个的情况下，中心轴选择部227选择推断误差err最小的中心轴。
公式3
err = &Sigma; i = 1 n | d i - r | / n . . . ( 3 )
在式(3)中，n表示属于中心轴的样本点的个数，换句话说，n表示距中心轴在规定距离ρ内的样本点的个数。i是区别各样本点的索引。|…|是…的绝对值。di表示样本点i与中心轴之间的距离。即，推断误差err表示各样本点的距中心轴的距离di与半径r之间的误差的绝对值的平均。
中心轴选择部227将选择出的中心轴所涉及的中心轴信息输出至空间数据生成部228。
从中心轴选择部227向空间数据生成部228输入中心轴信息，并从关注区域设定部222向空间数据生成部228输入点云数据3。空间数据生成部228基于点云数据3表示的样本点和中心轴信息来计算对象物的位置、姿势。
这里，空间数据生成部228基于中心轴信息表示的中心轴的常量将中心轴的方向确定为对象物的姿势。另外，空间数据生成部228计算点云数据3表示的样本点的坐标的代表点例如重心点作为对象物的位置。但是，由于存在样本点的分布偏向一面的情况，所以不限于样本点的分布的重心点代表对象物的位置。因此，空间数据生成部228也可以计算与通过计算出的重心点的中心轴垂直的面和该中心轴的交点来作为对象物的位置。
另外，空间数据生成部228也可以计算对象物的长度。这里，空间数据生成部228例如根据中心轴信息表示的中心轴的常量确定出中心轴的方向，并求出点云数据3表示的样本点相对于确定出的中心轴的方向的坐标(中心轴坐标)的分布。该分布被表示为由以规定的宽度划分中心轴坐标而形成的各区间的样本点的个数构成的直方图。
而且，空间数据生成部228将样本点的个数比预先决定的第一阈值多的区间在空间上连续的区域确定为对象物的区域，并计算对象物的区域的长度作为对象物的长度。第一阈值是有意地比0大的微小的值。通过使用点云数据3表示的样本点相对于中心轴坐标的分布来决定长度，即使在长度不同的对象物混在于拍摄区域Ir的情况下也能够确定具有规定的长度的对象物。此外，空间数据生成部228也可以计算对象物的区域的重心点或者与通过该重心点的中心轴垂直的面和该中心轴的交点作为对象物的位置。
另外，在对象物包括形状不能够近似圆柱的部分、若具有该部分则作为对象物整体不能够近似为圆柱的部分(非圆柱区域，例如为螺栓的头部)的情况下，空间数据生成部228也可以计算非圆柱区域的位置。具体而言，空间数据生成部228将由样本点的个数比预先决定的第二的个数的阈值大的区间构成的区域决定为非圆柱区域，并计算确定出的非圆柱区域的重心点作为该区域的位置。第二的个数的阈值例如是比能够分布在半径r的圆周上的样本点的个数大的值。由此，将其表面比半径r大的区域决定为非圆柱区域。此外，空间数据生成部228也可以对非圆柱区域的中心轴坐标和对象物的中心轴坐标进行比较来区别对象物的方向的正负。
此外，在以基于以拍摄装置10为基准的照相机坐标系的坐标值以及方位角表示计算出的对象物的位置以及姿势的情况下，空间数据生成部228也可以将计算出的坐标值以及方位角变换为基于以机器人30为基准的机器人坐标系的坐标值以及方位角。因此，在空间数据生成部228预先设定有从照相机坐标系变换为机器人坐标系的变换式。
空间数据生成部228生成表示计算出的对象物的位置、姿势、以及长度的空间数据。空间数据生成部228将生成的空间数据输出至控制信号生成部229。
控制信号生成部229基于从机器人30输入的负荷信号和从空间数据生成部228输入的空间数据来生成用于控制机器人30的动作的控制信号。控制信号生成部229将生成的控制信号输出至机器人30。由此，控制机器人30的动作。
控制信号生成部229生成以及输出控制信号，该控制信号例如用于使机器人30的手部30c移动至作业开始位置，并使手部30c所具备的两个前端部相互相向的方向旋转至作业开始方向。作业开始位置例如是从输入的空间数据表示的位置离开预先决定的间隔的位置。作业开始方向例如是与空间数据表示的姿势相同的方向。另外，控制信号生成部229基于从机器人30输入的负荷信号表示的各关节的角度来计算手部30c的位置和方向。控制信号生成部229例如也可以生成以及输出用于以计算出的位置与目标位置之间的距离、以及计算出的方向与目标方向的差分分别随着时间经过而减少的方式控制机器人30的各结构的动作的控制信号。在规定的作业开始前，作为目标位置、目标方向，也可以分别使用预先决定的作业开始位置、作业开始方向。在规定的作业中，作为目标位置、目标方向，例如也可以分别使用空间数据表示的位置、姿势。
另外，控制信号生成部229也可以基于输入的负荷信息表示的力来生成以及输出用于控制两个前端部的位置以及方向的控制信号。例如，在两个前端部相互分离时，控制信号生成部229针对机器人30使两个前端部间的距离相互变窄来把持对象物。这里，控制信号生成部229控制前端部夹住对象物的力，以便在前端部检测出的力成为预先决定的目标值。在把持有对象物时，控制信号生成部229能够进行控制，针对前端部解除夹住对象物的力并使两个前端部间的距离相互拉开，由此来释放对象物。
(二维图像的一个例子)
接下来，对通过拍摄装置10得到的二维图像的一个例子进行说明。
图3是表示二维图像的一个例子的图。
图3所示的二维图像是规定的拍摄区域Ir内的被拍摄体的图像。该二维图像表现多个杂乱地堆积的对象物的表面，由多个像素形成。表示二维图像的二维图像数据表示各像素的亮度值。在图3中，越是表现较浓的像素亮度值越低，越是表现较淡的像素亮度值越高。
(对象物的形状的模型)
接下来，对近似对象物的形状的模型进行说明。
图4是表示近似对象物的形状的模型的一个例子的图。
对象物Wk是至少一部分的形状近似圆柱的圆柱物体。由此，作为对象物Wk的特征长度能够使用长度l、半径r、或者长度l和半径r的两者。由于图4所示的对象物Wk具有长度l比半径r格外大的细长的形状，所以主要使用长度l作为特征长度。长度l、半径r也可以在上述的控制部22中作为已知的参数而预先被设定。
另外，对象物Wk具有半径比r大的头部。头部与不能够近似长度l、半径r的圆柱的形状的非圆柱区域相当。
(决定关注区域的处理)
接下来，对关注区域设定部222决定关注区域的处理进行说明。
图5是表示关注区域设定部222决定关注区域的处理的流程图。(步骤S101)关注区域设定部222对从图像数据获取部21输入的二维图像数据进行二值化处理并生成二值化数据。这里，关注区域设定部222按照各像素将信号值决定为1或者0，并生成表示各像素的信号值的二值化数据。如上所述，关注区域设定部222对于亮度值超过规定的亮度值的阈值的像素将信号值决定为1，对于亮度值在规定的亮度值的阈值以下的像素将信号值决定为0。
在以下的说明中，将信号值为1的像素在空间上连续地形成的区域称作亮区域，将信号值为0的像素在空间上连续地形成的区域称作暗区域。换句话说，亮区域是表现对象物的形状的全部或者一部分的区域。在拍摄区域Ir包括多个对象物的情况下，一个二值化数据表现多个亮区域。然后，进入步骤S102。
(步骤S102)关注区域设定部222对生成的二值化数据进行膨胀处理(expansion)和收缩处理(contraction)。将膨胀处理和收缩处理一并称作膨胀收缩处理。所谓的膨胀处理是通过将暗区域中处于与亮区域的边界的像素的信号值决定为1来逐个像素地使亮区域膨胀的处理。所谓的收缩处理是通过将亮区域中处于与暗区域的边界的像素的信号值决定为0来逐个像素地使亮区域收缩的处理。由此，基于对象物的亮度的差异来使因样本点的密度的差异而在二值化数据上出现的亮区域与暗区域的边界的凸凹平滑化。关注区域设定部222可以与膨胀处理相比先进行收缩处理，也可以后进行收缩处理。另外，关注区域设定部222也可以反复膨胀收缩处理预先决定的次数(例如三次)。由此，能够提高亮区域与暗区域的边界的平滑化的程度。然后，进入步骤S103。
(步骤S103)关注区域设定部222确定出(标签化)进行了膨胀收缩处理的二值化数据表示的各亮区域。然后，进入步骤S104。
(步骤S104)关注区域设定部222对确定出的各亮区域计算亮区域的大小的指标值(例如面积、长度)、表示亮区域的形状的指标值(例如椭圆偏心率)。关注区域设定部222基于计算出的大小的指标值、形状的指标值来判定是否将该亮区域选作区域1的候补(分选)。
长度例如是从形成所关注的亮区域的像素任意地选择出的两个像素间的距离中最大的距离。椭圆偏心率是与所关注的亮区域内接或者外接的椭圆的焦点间距离相对于长轴的比。有时也将椭圆偏心率称作离心率。
例如在计算出的大小的指标值在以对象物的大小的指标值为基准的规定的范围内的情况下，关注区域设定部222将该亮区域选作区域1的候补，在计算出的大小的指标值在以对象物的大小的指标值为基准的规定的范围外的情况下，关注区域设定部222从区域1的候补放弃该亮区域。
在大小的指标值为面积的情况下，规定的范围例如是将该对象物投影至与轴向垂直的方向形成的区域的面积S的0.6－1.0倍。在大小的指标值为长度的情况下，规定的范围例如是长度l的0.8－1.0倍。例如在计算出的形状的指标值在以对象物的形状的指标值为基准的规定的范围内的情况下，关注区域设定部222将该亮区域选作区域1的候补，在计算出的大小的指标值在以对象物的形状的指标值为基准的规定的范围外的情况下，关注区域设定部222从区域1的候补放弃该亮区域。
在形状的指标值为椭圆偏心率的情况下，规定的范围例如是该对象物向轴向投影形成的区域的椭圆偏心率e的0.8－1.2倍。即使在对象物的形状中存在非圆柱区域的情况下，也可以基于包括该部分的区域来计算形状的指标值。由此，选择近似该对象物的形状整体的区域(例如包括螺栓的头部的区域)的关注区域。
此外，在计算面积、大小、椭圆偏心率的情况下，关注区域设定部222也可以以面积、大小、椭圆偏心率的顺序进行计算，并在计算后判定是否将该亮区域选作区域1的候补。由于以该顺序处理量变少，所以能够减少二维数据整体的处理量。然后，进入步骤S105。
(步骤S105)在对象物包括非圆柱区域的情况下，关注区域设定部222从选择出的各亮区域削除与非圆柱区域对应的区域(削除非圆柱区域)。这里，关注区域设定部222对于选择出的亮区域(二维)例如使用RANSAC法、最小平方法等其他的回归分析法来计算最近似该亮区域的直线。关注区域设定部222按照计算出的直线的方向的各坐标对形成该亮区域的像素数进行计数。利用计数出的像素数相对于该方向的分布形成直方图。然后，关注区域设定部222将计数出的像素数比预先决定的像素数的阈值多的区域作为非圆柱区域从亮区域削除。在该步骤中削除的非圆柱区域是关注的对象物的近似圆柱的部分(例如螺栓的轴部分)以外的区域。换句话说，被削除的非圆柱区域并不局限于所关注的对象物的一部分(例如螺栓的头部)，存在包括其他的对象物的一部分的情况。然后，进入步骤S106。
(步骤S106)关注区域设定部222将削除了非圆柱区域的亮区域决定为区域1。这里，关注区域设定部222也可以将削除了非圆柱区域的亮区域中从区域的面积最大的区域开始到第Ns个(Ns是1或者比1大的预先决定出的整数)较大的区域分别决定为区域1。然后，进入步骤S107。
(步骤S107)关注区域设定部222将与区域1外接的规定的形状的区域决定为区域2。然后，进入步骤S108。
(步骤S108)关注区域设定部222将为规定的形状的区域且包括区域2且长边方向的长度比区域2长预先决定的长度的区域决定为区域3。与区域2相比，将区域3的长度决定得较长是为了识别长度不同的对象物和检测包括非圆柱区域(例如螺栓的头部)的对象物的整体。预先决定的长度例如是长度l的0.4～1.0倍即可。或者，区域3的长边方向的长度是长度l的1.0～1.4倍即可。然后，结束图5所示的处理。
(二值化图像的一个例子)
接下来，对将二维图像进行二值化得到的二值化图像的一个例子进行说明。
图6是表示二值化图像的一个例子的图。
图6所示的二值化图像是在关注区域设定部222决定关注区域时对图3所示的二维图像的二维图像数据进行二值化处理而生成的二值化数据表示的图像。在图6所示的例子中，较亮地示出信号值为1的区域，较暗地示出信号值为0的区域。较亮地示出的部分表示对象物。
此外，在拍摄二维图像时，也可以从光源(例如液晶投影仪)向拍摄区域Ir照射白色光，以便表示对象物的区域的亮度超过对象物的检测所需要的亮度值的阈值。
接下来，对关注区域设定部222进行的膨胀收缩处理(图5，步骤S102)的一个例子进行说明。
图7是表示膨胀收缩处理的一个例子的图。
图7的(A)是对原二值化图像的一部分进行放大了的图。图7的(B)是对图7的(A)所示的二值化图像进行膨胀处理得到的二值化图像。图7的(C)是对图7的(B)所示的二值化图像进行收缩处理得到的二值化图像。
在图7的(A)－(C)中，各四边形表示像素。涂黑的四边形、空心的四边形分别表示信号值为1的像素、信号值为0的像素。涂黑的四边形在空间上连续的区域表示暗区域，涂白的四边形在空间上连续的区域表示亮区域。
图7的(B)中，填涂横条纹的四边形表示通过膨胀处理重新将信号值决定为1的像素。将这些像素重新从暗区域添加至亮区域。由此，去除图7的(A)中信号值为0的像素中孤立的像素、向亮区域突出的像素。
图7的(C)中，阴影的四边形表示通过收缩处理重新将信号值决定为0的像素。将这些像素重新从亮区域添加至暗区域。由于在图7的(A)中信号值为0的像素中的孤立的像素、向暗区域突出的像素的信号值不返回至1，所以亮区域与暗区域之间的边界被平滑化。
接下来，对关注区域设定部222进行的去除非圆柱区域(图5，步骤S105)的一个例子进行说明。
图8是表示分选出的亮区域的一个例子的图。
图8所示的亮区域是关注区域设定部222分选出的(图5，步骤S104)亮区域的一个例子。直线A1是关注区域设定部222对该亮区域计算出的直线，是与该亮区域的长边方向最近似的直线。直线A2是与直线A1正交的直线。
图9是由关注区域设定部222生成的直方图的一个例子。
在图9中，纵轴、横轴分别表示度数、直线A1方向的坐标。度数表示关注区域设定部222计数出的形成图8的亮区域的像素的个数(像素数)。nth是例如在对象物为螺栓的情况下判别是否是轴部以外的部位的非圆柱区域(头部、其他的对象物的一部分等)时的像素数的阈值。在该例子中，关注区域设定部222将像素数比阈值nth多的区间B内的具有直线A1方向的坐标值的区域判定为非圆柱区域，并将判定出的非圆柱区域从亮区域削除。此外，关注区域设定部222也可以代替按照直线A1方向的各坐标对像素数进行计数，而检测在直线A2方向上横剖亮区域的长度。
(关注区域的例子)
图10是表示关注区域的例子的图。
图10所示的区域1是从图8所示的亮区域去除了非圆柱区域的区域。区域1是对象物投影至二维平面的矩形的区域，确定出其长边方向。这表示与区域1对应的点云数据1包括用于推断圆柱物体的中心轴的样本点。
区域2是与区域1外接的区域，与区域2对应的点云数据2包括分布在比点云数据1更广阔的三维区域的样本点。虽然点云数据1、2均包括的样本点未必表示圆柱物体的表面的整个区域，但通过在最终决定中心轴时使用分布在点云数据2表示的更宽的区域的样本点，能够使中心轴的推断精度提高。这里，如上所述，在由点云提取部225对样本点的个数进行计数(投票)时、在由第二中心轴推断部226决定中心轴的候补时使用点云数据2。
区域3是长边方向的长度比区域2长的区域，与区域3对应的点云数据3包括在推断出的中心轴方向分布在比点云数据2宽的三维区域的样本点。由此，能够使用点云数据3表示的样本点相对于中心轴坐标的分布来确定出长度，即使在长度不同的对象物在拍摄区域Ir内混在的情况下也能够确定出具有规定的长度的对象物。
(点对的例子)
接下来，对由第一中心轴推断部224选择出的点对的例子进行说明。
图11是表示选择出的点对的例子的图。
图11的(A)、(B)表示分别投影至XY平面上、XZ平面上的关注区域中的样本点的分布的一个例子。各黑圆表示样本点。P11、P12是形成选择出的点对的两个样本点的组的一个例子，E1是连结P11、P12间的线段。如上所述，P11、P12间的距离L距对象物的长度l在预先决定的范围内。
图11的(B)所示的虚线表示Z坐标恒定的XY平面。斜率θz是P11、P12间的线段E1与XY平面形成的角度。斜率θz是比预先决定的斜率的阈值θmax小的值。即，第一中心轴推断部224作为由对象物的表面的1点和底面的1点形成的点对，选择该两点间的距离L近似长度l，并从点云数据1可靠地检测出，并且具有能够成为控制对象的方向的点对。
(属于线段的样本点的例子)
接下来，对由点云提取部225提取出的属于线段的样本点的例子进行说明。
图12是表示属于线段的样本点的例子的图。
图12的(A)、(B)表示分别投影至XY平面上、XZ平面上的样本点的分布的其他的例子。黑圆分别表示样本点。P21、P22是形成点对的两个样本点的组的其他的例子，E2是连结P21、P22间的线段。属于线段E2的样本点是包括在距线段E2在距离ρ的范围内的样本点。点云提取部225从点云数据2选择这些样本点，并采用选择出的样本点的个数N在规定的个数的范围内的点对及其样本点。
(选择出的中心轴的一个例子)
接下来，对由中心轴选择部227选择出的中心轴的一个例子进行说明。
图13是表示选择出的中心轴的一个例子的剖视图。
在该例子中，中心轴E3和用于中心轴E3的计算的选择出的样本点的分布投影至XZ平面。各点表示样本点。选择出的样本点的多数从中心轴E3向Z的负方向偏离规定距离地分布，该分布延伸的方向与中心轴E3的方向几乎平行。该偏离的分布是因为表现对象物的表面中与拍摄装置10对置的部分，不表现其他的部分而产生的。
(样本点的分布的一个例子)
接下来，对空间数据生成部228计算对象物的位置、姿势等时使用的点云数据3表示的样本点的分布的一个例子进行说明。
图14是表示中心轴和样本点的一个例子的立体图。
各点表示与区域3对应的点云数据3表示的样本点。其中，表现较浓的点表示用于中心轴E3的计算的选择出的样本点。表现一个对象物的表面的形状，并分布在以上述的中心轴E3为中心弯曲的面上。从中心轴至面的距离近似半径r。点云数据3具有在中心轴E3的方向上分布在比选择出的样本点宽的区域的可能性，但由此给出判别轴向的长度不同的物体的线索。
图15是由空间数据生成部228生成的直方图的一个例子。
在图15中，纵轴、横轴分别表示度数、中心轴E3的方向的坐标。度数表示图14的样本点相对于中心轴E3的方向的坐标的个数。
n1、n2分别表示上述的第一阈值、第二阈值。B1、B2分别是度数超过第一阈值、第二阈值的区间。因此，空间数据生成部228能够将区间B1的朝向中心轴E3的方向的长度决定为对象物的长度，能够将具有区间B2的范围内的中心轴坐标的样本点分布的区域决定为非圆柱区域。然后，空间数据生成部228计算确定出的非圆柱区域的重心点的位置。
图15所示的直方图是在基于点云数据3表示的样本点来生成这一点，与根据二维的亮区域生成的直方图(图9)不同。因此，图15所示的直方图作为数据的可靠性比图9所示的直方图高。另外，相对于图15所示的直方图的用途是检测所关注的对象物的非圆柱区域(例如螺栓的头部)，图9所示的直方图的用途是从所关注的对象物中提取能够近似圆柱的区域(例如螺栓的轴部)，并削除其以外的区域这一点不同。
(控制流程)
接下来，对本实施方式所涉及的机器人控制进行说明。
图16是表示本实施方式所涉及的机器人控制的流程图。
(步骤S201)向图像数据获取部21输入表示由拍摄装置10拍摄得到的三维的拍摄图像的三维图像数据和表示二维图像的二维图像数据。图像数据获取部21通过获取三维图像数据和二维图像数据来受理表示拍摄区域Ir的整体的三维的拍摄图像(整体图像)和二维图像。然后，进入步骤S202。
(步骤S202)关注区域设定部222从图像数据获取部21获取的二维图像数据表示的二维图像例如决定区域1、2、3来作为关注区域。关注区域设定部222生成表示分布在与决定出的区域1、2、3对应的三维的部分区域1、2、3内的样本点的点云数据1、2、3。然后，进入步骤S203。
(步骤S203)第一中心轴推断部224从点云数据1表示的样本点推断中心轴。这里，第一中心轴推断部224从点云数据1的样本点提取两点，并选择出Ne个提取出的两点间的距离L在距长度l在预先决定的范围内的点对，并对表示形成选择出的各点对的两点间的直线的常量进行计算。第一中心轴推断部224选择出根据计算出的常量导出的相对于X－Y平面的斜率θz在预先决定的斜率的范围内的点对，并生成表示选择出的点对的选择点对信息。然后，进入步骤S204。
(步骤S204)点云提取部225从点云数据2表示的样本点提取距连结形成选择点对信息表示的各点对的两点的线段(中心轴)在规定距离ρ内的样本点作为属于线段的点，并对提取出的样本点的个数Nc进行计数(投票)。点云提取部225选择出提取出的样本点的个数Nc在规定的个数的范围内的点对，并生成表示按照选择出的各点对提取出的样本点的提取点云信息。然后，进入步骤S205。
(步骤S205)第二中心轴推断部226按照各点对推断(再推断)由基于点云数据2生成的提取点云信息表示的样本点延展的表面的中心轴的候补。第二中心轴推断部226生成由推断出的中心轴候补的常量构成的中心轴信息。然后，进入步骤S206。
(步骤S206)中心轴选择部227选择用中心轴信息表示的中心轴候补的常量来表示的相对于XY平面的斜率θz在预先决定出的斜率的范围内的中心轴。中心轴选择部227对于选择出的各中心轴，基于对应的提取点云信息表示的样本点来计算推断误差err，并选择计算出的推断误差err最小的中心轴。中心轴选择部227生成选择出的中心轴所涉及的中心轴信息。然后，进入步骤S207。
(步骤S207)空间数据生成部228基于点云数据3表示的样本点和中心轴信息来计算(推断)对象物的位置、姿势、以及长度。空间数据生成部228生成表示计算出的位置、姿势以及长度的空间数据。然后，进入步骤S208。
(步骤S208)控制信号生成部229基于从机器人30输入的负荷信号和空间数据表示的位置、姿势、长度的任意一个或者它们的任意的组来生成用于控制机器人30的动作的控制信号，并将生成的控制信号输出至机器人30。由此，控制信号生成部229控制机器人30的动作。该动作例如是把持对象物的动作。然后，结束图16所示的处理。
此外，在无需区别对象物的长度的情况下(例如在配置于拍摄区域Ir的全部的对象物的长度相同的情况下)，关注区域设定部222也可以省略决定区域3、生成、输出点云数据3。在该情况下，关注区域设定部222决定的关注区域的个数Ni为2。在省略点云数据3的输出的情况下，关注区域设定部222代替点云数据3将点云数据2输出至空间数据生成部228。空间数据生成部228代替点云数据3使用点云数据2来计算对象物的位置、姿势等。
另外，由第一中心轴推断部224选择的点对的个数通常比一个多。在选择的点对的个数比一个多的情况下，可以按照各点对反复步骤S104、S105的处理，也可以并列执行。
以上，如说明的那样，本实施方式包括手(例如手部30c)和使上述手动作的控制部(例如控制部22)，对拍摄部拍摄多个物体(例如对象物)得到的拍摄图像(例如二维图像)中的部分图像(例如关注区域)生成三维点云信息(例如点云数据1、2、3)，使上述手把持拍摄于上述部分图像的一个物体。
由此，从拍摄图像表示的多个物体中决定一个物体，使手把持决定出的物体，从而能够使分布在拍摄区域内的一个物体所涉及的作业高效化。换句话说，在本实施方式中，不针对拍摄得到的拍摄图像整体生成三维点云信息，而通过对二维的拍摄图像进行图像处理来确定出生成与其一部分对应的三维点云信息的区域，并针对该区域进行检测对象物的空间状态的处理。与以往那样，在拍摄图像中每隔规定的位移量依次设定关注区域(部分图像)，并对设定的各关注区域进行处理的情况相比，处理量显著减少，所以处理速度提高。
本实施方式从拍摄图像决定表现一个物体的第一区域(例如区域1)、和包括第一区域且具有规定的形状的第二区域(例如区域2)，并从上述拍摄图像生成与第一区域(例如区域1)对应的第一三维点云信息(例如点云数据1)、和与第二区域(例如区域2)对应的第二三维点云信息(例如点云数据2)。另外，在本实施方式中，选择由上述第一三维点云信息所包括的两点构成的多个组中的两点间的线段的长度在规定的长度的范围内的组，并从上述第二三维点云信息中提取距形成选择出的组的两点间的线段在预先决定出的范围内的点。另外，在本实施方式中，选择至从上述第二三维点云信息提取出的各点的距离与规定的阈值(例如对象物的半径r)的差(例如误差)在预先决定出的范围内的中心轴。
根据该结构，作为处理对象基于拍摄图像来决定与第一区域对应的第一三维点云信息和与第二区域对应的第二三维点云信息，所以能够使处理量降低。另外，决定表示对象物的图像的点，该对象物由距连结长度是规定的范围内的两点的中心轴的半径处于规定的范围内的点形成。因此，能够推断作为具有曲面的对象物，形状是圆柱或近似圆柱的对象物(例如，螺钉、螺栓等)的位置以及姿势。另外，基于比选择本中心轴的推断所使用的两点的组的第一三维点云信息的第一区域广泛的第二区域的第二三维点云信息的点来选择中心轴，所以能够减少推断对象物的位置以及姿势时所需要处理量，不损害精度而使处理高速化。
另外，在本实施方式中，能够控制具备可基于推断出的位置以及姿势的空间数据来把持对象物的手(例如，手部30c)的机器人(例如，机器人30)的动作。由此，机器人30能够执行基于利用更为通用的拍摄部拍摄的拍摄图像来把持对象物的动作，所以不使用特殊的夹具等部件就能够进行杂乱地堆积的对象物的操作。
(变形例)
此外，本发明的技术范围并不局限于上述的实施方式，在不脱离本发明的主旨的范围内能够施加各种变更。
在上述的实施方式中，主要以对象物的形状为圆柱或者近似圆柱的形状的情况为例，但并不局限于此。对象物的形状例如是三棱柱、四棱柱等棱柱或者近似棱柱的形状等具有三维形状的物体即可。
另外，关注区域设定部222执行图5所示的处理中的至少步骤S101～S104、以及步骤S106即可。关注区域设定部222也可以根据对象物的形状、大小或者种类省略步骤S105、S107、S108的一部分或者全部。例如，在如对象物的形状为几何学上单纯的圆柱、棱柱的情况那样，直径恒定的情况下，无需考虑像螺栓的头部那样直径的变化，所以关注区域设定部222也可以省略步骤S105。另外，直径恒定的对象物在二维图像中表现为宽度几乎恒定的区域，所以由其位置、姿势带来的形状的变化较少。因此，关注区域设定部222也可以在步骤S104中省略椭圆偏心率的计算、基于椭圆偏心率的亮区域的分选。
另外，存在对象物具有如螺栓的头部那样直径不恒定而不规则的部位，该部位具有不能够如棱柱、圆柱那样在几何学上近似成单纯的形状的形状，并且该形状给位置、姿势的推断带来影响的情况。在那样的情况下，关注区域设定部222也可以代替图5的步骤S105而进行形状特有的处理，将存在表现该部位的可能性的区域从在步骤S104中选择出的亮区域中削除。例如，在对象物是连接器的情况下，销、爪相当于那样的部位，在对象物是PET瓶的情况下，盖、口部、口部的周边相当于那样的部位。形状特有的处理根据每个成为其对象的部位而不同。例如，在对象物是连接器、PET瓶、螺栓的情况下，关注区域设定部222从亮区域中识别能够以成为模板的形状近似的区域、和其以外的区域。由此，识别存在表示接头爪、PET瓶的盖、螺栓的头部的可能性的区域。成为模板的形状是将如棱柱、圆柱、平板那样几何学上单纯的形状投影为二维图像而成的形状，例如，矩形。
而且，关注区域设定部222也可以削除从亮区域识别出的其以外的区域，而剩下以能够成为模板的形状近似的区域。
另外，在对象物的形状为如棱柱那样具有平面的形状的情况下，关注区域设定部222也可以省略图5的步骤S107。另外，在如上所述无需区别对象物的长度的情况下，关注区域设定部222也可以省略步骤S108。由于省略步骤S107、S108，在未决定区域2、3的情况下，控制部22在图16的步骤S203～S208中，也可以代替分别与区域2、3对应的点云数据2、3，使用点云数据1。
另外，在上述的实施方式中，以预先在控制部22中设定对象物的长度(高度)、半径为前提进行了说明，但并不局限于此。控制装置20也可以具备能够根据来自用户的操作来输入长度以及半径的输入部(未图示)，也可以具备能够经由通信线路来接收长度以及半径的通信部(未图示)。
在上述的实施方式中，以第二中心轴推断部226使用序列二次推断法来推断中心轴候补的情况为例进行了说明，但并不局限于此。第二中心轴推断部226作为其他的方法，能够使用牛顿法等非线性规划法、最小平方法等回归分析法。
拍摄装置10也可以将各帧的图像数据分别输出控制装置20，也可以以预先决定的时间间隔依次输出至控制装置20。拍摄装置10也可以与控制装置20一体地构成。
在上述的实施方式中，以控制装置20和机器人30分立地构成的情况为例进行了说明，但并不局限于此。控制装置20也可以与机器人30一体地构成。
上述的实施方式的机器人30是具备1组臂部30b和手部30c的组的单臂机器人，但并不局限于此。机器人30所具备的臂部30b和手部30c的数也可以分别比一个多。
图17是表示本变形例的机器人系统2的结构的图。
机器人系统2在机器人系统1(图1)中代替机器人30具备机器人230。
机器人230是具备2组臂部30b和手部30c的组的双臂机器人。机器人230具备储存部230d，储存部230d的内部储存有控制装置20，在储存部230d的上表面设置有拍摄装置10。由此，拍摄装置10、控制装置20以及机器人230一体地构成。
另外，在储存部230d的底面安装有车轮。由此，构成为施加外力从而机器人系统2的整体能够移动。
另外，将用于执行控制装置20的一部分，例如，图像数据获取部21、关注区域设定部222、第一中心轴推断部224、点云提取部225、第二中心轴推断部226、中心轴选择部227、空间数据生成部228以及控制信号生成部229的各处理的程序记录于计算机可读取的记录介质，通过将记录于该记录介质的程序读入计算机系统，并执行，也可以进行控制装置的上述的各种的处理。
此外，这里所说的“计算机系统”除了进行上述的处理的CPU(Central Processing Unit：中央处理器)、GPU(Graphics ProcessingUnit：图形处理单元)等硬件以外，也可以包括OS(Operating System：操作系统)、周边设备等硬件。另外，“计算机系统”若利用WWW系统的情况下，也包括主页提供环境(或者显示环境)。另外，所谓的“计算机可读取的记录介质”是指软盘、光磁盘、ROM(Read Only Memory：只读存储器)、闪存等可写入的非易失性存储器、CD(Compact Disc)－ROM等可搬介质、内置于计算机系统的硬盘等存储装置。
并且所谓的“计算机可读取的记录介质”也包括如以经由因特网等网络、电话线路等通信线路发送出程序的情况下的服务器、成为客户的计算机系统内部的挥发性存储器(例如，DRAM：Dynamic RandomAccess Memory)那样，保持恒定时间程序的部件。另外，上述程序也可以将该程序从储存于存储装置等的计算机系统经由传送介质、或者通过传送介质中的传送波传送至其他的计算机系统。这里，传送程序的“传送介质”是指如因特网等网络(通信网)、电话线路等通信线路(通信线)那样具有传送信息的功能的介质。另外，上述程序也可以是用于实现前述的功能的一部分的程序。并且，也可以是通过与已经记录于计算机系统的程序的组合能够实现前述的功能的、所谓的差分文件(差分程序)。
以上，参照附图对本发明的实施方式进行了详细叙述，但具体的结构并不局限于此该实施方式，也包括不脱离该发明的主旨的范围的设计等。
符号说明：1、2…机器人系统；10…拍摄装置；20…控制装置；21…图像数据获取部(图像受理部)；22…控制部(处理部)；222…关注区域设定部；224…第一中心轴推断部；225…点云提取部；226…第二中心轴推断部；227…中心轴选择部；228…空间数据生成部；229…控制信号生成部；30、230…机器人；30a…支承台；30b…臂部；30c…手部；230d…储存部。

Claims (7)

1.一种机器人，其特征在于，包括：
手；以及
控制部，使所述手动作，
所述控制部针对构成拍摄部拍摄得到的拍摄图像的图像的一部分生成三维点云信息，并使所述手把持所述图像的一部分所包括的物体。
2.根据权利要求1所述的机器人，其特征在于，
所述控制部从所述拍摄图像决定出表现所述物体的第一区域和包括所述第一区域且具有规定的形状的第二区域，并从所述拍摄图像生成与所述第一区域对应的第一三维点云信息和与所述第二区域对应的第二三维点云信息，并选择由所述第一三维点云信息所包括的两点构成的多个组中的两点间的线段的长度为规定的长度的范围内的组，并从所述第二三维点云信息提取距形成选择出的组的两点间的线段在预先决定的范围内的点，并选择出至从所述第二三维点云信息提取出的各点的距离与规定的阈值的差在预先决定的范围内的中心轴。
3.根据权利要求2所述的机器人，其特征在于，
所述控制部从所述拍摄图像检测亮度比预先决定的阈值大的区域，并将表示检测出的区域的形状的指标值在规定的范围内的区域决定为所述第一区域。
4.根据权利要求2或者3所述的机器人，其特征在于，
所述第二区域的形状是矩形，
所述控制部从所述拍摄图像决定比所述第二区域的长边方向的长度长的第三区域，并从所述拍摄图像提取与所述第三区域对应的第三三维点云信息，并基于所述第三三维点云信息所包括的点向所述中心轴的方向的分布来计算所述物体的所述中心轴的方向的长度。
5.一种控制装置，其特征在于，包括：
图像受理部，受理拍摄部拍摄多个物体得到的拍摄图像；以及
处理部，使机器人动作，
所述处理部针对构成所述拍摄图像的图像的一部分生成三维点云信息，并使所述机器人把持所述图像的一部分所包括的物体。
6.一种机器人系统，其特征在于，包括：
拍摄部，拍摄多个物体；
机器人；以及
控制部，使所述机器人动作，
所述控制部针对构成所述拍摄部拍摄得到的拍摄图像的图像的一部分生成三维点云信息，并使所述机器人把持所述图像的一部分所包括的物体。
7.一种控制方法，其特征在于，包括：
拍摄多个物体；
针对构成拍摄所述多个物体得到的拍摄图像的图像的一部分生成三维点云信息；以及
使用生成的所述三维点云信息来使机器人把持所述图像的一部分所包括的物体。
CN201510055571.XA 2014-02-04 2015-02-03 机器人、机器人系统、控制装置、以及控制方法 Pending CN104816306A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014019827A JP2015147256A (ja) 2014-02-04 2014-02-04 ロボット、ロボットシステム、制御装置、及び制御方法
JP2014-019827 2014-02-04

Publications (1)

Publication Number Publication Date
CN104816306A true CN104816306A (zh) 2015-08-05

Family

ID=53726906

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510055571.XA Pending CN104816306A (zh) 2014-02-04 2015-02-03 机器人、机器人系统、控制装置、以及控制方法

Country Status (3)

Country Link
US (2) US9764467B2 (zh)
JP (1) JP2015147256A (zh)
CN (1) CN104816306A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105674991A (zh) * 2016-03-29 2016-06-15 深圳市华讯方舟科技有限公司 一种机器人定位方法和装置
CN107520088A (zh) * 2016-06-15 2017-12-29 精工爱普生株式会社 机器人、控制装置及机器人系统
CN108393888A (zh) * 2017-02-06 2018-08-14 精工爱普生株式会社 控制装置、机器人以及机器人系统
CN108453730A (zh) * 2017-02-21 2018-08-28 发那科株式会社 工件取出系统
CN108994829A (zh) * 2017-06-06 2018-12-14 精工爱普生株式会社 控制装置及机器人系统
CN110608872A (zh) * 2019-09-30 2019-12-24 云谷（固安）科技有限公司 光学检测设备及检测方法
CN111113416A (zh) * 2019-12-19 2020-05-08 郑州宇恒环保技术有限公司 基于机器视觉的轴承在线检测系统
CN112116804A (zh) * 2019-06-19 2020-12-22 北京地平线机器人技术研发有限公司 一种车辆状态量信息确定方法及装置
CN112836681A (zh) * 2021-03-03 2021-05-25 上海高仙自动化科技发展有限公司 一种障碍物标记方法、装置及可读非暂时性存储介质
CN113439013A (zh) * 2019-02-25 2021-09-24 国立大学法人东京大学 机器人系统，机器人的控制装置，以及机器人的控制程序

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9102055B1 (en) * 2013-03-15 2015-08-11 Industrial Perception, Inc. Detection and reconstruction of an environment to facilitate robotic interaction with the environment
CN105313127A (zh) * 2014-06-02 2016-02-10 精工爱普生株式会社 机器人、机器人的控制方法以及机器人的控制装置
DE102015204867A1 (de) * 2015-03-18 2016-09-22 Kuka Roboter Gmbh Robotersystem und Verfahren zum Betrieb eines teleoperativen Prozesses
EP3136290A1 (en) * 2015-08-28 2017-03-01 Thomson Licensing Method and device for determining the shape of an object represented in an image, corresponding computer program product and computer readable medium
CN105479461A (zh) * 2016-01-26 2016-04-13 先驱智能机械（深圳）有限公司 控制方法、控制装置及机械手系统
CN105690393A (zh) * 2016-04-19 2016-06-22 惠州先进制造产业技术研究中心有限公司 一种基于机器视觉的四轴并联机器人分拣系统及其分拣方法
US10245724B2 (en) * 2016-06-09 2019-04-02 Shmuel Ur Innovation Ltd. System, method and product for utilizing prediction models of an environment
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
JP6809245B2 (ja) * 2017-01-20 2021-01-06 セイコーエプソン株式会社 ロボット
JP6418359B1 (ja) * 2017-03-24 2018-11-07 三菱電機株式会社 ロボットプログラムの生成装置及び生成方法
US11143697B2 (en) * 2017-04-28 2021-10-12 Advantest Corporation Automated handling of different form factor devices under test in test cell
SG11201810922VA (en) * 2017-08-25 2019-03-28 Beijing Didi Infinity Technology & Development Co Ltd Methods and systems for detecting environmental information of a vehicle
JP2019066235A (ja) * 2017-09-29 2019-04-25 セイコーエプソン株式会社 エンコーダー、プリンターおよびロボット
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
US10657419B2 (en) * 2018-03-28 2020-05-19 The Boeing Company Machine vision and robotic installation systems and methods
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
TWI796357B (zh) * 2018-09-04 2023-03-21 日商愛德萬測試股份有限公司 測試室中的不同形狀因子待測設備的自動化搬運
JP7173816B2 (ja) * 2018-10-05 2022-11-16 株式会社Fuji ピッキング装置
JP7097799B2 (ja) 2018-11-21 2022-07-08 Thk株式会社 画像情報処理装置、把持システム、および画像情報処理方法
CN109848951A (zh) * 2019-03-12 2019-06-07 易思维（天津）科技有限公司 大型工件的自动加工设备及方法
TWI738124B (zh) * 2019-11-22 2021-09-01 香港商女媧創造股份有限公司 具有可移動機構的非平面內投影的機器人系統
JP7405607B2 (ja) * 2019-12-26 2023-12-26 ファナック株式会社 三次元データを補間する三次元データ生成装置及びロボットシステム
CN111906765B (zh) * 2020-07-31 2022-07-12 平安科技（深圳）有限公司 应用于路径规划的空间采样方法、装置、设备及介质
IT202100016460A1 (it) * 2021-06-23 2022-12-23 Stevanato Group Spa Apparato per il confezionamento di contenitori di dispositivi per uso farmaceutico
DE112021008069T5 (de) 2021-09-15 2024-05-23 Yamaha Hatsudoki Kabushiki Kaisha Bildverarbeitungsvorrichtung, Komponentengreifsystem, Bildverarbeitungsverfahren und Komponentengreifverfahren

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005978A (ja) * 1999-06-18 2001-01-12 Sony Corp 物体抽出装置、物体抽出方法、およびプログラム提供媒体
CN101291784A (zh) * 2005-10-18 2008-10-22 莫菲克科技股份公司 用于定位和从载体拾取物体的方法和设备
US20090033655A1 (en) * 2007-08-02 2009-02-05 Boca Remus F System and method of three-dimensional pose estimation
CN101370624A (zh) * 2006-01-23 2009-02-18 偌鸿慕·葛赫布瓦 自动化攫握零件的方法和系统
JP2010247959A (ja) * 2009-04-16 2010-11-04 Ihi Corp 箱状ワーク認識装置および方法
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
US20130238125A1 (en) * 2012-03-09 2013-09-12 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN103302666A (zh) * 2012-03-09 2013-09-18 佳能株式会社 信息处理设备和信息处理方法
CN103512548A (zh) * 2012-06-18 2014-01-15 佳能株式会社 距离测量装置及距离测量方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2919284B2 (ja) * 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
US6995762B1 (en) * 2001-09-13 2006-02-07 Symbol Technologies, Inc. Measurement of dimensions of solid objects from two-dimensional image(s)
JP3930490B2 (ja) * 2004-04-23 2007-06-13 ファナック株式会社 物品取出し装置
JP4961860B2 (ja) * 2006-06-27 2012-06-27 トヨタ自動車株式会社 ロボット装置及びロボット装置の制御方法
JP4959520B2 (ja) * 2007-11-26 2012-06-27 三菱電機株式会社 位置姿勢認識装置及び方法、並びに部品ピッキングシステム
JP4940461B2 (ja) * 2010-07-27 2012-05-30 株式会社三次元メディア ３次元物体認識装置及び３次元物体認識方法
DE112011103794B4 (de) * 2010-11-17 2019-01-24 Mitsubishi Electric Corporation Aufnehmervorrichtung für Werkstücke
JP5892360B2 (ja) * 2011-08-02 2016-03-23 ソニー株式会社 ロボット指示装置、ロボット指示方法、プログラム、及び通信システム
JP5494597B2 (ja) * 2011-09-16 2014-05-14 株式会社安川電機 ロボットシステム
JP5977544B2 (ja) * 2012-03-09 2016-08-24 キヤノン株式会社 情報処理装置、情報処理方法
JP6228120B2 (ja) * 2012-08-02 2017-11-08 富士機械製造株式会社 多関節型ロボットを備えた作業機および電気部品装着機
JP6021533B2 (ja) * 2012-09-03 2016-11-09 キヤノン株式会社 情報処理システム、装置、方法及びプログラム
JP5786896B2 (ja) * 2013-06-07 2015-09-30 株式会社安川電機 ワーク検出装置、ロボットシステム、被加工物の製造方法及びワーク検出方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001005978A (ja) * 1999-06-18 2001-01-12 Sony Corp 物体抽出装置、物体抽出方法、およびプログラム提供媒体
CN101291784A (zh) * 2005-10-18 2008-10-22 莫菲克科技股份公司 用于定位和从载体拾取物体的方法和设备
CN101370624A (zh) * 2006-01-23 2009-02-18 偌鸿慕·葛赫布瓦 自动化攫握零件的方法和系统
US20090033655A1 (en) * 2007-08-02 2009-02-05 Boca Remus F System and method of three-dimensional pose estimation
JP2010247959A (ja) * 2009-04-16 2010-11-04 Ihi Corp 箱状ワーク認識装置および方法
JP2011167815A (ja) * 2010-02-19 2011-09-01 Ihi Corp 物体認識ロボットシステム
CN103085076A (zh) * 2011-11-08 2013-05-08 发那科株式会社 物品的三维位置姿势的识别装置以及识别方法
US20130238125A1 (en) * 2012-03-09 2013-09-12 Canon Kabushiki Kaisha Information processing apparatus and information processing method
CN103302666A (zh) * 2012-03-09 2013-09-18 佳能株式会社 信息处理设备和信息处理方法
CN103512548A (zh) * 2012-06-18 2014-01-15 佳能株式会社 距离测量装置及距离测量方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105674991A (zh) * 2016-03-29 2016-06-15 深圳市华讯方舟科技有限公司 一种机器人定位方法和装置
CN107520088A (zh) * 2016-06-15 2017-12-29 精工爱普生株式会社 机器人、控制装置及机器人系统
CN108393888A (zh) * 2017-02-06 2018-08-14 精工爱普生株式会社 控制装置、机器人以及机器人系统
CN108453730A (zh) * 2017-02-21 2018-08-28 发那科株式会社 工件取出系统
US10434649B2 (en) 2017-02-21 2019-10-08 Fanuc Corporation Workpiece pick up system
CN108994829A (zh) * 2017-06-06 2018-12-14 精工爱普生株式会社 控制装置及机器人系统
CN113439013A (zh) * 2019-02-25 2021-09-24 国立大学法人东京大学 机器人系统，机器人的控制装置，以及机器人的控制程序
CN113439013B (zh) * 2019-02-25 2024-05-14 国立大学法人东京大学 机器人系统，机器人的控制装置，以及机器人的控制程序
CN112116804A (zh) * 2019-06-19 2020-12-22 北京地平线机器人技术研发有限公司 一种车辆状态量信息确定方法及装置
CN112116804B (zh) * 2019-06-19 2023-03-07 北京地平线机器人技术研发有限公司 一种车辆状态量信息确定方法及装置
CN110608872A (zh) * 2019-09-30 2019-12-24 云谷（固安）科技有限公司 光学检测设备及检测方法
CN111113416A (zh) * 2019-12-19 2020-05-08 郑州宇恒环保技术有限公司 基于机器视觉的轴承在线检测系统
CN112836681A (zh) * 2021-03-03 2021-05-25 上海高仙自动化科技发展有限公司 一种障碍物标记方法、装置及可读非暂时性存储介质
CN112836681B (zh) * 2021-03-03 2024-01-26 上海高仙自动化科技发展有限公司 一种障碍物标记方法、装置及可读非暂时性存储介质

Also Published As

Publication number Publication date
US10562182B2 (en) 2020-02-18
JP2015147256A (ja) 2015-08-20
US20170341230A1 (en) 2017-11-30
US9764467B2 (en) 2017-09-19
US20150217451A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
CN104816306A (zh) 机器人、机器人系统、控制装置、以及控制方法
JP5458885B2 (ja) 物体検出方法と物体検出装置およびロボットシステム
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
Croom et al. Visual sensing of continuum robot shape using self-organizing maps
US10477160B2 (en) Information processing apparatus, and information processing method
CN107610176A (zh) 一种基于Kinect的栈板动态识别与定位方法、系统及介质
US11273552B2 (en) Method and system for object grasping
Herakovic Robot vision in industrial assembly and quality control processes
JP6489243B2 (ja) 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
Sansoni et al. Optoranger: A 3D pattern matching method for bin picking applications
CN113240801B (zh) 一种物料堆三维重构方法、装置、电子设备及存储介质
Zhang et al. Robust pattern recognition for measurement of three dimensional weld pool surface in GTAW
CN113400301A (zh) 一种机器人3d手眼标定方法、系统、装置及介质
Chiba et al. Ultra-fast multi-scale shape estimation of light transport matrix for complex light reflection objects
Gilles et al. Metagraspnet: A large-scale benchmark dataset for scene-aware ambidextrous bin picking via physics-based metaverse synthesis
JP2022181173A (ja) 透明物体のビンピッキング
US11847841B2 (en) Probabilistic object models for robust, repeatable pick-and-place
JP6237122B2 (ja) ロボット、画像処理方法及びロボットシステム
US20230305574A1 (en) Detecting empty workspaces for robotic material handling
JP2015079374A (ja) 物体認識装置、物体認識方法、物体認識プログラム、ロボットシステム及びロボット
CN111724432A (zh) 物体三维检测方法和装置
JP2022181174A (ja) 回転補正付きの物体ビンピッキング
Li et al. Stacking objects picking system based on structured light
CN111462232A (zh) 一种物体抓取方法、装置和存储介质
EP4205917A1 (en) Control device, robot, control method, and program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150805