CN111947568A - 计测系统、计测装置、计测方法以及记录介质 - Google Patents

计测系统、计测装置、计测方法以及记录介质 Download PDF

Info

Publication number
CN111947568A
CN111947568A CN202010406289.2A CN202010406289A CN111947568A CN 111947568 A CN111947568 A CN 111947568A CN 202010406289 A CN202010406289 A CN 202010406289A CN 111947568 A CN111947568 A CN 111947568A
Authority
CN
China
Prior art keywords
robot
measurement
data
sensor
displacement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010406289.2A
Other languages
English (en)
Other versions
CN111947568B (zh
Inventor
付星斗
苗林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN111947568A publication Critical patent/CN111947568A/zh
Application granted granted Critical
Publication of CN111947568B publication Critical patent/CN111947568B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/02—Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023—Cartesian coordinate type
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/20—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring contours or curvatures, e.g. determining profile
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37555—Camera detects orientation, position workpiece, points of workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40564—Recognize shape, contour of object, extract position and orientation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40613—Camera, laser scanner on end effector, hand eye manipulator, local

Abstract

提供计测系统、计测装置、计测方法以及记录介质，缩短配准计测对象物的3D数据所需的时间。根据在机器人停止期间3D传感器在特定的计测点处计测出计测对象物的3D数据(110‑1)的时刻的机器人各关节的位移以及在机器人动作期间3D传感器在特定的计测点以外的计测点处计测出计测对象物的3D数据(110‑2)的时刻的机器人各关节的位移，将3D数据(110‑2)向3D数据(110‑1)配准。还将3D数据(110‑2)向3D数据(110‑1)配准，以使3D数据(110‑1、110‑2)的配准误差小于阈值。同样将3D数据(110‑3、110‑4、…、110‑N)分别向3D数据(110‑1)配准。

Description

计测系统、计测装置、计测方法以及记录介质
技术领域
本发明涉及计测系统、计测装置、计测方法以及记录介质。
背景技术
在工厂自动化的领域中，例如使用距离传感器来计测表示工件的表面的各点的三维坐标的点群(点云)，根据通过计测得到的点群来进行用于识别或检查工件的图像处理。
用于这种图像处理的距离传感器也被称为机器人视觉(robot vision)，其计测方式存在各种方式。例如，存在如下的方式等：从固定的计测点计测工件的点群；一边使计测点移动一边计测工件的点群；针对一个工件从一个计测点计测点群；以及针对一个工件从多个不同的计测点计测多个点群。
在从固定的计测点计测工件的点群的方式、针对一个工件计测一个点群的方式中，根据工件的不同，其形状是复杂的，或者由于来自镜面加工后的工件的反射面的反射的影响，有时无法以足够的精度识别工件。与此相对，通过从多个不同的计测点分别计测工件的点群，能够对工件的观察方式不同的多个不同点群进行计测，与从固定的计测点计测工件的点群的方式、针对一个工件计测一个点群的方式相比，能够以更高的精度识别工件。
作为这种图像处理，例如，公知有如非专利文献1记载的那样的基于模型的算法。该算法使用记述了多个点的位置、法线关系的被称为PPF(Point Pair Feature：点对特征)的特征量，能够应用在物体的位置及姿势的估计处理、物体的点群的配准处理中。该特征量是在从物体的点群选择两个点(点对)的组合中计算的四维特征量。四维分别是两点间的距离、连接两点的线段与其各点的法线方向所成的角度、两点的法线间的角度。在散列表中以该特征量为关键字来存储两点的点编号。在匹配处理中，从散列表中检索到对应点之后，通过求出点对间的刚体变形参数来识别物体。在匹配处理之后，计算相邻的计测点间的距离传感器的旋转量和移动量，根据其计算结果，进行以该相邻的计测点计测的两个点群的配准。
在非专利文献2中记载了基于模型的其他算法。该算法根据使用距离图像传感器计测出的距离图像传感器周边的距离图像来估计距离图像传感器的位置及姿势。在该算法中，计算相邻的计测点间的距离图像传感器的旋转量及移动量，根据其计算结果，进行以该相邻的计测点计测的两个距离图像的配准。
使用了非专利文献1、2记载的算法的配准是作为精配准(Fine Registration)的前处理而进行的粗配准(Coarse Registration)。
在非专利文献3中记载了使用ICP(Iterative Closest Point：迭代最近点法)来作为用于使物体的多个点群间的对应点彼此的距离最小化的算法。在ICP中，针对构成一个点群的各点，搜索另一个点群中的最接近点，并将其作为临时的对应点。通过估计使这样的对应点间的距离最小化的刚体变换并反复进行对应点的搜索和刚体变换估计，使点群间的对应点彼此的距离最小化。ICP是作为粗配准的后处理而进行的精配准。
非专利文献1：Drost，Bertram，et al."Model globally，match locally:Efficient and robust 3D object recognition."Computer Vision and PatternRecognition(CVPR)，2010IEEE Conference on.Ieee，2010.
非专利文献2：Newcombe，Richard A.，et al."Kinectfusion:Real-time densesurface mapping and tracking."ISMAR.Vol.11.No.2011.2011.
非专利文献3：Besl，Paul J.，and Neil D.McKay."Method for registration of3-D shapes."Sensor Fusion IV:Control Paradigms and Data Structures.Vol.1611.International Society for Optics and Photonics，1992.
但是，非专利文献1、2记载的配准算法有时在图像处理中需要很多的计算，并且有时鲁棒性较低。另外，非专利文献3记载的ICP在初始状态的点群间的偏差大的情况下，有时可能会反复进行多次对应点的搜索和刚体变换估计，或者可能会配准失败。无论哪种技术，计算时间都可能变长，因此在要求生产性的工厂自动化的领域中，在实用上是不充分的。
发明内容
因此，本发明的课题在于，提供能够缩短对计测对象物的3D数据进行配准所需的时间的计测系统、计测装置、计测方法以及计测程序。
为了解决上述课题，本发明的计测系统具有：3D传感器，其搭载于机器人，对表示计测对象物的表面的各点的三维坐标的3D数据进行计测；位移检测装置，其对机器人的各关节的位移进行检测；驱动装置，其对机器人的各关节进行驱动，以改变3D传感器相对于计测对象物的相对位置关系；传感器控制部，其控制3D传感器在3D传感器相对于计测对象物的相对位置关系不同的多个计测点处对计测对象物的3D数据进行计测；同步控制部，其通过使机器人的动作在多个计测点中的任意特定的计测点处停止，使得3D传感器对计测对象物的3D数据进行计测时的机器人的位置及姿势与位移检测装置对机器人的各关节的位移进行检测时的机器人的位置及姿势一致；第1配准处理部，其根据在机器人的停止期间3D传感器在特定的计测点处计测出计测对象物的3D数据的时刻的机器人的各关节的位移以及在机器人的动作期间3D传感器在特定的计测点以外的计测点处计测出计测对象物的3D数据的时刻的机器人的各关节的位移，将在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据向在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据进行配准；以及第2配准处理部，其将在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据向在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据进行配准，使得在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据与在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据的配准误差小于阈值。根据该结构，能够缩短对计测对象物的3D数据进行配准所需的时间。
在特定的计测点处，机器人的动作是停止的，因此即使3D传感器对计测对象物的3D数据进行计测的定时与位移检测装置对机器人的各关节的位移进行检测的定时不同步，3D传感器对计测对象物的3D数据进行计测时的机器人的位置及姿势与位移检测装置对机器人的各关节的位移进行检测时的机器人的位置及姿势也一致。因此，在特定的计测点以外的计测点处由3D传感器对计测对象物的3D数据进行计测的定时与位移检测装置对机器人的各关节的位移进行检测的定时可以不同步。不需要为了使3D传感器对计测对象物的3D数据进行计测时的机器人的位置及姿势与位移检测装置对机器人的各关节的位移进行检测时的机器人的位置及姿势一致而使机器人的动作在特定的计测点以外的计测点处停止，因此能够缩短对计测对象物的3D数据进行配准所需的时间。
同步控制部使机器人的动作停止的次数也可以比多个计测点的数量少。由此，为了使3D传感器对计测对象物的3D数据进行计测时的机器人的位置及姿势与位移检测装置对机器人的各关节的位移进行检测时的机器人的位置及姿势一致而使机器人的动作停止的次数比多个计测点的数量少即可，因此能够缩短对计测对象物的3D数据进行配准所需的时间。
特定的计测点也可以是多个计测点中的任意一个计测点。由此，为了使3D传感器对计测对象物的3D数据进行计测时的机器人的位置及姿势与位移检测装置对机器人的各关节的位移进行检测时的机器人的位置及姿势一致而使机器人的动作停止的次数为1次即可，因此能够缩短对计测对象物的3D数据进行配准所需的时间。
本发明的计测系统还可以具有：坐标变换部，其将通过第1配准处理部和第2配准处理部对在特定的计测点以外的各计测点处计测出的计测对象物的3D数据和在特定的计测点处计测出的计测对象物的3D数据进行配准而得到的3D数据从3D传感器的坐标系变换为机器人的坐标系；以及位置姿势估计部，其根据由坐标变换部进行坐标变换后的3D数据，估计计测对象物相对于机器人的位置及姿势。通过使用利用第1配准处理部和第2配准处理部的配准而得到的3D数据，能够缩短对计测对象物相对于机器人的位置及姿势进行估计所需的时间。
本发明的计测装置被输入从对机器人的各关节的位移进行检测的位移检测装置输出的表示位移的信息，并且向驱动机器人的各关节的驱动装置输出驱动指令，所述计测装置具有：3D传感器，其搭载于机器人，对表示计测对象物的表面的各点的三维坐标的3D数据进行计测；驱动控制部，其生成用于对机器人的各关节进行驱动以改变3D传感器相对于计测对象物的相对位置关系的驱动指令；传感器控制部，其控制3D传感器在3D传感器相对于计测对象物的相对位置关系不同的多个计测点处对计测对象物的3D数据进行计测；同步控制部，其通过使机器人的动作在多个计测点中的任意特定的计测点处停止，使得3D传感器对计测对象物的3D数据进行计测时的机器人的位置及姿势与位移检测装置对机器人的各关节的位移进行检测时的机器人的位置及姿势一致；第1配准处理部，其根据在机器人的停止期间3D传感器在特定的计测点处计测出计测对象物的3D数据的时刻的机器人的各关节的位移以及在机器人的动作期间3D传感器在特定的计测点以外的计测点处计测出计测对象物的3D数据的时刻的机器人的各关节的位移，将在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据向在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据进行配准；以及第2配准处理部，其将在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据向在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据进行配准，使得在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据与在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据的配准误差小于阈值。根据该结构，能够缩短对计测对象物的3D数据进行配准所需的时间。
本发明的计测方法由计测装置执行，该计测装置具有3D传感器，该3D传感器搭载于机器人，对表示计测对象物的表面的各点的三维坐标的3D数据进行计测，并且该计测装置被输入从对机器人的各关节的位移进行检测的位移检测装置输出的表示位移的信息，并且向驱动机器人的各关节的驱动装置输出驱动指令，其中，该计测装置执行如下的步骤：生成用于对机器人的各关节进行驱动以改变3D传感器相对于计测对象物的相对位置关系的驱动指令；控制3D传感器在3D传感器相对于计测对象物的相对位置关系不同的多个计测点处对计测对象物的3D数据进行计测；通过使机器人的动作在多个计测点中的任意特定的计测点处停止，使得3D传感器对计测对象物的3D数据进行计测时的机器人的位置及姿势与位移检测装置对机器人的各关节的位移进行检测时的机器人的位置及姿势一致；根据在机器人的停止期间3D传感器在特定的计测点处计测出计测对象物的3D数据的时刻的机器人的各关节的位移以及在机器人的动作期间3D传感器在特定的计测点以外的计测点处计测出计测对象物的3D数据的时刻的机器人的各关节的位移，将在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据向在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据进行配准；以及将在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据向在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据进行配准，使得在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据与在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据的配准误差小于阈值。根据该方法，能够缩短对计测对象物的3D数据进行配准所需的时间。
本发明的记录介质存储有计测程序，该计测程序使计测装置执行步骤，该计测装置具有3D传感器，该3D传感器搭载于机器人，对表示计测对象物的表面的各点的三维坐标的3D数据进行计测，并且该计测装置被输入从对机器人的各关节的位移进行检测的位移检测装置输出的表示位移的信息，并且向驱动机器人的各关节的驱动装置输出驱动指令，其中，该计测程序使该计测装置执行如下的步骤：生成用于对机器人的各关节进行驱动以改变3D传感器相对于计测对象物的相对位置关系的驱动指令；控制3D传感器在3D传感器相对于计测对象物的相对位置关系不同的多个计测点处对计测对象物的3D数据进行计测；通过使机器人的动作在多个计测点中的任意特定的计测点处停止，使得3D传感器对计测对象物的3D数据进行计测时的机器人的位置及姿势与位移检测装置对机器人的各关节的位移进行检测时的机器人的位置及姿势一致；根据在机器人的停止期间3D传感器在特定的计测点处计测出计测对象物的3D数据的时刻的机器人的各关节的位移以及在机器人的动作期间3D传感器在特定的计测点以外的计测点处计测出计测对象物的3D数据的时刻的机器人的各关节的位移，将在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据向在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据进行配准；以及将在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据向在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据进行配准，使得在机器人的动作期间在特定的计测点以外的计测点处计测出的计测对象物的3D数据与在机器人的停止期间在特定的计测点处计测出的计测对象物的3D数据的配准误差小于阈值。根据该方法，能够缩短对计测对象物的3D数据进行配准所需的时间。
根据本发明，能够缩短对计测对象物的3D数据进行配准所需的时间。
附图说明
图1是示出本发明的实施方式的计测系统的概略结构的一例的说明图。
图2是示出本发明的实施方式的3D数据的处理的流程的一例的说明图。
图3是示出本发明的实施方式的配准处理的一例的说明图。
图4是示出本发明的实施方式的计测系统和计测装置的硬件结构的一例的说明图。
图5是示出本发明的实施方式的计算机系统的功能的一例的框图。
图6是示出本发明的实施方式的计测方法的处理的流程的一例的流程图。
标号说明
10：计算机系统；20：运算装置；21：CPU；22：ROM；23：RAM；30：存储装置；31：计测程序；40：输入输出接口；50：机器人控制器；60：机器人；61：驱动装置；62：位移检测装置；70：3D传感器；80：计测对象物；100：计测系统；200：计测装置。
具体实施方式
以下，根据附图对本发明的一个方面的实施方式进行说明。本发明的实施方式是为了容易理解本发明，而不是为了限定解释本发明。本发明可以在不脱离其主旨的情况下进行变更或改良，并且本发明还包括其等同物。另外，相同标号表示相同的构成要素，省略重复的说明。
【应用例】
图1是示出本实施方式的计测系统100的概略结构的一例的说明图。计测系统100具有：机器人60；3D传感器70，其搭载于机器人60；计算机系统10，其控制机器人60的驱动及3D传感器70对计测对象物80的3D数据的计测；以及机器人控制器50，其响应于来自计算机系统10的指令而对机器人60的动作进行控制。
3D数据表示计测对象物80的表面的各点的三维坐标。作为这种3D数据，例如，可以使用点群或距离图像。点群例如被定义为具有xyz直角坐标系的三维坐标值(x，y，z)的点的集合。距离图像例如被定义为将与uv直角坐标系的二维的图像坐标(u，v)对应的距离d设为像素值的像素的集合。这里，d是3D传感器70与计测对象物80之间的距离。
3D传感器70可以是计测点群的距离传感器，或者，也可以是将距离传感器和2D传感器组合起来而取得距离图像的距离图像传感器。距离传感器是计测作为进深信息的距离d的传感器，作为其计测方式，例如可以使用三角法方式、飞行时间方式(Time-of-Flight方式)或相位差方式等。2D传感器是拍摄二维图像的图像传感器。二维图像在不将距离d设为像素值这方面与距离图像不同。距离图像传感器例如也可以是如下的照相机：一边改变2D传感器的拍摄位置一边拍摄计测对象物80的多个二维图像，通过立体观察的图像处理，取得将距离d作为像素值的距离图像。或者，距离图像传感器也可以是如下的立体照相机：通过从多个不同的方向同时拍摄计测对象物80，取得将距离d作为像素值的距离图像。
机器人60例如是具有用于对计测对象物80进行操作(例如，把持、吸附、移动、组装或插入等)的机器人手63的多关节机器人(例如，垂直多关节机器人、水平多关节机器人)。机器人60具有用于对关节进行驱动的驱动装置61和检测关节的位移(角度位移)的位移检测装置62。驱动装置61例如是响应来自机器人控制器50的驱动指令而驱动的伺服电动机。位移检测装置62例如是检测伺服电动机的旋转角的编码器(例如，增量型编码器或绝对型编码器等)。在机器人60的各关节组装有驱动装置61和位移检测装置62。
机器人60作为自主动作的机械手来进行动作，例如可以用于计测对象物80的拣选、组装、搬送、涂装、检查、研磨或清洗等各种用途。计测对象物80例如是在制品或部件等工件。作为工件的例子，可以举出汽车的动力传动系统(例如，发动机或变速器等)的机械部件或电装系统的电子部件。
计测系统100对机器人60的各关节的驱动进行控制，以改变3D传感器70相对于计测对象物80的相对位置关系。然后，计测系统100在3D传感器70相对于计测对象物80的相对位置关系不同的多个计测点90-1、90-2、90-3、…、90-N处对计测对象物80的3D数据进行计测，并且对计测到各3D数据的时刻的机器人60的各关节的位移进行检测。这里，N是2以上的整数。
计测系统100通过使机器人60的动作在多个计测点90-1、90-2、90-3、…、90-N中的任意特定的计测点处停止，使得3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致。在特定的计测点处，计测系统100在机器人60的停止期间对计测对象物80的3D数据进行计测，并且对计测到各3D数据的时刻的机器人60的各关节的位移进行检测。由于在特定的计测点处机器人60的动作是停止的，所以即使3D传感器70对计测对象物80的3D数据进行计测的定时与位移检测装置62对机器人60的各关节的位移进行检测的定时不同步，3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势也一致。在特定的计测点以外的各计测点处，计测系统100在机器人60的动作期间对计测对象物80的3D数据进行计测，并且对计测到各3D数据的时刻的机器人60的各关节的位移进行检测。由于在特定的计测点以外的计测点处机器人60进行动作，所以3D传感器70对计测对象物80的3D数据进行计测的定时与位移检测装置62对机器人60的各关节的位移进行检测的定时不一定是同步的，3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势不一定一致。
使机器人60的动作停止的特定的计测点的数量只要是1以上且N-1以下的正数即可。为了简化说明，在以下的说明中，例示了将计测点90-1作为特定的计测点的情况。在该情况下，在计测点90-1处，在机器人60的停止期间，3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致。另一方面，在计测点90-2、90-3、…、90-N的各个计测点处，在机器人60的动作期间，3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势不一定一致。
另外，在图1中，标号201表示以机器人60为基准的坐标系，标号202表示以机器人手63为基准的坐标系，标号203表示以3D传感器70为基准的坐标系。将坐标系201、202、203分别称为机器人坐标系、工具坐标系及传感器坐标系。
图2是示出本发明的实施方式的3D数据的处理的流程的一例的说明图。3D数据的处理具有配准处理300和坐标变换处理400。标号110-1表示在特定的计测点90-1处在机器人60的停止期间计测的计测对象物80的3D数据。标号110-2、110-3、…、110-N分别表示在计测点90-2、90-3、…、90-N处在机器人60的动作期间计测的计测对象物80的3D数据。
在特定的计测点90-1处，3D传感器70对计测对象物80的3D数据110-1进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致，因此计测到3D数据110-1的时刻的机器人60的准确的位置及姿势能够根据在该时刻由位移检测装置62检测的各关节的位移而通过计算求出。另一方面，在计测点90-2、90-3、…、90-N的各个计测点处，3D传感器70对计测对象物80的3D数据110-2、110-3、…、110-N进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势不一定一致，但计测到3D数据110-2、110-3、…、110-N的时刻的机器人60的大致位置及姿势能够根据在该时刻由位移检测装置62检测的各关节的位移而通过计算求出。
这里，3D传感器70相对于机器人60的相对位置关系是固定且已知的，因此3D传感器70相对于计测对象物80的相对位置关系的变化能够根据机器人60相对于计测对象物80的相对位置关系的变化而通过计算求出。例如，当着眼于在计测点90-1处在机器人60的停止期间计测出的3D数据110-1和在计测点90-2处在机器人60的动作期间计测出的3D数据110-2时，能够根据在计测到该各个3D数据110-1、110-2的时刻由位移检测装置62检测的各关节的位移的变化(机器人60的位置及姿势的变化)而通过计算求出相对于计测对象物80的两个计测点90-1、90-2的相对位置关系的大致变化。计测系统100根据这样的通过计算求出的两个计测点90-1、90-2的相对位置关系的大致变化，将3D数据110-2向3D数据110-1进行配准。
配准是指用于使一方的3D数据的位置及姿势与另一方的3D数据的位置及姿势一致的坐标变换。由于在计测点90-2处由3D传感器70对计测对象物80的3D数据110-2进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势不一定一致，所以当根据在计测到各个3D数据110-1、110-2的时刻由位移检测装置62检测的各关节的位移而将3D数据110-2向3D数据110-1进行配准时，可能会产生配准误差。因此，计测系统100例如使用ICP(Iterative Closest Point)等算法将3D数据110-2向3D数据110-1进行配准，使得3D数据110-1、110-2的配准误差小于阈值。这样，即使由于估计的计测点90-1、90-2的相对位置关系的变化与计测点90-1、90-2的相对位置关系的实际变化之间的误差而产生配准误差，也能够使用ICP等算法将该配准误差降低到小于阈值，其中，该估计的计测点90-1、90-2的相对位置关系的变化是根据在计测到各个3D数据110-1、110-2的时刻由位移检测装置62检测的各关节的位移的变化而估计出的。因此，作为使用了ICP等算法的精配准的前处理，根据在检测到各个3D数据110-1、110-2的时刻由位移检测装置62检测的各关节的位移来进行大致的配准，由此，能够缩短配准所需的整体的处理时间。
经过上述处理，计测系统100将3D数据110-2向3D数据110-1进行配准。同样，计测系统100将3D数据110-3、110-4、…、110-N分别向3D数据110-1进行配准。在特定的计测点的数量为1个的情况下，配准处理300是将(N-1)个3D数据110-2、110-3、…、110-N分别向3D数据110-1进行配准的处理。标号110-S表示通过配准处理300得到的3D数据。3D数据110-S是传感器坐标系203中的计测对象物80的3D数据。
计测系统100能够使用公知的变换矩阵将传感器坐标系203中的计测对象物80的3D数据110-S变换为工具坐标系202、机器人坐标系201或其他坐标系中的计测对象物80的3D数据。坐标变换处理400是将传感器坐标系203中的计测对象物80的3D数据110-S坐标变换为特定的坐标系(工具坐标系202、机器人坐标系201或其他坐标系)的处理。标号110-R表示机器人坐标系201中的计测对象物80的3D数据，在图2所示的例子中，通过坐标变换处理400，传感器坐标系203中的计测对象物80的3D数据110-S被变换为机器人坐标系201中的计测对象物80的3D数据110-R。
计测系统100能够根据机器人坐标系201中的计测对象物80的3D数据110-R来计算计测对象物80相对于机器人60的位置及姿势，求出用于使机器人60操作计测对象物80的动作目标。例如，在机器人60对计测对象物80进行把持的操作中，机器人60的动作目标是为了使机器人手63把持计测对象物80而要求的机器人60的目标位置及目标姿势。
另外，计测对象物80的3D数据的处理不一定需要坐标变换处理400，也可以代替坐标变换处理400而使用与计测系统100的目的对应的处理。
另外，在上述说明中，为了简化说明，列举了将计测点90-1设为特定的计测点的例子，但例如也可以将两个计测点90-1、90-3设为特定的计测点。在该情况下，例如，也可以代替将3D数据110-4向3D数据110-1进行配准的处理，而使用将3D数据110-4向3D数据110-3进行配准并将作为其结果得到的3D数据向3D数据110-1进行配准的处理。这样，也可以将在特定的计测点以外的任意计测点处在机器人60的动作期间计测出的3D数据向在某个特定的计测点处在机器人60的停止期间计测出的3D数据进行配准，并进一步将作为其结果得到的3D数据向在其他特定的计测点处在机器人60的停止期间计测出的3D数据进行配准。
图3是示出本发明的实施方式的配准处理300的一例的说明图。
在图3的(A)中，标号110-1表示在特定的计测点90-1处在机器人60的停止期间计测出的计测对象物80的3D数据。标号110-2表示在计测点90-2处在机器人60的动作期间计测出的计测对象物80的3D数据。
如图3的(B)所示，进行如下的处理：根据在计测到各个3D数据110-1、110-2的时刻由位移检测装置62检测的各关节的位移，将3D数据110-2向3D数据110-1进行配准。标号110-1A表示3D数据110-1中的某一点，标号110-2A表示3D数据110-2中的与点110-1A对应的点。由于两个点110-1A、110-2A处于对应的关系，所以将它们称为对应点。对应点110-1A、110-2A之间的距离ΔE相当于配准误差。
如图3的(C)所示，进行如下的处理：使用ICP等算法将3D数据110-2向3D数据110-1进行配准，使得配准误差ΔE小于阈值。阈值只要是配准处理300的精度成为在实用方面足够的精度的值即可。由于认为配准误差ΔE比假定完全没有进行位置对准时的3D数据110-1、110-2的配准误差小，所以基于ICP的对应点110-1A、110-2A的搜索及刚体变换估计的处理次数减少，其结果是，能够缩短配准处理所需的时间。
由于非专利文献1、2记载的配准算法在图像处理中需要较多的计算，所以有时计算时间变长。与此相对，根据本实施方式的配准处理300，图像处理所需的计算少，因此能够在短时间内结束计算。另外，非专利文献3记载的ICP在初始状态的3D数据间的误差大的情况下反复进行多次对应点的搜索和刚体变换估计，其结果是，有时计算时间变长，或者配准失败。与此相对，根据本实施方式的配准处理300，能够减少基于ICP的对应点的搜索及刚体变换估计的处理次数，在短时间内结束计算。另外，能够提高配准的鲁棒性。
通过以上理由，本实施方式的配准处理300在要求生产性的工厂自动化的领域中有用。
【硬件结构】
接着，参照图4对本发明的实施方式的计测系统100和计测装置200的硬件结构的一例进行说明。
计测装置200具有计算机系统10和3D传感器70。计测系统100具有计测装置200、机器人60以及机器人控制器50。计算机系统10具有运算装置20、存储装置30以及输入输出接口40。运算装置20具有CPU(Central Processing Unit：中央处理单元)21、ROM(Read OnlyMemory：只读存储器)22、RAM(Random Access Memory：随机存取存储器)23。
存储装置30是盘介质(例如，磁记录介质或光磁记录介质)或半导体存储器(例如，易失性存储器或非易失性存储器)等计算机可读取的记录介质。这样的记录介质例如也可以称为非暂时性的记录介质。存储装置30存储有用于执行本发明的实施方式的计测方法的计测程序31。从存储装置30向RAM 23读入计测程序31，并由CPU21来解释和执行。计测程序31也作为对机器人60的动作进行控制的主程序来发挥功能。
运算装置20通过输入输出接口40来输入从位移检测装置62输出的表示机器人60的各关节的位移的信息，并且向驱动机器人60的各关节的驱动装置61输出驱动指令。
机器人控制器50响应于通过输入输出接口40从运算装置20输出的驱动指令，对驱动机器人60的各关节的驱动装置61的驱动(例如，伺服电动机的转速及转矩)进行控制。
3D传感器70响应于通过输入输出接口40从运算装置20输出的计测指令而对计测对象物80的3D数据进行计测。
运算装置20通过输入输出接口40来输入由3D传感器70计测的计测对象物80的3D数据和从位移检测装置62输出的表示机器人60的各关节的位移的信息，并输出指示3D传感器70对计测对象物80的3D数据进行计测的计测指令和对驱动装置61的驱动进行控制的驱动指令。此时，RAM 23临时存储由3D传感器70计测的计测对象物80的3D数据和从位移检测装置62输出的表示机器人60的各关节的位移的信息，作为用于供运算装置20进行配准处理300的工件区域来发挥功能。
另外，在图4中，示出了分别图示一个驱动装置61和位移检测装置62的例子，但驱动装置61和位移检测装置62各自的个数只要与关节的个数相同即可。
【功能结构】
图5是示出本发明的实施方式的计算机系统10的功能的一例的框图。通过计算机系统10的硬件资源与计测程序31的协作，实现作为驱动控制部11、传感器控制部12、同步控制部13、配准处理部14、配准处理部15、坐标变换部16、位置姿势估计部17以及动作目标计算部18的功能。
驱动控制部11生成用于对机器人60的各关节进行驱动以改变3D传感器70相对于计测对象物80的相对位置关系的驱动指令。
传感器控制部12控制3D传感器70在3D传感器70相对于计测对象物80的相对位置关系不同的多个计测点90-1、90-2、…、90-N处对计测对象物80的3D数据进行计测。
同步控制部13通过使机器人60的动作在多个计测点90-1、90-2、…、90-N中的任意特定的计测点处停止，使得3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致。在特定的计测点以外的任意一个以上的计测点处由3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势可以一致，或者也可以不一致。不需要为了使3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致而使机器人60的动作在特定的计测点以外的计测点处停止，能够缩短计测对象物80的3D数据的配准所需的时间。特别是在特定的计测点的数量为1个的情况下，为了使3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致，只要使机器人60的动作停止的次数为1次即可，因此能够缩短计测对象物80的3D数据的配准所需的时间。
配准处理部14根据在特定的计测点处在机器人60的停止期间3D传感器70计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移和在特定的计测点以外的计测点处在机器人60的动作期间3D传感器70计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移，将在特定的计测点以外的计测点处在机器人60的动作期间计测出的计测对象物80的3D数据向在特定的计测点处在机器人60的停止期间计测出的计测对象物80的3D数据进行配准。
配准处理部15例如使用ICP等算法，将在特定的计测点以外的计测点处在机器人60的动作期间计测出的计测对象物80的3D数据向在特定的计测点处在机器人60的停止期间计测出的计测对象物80的3D数据进行配准，使得在特定的计测点以外的计测点处在机器人60的动作期间计测出的计测对象物80的3D数据与在特定的计测点处在机器人60的停止期间计测出的计测对象物80的3D数据的配准误差小于阈值。
坐标变换部16进行坐标变换处理400，用于将通过配准处理部14、15对在特定的计测点以外的各计测点处计测出的计测对象物80的3D数据和在特定的计测点处计测出的计测对象物80的3D数据进行的配准处理300而得到的3D数据110-S从3D传感器70的坐标系203变换为机器人60的坐标系201。
位置姿势估计部17根据由坐标变换部16进行坐标变换后的3D数据110-R来估计计测对象物80相对于机器人60的位置及姿势。
动作目标计算部18根据计测对象物80相对于机器人60的位置及姿势，计算用于使机器人60操作计测对象物80的动作目标。动作目标是为了使机器人60操作计测对象物80而要求的机器人60的目标位置及目标姿势。
另外，上述各部(驱动控制部11、传感器控制部12、同步控制部13、配准处理部14、配准处理部15、坐标变换部16、位置姿势估计部17以及动作目标计算部18)不一定需要通过计算机系统10的硬件资源与计测程序31的协作实现，例如，也可以使用专用的硬件资源(例如，面向特定用途的集成电路(ASIC)、或现场可编程门阵列(FPGA)等)来实现。
另外，由于坐标变换部16、位置姿势估计部17以及动作目标计算部18的各功能不是必需的，所以计算机系统10也可以代替这些功能而具有与目的对应的其他功能。
【计测方法】
图6是示出本发明的实施方式的计测方法的处理的流程的一例的流程图。该计测方法是通过运算装置20执行计测程序31而进行处理的。
在步骤601中，驱动控制部11生成用于对机器人60的各关节进行驱动以改变3D传感器70相对于计测对象物80的相对位置关系的驱动指令，并将生成的驱动指令输出到机器人控制器50。在机器人60的动作期间或停止期间，传感器控制部12生成要求对计测对象物80的3D数据进行计测的计测指令，并将生成的计测指令输出到3D传感器70。3D数据的计测指令在机器人60在特定的计测点处为停止状态时向3D传感器70输出。另外，3D数据的计测指令在机器人60在特定的计测点以外的各计测点处进行动作时向3D传感器70输出。
在步骤602中，3D传感器70响应于来自传感器控制部12的计测指令而对计测对象物80的3D数据进行计测，同时，位移检测装置62对计测到计测对象物80的3D数据的时刻的机器人60的各关节的位移进行检测。由3D传感器70计测出的计测对象物80的3D数据从3D传感器70通过输入输出接口40被传送到RAM 23。同样，由位移检测装置62检测出的表示机器人60的各关节的位移的信息从位移检测装置62通过机器人控制器50和输入输出接口40而传送到RAM 23。
在步骤603中，配准处理部14读取储存在RAM 23中的计测信息(计测对象物80的3D数据及表示机器人60的各关节的位移的信息)，将在特定的计测点以外的计测点处在机器人60的动作期间计测出的计测对象物80的3D数据向在特定的计测点处在机器人60的停止期间计测出的计测对象物80的3D数据进行配准。配准处理部15将在特定的计测点以外的计测点处在机器人60的动作期间计测出的计测对象物80的3D数据向在特定的计测点处在机器人60的停止期间计测出的计测对象物80的3D数据进行配准，以使配准处理部14的配准误差小于阈值。步骤603的处理内容与配准处理300相同。
在步骤604中，坐标变换部16将通过步骤603的配准处理而得到的3D数据110-S从3D传感器70的坐标系203变换为机器人60的坐标系201。步骤604的处理内容与坐标变换处理400相同。
在步骤605中，位置姿势估计部17基于通过步骤604进行了坐标变换后的3D数据110-R，估计计测对象物80相对于机器人60的位置及姿势。
在步骤606中，动作目标计算部18根据在步骤605中估计出的计测对象物80的位置及姿势，计算用于使机器人60操作计测对象物80的动作目标(目标位置及目标姿势)。
在步骤607中，驱动控制部11生成用于对机器人60的各关节进行驱动以使机器人60的位置及姿势与在步骤606中计算出的目标位置及目标姿势一致的驱动指令，并将生成的驱动指令输出到机器人控制器50。
另外，由于步骤604～607的处理在本发明的实施方式的计测方法中不是必需的，所以本发明的实施方式的计测方法也可以代替这些处理而包含与计测系统100的计测目的对应的其他处理。另外，也可以调换步骤604、605的顺序。例如，在传感器坐标系203中，也可以估计计测对象物80相对于机器人60的位置及姿势，接着，将计测对象物80相对于机器人60的位置及姿势从传感器坐标系203变换为机器人坐标系201。
作为用于使在特定的计测点处由3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致的方法，存在基于计算机系统10的软件方法和基于机器人控制器50的硬件方法。
在软件方法中，例如，计算机系统10通过向机器人控制器50发送请求机器人控制器50传送表示机器人60的各关节的位移的信息的命令，从位移检测装置62通过机器人控制器50来接收表示机器人60的各关节的位移的信息，并且计算机系统10同时指示3D传感器70对计测对象物80的3D数据进行计测，由此，从3D传感器70取得计测对象物80的3D数据。
在硬件方法中，例如，机器人控制器50从位移检测装置62取得表示机器人60的各关节的位移的信息，并且同时指示3D传感器70对计测对象物80的3D数据进行计测。表示机器人60的各关节的位移的信息从机器人控制器50被传送到计算机系统10，并且计测对象物80的3D数据从3D传感器70被传送到计算机系统10。
另外，机器人60并不限定于用于工厂自动化的产业机器人，例如也可以是用于服务业的机器人(例如，操作机器人、医疗用机器人、扫除机器人、救援机器人、安全机器人等)。
上述实施方式的一部分或全部可以如以下的附记那样记载，但并不限定于以下内容。
(附记1)
一种计测系统100，其具有：
3D传感器70，其搭载于机器人60，对表示计测对象物80的表面的各点的三维坐标的3D数据进行计测；
位移检测装置62，其对机器人60的各关节的位移进行检测；
驱动装置61，其对机器人60的各关节进行驱动，以改变3D传感器70相对于计测对象物80的相对位置关系；
传感器控制部12，其控制3D传感器70在3D传感器70相对于计测对象物80的相对位置关系不同的多个计测点90-1、90-2、…、90-N处对计测对象物80的3D数据进行计测；
同步控制部13，其通过使机器人60的动作在多个计测点90-1、90-2、…、90-N中的任意特定的计测点处停止，使得3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致；
第1配准处理部14，其根据在机器人60的停止期间3D传感器70在特定的计测点处计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移以及在机器人60的动作期间3D传感器70在特定的计测点以外的计测点处计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移，将在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据向在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据进行配准；以及
第2配准处理部15，其将在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据向在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据进行配准，使得在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据与在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据的配准误差小于阈值。
(附记2)
根据附记1记载的计测系统100，其中，
在特定的计测点以外的任意一个以上的计测点处由3D传感器70对计测对象物80的3D数据进行计测的定时与位移检测装置62对机器人60的各关节的位移进行检测的定时是不同步的。
(附记3)
根据附记1或2记载的计测系统100，其中，
同步控制部13使机器人60的动作停止的次数比多个计测点90-1、90-2、…、90-N的数量少。
(附记4)
根据附记1至3中的任意一项记载的计测系统，其中，
特定的计测点是多个计测点90-1、90-2、…、90-N中的任意一个计测点。
(附记5)
根据附记1至4中的任意一项记载的计测系统100，其中，
所述计测系统100还具有：
坐标变换部16，其将通过第1配准处理部14和第2配准处理部15对在特定的计测点以外的各计测点处计测出的计测对象物80的3D数据和在特定的计测点处计测出的计测对象物80的3D数据进行配准而得到的3D数据从3D传感器70的坐标系变换为机器人60的坐标系；以及
位置姿势估计部17，其根据由坐标变换部16进行坐标变换后的3D数据，估计计测对象物80相对于机器人60的位置及姿势。
(附记6)
一种计测装置200，其被输入从对机器人60的各关节的位移进行检测的位移检测装置62输出的表示位移的信息，并且向驱动机器人60的各关节的驱动装置61输出驱动指令，其中，
该计测装置200具有：
3D传感器70，其搭载于机器人60，对表示计测对象物80的表面的各点的三维坐标的3D数据进行计测；
驱动控制部11，其生成用于对机器人60的各关节进行驱动以改变3D传感器70相对于计测对象物80的相对位置关系的驱动指令；
传感器控制部12，其控制3D传感器70在3D传感器70相对于计测对象物80的相对位置关系不同的多个计测点90-1、90-2、…、90-N处对计测对象物80的3D数据进行计测；
同步控制部13，其通过使机器人60的动作在多个计测点90-1、90-2、…、90-N中的任意特定的计测点处停止，使得3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致；
第1配准处理部14，其根据在机器人60的停止期间3D传感器70在特定的计测点处计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移以及在机器人60的动作期间3D传感器70在特定的计测点以外的计测点处计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移，将在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据向在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据进行配准；以及
第2配准处理部15，其将在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据向在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据进行配准，使得在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据与在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据的配准误差小于阈值。
(附记7)
一种计测方法，该计测方法由计测装置200执行，该计测装置200具有3D传感器70，该3D传感器70搭载于机器人60，对表示计测对象物80的表面的各点的三维坐标的3D数据进行计测，并且该计测装置200被输入从对机器人60的各关节的位移进行检测的位移检测装置62输出的表示位移的信息，并且向驱动机器人60的各关节的驱动装置61输出驱动指令，其中，
该计测装置200执行如下的步骤：
生成用于对机器人60的各关节进行驱动以改变3D传感器70相对于计测对象物80的相对位置关系的驱动指令；
控制3D传感器70在3D传感器70相对于计测对象物80的相对位置关系不同的多个计测点90-1、90-2、…、90-N处对计测对象物80的3D数据进行计测；
通过使机器人60的动作在多个计测点90-1、90-2、…、90-N中的任意特定的计测点处停止，使得3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致；
根据在机器人60的停止期间3D传感器70在特定的计测点处计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移以及在机器人60的动作期间3D传感器70在特定的计测点以外的计测点处计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移，将在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据向在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据进行配准；以及
将在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据向在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据进行配准，使得在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据与在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据的配准误差小于阈值。
(附记8)
一种计测程序31，该计测程序31使计测装置200执行步骤，该计测装置200具有3D传感器70，该3D传感器70搭载于机器人60，对表示计测对象物80的表面的各点的三维坐标的3D数据进行计测，并且该计测装置200被输入从对机器人60的各关节的位移进行检测的位移检测装置62输出的表示位移的信息，并且向驱动机器人60的各关节的驱动装置61输出驱动指令，其中，
该计测程序31使计测装置200执行如下的步骤：
生成用于对机器人60的各关节进行驱动以改变3D传感器70相对于计测对象物80的相对位置关系的驱动指令；
控制3D传感器70在3D传感器70相对于计测对象物80的相对位置关系不同的多个计测点90-1、90-2、…、90-N处对计测对象物80的3D数据进行计测；
通过使机器人60的动作在多个计测点90-1、90-2、…、90-N中的任意特定的计测点处停止，使得3D传感器70对计测对象物80的3D数据进行计测时的机器人60的位置及姿势与位移检测装置62对机器人60的各关节的位移进行检测时的机器人60的位置及姿势一致；
根据在机器人60的停止期间3D传感器70在特定的计测点处计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移以及在机器人60的动作期间3D传感器70在特定的计测点以外的计测点处计测出计测对象物80的3D数据的时刻的机器人60的各关节的位移，将在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据向在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据进行配准；以及
将在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据向在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据进行配准，使得在机器人60的动作期间在特定的计测点以外的计测点处计测出的计测对象物80的3D数据与在机器人60的停止期间在特定的计测点处计测出的计测对象物80的3D数据的配准误差小于阈值。

Claims (8)

1.一种计测系统，该计测系统具有：
3D传感器，其搭载于机器人，对表示计测对象物的表面的各点的三维坐标的3D数据进行计测；
位移检测装置，其对所述机器人的各关节的位移进行检测；
驱动装置，其对所述机器人的各关节进行驱动，以改变所述3D传感器相对于所述计测对象物的相对位置关系；
传感器控制部，其控制所述3D传感器在所述3D传感器相对于所述计测对象物的相对位置关系不同的多个计测点处对所述计测对象物的3D数据进行计测；
同步控制部，其通过使所述机器人的动作在所述多个计测点中的任意特定的计测点处停止，使得所述3D传感器对所述计测对象物的3D数据进行计测时的所述机器人的位置及姿势与所述位移检测装置对所述机器人的各关节的位移进行检测时的所述机器人的位置及姿势一致；
第1配准处理部，其根据在所述机器人的停止期间所述3D传感器在所述特定的计测点处计测出所述计测对象物的3D数据的时刻的所述机器人的各关节的位移以及在所述机器人的动作期间所述3D传感器在所述特定的计测点以外的计测点处计测出所述计测对象物的3D数据的时刻的所述机器人的各关节的位移，将在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据向在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准；以及
第2配准处理部，其将在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据向在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准，使得在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据与在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据的配准误差小于阈值。
2.根据权利要求1所述的计测系统，其中，
在所述特定的计测点以外的任意一个以上的计测点处由所述3D传感器对所述计测对象物的3D数据进行计测的定时与所述位移检测装置对所述机器人的各关节的位移进行检测的定时不同步。
3.根据权利要求1或2所述的计测系统，其中，
所述同步控制部使所述机器人的动作停止的次数比所述多个计测点的数量少。
4.根据权利要求1或2所述的计测系统，其中，
所述特定的计测点是所述多个计测点中的任意一个计测点。
5.根据权利要求1或2所述的计测系统，其中，
所述计测系统还具有：
坐标变换部，其将通过所述第1配准处理部和所述第2配准处理部对在所述特定的计测点以外的各计测点处计测出的所述计测对象物的3D数据和在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准而得到的所述3D数据从所述3D传感器的坐标系变换为所述机器人的坐标系；以及
位置姿势估计部，其根据由所述坐标变换部进行坐标变换后的所述3D数据，估计所述计测对象物相对于所述机器人的位置及姿势。
6.一种计测装置，该计测装置被输入从对机器人的各关节的位移进行检测的位移检测装置输出的表示所述位移的信息，并且向驱动所述机器人的各关节的驱动装置输出驱动指令，其中，
该计测装置具有：
3D传感器，其搭载于所述机器人，对表示计测对象物的表面的各点的三维坐标的3D数据进行计测；
驱动控制部，其生成用于对所述机器人的各关节进行驱动以改变所述3D传感器相对于所述计测对象物的相对位置关系的所述驱动指令；
传感器控制部，其控制所述3D传感器在所述3D传感器相对于所述计测对象物的相对位置关系不同的多个计测点处对所述计测对象物的3D数据进行计测；
同步控制部，其通过使所述机器人的动作在所述多个计测点中的任意特定的计测点处停止，使得所述3D传感器对所述计测对象物的3D数据进行计测时的所述机器人的位置及姿势与所述位移检测装置对所述机器人的各关节的位移进行检测时的所述机器人的位置及姿势一致；
第1配准处理部，其根据在所述机器人的停止期间所述3D传感器在所述特定的计测点处计测出所述计测对象物的3D数据的时刻的所述机器人的各关节的位移以及在所述机器人的动作期间所述3D传感器在所述特定的计测点以外的计测点处计测出所述计测对象物的3D数据的时刻的所述机器人的各关节的位移，将在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据向在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准；以及
第2配准处理部，其将在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据向在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准，使得在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据与在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据的配准误差小于阈值。
7.一种计测方法，该计测方法由计测装置执行，该计测装置具有3D传感器，该3D传感器搭载于机器人，对表示计测对象物的表面的各点的三维坐标的3D数据进行计测，并且该计测装置被输入从对所述机器人的各关节的位移进行检测的位移检测装置输出的表示所述位移的信息，并且向驱动所述机器人的各关节的驱动装置输出驱动指令，其中，
该计测装置执行如下的步骤：
生成用于对所述机器人的各关节进行驱动以改变所述3D传感器相对于所述计测对象物的相对位置关系的所述驱动指令；
控制所述3D传感器在所述3D传感器相对于所述计测对象物的相对位置关系不同的多个计测点处对所述计测对象物的3D数据进行计测；
通过使所述机器人的动作在所述多个计测点中的任意特定的计测点处停止，使得所述3D传感器对所述计测对象物的3D数据进行计测时的所述机器人的位置及姿势与所述位移检测装置对所述机器人的各关节的位移进行检测时的所述机器人的位置及姿势一致；
根据在所述机器人的停止期间所述3D传感器在所述特定的计测点处计测出所述计测对象物的3D数据的时刻的所述机器人的各关节的位移以及在所述机器人的动作期间所述3D传感器在所述特定的计测点以外的计测点处计测出所述计测对象物的3D数据的时刻的所述机器人的各关节的位移，将在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据向在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准；以及
将在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据向在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准，使得在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据与在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据的配准误差小于阈值。
8.一种记录介质，存储有计测程序，该计测程序使计测装置执行步骤，该计测装置具有3D传感器，该3D传感器搭载于机器人，对表示计测对象物的表面的各点的三维坐标的3D数据进行计测，并且该计测装置被输入从对所述机器人的各关节的位移进行检测的位移检测装置输出的表示所述位移的信息，并且向驱动所述机器人的各关节的驱动装置输出驱动指令，其中，
该计测程序使该计测装置执行如下的步骤：
生成用于对所述机器人的各关节进行驱动以改变所述3D传感器相对于所述计测对象物的相对位置关系的所述驱动指令；
控制所述3D传感器在所述3D传感器相对于所述计测对象物的相对位置关系不同的多个计测点处对所述计测对象物的3D数据进行计测；
通过使所述机器人的动作在所述多个计测点中的任意特定的计测点处停止，使得所述3D传感器对所述计测对象物的3D数据进行计测时的所述机器人的位置及姿势与所述位移检测装置对所述机器人的各关节的位移进行检测时的所述机器人的位置及姿势一致；
根据在所述机器人的停止期间所述3D传感器在所述特定的计测点处计测出所述计测对象物的3D数据的时刻的所述机器人的各关节的位移以及在所述机器人的动作期间所述3D传感器在所述特定的计测点以外的计测点处计测出所述计测对象物的3D数据的时刻的所述机器人的各关节的位移，将在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据向在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准；以及
将在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据向在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据进行配准，使得在所述机器人的动作期间在所述特定的计测点以外的计测点处计测出的所述计测对象物的3D数据与在所述机器人的停止期间在所述特定的计测点处计测出的所述计测对象物的3D数据的配准误差小于阈值。
CN202010406289.2A 2019-05-15 2020-05-14 计测系统、计测装置、计测方法以及记录介质 Active CN111947568B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019091862 2019-05-15
JP2019-091862 2019-05-15

Publications (2)

Publication Number Publication Date
CN111947568A true CN111947568A (zh) 2020-11-17
CN111947568B CN111947568B (zh) 2021-11-02

Family

ID=70681649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010406289.2A Active CN111947568B (zh) 2019-05-15 2020-05-14 计测系统、计测装置、计测方法以及记录介质

Country Status (4)

Country Link
US (1) US11193755B2 (zh)
EP (1) EP3738725B1 (zh)
JP (1) JP7448884B2 (zh)
CN (1) CN111947568B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4245308A1 (en) 2020-11-16 2023-09-20 Human Life Cord Japan Inc. Cell preparation to be used for preventing decrease in muscle mass

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040162700A1 (en) * 1995-08-07 2004-08-19 Rosenberg Louis B. Digitizing system and rotary table for determining 3-D geometry of an object
CN101261118A (zh) * 2008-04-17 2008-09-10 天津大学 基于机器人的快速自动化三维形貌在线测量方法和系统
CN103302664A (zh) * 2012-03-08 2013-09-18 索尼公司 机器人设备、用于控制机器人设备的方法以及计算机程序
CN106514651A (zh) * 2015-09-14 2017-03-22 发那科株式会社 测量装置以及校准方法
CN107756423A (zh) * 2016-08-17 2018-03-06 发那科株式会社 机器人控制装置
CN108297096A (zh) * 2017-01-12 2018-07-20 发那科株式会社 校准装置、校准方法以及计算机能够读取的介质
US20180222049A1 (en) * 2017-02-09 2018-08-09 Canon Kabushiki Kaisha Method of controlling robot, method of teaching robot, and robot system

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4481592A (en) * 1982-03-05 1984-11-06 Texas Instruments Incorporated Calibration system for a programmable manipulator
US4879664A (en) * 1985-05-23 1989-11-07 Kabushiki Kaisha Toshiba Three-dimensional position sensor and three-dimensional position setting system
EP1803536A1 (en) 2004-08-25 2007-07-04 Kabushiki Kaisha Yaskawa Denki Robot evaluation system and evaluation method
CN102078203B (zh) 2009-11-30 2016-04-20 Ge医疗系统环球技术有限公司 超声3d扫描导向和重建方法和装置及其系统
JP5618067B2 (ja) 2010-08-23 2014-11-05 株式会社Ihi バラ積みピッキング装置および方法
JP5744587B2 (ja) 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
KR101634463B1 (ko) 2011-06-29 2016-06-28 미쓰비시덴키 가부시키가이샤 부품 공급 장치
JP2016099257A (ja) 2014-11-21 2016-05-30 キヤノン株式会社 情報処理装置及び情報処理方法
JP6415291B2 (ja) 2014-12-09 2018-10-31 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP6543170B2 (ja) 2015-11-09 2019-07-10 株式会社東芝 計測装置及び計測方法
US10792817B2 (en) 2016-04-12 2020-10-06 Optim Corporation System, method, and program for adjusting altitude of omnidirectional camera robot
JP2018161700A (ja) 2017-03-24 2018-10-18 キヤノン株式会社 情報処理装置、システム、情報処理方法、製造方法
JP6816070B2 (ja) * 2018-08-24 2021-01-20 ファナック株式会社 干渉回避装置およびロボットシステム
US20200096316A1 (en) * 2018-09-06 2020-03-26 Faro Technologies, Inc. Three-dimensional measuring device and method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040162700A1 (en) * 1995-08-07 2004-08-19 Rosenberg Louis B. Digitizing system and rotary table for determining 3-D geometry of an object
CN101261118A (zh) * 2008-04-17 2008-09-10 天津大学 基于机器人的快速自动化三维形貌在线测量方法和系统
CN103302664A (zh) * 2012-03-08 2013-09-18 索尼公司 机器人设备、用于控制机器人设备的方法以及计算机程序
CN106514651A (zh) * 2015-09-14 2017-03-22 发那科株式会社 测量装置以及校准方法
CN107756423A (zh) * 2016-08-17 2018-03-06 发那科株式会社 机器人控制装置
CN108297096A (zh) * 2017-01-12 2018-07-20 发那科株式会社 校准装置、校准方法以及计算机能够读取的介质
US20180222049A1 (en) * 2017-02-09 2018-08-09 Canon Kabushiki Kaisha Method of controlling robot, method of teaching robot, and robot system

Also Published As

Publication number Publication date
JP2020190551A (ja) 2020-11-26
US20200363186A1 (en) 2020-11-19
JP7448884B2 (ja) 2024-03-13
CN111947568B (zh) 2021-11-02
US11193755B2 (en) 2021-12-07
EP3738725A1 (en) 2020-11-18
EP3738725B1 (en) 2022-02-16

Similar Documents

Publication Publication Date Title
JP6180087B2 (ja) 情報処理装置及び情報処理方法
KR100988568B1 (ko) 로봇 및 그 지도작성방법
US11654571B2 (en) Three-dimensional data generation device and robot control system
KR20110097140A (ko) 이동 로봇의 위치 추정 장치 및 방법
CN110782496A (zh) 标定方法、装置、航拍设备和存储介质
US9824451B2 (en) Camera pose estimation
JP2010071743A (ja) 物体検出方法と物体検出装置およびロボットシステム
JP6626338B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
CN111947568B (zh) 计测系统、计测装置、计测方法以及记录介质
JP4849178B2 (ja) 移動型ロボット
JP2003136465A (ja) 検出対象物の３次元位置・姿勢決定方法とロボット用視覚センサ
Park et al. Global map generation using LiDAR and stereo camera for initial positioning of mobile robot
JP2014053018A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2001076128A (ja) 障害物検出装置及び方法
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
EP4245480A1 (en) Measuring system, measuring device, measuring method, and measuring program
JP7134413B2 (ja) 計測装置、計測方法、及び計測プログラム
JP2010146357A (ja) ３次元画像処理方法および３次元画像処理装置
Nakhaeinia et al. Adaptive robotic contour following from low accuracy RGB-D surface profiling and visual servoing
JP2011174891A (ja) 位置姿勢計測装置、位置姿勢計測方法、及びプログラム
JP2015132523A (ja) 位置姿勢計測装置、位置姿勢計測方法及びプログラム
Fabian et al. One-point visual odometry using a RGB-depth camera pair
Chiu Dual laser 3D scanner for Random Bin Picking system
JP2013254300A (ja) 画像処理方法
Nara et al. Visual feedback tracking of crane hook

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant