CN112276935A - 位置姿势确定装置、位置姿势确定方法以及位置姿势确定程序 - Google Patents

位置姿势确定装置、位置姿势确定方法以及位置姿势确定程序 Download PDF

Info

Publication number
CN112276935A
CN112276935A CN202010686462.9A CN202010686462A CN112276935A CN 112276935 A CN112276935 A CN 112276935A CN 202010686462 A CN202010686462 A CN 202010686462A CN 112276935 A CN112276935 A CN 112276935A
Authority
CN
China
Prior art keywords
data
measurement data
orientation
feature point
actual measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010686462.9A
Other languages
English (en)
Inventor
佐藤大雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Publication of CN112276935A publication Critical patent/CN112276935A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G06T3/02—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明提供位置姿势确定装置、位置姿势确定方法以及位置姿势确定程序。希望一种能够高效地确定对象物品的位置姿势的系统。位置姿势确定装置具备：实际测量数据获取部，其从三维测量机获取与工件的形状有关的实际测量数据；虚拟测量数据生成部，其根据针对工件而定义的形状数据来生成与实际测量数据对应的虚拟测量数据；滤波处理部，其根据三维测量机的测量特性来进行将虚拟测量数据进行伪转换的滤波处理；特征点提取部，其从实际测量数据以及虚拟测量数据中提取特征点数据；存储部，其存储从虚拟测量数据提取出的特征点数据作为工件的模型数据；以及位置姿势计算部，其将实际测量数据的特征点数据与将模型数据中包含的特征点数据进行坐标转换后的数据进行对照，从而计算工件的位置姿势。

Description

位置姿势确定装置、位置姿势确定方法以及位置姿势确定 程序
技术领域
本发明涉及检测对象物品的位置姿势的装置、方法以及程序。
背景技术
目前已知一种系统(例如，参照专利文献1)，将基于3D CAD数据等三维形状数据而制作出的表示对象物品形状特征的模型数据和基于三维测量机的测量结果的实际数据进行对照，由此确定对象物品的位置姿势，并相对于对象物品进行由机器人取出等的作业。
三维测量机例如获取在测量范围内包含物品表面上的三维位置信息的点群数据。另外，从三维形状数据中得到在对象物品的表面上采样了三维位置后的虚拟点群数据。从由三维测量机获取到的点群数据和虚拟点群数据这两者提取例如物品的角等具有形状特征的特征点，并通过将这些进行匹配来确定对象物品的位置姿势。
机器人预先示教了针对对象物品的作业，配合对象物品的位置姿势修正动作，由此即使在对象物品的位置姿势发生变化的环境中也可以进行作业。
专利文献
专利文献1：日本特开2017-102529号公报
通常，3D CAD数据具有对象物品的完全的三维形状信息，但是三维测量机难以获取同样的数据。例如，通过照相机拍摄三维测量机从投光器投影了模式光的图像，并根据立体测量的原理从照相机所获取的图像上的模式的位置获取测量区域内的点群数据的情况下，得到点群数据的是来自投光器的模式光，并且仅成为从照相机能看见的区域。在这种情况下，三维测量机例如不能获取在对象物品的表面上较大凹陷的部分的点群数据。
在模型数据包含通过三维测量机无法测量的部分的特征点数据的情况下，将该模型数据和基于测量结果的实际数据进行对照来确定对象物品的位置姿势的处理负荷会无用地增大。特别是在机器人系统中，由于成本及系统布局的限制等，大多由1台3D测量机构成。在这样的结构中，由于只能从面向一台三维测量机的表面获取对象物品的点群数据，因此通过模型数据和实际数据能够对应的数据变为一半以下。
另外，在通过模型数据和实际数据来匹配各数据中包含的特征点的特征量的情况下，模型数据侧的特征量有时会由于三维测量机实际未测量到的部分的影响而与实际数据侧的特征量有很大不同。因此，有可能无法正确匹配，从而无法正确地确定对象物品的位置姿势。
对此，希望能够高效率地确定对象物品的位置姿势的系统。
发明内容
作为本公开的一个方式的位置姿势确定装置具备：实际测量数据获取部，其从测量机获取与对象物品的形状有关的实际测量数据；虚拟测量数据生成部，其根据针对上述对象物品而定义的形状数据来生成与上述实际测量数据对应的虚拟测量数据；滤波处理部，其根据上述测量机的测量特性来进行将上述虚拟测量数据进行伪转换的滤波处理；特征点提取部，其从上述实际测量数据以及上述虚拟测量数据中提取特征点数据；存储部，其存储从上述虚拟测量数据提取出的特征点数据作为上述对象物品的模型数据；以及位置姿势计算部，其将上述实际测量数据的特征点数据与将上述模型数据中包含的特征点数据进行坐标转换后的数据进行对照，从而计算上述对象物品的位置姿势。
作为本公开的一个方式的位置姿势确定方法，该方法由计算机执行以下步骤：从测量机获取与对象物品的形状有关的实际测量数据的实际测量数据获取步骤；根据针对上述对象物品而定义的形状数据来生成与上述实际测量数据对应的虚拟测量数据的虚拟测量数据生成步骤；根据上述测量机的测量特性来进行将上述虚拟测量数据进行伪转换的滤波处理的滤波处理步骤；从上述实际测量数据以及上述虚拟测量数据提取特征点数据的特征点提取步骤；存储从上述虚拟测量数据中提取出的特征点数据作为上述对象物品的模型数据的存储步骤；以及将上述实际测量数据的特征点数据与将上述模型数据中包含的特征点数据进行坐标转换后的数据进行对照，从而计算上述对象物品的位置姿势的位置姿势计算步骤。
作为本公开的一个方式的位置姿势确定程序用于使计算机作为位置姿势确定装置而发挥作用。
根据一个方式，能够高效地确定对象物品的位置姿势。
附图说明
图1是表示第一实施方式的机器人系统1的结构例的图。
图2是表示第一实施方式的位置姿势确定装置的功能结构的框图。
图3是例示第一实施方式的从工件的表面上被采样的点群数据的图。
图4是说明第一实施方式的出现概率的不同的图。
图5是说明第一实施方式的可否基于工件表面的朝向进行测量的判定方法的图。
图6是表示第一实施方式的位置姿势确定装置用于和实际数据对照的模型数据的生成处理的流程图。
图7是表示第一实施方式的使用了模型数据的位置姿势的计算处理的流程图。
图8A是例示出第三实施方式的实际测量数据的距离图像的图。
图8B是例示出第三实施方式的虚拟测量数据的距离图像的图。
附图标记的说明
1：机器人系统、2：机器人、3：控制装置、4：三维测量机、5：工件、10：位置姿势确定装置、11：实际测量数据获取部、12：虚拟测量数据生成部、13：滤波处理部、14：特征点提取部、15：位置姿势计算部、16：存储部。
具体实施方式
以下，作为本发明的实施方式的例示，说明一边确定放置在工作台上的工件(对象物品)的位置姿势一边对该工件实施作业的机器人系统。
[第一实施方式]
图1表示第一实施方式的机器人系统1的结构例。
机器人系统1具备机器人2、控制装置3、三维测量机4、位置姿势确定装置10。
机器人2是由电动机驱动的多关节机器人。机器人2在根据机构部的尺寸以及结构决定的动作范围内，能够以任意的姿势将臂的前端定位在任意的位置，例如能够通过夹爪适当地把持确定了位置以及姿势的工件5。
控制装置3是经由通信电缆等通信单元与机器人2连接的计算机，控制设置在机器人2的各关节上的电动机的动作。
三维测量机4相对于工作台5设置为预定的位置关系，以使得放置在工作台上的对象物品即工件5包含在视野中。例如，三维测量机4在工件5的上方被固定设置在架台41上。
三维测量机4检测工件5的表面，并测量表面上的多个点的三维位置。
三维测量机4是通过非接触的方式检测与工件5的距离的测量机，可以采用各种类型的测量机。三维测量机4可以采用以下类型，例如使用多个照相机进行立体测量的类型、用激光扫描工件5的表面的类型、将模式光投影到工件5的类型、计算光反射到工件5的表面并返回投影器为止的时间的类型等。
另外，三维测量机4也可以根据测量到的距离生成像素值、即浓淡发生变化后的距离图像作为测量数据。
位置姿势确定装置10是经由通信线缆等通信单元与控制装置3以及三维测量机4连接的计算机。位置姿势确定装置10根据从三维测量机4获取的测量数据来确定工件5的位置姿势，并将所确定的信息提供给控制装置3。
图2是表示第一实施方式的位置姿势确定装置10的功能结构的框图。
位置姿势确定装置10具备实际测量数据获取部11、虚拟测量数据生成部12、滤波处理部13、特征点提取部14、位置姿势计算部15以及存储部16。
实际测量数据获取部11从三维测量机4获取与工件5的形状相关的实际测量数据。
虚拟测量数据生成部12根据针对工件5而定义的三维形状数据，以与实际测量数据同样的方式生成与实际测量数据对应的虚拟测量数据。
这里，实际测量数据可以是包含工件5的表面上的多个点中的三维位置信息的点群数据。在这种情况下，虚拟测量数据生成部12生成从三维形状数据中采样了表面上的位置的点群数据作为虚拟测量数据。
图3例示第一实施方式的从工件5的表面上被采样的点群数据。
从三维形状数据生成的点群数据例如可以被均匀地配置在工件5的表面上。此外，例如可以将点群紧密地配置在曲率变化量大的部分，以使得适合于例如Iterative ClosetPoint(迭代最近点)(ICP)等使用了三维点群模型的对象物品的位置姿势决定算法。
滤波处理部13根据三维测量机4的测量特性进行伪转换的滤波处理，以使虚拟测量数据接近实际测量数据。具体地说，滤波处理部13将在工件5中虚拟的各种位置姿势中三维测量机4以超过阈值的比例无法测量的部分、即与出现概率低的部分相关的数据从虚拟测量数据中排除，或者通过加权降低重要度。
各三维点的出现概率是在用三维测量机4从各种方向测量工件5时能够测量三维位置的概率，如下求出。
首先，滤波处理部13对于工件5的三维形状数据假定各种方向(例如O1～On)。例如，O1～On可以在整个方向上均匀分布。
接着，滤波处理部13对于作为虚拟测量数据而生成的点群数据的各三维点，判定在通过三维测量机4从O1～On的方向测量时是否可测量。
图4说明第一实施方式的出现概率的不同。
例如，点P1可以从O1和O2的任一个方向测量。另一方面，配置在凹陷部分的点P2可以从O1的方向测量，但是由于从O2的方向被工件5的部分S隐藏，所以无法测量。
滤波处理部13这样判定是否能够从O1～On的各个方向对各三维点进行测量，并计算各三维点的出现概率。
另外，在是否能够测量的判定中，也可以使用存在三维点的面的朝向。
例如，在三维测量机4投影模式光并用照相机拍摄反射光而获取三维点群的情况下，如果照相机的朝向和面的法线的朝向有大的差，则面向照相机的反射光变弱，因此无法通过照相机图像识别模式，无法测量该部分的三维点。
进一步，在三维形状数据中包含反射特性等的物理信息的情况下，滤波处理部13可以更准确地模拟照相机图像，并且可以判定是否可以测量三维点。
图5说明第一实施方式的可否基于工件表面的朝向进行测量的判定方法。
滤波处理部13例如由于法线N3和三维测量机4(O3)的方向所形成的角A3较小，所以判定为可测量点P3，但是由于法线N3和O3的方向所形成的角A4较大，所以判定为不可测量点P4。另外，可以通过预定阈值来判定角度的大小。
特征点提取部14从由三维测量机4测量出的测量数据和由虚拟测量数据生成部12生成并由滤波处理部13进行滤波处理的虚拟测量数据这两者提取特征点数据。从虚拟测量数据提取出的特征点数据作为工件5的模型数据被存储在存储部16中。
这里，特征点数据例如可以是点群数据本身，也可以选择一部分的三维点，并且对于这些三维点赋予Point Pair Feature(点对特征)(PPF)特征量、Signature ofHistogram of Orientation(方向直方图的签名)(SHOT)特征量等。
位置姿势计算部15将实际测量数据的特征点数据与将模型数据中包含的特征点数据进行坐标转换后的数据进行对照，计算匹配中的一致度的评价值。并且，位置姿势计算部15计算该评价值成为最大的工件5的位置姿势。位置姿势计算例如可以使用IterativeCloset Point(迭代最近点)(ICP)等方法。
此时，在由滤波处理部13对特征点数据进行加权的情况下，匹配的评价值根据一致或类似部分的加权而增减，结果是出现概率高的特征点一致或类似的位置姿势的评价值变高。
例如，在将三维点群数据直接用作模型数据的情况下，不是将与三维测量机4测量到的点群数据一致的点的数量直接作为评价值，而是通过计算评价值以使出现概率高的点的一致权重变得更大，由此位置姿势计算部15能够选择正确答案的可能性高的位置姿势。
另外，如果这样计算评价值，则例如在机器人2的作业区域内确定了多个物品的位置姿势的情况下，机器人2可以对成为位置姿势的可靠度的指标的评价值为最大的物品进行作业。
图6是表示第一实施方式的位置姿势确定装置10用于和实际数据对照的模型数据的生成处理的流程图。
这里，三维测量机4获取工件5表面上的三维位置信息的集合即点群数据作为测量数据，生成虚拟测量数据作为工件5的表面上的点群数据。
在步骤S1中，虚拟测量数据生成部12读入工件5的三维形状数据(例如3D CAD数据)。
在步骤S2中，虚拟测量数据生成部12对位于工件5的表面上的三维点进行采样，生成虚拟测量数据。
在步骤S3中，滤波处理部13对在步骤S2中生成的虚拟测量数据的各三维点进行基于三维测量机4的测量特性的滤波处理，进行取舍选择或加权。
在步骤S4中，特征点提取部14从虚拟测量数据中提取特征点数据，作为模型数据存储在存储部16中。
图7是表示第一实施方式的使用了模型数据的位置姿势的计算处理的流程图。
另外，在本处理中，通过图6的模型数据的生成处理来预先存储模型数据。
在步骤S11中，实际测量数据获取部11获取由三维测量机4测量到的工件5的实际测量数据。
在步骤S12中，特征点提取部14从所获取的实际测量数据中提取特征点数据。
在步骤S13中，位置姿势计算部15通过步骤S12中提取出的特征点数据和所存储的模型数据之间的匹配，计算位置姿势。
[第二实施方式]
在第1实施方式中，使用没有限定三维测量机4的方向的一个模型数据对工件5进行位置姿势的计算。在第二实施方式中，赋予位置姿势计算的初始值，在与该初始值对应的方向上存在三维测量机4的情况下，使用特殊化的模型数据。
在滤波处理部13的滤波处理中，在计算各个三维点的出现概率时假设的三维测量机4的多个方向可以不在整个方向上分布。例如，滤波处理部13将针对工件5的三维测量机4的方向设为与工件5的位置姿势计算的初始值对应的方向，根据来自包含该方向的附近(预定范围)的测量特性，可以判定从虚拟测量数据中排除，或者通过加权降低重要度的数据。
当通过特征点提取部14从这样实施了与三维测量机4的方向对应的滤波处理的虚拟测量数据提取特征点数据时，与该方向相对应地作为模型数据存储在存储部16中。
这里，位置姿势计算的初始值除了是由放置对象物品的环境上的限制而被限定的范围内的值以外，也可以是另外设置的简易的位置姿势计算的结果。在简单的位置姿势计算中，计算大致的位置姿势，该计算结果作为初始值被输入到位置姿势计算部15。然后，从根据所输入的位置姿势的初始值进行滤波处理后的虚拟测量数据生成模型数据，位置姿势计算部15使用所生成的该模型数据来计算位置姿势。
例如，在接下来的文献A中，通过使用Deformable Parts Model(可变形零件模型)(DPM)，可以推定大致的位置姿势。DPM用于确定图像中的物体的区域，但也用于高速粗糙的姿势的识别。
文献A：M.Zhu，K.G.Derpanis，Y.Yang，S.Brahmbhatt，M.Zhang，C.Phillips，M.Lecce，K.Daniilidis，“Single Image 3D Object Detection and Pose Estinationfor Grasping，”2014IEEE International Conference on Robotics&Automation.
另外，也可以预先生成与工件5的位置姿势的初始值对应的模型数据。例如，滤波处理部13接受多个三维测量机4相对于工件5的方向，将与各个方向对应的多个模型数据存储在存储部16中。位置姿势计算部15也可以使用与所输入的初始值最近的方向对应的模型数据来计算位置姿势。
[第三实施方式]
在第一实施方式和第二实施方式中，三维点群数据被用作实际测量数据和虚拟测量数据。在第3实施方式中，作为实际测量数据使用工件5的距离图像，虚拟测量数据也与之合并生成。
这里，距离图像表示从三维测量机4到工件5的表面上的点的距离，所以虚拟测量数据生成部12根据三维形状数据，将三维测量机4的方向作为输入，并生成作为虚拟测量数据的距离图像。
另外，由于距离图像是基于三维测量机4的方向的数据，所以在需要广泛地搜索位置姿势的情况下，虚拟测量数据生成部12根据搜索范围(例如全方向)生成基于多个方向的距离图像。在这种情况下，特征点提取部14从多个距离图像中的每一个提取特征点后，将统一了这些的一个模型数据存储在存储部16中。
另外，滤波处理部13也可以使用将已知位置姿势的虚拟测量数据作为输入并将实际测量数据作为输出的机械学习模型，将虚拟测量数据进行伪转换。
例如，当从三维测量机4获取距离图像作为实际测量数据时，为了将从包含噪声的该距离图像提取出的特征点数据与模型数据相匹配，滤波处理部13通过Convolution nalNeural Network(卷积神经网络)(CNN)将虚拟测量数据进行伪转换，使其接近实际测量数据。
图8A和图8B是比较第3实施方式中的实际测量数据和虚拟测量数据的距离图像而例示的图。
如图8A所示，在作为实际测量数据的距离图像中包含噪声，但如图8B所示，作为虚拟测量数据的距离图像中通常不包含噪声。
另外，距离图像用像素的浓淡表现出离三维测量机4的距离。在该例子中，距离越远则越浓(接近黑色)，黑色部分表示不能测量距离的区域。
这里，用于学习的数据集不需要是对象物品的数据。在三维测量机4的测量范围中将三维形状已知的物品配置在特定位置，将实际从三维测量机4获取的距离图像作为表示转换后的正确答案的训练数据。另外，将根据实际通过三维测量机4进行测量时的物品与三维测量机4的位置关系获取的虚拟测量数据作为转换前的输入数据。
并且，例如使用能够将三维形状已知的物品的位置姿势进行各种变更的工作台等，使用多个转换前的输入数据和转换后的监督数据之间的组事先进行学习，保存已学习模型。
另外，这样的机器学习的适用对象不限于距离图像。滤波处理部13也可以对第一实施方式或第二实施方式中的虚拟测量数据的点群数据进行机械学习模型的伪转换即三维位置信息的转换。
另外，作为实际测量数据的距离图像也可以转换为点群数据。在这种情况下，如果将虚拟测量数据也作为点组数据，则可以与第一实施方式或第二实施方式同样地进行处理。
根据上述实施方式，例如，可以得到以下的作用效果。
(1)位置姿势确定装置10具备：实际测量数据获取部11，其从三维测量机4获取与工件5的形状有关的实际测量数据；虚拟测量数据生成部12，其根据针对工件5而定义的形状数据来生成与实际测量数据对应的虚拟测量数据；滤波处理部13，其根据三维测量机4的测量特性进行将虚拟测量数据进行伪转换的滤波处理；特征点提取部14，其从实际测量数据以及虚拟测量数据中提取特征点数据；存储部16，其将从虚拟测量数据提取出的特征点数据作为工件5的模型数据来存储；以及位置姿势计算部15，其将实际测量数据的特征点数据与将模型数据中包含的特征点数据进行坐标转换后的数据进行对照，从而计算工件5的位置姿势。
由此，位置姿势确定装置10从虚拟测量数据中排除只能够从特定角度才能看到的不需要的数据，或者通过加权降低重要度，所以能够抑制使用了不需要的虚拟测量数据的匹配处理，能够有效地确定工件5的位置姿势。进一步，位置姿势确定装置10能够抑制不需要的数据的特征量的变动，所以结果为提高位置姿势的确定精度。
(2)在(1)中记载的位置姿势确定装置10中，滤波处理部13也可以接受三维测量机4相对于工件5的方向，根据来自包含该方向的附近的测量特性进行滤波处理。
由此，位置姿势确定装置10在三维测量机4的方向被某种程度限定的情况下，能够适当地生成在该方向特殊化的虚拟测量数据。
(3)在(2)中记载的位置姿势确定装置10中，滤波处理部13接受多个三维测量机4相对于工件5的方向，存储部16与滤波处理部13接受到的多个方向分别对应，存储通过特征点提取部14从虚拟测量数据提取出的特征点数据作为多个模型数据。
由此，位置姿势确定装置10通过预先准备多个在每个方向特殊化的模型数据，能够选择适当的模型数据来提高位置姿势的计算精度。
(4)在(3)中记载所述的位置姿势确定装置10中，位置姿势计算部15接受工件5的位置姿势计算的初始值，使用存储在存储部16中的多个模型数据中与最接近初始值的方向对应的模型数据来计算工件5的位置姿势。
使用了物品的三维形状的模型基础的方法一般在能够正确定位的同时，处理时间倾向于变长。因此，例如通过与使用了图像的外观基础的高速方法组合，能够高速地缩小位置姿势的范围，因此整体上能够实现处理的高速化。
(5)在(2)中记载的位置姿势确定装置10中，位置姿势计算部15接受工件5的位置姿势计算的初始值，使用通过将相当于初始值的三维测量机4的方向输入到滤波处理部13而得到的模型数据，计算工件5的位置姿势。
由此，位置姿势确定装置10在通过粗略的位置姿势计算等赋予了位置姿势的初始值的情况下，使用在相当于该初始值的三维测量机4的方向上特殊化的模型数据，能够高精度地确定工件5的位置姿势。
(6)在(1)至(5)中任意一个记载的位置姿势确定装置10中，实际测量数据是包含工件5表面上的多个点中的三维位置信息的点群数据，虚拟测量数据生成部12将从三维形状数据中对表面上进行了采样的点群数据作为虚拟测量数据来生成。
由此，位置姿势确定装置10能够通过使用了点群的现有的匹配方法，有效地确定工件5的位置姿势。
(7)在(6)中记载的位置姿势确定装置10中，滤波处理部13对虚拟测量数据中包含的各点进行与出现概率对应的加权，位置姿势计算部15在对照特征点数据时，可以根据加权计算一致度的评价值。
由此，位置姿势确定装置10可以高度评估出现概率高的、例如测量可能性高的突出部分的匹配，并且也可以低评估出现概率低的、例如难以测量的凹陷部分的匹配。因此，位置姿势确定装置10重视实际测量可能性高的部分，并且降低测量可能性低的部分的错误匹配造成的影响，由此能够高精度地计算位置姿势。
(8)在从(1)到(5)中任意一个记载的位置姿势确定装置10中，实际测量数据是工件5的距离图像，虚拟测量数据生成部12分别对应于三维测量机4的一个以上的方向，将从三维形状数据进行转换后的距离图像作为虚拟测量数据来生成。
由此，位置姿势确定装置10即使在从三维测量机4获取距离图像的情况下，也能够从三维形状数据生成同样的虚拟测量数据，通过特征点的匹配有效地确定工件5的位置姿势。
(9)在(6)或(8)中记载的位置姿势确定装置10中，滤波处理部13也可以使用将已知的位置姿势的虚拟测量数据作为输入并将实际测量数据作为输出的机械学习模型，将虚拟测量数据进行伪转换。
由此，与将实际测量数据修正为没有噪声的数据的一般方法相比，位置姿势确定装置10使事先生成的虚拟测量数据接近实际测量数据，由此能够降低确定位置姿势时的处理负荷。
以上对本发明的实施方式进行了说明，但本发明不限于上述实施方式。另外，本实施方式中记载的效果只不过是列举了从本发明产生的最佳效果，本发明的效果不限于本实施方式中记载的内容。
通过软件实现位置姿势确定装置10的位置姿势确定方法。如果由软件实现，则构成该软件的程序被安装在计算机上。另外，这些程序也可以被记录在可移动介质中并分发给用户，也可以通过网络下载到用户的计算机上来分发。

Claims (11)

1.一种位置姿势确定装置，其特征在于，
上述位置姿势确定装置具备：
实际测量数据获取部，其从测量机获取与对象物品的形状有关的实际测量数据；
虚拟测量数据生成部，其根据针对上述对象物品而定义的形状数据来生成与上述实际测量数据对应的虚拟测量数据；
滤波处理部，其根据上述测量机的测量特性来进行将上述虚拟测量数据进行伪转换的滤波处理；
特征点提取部，其从上述实际测量数据以及上述虚拟测量数据中提取特征点数据；
存储部，其存储从上述虚拟测量数据提取出的特征点数据作为上述对象物品的模型数据；以及
位置姿势计算部，其将上述实际测量数据的特征点数据与将上述模型数据中包含的特征点数据进行坐标转换后的数据进行对照，从而计算上述对象物品的位置姿势。
2.根据权利要求1所述的位置姿势确定装置，其特征在于，
上述滤波处理部接受上述测量机相对于上述对象物品的方向，根据来自包含该方向的附近的测量特性进行上述滤波处理。
3.根据权利要求2所述的位置姿势确定装置，其特征在于，
上述滤波处理部接受多个上述测量机相对于上述对象物品的方向，
上述存储部与上述滤波处理部接受到的多个方向分别对应，存储通过上述特征点提取部从上述虚拟测量数据提取出的特征点数据作为多个模型数据。
4.根据权利要求3所述的位置姿势确定装置，其特征在于，
上述位置姿势计算部接受上述对象物品的位置姿势计算的初始值，使用存储在上述存储部中的多个模型数据中与最接近上述初始值的方向对应的上述模型数据，计算上述对象物品的位置姿势。
5.根据权利要求2所述的位置姿势确定装置，其特征在于，
上述位置姿势计算部接受上述对象物品的位置姿势计算的初始值，使用将相当于该初始值的上述测量机的方向输入到上述滤波处理部而得到的上述模型数据，计算上述对象物品的位置姿势。
6.根据权利要求1～5中任意一项所述的位置姿势确定装置，其特征在于，
上述实际测量数据是包含上述对象物品的表面上的多个点中的三维位置信息的点群数据，
上述虚拟测量数据生成部生成从上述形状数据采样了表面上的位置的点群数据作为上述虚拟测量数据。
7.根据权利要求6所述的位置姿势确定装置，其特征在于，
上述滤波处理部对上述虚拟测量数据中包含的各点进行与出现概率对应的加权，
上述位置姿势计算部在进行上述特征点数据的对照时，根据上述加权计算一致度的评价值。
8.根据权利要求1～5中任意一项所述的位置姿势确定装置，其特征在于，
上述实际测量数据是上述对象物品的距离图像，
上述虚拟测量数据生成部与上述测量机的一个以上的方向分别对应，并生成从上述形状数据进行了转换的距离图像作为上述虚拟测量数据。
9.根据权利要求6或8所述的位置姿势确定装置，其特征在于，
上述滤波处理部使用将已知的位置姿势中的上述虚拟测量数据作为输入且将上述实际测量数据作为输出的机器学习模型，并将上述虚拟测量数据进行伪转换。
10.一种位置姿势确定方法，其特征在于，
上述位置姿势确定方法由计算机执行以下步骤：
从测量机获取与对象物品的形状有关的实际测量数据的实际测量数据获取步骤；
根据针对上述对象物品而定义的形状数据来生成与上述实际测量数据对应的虚拟测量数据的虚拟测量数据生成步骤；
根据上述测量机的测量特性来进行将上述虚拟测量数据进行伪转换的滤波处理的滤波处理步骤；
从上述实际测量数据以及上述虚拟测量数据提取特征点数据的特征点提取步骤；
存储从上述实际测量数据提取出的特征点数据作为上述对象物品的模型数据的存储步骤；以及
将上述实际测量数据的特征点数据与将上述模型数据中包含的特征点数据进行坐标转换后的数据进行对照，从而计算上述对象物品的位置姿势的位置姿势计算步骤。
11.一种计算机可读介质，其特征在于，
上述计算机可读介质记录了用于使计算机作为权利要求1～权利要求9中任意一项所述的位置姿势确定装置而发挥作用的位置姿势确定程序。
CN202010686462.9A 2019-07-22 2020-07-16 位置姿势确定装置、位置姿势确定方法以及位置姿势确定程序 Pending CN112276935A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019134696A JP7316134B2 (ja) 2019-07-22 2019-07-22 位置姿勢特定装置、位置姿勢特定方法及び位置姿勢特定プログラム
JP2019-134696 2019-07-22

Publications (1)

Publication Number Publication Date
CN112276935A true CN112276935A (zh) 2021-01-29

Family

ID=74099021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010686462.9A Pending CN112276935A (zh) 2019-07-22 2020-07-16 位置姿势确定装置、位置姿势确定方法以及位置姿势确定程序

Country Status (4)

Country Link
US (1) US11436754B2 (zh)
JP (1) JP7316134B2 (zh)
CN (1) CN112276935A (zh)
DE (1) DE102020208750A1 (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07237158A (ja) * 1993-12-28 1995-09-12 Hitachi Ltd 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム
US20050213818A1 (en) * 2003-04-28 2005-09-29 Sony Corporation Image recognition device and method, and robot device
JP2007322351A (ja) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp ３次元物体照合装置
CN101853391A (zh) * 2009-01-29 2010-10-06 索尼公司 信息处理设备和方法、程序及记录介质
CN102410832A (zh) * 2010-08-06 2012-04-11 佳能株式会社 位置姿势测量设备和位置姿势测量方法
JP2012128661A (ja) * 2010-12-15 2012-07-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2014161937A (ja) * 2013-02-22 2014-09-08 Seiko Epson Corp 姿勢検出装置、位置検出装置、ロボット、ロボットシステム、姿勢検出方法及びプログラム
CN106826809A (zh) * 2015-11-30 2017-06-13 发那科株式会社 位置姿势测量装置以及机器人系统
CN108481323A (zh) * 2018-03-14 2018-09-04 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于增强现实的机器人运动轨迹自动编程系统及方法
CN109249388A (zh) * 2017-07-14 2019-01-22 欧姆龙株式会社 运动生成方法、运动生成装置、运动生成系统及存储介质
CN109623819A (zh) * 2018-12-25 2019-04-16 哈工大机器人集团股份有限公司 一种机器人谐波传动关节实际力矩值的获取方法及装置
JP2019060695A (ja) * 2017-09-26 2019-04-18 富士ゼロックス株式会社 ３次元物体検出装置、ロボット、及びプログラム
CN109934869A (zh) * 2017-12-19 2019-06-25 欧姆龙株式会社 位置姿势推断装置、位置姿势推断方法及记录介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
JP5548482B2 (ja) * 2010-02-26 2014-07-16 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、プログラム及び記憶媒体
JP5624394B2 (ja) * 2010-07-16 2014-11-12 キヤノン株式会社 位置姿勢計測装置、その計測処理方法及びプログラム
US8165403B1 (en) * 2010-11-19 2012-04-24 Mitsubishi Electric Research Laboratories, Inc. Method and system for determining poses of specular objects
US8908913B2 (en) * 2011-12-19 2014-12-09 Mitsubishi Electric Research Laboratories, Inc. Voting-based pose estimation for 3D sensors
JP6004809B2 (ja) * 2012-03-13 2016-10-12 キヤノン株式会社 位置姿勢推定装置、情報処理装置、情報処理方法
JP6348097B2 (ja) 2015-11-30 2018-06-27 ファナック株式会社 ワーク位置姿勢算出装置およびハンドリングシステム
US11670001B2 (en) * 2019-05-17 2023-06-06 Nvidia Corporation Object pose estimation

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07237158A (ja) * 1993-12-28 1995-09-12 Hitachi Ltd 位置・姿勢検出方法及びその装置並びにフレキシブル生産システム
US20050213818A1 (en) * 2003-04-28 2005-09-29 Sony Corporation Image recognition device and method, and robot device
JP2007322351A (ja) * 2006-06-05 2007-12-13 Mitsubishi Electric Corp ３次元物体照合装置
CN101853391A (zh) * 2009-01-29 2010-10-06 索尼公司 信息处理设备和方法、程序及记录介质
CN102410832A (zh) * 2010-08-06 2012-04-11 佳能株式会社 位置姿势测量设备和位置姿势测量方法
JP2012128661A (ja) * 2010-12-15 2012-07-05 Canon Inc 情報処理装置、情報処理方法及びプログラム
JP2014161937A (ja) * 2013-02-22 2014-09-08 Seiko Epson Corp 姿勢検出装置、位置検出装置、ロボット、ロボットシステム、姿勢検出方法及びプログラム
CN106826809A (zh) * 2015-11-30 2017-06-13 发那科株式会社 位置姿势测量装置以及机器人系统
CN109249388A (zh) * 2017-07-14 2019-01-22 欧姆龙株式会社 运动生成方法、运动生成装置、运动生成系统及存储介质
JP2019060695A (ja) * 2017-09-26 2019-04-18 富士ゼロックス株式会社 ３次元物体検出装置、ロボット、及びプログラム
CN109934869A (zh) * 2017-12-19 2019-06-25 欧姆龙株式会社 位置姿势推断装置、位置姿势推断方法及记录介质
CN108481323A (zh) * 2018-03-14 2018-09-04 清华大学天津高端装备研究院洛阳先进制造产业研发基地 基于增强现实的机器人运动轨迹自动编程系统及方法
CN109623819A (zh) * 2018-12-25 2019-04-16 哈工大机器人集团股份有限公司 一种机器人谐波传动关节实际力矩值的获取方法及装置

Also Published As

Publication number Publication date
JP2021018662A (ja) 2021-02-15
DE102020208750A1 (de) 2021-01-28
JP7316134B2 (ja) 2023-07-27
US11436754B2 (en) 2022-09-06
US20210027491A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
EP3550470B1 (en) Object recognition processing apparatus and method, and object picking apparatus and method
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
JP3834297B2 (ja) 画像処理装置
US20130279756A1 (en) Computer vision based hand identification
CN109598264B (zh) 物体抓取方法及装置
WO2012023593A1 (en) Position and orientation measurement apparatus, position and orientation measurement method, and storage medium
JP5290865B2 (ja) 位置姿勢推定方法および装置
US11625842B2 (en) Image processing apparatus and image processing method
GB2512460A (en) Position and orientation measuring apparatus, information processing apparatus and information processing method
JP5297727B2 (ja) ロボット装置及び物体の位置姿勢推定方法
Tran et al. Non-contact gap and flush measurement using monocular structured multi-line light vision for vehicle assembly
CN110176075B (zh) 通过视觉系统同时考虑图像特征中边缘和法线的系统和方法
JP2016170050A (ja) 位置姿勢計測装置、位置姿勢計測方法及びコンピュータプログラム
US10810761B2 (en) Position and orientation estimation apparatus, position and orientation estimation method, and program
CN111354029B (zh) 手势深度确定方法、装置、设备及存储介质
JP2018195070A (ja) 情報処理装置、情報処理方法、及びプログラム
CN112276935A (zh) 位置姿势确定装置、位置姿势确定方法以及位置姿势确定程序
JP3516668B2 (ja) ３次元形状認識方法、装置およびプログラム
CN111368675B (zh) 手势深度信息的处理方法、装置、设备及存储介质
CN111742349B (zh) 信息处理装置、信息处理方法以及信息处理存储介质
JP7117878B2 (ja) 処理装置、及びプログラム
CN112347837A (zh) 图像处理系统
JP6766229B2 (ja) 位置姿勢計測装置及び方法
US20230386075A1 (en) Method, System, And Computer Program For Recognizing Position And Posture Of Object
US11348280B2 (en) Method and computer readable medium for pose estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination