CN109934869B - 位置姿势推断装置、位置姿势推断方法及记录介质 - Google Patents

Abstract

本发明提供位置姿势推断装置、位置姿势推断方法及记录介质，其在使用3D数据和2D图像两者的信息的同时，能够比现有更为提高物体的位置姿势的推断精度。三维详细位置姿势推断装置(140)具备进行三维位置姿势推断的第一位置姿势推断部(145)及第二位置姿势推断部(146)。第一位置姿势推断部(145)使用3D数据对六参数(平移x、y、z及旋转Φ、γ、θ)进行最优化，另一方面，第二位置姿势推断部(146)基于第一位置姿势推断部(145)中使用3D数据的三维位置姿势推断的结果，仅对能以2D图像高精度地推断的三参数(平移x、y及旋转θ)进行最优化。

Description

位置姿势推断装置、位置姿势推断方法及记录介质

技术领域

本发明涉及推断物体的位置及姿势的位置姿势推断装置、位置姿势推断方法及程序。

背景技术

随着近年来的机器人技术的飞跃发展，通过机器人使由人工进行的组装、加工等作业自动化的对策不断增加。在通过机器人使组装、加工自动化时，有时需要对零部件、输送物等机器人把持的物体(以下，也称为“工件”。)的位置及姿势(以下，也称为“位置姿势”。)进行推断。目前，为了推断工件的位置姿势，通过照相机对工件进行拍摄并基于得到的图像(二维图像。以下，也称为“2D图像”。)推断工件的位置姿势的各种方法被提出。

专利文献1中公开了一种在推断三维形状已知的工件的位置姿势时，将由距离传感器计测得到的工件表面的三维坐标数据(3D数据)和由照相机拍摄到的图像(2D图像)的信息汇总为一个误差函数，并对六个参数(具体地，沿x、y、z轴的三个平移参数和绕x、y、z轴的三个旋转参数)进行最优化，从而推断对3D数据和2D图像两者拟合最好的工件的位置姿势的方法。需要注意的是，以下为了便于说明，将沿x、y、z轴的三个平移参数分别称为平移x、y、z，将绕x、y、z轴的三个旋转参数分别称为旋转Φ、γ、θ。

专利文献1：日本特许第5393318号

但是，一般地，2D图像难以显现物体大小的变化、即照相机的进深方向的变化，因此如果使用2D图像来推断工件的位置姿势，则作为照相机的进深方向的参数的平移z和旋转Φ及旋转γ的推断精度变低。因此，在如专利文献1那样还使用2D图像来推断包括照相机的进深方向的工件的位置姿势的方法的情况下，存在所推断的位置姿势在照相机的进深方向的推断精度低的问题。

发明内容

本发明鉴于以上说明的问题而提出，其目的在于提供与现有相比能够提高对于照相机的进深方向的物体的位置姿势的推断精度的位置姿势推断装置等。

本发明的一方面所涉及的位置姿势推断装置其要点在于，是推断物体的位置姿势的推断装置，并具备：第一获取部，获取物体的二维图像；第二获取部，获取表示物体的三维形状的三维模型；第三获取部，获取表示对物体推断出的更新前的位置姿势的位置姿势信息；第二位置姿势推断部，使用三维模型和二维图像，针对二维图像平面上的不同的两个轴、即x轴和y轴方向各自的平移以及以与该x轴和y轴正交的z轴为中心的旋转，对位置姿势信息进行更新；以及输出部，将由更新后的位置姿势信息表示的位置姿势作为物体的位置姿势而输出。

根据这样的结构，第二位置姿势推断部在接收到表示对物体推断出的更新前的位置姿势的位置姿势信息时，仅对能够以二维图像高精度地推断的x轴及y轴方向各自的平移(即平移x、y)和以与x轴及y轴正交的z轴为中心的旋转(即，旋转θ)进行最优化。

由此，能够将使用二维图像的三维位置姿势推断的缺点、即无法高精度地对照相机的进深方向的位置(即，平移z)和旋转(即，旋转Φ及旋转γ)这三参数进行推断的现有方法的问题防范于未然，与现有相比，能够提高对照相机的进深方向的物体的位置姿势的推断精度。

在上述结构中，也可以是以下方式：第二位置姿势推断部具备：二维模型生成部，生成基于位置姿势信息将三维模型投影到与二维图像共同的平面而得的二维模型；最优化部，通过进行二维图像和二维模型的对位，从而对x轴和y轴方向各自的平移参数以及以z轴为中心的旋转参数进行最优化；以及更新部，使用经最优化的三个参数，对位置姿势信息进行更新。

在上述结构中，也可以是以下方式：还具备：第四获取部，获取表示对物体计测得到的物体表面的三维坐标的三维坐标数据；以及第一位置姿势推断部，通过使用三维模型和三维坐标数据进行对位来更新位置姿势信息，由第三获取部获取到的位置姿势信息被输入第一位置姿势推断部，经第一位置姿势推断部更新后的位置姿势信息被传送到第二位置姿势推断部。

在上述结构中，也可以是以下方式：还具备：第四获取部，获取表示对物体计测得到的物体表面的三维坐标的三维坐标数据；以及第一位置姿势推断部，通过使用三维模型和三维坐标数据进行对位来更新位置姿势信息，经第二位置姿势推断部更新后的位置姿势信息被输入第一位置姿势推断部，经第一位置姿势推断部更新后的位置姿势信息被传送到输出部。

在上述结构中，也可以是以下方式：还具备：第四获取部，获取表示对物体计测得到的物体表面的三维坐标的三维坐标数据；以及第一位置姿势推断部，通过使用三维模型和三维坐标数据进行对位来更新位置姿势信息，由第三获取部获取到的位置姿势信息被分别传送到第一及第二位置姿势推断部，经第一及第二位置姿势推断部分别更新后的位置姿势信息被传送到所述输出部，输出部基于经第一及第二位置姿势推断部更新后的各位置姿势信息输出物体的位置姿势。

在上述结构中，也可以是以下方式：第一位置姿势推断部在进行对位时，以使与三维坐标数据的各点对应的三维模型的各点接近对应的三维坐标数据的各点的方式，对x轴、y轴和z轴方向各自的平移参数以及以x轴、y轴和z轴为中心的各旋转参数进行最优化，并使用经最优化的六个参数，对位置姿势信息进行更新。

在上述结构中，也可以是以下方式：第一位置姿势推断部在进行对位时，以使与三维坐标数据的各点对应的三维模型的各点接近对应的三维坐标数据的各点的方式，对z轴方向的平移参数以及以x轴和y轴为中心的各旋转参数进行最优化，并使用经最优化的三个参数，对位置姿势信息进行更新。

本发明也可以作为位置姿势推断方法、以及存储有用于使计算机推断物体的位置姿势的程序的记录介质而实现。

根据本发明，能够在使用3D数据和2D图像两者的信息的同时，比现有更为提高工件的位置姿势的推断精度。

附图说明

图1是示出物体识别装置的整体结构的图。

图2是示出物体识别装置的硬件结构的图。

图3是示出图像处理装置的结构的图。

图4是示出第一对位处理的流程图。

图5是示出第二对位处理的流程图。

图6是例示了工件的位置姿势的图。

附图标记说明：

1物体识别装置                2工件

3托盘                        4 PLC

10图像处理装置               11 3D传感器

11a照相机                    12显示器

13鼠标                       14存储卡

120模板创建装置              130三维粗略位置姿势识别装置

140三维详细位置姿势推断装置  141图像获取部

142 3D模型获取部             143更新前位置姿势获取部

144照相机参数获取部          145第一位置姿势推断部

146第二位置姿势推断部        147三维对位结果输出部。

具体实施方式

下面，参照附图，对本发明的实施方式进行详细说明。

A.本实施方式

A-1.应用例

参照图1，对应用本发明的场景的一例进行说明。

物体识别装置1是设置于具备拣选系统的生产线等上，使用从照相机11a取入的图像，通过模板匹配来识别托盘3上的物体2的位置/姿势(三维的物体识别)的系统。在托盘3上零散地堆积着识别对象的物体(即，工件)2。物体识别装置1以规定的时间间隔从照相机11a取入图像，通过图像处理装置10执行识别图像中包含的各工件2的位置及姿势的处理，并将其结果输出到例如PLC(可编程逻辑控制器)4、显示器12等。作为物体识别装置1的输出的识别结果例如被用于拣取机器人的控制、加工装置或打印装置的控制、工件2的检查或计测等。

A-2.硬件结构

参照图2，对物体识别装置1的硬件结构进行说明。物体识别装置1大致由3D传感器11和图像处理装置10构成。

3D传感器11是用于对工件2进行三维计测的传感器，具备照相机11a。照相机11a是用于将工件2的数字图像取入图像处理装置10的拍摄设备，例如能够优选使用CMOS(Complementary Metal-Oxide-Semiconductor：互补金属氧化物半导体)照相机、CCD(Charge-Coupled Device：电荷耦合器件)照相机。分辨率、彩色/单色、静止图像/动画、灰度、数据格式等输入图像的格式是任意的，能够根据工件2的种类、传感目的适当选择。在将X射线图像、热像等可见光像之外的特殊图像用于物体识别、检查的情况下，也可以使用与该图像匹配的照相机。

图像处理装置10包括CPU(中央运算处理装置)10a、作为工作存储器使用的主存储器10b、作为固定存储部的硬盘10e、照相机接口10c、输入接口10f、显示控制器10g、PLC接口10h、通信接口10i、数据读写器10j。这些各部经由总线10k以能够互相进行数据通信的方式连接。

照相机接口10c是对CPU10a和照相机11a之间的数据传输进行中介的部分，也可以具有用于临时储存来自照相机11a的图像数据的图像缓存10d。输入接口10f对CPU10a和输入部之间的数据传输进行中介。输入部也可以包括鼠标13、键盘、触摸面板、点动控制器等。显示控制器10g与液晶监视器等显示器12连接，控制该显示器中的显示。PLC接口10h对CPU10a和PLC4之间的数据传输进行中介。通信接口10i对CPU10a和控制台、或者个人计算机、服务器装置等之间的数据传输进行中介。数据读写器10j对CPU10a和作为记录介质的存储卡14之间的数据传输进行中介。

图像处理装置10可以由具有通用架构的计算机构成，CPU10a通过读入硬盘10e或存储卡14中存储的程序而执行各种处理。这样的程序以存储在存储卡14、光盘等计算机可读记录介质中的状态而流通、或者通过互联网等提供。需要注意的是，本实施方式所涉及的程序既可以作为单独的应用程序提供，也可以作为嵌入其它程序的一部分的模块而提供。此外，也可以通过ASIC等专用电路来执行通过该程序执行的处理的一部分或全部。

A-3.图像处理装置的结构

图3示出了图像处理装置10的结构。图像处理装置10通过CPU10a读入并执行存储在硬盘10e等中的程序而作为模板创建装置120、三维粗略位置姿势识别装置130、三维详细位置姿势推断装置140进行动作。

模板创建装置120

模板创建装置120创建表示工件2的物体的轮廓的特征、内部凹凸形状的特征的模板。详细地说，模板创建装置120使用对象物体2的3DCAD或从3D传感器11获取到的3D数据，生成从各种视角观察到的工件2的2D图像。此外，模板创建装置120基于生成的亮度图像及距离图像，创建多个模板。模板创建装置120将创建的多个模板作为模板信息提供给三维粗略位置姿势识别装置130及三维详细位置姿势推断装置140。需要注意的是，模板(即，3D模型)能够使用任意的形式，例如作为模板，能够使用描述了图像中的多个特征点的特征量的排列形式。作为特征量，例如除了像素值(亮度)、亮度梯度方向、量化梯度方向、Hog(Histograms of Oriented Gradients：方向梯度直方图)、HAAR-Like、SIFT(Scale-Invariant Feature Transform：尺度不变特征转换)之外，还能够使用作为利用了距离图像的特征量的法线方向、法线方向分布等。

三维粗略位置姿势识别装置130

三维粗略位置姿势识别装置130对于从3D传感器11的照相机11a取入的2D图像及3D数据，使用从模板创建装置120提供的模板信息进行模板匹配，识别图像中的三维物体(即，工件2)的位置姿势。详细地说，三维粗略位置姿势识别装置130首先从3D传感器11取入工件2的输入图像，并根据取入的输入图像(原始图像)创建具有不同分辨率的图像的集合(所谓的图像金字塔)。三维粗略位置姿势识别装置130通过对创建的图像金字塔实施特征提取处理，从而提取工件2的输入图像的特征量。这里，提取的特征量是与模板的特征量相同种类的特征，例如可列举像素值等。三维粗略位置姿势识别装置130使用提取出的工件2的输入图像的特征量和从模板创建装置120提供的工件2的模板信息进行模板匹配。三维粗略位置姿势识别装置130通过模板匹配识别3D模型的粗略的位置姿势，并将识别结果作为表示3D模型的更新前的位置姿势的更新前位置姿势信息提供给三维详细位置姿势推断装置140。

三维详细位置姿势推断装置140

三维详细位置姿势推断装置140利用从模板创建装置120提供的模板信息及从三维粗略位置姿势识别装置130提供的更新前位置姿势信息进行工件2的三维位置姿势的推断。三维详细位置姿势推断装置140具备图像获取部141、3D模型获取部142、更新前位置姿势获取部143、照相机参数获取部144、第一位置姿势推断部145、第二位置姿势推断部146、三维对位结果输出部147。

三维详细位置姿势推断装置140在第一位置姿势推断部145中进行使用3D数据的三维位置姿势推断，另一方面，在第二位置姿势推断部146中进行使用2D图像的三维位置姿势推断。这里，第二位置姿势推断部146在基于第一位置姿势推断部145中使用3D数据的三维位置姿势推断的结果，仅对能够以2D图像高精度地推断的平移x、y和旋转θ这三个参数进行最优化这一点上具有一个特征(详细后述)。以下，对各部进行说明。

图像获取部(第一获取部、第四获取部)141从3D传感器11获取工件2的3D数据(三维坐标数据)、2D图像。图像获取部141将获取到的3D数据输出到第一位置姿势推断部145，并将获取到的2D图像输出到第二位置姿势推断部146。

3D模型获取部(第二获取部)142从模板创建装置120获取到表示3D模型的模板信息时，将获取到的模板信息作为3D模型数据输出到第一位置姿势推断部145及第二位置姿势推断部146。

更新前位置姿势获取部(第三获取部)143获取表示在三维粗略位置姿势识别装置130中识别出的3D模型的粗略位置姿势的更新前位置姿势信息，并将获取到的更新前位置姿势信息输出到第一位置姿势推断部145。需要说明的是，更新前位置姿势信息通过包括三个平移参数(x、y、z)和绕x轴、y轴、z轴的三个旋转参数(Φ、γ、θ)的六个参数(x、y、z、Φ、γ、θ)来表现。

照相机参数获取部144从主存储器112等获取3D传感器11生成工件2的3D数据、2D图像时所利用的照相机11a的内部参数，并将获取到的内部参数输出到第一位置姿势推断部145及第二位置姿势推断部146。作为内部参数，例如可列举照相机11a的焦距、照相机11a的中心位置等。

第一位置姿势推断部145与从照相机参数获取部144提供的照相机11a的内部参数一道地利用从更新前位置姿势获取部143提供的3D模型的更新前位置姿势信息、从3D模型获取部142提供的3D模型数据、从图像获取部141提供的3D数据，进行3D模型数据的3D点群和3D数据的3D点群的对位(以下，称为“第一对位处理”；详细后述)。需要注意的是，在本实施方式中，在进行第一对位处理时，作为用于进行3D点群彼此的对位的方法，设想使用ICP(Iterative Closest Point：迭代最近点)算法的情况，但也可以使用其它方法。第一位置姿势推断部145通过进行第一对位处理，更新3D模型的位置姿势，并将表示更新后的3D模型的位置姿势的更新3D模型数据(第一位置姿势信息)输出到第二位置姿势推断部146。

第二位置姿势推断部146与从照相机参数获取部144提供的照相机11a的内部参数一道地利用从第一位置姿势推断部145提供的更新3D模型数据、从图像获取部141提供的2D图像，进行在2D图像平面的平移x、y和旋转θ的对位(以下，称为“第二对位处理”；详细后述)。第二位置姿势推断部146通过进行第二对位，对3D模型的位置姿势进行最终更新。此外，第二位置姿势推断部146将表示最终更新后的3D模型的位置姿势的最终更新3D模型数据(第二位置姿势信息)输出到三维对位结果输出部147。

三维对位结果输出部(输出部147)将从第二位置姿势推断部146提供的最终更新3D模型数据输出到外部装置、液晶面板等。最终更新3D模型数据例如除了被用于工件的检查/计测之外，还用于工件的定位、组装、拣取机器人的控制等。

A-4.第一对位处理

下面，对通过第一位置姿势推断部145执行的第一对位处理进行说明。图4是示出第一对位处理的流程图。

第一位置姿势推断部145使用3D模型数据和3D数据，进行对应点搜索(步骤S100)。对应点搜索意指，在3D空间上，关于3D模型的各点(即，3D坐标)，搜索最近邻的3D数据的各点(即，3D坐标)的处理。作为代表性的对应点搜索方法，已知下述的第一及第二方法，由于第二方法与第一方法相比搜索范围更小，能够高速地进行处理，因此本实施方式中采用第二方法。

第一方法

在3D空间上直接对3D模型的各点搜索最近邻的3D数据的各点的方法。

第二方法

使用照相机11a的内部参数，将3D模型的各点投影到与3D数据相同的2D图像平面，对于在2D图像平面上被投影的3D模型的各点，从近距离的3D数据的各点开始搜索最近邻的3D数据的各点的方法。

第一位置姿势推断部145使用“点与点的距离”、“点与面的距离”等误差测度(将差异定量化)算出通过上述对应点搜索找到的3D模型的各点和3D数据的各点的对(以下，也称为“对应点对”。)之间的误差。此外，第一位置姿势推断部145以使目标函数(误差函数)最小化的方式，求出用于使3D模型的各点接近对应的3D数据的各点的六参数的差分(Δx、Δy、Δz、ΔΦ、Δγ、Δθ)。此外，第一位置姿势推断部145通过使用求出的六参数的差分(Δx、Δy、Δz、ΔΦ、Δγ、Δθ)更新六参数，求出最优化的六参数(x+Δx、y+Δy、z+Δz、Φ+ΔΦ、γ+Δγ、θ+Δθ)(步骤S110)。

第一位置姿势推断部145使用最优化的六参数，更新3D模型的更新前的位置姿势(步骤S120)。即，第一位置姿势推断部145基于从更新前位置姿势获取部143获取到的更新前位置姿势信息，掌握3D模型的更新前的位置姿势，并使用最优化的六参数更新所掌握的3D模型的更新前的位置姿势。

第一位置姿势推断部145在更新了3D模型的更新前的位置姿势时，判定3D模型是否以充分接近3D数据的状态完成了对位(以下，也称为“收敛判定”。)(步骤S130)。关于收敛判定的方法列举一例，第一位置姿势推断部145比较3D模型的3D点群的上次的位置姿势Pose(n–1)和本次的位置姿势Pose(n)，求出位置姿势的更新幅度Lup，并确认求出的位置姿势的更新幅度Lup是否低于设定的收敛阈值Dth。第一位置姿势推断部145在求出的位置姿势的更新幅度Lup低于设定的收敛阈值Dth的情况下，判断为3D模型的3D点群以充分接近3D数据的点群的状态完成了对位，另一方面，在求出的位置姿势的更新幅度Lup超过设定的收敛阈值Dth的情况下，判断为3D模型的3D点群尚未充分接近3D数据的点群。

如果第一位置姿势推断部145判断为3D模型的3D点群尚未充分接近3D数据的3D点群(步骤S130；否)，则返回到步骤S100，重复执行步骤S100→步骤S110→步骤S130这一连串处理。

另一方面，第一位置姿势推断部145在判断为3D模型的3D点群以充分接近3D数据的3D点群的状态完成了对位(步骤S130；是)时，将表示更新后的3D模型的位置姿势的更新3D模型数据输出到第二位置姿势推断部146，结束以上说明的第一对位处理。

需要说明的是，也有可能出现即使将步骤S100→步骤S110→步骤S120→步骤S130这一连串处理反复执行了规定次数，位置姿势的更新幅度Lup依然不低于收敛阈值Dth的情况。为了应对这种情况，例如也可以事先对步骤S100→步骤S110→步骤S120→步骤S130这一连串处理的重复次数设定上限次数N(N≥1)，在这一连串处理的重复次数达到上限次数N的情况下，强制结束第一对位处理。

A-5.第二对位处理

下面，对通过第二位置姿势推断部146执行的第二对位处理进行说明。图5是示出第二对位处理的流程图。

第二位置姿势推断部(二维模型生成部)146例如使用通过第一位置姿势推断部145进行的3D模型的对位的位置姿势、3D模型数据和照相机11a的内部参数，将3D模型投影到2D图像平面，并算出2D图像的轮廓的梯度特征量，从而生成2D模型(步骤S200)。需要注意的是，在本实施方式中，在进行计测处理时在线生成了2D模型，但也可以通过创建3D模板的离线处理生成2D模型。如此，在通过离线处理事先生成了2D模型的情况下，从已生成的多个2D模型中选择最接近当前时间点的姿势的2D模型，使用选定的2D模型进行对位(后述)。

第二位置姿势推断部146在生成了2D模型时，使用2D模型数据和2D图像进行对应点搜索(步骤S210)。具体地，第二位置姿势推断部146通过与2D模型的生成同样的方法，算出2D图像的梯度特征。此外，第二位置姿势推断部146将2D模型的梯度特征和对应的2D图像上的像素(即，2D图像的梯度特征)作为对应点而导出。

第二位置姿势推断部(最优化部)146基于2D图像上的对应点，在2D图像平面上进行2D图像和2D模型的对位，从而对2D图像上的平移x、y[单位：pixel]和旋转θ这三参数进行最优化(步骤S220)。第二位置姿势推断部146将在2D图像最优化后的2D空间的三参数(平移x、y，[单位：pixel]，旋转θ)转换为3D空间的三参数(平移x、y，[单位：mm]，旋转θ)(步骤S230)。具体地，在上述的2D模型生成时，能够算出与2D模型的各2D坐标[pixel]对应的3D模型的3D坐标[mm]，因此第二位置姿势推断部146通过使用“使用最优化后的2D空间的三参数更新2D模型的位置姿势后的2D坐标”与“3D模型的3D坐标”的对应关系和照相机11a的内部参数求解PnP问题，从而将2D空间的位置姿势转换为3D空间的位置姿势(步骤S230)。

第二位置姿势推断部(更新部)146使用转换后的3D空间的三参数(平移x、y，[单位：mm]，旋转θ)，进一步更新由第一位置姿势推断部145更新后的3D模型的位置姿势(以下，也称为“更新后的3D模型的位置姿势”。)(步骤S240)。即，第二位置姿势推断部146首先根据从第一位置姿势推断部145获取到的更新3D模型数据掌握3D模型的位置姿势。然后，第二位置姿势推断部146使用转换后的3D空间的三参数(平移x、y，[单位：mm]，旋转θ)，进一步更新更新后的3D模型的位置姿势。之后，第二位置姿势推断部146通过与步骤S130所示的第一位置姿势推断部145的收敛判定同样的方法，进行收敛判定(步骤S250)。

如果第二位置姿势推断部146在收敛判定中由于位置姿势的更新幅度Lup超过了收敛阈值Dth而判断为3D模型的3D点群尚未充分接近3D数据的3D点群(步骤S250；否)，则返回到步骤S200，重复执行步骤S200→步骤S210→步骤S220→步骤S230→步骤S240→步骤S250这一连串处理。

另一方面，第二位置姿势推断部146如果在收敛判定中由于位置姿势的更新幅度Lup低于收敛阈值Dth而判断为3D模型的3D点群充分接近了3D数据的3D点群(步骤S250；是)，则将表示最终更新后的3D模型的位置姿势的最终更新3D模型数据输出到三维对位结果输出部147(步骤S260)，结束以上说明的第二对位处理。需要说明的是，在步骤S260中，第二位置姿势推断部146也可以与最终更新3D模型数据一同地将为了得到最终更新后的3D模型的位置姿势而在步骤S240中导出的位置姿势的六参数作为最优参数信息输出到三维对位结果输出部147。

A-6.比较例

图6是例示了工件的位置姿势的图，α示出了通过三维粗略位置姿势识别装置130识别的工件的位置姿势1，β示出了基于位置姿势1，使用3D数据进行了三维位置姿势推断(3D)时的工件的位置姿势2，γ示出了基于位置姿势2，进一步使用2D图像进行了三维位置姿势推断(3D+2D)时的工件的位置姿势3。

通过三维粗略位置姿势识别装置130识别的工件的位置姿势虽然在X方向及Y方向上一致，但在Z方向上产生了偏差(参照图6的α所示的位置姿势1)。

在基于位置姿势1，仅使用3D数据进行了三维位置姿势推断时，虽然Z方向上一致，但在X方向及Y方向上产生了偏差(参照图6的β所示的位置姿势2)。

关于这一点，在使用3D数据进行了三维位置姿势推断后，如果基于位置姿势2，进一步使用2D图像进行三维位置姿势推断，则X方向、Y方向及Z方向上均不产生偏差，可见能够高精度地检测位置姿势(参照图6的γ所示的位置姿势3)。

如以上说明的那样，根据本实施方式，第一位置姿势推断部145使用3D数据对六参数(即，平移x、y、z及旋转Φ、γ、θ)进行最优化，另一方面，第二位置姿势推断部146基于第一位置姿势推断部145中使用3D数据的三维位置姿势推断的结果，仅对能够通过2D图像高精度地推断的三参数(即，平移x、y及旋转θ)进行最优化。如此，通过仅对能够以2D图像高精度地推断的平移x、y及旋转θ这三参数进行最优化，能够将使用2D图像的三维位置姿势推断的缺点、即无法高精度地对照相机的进深方向的位置(平移z)和旋转(旋转Φ及旋转γ)这三参数进行推断的问题防范于未然，与将3D数据和2D图像的信息汇总为一个数学公式来对六参数进行最优化的现有的三维位置姿势推断方法相比，能够高精度地进行三维位置推断。

此外，关于最优化，与上述现有的三维位置姿势推断方法相比，能够使处理高速化。即，在现有方法中，有必要将3D数据和2D图像的信息汇总为一个数学公式来求解复杂的非线性最优化问题，与此相对，在本实施方式中，只需求解使用3D数据的六参数的最优化和使用2D图像的三参数的最优化这两次线性最优化问题即可，不需要求解复杂的非线性最优化问题，与此相应地，能够使处理高速化。

B.变形例

上述的本实施方式只不过是用于说明本发明的示例而已，只要不脱离其主旨，能够进行各种变形。

例如，关于使用3D数据的三维位置姿势推断(以下，“3D推断”)和使用2D图像的三维位置推断(以下，“2D推断”)的组合，可以考虑各种变形。在本实施方式中，例示了在3D推断后进行2D推断的方式，但也可以在2D推断后进行3D推断，此外，还可以并列进行3D推断和2D推断。例如，在2D推断后进行3D推断的情况下，只要使之为经第二位置姿势推断部146更新后的位置姿势信息输入第一位置姿势推断部145，并且经第一位置姿势推断部145更新后的位置姿势信息被输出到三维对位结果输出部147的结构即可。另一方面，在并列进行3D推断和2D推断的情况下，只要构成为由更新前位置姿势获取部143获取到的位置姿势信息被提供给第一位置姿势推断部145及第二位置姿势推断部146，并且经第一位置姿势推断部145及第二位置姿势推断部146分别更新后的位置姿势信息被提供给三维对位结果输出部147，三维对位结果输出部147基于经第一位置姿势推断部145及第二位置姿势推断部146更新后的各位置姿势信息输出物体的位置姿势即可。

需要说明的是，在本实施方式中，在3D推断中对六参数(平移x、y、z及旋转Φ、γ、θ)进行了最优化，但并非旨在限定于此。例如，由于在2D推断中最优化的是平移x、y和旋转θ这三参数，因此也可以在3D推断中对剩余的三参数(即，平移z及旋转Φ、γ)进行最优化。具体地，第一位置姿势推断部145以使目标函数(误差函数)最小化的方式，对用于使3D模型的各点接近对应的3D数据的各点的三参数(即，平移z及旋转Φ、γ)进行最优化即可。

C.其它

在本说明书中，“部”的意思并非单纯地指物理性构成，也包括通过软件实现该“部”执行的处理的情况。此外，既可以通过两个以上的物理性构成、装置实现一个“部”、装置执行的处理，也可以通过一个物理性单元、装置实现两个以上的“部”、装置执行的处理。

在本说明书中，上述各处理中的步骤在处理内容不产生矛盾的范围内能够任意变更顺序、或并列地执行。

实施本说明书中说明的各处理的程序也可以存储在记录介质中。若使用该记录介质，则能够将上述程序安装于构成图像处理装置10的各装置。这里，存储上述程序的记录介质也可以是非暂时性的记录介质。非暂时性的记录介质并不特别限定，例如也可以是CD-ROM等记录介质。

附录1

一种位置姿势推断装置，推断物体的位置姿势，具备：

第一获取部(141)，获取所述物体的二维图像；

第二获取部(142)，获取表示所述物体的三维形状的三维模型；

第三获取部(143)，获取表示对所述物体推断出的更新前的位置姿势的位置姿势信息；

第二位置姿势推断部(146)，使用所述三维模型和所述二维图像，针对二维图像平面上的不同的两个轴、即x轴和y轴的方向各自的平移以及以与所述x轴和所述y轴正交的z轴为中心的旋转，对所述位置姿势信息进行更新；以及

输出部(147)，将由更新后的所述位置姿势信息表示的位置姿势作为所述物体的位置姿势而输出。

附录2

根据附录1中记载的位置姿势推断装置，其中，

所述第二位置姿势推断部(146)具备：

二维模型生成部(步骤S200)，生成基于所述位置姿势信息将所述三维模型投影到与所述二维图像共同的平面而得的二维模型；

最优化部(步骤S220)，通过进行所述二维图像和所述二维模型的对位，从而对所述x轴和所述y轴的方向各自的平移参数以及以所述z轴为中心的旋转参数进行最优化；以及

更新部(步骤S240)，使用经最优化的三个参数，对所述位置姿势信息进行更新。

附录3

根据附录1或2中记载的位置姿势推断装置，还具备：

第四获取部(141)，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及

第一位置姿势推断部(145)，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，

由所述第三获取部获取到的位置姿势信息被输入所述第一位置姿势推断部，经所述第一位置姿势推断部更新后的位置姿势信息被传送到所述第二位置姿势推断部。

附录4

根据附录1或2中记载的位置姿势推断装置，还具备：

第四获取部(141)，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及

第一位置姿势推断部(145)，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，

经所述第二位置姿势推断部更新后的位置姿势信息被输入所述第一位置姿势推断部，经所述第一位置姿势推断部更新后的位置姿势信息被传送到所述输出部。

附录5

根据附录1或2中记载的位置姿势推断装置，还具备：

第四获取部(141)，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及

第一位置姿势推断部(145)，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，

由所述第三获取部获取到的位置姿势信息被分别传送到所述第一位置姿势推断部和所述第二位置姿势推断部，经所述第一位置姿势推断部和所述第二位置姿势推断部分别更新后的位置姿势信息被传送到所述输出部，

所述输出部基于经所述第一位置姿势推断部和所述第二位置姿势推断部更新后的各位置姿势信息输出所述物体的位置姿势。

附录6

根据附录3至5中任一附录中记载的位置姿势推断装置，其中，

所述第一位置姿势推断部(145)在进行所述对位时，以使与所述三维坐标数据的各点对应的所述三维模型的各点接近对应的所述三维坐标数据的各点的方式，对所述x轴、所述y轴和所述z轴的方向各自的平移参数以及以所述x轴、所述y轴和所述z轴为中心的各旋转参数进行最优化，并使用经最优化的六个参数，对所述位置姿势信息进行更新。

附录7

根据附录3至5中任一附录中记载的位置姿势推断装置，其中，

所述第一位置姿势推断部(145)在进行所述对位时，以使与所述三维坐标数据的各点对应的所述三维模型的各点接近对应的所述三维坐标数据的各点的方式，对所述z轴的方向的平移参数以及以所述x轴和所述y轴为中心的各旋转参数进行最优化，并使用经最优化的三个参数，对所述位置姿势信息进行更新。

Claims (8)

1.一种位置姿势推断装置，推断物体的位置姿势，所述位置姿势推断装置具备：

第一获取部，获取所述物体的二维图像；

第二获取部，获取表示所述物体的三维形状的三维模型；

第三获取部，获取表示对所述物体推断出的更新前的位置姿势的位置姿势信息；

第一位置姿势推断部，使用所述三维模型和所述二维图像，针对二维图像平面上的不同的两个轴、即x轴和y轴的方向各自的平移以及以与所述x轴和所述y轴正交的z轴为中心的旋转，对所述位置姿势信息进行更新；以及

输出部，将由更新后的所述位置姿势信息表示的位置姿势作为所述物体的位置姿势而输出，

所述第一位置姿势推断部具备：

二维模型生成部，生成基于所述位置姿势信息将所述三维模型投影到与所述二维图像共同的平面而得的二维模型；

最优化部，基于所述二维图像上的对应点，在所述二维图像平面上进行所述二维图像和二维模型的对位，从而对所述x轴和所述y轴的方向各自的平移参数以及以所述z轴为中心的旋转参数进行最优化，将进行最优化后的二维空间的三个参数转换为三维空间的三个参数；以及

更新部，使用经最优化的三个参数，对所述位置姿势信息进行更新。

2.根据权利要求1所述的位置姿势推断装置，其中，所述位置姿势推断装置还具备：

第四获取部，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及

第二位置姿势推断部，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，

由所述第三获取部获取到的位置姿势信息被输入所述第二位置姿势推断部，经所述第二位置姿势推断部更新后的位置姿势信息被传送到所述第一位置姿势推断部。

3.根据权利要求1所述的位置姿势推断装置，其中，所述位置姿势推断装置还具备：

第四获取部，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及

第二位置姿势推断部，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，

经所述第一位置姿势推断部更新后的位置姿势信息被输入所述第二位置姿势推断部，经所述第二位置姿势推断部更新后的位置姿势信息被传送到所述输出部。

4.根据权利要求1所述的位置姿势推断装置，其中，所述位置姿势推断装置还具备：

第四获取部，获取表示对所述物体计测得到的所述物体的表面的三维坐标的三维坐标数据；以及

第二位置姿势推断部，通过使用所述三维模型和所述三维坐标数据进行对位来更新位置姿势信息，

由所述第三获取部获取到的位置姿势信息被分别传送到所述第一位置姿势推断部和所述第二位置姿势推断部，经所述第一位置姿势推断部和所述第二位置姿势推断部分别更新后的位置姿势信息被传送到所述输出部，

所述输出部基于经所述第一位置姿势推断部和所述第二位置姿势推断部更新后的各位置姿势信息输出所述物体的位置姿势。

5.根据权利要求2至4中任一项所述的位置姿势推断装置，其中，

所述第二位置姿势推断部在进行所述对位时，以使与所述三维坐标数据的各点对应的所述三维模型的各点接近对应的所述三维坐标数据的各点的方式，对所述x轴、所述y轴和所述z轴的方向各自的平移参数以及以所述x轴、所述y轴和所述z轴为中心的各旋转参数进行最优化，并使用经最优化的六个参数，对所述位置姿势信息进行更新。

6.根据权利要求2至4中任一项所述的位置姿势推断装置，其中，

所述第二位置姿势推断部在进行所述对位时，以使与所述三维坐标数据的各点对应的所述三维模型的各点接近对应的所述三维坐标数据的各点的方式，对所述z轴的方向的平移参数以及以所述x轴和所述y轴为中心的各旋转参数进行最优化，并使用经最优化的三个参数，对所述位置姿势信息进行更新。

7.一种位置姿势推断方法，推断物体的位置姿势，所述位置姿势推断方法包括：

第一获取步骤，获取所述物体的二维图像；

第二获取步骤，获取表示所述物体的三维形状的三维模型；

第三获取步骤，获取表示对所述物体推断出的更新前的位置姿势的位置姿势信息；

第一位置姿势推断步骤，使用所述三维模型和所述二维图像，针对二维图像平面上的不同的两个轴、即x轴和y轴的方向各自的平移以及以与所述x轴和所述y轴正交的z轴为中心的旋转，对所述位置姿势信息进行更新；以及

输出步骤，将由更新后的所述位置姿势信息表示的位置姿势作为所述物体的位置姿势而输出，

所述第一位置姿势推断步骤具备：

二维模型生成步骤，生成基于所述位置姿势信息将所述三维模型投影到与所述二维图像共同的平面而得的二维模型；

最优化步骤，基于所述二维图像上的对应点，在所述二维图像平面上进行所述二维图像和二维模型的对位，从而对所述x轴和所述y轴的方向各自的平移参数以及以所述z轴为中心的旋转参数进行最优化；

转换步骤，将进行最优化后的二维空间的三个参数转换为三维空间的三个参数；以及

更新步骤，使用经最优化的三个参数，对所述位置姿势信息进行更新。

8.一种记录介质，存储有用于使计算机推断物体的位置姿势的程序，所述程序用于使所述计算机执行：

第一获取步骤，获取所述物体的二维图像；

第二获取步骤，获取表示所述物体的三维形状的三维模型；

第三获取步骤，获取表示对所述物体推断出的更新前的位置姿势的位置姿势信息；

第一位置姿势推断步骤，使用所述三维模型和所述二维图像，针对二维图像平面上的不同的两个轴、即x轴和y轴的方向各自的平移以及以与所述x轴和所述y轴正交的z轴为中心的旋转，对所述位置姿势信息进行更新；以及

输出步骤，将由更新后的所述位置姿势信息表示的位置姿势作为所述物体的位置姿势而输出，

所述第一位置姿势推断步骤具备：

二维模型生成步骤，生成基于所述位置姿势信息将所述三维模型投影到与所述二维图像共同的平面而得的二维模型；

最优化步骤，基于所述二维图像上的对应点，在所述二维图像平面上进行所述二维图像和二维模型的对位，从而对所述x轴和所述y轴的方向各自的平移参数以及以所述z轴为中心的旋转参数进行最优化；

转换步骤，将进行最优化后的二维空间的三个参数转换为三维空间的三个参数；以及

更新步骤，使用经最优化的三个参数，对所述位置姿势信息进行更新。

Images