CN103307975B - 模型生成设备和方法以及信息处理设备和方法 - Google Patents

Abstract

本发明涉及一种模型生成设备和方法以及信息处理设备和方法。输入对象物体的三维形状模型。针对所述对象物体的三维形状模型，设置用于拍摄所述对象物体的图像的至少一个摄像装置的位置姿势，从而虚拟地设置所述对象物体和所述摄像装置之间的相对位置姿势。选择所述摄像装置的至少一个位置姿势。基于以所选择的所述摄像装置的位置姿势要获得的图像与所述三维形状模型的几何特征之间的关系来对几何特征进行分组。

Description

模型生成设备和方法以及信息处理设备和方法

技术领域

本发明涉及一种模型生成设备、信息处理设备、模型生成方法和信息处理方法，尤其涉及一种用于测量物体的位置和姿势的技术。

背景技术

近年来，机器人代替人类逐渐处理诸如组装工业产品等的复杂任务。在利用机器人组装工业产品时，必须精确地测量组件之间的相对位置和姿势，从而利用诸如机器人手部等的端部受动器(end effector)来把持组件。作为测量位置和姿势的方法，通常使用利用模型拟合的测量，其中该模型拟合使三维形状模型与从照相机拍摄到的灰度图像所检测到的特征或者从距离传感器所获得的距离图像拟合。在这些方法中，非专利文献1(Christopher Kemp,Tom Drummond,“Dynamic Measurement Clustering to Aid RealTime Tracking,”iccv,vol.2,pp.1500-1507,Tenth IEEE International Conference onComputer Vision (ICCV'05)Volume2,2005.)公开了通过高效地选择三维形状模型中的特征(三维点、线和面等；以下称为几何特征)来高速地估计位置和姿势的方法。非专利文献1中所公开的方法将三维形状模型中的几何特征分组成对表示要估计的位置和姿势的参数的影响相似的几何特征群。然后，基于从各群中选择出的少量几何特征来估计位置和姿势。该方法计算共同用来表示位置和姿势的6自由度参数中易受几何特征影响的这些参数。该计算通过如下操作来进行：针对各几何特征，计算位置姿势的6自由度参数各自微小改变的情况下该几何特征的变化量(以下称为Jacobian(雅克比))。

然而，根据非专利文献1的方法存在以下问题。也就是说，由于在模型拟合处理期间执行几何特征的分组处理，因此几何特征的分组处理的处理成本根据几何特征的数量和分组方法而增加，由此损害模型拟合处理的速度。

发明内容

本发明是考虑到上述问题而作出的，并且提供一种在测量物体的位置和姿势的情况下、降低损害基于Jacobian的几何特征的分组处理的速度的可能性并且使得能够进行高效的模型拟合的技术。

根据本发明的第一方面，一种模型生成设备，包括：模型输入单元，用于输入对象物体的三维形状模型；设置单元，用于针对所述对象物体的三维形状模型，设置用于拍摄所述对象物体的图像的至少一个摄像装置的至少一个位置姿势，由此设置所述对象物体和所述摄像装置之间的虚拟相对位置姿势；选择单元，用于选择所述设置单元所设置的所述摄像装置的至少一个位置姿势；以及分组单元，用于基于以所述选择单元选择的所述摄像装置的位置姿势所要获得的图像与所述三维形状模型的几何特征之间的关系，来对几何特征进行分组。

根据本发明的第二方面，一种信息处理设备，包括：上述的模型生成设备；图像输入单元，用于输入摄像装置所拍摄的图像；几何特征选择单元，用于从所述分组单元分组得到的组中选择几何特征；以及计算单元，用于计算所述对象物体或所述摄像装置的位置姿势，以使得所述图像输入单元所输入的图像的特征与所述几何特征选择单元所选择的几何特征彼此一致。

根据本发明的第三方面，一种模型生成设备所执行的模型生成方法，包括以下步骤：模型输入步骤，用于输入对象物体的三维形状模型；设置步骤，用于针对所述对象物体的三维形状模型，设置用于拍摄所述对象物体的图像的至少一个摄像装置的至少一个位置姿势，由此设置所述对象物体和所述摄像装置之间的至少一个虚拟相对位置姿势；选择步骤，用于选择所述设置步骤中所设置的所述摄像装置的至少一个位置姿势；以及分组步骤，用于基于以所述选择步骤中选择的所述摄像装置的位置姿势所要获得的图像与所述三维形状模型的几何特征之间的关系，来对几何特征进行分组。

根据本发明的第四方面，一种信息处理设备所执行的信息处理方法，所述信息处理设备包括上述的模型生成设备，所述信息处理方法包括以下步骤：图像输入步骤，用于输入摄像装置所拍摄的图像；几何特征选择步骤，用于从所述分组单元分组得到的组中选择几何特征；以及计算步骤，用于计算所述对象物体或所述摄像装置的位置姿势，以使得所述图像输入步骤中所输入的图像的特征与所述几何特征选择步骤中所选择的几何特征彼此一致。

通过以下参考附图对各实施例的说明，本发明的其它特征将变得明显。

附图说明

图1是示出根据本发明实施例的信息处理设备的结构的框图；

图2A～2C是用于说明根据本发明第一实施例的三维形状模型的组件的图；

图3是示出根据本发明第一实施例的模型生成方法的处理序列的流程图；

图4是用于说明根据本发明第一实施例的离散观察条件的生成的图；

图5A和5B是用于说明根据本发明第一实施例的使几何特征和图像相关联的方法的图；

图6是示出根据本发明第一实施例的几何特征的分组方法的处理序列的流程图；

图7是示出根据本发明第一实施例的位置姿势估计方法的处理序列的流程图；

图8是示出根据本发明第二实施例的信息处理设备的结构的图；

图9是用于说明关联的图；

图10是用于说明分组的图；

图11是用于说明信息处理设备5300的功能结构的示例的框图；

图12A～12F是用于说明模型信息的结构示例的图；

图13是信息处理设备5300要执行的处理的流程图；以及

图14是示出机器人系统的结构的示例的图。

具体实施方式

以下将参考附图来详细说明本发明的实施例。

第一实施例

本实施例包括使用本实施例的信息处理设备来估计物体的位置和姿势所需的位置姿势估计模型的生成方法。还包括使用所生成的位置姿势估计模型的物体的位置姿势的估计方法。

注意，以下说明中的“物体的位置姿势”表示物体的位置和姿势与用于拍摄该物体的图像的摄像装置的位置和姿势之间的关系。

在本实施例的位置姿势估计方法中，基于作为初始值给出的近似位置姿势来使三维形状模型中的三维几何特征与二维图像中的图像特征和距离图像中的距离点彼此相关联。然后，迭代重复地校正位置姿势以使各关联距离的总和最小，由此计算物体的位置姿势。

注意，位置姿势估计处理中所使用的几何特征针对表示位置姿势的6自由度参数(位置：3自由度，姿势：3自由度)中的各参数的贡献度不同。由于该原因，在位置姿势估计处理中所使用的几何特征仅对6自由度参数中的一部分参数有贡献的情况下，针对位置姿势的6自由度的估计失败(仅可以估计出一部分参数)，或者需要大量几何特征来正确地估计位置姿势，由此发生问题。

因而，为了高效地估计位置姿势的6自由度，以均衡方式选择和使用对位置姿势的6自由度参数的影响不相似的几何特征变得很重要。

因而，在本实施例中，对位置姿势估计参数的影响相似的几何特征被分组为几何特征群，并且通过选择性地使用对位置姿势参数的影响不同的几何特征群来执行位置姿势估计处理，由此实现高效的估计处理。

然而，几何特征对位置姿势参数的影响根据物体的观察条件(物体和用于观察该物体的摄像装置之间的相对位置姿势以及该摄像装置的内部参数等)而改变。由于该原因，在观察条件不确定的预处理阶段无法计算这些影响。

因而，在本实施例中，作为估计物体的位置姿势所需的预处理，在预先针对三维形状模型离散地设置的各种观察条件下执行几何特征的分组处理，并且针对各观察条件保存几何特征的分组结果。

然后，在位置姿势估计时，使用利用被判断为最接近实际或估计观察条件的观察条件进行处理后的几何特征的分组结果来执行位置姿势估计。

以下将说明模型生成处理作为位置姿势估计处理的预处理。之后，将说明用于使用通过该模型生成处理所生成的(后面要说明的)位置姿势计算模型来估计物体的位置姿势的处理。

图1示出模型生成设备2和信息处理设备1的结构，其中该模型生成设备1进行作为本实施例的预处理的视点依赖位置姿势估计模型生成，以及该信息处理设备1使用位置姿势估计模型来计算位置姿势。

如图1所示，模型生成设备2包括三维形状模型输入单元110、位置姿势设置单元120、位置姿势选择单元130、几何特征分组单元140和视点依赖模型保存单元150。此外，信息处理设备1包括模型生成设备2、图像输入单元160、几何特征选择单元170和位置姿势估计单元180。图1所示的结构是本实施例的信息处理设备的应用示例。

以下将说明包括在模型生成设备2中的各单元。

三维形状模型输入单元110输入表示物体的形状的三维形状模型10。图2A和2B是示出三维形状模型的示例的图，并且图2C示出表示物体的形状的多边形模型。

如图2A～2C所示，三维形状模型由三维平面信息(以下称为面几何特征)和三维线段信息(以下称为线几何特征)构成。注意，各个面几何特征是包括三维位置和三维法线方向的物体表面上的局部三维平面信息，并且各线段几何特征是包括三维位置和三维线段方向的物体轮廓上的局部三维线段信息。

作为三维形状模型的示例，除了CAD(计算机辅助设计)模型以外，还可以使用通过拍摄对象物体的图像所获得的数据。注意，在本实施例中，“几何特征”通常表示面几何特征和线几何特征这两者。

使用面几何特征来测量面几何特征的三维坐标与距离图像上的距离点群之间的对应距离。使用线几何特征来测量线几何特征的投影坐标与灰度图像上的边缘之间的对应距离。将三维形状模型保存在三维形状模型输入单元110中，并且输入至几何特征分组单元140。

位置姿势设置单元120针对三维形状模型设置多个不同的观察条件。注意，在本实施例中，全面地生成用于观察三维形状模型的虚拟摄像装置的位置姿势作为用以从各种方向离散地观察该模型的观察条件。后面将说明摄像装置的位置姿势设置的具体处理方法。注意，以下将虚拟配置的摄像装置称为虚拟摄像装置。

位置姿势选择单元130从位置姿势设置单元120所设置的针对三维形状模型的多个观察条件中选择一个观察条件。注意，在本实施例中，位置姿势选择单元130从针对三维形状模型的多个虚拟摄像装置的位置姿势中选择一组位置姿势。后面将说明具体处理。

几何特征分组单元140针对位置姿势设置单元120所设置的多个观察条件中的位置姿势选择单元130所选择的各观察条件，基于几何特征的Jacobian的相似度来对这些几何特征进行分组。在本实施例中，作为分组，几何特征分组单元140执行基于几何特征对位置姿势参数的影响的相似度的聚类(clustering)。后面将说明具体处理的详细内容。

视点依赖模型保存单元150将几何特征分组单元140分组后的几何特征信息连同此时的观察条件(分组所使用的三维形状模型与虚拟摄像装置之间的相对位置姿势信息)一起保存作为视点依赖位置姿势估计模型。通过将位置姿势设置单元120所设置的所有观察条件的视点依赖位置姿势估计模型合成为一个来生成位置姿势估计模型。

以下将说明包括在信息处理设备1中的各单元。

二维图像拍摄装置20是用于拍摄正常二维图像的照相机。要拍摄的二维图像可以是灰度图像或彩色图像。在本实施例中，二维图像拍摄装置20拍摄和输出灰度图像。

将二维图像拍摄装置20拍摄到的图像经由图像输入单元160输入至信息处理设备1。可以通过参考要使用的装置的规格来获取诸如照相机的焦距、主点位置和镜头失真参数等的固有参数。可选地，这些参数可以通过利用[R.Y.Tsai,“A versatile cameracalibration technique for high-accuracy3D machine vision metrology using off-the-shelf cameras and lenses,”IEEE Journal of Robotics and Automation,vol.RA-3,no.4,1987.]中所公开的方法预先执行校准来获取。

距离图像拍摄装置30测量作为测量对象的物体表面上的点的三维信息。作为距离图像拍摄装置30，使用输出距离图像的距离传感器。该距离图像是各像素具有深度信息的图像。

在本实施例中，作为距离传感器，使用单次主动型传感器，其中该单次主动型传感器利用分配有不同波长的颜色ID的多狭缝线照射对象，使用照相机拍摄反射光，并且通过三角测量来进行距离测量。然而，距离传感器不限于此；例如，作为替代，可以使用利用飞行时间的飞行时间型传感器。

此外，可以使用根据立体照相机拍摄到的图像来通过三角测量计算各像素的深度的被动型传感器。另外，可以使用任何其它传感器，只要这些传感器测量距离图像即可，由此本发明的主旨不会丢失。

将距离图像拍摄装置30测量到的距离图像经由图像输入单元160输入至信息处理设备1。此外，假定距离图像拍摄装置30的光轴和二维图像拍摄装置20的光轴一致，并且二维图像拍摄装置20所输出的灰度图像的各像素与距离图像拍摄装置30所输出的距离图像的各像素之间的对应关系是已知的。

然而，本发明的应用不限于灰度图像和距离图像具有同一视点的情况。例如，用于拍摄灰度图像的摄像装置和用于拍摄距离图像的摄像装置位于不同的位置姿势，并且可以从不同视点拍摄灰度图像和距离图像。在这种情况下，假定摄像装置之间的相对位置姿势是已知的，并且通过将距离图像中的三维点群投影到灰度图像上来使灰度图像和距离图像彼此相关联。没有特别限制摄像装置之间的位置关系，只要用于拍摄同一物体的图像的摄像装置之间的相对位置姿势是已知的并且可以计算这些图像之间的对应关系即可。

图像输入单元160将二维图像拍摄装置20拍摄到的二维图像和距离图像拍摄装置30拍摄到的距离图像输入至信息处理设备1。在这些摄像装置的输出是诸如NTSC输出等的模拟输出的情况下，图像输入单元160由模拟视频采集板来实现。可选地，在这些摄像装置的输出是诸如IEEE1394输出等的数字输出的情况下，图像输入单元160例如由IEEE1394接口板来实现。可选地，图像输入单元160可以通过读出预先存储在存储装置(未示出)中的静止图像或运动图像的数字数据来获取图像。

几何特征选择单元170从几何特征分组单元140分组后的并且保存在视点依赖模型保存单元150内的几何特征中选择用于计算位置姿势的几何特征。后面将说明具体处理。

位置姿势估计单元180基于二维图像拍摄装置20拍摄到的灰度图像和距离图像拍摄装置30拍摄到的距离图像，来计算与几何特征选择单元170所选择的几何特征的关联性。然后，计算对象物体的位置姿势。后面将说明具体处理的详细内容。

已经说明了信息处理设备1的结构的示例。注意，信息处理设备1包括计算机。该计算机包括诸如CPU、ROM(只读存储器)、RAM(随机存取存储器)等的主控制单元以及诸如HDD(硬盘驱动器)等的存储单元。此外，该计算机可以连接有诸如按钮、显示器或触摸面板等的输入/输出单元以及诸如网卡等的通信单元等。注意，这些组件例如经由总线相连接，并且在主控制单元执行存储在存储单元中的程序时被控制。

以下将说明根据本实施例的位置姿势估计模型生成和位置姿势估计的处理序列。图3是示出根据本实施例的位置姿势估计模型生成方法的处理序列的流程图。

步骤S1000

在步骤S1000中，三维形状模型输入单元110输入对象物体的三维形状模型。

步骤S1100

在步骤S1100中，位置姿势设置单元120设置对象物体的三维形状模型的观察条件。在本实施例中，作为观察条件，进行用于观察三维形状模型的虚拟摄像装置的位置姿势设置。

如图4所示，全面的观察条件的生成例如使用了包围物体的测地线球体。更具体地，将基准位置姿势设置为：使测地线球体的各顶点作为虚拟摄像装置501的位置，并且使从该顶点起对三维形状模型502的各观察方向作为虚拟摄像装置501的视点。从所设置的位置姿势拍摄三维形状模型的图像的情况下要获得的图像是通过将该三维形状模型映射到与虚拟摄像装置的摄像面相对应的面上所获得的图像。此时，对于虚拟摄像装置501的侧倾方向，可以设置任意值。注意，利用测地线球体近似得到的球体的半径与虚拟摄像装置501和对象物体的三维形状模型502之间的距离相对应。

因此，在与位置姿势估计时所使用的图像相关联地预先假定摄像距离的情况下，期望将该距离设置为等于测地线球体的半径。可选地，可以在各阶段准备大小不同的测地线球体，并且可以将各测地线球体的顶点设置为基准位置姿势。然而，基准位置姿势设置方法不限于此。

例如，可以假定包围对象物体的三维形状模型的球体，如地球仪那样向该球体分配纬度和经度，并且可以在纬度方向和经度方向上按等间隔确定视点。另外，可以使用任何其它方法，只要这些方法可以在实际位置姿势估计时模拟虚拟摄像装置和物体之间的相对位置姿势即可。在完成了基于测地线球体的各顶点所进行的虚拟摄像装置的位置姿势生成时，步骤S1100的处理结束，并且该处理进入步骤S1200。

步骤S1200

在步骤S1200中，位置姿势选择单元130从步骤S1100中设置的多个位置姿势条件中选择位置姿势。更具体地，选择要处理的位置姿势并且将该位置姿势设置为用于观察三维形状模型的虚拟摄像装置的视点。

步骤S1300

在步骤S1300中，几何特征分组单元140使用步骤S1200中设置的虚拟摄像装置的位置姿势来计算几何特征的Jacobian，从而计算对几何特征之间的位置姿势参数的影响的相似度。注意，几何特征的Jacobian是表示在摄像装置的位置姿势的6自由度的参数改变了微小量的情况下、关注几何特征和图像特征之间的对应距离的变化程度的值。

更具体地，对于线几何特征，Jacobian是图像上的点和线之间的距离。此外，对于面几何特征，Jacobian是在将三维空间上的点和面之间的距离定义为位置姿势的函数的情况下、包括与位置姿势的各元素相关联的一阶偏微分系数作为元素的矩阵。

通过检查几何特征的Jacobian，可以识别位置姿势的6自由度中的易受该几何特征影响的参数。注意，本实施例使用Jacobian。然而，本发明不限于此，并且可以使用表示几何特征对位置姿势参数的影响的指标。以下将详细说明面几何特征和线几何特征的Jacobian的推导方法。

首先将说明线几何特征的Jacobian的推导。图5A是用于说明线几何特征与灰度图像上的图像特征之间的线-点距离的计算的图。设(u,v)是基于虚拟摄像装置的位置姿势s来将线几何特征投影到图像上的位置，设(n_u,n_v)(单位矢量)是相对于该位置的法线方向，并且设(u',v')是与该线几何特征相对应的图像特征的坐标。可以通过以下等式来计算对应(即，对应特征)间的带符号的距离err_2D。

err_2D=n_u(u'-u)+n_v(v'-v) (1)

注意，虚拟摄像装置的位置姿势s的自由度是6自由度。也就是说，s是六维矢量，其中该六维矢量包括表示测量对象物体的位置的三个元素s1、s2和s3以及表示姿势的三个元素s4、s5和s6。表示姿势的三个元素是利用方向表示穿过原点的转动轴并且范数表示转动角的三维矢量等、通过使用Euler角来表示的。通过利用该虚拟摄像装置的位置姿势s的各参数对对应间距离(即，对应特征间距离)err_2D进行偏微分，来计算以下的线特征的Jacobian矩阵。

$J_{2D}=\left[\begin{array}{cccccc}\frac{{\∂\mathrm{err}}_{2D}}{{\∂s}_1}& \frac{{\∂\mathrm{err}}_{2D}}{{\∂s}_2}& \frac{{\∂\mathrm{err}}_{2D}}{{\∂s}_3}& \frac{{\∂\mathrm{err}}_{2D}}{{\∂s}_4}& \frac{{\∂\mathrm{err}}_{2D}}{{\∂s}_5}& \frac{{\∂\mathrm{err}}_{2D}}{{\∂s}_6}\end{array}\right]---\left(2\right)$

接着，以下将说明面几何特征的Jacobian的推导。图5B是用于说明面几何特征和对应点(距离图像中的三维点)之间的面-点距离的图。设(x,y,z)是面几何特征在照相机坐标系上的三维坐标，设(n_x,n_y,n_z)是法线方向(单位矢量)，并且设(x',y',z')是三维点在与面几何特征点相对应的距离图像上的坐标。可以通过以下等式来表示此时三维空间上的带符号的距离err_3D。

err_3D=n_x(x'-x)+n_y(y'-y)+n_z(z'-z) (3)

然后，以与线几何特征的Jacobian相同的方式，通过利用虚拟摄像装置的位置姿势s的各参数对对应间距离err_3D进行偏微分，可以按照如下计算面特征的Jacobian矩阵。

$J_{3D}=\left[\begin{array}{cccccc}\frac{{\∂\mathrm{err}}_{3D}}{{\∂s}_1}& \frac{{\∂\mathrm{err}}_3}{{\∂s}_2}& \frac{{\∂\mathrm{err}}_{3D}}{{\∂s}_3}& \frac{{\∂\mathrm{err}}_{3D}}{{\∂s}_4}& \frac{{\∂\mathrm{err}}_{3D}}{{\∂s}_5}& \frac{{\∂\mathrm{err}}_{3D}}{{\∂s}_6}\end{array}\right]---\left(4\right)$

在针对所有线特征和面特征的上述Jacobian的计算完成时，步骤S1300的处理结束，并且该处理进入步骤S1400。

步骤S1400

在步骤S1400中，几何特征分组单元140基于步骤S1300中计算出的线几何特征和面几何特征的Jacobian来分组对位置姿势的6自由度的估计的影响相似的特征。

在本实施例中，基于Jacobian的相似度，通过例如执行使用众所周知的Ward法的分层聚类(hierarchical clustering)来对几何特征进行分组。注意，由于线几何特征的Jacobian和面几何特征的Jacobian中要测量的对应间距离的尺度不同，因此将这两者彼此区分开，并且独立地分组。

以下将参考图6所示的流程图来详细说明步骤S1400中的针对线几何特征和面几何特征的分组的具体处理。

步骤S1410

在步骤S1410中，作为初始簇(cluster)，生成仅包括一个几何特征的簇群。也就是说，在几何特征的总数为N个的情况下，生成N个簇。将所生成的簇保存作为最下层的簇。

步骤S1420

接着，针对各簇之间的所有组合计算这些簇之间的Jacobian的相似度。由于利用Ward法计算出的值随着相似度变高而变小，因此在严格意义上，在这种情况下计算非相似度。设J_ki ^A(k=1,...,6)是作为具有n_A个元素的特定簇{A}的第i(i=1,...,n_A)个元素的几何特征的Jacobian。此外，设J_kj ^B(k=1,...,6)是作为具有n_B个元素的特定簇{B}的第j(j=1,...,n_B)个元素的几何特征的Jacobian。通过以下等式来计算簇{A}和簇{B}之间的簇间相似度。

${\mathrm{\ΔS}}_{\mathrm{AB}}=\frac{n_A{n}_B}{n_A+n_B}\underset{k=1}{\overset{6}{\mathrm{\Σ}}}{(\frac{1}{n_A}\underset{i=1}{\overset{n_A}{\mathrm{\Σ}}}{J}_{\mathrm{ki}}^A-\frac{1}{n_B}\underset{j=1}{\overset{n_B}{\mathrm{\Σ}}}{J}_{\mathrm{kj}}^B)}^2---\left(5\right)$

在针对各簇之间的所有组合计算这些簇之间的非相似度ΔS_AB完成之后，步骤S1420的处理结束，并且该处理进入步骤S1430。

步骤S1430

接着，通过参考步骤S1420中计算出的相似度，将非相似度ΔS_AB最低的组合的簇合并成一个簇。然后，将合并后的簇保存作为如下层的簇，其中该层比合并之前的簇高一层。

步骤S1440

在作为步骤S1430的结果、总簇数为1的情况下，该处理结束；否则，该处理返回至步骤S1420以重复该处理，直到总簇数变为1为止。

利用上述处理，可以将几何特征分组成被称为树状图的树状分类结构。在靠近枝的末端的位置(下层)切断该树状图的情况下，获得各自包括少量元素的大量簇；在靠近枝的根部的位置(上层)切断树状图的情况下，获得各自包括大量元素的少量簇。

也就是说，由于包括在树状图中的簇具有小分类-中分类和大分类的分层结构，因此在任意层切断该树状图的情况下，可以获得任意数量的簇。

上述处理分别适用于面几何特征和线几何特征。在所有面几何特征的分组和所有线几何特征的分组完成时，步骤S1400的处理结束，并且该处理进入步骤S1500。

步骤S1500

接着，在步骤S1500中，视点依赖模型保存单元150将步骤S1400中所获得的几何特征的分组结果与步骤S1200中所选择的虚拟摄像装置的位置姿势的组合保存作为视点依赖位置姿势估计模型。

步骤S1600

接着，在步骤S1600中，模型生成设备2判断针对步骤S1100中生成的虚拟摄像装置的所有位置姿势是否已执行了步骤S1200～步骤S1500的处理。在仍剩余要处理的位置姿势的情况下，该处理返回至步骤S1200以针对下一位置姿势重复该处理。

另一方面，在针对所有的位置姿势已执行了这些处理的情况下，该处理结束。结果，针对所设置的虚拟摄像装置的所有位置姿势保存视点依赖位置姿势估计模型，由此获得位置姿势估计模型。

以下将参考图7来说明使用模型生成设备2所生成的位置姿势估计模型的位置姿势估计方法。图7是示出该位置姿势估计处理的流程图。注意，该位置姿势估计处理可以通过将图3的处理结果传送至外部设备来由外部设备执行。

步骤S2000

在步骤S2000中，信息处理设备1输入物体相对于包括二维图像拍摄装置20和距离图像拍摄装置30的摄像装置的位置姿势的近似值。在本实施例中，信息处理设备1在如下的假设下使用(先前时刻的)先前测量值作为近似位置姿势：信息处理设备1在时间轴方向上连续执行位置姿势测量。然而，位置姿势的近似值的输入方法不限于此。

例如，可以基于位置姿势的先前测量值来使用时序滤波器估计物体的速度或角速度，以基于该先前位置姿势和估计出的速度或加速度来估计当前位置姿势。

可选地，可以将以各种姿势拍摄到的对象物体的图像保持为模板，并且可以对输入图像应用模板匹配以估计对象物体的近似位置姿势。

可选地，在传感器可以测量物体的位置姿势的情况下，可以使用该传感器的输出值作为位置姿势的近似值。该传感器例如可以是磁性传感器，其中该磁性传感器通过使用安装至物体的接收器检测发送器所产生的磁场来测量位置姿势。可选地，该传感器可以是光学传感器，其中该光学传感器通过使用固定至场景的照相机拍摄配置在物体上的标记的图像来测量位置姿势。另外，可以使用任何其它传感器，只要这些传感器可以测量6自由度的位置姿势即可。可选地，在预先已知物体放置所采用的位置姿势的情况下，使用这些值作为近似值。

步骤S2100

接着，在步骤S2100中，图像输入单元160输入灰度图像和距离图像。图像输入单元160首先从二维图像拍摄装置20获取灰度图像。同样，图像输入单元160从距离图像拍摄装置30获取距离图像。

在本实施例中，假定距离图像存储了从摄像装置到测量对象物体的表面的距离。如上所述，由于二维图像拍摄装置20的光轴和距离图像拍摄装置30的光轴一致，因此灰度图像的各像素和距离图像的各像素之间的对应关系是已知的。在灰度图像和距离图像的获取完成时，步骤S2100的处理结束，并且该处理进入步骤S2200。

步骤S2200

接着，在步骤S2200中，位置姿势估计单元180从位置姿势估计模型中选择一个视点依赖位置姿势估计模型，由此获得步骤S1400中分组为分层结构的几何特征。

更具体地，位置姿势估计单元180从作为位置姿势估计模型所保存的多个视点依赖位置姿势估计模型中选择与最近似于步骤S2000所输入的近似位置姿势的位置姿势相对应的视点依赖位置姿势估计模型。

在选择最近似的视点依赖位置姿势估计模型时，针对多个基准位置姿势计算近似位置姿势和虚拟摄像装置的位置姿势之间的姿势差异ΔR，并且选择差异值最小的模型。可选地，可以分别计算近似位置姿势和基准位置姿势之间的位置差异ΔT和姿势差异ΔR，可以与值ΔT和ΔR相关联地分别对所有虚拟摄像装置的位置姿势进行排序，并且可以选择排序位次总和最小的模型。

位置姿势估计模型的选择方法不限于上述方法，并且可以使用任何其它方法，只要基于近似位置姿势和虚拟摄像装置的位置姿势之间的相似度进行计算即可。也就是说，没有特别限制选择方法。在基于近似位置姿势从位置姿势估计模型中选择一个位置姿势估计模型之后，步骤S2200的处理结束，并且该处理进入步骤S2300。

步骤S2300

接着，在步骤S2300中，几何特征选择单元170从视点依赖模型保存单元150中的分组为分层结构的几何特征中选择位置姿势计算时所使用的几何特征。

在本实施例中，从分组为分层结构的几何特征中提取六个簇。通过从提取出的各簇中随机选择一个几何特征，选择位置姿势估计所用的总共六个几何特征。通过从不同簇中选择几何特征，可以选择对位置姿势参数的影响不相似的几何特征。

注意，除了(由于已知的位置姿势参数各自具有6自由度因而)通常需要至少六个几何特征来估计位置姿势以外，没有特别限制从分层结构要提取的簇数量和要使用的几何特征的数量。

例如，在可以提取三个簇、并且可以从各簇中随机选择两个几何特征的情况下，没有特别发生问题。可以新添加用于设置要提取的簇数量和要选择的几何特征的数量的设置单元，并且可以在没有损害本实施例的技术效果的情况下任意设置簇数量和几何特征的数量以执行估计处理。

在处理效率方面，在所需最小数量的意义上，要选择的几何特征的数量可以是六个。此外，由于期望选择非相似的几何特征，因此要提取的簇数量可以与要选择的几何特征的数量相同。

注意，要提取的簇数量过小(例如，1)的情况等同于在没有分组的情况下的几何特征的随机选择。此外，将要提取的簇数量设置为最大数量的情况与使用所有几何特征的位置姿势估计相同。由于该原因，在处理效率方面，期望要提取的簇数量不会过小或过大。因而，在确定要提取的簇的最小数量的情况下在处理效率和估计精度之间存在设计折中(compromise)。

步骤S2400

接着，在步骤S2400中，计算步骤S2100中输入的灰度图像和距离图像与步骤S2300中选择的线几何特征和面几何特征之间的关联性，并且基于该关联结果来估计测量对象物体的位置姿势。以下将详细说明位置姿势估计单元180要执行的位置姿势估计处理。

最初，基于步骤S2000中输入的对象物体的近似位置姿势，将步骤S2100中输入的距离图像中的三维点群与面几何特征相关联。使用近似位置姿势和校准后的距离图像拍摄装置30的固有参数，将步骤S2300中选择的所有面几何特征投影到距离图像上。然后，将该距离图像上与所投影的各面相对应的距离点群保持作为与各面几何特征相对应的三维点。

接着，将步骤S2100中输入的灰度图像上的边缘与线几何特征相关联。使用近似位置姿势和校准后的二维图像拍摄装置20的固有参数，将步骤S2300中选择的所有线几何特征投影到图像上，由此将在该图像上检测到的边缘与线几何特征相关联。在针对各线几何特征检测到多个对应边缘的情况下，使图像上的最近边缘与所投影的线几何特征相关联。

接着，基于面几何特征和线几何特征与距离图像和灰度图像之间的关联数据，对联立方程式求解以使测量数据和几何特征之间的误差最小，由此更新位置姿势。

注意，由于图像上的距离和三维空间上的距离具有不同的尺度，因此即使在单纯对联立方程式进行了求解的情况下，贡献率也对测量数据中的任一个赋予不相称的权重。由于该原因，在本实施例中，通过执行基于最大似然估计的最优化，如以下文献所述，通过调整尺度来执行位置姿势估计。

Tateno,Kotake和Uchiyama,“A Model Fitting Method Using Intensity andRange Images for Bin-Picking Applications,”13th symposium on Meeting on ImageRecognition and Understanding 2010(MIRU2010)。

基于最大似然估计的位置姿势估计方法与本发明的主旨无关，并且将不给出针对详细处理的说明。本领域技术人员通过例如上述文献将了解更多详细内容。注意，测量对象物体的位置姿势计算方法不限于上述方法。例如，可以执行基于Levenberg-Marquardt法的迭代计算，或者可以使用最速下降法。可选地，可以使用诸如共轭梯度法或ICCG法等的其它非线性最优化计算方法。

步骤S2500

在步骤S2500中判断步骤S2400中更新后的位置姿势是否已收敛(即，是否需要迭代计算)。在校正值接近零、或者误差矢量的平方和在校正前后的差接近零的情况下，判断为位置姿势已收敛。

在位置姿势尚未收敛的情况下，该处理返回至步骤S2200，并且使用更新后的位置姿势来从视点依赖位置姿势估计模型的选择起执行该处理。注意，在步骤S2400中更新后的位置姿势的更新量较小的情况下，该处理可以返回至步骤S2400以使用相同的几何特征来执行位置姿势更新处理。在判断为位置姿势已收敛的情况下，该处理结束，并且确定摄像装置和对象物体之间的相对位置姿势的最终估计值。

如上所述，根据本实施例，由于预先分组了对位置姿势的6自由度的估计参数的影响相似的几何特征群，因此可以在位置姿势估计处理中快速地选择对于估计而言有效的几何特征。因而，可以在没有不相称地使用对位置姿势参数的影响相似的几何特征的情况下，基于少量的几何特征来高效地执行位置姿势估计。

第一变形例

上述实施例已说明了基于使用Ward法的分层聚类的方法作为几何特征分组方法。然而，几何特征分组方法不限于此。

即使在使用分层聚类来执行分组的情况下，在相似度计算中也可以使用除了Ward法以外的诸如最邻近法、最远邻法、组平均法、质心法、中值法和可变法等的相似度计算方法。

除了分层聚类以外，可以使用由k-means所代表的非分层聚类方法。在这种情况下，可以按照如下执行分组处理。

设M是组的总数，则从所有几何特征的Jacobian J_i(i=1,...,n)中选择M个组的基准C_j(j=1,...,M)。接着，将各采样点i分类成具有最小距离|J_i-C_j|的C_j个组。然后，计算属于各组的采样点的Jacobian的平均值，并且利用所计算出的平均值来更新该组的基准C_j。迭代重复上述的分类和更新这两个处理，直到无需更新C_j为止，由此对几何特征进行分组。

可以以与上述实施例中的步骤S2300中要提取的簇数量(例如，要选择的几何特征的数量)相同的方式设置组的总数M。

也就是说，在要选择的几何特征的数量为6个的情况下，可以将组的总数M设置为6个。注意，与组的总数M的设置相关联的确定方法和条件与步骤S2300中要提取的簇数量的设置的确定方法和条件相同。

第二变形例

在上述实施例中，作为用于对几何特征分组的标准，将几何特征的Jacobian相似的几何特征分成一组。然而，对几何特征分组时所使用的标准不限于此。

例如，可以将Jacobian不相似的几何特征分成一个组。更具体地，可以通过选择步骤S1420中计算出的簇之间的非相似度ΔS_AB最大的簇来进行分组。

在这种情况下，由于将与非相似的Jacobian相对应的几何特征分成一个组，因此在步骤S2300中，可以通过从一个簇中随机选择几何特征来选择与非相似的Jacobian相对应的几何特征。

如上所述，分组时的标准不限于对与相似的Jacobian相对应的几何特征进行分组的分组方法，并且可以对与非相似的Jacobian相对应的几何特征进行聚类。没有特别限制该标准，只要分组标准与位置姿势估计时从分组结果中选择几何特征时的分组标准一致即可，并且分组时可以使用任何其它标准，由此不会造成问题。

第三变形例

在上述实施例中，从几何特征组中仅选择位置姿势估计时使用的一组几何特征，由此执行位置姿势估计处理。然而，几何特征选择方法和位置姿势估计处理方法不限于此。

例如，可以以随机存取一致(Random Access Consensus，RANSAC)方式准备多个几何特征组，并且可以通过使用各几何特征组来对重复位置姿势计算和该结果的评价进行迭代重复，来判别最适当的几何特征组，由此执行用于计算位置姿势的处理。

更具体地，在步骤S2300中，通过使在从分层结构提取的各簇的几何特征中随机选择一个几何特征这一操作迭代重复多次，来准备各自包括6个几何特征的多个位置姿势计算几何特征组。

在步骤S2400中，针对步骤S2300中选择的各几何特征组分别估计位置姿势。然后，基于估计出的位置姿势来将几何特征再次投影到图像上，并且选择与几何特征和图像特征之间的对应间距离的最小总和相对应的位置姿势作为最适当的位置姿势。

如上所述，位置姿势估计时使用的几何特征的选择方法以及使用所选择的几何特征的位置姿势估计方法不限于上述实施例的方法，并且可以使用任何其它方法，只要可以基于所选择的几何特征来估计位置姿势即可。

第四变形例

在上述实施例中，基于几何特征和图像之间的关联结果来计算测量对象物体的位置姿势的6自由度。然而，位置姿势估计方法不限于用于估计位置姿势的所有6自由度的方法。例如，可以选择对位置姿势的6自由度参数的影响相似的几何特征，并且可以基于这些几何特征来选择位置姿势的6自由度参数中的一部分参数。

更具体地，在步骤S2300中，在从分层结构所提取出的同一簇内的几何特征中选择多个(例如，6个)几何特征，由此选择对位置姿势的6自由度参数的影响相似的几何特征。

然后，在步骤S2400中，基于所选择的几何特征和图像之间的关联结果，仅估计所选择的几何特征的贡献度高的位置姿势参数。例如，在选择容易有助于图像平面X方向的几何特征的情况下，要估计的参数限于图像平面X方向。由于仅估计位置姿势参数中的一部分参数的方法本身对于本发明的主旨而言不是必须的，因此将不给出针对详细处理的说明。

如上所述，本发明的位置姿势估计方法不限于用于估计位置姿势的所有6自由度参数的方法。没有特别限制要估计的信息和位置姿势估计方法，只要可以基于所选择的几何特征来估计位置和/或姿势的信息即可，并且可以使用任何其它方法。

第五变形例

上述实施例已说明了基于非线性最小二乘法的方法作为基于图像和几何特征之间的关联结果的位置姿势估计方法。然而，要应用于本发明的信息处理设备的位置姿势估计方法不限于此。

例如，本发明可应用于如下情况：基于几何特征和图像之间的关联结果，使用诸如扩展Kalman滤波器等的时序滤波器来估计位置姿势。在基于时序滤波器来估计位置姿势的情况下，可以根据一个几何特征来估计位置姿势。

基于一个几何特征的位置姿势估计仅对位置姿势的6自由度参数中该几何特征的贡献度高的参数进行估计。由于该原因，在仅选择容易有助于估计并且与相似的自由度相对应的几何特征的情况下，无法估计位置姿势的所有6自由度。

因此，在基于一个几何特征的信息来使用扩展Kalman滤波器执行位置姿势估计的情况下，从三维形状模型中选择出的几何特征的顺序对于高效估计而言是重要的。以下将与本发明的信息处理设备适用于使用扩展Kalman滤波器的位置姿势估计的情况相关联地说明该处理的详细内容。

在步骤S2300中，选择用于更新位置姿势的几何特征。在上述实施例中，选择位置姿势计算时所使用的6个几何特征。然而，在基于扩展Kalman滤波器的位置姿势估计中，仅需选择至少一个信息以使得能够进行估计。由于该原因，在本变形例中，在步骤S2300的处理中，随机选择一个几何特征。

接着，在步骤S2400中，根据所选择的几何特征和图像之间的关联结果，通过基于扩展Kalman滤波器的滤波处理来更新位置姿势。由于基于所选择的一个几何特征和关联数据的扩展Kalman滤波器的计算方法本身与本发明的主旨无关，因此将不给出针对该计算方法的详细说明。技术人员将知晓例如Y.Hel-Or,M.Werman,“Pose estimation by fusingnoisy data of different dimensions,”IEEE Transactions on Pattern Analysis andMachine Intelligence,vol.17,no.2,pp.195-201,1995，因而无需针对该处理的详细说明。在基于一个几何特征量的位置姿势更新处理完成时，在步骤S2500中判断是否迭代重复位置姿势更新处理。

作为判断方法，例如，预先确定针对位置姿势处理要花费的处理时间的限制，并且迭代重复该更新处理直到达到该限制为止。在更新处理要结束的情况下，将当前位置姿势确定为最终位置姿势，由此结束信息处理设备1的处理。在再次执行位置姿势更新处理的情况下，该处理返回至步骤S2300，并且选择新的几何特征。此时，由于该几何特征不是从先前选择的几何特征所属的簇中选择的，因此可以选择对位置姿势估计的影响不相似的几何特征。

如上所述，使用几何特征组的位置姿势估计方法不限于上述实施例。没有特别限制位置姿势估计方法，只要可以使用从几何特征簇中选择出的几何特征来估计位置姿势即可，并且可以使用任何其它方法。

第六变形例

在上述实施例和变形例中，已经说明了非线性最小二乘法和基于时序滤波器的方法作为基于图像和几何特征之间的关联结果的位置姿势估计方法。然而，要应用于本发明的信息处理设备的位置姿势估计方法不限于这些方法。例如，本发明可应用于通过基于几何特征和图像之间的关联结果的匹配来计算位置姿势的情况。

在这种情况下，例如，在步骤S2400中，生成大量的位置姿势作为对象物体的位置姿势，从而在使近似位置姿势作为中心的预定范围内全面地覆盖6自由度的值。

接着，通过评价与所生成的位置姿势相对应的几何特征以及灰度图像和距离图像之间的匹配程度，来估计对象物体的位置姿势。更具体地，作为要搜索的位置姿势的设置，将位置姿势的6自由度的所有组合的值设置为使所输入的近似位置姿势值作为中心。此时，没有特别限制要全面设置的位置的最大宽度和步宽的设置以及要全面设置的姿势的最大宽度和步宽的设置。在本变形例中，通过将位置的最大宽度设置为等于对象物体的大小、将姿势的最大宽度设置为90°、将位置的步宽设置为1mm并将姿势的步宽设置为1°，来设置要搜索的位置姿势。然后，选择一组所设置的位置姿势，并且基于所选择的位置姿势来使距离图像中的三维点群、灰度图像上的边缘和所选择的几何特征彼此相关联。

然后，通过基于几何特征与灰度图像和距离图像之间的关联数据计算测量数据和几何特征之间的误差，来计算表示匹配程度的评价值。通过将上述处理应用于所设置的所有位置姿势，搜索与最高评价值相对应的位置姿势值。

然后，输出与最高评价值相对应的位置姿势作为对象物体的最终位置姿势。如上所述，基于所选择的几何特征的位置姿势估计方法不限于最小二乘法和基于时序滤波器的方法。没有特别限制位置姿势计算方法，只要可以估计与所选择的应用于灰度图像和距离图像的几何特征相对应的位置姿势即可，并且可以使用任何其它方法。

第七变形例

上述实施例已说明了拍摄灰度图像和距离图像的情况。然而，本发明的信息处理设备不限于拍摄灰度图像和距离图像这两者的情况。

例如，本发明的信息处理设备可应用于仅拍摄距离图像的情况。本变形例的信息处理设备具有从图1所示的结构中去除二维图像拍摄装置20的结构。

此外，除了省略步骤S2100中的灰度图像输入处理并且省略步骤S2400中的灰度图像和几何特征之间的关联处理以外，位置姿势估计处理与上述实施例的位置姿势估计处理相同。

同样，本发明的信息处理设备可应用于仅拍摄灰度图像的情况。在这种情况下，本变形例的信息处理设备具有从图1所示的结构中去除距离图像拍摄装置30的结构，并且除了省略步骤S2100中的距离图像输入处理并且省略步骤S2400中的距离图像和几何特征之间的关联处理以外，位置姿势估计处理与上述实施例的位置姿势估计处理相同。

第八变形例

作为几何特征分组单元140中关于对位置姿势参数的影响相似的几何特征的分组方法，上述实施例已经说明了基于几何特征的Jacobian的分组方法。然而，几何特征分组方法不限于根据Jacobian的相似度的方法。例如，在设置在三维形状模型的线或面上的几何特征中，将与这些线或面的相似角度或位置相对应的几何特征判断为对位置姿势参数的影响相似。然后，可以将与这些线或面的相似角度或位置相对应的几何特征分成一个组。

如上所述，根据本发明的信息处理设备1不限于获得灰度图像和距离图像这两者的情况，并且可以毫无问题地应用，只要获得任一个图像即可。

第二实施例

作为根据本发明的信息处理设备1的应用示例，可以使用以下方面。也就是说，在一个使用示例中，基于二维图像拍摄装置20所获得的二维图像和距离图像拍摄装置30所获得的距离图像来估计被测物体60的位置姿势，并且基于所估计出的位置姿势来对工业机器人臂部(机器人50)进行控制以把持该物体。以下将参考图8来说明根据本发明另一实施例的信息处理设备1的应用示例。图8示出使用信息处理设备1和机器人50来把持被测物体60的机器人系统的结构示例。

机器人50由机器人控制器40来控制以使其手部移动至指示位置，从而把持物体。由于被测物体60在作业台上的位置改变，因此必须估计被测物体60的当前位置姿势以执行机器人的把持控制。

二维图像拍摄装置20是用于拍摄正常二维图像的照相机，并且距离图像拍摄装置30是用于测量相对于物体表面的距离的距离传感器。这些摄像装置配置在工业机器人臂的手部中的拍摄被测物体60的图像的位置处。

信息处理设备1基于从二维图像拍摄装置20获得的二维图像和从距离图像拍摄装置30获得的距离图像来估计被测物体60的位置姿势。将信息处理设备1所估计的被测物体60的位置姿势输入至机器人控制器40，由此控制机器人以例如把持被测物体60。由于本发明的信息处理设备对被测物体60的位置姿势进行估计，因此即使在被测物体60的位置不确定的情况下，机器人系统也可以把持被测物体60。

已经详细说明了这些实施例，但本发明例如可以采用以系统、设备、方法、程序或存储介质的形式的实施例。更具体地，本发明可以应用于包括多个装置的系统或者包括单个装置的设备。

注意，本发明包括如下情况：在将软件程序直接或远程地供给至系统或设备、并且该系统或设备的计算机读出并执行所供给的程序代码的情况下，实现了上述实施例的功能。在这种情况下，所供给的程序是与这些实施例的附图所示的流程图相对应的计算机程序。

因此，为了使用计算机来实现本发明的功能处理，安装在该计算机中的程序代码自身实现了本发明。也就是说，本发明包括实现本发明的功能处理所需的计算机程序自身。

在这种情况下，程序的形式可以是目标代码、解释器所执行的程序或者要供给至OS的脚本数据，只要它们具有程序的功能即可。

供给计算机程序所需的计算机可读存储介质例如包括软盘、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM和DVD(DVD-ROM、DVD-R)等。

另外，作为程序供给方法，可以使用客户端计算机的浏览器建立到因特网上的主页的连接，并且可以从该主页将本发明的计算机程序下载至诸如硬盘等的记录介质。在这种情况下，要下载的程序可以是包括自动安装功能的压缩文件。包括在本发明实施例的程序中的程序代码被分割成多个文件，并且可以从不同主页下载各个文件，由此实现本发明的实施例。也就是说，允许多个用户下载利用计算机实现功能处理所需的程序文件的WWW服务器包括在本发明的实施例中。

此外，可以将本发明的实施例中的加密程序存储在诸如CD-ROM等的存储介质中，从而可以传送至用户。在这种情况下，允许满足预定条件的用户经由因特网从主页下载对该加密程序进行解密所需的密钥信息，并且执行使用该密钥信息解密后的程序，由此将该程序安装在计算机中。

可以在计算机执行读出程序的情况下实现上述实施例的功能。另外，基于该程序的指示，可以与运行在计算机上的OS等协作实现这些实施例的功能。在这种情况下，OS等执行实际处理的一部分或全部，由此实现上述实施例的功能。

此外，可以将从记录介质读出的程序写入插入计算机的功能扩展板或连接至计算机的功能扩展单元中所包括的存储器内，由此实现上述实施例的功能的一部分或全部。在这种情况下，在将程序写入功能扩展板或单元之后，包括在该功能扩展板或单元中的CPU等基于该程序的指示来执行实际处理的一部分或全部。

如上所述，根据这些实施例，使用位置姿势为已知的参考图像(在先前帧中通过拍摄观察对象物体的图像所获得的所拍摄图像或者利用纹理数据所设置的模型图像)来确定要使用的图像特征。然后，使用这些图像特征，计算与当前帧相关联的摄像装置的位置姿势，由此提高位置姿势估计的稳定性。也就是说，根据这些实施例，在从观察对象物体的三维模型数据中提取出的三维线段模型显著不同于所拍摄图像中可以从观察对象物体提取出的特征的情况下，可以稳定地估计位置姿势。使用除了从三维模型中提取出的几何特征以外的基于观察对象物体的表面颜色的特征，可以利用未包括在三维模型数据中的信息来估计位置姿势。

第三实施例

本实施例通过使用形状与被测物体相同的三维形状模型进行模型拟合来估计作为位置姿势估计对象的被测物体的位置姿势。在本实施例的关联处理中，首先执行以下处理。也就是说，基于被测物体相对于用于拍摄该被测物体的图像的摄像装置的位置姿势的近似值(位置姿势近似值)，来计算三维形状模型的几何特征(在本实施例中，设置在三维形状模型的线段和面上的采样点)在所拍摄图像上的位置。接着，在所拍摄图像中搜索与这些采样点相对应的点(对应点)，并且计算采样点和对应点之间的距离(对应间距离)。假定在本实施例中，该所拍摄图像包括灰度图像和距离图像。

在本实施例中，精确地去除混入关联结果中的离群值(outlier)。由于该目的，在本实施例中，在搜索与采样点相对应的对应点并计算对应间距离之前，“对采样点进行分类以使得预测到相似的对应间距离的采样点属于同一组”。然后，在搜索到与采样点相对应的对应点之后，针对各组判断搜索结果(关联结果)。

在同一组中，期望正确关联的采样点的对应间距离彼此相似。假定关联结果中的离群值为少数，则在各组中关联了采样点之后，组内具有相似的对应间距离的对应不太可能是离群值，并且具有与这些相似距离不同的对应间距离的对应更有可能是离群值。因而，基于各组的对应间距离的分布来判断离群值，并且使用除离群值以外的对应间距离来执行精度和鲁棒性高的位置姿势估计。

注意，为了估计作为被测物体的组件的位置姿势，将形状与该组件相同的三维形状模型投影到包括该组件的图像上，并且在该图像上使该组件和该三维形状模型彼此相关联。此时，以下将参考图9来说明基于传统方法的关联处理的情况。

如图9所示，在图像中出现组件5102。此外，基于组件5102的位置姿势近似值而投影到该图像上的三维形状模型以叠加方式显示在该组件5102上。然而，图9的形状模型是为了便于说明而显示的。形状模型实际并未投影到图像上，并且计算采样点在该图像上的位置。在关联处理中，搜索三维形状模型5101上的与采样点5103相对应的点，以检测对应点。在图9中，作为对应点，搜索组件5102的边上的点5104。接着，计算连接采样点5103和点5104的线段的长度作为对应间距离5105。

注意，图9示出作为对应点而误关联的点5106和5107作为离群值。由于统计地使用所有采样点的对应间距离以判断离群值，因此容易对具有与如点5106那样的其它采样点极大不同的对应间距离的对应进行判断。然而，难以对具有与如点5107那样的统计上的标准对应间距离更接近的对应间距离的对应进行判断。

作为对比，在图10中，对采样点分组，并且针对各组判断离群值。执行分组，以使得预期具有相似的对应间距离的采样点被分类成同一组。例如，将同一线段上的相邻采样点分类成如组5201那样的同一组。如从图10可以看出，在同一组内，期望正确关联的采样点具有相似的对应间距离。因此，在针对各组执行离群值判断的情况下，可以以较高可靠性来判断甚至如点5107那样的偏差小的离群值。

以下将参考图11所示的框图来说明根据本实施例的信息处理设备的功能结构的示例。如图11所示，摄像装置5310连接至信息处理设备5300。首先将说明摄像装置5310。

摄像装置5310具有拍摄场景的二维图像所需的照相机功能以及获取距离图像所需的距离传感器。在本实施例中，假定摄像装置5310拍摄被测物体的图像。

二维图像可以是灰度图像或彩色图像。在假定二维图像是灰度图像的情况下给出以下说明。利用以下文献中所述的方法来预先校准诸如用于拍摄图像的照相机的焦距和主点位置以及镜头失真参数等的固有参数：

R.Y.Tsai,“A versatile camera calibration technique for high-accuracy3D machine vision metrology using off-the-shelf cameras and lenses,”IEEE Journal of Robotics and Automation,vol.RA-3,no.4,1987。

作为距离传感器，使用主动型传感器，其中该主动型传感器对照射对象(在这种情况下为被测物体)所利用的激光束的反射光进行拍摄，并且通过三角测量来测量距离。然而，距离传感器不限于此，并且可以使用任何其它传感器，只要这些传感器测量距离图像即可。假定照相机和距离传感器之间的相对位置姿势是固定的，并且预先校准该相对位置姿势。例如，可以使用以下校准方法。也就是说，在该方法中，从各种方向观察三维形状已知的校准物体，并且根据基于二维图像的校准物体的位置姿势和基于距离图像的校准物体的位置姿势之间的差异来计算相对位置姿势。

将摄像装置5310所获得的二维图像和距离图像输入至信息处理设备5300。注意，这些二维图像和距离图像可以是预先拍摄的，并且可以存储在任意存储装置中。在这种情况下，将二维图像和距离图像从该存储装置输入至信息处理设备5300。也就是说，利用信息处理设备5300的二维图像和距离图像的获取方法不限于特定方法。然而，在任意情况下，假定从(后面要说明的)位置姿势近似值输入单元5303输入被测物体相对于拍摄二维图像和距离图像的装置的位置姿势近似值。这些位置姿势近似值也是在以被测物体为基准的情况下相对于该被测物体的视点的位置姿势近似值。

以下将说明信息处理设备5300。将从摄像装置5310输出的二维图像和距离图像经由图像输入单元5301输入至关联单元5305。

形状模型保持单元5302保持形状与被测物体的形状相同的三维形状模型信息(模型信息)、以及预先设置在该三维形状模型上的各采样点的位置信息。

利用模型信息要表示的三维形状模型例如包括基于三维CAD数据的三维形状模型。更具体地，三维形状模型包括：利用三维CAD软件可以处理的CAD模型本身；或者包含计算机图形领域所使用的并且通过对三维CAD模型转换所获得的多个多边形元素的模型。在假定三维模型是包括多个多边形的模型的情况下给出以下说明。以下将参考图12A～12F来说明本实施例中使用的模型信息的结构示例。

如图12A～12F所示，三维模型包括诸如点、线(边)和面等的元素。图12A～12C示出相同的三维形状模型。图12A～12C示出从特定视点观察时的顶点、边和面，并且没有示出从该视点无法观察到的顶点、边和面。

如图12D～12F所示，这种三维形状模型的模型信息包括各顶点的索引和坐标值、各边的索引和这些边各自两端的顶点的索引、各面的索引、这些面各自的边的索引、以及法线矢量成分。可以以三维形状模型的局部原点为基准来设置各顶点的坐标值，或者没有特别限制要用作基准点的点。这同样适用于以下要说明的各采样点的位置信息。

采样点包括以下点：设置在三维形状模型的边上从而与灰度图像的边缘特征相关联的点(线采样点)；以及设置在三维形状模型的面上从而与距离图像中的三维点相关联的点(面采样点)。

在这种情况下，在关联处理中可以根据观察三维形状模型的图像上的线和面的方式来使用不同的采样点。例如，在将三维形状模型投影到图像上的情况下，如图12A～12C所示，可观察顶点P1～P4和P6，但无法观察顶点P5。此外，可观察边L1～L7、L10和L11，但无法观察边L8、L9和L12。此外，可观察面S1、S3和S4，但无法观察面S2、S5和S6。

因此，预先提取该三维形状模型上从设置在包围三维形状模型的测地线球体的各顶点上的多个视点可观察的边和面，并且在这些边和面上设置采样点。将各视点处可观察的采样点群的位置保存作为视点依赖数据组。因而，可以获取到与视点和三维形状模型之间的各种位置姿势关系相对应的采样点群。

位置姿势近似值输入单元5303获取被测物体相对于摄像装置5310的位置姿势近似值。假定这些位置姿势近似值是通过对灰度图像进行诸如模板匹配等的预处理而预先确定的。在顺次迭代重复位置姿势估计处理的情况下，可以在无需配置位置姿势近似值输入单元5303的情况下使用紧前的位置姿势估计处理中所估计出的结果作为位置姿势近似值。

几何特征分组单元5304从形状模型保持单元5302获取形状模型保持单元5302所保持的针对各视点的采样点群中的、与从位置姿势近似值输入单元5303所输入的位置姿势近似值相对应的采样点群。然后，几何特征分组单元5304将从形状模型保持单元5302获取到的采样点群分类成多个组，以使得“预期具有相似的对应间距离的采样点被分类成同一组”。然而，由于对应间距离的尺度根据要关联的图像而不同，因此独立地对要与灰度图像的边缘特征相关联的线采样点和要与距离图像的三维点群相关联的面采样点进行分组。

关联单元5305将几何特征分组单元5304分类后的各采样点与从图像输入单元5301所接收到的灰度图像和距离图像相关联以搜索对应点，由此计算采样点和对应点之间的对应间距离。

关联评价单元5306针对各组来对关联单元5305所计算出的采样点的对应间距离进行评价，并且指定针对除作为离群值的对应点以外的对应点所计算出的对应间距离作为模型拟合时使用的对应间距离。

位置姿势估计单元5307利用关联评价单元5306指定的对应间距离来校正从位置姿势近似值输入单元5303输入的位置姿势近似值，由此计算被测物体的精度较高的最终位置姿势。

以下将参考示出信息处理设备5300为了使用模型拟合来估计被测物体的位置姿势而要执行的处理的流程图的图13来说明该处理。

步骤S5501

图像输入单元5301获取从摄像装置5310输出的被测物体的灰度图像和距离图像。灰度图像和距离图像的组合可以仅被输入一次，也可以被连续输入。对于后者情况，对各组应用以下处理。

步骤S5502

几何特征分组单元5304从位置姿势近似值输入单元5303获取位置姿势近似值。

步骤S5503

几何特征分组单元5304从形状模型保持单元5302获取形状模型保持单元5302所保持的针对各视点的采样点群(位置信息群)中的、与从位置姿势近似值输入单元5303获取到的位置姿势近似值相对应的采样点群。也就是说，几何特征分组单元5304获取从测地线球体的各顶点中的如下视点所获取到的采样点群，其中该视点最接近从位置姿势近似值输入单元5303获取到的位置姿势近似值。

然后，几何特征分组单元5304将从形状模型保持单元5302获取到的采样点群分类成多个组。以下将说明将采样点群分类成多个组中的各个组的方法。

执行分组处理以将预期具有相似的对应间距离的采样点分类成同一组。由于对应间距离的相似度与例如采样点的Jacobian有关，因此可以基于Jacobian的相似度来对采样点进行分组。注意，Jacobian是指表示对应间距离相对于位置姿势的6自由度的微小变化如何增减的一次偏微分的矩阵。

以下将说明可以根据采样点的Jacobian所确定的对应间距离的相似度。以下将检查这种情况：将三维形状模型投影到具有特定位置姿势近似值x的图像上，并且将投影后的三维形状模型上的采样点与具有位置姿势真值x_C的被测物体相关联。在该关联处理中，以使各采样点作为基点的方式搜索对应点，并且在该关联处理的空间上计算这两者的距离。通过以下等式来定义针对采样点i(i=1,...,n)所计算出的对应间距离Δz_i。

Δz_i=h(x_C,i)-h(x,i) (6)

其中，h是用于将三维形状模型上的采样点的位置转换到关联空间上的公式。注意，在该关联空间上，针对基于位置姿势近似值的采样点位置h(x,i)，将基于位置姿势真值的采样点位置h(x_C,i)表示为理想对应点位置。对应间距离Δz_i根据位置姿势近似值x的偏差量Δx=(x-x_C)非线性地增减。然而，在假定Δx极微小的情况下，使用h(x,i)的一阶偏微分(Jacobian)的线性近似可以将上述等式(6)表示为如下。

$\begin{array}{c}{\mathrm{\Δz}}_i\≅H_i\·(x_C-x)=H_i\·\mathrm{\Δx}\\ H_i=\frac{\∂h(x,i)}{\∂\left(x\right)}\end{array}---\left(7\right)$

其中，H_i表示要测量的对应间距离相对于位置姿势近似值的6自由度的极微小变化如何增减。如从等式(7)可以看出，由于Δx取值为不依赖于采样点的恒定值，因此根据各采样点所计算出的对应间距离Δz_i跟随Jacobian H_i。也就是说，通过基于Jacobian的相似度对采样点分组，可以将这些采样点分类成预期具有相似的对应间距离的采样点群。

以下将说明基于Jacobian的相似度对采样点分组的方法的详细内容。在本实施例中，将说明基于k-means法的分组方法。然而，分组方法不限于基于k-means法的分组方法，并且可以使用任何其它方法，只要这些方法可以将Jacobian相似的采样点分类成同一组即可。

设H_i是要分组的采样点i的Jacobian、并且M(M是等于或大于2的自然数)是组的总数。最初，从n个Jacobian中选择M个Jacobian(代表Jacobian)。这M个Jacobian可以是随机选择的或按预定顺序选择的。然后，将所选择的M个Jacobian HS(1)～HS(M)分别设置为M个组G1～GM的基准C(1)～C(M)(即，C(j)=HS(j)，j=1,...,M)。

接着，作为处理1，将各采样点i分类到与最小距离|H_i-C(j)|相对应的组Cj。注意，该距离|H_i-C(j)|是指利用Jacobian H_i的协方差矩阵标准化得到的马氏(Mahalanobis)距离。

接着，作为处理2，计算分类到组j的所有采样点的Jacobian的平均值，并且利用计算出的平均值来更新C(j)。然后，迭代重复处理1和2，直到不再更新C(j)为止。利用这些处理，可以基于所期望的对应间距离的相似度来对采样点群进行分组。

步骤S5504

关联单元5305对步骤S5503中从形状模型保持单元5302获取到的各采样点执行关联处理从而搜索采样点的对应点，由此计算与所找到的对应点的距离(对应间距离)。将该关联处理单独地应用于灰度图像和距离图像。

也就是说，在对灰度图像应用这种关联处理的情况下，从线采样点中搜索灰度图像上的边缘特征作为对应点，并且计算所找到的对应点和线采样点之间的对应间距离。

此外，在对距离图像应用这种关联处理的情况下，从面采样点搜索距离图像的深度方向上的对应点，并且计算所找到的对应点和面采样点之间的对应间距离。关于对应点搜索方法的详细内容，例如请参考<文献1>Tateno,Kotake和Uchiyama,“A Model FittingMethod Using Intensity and Range Images for Bin-Picking Applications,”13thMeeting on Image Recognition and Understanding(MIRU2010),OS5-1,2010。

步骤S5505

关联评价单元5306通过评价关联单元5305针对各采样点计算出的对应间距离来指定模型拟合时所使用的对应间距离。针对各组评价对应间距离。

由于期望同一组内的正确关联的采样点具有相似的对应间距离，因此以各对应间距离相对于通过关联处理所获得的对应间距离分布的标准值的差异程度为基准来判断离群值。以下将说明该判断方法的处理的详细内容。

设D_k(k=1,...,l:l是属于同一组的采样点(对应间距离)的数量)是根据属于该组的采样点群所计算出的对应间距离。然后，将D_k的中值D_m设置为对应间距离分布的标准值(基准距离)。对于满足k=1,...,l的所有“k”，计算|D_k-D_m|，并且在该计算结果等于或大于阈值T(等于或大于规定值或预定值)的情况下，判断为离群值，并且判断为模型拟合时不使用D_k。另一方面，在|D_k-D_m|小于阈值T(小于规定值)的情况下，判断为非离群值，并且判断为模型拟合时使用D_k。

注意，计算出|D_k-D_m|作为基于D_k的方差值的Mahalanobis广义距离。此外，同一组的对应间距离分布的标准值的测量方法不限于设置上述中值的方法。例如，可以使用平均值。

步骤S5506

位置姿势估计单元5307使用关联评价单元5306判断为模型拟合时使用的对应间距离来对从位置姿势近似值输入单元5303所获取到的位置姿势近似值进行校正，由此以较高精度估计位置姿势。通过计算对应间距离的最小二乘法的解来计算校正量。由于基于最小二乘法的位置姿势估计算法与本发明的主旨无关，因此不给出针对该算法的详细说明。关于该处理的详细内容，技术人员例如将参考上述文献1的主题。注意，位置姿势估计方法不限于最小二乘法，并且可以使用任何其它方法，只要这些方法可以校正位置姿势从而缩短关联的对应间距离即可。

如上所述，根据本实施例，针对各组评价关联结果，可以去除要混入的离群值，并且使用离群值被去除的对应间距离来执行位置姿势估计。因而，可以实现精度和鲁棒性高的位置姿势估计处理。

第四实施例

在本实施例中，在同一组内根据相对于基准采样点的对应间距离Dm的差来对对应间距离进行加权。通过根据权重来使用对应间距离执行位置姿势估计，实现了精度和鲁棒性高的位置姿势估计处理。以下将说明加权处理的详细内容。

设D_k(k=1,...,l:l是属于同一组的采样点(对应间距离)的数量)是根据属于该组的采样点群所计算出的对应间距离。然后，将D_k的中值D_m设置为对应间距离分布的标准值。对于满足k=1,...,l的所有“k”，计算差|D_k-D_m|。根据该差，计算通过Tukey函数所指定的权重值，并且利用所计算出的权重值对D_k进行加权。通过以下来表示Tukey函数。

$w\left(D_k\right)=\left\{\begin{array}{cc}{(1-{\left(\frac{|D_m-D_k|}{W}\right)}^2)}^2& |D_m-D_k|\&le;W\\ 0& |D_m-D_k|>W\end{array}\right.---\left(8\right)$

其中，w(D_k)是针对D_k的权重值，并且W是常数。注意，给出权重值的函数无需是Tukey函数，并且可以使用诸如Huber函数等的任何其它函数，只要这些函数针对相对于中值D_m的差小的D_k赋予大的权重值、并且针对差大的D_k赋予小的权重值即可。

然后，根据所获得的权重对位置姿势进行校正，从而使各采样点的对应间距离最小。根据权重的位置姿势估计方法与本发明的主旨无关。技术人员例如将参考描述了具体校正方法的文献1。

如上所述，根据本实施例，通过针对各组评价关联结果来对这些关联结果进行加权，然后根据权重来使用对应间距离来执行位置姿势估计。因而，降低了离群值的影响，由此使得能够进行精度和鲁棒性高的位置姿势估计处理。

第三实施例和第四实施例的第一变形例

第三实施例和第四实施例以输入了灰度图像和距离图像这两者为前提。然而，在其它实施例中，可以仅输入灰度图像和距离图像中的一个。在这种情况下，第三实施例和第四实施例中所述的处理仅需应用于所输入的该一个图像即可。

第三实施例和第四实施例的第二变形例

在第三实施例和第四实施例中，在处理的序列期间，几何特征分组单元5304将采样点分类成组。然后，可以针对各视点预先执行该分组处理。在这种情况下，几何特征分组单元5304基于与从位置姿势近似值输入单元5303所获取到的位置姿势近似值最接近的视点来获取预先执行的分组处理的结果。将针对各视点预先获得的分组结果存储在诸如形状模型保持单元5302等的适当存储器中。

第三实施例和第四实施例的第三变形例

第三实施例和第四实施例已经说明了如下情况：几何特征分组单元5304根据采样点的Jacobian的相似度来执行分组，从而对预期具有相似的对应间距离的采样点进行分组。然而，采样点的分组方法不限于根据Jacobian的相似度的分组方法。例如，假定设置在三维形状模型的线或面上的采样点中的与线或面的相似角度或位置相对应的采样点预期具有相似的对应间距离。然后，可以执行分组，以使得将与线或面的相似角度或位置相对应的采样点分类到同一组。

第三实施例和第四实施例的第四变形例

在第三实施例和第四实施例中，使用设置在三维形状模型上的采样点作为三维形状模型的几何特征以提供关联处理的基准。然而，几何特征不限于采样点，并且可以使用任何其它几何特征，只要可以搜索到图像上的特征与三维形状模型上的特征之间的对应关系即可。例如，代替采样点而可以使用三维形状模型的线或面本身作为几何特征，并且将这些线或面与图像上的相似特征相关联，由此计算对应间距离。在这种情况下，对几何特征进行分组，以使得将与线或面的相似Jacobian或相似角度或位置相对应的几何特征分类到同一组。

第五实施例

本实施例将说明第三实施例和第四实施例(包括变形例)的信息处理设备5300的应用示例。在信息处理设备5300的一个应用示例中，基于从摄像装置5310获得的二维图像和距离图像来估计被测物体的位置姿势。工业机器人臂把持该物体。以下将参考图14来说明该示例。

图14是示出使用信息处理设备5300和机器人5620来把持被测物体5610的机器人系统的结构的示例。机器人5620由机器人控制器5630来控制，使机器人臂的手部移动至机器人控制器5630所指定的位置，并且以机器人控制器5630所指定的姿势把持物体。

由于每次将被测物体5610放置在作业台上时该物体的位置姿势改变，因此必须估计被测物体5610的当前位置姿势，并且必须执行以所估计出的姿势把持位于所估计出的位置处的物体所需的把持控制。摄像装置5310设置在工业用机器人臂的手部中可以拍摄被测物体5610的图像的位置处。

信息处理设备5300基于从摄像装置5310获得的二维图像和距离图像来估计被测物体5610的位置姿势。将信息处理设备5300所估计出的被测物体5610的位置姿势输入(输出)至机器人控制器5630。机器人控制器5630对机器人5620(机器人臂)进行控制以把持位于所输入的位置姿势的被测物体5610。因而，即使在被测物体的位置不确定的情况下，机器人系统也可以通过执行位置姿势估计来把持该被测物体。

第六实施例

包括在图11所示的信息处理设备5300中的所有单元可以利用硬件组件来实现。然而，图像输入单元5301、几何特征分组单元5304、位置姿势近似值输入单元5303、关联单元5305、关联评价单元5306和位置姿势估计单元5307可以由软件来实现，并且形状模型保持单元5302可以由存储器来实现。在这种情况下，将该软件(计算机程序)安装在具有该存储器的诸如PC等的计算机中，并且该计算机的CPU执行该软件，由此实现这些单元的操作。

第三实施例至第六实施例已经说明了各种信息处理设备及其应用示例。然而，这种信息处理设备仅是以下结构的实施例：即，一种信息处理设备，用于通过使设置在被测物体的形状模型上的多个几何特征与包括该被测物体的图像相关联来估计该被测物体的位置姿势。

然后，该信息处理设备可以将形状模型上的几何特征分类成多个组(几何特征分类)，在图像中搜索形状模型上的几何特征的对应，并且计算几何特征和对应之间的对应间距离(关联)。然后，该设备可以针对几何特征的各组来评价对应(对应评价)，并且基于对应间距离和对应评价结果来估计被测物体的位置姿势。注意，基于所计算出的位置姿势，可以对具有包括转动轴和/或平移轴的可动轴的机器人进行操作。此外，无需估计位置和姿势这两者，并且可以仅估计这两者中的一个。

其它实施例

还可以通过读出并执行记录在存储器装置上的程序以进行上述实施例的功能的系统或设备的计算机(或者CPU或MPU等装置)和通过下面的方法来实现本发明的各方面，其中，系统或设备的计算机通过例如读出并执行记录在存储器装置上的程序以进行上述实施例的功能来进行上述方法的各步骤。由于该原因，例如经由网络或者通过用作存储器装置的各种类型的记录介质(例如，计算机可读介质)将该程序提供给计算机。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (25)

1.一种模型生成设备，包括：

模型输入单元，用于输入对象物体的三维形状模型；

设置单元，用于针对所述对象物体的三维形状模型，设置用于拍摄所述对象物体的三维形状模型的图像的至少一个虚拟摄像装置的至少一个位置姿势，由此设置所述对象物体的三维形状模型和所述虚拟摄像装置之间的相对位置姿势；

选择单元，用于选择所述设置单元所设置的虚拟摄像装置的至少一个位置姿势；以及

分组单元，用于基于以所述选择单元选择的所述虚拟摄像装置的位置姿势所要获得的图像与所述三维形状模型的几何特征之间的关系，来对几何特征进行分组，

其特征在于，所述分组单元还基于在所述选择单元所选择的所述虚拟摄像装置的位置姿势或者所述对象物体的位置姿势改变的情况下的、所述虚拟摄像装置要获得的图像的图像特征与所述三维形状模型的几何特征之间的关系的变化程度，来对几何特征进行分组。

2.根据权利要求1所述的模型生成设备，其中，所述分组单元还进行以下操作：

针对所述虚拟摄像装置的各位置姿势，在将所述对象物体的所述三维形状模型向着所述虚拟摄像装置要获得的图像进行映射的映射关系中，计算要进行几何特征的分组的所述对象物体的所述三维形状模型的几何特征的Jacobian；以及

基于所计算出的Jacobian的相似度来对几何特征进行分组。

3.根据权利要求1所述的模型生成设备，其中，所述分组单元还针对所述虚拟摄像装置的各位置姿势，来对几何特征进行分组。

4.根据权利要求1所述的模型生成设备，其中，所述设置单元还利用球体包围所述对象物体的所述三维形状模型，向所述球体分配纬度和经度，并且使用所分配的纬度和经度来设置所述虚拟摄像装置的位置姿势。

5.根据权利要求1所述的模型生成设备，其中，要获得的图像包括二维图像和距离图像之一或这两者。

6.根据权利要求1所述的模型生成设备，其中，还包括视点依赖模型保存单元，所述视点依赖模型保存单元用于成组地保存所述分组单元的结果和所述虚拟摄像装置的位置姿势，作为视点依赖模型。

7.一种信息处理设备，包括：

根据权利要求1所述的模型生成设备；

图像输入单元，用于输入虚拟摄像装置所拍摄的图像；

几何特征选择单元，用于从所述分组单元分组得到的组中选择几何特征；以及

计算单元，用于计算所述对象物体或所述虚拟摄像装置的位置姿势，以使得所述图像输入单元所输入的图像的特征与所述几何特征选择单元所选择的几何特征彼此一致。

8.根据权利要求7所述的信息处理设备，其中，所述图像输入单元所输入的图像的特征是边缘和三维点群之一或这两者。

9.根据权利要求7所述的信息处理设备，其中，所述分组单元对几何特征进行分组得到的组的数量不超过基于所述几何特征选择单元所选择的几何特征的数量的最大数量。

10.根据权利要求7所述的信息处理设备，其中，所述分组单元还对针对所述虚拟摄像装置或所述对象物体的位置姿势的变化的、所述图像的特征和所述三维形状模型的几何特征之间的关系的变化的程度相似的几何特征进行分组，以及

所述几何特征选择单元还从分组得到的组中的至少两个组各自选择至少一个几何特征。

11.根据权利要求7所述的信息处理设备，其中，所述分组单元还对针对所述虚拟摄像装置或所述对象物体的位置姿势的变化的、所述图像的特征和所述三维形状模型的几何特征之间的关系的变化的程度不相似的几何特征进行分组，以及

所述几何特征选择单元还从分组得到的组中的一个组选择几何特征。

12.根据权利要求7所述的信息处理设备，其中，所述图像输入单元所输入的图像是二维图像和距离图像之一或这两者。

13.根据权利要求7所述的信息处理设备，其中，还包括：

关联单元，用于从所述图像中搜索所述三维形状模型上的几何特征的对应特征，并且计算所述几何特征和所述对应特征之间的对应特征间距离；以及

对应特征评价单元，用于针对所述几何特征的各组来评价所述对应特征，

其中，所述计算单元还基于所述对应特征间距离和所述对应特征的评价来计算所述对象物体的位置姿势。

14.根据权利要求13所述的信息处理设备，其中，所述分组单元还对几何特征进行分组，以使得预期具有相似的所述关联单元所获得的对应特征间距离的几何特征属于同一组。

15.根据权利要求13所述的信息处理设备，其中，所述分组单元还基于所述三维形状模型上的几何特征的位置的相似度以及构成几何特征的线或面的方向的相似度之一或这两者来对几何特征进行分组，以使得预期具有相似的所述关联单元所获得的对应特征间距离的几何特征属于同一组。

16.根据权利要求13所述的信息处理设备，其中，所述对应特征评价单元还通过如下操作来进行所述几何特征的对应特征的评价方法：针对所述分组单元分组得到的各组来评价各几何特征的对应特征是否是误对应。

17.根据权利要求13所述的信息处理设备，其中，所述对应特征评价单元还通过如下操作来进行所述几何特征的对应特征的评价方法：针对所述分组单元分组得到的各组，使用误对应程度来评价几何特征的对应特征。

18.根据权利要求13所述的信息处理设备，其中，所述对应特征评价单元还通过如下操作来进行所述几何特征的对应特征的评价方法：针对所述分组单元分组得到的各组来计算包括在同一组中的所述几何特征的对应特征间距离的标准值，并且基于各所述几何特征的对应特征间距离和所述标准值之间的差来评价各几何特征的对应特征是否是误对应。

19.根据权利要求13所述的信息处理设备，其中，所述对应特征评价单元还通过如下操作来进行所述几何特征的对应特征的评价方法：针对所述分组单元分组得到的各组来计算包括在同一组中的所述几何特征的对应特征间距离的标准值，并且基于各所述几何特征的对应特征间距离和所述标准值之间的差、使用误对应程度来评价各对应特征。

20.根据权利要求13所述的信息处理设备，其中，所述计算单元还在不使用所述对应特征评价单元评价为误对应的所述几何特征的对应特征的情况下，计算所述对象物体的位置姿势。

21.根据权利要求13所述的信息处理设备，其中，所述计算单元还基于与所述对应特征评价单元所评价出的误对应程度相对应的所述几何特征的对应特征的权重，来计算所述对象物体的位置姿势。

22.根据权利要求7所述的信息处理设备，其中，还包括操作单元，所述操作单元能够基于所述计算单元所计算出的位置姿势来对具有包括转动轴和平移轴之一或这两者的可动轴的机器人进行控制。

23.一种模型生成设备所执行的模型生成方法，包括以下步骤：

模型输入步骤，用于输入对象物体的三维形状模型；

设置步骤，用于针对所述对象物体的三维形状模型，设置用于拍摄所述对象物体的三维形状模型的图像的至少一个虚拟摄像装置的至少一个位置姿势，由此设置所述对象物体的三维形状模型和所述虚拟摄像装置之间的相对位置姿势；

选择步骤，用于选择所述设置步骤中所设置的虚拟摄像装置的至少一个位置姿势；以及

分组步骤，用于基于以所述选择步骤中选择的所述虚拟摄像装置的位置姿势所要获得的图像与所述三维形状模型的几何特征之间的关系，来对几何特征进行分组，

其特征在于，所述分组步骤还基于在所述选择步骤所选择的所述虚拟摄像装置的位置姿势或者所述对象物体的位置姿势改变的情况下的、所述虚拟摄像装置要获得的图像的图像特征与所述三维形状模型的几何特征之间的关系的变化程度，来对几何特征进行分组。

24.一种信息处理设备所执行的信息处理方法，所述信息处理设备包括根据权利要求1所述的模型生成设备，所述信息处理方法包括以下步骤：

图像输入步骤，用于输入虚拟摄像装置所拍摄的图像；

几何特征选择步骤，用于从所述分组单元分组得到的组中选择几何特征；以及

计算步骤，用于计算所述对象物体或所述虚拟摄像装置的位置姿势，以使得所述图像输入步骤中所输入的图像的特征与所述几何特征选择步骤中所选择的几何特征彼此一致。

25.根据权利要求24所述的信息处理方法，还包括操作步骤，所述操作步骤用于基于所述计算步骤中所计算出的位置姿势来对具有包括转动轴和平移轴之一或这两者的可动轴的机器人进行操作。