CN103678754A - 信息处理装置及信息处理方法 - Google Patents

信息处理装置及信息处理方法 Download PDF

Info

Publication number
CN103678754A
CN103678754A CN201310379479.XA CN201310379479A CN103678754A CN 103678754 A CN103678754 A CN 103678754A CN 201310379479 A CN201310379479 A CN 201310379479A CN 103678754 A CN103678754 A CN 103678754A
Authority
CN
China
Prior art keywords
model
attitude
target object
geometric properties
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310379479.XA
Other languages
English (en)
Other versions
CN103678754B (zh
Inventor
渡边大辅
小林一彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN103678754A publication Critical patent/CN103678754A/zh
Application granted granted Critical
Publication of CN103678754B publication Critical patent/CN103678754B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Abstract

本发明提供一种信息处理装置及信息处理方法。获取包括对象物体的图像。获取所述对象物体的概略位置和姿态。保持以不同精度表示所述对象物体的形状的多个模型的信息。将所获取的图像中的所述对象物体的几何特征与以所述概略位置和姿态放置的所述多个模型中的至少一个表示的几何特征相关联。基于关联结果估计所述对象物体的位置和姿态。

Description

信息处理装置及信息处理方法
技术领域
本发明涉及信息处理装置及信息处理方法，具体地涉及获取具有三维形状的对象物体的位置和姿态的技术。
背景技术
存在一种称为模型视觉（Model-Based Vision）的可用技术，其获得通过范围拍摄等从对象物体的表面位置获取的三维点与从对象物体的三维形状模型提取的几何特征之间的对应关系，并通过使用对应点之间的距离作为评价函数来估计对象物体的位置和姿态。该技术需要预先获得对象物体的三维形状模型来估计位置和姿态参数。获得这种三维形状模型的方法包括使用由CAD软件获得的设计数据的方法以及使用模拟（近似）对象物体的形状的多边形模型的方法。
表示物体形状的CAD数据通过组合由参数所表现的多个部分形状来表现形状。各部分形状由表面和限定表面的轮廓的曲线构成。各表面由诸如圆锥或圆环曲面的分析曲面、或诸如B-Spline曲面或NURBS曲面的自由曲面表现。由这些参数表现的表面具有如下优点：能够以少量信息表现复杂的曲面形状。因此，通过使用CAD数据具有的各表面的参数估计物体的位置和姿态，能够高精度地计算模型上的几何特征，从而使得能够进行精确处理。这使得可以高精度进行处理。另一方面，当计算表面上的点或进行使用三维点的对应搜索时，该处理需要针对诸如NURBS曲面的自由曲面进行复杂的几何计算。此外，当进行针对轮廓线的内部/外部确定时，需要进行复杂的计算，从而导致长的处理时间。
另一方面，多边形模型通过多边形表面的组合来表现物体形状。多边形模型能够利用简单几何计算进行表面上的点的计算以及使用三维点的对应搜索，并具有计算负荷低的优点。与此相反，由于物体形状近似多边形，所以在物体形状和模型之间存在误差。存在利用非常小的多边形的集合近似表面来减少这种误差的可用方法。然而，随着容许误差的减小，所需的多边形的总数以指数方式增加。
作为应对各模型中问题的对策，存在通过组合由诸如CAD数据的参数表现的模型和多边形模式来实现高速、精确处理的可用方法。
例如，日本特开第2009-020671号公报公开了如下方法：预先保持包括表现曲面形状的参数和近似该形状的多边形模型的组合的模型，并且在针对基准表面上的格子的各顶点计算从基准表面到曲面形状的距离值时使用该方法。该方法得出多边形与从各格点延伸的垂直于基准表面的直线之间的交点的坐标，然后由曲面参数计算从交点到曲面形状的距离，从而校正从顶点到曲面形状的距离。
当计算基准表面上的各格点与曲面之间的距离时，上述方法首先经由多边形高速计算概略距离，然后通过根据曲面参数计算到与多变形相关的曲面的精确距离来修正概略位置，从而满足高速和高精度的要求。该方法获得基准表面上的各格点和模型之间的对应关系。然而，该方法不进行使用任意三维空间中的点的对应搜索，因此无法直接应用于模型与从对象物体的范围图像获得的三维点之间的定位。
发明内容
根据一个实施例，提供一种信息处理装置，该信息处理装置包括：图像获取单元，其用于获取包括对象物体的图像；用于获取所述对象物体的概略位置和姿态的单元；保持单元，其用于保持以不同精度表示所述对象物体的形状的多个模型的信息；关联单元，其用于将所获取的图像中的所述对象物体的几何特征与以所述概略位置和姿态放置的所述多个模型中的至少一个表示的几何特征相关联；以及估计单元，其用于基于关联结果估计所述对象物体的位置和姿态。
根据本发明的另一方面，提供了一种信息处理方法，该信息处理方法包括：获取包括对象物体的图像；获取所述对象物体的概略位置和姿态；保持以不同精度表示所述对象物体的形状的多个模型的信息；将所获取的图像中的所述对象物体的几何特征与以所述概略位置和姿态放置的所述多个模型中的至少一个表示的几何特征相关联；以及基于关联结果估计所述对象物体的位置和姿态。
通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
附图说明
图1是示出信息处理装置1的功能结构的示例的框图；
图2A和图2B是用于说明多边形模型和分段参数曲面模型（piecewiseparametric curved surface model）的图；
图3是示出由信息处理装置1进行的处理的流程图；
图4是示出由信息处理装置1进行的处理的流程图；
图5是示出信息处理装置2的功能结构的示例的框图；
图6是示出由信息处理装置2进行的处理的流程图；
图7A和图7B是示出模型坐标系中的三维点的图；
图8是示出由信息处理装置2进行的处理的流程图；
图9是示出系统的结构的框图；
图10是示出系统的操作的流程图。
具体实施方式
下面将参照附图描述本发明的示例性实施例。请注意，下面描述的各个实施例是本发明具体执行的示例并且是在权利要求的范围中描述的结构的具体实施例的示例。
根据一些实施例，可以精确地高速计算出对象物体和模拟对象物体的形状的模型之间的对应点间的距离。
一些实施例被构造为从对象物体形状的再现性方面不同的多条模型信息中选择用于处理的模型信息。通过选择适于处理的模型信息，能够精确地高速计算出对象物体和模拟对象物体的形状的模型之间的对应点间的距离。更具体地，在第一实施例中，根据基于例如残差（residualdifference）或修正计数的定义条件来切换要使用的模型信息。在第一实施例及其变形例中，当通过迭代操作修正位置和姿态信息时，可以在各个重复中使用不同的模型信息。此外，在第一实施例及其变形例中，当计算对应点之间的距离时，可以针对对象物体的各点使用不同的模型信息。在第二实施例及其变形例中，可以选择用于确定对象物体和模型表面之间的对应关系的模型信息以及用于计算对象物体和模型表面之间的距离的其他模型信息。如上所述，在下面的实施例中，当进行对象物体与模拟对象物体的形状的模型之间的定位时，可以通过同时使用多条模型信息进行处理。
[第一实施例]
本实施例旨在通过使用应被获得位置和姿态的对象物体的范围图像获得的三维点（对象物体的表面上的点）以及近似对象物体的形状的模型来获得对象物体的位置和姿态的处理。此时，在本实施例中，针对各个三维点，对利用多边形近似对象物体的形状的多边形模型以及利用参数曲面近似对象物体的形状的分段参数曲面模型进行切换并使用。
与使用分段参数曲面模型相比，通过使用多边形模型能够以更高的速度来搜索与对象物体的表面上的各三维点相对应的对应点。然而，由于多边形模型的形状与对象物体的形状具有近似误差，所以无法精确地计算对象物体与多边形模型之间的对应点间的距离。
使用分段参数曲面模型能够精确地计算上述距离。然而，由于需要确定表示各参数曲面上的物体形状的有效区域，所以进行计算需要很长时间。
在本实施例中，如果当前使用的模型与三维点之间的差分较大，则选择多边形模型择作为接下来使用的模型以高速进行位置和姿态计算。如果当前使用的模型与三维点之间的差分较小，则选择分段参数曲面模型作为接下使用的模型以高精度进行位置和姿态计算。
请注意，本实施例被构造为通过重复位置和姿态修正来执行定位，从而使物体表面的三维点与模型表面之间的对应点间的距离最小化。在本实施例中，针对三维点定位的残差被用作表示位置和姿态的适合度的指标。在这种情况下的残差是在修正过的位置和姿态中的三维点与三维形状模型表面上的点之间的距离。如果残差大，则确定估计的位置和姿态的偏移量较大。如果残差小，则确定偏移量较小。这使得通过根据针对各三维点的残差，在针对各三维点的多边形模型与分段参数模型之间切换，能够在满足高处理速度和高精度的要求的同时计算位置和姿态。
首先将参照图1的框图描述根据本实施例的信息处理装置1的功能结构的示例。模型保持单元11保持多边形模型的模型信息以及分段参数曲面模型的模型信息，所述多边形模型作为通过使用多边形来近似作为位置和姿态测量对象的对象物体的形状的模型，所述分段参数曲面模型作为通过使用参数曲面来近似对象物体的形状的模型。下面将参照图2A和图2B描述多边形模型和分段参数曲面模型。图2A和图2B分别示出了对应于同一对象物体的分段参数曲面模型（图2A）以及多边形模型（图2B）。
如图2A所示，分段参数曲面模型是通过组合由边界线界定的多个参数表现表面（分段参数曲面）来精确地表现对象物体的模型。本实施例将被称为修整曲面的表面作为分段参数曲面处理。修整曲面是由表现代表基本形状的基本曲面以及定义基本曲面上的有效区域的轮廓曲线的参数定义的表面。该表现方法被构造为通过使用平面内的区域中移动的两个参数u和v，根据三个连续函数x=f(u，v)、y=g(u，v)和z=h(u，v)来表现三维空间中的点P的坐标（x，y，z）。通过使用相对于由该表现表达的基本曲面的uv平面上的曲线来定义的有效区域表现对象物体的部分形状。参照图2A，阴影部分示出了修整曲面的示例。请注意，修整曲面的基本曲面有时由诸如球体、圆锥体或圆环曲面的分析曲面表现，或由诸如B-Spline曲面、NURBS曲面或Bezier曲面的自由曲面表现。一般的CAD数据由上述分段参数曲面模型构成。因此，如果能够从诸如IGES或STEP的标准化格式的数据获得对象物体的CAD数据，则可以直接使用数据作为分段参数曲面模型。然而，请注意，可以使用CAD数据以外的其他数据作为分段参数曲面模型。例如，本实施例可以使用通过分段隐函数曲面的组合来表现对象物体的模型。此外，本实施例可以使用任何类型的基本曲面，只要该基本曲面能够通过使用参数的数值计算精确地表现对象物体的形状，并计算位于距离具有三维坐标值的点（三维点）最短距离的表面上的点以及它们之间的距离。
接下来将描述多边形模型。如图2B所示，多边形模型是通过三角多边形的集合来近似表现对象物体的形状的模型。能够通过从CAD数据离散采样曲面上的点并连结采样点来获取多边形模型。通过各多边形的顶点的三维坐标值以及构成各多边形的顶点的连结信息来表示多边形模型。请注意，取代三角形，多边形可以是四边形或五边形。本实施例可以使用能够由表面的顶点的坐标以及构成表面的顶点的连结信息表现的任何其他类型的多边形。
表面位置获取单元12获取对象物体的表面上的各点（三维点）的位置（具有三维坐标值）。本实施例被构造为根据通过使用距离传感器拍摄对象物体而获得的范围图像的各像素的坐标位置以及像素的像素值（景深值），获得与各像素相对应的三维点的位置。可以使用有源型传感器作为距离传感器，该有源型传感器被设计为通过拍摄施加于对象物体的激光或狭缝光/随机点图案光的反射光，来通过三角测量测量距离。作为有源型距离测量方法，可以使用空间编码方法。要使用的距离传感器不限于此，可以使用基于使用光的飞行时间的Time-of-flight（飞行时间）方案的传感器。可选地，可以使用无源型传感器，无源型传感器通过三角测量由立体照相机拍摄的图像计算各像素的景深值。然而，获取对象物体的表面上的三维点的位置的方法并不限于上述方法，并且可以使用各种方法。例如，本实施例可以通过使用接触型三维测量装置获取对象物体的表面上的三维点，所述接触型三维测量装置通过将探针与表面接触来获取三维点的位置。
位置和姿态输入单元13向距离计算单元15及位置和姿态计算单元16提供表示对象物体的概略位置和姿态的位置和姿态信息。位置和姿态计算单元16通过稍后描述的处理修正位置和姿态信息。在获取到修正过的位置和姿态信息时，位置和姿态输入单元13再次向距离计算单元15及位置和姿态计算单元16提供所获取的位置和姿态信息。请注意，向距离计算单元15及位置和姿态计算单元16提供的位置和姿态信息不限于由位置和姿态计算单元16修正的位置和姿态信息。例如，该信息可以是通过基于过去的位置和姿态计算结果估计位置和姿态的改变量并通过由过去的位置和姿态以及所估计的改变量来预测当前的位置和姿态而获得的信息。如果预先已知放置对象物体的概略位置和姿态，则相应的值可以用作概略位置和姿态。此外，磁或光位置和姿态传感器可以被附装到测量对象物体以测量物体的位置和姿态。可选地，具有预定形状的标记可以被附加到对象。照相机捕获标记的图像以计算物体的位置和姿态。
假定对象物体的位置和姿态以及三维点的位置在以上述距离传感器的位置作为原点、范围图像的水平姿态和垂直姿态分别作为x轴和y轴、距离传感器的光轴作为z轴的坐标系（基准坐标系）中，除非另有规定。此外，利用被赋予模型的一个点作为原点并且在原点处相互垂直的三个轴分别作为x、y和z轴的坐标系（模型坐标系）来提供模型。
模型选择单元14针对对象物体的表面上的各三维点，从模型保持单元11中选择根据由匹配度计算单元17针对各三维点获得的匹配度决定的多边形模型信息和分段参数曲面模型信息中的一个作为的来自所选模型信息。
距离计算单元15获得对象物体的表面上的各三维点（几何特征）与、在由针对三维点选择的所选模型信息表示的模型被以由位置和姿态信息所表示的位置和姿态放置时模型上的与三维点相对应的对应点（几何特征）之间的距离。当使用多边形模型时，距离计算单元15通过搜索三维点与多边形之间的对应关系来获得三维点与多边形上的一个点之间的距离。当使用分段参数曲面模型时，距离计算单元15搜索点与曲面之间的对应关系以获得对应曲面和三维点之间的距离。
位置和姿态计算单元16修正当前的位置和姿态信息，以优化基于由距离计算单元15针对各三维点获得的距离的评价值。
匹配度计算部17获得针对对象物体的表面上的各三维点的残差。针对各三维点的残差是三维点与、当基于针对三维点选择的所选模型信息的模型被以由位置和姿态计算单元16修正的位置和姿态放置时该模型上的与三维点对应的对应点之间的距离。
接下来，参照示出由信息处理装置1进行的处理的图3的流程图来描述通过上述的迭代操作重复修正位置和姿态信息来获得对象物体的位置和姿态的处理。
<步骤S302中的处理>
表面位置获取单元12以上述方式从范围图像获取作为位置和姿态测量对象的对象物体的表面上的各点（三维点）的位置（包括三维坐标值）。在以下描述中，假定表面位置获取单元12获取了基准坐标系中N（N是等于或大于2的整数）个三维点kc_i（i=1，2，...，N）的位置。还假定已知范围图像中的像素和与该像素相对应的三维点之间的对应关系。
<步骤S303中的处理>
如下所述，本实施例被构造为通过提供表示对象物体的概略位置和姿态的位置和姿态信息并重复修正该信息来获得对象物体的位置和姿态。在步骤S303中，位置和姿态输入单元13获取表示对象物体在基准坐标系中的概略位置和姿态的位置和姿态信息作为该重复处理的初始值。
<步骤S304中的处理>
匹配度计算单元17初始化作为针对对象物体的表面上的各三维点的匹配度的残差er_i（i=1，2，...，N）。匹配度计算单元17设置足够大的值（例如，1000）作为各残差的初始值。
<步骤S305中的处理>
模型选择单元14选择未被选择的N个三维点中的一个。
<步骤S306中的处理>
模型选择单元14将阈值θ与在步骤S305中选择的针对三维点kc_i的残差er_i进行比较。预先设置的阈值θ是多边形模型与分段参数曲面模型之间的形状误差值。例如，当使用CAD数据作为分段参数曲面模型并通过对CAD数据进行镶嵌处理（tessellation processing）而生成多边形模型时，该装置将所生成的多边形与曲面之间的距离的容许值设置为多边形近似误差。该多边形近似误差可用作阈值θ。
如果以上比较结果表示er_i≥θ，则在该时间点的位置和姿态信息仍然可能包括大的误差。因此，在这种情况下，模型选择单元14针对三维点kc_i从模型保持单元11中选择允许快速几何计算的多边形模型作为用于获得对应点之间的距离的模型。
另一方面，如果er_i<θ，则针对该时间点的位置和姿态信息中的三维点的残差被视为近似于（小于）模型近似误差。因此，在这种情况下，模型选择单元14针对三维点kc_i从模型保持单元11中选择精确地表现形状的分段参数曲面模型作为用于获得对应点之间的距离的模型。
<步骤S307中的处理>
距离计算单元15将针对三维点kc_i选择的模型以由当前位置和姿态信息表示的位置和姿态放置，并获得三维kc_i与所放置的模型上的对应于三维点的对应点pm_i之间的距离（对应点之间的距离）。距离计算单元15根据针对三维点kc_i选择的模型是多边形模型还是分段参数曲面模型，来使用获得对应点之间的距离的不同方法。下面将描述当选择多边形模型以及当选择分段参数曲面模型时计算对应点之间的距离的方法。
<<当选择多边形模型时>>
首先，装置从多边形模型中搜索对应于三维点kc_i的多边形。在这种情况下，装置通过将多边形模型投影在范围图像上高速进行对应搜索，如在下面的文献(Oishi,Nakazawa,and Ikeuchi,"Fast SimultaneousAlignment of Multiple Range Images Using Index Images",vol.J89-D,no.3,pp.513-521,2006)中公开的方法。
首先，装置将多边形模型以由当前位置和姿态信息指示的位置和姿态来放置，并且基于已经校准的距离传感器的内部参数（透视投影参数）在图像缓冲器（信息处理装置1中的存储器）中描绘与范围图像具有相同大小的多边形模型。此时，装置在对各多边形分配唯一颜色的同时进行描绘。这使得可以使用颜色识别在范围图像上的各像素（同一位置）处投影的多边形。请注意，装置可以在GPU（图形处理单元）上高速进行多边形的描绘处理并读出图像作为描述结果。然后装置将与范围图像上的像素相对应的三维点kc_i与投影在像素上的多边形相关联。
然后装置将三维点kc_i的位置转换为多边形模型在模型坐标系中的位置km_i，并搜索从位置km_i延伸到与三维点kc_i相关联的多边形的垂线的底部的位置作为对应点pm_i的位置。装置获得位置km_i和对应点pm_i的位置之间的距离作为距离d_i。
请注意，将三维点kc_i与多边形上的点相关联的方法并不限于该方法。例如，装置可以使用称为正常拍摄的方法，该方法从三维点搜索与法线方向相交的多边形。在该方法中，装置由连结范围图像的相邻像素的三维点而获得的网格计算在各三维点处的法线。装置在基于概略位置和姿态将多边形模型的坐标系与各三维点的坐标系匹配时，搜索与从各三维点起沿法线方向的直线首先相交的多边形，并且将相交多边形与对应的三维点相关联。可选地，装置可以预先均匀地采样多边形上的点，基于概略位置和姿态将多边形模型的坐标系与三维点的坐标系匹配，并且使用将三维点与距离三维点最近的点所属的多边形相关联的最近邻搜索法。请注意，可以通过预先构建用于对包括各三维点和各多边形的界限盒（bounding box）进行分类的kd树（kd-tree）并且使用kd-tree进行搜索，来加速正常拍摄的处理或基于最近邻搜索的关联。可选地，装置可以预先均匀地采样多边形模型的多边形上的点，基于概略位置和姿态将这些点投影在范围图像上，并且将与投影像素链接的三维点与作为采样源的多边形相关联。装置可以使用能够唯一地将三维点与多边形模型的多边形相关联的任何方法，包括能够高速进行处理的关联方法。
<<当选择分段参数曲面模型时>>
装置从分段曲面模型中搜索与三维点kc_i相对应的修整曲面，并且计算从三维点kc_i到曲面的距离。设M是构成分段参数曲面模型的修整曲面的总数。首先，装置针对M个修整表面中的各个，通过使用各修整曲面的参数计算被转换到模型坐标系中的位置km_i、到各曲面的最短距离、以及位于最短距离的各曲面上的点。此时，装置计算各点，使得计算出的点存在于物体形状的有效区域。请注意，当进行这些计算时，装置可以使用根据曲面参数计算与三维点kc_i相对应的曲面上的对应点以及对应点之间的距离的一般方法。在这种情况下，设dt_j是第j个修整曲面与三维点kc_i之间的最短距离，pt_j是位于该距离的点。然后装置从M个修整曲面中选择具有最小值dt_j的修整曲面。装置获得所选择的修整曲面与三维点kc_i之间的距离d_i，以及位于该距离的点的位置作为对应点pm_i。
<步骤S308中的处理>
在步骤S308中，模型选择单元14确定是否已经选择了所有N个三维点。如果模型选择单元14确定选择了所有N个三维点，则处理进行到步骤S309。如果存在尚未被选择的任何三维点，则处理返回到步骤S305。
<步骤S309中的处理>
位置和姿态计算单元16针对从范围图像获得的三维点修正位置和姿态信息，使得针对各三维点选择的模型适合于三维空间。本实施例通过使用非线性优化方法的迭代操作修正位置和姿态信息来获得表示对象物体的位置和姿态的位置和姿态信息。
在步骤S309中，位置和姿态计算单元16针对从范围图像获得的三维点计算对象物体的位置和姿态，使得三维形状模型适合于三维空间。
设P为三维几何模型上的表面点。
P={pm_1，pm_2，...，pm_N}...（1）
设K是一组范围图像点。
K={km_1，km_2，...，km_N}...（2）
位置和姿态计算单元16将三维几何模型上的表面点P转换为范围点K。设bi∈K是距离点P中的各点pi最近的点K中的点，可以根据公式（3）定义误差函数。设R和t分别是姿态参数和移动向量。
E ( R , t ) = &Sigma; i = 1 N p | | b i - ( Rp i + t ) | | 2 . . . ( 3 )
位置和姿态计算单元16获得减小误差函数E的R和t，并根据数学表达式（4）进行修正：
P←RP+t...(4)
在下面的文献中公开了获得减小误差函数E的R和t的方法：
K.S.Arun,T.S.Huang,and S.D.Blostein,"Least-Squares Fitting of Two3-D Point Sets",PAMI,vol.9,no.5,1987。
在该步骤中，位置和姿态计算单元16可以通过取代ICP方法而使用诸如Gauss-Newton方法的非线性优化方法来计算对象物体的位置和姿态。在这种情况下，位置和姿态计算单元16基于在步骤S307中计算出的各三维点kc_i的对应点间的距离d_i以及对应点pm_i来优化位置和姿态。更具体地，位置和姿态计算单元16通过使用pm_i作为位置和姿态的小改变的函数的线性近似来表现步骤S307中计算出的距离d_i，并且基于各测量数据建立线性方程从而将距离减少到0。
位置和姿态计算单元16通过将这些线性方程作为联立方程来求解，获得对象物体的位置和姿态中的小改变，从而修正位置和姿态。请注意，非线性优化方法不限于Gauss-Newton方法。例如，位置和姿态计算单元16可以使用基于稳健计算的Levenberg-Marquardt方法或作为更简单的方法的最陡下降方法（steepest descent method）。可选地，位置和姿态计算单元16可以使用诸如共轭梯度方法和ICCG方法的其他非线性优化方法。
在这种情况下，位置和姿态计算单元16修正位置和姿态从而最小化作为评价函数的距离值。然而，要使用的优化方法不限于此。例如，位置和姿态计算单元16可以使用“Tateno,Kotake,and Uchiyama,"A ModelFitting Method Using Intensity and Range Images for Bin-PickingApplications",vol.J94-D,no.8,pp.1410-1422,2011.”中公开的方法。即，位置和姿态计算单元16可以利用这种方法将基于距离而计算的可能度作为评价值最大化来修正位置和姿态。此外，位置和姿态计算单元16可以使用修正位置和姿态以优化评价值的任何非线性优化方法。
以上描述关注获得位置和姿态信息修正量的作为已知参数并且通过基于所获得的修正量重复修正概略位置和姿态来计算最终位置和姿态的迭代求解技术。然而，位置和姿态计算单元16可以通过使用针对距离传感器表现对象物体的位置和姿态的六个自由度作为未知参数，由基于概略位置和姿态搜索到的对应结果直接计算未知参数。该方法通过使用最小二乘法，由基于概略位置和姿态的许多对应关系直接计算最终的位置和姿态。
<步骤S310中的处理>
匹配度计算单元17获得针对各三维点kc_i的残差er_i。匹配度计算单元17将由针对三维点kc_i选择的模型信息表示的模型以由步骤309中修正的位置和姿态信息表示的位置和姿态放置，并获得三维点kc_i与所放置的模型上的、对应于三维点kc_i的对应点之间的距离。所获得的距离是针对三维点kc_i的残差er_i。
即，匹配度计算单元17将针对三维点kc_i选择的模型放置在由修正的位置和姿态信息表示的位置和姿态处，并获得被转换为模型在模型坐标系中的位置的、三维点kc_i的位置km_i'与在步骤S307中获得的对应点pm_i之间的距离作为残差er_i。
<步骤S311中的处理>
位置和姿态计算单元16确定上述迭代运算是否已经收敛。在确定运算收敛时，位置和姿态计算单元16终止该迭代运算，并输出此时获得的位置和姿态信息作为表示对象物体的位置和姿态的位置和姿态信息。输出目的地并不限于特定的输出目的地。位置和姿态计算单元16可以将该信息输出到信息处理装置1的内部/外部的适当存储器或适当的外部装置。如果位置和姿态计算单元16确定运算不收敛，则处理返回到步骤S305。
当进行收敛确定时，如果针对所有三维点的残差的和或位置和姿态的修正量变为等于或小于预定值，则位置和姿态计算单元16可以确定运算收敛。可选地，如果位置和姿态计算单元16已经执行了位置和姿态的修整处理预定次数以上，则位置和姿态计算单元16可以确定运算收敛。请注意，要使用的收敛确定方法并不限于任何特定的方法，也可以使用任何方法。
如上所述，根据本实施例，可以通过针对大残差使用多边形模型以及针对小残差使用分段曲面模型，根据适合度在高速模式和高精度模式之间有效进行切换来进行位置和姿态计算。
<第一实施例的第一变形例>
第一实施例被构造为针对各三维点选择模型。与此相反，第一变形例被构造为基于针对各三维点的残差的总和与阈值之间的比较来选择模型。即，第一变形例被构造为针对一个对象物体选择多边形模型或分段参数曲面模型。
该变形例也使用具有图1所示的结构的信息处理装置1，但是其在以下方面与第一实施例不同。下面将主要描述与第一实施例的差异。假定该变形例与第一实施例是相同，除非另有规定。
将参照示出由根据本变形例的信息处理装置1进行的用于获得对象物体的位置和姿态的处理的图4的流程图来描述该处理。请注意，由于图4中步骤S402、S403、S407以及S409中的处理与图3中的步骤S302、S303、S309以及S311相同，因此省略这些步骤的描述。下面将描述步骤S404至S406和S408中的处理。
<步骤S404中的处理>
匹配度计算单元17初始化针对对象物体的匹配度Err。匹配度计算单元17设置远大于所估计的位置和姿态残差的值（例如，1000）作为初始匹配度值。在本变形例中，假定针对对象物体的匹配度是针对对象物体的表面上的各三维点的残差的总和。
<步骤S405中的处理>
模型选择单元14将匹配度Err与阈值ψ进行比较。基于多边形模型与分段参数曲面模型之间的形状误差的值能够用作阈值ψ。例如，当通过针对CAD数据进行镶嵌处理生成的多边形模型被用作分段参数曲面模型时，设置通过使用第一实施例中使用的值θ而获得的值ψ=N×θ。
如果该比较结果表示Err≥ψ，则预测三维点与所选择的模型之间仍然存在大误差。因此，在这种情况下，模型选择单元14从模型保持单元11中选择能够进行快速几何计算的多边形模型作为要由距离计算单元15使用的模型。
如果Err<ψ，则估计三维点与所选择的模型之间的差分几乎等于模型近似误差。因此，在这种情况下，模型选择单元14从模型保持单元11中选择表现精确形状的分段参数曲面模型作为要由距离计算单元15使用的模型。
<步骤S406中的处理>
距离计算单元15以由当前位置和姿态信息表示的位置和姿态放置在步骤S405中选择的模型，并针对三维点获得三维点与所放置的模型上的对应于三维点的对应点之间的距离（对应点之间的距离）d_i。用于获得对应点之间的距离的处理与第一实施例中描述的相同。
<步骤S408中的处理>
匹配度计算单元17如第一实施例所述获得针对各三维点kc_i的残差er_i，并获得残差的总和作为匹配度Err。
<第一实施例的第二变形例>
第一实施例的第一变形例使用残差的总和作为匹配度。可以使用能够应用的各种其他类型的指标作为匹配度。该变形例举例说明位置和姿态信息的修正次数被用作匹配度的情况（情况1）以及位置和姿态信息的改变量（修正量）被用作匹配度的情况（情况2）。
该变形例也使用具有图1所示的结构的信息处理装置1，但是其在以下方面与第一实施例不同。下面将主要描述与第一实施例的差异。假定该变形例与第一实施例是相同，除非另有规定。由根据本变形例的信息处理装置1进行的用于获得对象物体的位置和姿态的处理在以下方面修正图4的流程图中的处理。
首先将描述情况1。在步骤S404中，匹配度计算单元17将表示位置和姿态信息的修正次数（修正计算处理的执行次数）的变量k初始化为0。在步骤S405中，如果变量k的值小于阈值，则模型选择单元14选择多边形模型。如果变量k的值等于或大于阈值，则模型选择单元14选择分段参数曲面模型。匹配度计算单元17可以预先将能够预测使用多边形模型的位置和姿态信息的修正收敛的值（计数）设置为此时使用的阈值。在步骤S408中，匹配度计算单元17将变量k的值递增1。
接下来将描述情况2。在步骤S404中，匹配度计算单元17将表示由修正前的位置和姿态信息表示的位置与由修正后的位置和姿态表示的位置之间的距离的变量ΔT初始化为足够大的值（例如，1000）。在步骤S405中，如果变量ΔT的值等于或大于阈值，则模型选择单元14选择多边形模型，或者如果变量k的值小于阈值，则选择分段参数曲面模型。在步骤S408中，匹配度计算单元17获得由修正前的位置和姿态信息表示的位置与由修正后的位置和姿态信息表示的位置之间的距离，并将该距离设置为ΔT。
如上所述，各种其他指标可以用作匹配度。例如，装置可以使用由修正前的位置和姿态信息表示的姿态与由修正后的位置和姿态信息表示的姿态之间的差分作为ΔT。例如，装置可以基于设置在模型表面上的点在位置和姿态的修正前后移动的距离的和或平均值来估计三维点和三维模型之间的差分。
即，第一实施例的第一变形例和第二变形例根据阈值与在修正的重复处理中计算的指标值之间的大小关系来选择模型。可以基于该结构来考虑其他变形例。
<第一实施例的第三变形例>
第一实施例中举例说明了基于计算的位置和姿态中的、各三维点的残差来在多边形模型和分段参数曲面模型之间切换时进行位置和姿态计算的方法。然而，可以使用当选择模型时用于确定的其他方法。例如，下面描述了基于在对象物体的表面上的各区域的位置和姿态估计的所需精度在模型之间进行切换的方法，以及使用表示与对象物体的设计形状的形状误差的公差信息的方法。在这种情况下，“区域”可以是一个整体的对象物体或一个对象物体的各部分。
首先描述前者方法。根据该方法，装置在针对对象物体的形状模型的各区域，设置计算的位置和姿态中、三维点与模型表面之间的差分的容许值，并基于该信息选择要使用的模型。该方法被构造为在三维点适合模型表面的区域使用能够以高精度进行精确对应搜索的分段参数曲面模型，并针对其他区域使用多边形模型。
更具体地，首先，装置计算各多边形模型的各多边形的形状与预先表现对应形状的分段参数曲面模型的修整曲面的形状之间的近似差分。在这种情况下，该近似误差被称为多边形近似误差。装置设置三维点与针对多边形模型的各多边形计算出的位置和姿态的模型表面之间的误差的容许值。然后装置将针对各多边形设置的多边形近似误差与误差的容许值进行比较，从而选择用于位置和姿态计算的模型。
更具体地，如果构成给定区域的多边形当中的、数量等于或大于限定数量的多边形的多边形近似误差大于容许值，则由于其表示多边形近似误差大于针对该区域的多边形的误差的容许值，所以装置选择分段参数曲面模型。请注意，可以应用除“如果构成给定区域的多边形当中的、数量等于或大于限定数量的多边形的多边形近似误差大于容许值”以外的各种条件。例如，取代上述条件可以使用条件“如果构成给定区域的多边形的多边形近似误差的平均值大于该区域的容许值”。
与此相反，如果不满足条件“如果构成给定区域的多边形当中的、数量等于或大于限定数量的多边形的多边形近似误差大于容许值”，则由于多边形近似误差小于该误差的容许值，所以装置选择多边形模型。请注意，可以应用除该条件以外的其他各种条件。例如，取代上述条件，可以使用“如果构成给定区域的多边形的多边形近似误差的平均值小于该区域的容许值”。
请注意，取代设置连续值作为误差的容许值，该装置可以设置表示是否以高精度使三维点适合于模型表面的二进制值作为属性，并根据该信息选择模型。此外，用户可以针对各模型选择属性。
接下来将描述使用表示与对象物体的设计形状的形状误差的公差信息的方法。假设在该方法中，CAD数据设置有表示与各区域的对象物体的形状的形状误差的公差信息。装置基于该信息选择要使用的模型。请注意，可以通过实际测量物体的三维形状并将所测量的形状与CAD数据进行比较来获得公差信息。根据该方法，如果模型表面上的给定区域的公差大于多边形近似误差，则装置确定无法期待计算出对应点之间的精确距离，并使用多边形模型。与此相反，如果公差小，则装置确定能够期待计算出对应点之间的精确距离，并使用分段参数曲面模型。更具体地，首先，装置计算各多边形模型的各多边形的形状与表现对应形状的分段参数曲面模型的修整曲面的形状之间的近似误差。此外，装置针对多边形模型的各多边形或构成分段参数曲面模型的各修整曲面，将对应形状的公差预先存储在CAD数据上。然后装置将公差与针对各多边形设置的多边形近似误差进行比较，从而选择用于位置和姿态计算的模型。
更具体地，如果构成给定区域的多边形当中的、数量等于或大于限定数量的多边形的多边形近似误差大于该区域的公差，则装置针对该区域选择分段参数曲面模型。请注意，可以应用除条件“如果构成给定区域的多边形当中的、数量等于或大于限定数量的多边形的多边形近似误差大于该区域的公差”以外的各种条件。例如，取代上述条件，可以使用条件“如果构成给定区域的多边形的多边形近似误差大于该区域的公差”。
与此相反，如果不满足条件“如果构成给定区域的多边形当中的、数量等于或大于限定数量的多边形的多边形近似误差大于该区域的公差”，则由于与多边形近似误差相比，物体表面的误差较大，所以装置选择多边形模型。请注意，可以应用除该条件以外的各种条件。例如，取代上述条件，可以使用条件“如果构成给定区域的多边形的多边形近似误差小于该区域的公差”。
请注意，可以将以上方法与第一实施例的第一变形例组合。即，可以通过将所设置的误差的容许值或公差与多边形近似误差进行比较来选择要用于整个物体的模型。
[第一实施例的第四变形例]
虽然第一实施例的第一和第二变形例使用多边形模型和分段参数曲面模型作为三维形状模型，但是要使用的模型的类型不限于这些。可以使用在形状再现精度方面不同的任何两种类型的模型。例如，可以使用物体表面被更精细地分割的多边形模型与物体表面被更粗略地分割的多边形模型的组合，或曲面的次数不同的多个分段参数曲面模型的组合。此外，所有的实施例及其变形例可以不但应用于在形状再现性精度方面两阶段不同的两种类型的模型，而且还应用于在形状再现性精度方面三阶段或更多不同的模型的组合。
[第一实施例的第五变形例]
在第一实施例的第一至第四变形例中，当定位从范围图像和模型获得的三维点时，装置在根据所定义的条件切换模型时，计算三维点与模型之间的距离（对应点之间的距离）。然后装置基于这些距离进行定位。与此相反，存在基于通过拍摄对象物体而获得的拍摄图像的几何特征（下文中简称为特征）与模型的几何特征（下文中简称为特征）之间的对应关系进行定位的可用方法。在例如“T.Drummond and R.Cipolla,"Real-time visual tracking of complex structures",IEEE Transactions onPattern Analysis and Machine Intelligence,vol.24,no.7,pp.932-946,2002”中公开了这种方法。在这种定位方法中，当计算在拍摄图像上检测到的特征与模型的特征之间的对应点间的距离时，装置可以使用第一实施例及其第一至第四变形例中描述的方法。
更具体地，首先，装置获取通过从预定位置的视点拍摄对象物体而获得的捕获图像，并提取捕获图像上的特征。该捕获图像可以是例如灰度图像。特征可以是例如边缘（edge）。可以根据诸如滤波处理的传统技术从捕获图像提取边缘。
然后装置检测模型的特征的位置。更具体地，假定装置已经获取了表示拍摄图像上的视点与对象物体之间的概略位置和姿态关系的概略位置和姿态，并且根据所获取的位置和姿态放置视点和模型。在这种情况下，装置计算当从所放置的视点看到所布置的模型时的、包括模型的图像的投影图像。然后装置计算模型的特征在投影图像中的位置。模型的特征可以是例如模型的轮廓线。更具体地，多边形模型的特征可以是多边形的边缘或模型在投影图像中的外轮廓。以上说明了从包括模型的图像的投影图像提取特征的方法。另一方面，装置可以预先从模型提取轮廓线或边缘的坐标值，并且基于概略位置和姿态将坐标值投影在图像上，从而计算投影图像中模型特征的位置。分段参数曲面模型的特征可以是构成分段参数曲面模型的修整曲面的轮廓线或模型在投影图像中的外轮廓。
根据第一实施例及其第一至第四变形例中的各个描述的方法选择在这种情况下使用的模型。例如，如果根据位置和姿态的适合度确定对象物体和模型之间的位置误差大，则可以通过使用多边形模型高速进行位置和姿态计算。如果对象物体和模型之间的位置误差小，则可以通过使用分段参数曲面模型精确地进行位置和姿态计算。
然后装置确定与拍摄图像上的特征相对应的模型的特征，并且检测对应特征之间的距离。例如，在模型的特征当中，投影图像中与拍摄图像上的特征的位置最近的特征可以被确定为与拍摄图像上的特征相对应的模型的特征。以这种方式，装置将拍摄图像上的特征与所选择的模型的特征相关联，并且决定与拍摄图像上的几何特征相对应的、所选择的模型的几何特征，从而计算对应点之间的距离。以这种方式，装置能够通过使用针对拍摄图像上的各特征检测到的对应点之间的距离进行定位。虽然在该情况下表示边缘的位置的坐标值被用作用于定位的特征，但是可以通过使用表示边缘的位置的坐标以及表示边缘的姿态的向量来进行定位。
[第二实施例]
根据第一实施例中描述的位置和姿态计算方法，当选择分段参数曲面模型时，在使用三维点和对应的分段参数曲面的搜索中计算针对多个修整曲面的对应点之间的距离。此外，当计算针对各修整曲面的对应点之间的距离时，确定所计算出的点是否存在于表示物体形状的有效区域。为此，当选择分段参数曲面模型时，需要花费较多的时间进行对应点之间的距离的计算处理。
因此，本实施例将举例说明通过预先将多边形模型的各多边形与分段参数曲面相关联来加速对应点之间的距离的计算处理的方法。更具体地，首先，装置经由多边形模型指定与三维点相对应的模型表面（分段参数曲面模型上的表面）。可以通过使用与第一实施例中描述的方法相同的方法，来高速搜索多边形与三维点之间的对应关系。之后，在计算从三维点到模型表面之间的距离时，装置通过使用与多边形相关联的分段参数曲面的曲面参数来计算精确的值。即使当选择分段参数曲面模型时，这些类型的处理也能够计算三维点与模型表面之间的对应点间的距离。
将参照图5的框图描述根据本实施例的信息处理装置2的功能结构的示例。在图5中，与图1相同的附图标记表示相同的功能单元，并且将省略其描述。
模型保持单元51保持（管理）利用多个多边形近似对象物体的形状的多边形模型以及利用参数曲面近似对象物体的形状的分段参数曲面模型。除此之外，在本实施例中，多边形模型的各多边形设置有与多边形相对应的分段参数曲面模型的修整曲面的ID。如果例如模型保持单元51保持分别由图2A和图2B所示的多边形模型和分段参数曲面模型，则图2B中的阴影部分的多边形设置有图2A中的阴影部分的修整曲面的ID。
搜索单元54从模型保持单元51中保持的多边形模型中搜索与由表面位置获取单元12获取的各三维点相对应的多边形。距离计算单元55计算由表面位置获取单元12获取的各三维点与模型表面之间的对应点间的距离。更具体地，距离计算单元55针对各三维点参照具有设置给与三维点相对应的多边形的ID的修整曲面，并通过使用曲面参数来计算三维点与模型之间的对应点间的距离。
接下来，将参照示出了由根据该实施例的信息处理装置2执行的用于获得对象物体的位置和姿态的处理的图6来描述该处理。由于图6中的步骤S602至S604以及S607至S609中的处理与图3中的步骤S302、S303、S305、S308、S309以及S311相同，所以将省略这些步骤的描述。
为了简单起见，基于选择分段参数曲面模型的假设进行下面的描述。本实施例应用于在第一实施例中选择分段参数曲面模型的情况（特别是步骤S605和步骤S606）。
<步骤S605中的处理>
搜索单元54从模型保持单元51中保持的多边形模型中搜索与在步骤S604中选择的三维点相对应的多边形。在该步骤中，搜索单元54通过与在步骤S307中选择多边形模型时进行的处理相同的处理来进行高速搜索。
<步骤S606中的处理>
距离计算单元55指定与在步骤S604中选择的三维点相对应的模型表面上的对应点，并计算三维点与对应点之间的距离（对应点之间的距离）。
更具体地，距离计算单元55通过将在基准坐标系中定义的三维点kc_i的位置转换为由当前位置和姿态信息表示的位置和姿态定义的模型坐标系中的位置来获得km_i'。然后距离计算单元55指定以由当前位置和姿态信息表示的位置和姿态放置的分段参数曲面模型上与三维点相对应的对应点pm_i，并获得对应点pm_i的位置与位置km_i'之间的距离（对应点之间的距离）d_i。
图7A和图7B示出了基于当前位置和姿态信息将各三维点转换为模型坐标系中的点。各白圈表示三维点，各细虚线表示各三维点和多边形之间的对应关系。因此，距离计算单元55仅计算多边形和与该多边形相关联的修整曲面之间的距离。图7B中的圆柱是表现图2A中的阴影部分的修整曲面的基本曲面。圆柱由三个参数表现，即在模型坐标系中，定义用作圆柱的旋转中心的轴的原点的坐标O'、表示用作旋转中心的轴的姿态的三维向量轴以及圆柱的半径r。在该情况下，在模型坐标系中km_i'与圆柱之间的距离d_i通过下面的等式计算：
d_i=abs(km_i'-abs(axis·km_i')×axis))–r
其中，a·b表示向量a和向量b的内积，km_i'表示由km_i'=km_i-O'表示的向量。图7A示出了指示从各三维点到修整曲面的距离的线段。距离计算单元55还计算具有从三维点到修整曲面的最短距离的三维点pm_i的坐标。在该情况下，将所计算出的距离d_i以及模型点pm_i与三维点一起记录。在上面已经描述了修整曲面是圆柱的情况。当使用其他类型的修整曲面时，可以通过使用根据曲面参数计算与三维点相对应的曲面上的对应点以及对应点之间的距离的已知方法来执行该实施例。
如上所述，本实施例能够通过与多边形的一个对应搜索来唯一地指定与三维点相对应的修整曲面，因此能够省略与多个修整曲面的对应搜索处理。这使得即使在通过使用分段参数曲面模型修正位置和姿态信息时也能够高速计算三维点与模型表面之间的对应点间的距离。请注意，在本实施例中描述的对应点之间的距离的计算方法可以应用于在第一实施例中选择分段参数曲面模式的情况下获得对应点之间的距离。
虽然上述各实施例和各变形例已经举例说明了各种情况，但各个仅是以下描述的结构的示例。即，各结构被构造为获取表示对象物体的概略位置和姿态的位置和姿态信息，并在针对对象物体的形状的再现性精度不同的多条模型信息中选择根据定义条件决定的一条模型信息，作为所选模型信息。然后该结构将由所选模型信息表示的模型以由以上位置和姿态信息表示的位置和姿态放置，并且计算对象物体上的点和放置模型上与该点相对应的对应点之间的距离的评价值，从而基于该评价值估计对象物体的位置和姿态。
<第二实施例的第一变形例>
本变形例被构造为获得三维点和与该三维点相对应的多边形之间的距离。如果所获得的距离小于阈值，则该变形例通过使用分段参数曲面模型再次计算精确的距离。这使得能够通过在执行位置和姿态的修正之前评价三维点与模型表面之间的差分来有效地切换高速模式与高精确模式的同时计算位置和姿态。
该变形例也使用具有图5所示的结构的信息处理装置2，但其在以下方面与第二实施例不同。以下将主要描述与第二实施例的差异。假定该变形例与第二实施例相同，除非另有规定。
将参照图8的处理流程图来描述由根据本变形例的信息处理装置2进行的用于获得对象物体的位置和姿态的处理。请注意，由于图8中的步骤S802至S804以及S808至S810中的处理与图3中的步骤S302、S303、S305、S308、S309以及S311中的处理相同，所以将省略这些步骤的描述。
<步骤S805中的处理>
搜索单元54从模型保持单元51保持的多边形模型中搜索与在步骤S804中选择的三维点kc_i相对应的多边形。在该步骤中，搜索单元54通过与当在上述步骤S307中选择多边形模型时进行的处理相同的处理来高速进行搜索。
<步骤S806中的处理>
距离计算单元55指定多边形上与在步骤S804中选择的三维点kc_i相对应的的对应点，并计算三维点kc_i与对应点之间的距离（对应点之间的距离）d_i。距离计算单元55将距离d_i与阈值
Figure BDA0000372767740000241
进行比较。与第一实施例中使用的阈值θ相同，作为阈值
Figure BDA0000372767740000242
预先设置多边形模型与分段参数曲面模型之间的形状误差的值。
如果比较结果表示
Figure BDA0000372767740000243
则由于表示三维点与由当前位置和姿态信息表示的位置和姿态处的模型表面之间的差分仍然较大，所以距离计算单元55将距离d_i发送到位置和姿态计算单元16。然后，处理进行到步骤S808。
如果
Figure BDA0000372767740000251
则表示三维点与由所计算出的位置和姿态信息表示的位置和姿态中的模型表面之间的差分几乎等于模型近似误差。在这种情况下，处理进行到步骤S807以通过使用表现精确形状的分段参数曲面模型来再次计算对应点之间的距离。
<步骤S807中的处理>
距离计算单元55参照具有设置给与步骤S804中选择的三维点相对应的多边形的ID的修整曲面，以计算三维点和模型表面上与该三维点相对应的对应点之间的对应点间的距离。即，距离计算单元55进行与上述的步骤S606中的处理相同的处理。然后距离计算单元55将该对应点间的距离发送到位置和姿态计算单元16。
如上所述，本变形例能够通过在执行对位置和姿态信息的修正之前评价三维点与模型表面之间的差分，来有效地在高速模式与高精度模式之间切换的同时计算位置和姿态。
<第二实施例的第二变形例>
第二实施例使用三维形状模型作为多边形模型和分段参数曲面模型的组合。然而，要使用的模型组合方法不限于此。例如，能够对对应搜索的速度与要表现的物体形状的精度之间的权衡等级进行切换的多个模型的组合可以保持作为三维形状模型，从而从三维形状模型中选择模型。即，首先，装置通过使用具有较低再现性精度的模型信息指定与对象物体上的点相对应的部分（例如，如多边形表面的表面的部分）。然后该装置从由具有更高再现性精度的模型信息表示的模型中指定与所指定的部分相对应的部分（例如，如参数曲面的修整曲面的表面的部分）。最后，装置计算对象物体上的点与从由具有更高再现性精度的模型信息表示的模型中指定的部分上的对应点之间的距离的评价值。
<第二实施例的第三变形例>
第二实施例举例说明了当使用模型对从范围图像获得的三维点进行定位时，通过使用多边形模型的各多边形与表示相同形状的分段参数曲面之间的关联来高速计算对应点之间的距离的方法。该方法可以应用于第一实施例中的第五变形里中描述的、基于通过拍摄对象物体而获得的拍摄图像上的几何特征与从模型表面提取的几何特征之间的对应关系的定位。例如，几何特征可以是边缘。更具体地，该方法可以应用于基于表示通过拍摄对象物体而获得的拍摄图像上的边缘的线段（几何特征）与从模型平面提取的线段（几何特征）之间的对象关系的定位。即，首先，装置确定与拍摄图像上的特征相对应的多边形模型的特征。然后装置参照表示与多边形模型的特征相对应的分段参数曲面的特征的关联信息来选择与拍摄图像上的特征相对应的分段曲面的特征。以这种方式，装置将如多边形模型的、由具有低再现性精度的第一模型信息表示的第一模型的几何特征与如分段曲面模型的、由具有高再现性精度的第二模型信息表示的第二模型的几何信息相关联。这计算了拍摄图像上的各特征与分段参数曲面的对应特征之间的对应点间的距离。如上所述，多边形模型的特征可以是多边形的边缘，对应的分段参数曲面的特征可以是分段参数曲面的轮廓线。拍摄图像上的各特征与符合表示以这种方式计算出的轮廓线的曲线参数的曲线之间的距离能够被用作对应点之间的精确距离。作为另一定位方法，类似的方法可以应用于使用通过精细分割表现边缘的线段获得的、并由坐标和姿态表现的各个小边特征（edgelet）的定位操作。
[第三实施例]
作为通过在第一和第二实施例及其变形例等中描述的方法计算的位置和姿态信息的使用目的示例，本实施例将举例说明使机器人操作具有由位置和姿态信息表示的位置和姿态的对象物体的系统。
将参照图9描述根据本实施例的系统的结构的示例。如图9所示，系统包括信息处理装置3、机器人控制单元以及机器人900。
机器人900是多关节机器人并且在从机器人控制单元接收到控制指令时操作。作为端部执行器（effector）的手附装到机器人900的手臂的远端。这使得机器人对对象物体工作。本实施例使用具有能够夹紧对象物体的卡紧机构的手作为端部执行器。该机器人可以使用马达驱动的手或通过空气压力卡紧对象物体的吸盘作为端部执行器。假定在该实施例执行前使用已知技术来校正机器人900和表面位置获取单元901之间的相对位置和姿态，以及机器人900的手臂和端部执行器之间的相对位置和姿态。这能够将由位置和姿态计算单元906计算出的位置和姿态转换为在放置有托盘的空间中固定的工作空间坐标系中的位置和姿态。此外，可以控制机器人使得以工作空间坐标系中指定的位置和姿态设置手。然而，请注意，取代多关节机器人，机器人可以是NC可控制移动机构。
表面位置获取单元901拍摄对象物体910的范围图像，并通过使用拍摄的范围图像获取对象物体910的表面上的各三维点的位置。即，表面位置获取单元901的基本操作与表面位置获取单元12的基本操作相同。因此，表面位置获取单元901可以被固定到机器人900的手附近的部分或工作空间坐标系中的某个地方。假定表面位置获取单元901是由紧凑型投影仪和照相机构成。表面位置获取单元901通过空间编码方法拍摄范围图像。可选地，表面位置获取单元901可以通过使用立体照相机的立体方法或通过使用激光投影仪的光截面法（light-section method）或任何其他方法来拍摄范围图像。
对象物体910是工业产品的零件。机器人900拾起零件并将它们组装成产品。可以使用如塑料、金属以及乙烯基等的各种材料。多个对象物体910被以不同位置和姿态堆叠在托盘上。
搜索单元904、模型保持单元902、距离计算单元905、位置和姿态计算单元906以及位置和姿态输入单元903分别是与搜索单元54、模型保持单元51、距离计算单元55、位置和姿态计算单元16以及位置和姿态输入单元13相同的功能单元。位置和姿态计算单元906将最终获得的对象物体910的位置和姿态发送到机器人操作指令单元907。
机器人操作指令单元907生成控制指令并将指令发送到机器人控制单元908，该指令使得机器人900的手臂移动到从位置和姿态计算单元906接收的位置和姿态，并进行夹紧或卡紧操作。然而，显然，机器人的操作并不限于移动、夹紧以及卡紧操作，并且包括诸如对象物体的外观检查等的其它操作。
机器人控制单元908根据该控制指令控制机器人900以使机器人900的手臂移动为由位置和姿态计算单元906获得的位置和姿态信息表示的位置和姿态，并进行期望的操作（夹紧或移动对象物体910）。
将参照图10的流程图描述上述系统的操作。首先，在步骤S1001中，信息处理装置3获得对象物体910的位置和姿态。在步骤S1002中，信息处理装置3将所获得的位置和姿态发送到机器人控制单元。因此，机器人控制器单元将控制指令发送到机器人900，使其对处于该位置和姿态的对象物体910进行期望的操作。
在步骤S1003中，机器人900根据控制指令操作。该系统重复步骤S1001至S1003中的处理，除非用户输入停止指令（步骤S1004）。
请注意，作为信息处理装置3的结构以及位置和姿态计算方法，可以使用第一和第二实施例及其变形例中的结构和方法。当使用它们时，可用根据需要修正结构或处理。
[第四实施例]
图1所示的信息处理装置1中的各单元、图5所示的信息处理装置2中的各单元、以及图9所示的信息处理装置3中的各单元可以由硬件实现。可选地，模型保持单元11、51或902可以由存储器构成，剩余各单元可以由计算机程序实现。
在这种情况下，一般的PC（个人计算机）等可以应用于信息处理装置1至3。例如，在硬盘中形成模型保持单元11、51或902，并且用于使CPU执行除模型保持单元以外的各单元的功能的计算机程序被存储在硬盘中。PC的CPU将存储在硬盘中的计算机程序和数据读出到RAM，并通过使用所读出的程序和数据执行处理，从而使PC用作信息处理装置1至3。此外，可以根据需要组合上述各实施例和变形例。
[其他实施例]
本发明的各方面还可以通过读出并执行记录在存储设备上的用于执行上述实施例的功能的程序的系统或装置的计算机（或例如CPU或MPU的设备）来实现，以及通过由系统或装置的计算机通过例如读出并执行记录在存储设备上的用于执行上述实施例的功能的程序来执行各步骤的方法来实现。鉴于此，例如经由网络或者从用作存储设备的各种类型的记录介质（例如计算机可读介质）向计算机提供程序。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (16)

1.一种信息处理装置，该信息处理装置包括：
图像获取单元，其用于获取包括对象物体的图像；
用于获取所述对象物体的概略位置和姿态的单元；
保持单元，其用于保持以不同精度表示所述对象物体的形状的多个模型的信息；
关联单元，其用于将所获取的图像中的所述对象物体的几何特征与以所述概略位置和姿态放置的所述多个模型中的至少一个表示的几何特征相关联；以及
估计单元，其用于基于关联结果估计所述对象物体的位置和姿态。
2.根据权利要求1所述的信息处理装置，其中，所述关联单元根据预定条件从所述多个模型中选择模型，并将所述对象物体的几何特征与由所选模型表示的几何特征相关联。
3.根据权利要求2所述的信息处理装置，其中，所述关联单元包括选择单元，所述选择单元用于基于在重复估计时计算出的指标值与阈值之间的比较来从所述多个模型中选择模型，并且
所述估计单元包括：
用于以所述概略位置和姿态或所估计的位置和姿态放置所选模型，并获得所述对象物体的表面上的各几何特征与由所选模型表示的对应几何特征之间的距离的单元；以及
用于基于针对所述对象物体的表面上的各几何特征而获得的距离估计位置和姿态的单元。
4.根据权利要求3所述的信息处理装置，其中，所述选择单元基于与所述对象物体的匹配度从所述多个模型中选择模型，并且
所述估计单元还包括：
用于基于所述对象物体的表面上的各几何特征与以所估计的位置和姿态放置的所选模型表示的对应几何特征之间的距离，获得所述匹配度的单元。
5.根据权利要求3所述的信息处理装置，其中，所述选择单元基于估计的执行次数从所述多个模型中选择模型。
6.根据权利要求3所述的信息处理装置，其中，所述选择单元基于估计前的概略位置与估计后的估计位置之间的位置差分，从所述多个模型中选择模型。
7.根据权利要求3所述的信息处理装置，其中，所述选择单元基于估计前的概略姿态与估计后的估计姿态之间的姿态差分，从所述多个模型中选择模型。
8.根据权利要求2所述的信息处理装置，其中，所述估计单元包括：
选择单元，其用于针对所述对象物体的各区域，基于利用多边形近似所述区域的形状的多边形模型相对于利用参数曲面近似所述区域的形状的参数曲面模型的近似误差，来选择所述参数曲面模型和所述多边形模型中的一个；
用于以所述概略位置和姿态放置针对所述对象物体的各区域的所选模型，并获得所述对象物体的表面上的各几何特征与由所选模型表示的对应几何特征之间的距离的单元；以及
用于基于针对所述对象物体的表面上的各几何特征获得的距离估计位置和姿态的单元。
9.根据权利要求2所述的信息处理装置，所述估计单元包括：
选择单元，其用于针对所述对象物体的各区域，基于所述对象物体的形状的公差，来选择利用参数曲面近似区域的形状的参数曲面模型以及利用多边形近似区域的形状的多边形模型中的一个；
用于以所述概略位置和姿态放置针对所述对象物体的各区域的所选模型，并获得所述对象物体的表面上的各几何特征与由所选模型表示的对应几何特征之间的距离的单元；以及
用于基于针对所述对象物体的表面上的各几何特征获得的距离来估计位置和姿态的单元。
10.根据权利要求2所述的信息处理装置，其中，所述估计单元包括：
选择单元，其用于针对所述对象物体的表面上的各几何特征，在针对所述几何特征的残差不小于阈值的情况下，选择利用多边形近似所述对象物体的形状的多边形模型，而在所述残差小于所述阈值的情况下，选择利用参数曲面近似所述对象物体的形状的参数曲面模型；
计算单元，其用于以所述概略位置和姿态放置针对所述几何特征的所选模型，并获得所述几何特征与所放置的模型的对应几何特征之间的距离；
修正单元，其用于基于针对所述对象物体的表面上的各几何特征而获得的距离来修正所述概略位置和姿态；以及
用于以修正过的概略位置和姿态放置针对所述对象物体的表面上的各几何特征的所选模型，并获得所述几何特征与所选模型的对应几何特征之间的距离作为针对所述几何特征的残差的单元。
11.根据权利要求1所述的信息处理装置，其中，所述保持单元保持与所述对象物体的各区域相关联的第一模型的信息和第二模型的信息，其中所述第二模型比所述第一模型更精确，并且
所述关联单元还包括：指定单元，其用于通过将所述图像中的所述对象物体的几何特征与以所述概略位置和姿态放置的所述第一模型的几何特征相关联来指定所述第一模型的几何特征，并且
所述关联单元将跟所述第一模型的所指定的几何特征相关联的第二模型的几何特征与所述对象物体的几何特征相关联。
12.根据权利要求11所述的信息处理装置，其中，
所述第一模型是多边形模型；并且
所述第二模型是分段参数曲面模型。
13.根据权利要求11或12所述的信息处理装置，其中，所述指定单元计算所述对象物体的几何特征与所述第一模型的对应几何特征之间的距离；并且
所述指定单元通过使用关于计算距离不小于阈值的几何特征的计算距离的评价值，并且通过使用利用所述第二模型的关于计算距离小于阈值的几何特征的关联结果，来估计所述对象物体的位置和姿态。
14.根据权利要求1所述的信息处理装置，该信息处理装置还包括：
用于获取从预定位置的视点捕获的对象物体的图像的单元；以及
用于从所捕获的图像提取几何特征的单元；
其中，所述估计单元基于所述概略位置和姿态将从所述多个模型中选择的模型投影到的图像上，其中所述多个模型以不同的精度表示所述对象物体的形状；并且
所述估计单元基于所提取的几何特征以及所投影的模型的对应几何特征来估计所述对象物体的位置和姿态。
15.根据权利要求1所述的信息处理装置，该信息处理装置还包括向用于控制机器人的控制单元发送指令的单元，其中所述指令使得所述机器人移动到所估计的位置和姿态。
16.一种信息处理方法，该信息处理方法包括以下步骤：
获取包括对象物体的图像；
获取所述对象物体的概略位置和姿态；
保持以不同精度表示所述对象物体的形状的多个模型的信息；
将所获取的图像中的所述对象物体的几何特征与由以所述概略位置和姿态放置的所述多个模型中的至少一个表示的几何特征相关联；以及
基于关联结果估计所述对象物体的位置和姿态。
CN201310379479.XA 2012-08-28 2013-08-27 信息处理装置及信息处理方法 Active CN103678754B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012188074 2012-08-28
JP2012-188074 2012-08-28
JP2013118301A JP6323993B2 (ja) 2012-08-28 2013-06-04 情報処理装置、情報処理方法、及びコンピュータプログラム
JP2013-118301 2013-06-04

Publications (2)

Publication Number Publication Date
CN103678754A true CN103678754A (zh) 2014-03-26
CN103678754B CN103678754B (zh) 2017-06-06

Family

ID=50098676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310379479.XA Active CN103678754B (zh) 2012-08-28 2013-08-27 信息处理装置及信息处理方法

Country Status (4)

Country Link
US (1) US9275461B2 (zh)
JP (1) JP6323993B2 (zh)
CN (1) CN103678754B (zh)
DE (1) DE102013216902A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106945035A (zh) * 2015-11-06 2017-07-14 佳能株式会社 机器人控制设备及其控制方法和机器人系统
CN110160528A (zh) * 2019-05-30 2019-08-23 华中科技大学 一种基于角度特征识别的移动装置位姿定位方法
CN111164958A (zh) * 2017-09-29 2020-05-15 深圳市大疆创新科技有限公司 用于基于姿态信息处理和显示图像数据的系统及方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5787642B2 (ja) * 2011-06-28 2015-09-30 キヤノン株式会社 対象物保持装置、対象物保持装置の制御方法、およびプログラム
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
JP6429450B2 (ja) 2013-10-31 2018-11-28 キヤノン株式会社 情報処理装置、情報処理方法
JP5905549B1 (ja) * 2014-09-16 2016-04-20 ファナック株式会社 バラ積みされた物品を取出す物品取出装置
JP6256702B2 (ja) * 2014-12-25 2018-01-10 株式会社ダイフク 物品搬送用容器昇降搬送装置
EP3040941B1 (en) * 2014-12-29 2017-08-02 Dassault Systèmes Method for calibrating a depth camera
JP6635690B2 (ja) * 2015-06-23 2020-01-29 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US10335951B2 (en) * 2015-07-29 2019-07-02 Canon Kabushiki Kaisha Information processing apparatus, information processing method, robot control apparatus, and robot system
JP6677522B2 (ja) * 2016-02-15 2020-04-08 キヤノン株式会社 情報処理装置、情報処理装置の制御方法およびプログラム
JP6846661B2 (ja) * 2016-04-13 2021-03-24 パナソニックＩｐマネジメント株式会社 ３次元的な投影対象のための投影方法及び装置
US10380767B2 (en) * 2016-08-01 2019-08-13 Cognex Corporation System and method for automatic selection of 3D alignment algorithms in a vision system
JP6514156B2 (ja) * 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置
JP2018034242A (ja) * 2016-08-31 2018-03-08 セイコーエプソン株式会社 ロボット制御装置、ロボット、及びロボットシステム
WO2018229812A1 (ja) * 2017-06-12 2018-12-20 株式会社日立製作所 三次元計測装置、および方法
JP6886906B2 (ja) * 2017-10-10 2021-06-16 東芝テック株式会社 読取装置およびプログラム
US11453123B2 (en) * 2017-12-27 2022-09-27 Stmicroelectronics, Inc. Robotic device with time-of-flight proximity sensing system
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
JP7237496B2 (ja) * 2018-09-10 2023-03-13 株式会社東芝 ピッキングシステム、情報処理装置及び情報処理プログラム
JP7006810B2 (ja) * 2018-12-11 2022-01-24 三菱電機株式会社 ３次元計測装置、移動ロボット、手押し車型移動装置および３次元計測処理方法
EP4256271A1 (en) * 2020-12-01 2023-10-11 Clearedge3d, Inc. Construction verification system, method and computer program product

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072903A (en) * 1997-01-07 2000-06-06 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US20070132662A1 (en) * 2004-05-27 2007-06-14 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
US20100086218A1 (en) * 2008-09-24 2010-04-08 Canon Kabushiki Kaisha Position and orientation measurement apparatus and method thereof

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4081553B2 (ja) * 2005-09-13 2008-04-30 防衛省技術研究本部長 距離推定装置
US8050473B2 (en) * 2007-02-13 2011-11-01 The Trustees Of The University Of Pennsylvania Segmentation method using an oriented active shape model
JP4949953B2 (ja) 2007-07-11 2012-06-13 国立大学法人埼玉大学 曲面形状と基準面との距離算出方法
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
JP5618569B2 (ja) * 2010-02-25 2014-11-05 キヤノン株式会社 位置姿勢推定装置及びその方法
JP5746477B2 (ja) 2010-02-26 2015-07-08 キヤノン株式会社 モデル生成装置、３次元計測装置、それらの制御方法及びプログラム
JP5430456B2 (ja) 2010-03-16 2014-02-26 キヤノン株式会社 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
JP5170154B2 (ja) * 2010-04-26 2013-03-27 オムロン株式会社 形状計測装置およびキャリブレーション方法
JP5496008B2 (ja) * 2010-08-06 2014-05-21 キヤノン株式会社 位置姿勢計測装置、位置姿勢計測方法、およびプログラム
US8467596B2 (en) * 2011-08-30 2013-06-18 Seiko Epson Corporation Method and apparatus for object pose estimation
JP5991730B2 (ja) * 2012-01-30 2016-09-14 キヤノン株式会社 計測装置、計測方法及びプログラム
JP6323993B2 (ja) * 2012-08-28 2018-05-16 キヤノン株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6072903A (en) * 1997-01-07 2000-06-06 Kabushiki Kaisha Toshiba Image processing apparatus and image processing method
US20070132662A1 (en) * 2004-05-27 2007-06-14 Canon Kabushiki Kaisha Information processing method, information processing apparatus, and image sensing apparatus
US20100086218A1 (en) * 2008-09-24 2010-04-08 Canon Kabushiki Kaisha Position and orientation measurement apparatus and method thereof

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106945035A (zh) * 2015-11-06 2017-07-14 佳能株式会社 机器人控制设备及其控制方法和机器人系统
US10695905B2 (en) 2015-11-06 2020-06-30 Canon Kabushiki Kaisha Robot control apparatus and robot control method
CN106945035B (zh) * 2015-11-06 2020-10-30 佳能株式会社 机器人控制设备及其控制方法和机器人系统
CN111164958A (zh) * 2017-09-29 2020-05-15 深圳市大疆创新科技有限公司 用于基于姿态信息处理和显示图像数据的系统及方法
CN110160528A (zh) * 2019-05-30 2019-08-23 华中科技大学 一种基于角度特征识别的移动装置位姿定位方法
CN110160528B (zh) * 2019-05-30 2021-06-11 华中科技大学 一种基于角度特征识别的移动装置位姿定位方法

Also Published As

Publication number Publication date
US9275461B2 (en) 2016-03-01
US20140067126A1 (en) 2014-03-06
DE102013216902A1 (de) 2014-03-06
CN103678754B (zh) 2017-06-06
JP6323993B2 (ja) 2018-05-16
JP2014063475A (ja) 2014-04-10

Similar Documents

Publication Publication Date Title
CN103678754A (zh) 信息处理装置及信息处理方法
Surmann et al. An autonomous mobile robot with a 3D laser range finder for 3D exploration and digitalization of indoor environments
CN102763132B (zh) 三维测量设备和处理方法
US7894661B2 (en) Calibration apparatus, calibration method, program for calibration, and calibration jig
US8792726B2 (en) Geometric feature extracting device, geometric feature extracting method, storage medium, three-dimensional measurement apparatus, and object recognition apparatus
Schleich et al. Evaluation of geometric tolerances and generation of variational part representatives for tolerance analysis
KR101925862B1 (ko) 3차원 라이다를 이용한 실시간 3차원 지도 생성 방법 및 장치
Khalfaoui et al. An efficient method for fully automatic 3D digitization of unknown objects
CN106248035A (zh) 一种基于点云模型的面轮廓度精确检测的方法及系统
de Araujo et al. Computer vision system for workpiece referencing in three-axis machining centers
Peuzin-Jubert et al. Survey on the view planning problem for reverse engineering and automated control applications
Thomas et al. Multi sensor fusion in robot assembly using particle filters
Bauer et al. Registration strategy of point clouds based on region-specific projections and virtual structures for robot-based inspection systems
CN116438426A (zh) 用于对物体进行测量、检查或处理的设备和方法
US20020120359A1 (en) System and method for planning a tool path along a contoured surface
Bauer et al. Free-form surface analysis and linking strategies for high registration accuracy in quality assurance applications
JP2015007639A (ja) 情報処理装置、情報処理方法およびプログラム
Sadaoui et al. Automatic path planning for high performance measurement by laser plane sensors
McDermott et al. Enhanced laser-scan matching with online error estimation for highway and tunnel driving
CN115661252A (zh) 一种实时位姿估计方法、装置、电子设备以及存储介质
Birr et al. Oriented surface reachability maps for robot placement
Kwon et al. Rescan strategy for time efficient view and path planning in automated inspection system
Moron et al. Automatic inspection of industrial parts using 3D optical range sensor
Mohammadikaji et al. Probabilistic surface inference for industrial inspection planning
Na et al. Robotic Path Planning for Inspection of Complex-Shaped Objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant