CN105654464A - 图像处理装置及图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理装置及图像处理方法。获得由摄像装置拍摄的目标物体的拍摄图像；针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；基于所述劣化度从所述拍摄图像提取所述目标物体的特征；根据预定位置及姿态来将目标物体的特征，与当布置三维模型时观察到的三维模型的特征相关联。通过基于关联的结果校正预定位置及姿态，来导出目标物体相对于摄像装置的位置及姿态。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及一种图像处理装置和图像处理方法。

背景技术

近年来，随着机器人技术的发展，诸如组装工业产品等的、此前由人进行的复杂任务，正逐渐被替代为由机器人进行。为了进行组装，这种机器人通过使用诸如手等的末端执行器来抓握部件。对于机器人要抓握部件，需要测量作为抓握的目标的部件与机器人(手)之间的相对位置及姿态(下文中，简单称为位置及姿态)。这样的位置及姿态测量还能够应用于各种目的，诸如用于机器人自主移动的自身位置估计或者在增强现实中的虚拟物体与实体空间(实体物体)之间的对准等。

作为物体的位置及姿态的测量方法，T.Drummond与R.Cipolla在“Real-timevisualtrackingofcomplexstructures”，IEEETransactionsonPatternAnalysisandMachineIntelligence，vol.24，no.7，pp.932-946，2002中公开了如下一种方法，其使得由线段的集合表示的物体的三维模型的投影像与由摄像装置获得的图像上的边缘特征相匹配。具体而言，基于作为已知信息提供的粗略的位置及姿态，三维模型中的线段被投影在图像上。接下来，从图像检测与在投影的线段上离散地布置的各控制点相对应的边缘特征。然后，通过校正粗略的位置及姿态，以使得控制点所属的线段的投影像与对应的边缘特征之间的、图像上的距离的平方和最小，来获得最终位置及姿态测量值。

发明内容

根据本发明的实施例，提供一种图像处理装置，其包括：图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像；劣化度获得单元，其用于针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；提取单元，其用于基于所述劣化度从所述拍摄图像提取所述目标物体的特征；模型保持单元，其用于保持所述目标物体的三维模型；关联单元，其用于将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到的所述三维模型的特征相关联；以及导出单元，其用于通过基于所述关联的结果校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。

根据本发明的另一实施例，提供一种图像处理装置，其包括：图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像；劣化度获得单元，其用于针对所述拍摄图像的位置，获得指示所述拍摄图像的劣化度的信息；保持单元，其用于保持多个比较目标像；以及确定单元，其用于基于所述目标物体的像与所述多个比较目标像中的比较目标像之间的匹配度，从所述多个比较目标像之中，确定与所述目标物体的像相对应的像，其中，所述匹配度基于所述目标物体的像的多个特征中的各个与对应的比较目标像的特征的差值，所述差值根据与特征被提取的位置对应的所述劣化度而被加权。

根据本发明的又一实施例，提供一种图像处理装置，其包括：图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像；劣化度获得单元，其用于获得指示所述拍摄图像的劣化度的信息；设置单元，其用于根据所述劣化度，设置用于从所述拍摄图像提取特征的提取参数；以及提取单元，其用于参照所述拍摄图像，通过使用由所述设置单元设置的所述提取参数，提取所述拍摄图像的特征。

根据本发明的再一实施例，提供一种图像处理方法，其包括：获得由摄像装置拍摄的目标物体的拍摄图像；针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；基于所述劣化度从所述拍摄图像提取所述目标物体的特征；保持所述目标物体的三维模型；将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到的所述三维模型的特征相关联；以及通过基于所述关联的结果校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。

根据本发明的又一实施例，提供一种图像处理方法，其包括：获得由摄像装置拍摄的目标物体的拍摄图像；针对拍摄图像的位置，获得指示所述拍摄图像的劣化度的信息；保持多个比较目标像；以及基于所述目标物体的像与所述多个比较目标像中的比较目标像之间的匹配度，从所述多个比较目标像之中，确定与所述目标物体的像相对应的像，其中所述匹配度基于所述目标物体的像的多个特征中的各个与对应的比较目标像的特征的差值，所述差值根据与特征被提取的位置对应的所述劣化度而被加权。

根据本发明的再一实施例，提供一种图像处理方法，其包括：获得由摄像装置拍摄的目标物体的拍摄图像；获得指示所述拍摄图像的劣化度的信息；根据所述劣化度，设置用于从所述拍摄图像提取特征的提取参数；以及参照所述拍摄图像，通过使用由所述设置单元设置的所述提取参数，提取所述拍摄图像的特征。

根据本发明的再一实施例，提供一种图像处理装置，其包括：图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像；劣化度获得单元，其用于针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；以及提取单元，其用于从所述拍摄图像提取所述目标物体的特征；模型保持单元，其用于保持所述目标物体的三维模型；关联单元，其用于将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到的所述三维模型的特征相关联；以及导出单元，其用于通过基于所述关联的结果以及与所述特征被提取的位置对应的劣化度，校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。

根据本发明的再一实施例，提供一种图像处理方法，其包括：获得由摄像装置拍摄的目标物体的拍摄图像；针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；从所述拍摄图像提取所述目标物体的特征；保持所述目标物体的三维模型；将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到的所述三维模型的特征相关联；以及通过基于所述关联的结果以及与所述特征被提取的位置对应的劣化度，校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。

通过以下(参照附图)对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1是示出根据第一实施例的信息处理装置1的结构的图。

图2是根据第一实施例的处理的流程图。

图3是根据第一实施例的劣化度计算处理的流程图。

图4是根据第一实施例的特征提取处理的流程图。

图5A至图5F是示出用于提取边缘特征的滤波器的图。

图6是根据第一实施例的位置及姿态计算处理的流程图。

图7A和图7B是说明边缘特征的关联方法的图。

图8是示出模型边缘特征与图像边缘特征之间的关系的图。

图9是根据第六变型例的特征提取处理的流程图。

图10是根据第七变型例的特征提取处理的流程图。

图11是根据第八变型例的劣化度计算处理的流程图。

图12是示出目标物体的三维位置的测量方法的图。

图13是用于示出照明图案的示例的图。

图14是示出根据第四实施例的机器人系统的结构的图。

图15是示出根据第六实施例的计算机的结构的图。

具体实施方式

在Drummond与Cipolla所记述的方法中，如果发生了由图像模糊、散景等引起的图像的劣化，则存在位置及姿态的测量的精度下降的问题。这可以被认为是由于当图像劣化时，从图像提取的边缘特征的位置会从边缘特征的原始位置偏移。

根据本发明的实施例，在使用拍摄图像来测量物体的位置及姿态的情况下发生了物体的拍摄图像的劣化时，能够提高测量精度。

下面将基于附图给出本发明的实施例的说明。然而，本发明的范围不限于以下实施例。

[第一实施例]

在第一实施例中，考虑到测量目标物体的拍摄图像的劣化度，来进行测量目标物体的位置及姿态的估计。具体而言，当从拍摄图像提取特征时，通过考虑拍摄图像的劣化度，来以高精度进行特征提取。此外，当使测量目标物体的三维模型吻合提取的特征时，进行根据拍摄图像的劣化度的加权。下面，测量目标物体被简称为目标物体。

下面，将对基于由摄像装置拍摄的拍摄图像来估计目标物体的位置及姿态的情况进行说明。在这种情况下，计算目标物体相对于摄像装置的相对位置及姿态。在下面的说明中，只要没有另外说明，则目标物体的位置及姿态就指示目标物体相对于摄像装置的相对位置及姿态。基于摄像装置在坐标系中的位置及姿态，以及目标物体相对于摄像装置的相对位置及姿态，很容易计算出目标物体在该坐标系中的位置及姿态。因此，计算目标物体相对于摄像装置的相对位置及姿态，等同于计算目标物体在坐标系中的位置及姿态。

劣化度指示由摄像装置拍摄的拍摄图像的劣化的程度。以这种方式，当估计目标物体的位置及姿态时，通过考虑目标物体的拍摄图像的劣化度，能够高精度地估计测量目标物体的位置及姿态。在本实施例中，由后述的劣化度保持单元102预先生成劣化度，并预先保持。例如，在摄像装置108获得目标物体的拍摄图像之前，或者在图像获得单元103获得目标物体的拍摄图像之前，计算劣化度。在本实施例的情况下，在图像获得单元103获得目标物体的拍摄图像之前，劣化度计算单元101计算劣化度。根据这样的结构，由于能够省略在图像获得单元103获得了目标物体的拍摄图像之后计算劣化度的处理，因此能够高速地进行目标物体的位置及姿态的估计。在另一实施例中，可以在摄像装置108获得了目标物体的拍摄图像之后，或者在图像获得单元103获得了目标物体的拍摄图像之后，计算劣化度。例如，当在特征提取单元104或可靠度计算单元105的处理中劣化度变得必要时，劣化度计算单元101可以实时计算劣化度。

在本实施例中，针对目标物体的三维模型上的各个特征(模型特征)，来设置根据目标物体相对于摄像装置的相对位置及姿态的劣化度。该劣化度表示与当摄像装置拍摄目标物体时拍摄图像上的模型特征相对应的目标物体的特征的图像的劣化度。在本实施例中，考虑由于散景和模糊引起的图像的劣化度。换言之，考虑到摄像条件，而预先计算并保持由于散景和模糊引起的劣化度。摄像条件包括目标物体与摄像装置之间的相对速度等。摄像条件还包括诸如曝光时间、焦点位置或光圈等的摄像装置的摄像参数。

不对从拍摄图像提取的特征做特别限定，但是在本实施例中使用边缘特征。边缘特征是如下的点，即，通过对拍摄图像应用诸如索贝尔(Sobel)滤波器等的微分滤波器而提取的照明梯度的极值。在本实施例中，为了正确地提取边缘特征，使用对应于散景量和模糊量的滤波器。在实施例中，当散景量和模糊量大时使用大尺寸滤波器，而当散景量和模糊量小时使用小尺寸滤波器。此外，在从拍摄图像提取的边缘特征(图像边缘特征)与三维模型上的特征(模型边缘特征)的吻合中，劣化度越小，则越增加边缘特征的权重。

图1示出了作为根据本发明的信息处理装置的示例的、根据第一实施例的信息处理装置1的结构。信息处理装置1包括劣化度计算单元101、劣化度保持单元102、图像获得单元103、特征提取单元104、可靠度计算单元105、模型保持单元106以及匹配单元107。

劣化度计算单元101针对由摄像装置拍摄的拍摄图像中的各位置，计算指示图像劣化度的信息。在本实施例中，劣化度计算单元101针对各模型边缘特征，计算在拍摄图像上模型边缘特征的位置处的图像劣化度。

在本实施例中，劣化度计算单元101针对各模型边缘特征计算拍摄图像上的散景量和模糊量，作为劣化度。在实施例中，考虑到根据摄像装置108的摄像条件和指示目标物体的三维形状的三维模型，通过模拟来计算劣化度。稍后将描述计算劣化度的详细方法。在本实施例中，劣化度计算单元101计算散景量和模糊量作为劣化度。劣化度保持单元102保持由劣化度计算单元101针对各模型边缘特征计算的劣化度。不对劣化度做特别限定，只要其指示拍摄图像的图像劣化度即可。例如，劣化度可以是图像的模糊量和散景量中的至少一者。此外，基于散景量和模糊量的参数(例如，后述的σ₀)可以被计算为劣化度。此外，可以计算3个或更多个参数作为劣化度。

在本实施例中，劣化度计算单元101针对模型保持单元106保持有位置信息的各模型边缘特征，来计算劣化度。劣化度保持单元102针对模型保持单元106保持有位置信息的各个模型边缘特征，来保持劣化度。针对三维模型的任意点，能够通过类似的方法计算劣化度。

在本实施例中，如稍后所述的，进行目标物体的像与比较目标的像(三维模型像)的匹配。如果匹配良好，则例如，在优化的最终阶段，可以认为目标物体的像与比较目标的像近似。因此，可以认为在拍摄图像上的模型边缘特征的位置处的图像的劣化度对应于根据拍摄图像的图像边缘特征的劣化度。

在本实施例中，劣化度计算单元101对于目标物体相对于摄像装置108的各种相对位置及姿态，检测模型边缘特征组的位置。然后，劣化度计算单元101针对各模型边缘特征计算劣化度。劣化度保持单元102将针对模型边缘特征组计算的劣化度组与目标物体相对于摄像装置108的相对位置及姿态相关联地保持。在此，针对各模型边缘特征计算的劣化度被与模型边缘特征相对于摄像装置108的相对位置及姿态相关联。

在本实施例中，如果目标物体相对于摄像装置108的相对位置及姿态相同，则假设拍摄图像的劣化度也相同。在摄像装置108的诸如焦点位置和光圈值等的摄像条件固定的情况下，如果目标物体相对于摄像装置108的相对位置及姿态固定，则估计出拍摄图像的散景量类似。

期望如下的情况，即，当工业机器人抓握目标物体时，通过使用固定在机器人上的摄像装置108拍摄目标物体，来测量目标物体的位置及姿态。由于预计工业机器人重复固定操作，因此可以认为根据摄像装置108的位置及姿态的摄像装置108的速度是固定的。此外，可以认为目标物体静止或乘坐在传送带等上以固定速度移动。因此，在摄像装置108的诸如快门速度等的摄像条件固定的情况下，如果目标物体相对于摄像装置108的相对位置及姿态固定，则估计出拍摄图像的模糊量类似。

在另一实施例中，劣化度计算单元101可以使用根据摄像装置108的各种摄像条件来计算劣化度的组。在这种情况下，劣化度保持单元102能够将劣化度组与目标物体相对于摄像装置108的相对位置及姿态以及摄像条件相关联地保持。在这种情况下，例如，可以通过使用与目标物体的粗略位置/姿态以及由图像获得单元103获得的拍摄图像的摄像条件相对应的劣化度组，来估计目标物体的位置及姿态。

图像获得单元103获得通过拍摄目标物体获取的拍摄图像。在本实施例中，图像获得单元103从摄像装置108获得由连接到信息处理装置1的摄像装置108拍摄的目标物体的拍摄图像。在另一实施例中，图像获得单元103可以从信息处理装置1包括的存储有拍摄图像的存储单元(未示出)获得拍摄图像。此外，图像获得单元103可以从经由网络连接到信息处理装置1并且存储有由摄像装置108获得的拍摄图像的外部存储装置(未示出)，获得拍摄图像。此外，不对拍摄图像的类型做特别限定，只要能够提取目标物体的像的特征即可。例如，拍摄图像可以是灰度图像，可以是彩色图像，或者可以是距离图像。

特征提取单元104从由图像获得单元103获得的拍摄图像提取目标物体的像的特征。在本实施例中，特征提取单元104通过对拍摄图像进行边缘检测处理来提取边缘特征。在这种情况下，特征提取单元104通过参照劣化度保持单元102保持的劣化度来提取边缘特征。换言之，特征提取单元104根据劣化度设置用于从拍摄图像提取特征的提取参数。特征提取单元104参照拍摄图像，并使用设置的提取参数来从拍摄图像提取多个特征。以这种方式，特征提取单元104具有劣化度获得单元，该劣化度获得单元获得由劣化度保持单元102保持的劣化度。

具体而言，特征提取单元104首先从劣化度保持单元102获得与目标物体的当前位置及姿态的粗略值相对应的劣化度的组。在本实施例中，特征提取单元104从与由劣化度保持单元102保持的劣化度组相关联的目标物体的位置及姿态中，指定与目标物体的当前位置及姿态的粗略值最接近的位置及姿态。特征提取单元104获得与目标物体的指定的位置及姿态相关联的劣化度组。

特征提取单元104设置用于基于获得的劣化度来提取边缘特征的提取参数。在本实施例中，边缘提取滤波器的滤波器系数被设置为提取参数。此外，特征提取单元104通过对拍摄图像应用设置的滤波器来提取边缘特征。以下，由特征提取单元104从拍摄图像提取的边缘特征被称为图像边缘特征。稍后将描述设置滤波器的方法。

可以通过使用公知的方法来获得目标物体的粗略位置及姿态。作为获得目标物体的粗略位置及姿态的方法的示例，给出了在HirotoYoshii，"CoarsePosition/OrientationDetectionofBulkPartsUsingEnsembleClassificationTree"，ImageRecognitionandUnderstandingSymposium(MIRU2010)，2010中记载的方法。作为目标物体的粗略位置及姿态，也可以使用之前直接估计的目标物体的位置及姿态。

模型保持单元106保持目标物体的三维模型。三维模型例示了目标物体的三维几何形状。不对几何形状的表现格式做特别限定。例如，三维模型可以是多边形格式(polygonformat)的数据，即，可以具有由用于表现几何形状的三维点构成的面和线的集合。三维模型可以具有表现边缘线的三维线的集合，或者可以具有单纯的三维点的集合。在本实施例中，模型保持单元106保持从目标物体的三维模型提取的三维边缘特征(模型边缘特征)的位置信息。

下面示出模型保持单元106保持的模型边缘特征的提取方法的示例。以这种方式获得的图像被称为投影图像。换言之，通过使用目标物体的三维模型来估计由摄像装置108拍摄目标物体而获得的图像。例如，通过根据目标物体相对于摄像装置108的相对位置及姿态，在虚拟空间中布置三维模型和与摄像装置108对应的视点，并且生成自视点的目标物体的像，能够实现该处理。

接下来，通过对获得的投影图像应用微分滤波器，提取投影图像上的边缘特征。此外，通过将投影图像的边缘特征反向投影在三维模型上，提取模型边缘特征。例如，能够提取与投影图像上的边缘特征相对应的三维模型上的点组，作为模型边缘特征。通过对目标物体相对于摄像装置108的各种相对位置及姿态进行上述处理，在各相对位置及姿态处提取一个或更多个模型边缘特征组。模型保持单元106保持提取的一个或更多个模型边缘特征组的位置信息。在本实施例中，模型保持单元106将提取的一个或更多个模型边缘特征组的位置信息、与目标物体相对于摄像装置108的相对位置及姿态相关联的地保持。在这种情况下，模型边缘特征的位置信息可以指示模型边缘特征相对于摄像装置108的相对位置及姿态。

从三维模型提取模型边缘特征的方法不限于上述方法，并且可以使用其他方法。例如，如果三维模型保持表面的法线信息，则可以提取法线方向是非连续的地点作为模型边缘特征。模型保持单元106可以集中保持在各种相对位置及姿态下提取的模型边缘特征的组。例如，模型保持单元106可以保持三维模型中的模型边缘特征位置信息。在这种情况下，能够基于三维模型相对于摄像装置108的相对位置及姿态，来计算模型边缘特征相对于摄像装置108的相对位置及姿态。

模型保持单元106保持的模型信息可以是三维模型自身。此外，模型信息可以是通过将三维模型边缘特征投影在摄像装置108的拍摄图像表面上而获得的二维边缘特征图像的投影图像上的方向及位置的信息。即使在这种情况下，也能够使由模型信息指示的特征与从图像提取的特征匹配。此外，模型信息可以是通过拍摄目标物体获得的图像。在这种情况下，可以使从该图像提取的特征与由特征提取单元104提取的特征匹配。此外，还可以根据后述的第五实施例，使图像之间匹配。另外，模型信息可以包括指定目标物体的类型的标识符。

匹配单元107计算目标物体的位置及姿态。匹配单元107进行目标物体的特征与当根据预定的位置及姿态来布置三维模型时观察到的三维模型的特征之间的关联。然后通过基于关联的结果和与提取了特征的位置相对应的劣化度的关联，校正预定的位置及姿态，来推断出目标物体相对于摄像装置108的位置及姿态。

由匹配单元107进行的处理的概况如下。首先，匹配单元107针对从目标物体的像提取的多个特征中的各个，计算各特征与对应于该特征的比较目标的像的特征之间的差值。在本实施例中，匹配单元107针对从目标物体的像提取的多个边缘特征中的各个，计算各边缘特征与对应于该边缘特征的比较目标的像的边缘特征之间的差值。在此，比较目标的像是当根据预定位置及姿态布置视点和三维模型时观察到的三维模型像。在本实施例中，首先通过使用当根据如上所述获得的目标物体的粗略位置/姿态布置视点和三维模型时的三维模型像，来计算差值。通过使用在改变视点与三维模型之间的相对位置及姿态的同时获得的多个三维模型像，来类似地计算差值。

作为一个具体示例，匹配单元107从模型保持单元106保持的模型边缘特征组中，获得与目标物体相对于摄像装置108的当前相对位置及姿态相对应的模型边缘特征组。例如，匹配单元107可以从与模型保持单元106保持的模型边缘特征组相关联的相对位置及姿态中，检测与目标物体相对于摄像装置108的当前相对位置及姿态的粗略值最接近的相对位置及姿态。然后，匹配单元107获得与检测到的相对位置及姿态相关联的模型边缘特征组。针对由此获得的模型边缘特征组中的各个，指定各边缘相对于视点(即，摄像装置108)的相对位置及姿态。

接下来，匹配单元107针对各个获得的模型边缘特征组，关联由特征提取单元104提取的对应的图像边缘特征。不对关联的方法做特别限定，例如可以通过以下方法来进行关联。首先，对于三维模型所具有的多个边缘中的各个，匹配单元107计算通过基于预定位置及姿态在投影图像上投影而获得的图像位置。例如，针对模型边缘特征组中的各个，匹配单元107计算当根据预定的位置及姿态布置视点和三维模型时观察到的投影图像上的图像位置。该投影图像包括当根据预定的位置及姿态布置视点和三维模型时观察到的三维模型像，并且该三维模型像由多个模型边缘特征的像构成。然后，将图像边缘特征与模型边缘特征相关联，以使得投影图像上的模型边缘特征的图像位置接近拍摄图像上的图像边缘特征的图像位置。稍后将说明这种关联方法的示例。也完全可以使用目标物体中嵌入的信息等来识别与模型边缘特征相对应的图像边缘特征。

在模型保持单元106将三维模型作为模型信息来保持的情况下，匹配单元107从模型保持单元106获得三维模型。接下来，基于目标物体相对于摄像装置108的当前相对位置及姿态的粗略值，匹配单元107将获得的三维模型投影在摄像装置108的拍摄图像表面上。由此，获得了当根据预定的位置及姿态来布置视点和三维模型时观察到的三维模型的像。此外，匹配单元107通过使用与提取模型保持单元106保持的模型边缘特征的方法类似的方法，从投影图像提取模型边缘特征。匹配单元107通过上述方法，来将提取的模型边缘特征与图像边缘特征相关联。

匹配单元107从可靠度计算单元105获得要应用于图像边缘特征的可靠度w。该可靠度w指示了从拍摄图像正确地提取图像边缘特征的可能性，例如，在正确的位置提取的可能性。在本实施例中，根据针对对应模型边缘特征的劣化度，来获得要应用于图像边缘特征的可靠度w。如上所述，由于劣化度表示与拍摄图像上的模型边缘特征相对应的图像边缘特征的像的劣化程度，因此能够根据劣化度来计算可靠度w。在其他实施例中，可靠度计算单元105能够根据与在提取了图像边缘特征的图像位置相对应的劣化度，来计算可靠度w。

然后，匹配单元107参照模型边缘特征组、图像边缘特征组以及可靠度w，并计算目标物体的位置及姿态。在本实施例中，匹配单元107从多个三维模型像中，将针对目标物体的像的匹配度最高的三维模型像，确定为针对目标物体的像的、比较目标的像。在此，匹配度对应于基于对应的模型边缘特征与多个图像边缘特征之间的差值而获得的值，其中，根据与提取了图像边缘特征的位置相对应的劣化度来对该差值加权。

在本实施例中，图像边缘特征与模型边缘特征之间的差值，是在拍摄图像上的图像边缘特征的图像位置与在投影图像上的模型边缘特征的图像位置之间的距离。加权使用根据劣化度计算的可靠度w。具体而言，正确地提取图像边缘特征的像的可能性越高，则进行越大的加权。

在本实施例中，匹配单元107使用目标物体的粗略位置/姿态，作为视点与三维模型之间的初始位置及姿态。然后，匹配单元107进行视点与三维模型之间的位置及姿态的最优化，以使得匹配度变得更高。当匹配度变得最高时，匹配单元107确定三维模型的像与目标对象的像匹配，即，三维模型相对于视点的位置及姿态表示了目标物体相对于摄像装置108的位置及姿态。稍后将说明该最优化计算的详情。

可靠度计算单元105基于针对模型边缘特征的劣化度，计算针对与模型边缘特征相对应的图像边缘特征的可靠度w。在本实施例中，进行可靠度w的计算，以使得针对模型边缘特征的劣化度越高，则可靠度w变得越低。

下面将描述具体处理的示例。首先，可靠度计算单元105针对已检测了对应的图像边缘特征的各个模型边缘特征，从劣化度保持单元102进行劣化度σ₀的信息的获得，该劣化度是与对应于摄像装置的目标物体的位置及姿态相关联地存储的。以这种方式，可靠度计算单元105具有获得劣化度保持单元102保持的劣化度的劣化度获得单元。然后，可靠度计算单元105基于获得的劣化度σ₀，计算针对图像边缘特征的可靠度w。

不对可靠度w做特别限定，只要是被定义为随着正确提取图像边缘特征的可能性越高而越高的值即可。在散景量和模糊量中的至少一者被用作劣化度的本实施例中，可靠度w被定义为散景量越大或模糊量越大，则可靠度w越低。在本发明中，通过使用函数来定义可靠度w，在该函数中，根据散景量和模糊量而获得的劣化度σ₀的统计量被包括为参数。作为统计量，给出了劣化度的平均值、方差值等，但是不对统计量做特别限定。例如，可以通过使用式(1)中示出的Tukey函数来表示可靠度w。

[式1]

$w\left(b\right)=\left\{\begin{array}{cc}{\left(1-{\left(b/c\right)}^2\right)}^2& \left|b\right|\≤c\\ 0& \left|b\right|>c\end{array}\right....\left(1\right)$

在式(1)中，c是检测到对应的图像边缘特征的模型边缘特征的劣化度σ₀的平均值，换言之是统计量，而b是各个模型边缘特征的劣化度σ₀。注意，不对函数的类型做特别限定，并且也可以使用其他函数，在该其他函数中，劣化度越高则可靠度w越低，并且劣化度越低则可靠度w越高。例如，可以通过高斯函数、Huber函数等来表示可靠度。另外，可以通过诸如Tukey函数等的函数来表示可靠度w，其中，使用预先设置的劣化度的容许值来代替统计量c。

<根据本实施例的处理>

下面，将参照图2的流程图说明本实施例中的处理的示例。在步骤S201中，劣化度保持单元102确定是否已保持了劣化度。如果已保持了劣化度，则处理进行到步骤S204。如果未保持劣化度，则处理进行到步骤S202。在步骤S202中，劣化度计算单元101计算劣化度。稍后将描述劣化度的计算方法。在步骤S203中，劣化度保持单元102保持在步骤S202中计算的劣化度。以这种方式，在本实施例中，在图像获得单元103获得拍摄图像之前，在步骤S201和步骤S202中，作为信息处理装置1的初始化处理，进行劣化度的计算和保持。劣化度保持单元102可以获得并保持从外部装置、存储介质等预先计算的劣化度。

在步骤S204中，图像获得单元103获得由摄像装置108拍摄目标物体获得的拍摄图像。在步骤S205中，特征提取单元104从在步骤S204中获得的拍摄图像提取图像边缘特征。特征提取单元104基于从劣化度保持单元102获得的劣化度设置滤波器，并且通过将滤波器应用于拍摄图像来提取图像边缘特征。稍后将描述步骤S205中的具体处理。在步骤S206中，匹配单元107计算目标物体的位置及姿态。稍后将描述具体处理。

<劣化度计算处理>

接下来，将参照图3的流程图给出步骤S202的处理的说明，在步骤S202中，劣化度计算单元101计算劣化度。在本实施例中，劣化度计算单元101根据目标物体相对于摄像装置108的位置及姿态，来布置视点及目标物体的三维模型。考虑到根据摄像装置108的摄像条件，计算从视点看到的三维模型的图像的劣化度。这样获得的劣化度能够被用作当摄像装置108拍摄目标物体时获得的目标物体的像的劣化度的估计值。

在本实施例中，作为劣化度，计算散景量D、模糊量B、以及根据散景量和模糊量获得的劣化度σ₀。此外，根据摄像装置108的、针对目标物体的摄像条件包括目标物体与摄像装置108之间的相对速度，以及诸如摄像装置108的曝光时间、焦点位置和光圈等的摄像参数。下面，给出根据使用这些信息的模拟来计算劣化度的方法的说明。

下面，给出针对模型保持单元106保持有位置信息的各个模型边缘特征，来计算劣化度的方法的说明。在其它实施例中，劣化度计算单元101对于目标物体相对于摄像装置108的各种相对位置及姿态，检测模型边缘特征的位置，并且计算针对各模型边缘特征的劣化度。在这种情况下，劣化度计算单元101能够使用上述方法作为提取模型保持单元106保持的模型边缘特征的方法，来检测模型边缘特征。可以如下进行对于检测的模型边缘特征的劣化度的计算方法。

在步骤S301中，劣化度计算单元101获得当摄像装置108拍摄目标物体时的摄像条件。摄像条件包括对根据摄像装置108的拍摄图像具有影响的摄像参数，例如焦距、焦点位置、光圈值、曝光时间等。摄像条件包括摄像装置108与目标物体之间的相对速度。相对速度表示目标物体与摄像装置108之间的相对移动方向及速度。

例如，当目标物体在传送带上沿1轴方向上进行平移移动时，能够基于设定数据、设定值等计算目标物体的移动速度及移动方向。可以使用传感器等来检测目标物体的移动方向和移动速度。可以基于目标物体的移动方向和移动速度，以及目标物体相对于与模型边缘特征关联的摄像装置108的相对位置及姿态，来计算摄像装置108与目标物体之间的相对速度。

在步骤S302中，劣化度计算单元101从模型保持单元106保持有位置信息的模型边缘特征组中，选择一个模型边缘特征，将针对该模型边缘特征计算劣化度。在步骤S303中，劣化度计算单元101针对在步骤S302中选择的模型边缘特征计算预测的散景量D。不对计算散景量的方法做特别限定；可以使用公知的公式进行计算。可以使用诸如摄像装置108的焦距、摄像装置108的光圈值以及摄像装置108与焦平面之间的距离等的摄像参数，以及摄像装置108与模型边缘特征之间的距离等，来进行散景量的计算。在本实施例中，劣化度计算单元101使用下面的式(2)来计算散景量D。

[式2]

$D=\frac{f^2(L_o-L_n)}{{\mathrm{FL}}_n(L_o-f)\mathrm{\&Delta;}d}...\left(2\right)$

在式(2)中，f表示摄像装置108的成像透镜的焦距。L₀表示虚拟视点的聚焦位置。L_n表示从虚拟视点到模型边缘特征的距离。F表示摄像装置108的成像透镜的光圈值。Δd表示像素大小。可以基于模型边缘特征的位置信息来计算L_n。可以根据摄像装置108的规格来预先设置诸如成像透镜的光圈值或焦距等的、摄像装置108的摄像参数，或者可以通过劣化度计算单元101从摄像装置108获得摄像装置108的摄像参数。此外，可以根据例如在R.Y.Tsai，″AVersatileCameraCalibrationTechniqueforHigh-Accuracy3DMachineVisionMetrologyUsingOff-the-ShelfTVCamerasandLenses"，IEEEJournalofRoboticsandAutomation，vol.RA-3，no.4，1987中公开的方法来预先校准摄像参数。摄像参数可以进一步包括透镜变形参数等，并且可以参照这样的进一步参数来计算散景量。

在步骤S304中，劣化度计算单元101针对在步骤S302中选择的模型边缘特征计算预测的模糊量。不对用于计算模糊量的方法做特别限定，并且可以通过使用公知的公式来进行计算。下面，将给出用于计算模糊量的方法的示例。在本实施例中，劣化度计算单元101计算曝光期间模型边缘特征在拍摄图像上的移动量，作为模糊量。可以基于模型边缘特征相对于摄像装置108的相对位置及姿态，以及诸如曝光时间、摄像装置108与目标物体之间的相对速度等的、根据摄像装置108的摄像条件，来计算模糊量。在以下示例中，计算曝光期间模型边缘特征在拍摄图像上的移动量，作为模糊量。

在本实施例中，劣化度计算单元101计算拍摄图像上的模型边缘特征的雅可比(Jacobian)。然后，劣化度计算单元101基于模型边缘特征的雅可比、目标物体与摄像装置108之间的相对速度、以及曝光时间，计算模型边缘特征的模糊量。

模型边缘特征的雅可比是表示当6自由度的位置及姿态参数针对目标物体略微改变时模型边缘特征的像的位置在拍摄图像上改变的比例。

以下，以s表示目标物体的位置及姿态，以(u，v)表示当曝光开始时的模型边缘特征的像的位置，以(u’，v’)表示当曝光结束时的模型边缘特征的像的位置，并且以(n_u，n_v)表示模型边缘特征的像的法线方向(单位向量)。由此，可以通过下式(3)来计算在当曝光开始时的模型边缘特征的像与当曝光结束时的模型边缘特征的像之间的带符号的距离err_2D。

[式3]

err_2D＝n_u(u′-u)+n_v(v′-v)…(3)

目标物体的位置及姿态是六维向量，并且具有表现目标物体的位置的三要素(s₁，s₂，s₃)以及表现目标物体的姿态的三要素(s₄，s₅，s₆)。不对用三要素来表现姿态的方法做特别限定。例如，可以通过欧拉(Euler)角来表现姿态。此外，可以通过三维向量来表现姿态，针对该三维向量，向量的法线表现旋转角，并且向量的方向表现经过原点的旋转轴。通过由位置及姿态s的各要素来对对应要素间的距离err_2D进行偏微分，能够如下式(4)来计算模型边缘特征的雅可比矩阵J_2D。

[式4]

$J_{2D}=\left[\begin{array}{cccccc}\frac{\&part;{\mathrm{err}}_{2D}}{\&part;s_1}& \frac{\&part;{\mathrm{err}}_{2D}}{\&part;s_2}& \frac{\&part;{\mathrm{err}}_{2D}}{\&part;s_3}& \frac{\&part;{\mathrm{err}}_{2D}}{\&part;s_4}& \frac{\&part;{\mathrm{err}}_{2D}}{\&part;s_5}& \frac{\&part;{\mathrm{err}}_{2D}}{\&part;s_6}\end{array}\right]...\left(4\right)$

通过对各个模型边缘特征进行上述处理，劣化度计算单元101计算出各个模型边缘特征的雅可比。因此，能够通过使用模型边缘特征的雅可比根据下式(5)来计算根据在图像的曝光时间t_i期间目标物体以相对速度V移动而发生的模型边缘特征的模糊量B。

[式5]

B＝t_iJ_aDV…(5)

获得的模糊量B是标量，并且表示在曝光期间在拍摄图像上模型边缘特征的像的位置的移动量。通过对各个模型边缘特征进行上述处理，劣化度计算单元101针对各个模型边缘特征计算出模糊量B。

在步骤S305中，劣化度计算单元101针对各个模型边缘特征，通过使用在步骤S304中获得的模糊量B和在步骤S303中获得的散景量D，来计算劣化度σ₀。不对计算劣化度σ₀的具体方法做特别限定。在本实施例中，劣化度计算单元101计算劣化度σ₀，以使得散景量D和模糊量B越大，则劣化度σ₀变得越大。例如，可以通过使用式(6)来计算劣化度σ₀。可以通过任意方法来定义劣化度σ₀，只要图像的劣化程度越高则其也变得越大即可。

[式6]

${\mathrm{\&sigma;}}_0=\sqrt{D^2+B^2}...\left(6\right)$

在步骤S306中，劣化度计算单元101确定是否针对所有边缘特征都进行了针对劣化度(换言之，针对散景量D和模糊量B)的计算。当劣化度计算完成时，处理终止。如果劣化度的计算尚未完成，则处理返回至步骤S302。劣化度保持单元102将由此计算出的劣化度(换言之，散景量D和模糊量B)与模型边缘特征相关联地保持。

<滤波器设置和边缘提取处理>

接下来，将使用图4的流程图给出从拍摄图像提取图像边缘特征的、步骤S205中的详细处理的说明。在本实施例中，特征提取单元104根据拍摄图像的劣化度来设置滤波器。然后，特征提取单元104通过对获得的图像应用设置的滤波器，来提取图像边缘特征。在本实施例中，根据目标物体的位置及姿态来设置一个滤波器，并且通过对整个拍摄图像应用该一个滤波器来提取图像边缘特征。

在步骤S401中，特征提取单元104获得图像获得单元103所获得的目标物体的拍摄图像。在步骤S402中，特征提取单元104从劣化度保持单元102获得与目标物体的位置及姿态相对应的劣化度组。在本实施例中，作为劣化度，获得散景量D和模糊量B。针对各个模型边缘特征保持散景量D和模糊量B，并且在以下处理中，使用散景量D和模糊量B的统计量，例如针对多个模型边缘特征的平均值。

在步骤S403中，特征提取单元104设置用于提取边缘特征的提取参数。在本实施例中，特征提取单元104设置用于从拍摄图像提取图像边缘特征的滤波器。在本实施例中，特征提取单元104参照在步骤S402中获得的散景量D和模糊量B，来计算预测的边缘特征的波形。在本实施例中，具体而言，如图5A至图5F所示，特征提取单元104通过对标准偏差D的高斯函数以及宽为B、高为1的矩形波进行卷积计算，来计算预测的模型边缘特征的像的波形。

图5A和图5D示出了通过使用散景量D和模糊量B计算的波形501、504。接下来，如图5B和图5E所示，特征提取单元104通过对获得的波形501、504进行微分来计算波形502、505。由此获得的波形502、505是与波形501、504相对应的提取滤波器，并且能够以高精度来从波形501、504提取边缘。最后，特征提取单元104通过使用预定的阈值将波形502、505量化，来获得提取滤波器503、506。由此，如图5C和图5F所示，设置用于针对拍摄图像的卷积计算的提取滤波器503、506。由此获得的提取滤波器503、506相当于微分滤波器。

当如波形501所示、散景量D和模糊量B较大时，使用提取滤波器503。此外，当如波形504所示、散景量D和模糊量B较小时，使用提取滤波器506。以这种方式，在本实施例中，劣化度(散景量D和模糊量B)越大则使用越大尺寸的滤波器，而劣化度越小则使用越小尺寸的滤波器。此外，替代散景量D和模糊量B，还可以使用如上所述计算的劣化度σ₀。在这种情况下，劣化度σ₀越大则使用越大尺寸的滤波器，而劣化度越小则使用越小尺寸的滤波器。

在此，给出当使用一维滤波器作为提取滤波器时的说明。然而，可以使用二维滤波器作为提取滤波器。在这种情况下，可以分别设置，使得劣化度越大则使用越大尺寸的滤波器，而劣化度越小则使用越小尺寸的滤波器。

在步骤S404中，特征提取单元104通过对拍摄图像应用在步骤S403中设置的滤波器，来提取边缘特征(图像边缘特征)。在本实施例中，通过对拍摄图像应用滤波器，来获得指示边缘强度的映射(map)。

<位置及姿态的估计处理>

接下来，参照图6的流程图，给出步骤S206中的估计目标物体的位置及姿态的方法的说明。在本实施例中，匹配单元107通过将三维模型的位置及姿态最优化，以使得图像边缘特征与投影在拍摄图像上的模型边缘特征的像相吻合，来估计目标物体的位置及姿态。在此，匹配单元107使用Gauss-Newton方法来将三维模型的位置及姿态最优化，以使模型边缘特征的像与图像边缘特征之间的、拍摄图像上的距离总和最小化。

在步骤S601中，匹配单元107进行初始化处理。首先，匹配单元107获得目标物体的粗略位置/姿态，并将其设置为三维模型的位置及姿态s。如上所述，匹配单元107从模型保持单元106获得与目标物体相对于摄像装置108的粗略的相对位置及姿态相对应的模型边缘特征组。

在步骤S602中，匹配单元107将获得的模型边缘特征组中的各个与由特征提取单元104提取的图像边缘特征组中的各个相关联。不对关联的方法做特别限定，但是例如可以如下进行关联。首先，基于目标物体相对于摄像装置108的当前相对位置及姿态的粗略值，匹配单元107将模型边缘特征投影在摄像装置108的拍摄图像表面上。由此，匹配单元107计算在摄像装置108的拍摄图像表面中模型边缘特征的位置及方向。图7A示出了投影的模型边缘特征701。

接下来，匹配单元107在投影的模型边缘特征701上设置多个控制点702，以使得它们在拍摄图像表面上等间隔地分开。此外，匹配单元107针对各个控制点702，在投影的模型边缘特征701的法线方向上设置搜索线703。然后，匹配单元107针对各个控制点702，在距离控制点702的预定范围内，搜索在搜索线703上存在的图像边缘特征。

在图7B中，原点是控制点702、横轴是搜索线，并且纵轴示出了边缘强度映射的像素值的绝对值。在本实施例中，在步骤S404中，通过特征提取单元104对拍摄图像应用微分滤波器来获得边缘强度映射。换言之，边缘强度映射的像素值的绝对值对应于拍摄图像的照明梯度的绝对值。匹配单元107将照明梯度的绝对值为极值的点检测作为图像边缘特征。在本实施例中，匹配单元107将照明梯度的绝对值为极值并且大于预定阈值705的点检测作为对应点。

图7B示出了由此找到的对应点704、706。从找到的对应点704、706中，匹配单元107将最接近控制点702的对应点704记录作为与控制点702相对应的对应点。通过该处理，检测针对多个控制点702中的各个的对应点。如此检测到的对应点704是与模型边缘特征701相对应的图像边缘特征800上的点。

下面，进行针对各个模型边缘特征使用一个控制点的处理。从针对一个模型边缘特征设置的多个控制点中，匹配单元107能够选择检测到对应点的一个控制点，并用于稍后的处理中。不对选择方法做特别限定。针对若干个模型边缘特征，也可以不检测对应图像边缘特征。

在步骤S603至S605中，匹配单元107如上所述计算目标物体的位置及姿态。在实施例中，匹配单元107能够如下计算目标物体的位置及姿态。例如，匹配单元107针对通过改变位置及姿态而获得的多个三维模型像，计算与目标物体的像的匹配度。在此，基于对应模型边缘特征的图像位置与多个图像边缘特征的图像位置之间的距离来获得匹配度，根据与在提取了图像边缘特征的位置相对应的劣化度来加权该距离。进行加权，以使得劣化度越高，则权重变得越小。

在一个实施例中，匹配单元107使用通过将作为权重的可靠度w乘以对应模型边缘特征与图像边缘特征之间的拍摄图像上的距离而获得的加权距离的总和，作为评价函数。该评价函数表示三维模型像与目标物体的像之间的匹配度。

然后，匹配单元107从多个三维模型像中，将提供最高匹配度的三维模型像确定为与目标物体的像相对应的三维模型像。匹配单元107确定三维模型相对于视点(其对应于如此确定的三维模型像)的位置及姿态，表示目标物体相对于摄像装置108的位置及姿态。

然而，在本实施例中，通过使用Gauss-Newton方法来如下计算目标物体的位置及姿态。通过以下方法，重复更新三维模型相对于视点的位置及姿态，以使得目标物体的像与三维模型的像之间的匹配度变大。

在步骤S603中，匹配单元107如下计算系数矩阵J和误差向量E。系数矩阵J的各个要素是与三维模型的位置及姿态针对模型边缘特征的图像坐标的微小改变相对应的一维偏微分系数。误差向量E是投影在拍摄图像上的图像边缘特征与模型边缘特征之间的、在拍摄图像上的距离。

图8示出了投影在拍摄图像上的模型边缘特征701与在步骤S602中检测到的、与模型边缘特征701相对应的图像边缘特征800之间的关系。在图8中，u轴和v轴分别对应于图像的水平方向和垂直方向。控制点702在拍摄图像上的位置被表达为(u₀，v₀)，并且由θ表示控制点702所属的模型边缘特征701在拍摄图像上相对于u轴的倾斜度。在以下说明中，在模型边缘特征701的控制点702处的倾斜度是θ。在这种情况下，模型边缘特征701的法线向量，特别是在控制点702处的法线向量是(sinθ，-cosθ)。此外，与控制点702对应的对应点704的图像坐标是(u′，v′)。

在经过点(u′，v′)且倾斜度为θ的直线上的点(u，v)可以被表达为：

[式7]

usinθ-vcosθ＝d…(7)

d＝u′sinθ-v′cosθ

在式(7)中，θ是上述常量，而d是指示上述等式的常量。

控制点702在拍摄图像上的位置根据三维模型的位置及姿态而改变。如上所述，三维模型的位置及姿态的自由度是6自由度，并且通过六维向量来表示三维模型的位置及姿态s。通过使用在(u₀，v₀)附近的一阶泰勒(Taylor)展开，能够将在三维模型的位置及姿态改变之后的、与控制点702对应的模型边缘特征701上的点的图像坐标(u，v)如式(8)中那样进行近似。在式(8)中，Δs_i(i＝1，2，...，6)表示针对六维向量s的各分量的微小改变。

[式8]

$u\&ap;u_0+\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;u}{\&part;s_i}{\mathrm{\&Delta;s}}_i$ …(8)

$v\&ap;v_0+\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;v}{\&part;s_i}{\mathrm{\&Delta;s}}_i$

如果三维模型的位置及姿态改变为与目标物体的位置及姿态匹配，则与控制点702对应的模型边缘特征701上的点的图像坐标可以被假定为在图像边缘特征800上(即，在由式(7)表示的直线上)移动。通过将由式(8)近似的(u，v)代入到式(7)，能够获得式(9)。在式(9)中，r是指示第二等式的常量。

[式9]

$\sin \mathrm{\&theta;}\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;u}{\&part;s_i}{\mathrm{\&Delta;s}}_i-cos\mathrm{\&theta;}\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;v}{\&part;s_i}{\mathrm{\&Delta;s}}_i=d-r...\left(9\right)$

r＝u₀sinθ-v₀cosθ

式(9)对于在步骤S602中检测到了对应图像边缘特征的所有模型边缘特征都成立。因此，针对式(10)的Δs_i的线性联立方程成立。

[式10]

在此，如式(11)那样表示式(10)。

[式11]

JΔs＝E…(11)

可以使用公知的方法来进行偏微分系数的计算，该偏微分系数用于计算式(11)的线性联立方程的系数矩阵J。例如，可以通过在VLepetitandP.Fua，"Keypointrecognitionusingrandomizedtrees"，IEEETransactionsonPatternAnalysisandMachineIntelligence，vol.28，no.9，2006中公开的方法，来计算偏微分系数。

在步骤S604中，可靠度计算单元105计算与模型边缘特征相关联的图像边缘特征的可靠度w。如上所述进行可靠度w的计算。然后，匹配单元107获得由可靠度计算单元105计算的可靠度w。当计算可靠度w时，可以使用与在步骤S601中获得的粗略的位置/姿态相对应的劣化度。另一方面，当计算可靠度w时，可以使用与三维模型的当前位置及姿态s相对应的劣化度。

可以针对所有模型边缘特征预先计算可靠度w，并且该可靠度w例如可以由劣化度保持单元102保持。在这种情况下，匹配单元107能够从劣化度保持单元102获得针对对应的模型边缘特征的可靠度，作为针对图像边缘特征的可靠度w。

在步骤S605中的校正值Δs的计算中，针对各图像边缘特征的可靠度w被用作针对各图像边缘特征的权重。在以下说明中，使用在式(12)中示出的权重矩阵W，在该权重矩阵W中，作为系数，对应的图像边缘特征具有针对检测到的图像边缘特征的可靠度w。

[式12]

权重矩阵W是除了对角要素之外的分量为0的正方形矩阵。对角要素是各个边缘特征的可靠度wi(i＝1至N_c)，并且被用作权重。N_c是与模型边缘特征相关联的图像边缘特征的总数。

通过使用权重矩阵W如式(13)那样将式(11)变型。

[式13]

WJΔs＝WE…(13)

在步骤S605中，匹配单元107计算针对三维模型的位置及姿态的校正值Δs。在本实施例中，匹配单元107通过求解式(13)来计算校正值Δs。具体而言，可以如式(14)所示的那样来求解式(13)。

[式14]

Δs＝(J^TWJ)^-1J^TWE…(14)

如式(14)所示那样求解式(13)对应于获得针对式(13)的各行的差值，即，获得使得w_iF_i的平方和最小的Δs1至Δs6。在此， $F_i=(sin$ ${\mathrm{\&theta;}}_i(\&part;u_i/\&part;s_1)-{\mathrm{cos\&theta;}}_i(\&part;vi/\&part;s_1))\mathrm{\&Delta;}s+...-(d_i-r_i).$ 在此，F_i是针对各个模型边缘特征计算的，并且能够被认为是例示了在三维模型的位置及姿态移动了仅Δs之后、拍摄图像上的图像边缘特征与模型边缘特征之间的距离的残留误差的评估值。此外，S＝∑(w_iF_i)²是加权的残留误差的平方和。因此，如式(14)所示那样求解式(13)对应于将评价函数S最小化，该评价函数S是针对各个模型边缘特征，通过由可靠度w_i来对指示吻合误差的评估值F_i加权而获得的。换言之，通过步骤S605的处理，获得在三维模型的像与目标物体的像之间的匹配度变得更高的位置及姿态的校正值Δs。

在步骤S606中，匹配单元107使用在步骤S604中计算的校正值Δs，来将三维模型的位置及姿态更新为s+Δs。能够校正位置及姿态s，以使得三维模型的特征与目标物体的关联特征之间的距离变小。

在步骤S607中，匹配单元107确定三维模型的位置及姿态是否收敛。当确定位置及姿态收敛时，匹配单元107将此时的三维模型的位置及姿态输出作为通过吻合而获得的目标物体的估计位置及姿态。然后处理终止。如果确定位置及姿态不收敛，则处理返回到步骤S602，并且匹配单元重复执行步骤S602至S606的处理，直至位置及姿态收敛。为了简化处理，当位置及姿态不收敛时，处理可以返回至步骤S603。

在本实施例中，如果在步骤S605中获得的校正值Δs小于或等于预定阈值并且几乎不改变，则匹配单元107确定位置及姿态收敛。例如，如果校正值Δs连续小于或等于预定值预定次数，则匹配单元107能够确定位置及姿态收敛。确定收敛的方法不限于该方法。例如，如果步骤S602至步骤S606的反复次数已到达预定次数，则匹配单元107可以确定位置及姿态收敛。

如上所述，通过步骤S601至S606的处理来针对目标物体计算估计的位置及姿态。在上述说明中，对于计算目标物体的三维位置及姿态的情况给出了说明。然而，在其他实施例中，可以计算目标物体的二维位置及姿态。在这种情况下，使用三维向量作为向量s，该三维向量具有两个表示位置的要素以及一个表示姿态的要素。计算目标物体的位置及姿态的方法不限于上述Gauss-Newton方法。例如，可以使用更稳定的Levenberg-Marquardt方法，并且可以使用更简单的最陡下降法。此外，可以使用诸如共轭梯度法或ICCG法等的其他非线性最优化计算方法。

通过上述第一实施例，通过考虑到根据散景、模糊等的拍摄图像的劣化，能够高精度地提取图像边缘特征。在考虑到根据散景、模糊等的拍摄图像的劣化而进行边缘特征的加权的同时，通过使得模型边缘特征与图像边缘特征吻合，来估计目标物体的位置及姿态。由此，能够提高目标物体的位置及姿态的估计精度。

[第1变型例]

在第一实施例中，针对各个模型边缘特征设置劣化度。然而，也可以针对拍摄图像的各个分割区域或各个像素，来设置劣化度。例如，在步骤S305和步骤S306之间，劣化度计算单元101能够将已计算了劣化度的模型边缘特征投影在拍摄图像表面上，并且确定模型边缘特征的像的位置。针对包括模型边缘特征的像的位置的拍摄图像的分割区域中所包括的各个像素，劣化度保持单元102能够设置针对该模型边缘特征计算的劣化度。

在这种情况下，针对各个像素或拍摄图像的各个分割区域，可靠度计算单元105可以使用劣化度来设置可靠度。在这样的变型例中，匹配单元107能够在将针对检测到图像边缘特征处的像素而设置的可靠度用作针对图像边缘特征的可靠度的同时，进行吻合处理。

[第2变型例]

在第1实施例的步骤S205中，设置一个滤波器，并且该滤波器被应用于整个拍摄图像。然而，针对一个拍摄图像可以使用多个滤波器。换言之，针对拍摄图像的各个位置，特征提取单元104能够根据针对该位置的图像的劣化度，设置用于在此位置提取特征的提取参数。

例如，如果如第1变型例那样针对拍摄图像的各个分割区域设置劣化度，则特征提取单元104能够通过使用针对滤波器要被应用于的像素设置的劣化度，来设置提取滤波器。例如，通过考虑到散景量D和模糊量B，或者通过考虑到劣化度σ₀，特征提取单元104能够如上所述确定提取滤波器的尺寸。以这种方式，通过根据拍摄图像的各个区域的劣化度使用合适的提取滤波器，能够高精度地提取边缘。

[第3变型例]

在第1实施例中，在步骤S205中提取了图像边缘特征之后，在步骤S206中进行模型边缘特征与图像边缘特征的关联。然而，也可采用省略步骤S205并且在步骤S206中提取与模型边缘特征对应的图像边缘特征的结构。

具体而言，在步骤S602中，匹配单元107搜索在搜索线703上存在的图像边缘特征。此时，在第1实施例中通过参照边缘强度映射来检测图像边缘特征，但是在本变型例中通过参照拍摄图像来检测图像边缘特征。具体而言，匹配单元107通过针对搜索线703上存在的像素值的一维阵列，使用在步骤S403中设置的一维提取滤波器进行卷积计算，来计算在拍摄图像中沿搜索线703的拍摄图像的照明梯度。匹配单元107将照明梯度的绝对值为极值的点检测作为图像边缘特征。

[第4变型例]

在第1实施例中，特征提取单元104参照劣化度来提取图像边缘特征。匹配单元107也通过将基于劣化度定义的可靠度用于加权，来估计目标物体的位置及姿态。然而，并非必须对图像边缘特征的提取与加权都使用劣化度。在第4变型例中，类似于第1实施例，特征提取单元104参照劣化度，并提取图像边缘特征。然而，匹配单元107估计目标物体的位置及姿态，而不进行基于可靠度的加权。

根据本变型例的信息处理装置1除了不具有可靠度计算单元105这点之外，具有与第1实施例类似的结构。在本变型例中的处理除了步骤S206的处理之外，与第1实施例类似。下面将参照图6的流程图，给出关于在本变型例的步骤S206中的处理的说明。

与第1实施例类似地进行步骤S601至S603。省略步骤S604的处理。在步骤S605中，匹配单元107通过求解式(11)来计算校正值Δs。具体而言，可以如式(15)所示来求解式(11)。

[式15]

Δs＝(J^TJ)^-1J^TE…(15)

在本变型例中，通过考虑到根据散景、模糊等的拍摄图像的劣化，能够高精度地提取图像边缘特征。由此，基于提取的图像边缘特征能够提高目标物体的位置及姿态的估计精度。

[第5变型例]

在第5变型例中，类似于第1实施例，匹配单元107将基于劣化度定义的可靠度用于加权，来估计目标物体的位置及姿态。然而，特征提取单元104不使用劣化度，而是通过对拍摄图像应用预定的提取滤波器，来提取图像边缘特征。

根据本变型例的信息处理装置1具有与第一实施例类似的结构。除了步骤S205的处理之外，本变型例中的处理与第1实施例类似。在本变型例的步骤S205中，特征提取单元104通过对获得的图像应用滤波器来提取图像边缘特征。不对使用的滤波器做特别限定，并且例如，可以使用任意形状的微分滤波器。

在本变型例中，在考虑到根据散景、模糊等的拍摄图像的劣化来对边缘特征进行加权的同时，通过使模型边缘特征吻合图像边缘特征，来估计目标物体的位置及姿态。因此，能够提高目标物体的位置及姿态的估计精度。

[第6变型例]

第1实施例中的特征提取单元104设置用于基于劣化度来提取边缘特征的滤波器，并且通过对拍摄图像应用设置的滤波器来提取图像边缘特征。在第6变型例中，固定用于提取图像边缘特征的滤波器。然而，在改变了拍摄图像的尺寸之后，应用滤波器。

根据本变型例的信息处理装置1具有与第一实施例类似的结构。除了步骤S205的处理之外，本变型例中的处理与第1实施例类似。将参照图9的流程图给出关于本变型例中的步骤S205的处理的说明。步骤S901和步骤S902的处理分别类似于步骤S401和步骤S402。

在步骤S903中，特征提取单元104根据在步骤S902中获得的劣化度，来设置针对拍摄图像的大小调整率。在本变型例中，计算大小调整率，以使得劣化度(例如，散景量D和模糊量B)越大，则拍摄图像变得越小。

作为具体示例，类似于第1实施例，特征提取单元104使用散景量D和模糊量B，来估计拍摄图像上的模型边缘特征的像的波形S。接下来，特征提取单元104设置大小调整率R，以使得波形S在预定传播范围内。在本变型例中，特征提取单元104计算波形S的标准偏差Z，并且计算大小调整率R＝E/Z，以使得标准偏差变成预定值E。在此，预定值E是根据用于提取图像边缘特征的滤波器而定义的值。在本变型例中，作为用于提取图像边缘特征的滤波器，使用根据通过将标准偏差E的高斯函数微分而获得的波形的滤波器。设置大小调整率R的方法不限于该方法。例如，为了降低计算复杂性，可以采用R＝E/(D+B)的结构。即使在这种情况下，也计算大小调整率R，以使得散景量D和模糊量B越大，则拍摄图像变得越小。

在步骤S904中，特征提取单元104基于在步骤S903中设置的大小调整率R，从由图像获得单元103获得的拍摄图像提取图像边缘特征。具体而言，首先，特征提取单元104根据大小调整率R调整拍摄图像的大小。如果大小调整率R大于1，则放大拍摄图像。接下来，特征提取单元104通过将预先准备好的滤波器应用于大小调整后的拍摄图像，来提取图像边缘特征。通过参照大小调整率并且，例如，通过乘以1/R，能够将从大小调整后的拍摄图像检测到的图像边缘特征的坐标转换为图像边缘特征在大小调整前的拍摄图像上的坐标。

在本变型例的方法中，通过考虑到根据散景、模糊等的拍摄图像的劣化，能够高精度地提取图像边缘特征。由此，能够提高基于提取的图像边缘特征的、目标物体的位置及姿态的估计精度。

[第7变型例]

在第一实施例中，设置了基于劣化度来提取图像边缘特征的滤波器，并且通过对拍摄图像应用设置的滤波器来提取图像边缘特征。在第7变型例中，基于劣化度来设置提取参数。具体而言，设置多个滤波器，并且多个滤波器被用于提取图像边缘特征。

在本变型例中，考虑劣化度计算单元101计算的散景量D和模糊量B可能包括误差。由此，特征提取单元104基于劣化度计算单元101计算的散景量D，设置多个散景量D±ΔD。类似地，特征提取单元104基于劣化度计算单元101计算的模糊量B，设置多个模糊量B±ΔB。特征提取单元104使用散景量D±ΔD与模糊量B±ΔB的各个组合来设置用于提取图像边缘特征的滤波器，并且从拍摄图像提取图像边缘特征。此外，特征提取单元104根据滤波处理的响应值，从多个提取结果中选择至少一个提取结果。具体而言，特征提取单元104通过对滤波器的响应值进行比较，来确定并输出提取精度被假定为相对高的提取结果。

根据本变型例的信息处理装置1具有与第1实施例类似的结构。除了步骤S205的处理之外，本变型例中的处理与第1实施例类似。下面将参照图10的流程图，给出关于本变型例中的步骤S205的处理的说明。步骤S1001和步骤S1002的处理分别类似于步骤S401和步骤S402。

在步骤S1003中，特征提取单元104基于在步骤S1002中获得的劣化度来设置多个提取滤波器。首先，特征提取单元104针对散景量D和模糊量B，应用在预定范围(ΔD，ΔB)内的改变。具体而言，在D±ΔD和B±ΔB的范围内，设置多个散景量和模糊量。可以预先设置散景量D和模糊量B的变化范围以及散景量和模糊量的数量。接下来，通过组合设置的多个散景量和模糊量，特征提取单元104设置多个提取滤波器。可以以与第1实施例类似的方式进行提取滤波器的设置。

在步骤S1004中，特征提取单元104使用在步骤S1003中设置的多个提取滤波器中的各个，来从由图像获得单元103获得的拍摄图像中提取图像边缘特征。由此，根据各个提取滤波器，来获得针对图像边缘特征的多个提取结果。

接下来，特征提取单元104从提取的图像边缘特征中，选择假定提取精度相对高的图像边缘特征。在本变型例中，选择滤波器的响应值大的提取结果。具体而言，选择通过应用了提取滤波器而计算的照明梯度的极值更大的图像边缘特征。作为具体示例，特征提取单元104从在同一位置处存在的并且使用不同提取滤波器提取的图像边缘特征组中，选择假定提取精度相对高的图像边缘特征。具体而言，特征提取单元104从预定范围E[像素]中包括的多个相邻的边缘特征中，选择作为各个提取滤波器的响应值的照明梯度的极值最大的边缘特征。特征提取单元104可以选择两个或更多个边缘特征。

根据本变型例的方法，通过考虑到根据散景、模糊等的拍摄图像的劣化，能够高精度地提取图像边缘特征。此外，通过使用考虑到散景和模糊的误差的多个提取滤波器，与使用一种提取滤波器的情况相比，能够高精度地提取图像边缘特征。因此，基于提取的图像边缘特征能够提高目标物体的位置及姿态的估计精度。

在本变型例中，给出了设置多个提取滤波器形状的方法。然而，如第6变型例所示，可以设置多个图像大小调整率。在这种情况下，根据各个大小调整率，获得针对图像边缘特征的多个检测结果。此外，选择通过对大小调整后的拍摄图像应用提取滤波器而计算出的照明梯度的极值更大的图像边缘特征。

[第8变型例]

在第1实施例中，劣化度计算单元101考虑到根据摄像装置108和目标物体的三维模型的摄像条件，通过模拟来计算劣化度。在第8变型例中，由摄像装置拍摄目标物体而获得的拍摄图像，来计算劣化度。对目标物体的多个拍摄图像进行以下处理，所述多个拍摄图像是在改变目标物体相对于摄像装置的相对位置及姿态的同时拍摄的。通过使用各拍摄图像而计算的劣化度与目标物体相对于摄像装置的相对位置及姿态相关联，由劣化度保持单元102保持。

除了步骤S202的处理之外，根据第8变型例的信息处理装置1的结构和处理与第1实施例类似。下面将参照图11的流程图，给出关于第8变型例的步骤S202的处理的说明。

在步骤S1100中，劣化度计算单元101从由图像获得单元103获得的目标物体的拍摄图像中，提取多个边缘特征。不对提取边缘特征的方法做特别限定，并且例如，可以使用任意微分滤波器。在步骤S1101中，劣化度计算单元101从在步骤S1100中提取的多个边缘特征中选择一个边缘特征。

在步骤S1102中，劣化度计算单元101计算在步骤S1101中选择的边缘特征的劣化度。在本变型例中，劣化度计算单元101基于边缘特征的位置和边缘的法线方向，来计算边缘特征的劣化度。作为具体示例，通过使用式(16)，劣化度计算单元101估计在假设拍摄图像根据劣化度σ而劣化的情况下在边缘特征上的关注像素处的照明值。

[式16]

$erf(r,\mathrm{\&theta;},\mathrm{\&sigma;})=\frac{2}{\sqrt{\mathrm{\&pi;}}}{\&Integral;}_{-t}^t\exp \left(\frac{{(r\cos \mathrm{\&theta;}-x_0)}^2+{(r\sin \mathrm{\&theta;}-y_0)}^2}{{\mathrm{\&sigma;}}^2}\right)dr...\left(16\right)$

在式(16)中，x₀，y₀是作为边缘特征所在的关注像素的位置，r表示距关注像素的位置的距离，并且θ表示边缘特征的法线方向(二维)。此外，t表示从关注像素的位置起的搜索范围，并且σ是劣化度。劣化度σ的值对应于散景量和模糊量被统一的值。t指示任意的正值。

如式(17)所示，在针对组成边缘特征的各个像素的、拍摄图像上的照明值与根据式(16)计算出的相同位置处的照明值之间的差的平方和被作为评价函数E。然后，劣化度计算单元101通过反复计算以最小化评价函数E，来估算参数σ。对于评价函数E的最小化，可以使用公知的方法；例如，可以使用最陡下降法、Levenberg-Marquardt方法等。在式(17)中，I(x，y)示出了在坐标(x，y)处的拍摄图像的照明值。

[式17]

$E=\underset{y}{\&Sigma;}\underset{x}{\&Sigma;}{\{I(x,y)-erf(r,\mathrm{\&theta;},\mathrm{\&sigma;})\}}^2...\left(17\right)$

在步骤S1103中，劣化度计算单元101确定是否针对所有边缘特征都计算了劣化度。如果尚未针对所有边缘特征完成劣化度的计算，则处理返回到步骤S1101，并且针对下一边缘特征计算劣化度。当针对所有边缘特征的劣化度计算都终止时，步骤S202的处理终止。在这种情况下，类似于第1变型例，劣化度保持单元102能够针对拍摄图像的各个分割区域或针对各个像素保持劣化度。例如，针对包括提取的边缘特征的图像的位置的拍摄图像的分割区域中所包括的各个像素，能够设置针对该边缘特征的劣化度。

如上所述，根据本变型例的方法，能够由拍摄目标物体的像计算劣化度。由此，通过考虑到仅通过摄像装置108的摄像参数和目标物体的三维模型等无法充分表现的影响，例如，噪声的影响，能够更精确地计算劣化度。通过参照该劣化度，可以高精度地提取图像边缘特征，此外，可以在针对边缘特征进行加权的同时，使得模型边缘特征与图像边缘特征吻合。因此，能够提高目标物体的位置及姿态的估计精度。

替代使用式(16)，能够估计当根据散景量D和模糊量B假定拍摄图像劣化的情况时边缘特征上的关注像素处的照明值。在这种情况下，替代劣化度σ，劣化度计算单元101能够估计散景量D和模糊量B。

[第9变型例]

在第8变型例中，由目标物体的拍摄图像计算劣化度。在第9变型例中，基于根据摄像装置的目标物体的摄像条件，通过使用目标物体的三维模型来估计由摄像装置拍摄目标物体而获得的拍摄图像。具体而言，在通过将三维模型投影在拍摄图像上而获得的图像中，进行再现(恢复)劣化的处理。在该处理中，参照目标物体的三维模型以及根据摄像装置108的摄像条件。除了步骤S1100不同之外，本变型例的处理与第8变型例类似。下面将给出步骤S1100的处理的说明。

在步骤S1100中，劣化度计算单元101将目标物体的三维模型投影在拍摄图像上。然后，劣化度计算单元101针对进行了投影的图像，进行再现劣化的处理。在本变型例中，劣化度计算单元101生成再现散景和模糊的图像。

下面给出再现散景和模糊的方法的示例的说明。首先，针对投影图像的各个像素，劣化度计算单元101基于与像素相对应的三维模型上的三维位置，计算关于投影图像的散景量D和模糊量B。可通过使用与投影图像的各个像素相对应的三维位置，根据式(2)来计算散景量D。

可以如下计算模糊量B。首先，计算在三维空间中的模糊量B_3D。可以根据B_3D＝t_iJ_3DV来获得模糊量B_3D。在此，J_3D是与投影图像的各个像素相对应的三维位置的雅可比；t_i是曝光时间；V是目标物体相对于摄像装置108的相对速度。雅可比J_3D是表示当位置及姿势6自由度的参数已略微改变时，在投影图像的各个像素所对应的三维位置处的改变的比率。可以根据式(18)和式(19)来计算雅可比J_3D。

[式18]

$J_{3D}=\left[\begin{array}{cccccc}\frac{\&part;{\mathrm{err}}_{3D}}{\&part;s_1}& \frac{\&part;{\mathrm{err}}_{3D}}{\&part;s_2}& \frac{\&part;{\mathrm{err}}_{3D}}{\&part;s_3}& \frac{\&part;{\mathrm{err}}_{3D}}{\&part;s_4}& \frac{\&part;{\mathrm{err}}_{3D}}{\&part;s_5}& \frac{\&part;{\mathrm{err}}_{3D}}{\&part;s_6}\end{array}\right]...\left(18\right)$

[式19]

err_3D＝(x′-x)+(y′-y)+(z′-z)…(19)

在式(18)中，s指示目标物体的位置及姿态。此外，err_3D指示当曝光开始处的三维位置是(x，y，z)并且曝光结束处的三维位置是(x′，y′，z′)时，曝光期间的三维位置的移动向量。

通过将三维空间中的模糊量B_3D(三维向量)投影在投影图像上，可以计算关于投影图像的模糊量B(二维向量)。

接下来，劣化度计算单元101基于获得的散景量D和模糊量B，生成由投影图像再现了散景和模糊的图像。具体而言，劣化度计算单元101通过针对投影图像的各个像素进行与标准偏差D的高斯函数的卷积计算以及与具有宽度B和高度1的矩形波的卷积计算，来生成再现了散景和模糊的图像。

随后，模糊度计算单元101从再现了散景和模糊的获得图像中，提取多个边缘特征。除了使用再现了散景和模糊的图像来替代目标物体的拍摄图像之外，可以与第8变型例类似地进行本处理。

如上所述，根据本变型例的方法，基于诸如曝光时间和目标物体相对于摄像装置108的相对位置及姿态以及目标物体的三维模型等的摄像条件，来生成再现了散景及模糊的图像。然后，基于该图像来计算劣化度。通过参照该劣化度，能够高精度地提取图像边缘特征，并且还能够在针对边缘特征进行加权的同时，使得模型边缘特征吻合图像边缘特征。因此，能够提高目标物体的位置及姿态的估计精度。

用于生成再现了劣化的图像的方法不限于上述方法。例如，可以使用通过使用诸如KazuyukiTanaka，"IntroductionofImageProcessingTechniquesbyProbabilisticModels"第6章中公开的图像滤波器来再现散景和模糊的方法。

[第2实施例]

在第1实施例中，通过使投影在拍摄图像表面上的目标物体的三维模型的模型边缘特征的图像坐标吻合从拍摄图像提取的图像边缘特征的图像坐标，来估计目标物体的位置及姿态。在第二实施例中，通过使目标物体的三维模型的特征(例如，表面)的三维坐标吻合从拍摄图像计算的特征(例如，三维点)的三维模型坐标，来估计目标物体的位置及姿态。

在本实施例中，特征提取单元104基于由摄像装置拍摄目标物体获得的拍摄图像，来计算目标物体的像上的特征的三维位置。具体而言，特征提取单元104计算目标物体的像上的点的三维位置。三维位置例如可以通过将照明图案照射在目标物体上来进行测量。在本实施例中，如图12所示，从照射装置1200将照明图案1201投影在目标物体1205上。然后使用摄像装置1203来拍摄投影了照明图案1201的目标物体1205。在本实施例中，投影包括多条虚线的照明图案1201。

基于照明图案1201、拍摄图像1204以及照明装置1200与摄像装置1203之间的位置关系，来计算投影了照明图案1201的物体表面上的三维位置。具体而言，获得由照射装置1200投影的照明图案1201中的关注特征的位置、提取了投影的关注特征的拍摄图像1204上的位置，以及摄像装置1203相对于照射装置1200的相对位置及姿态。在此，照明图案1201中的关注特征的位置对应于来自照射装置1200的关注特征的投影方向，并且提取了投影的关注特征的拍摄图像1204上的位置对应于来自摄像装置1203的关注特征的观测方向。因此，能够根据三角测量方法的原理来计算关注特征的三维位置。

在本实施例中，从拍摄图像1204来提取特征。在本实施例中，照明图案1201包括多个测量线1202，并且从拍摄图像1204中出现的照明图案1204提取的特征是线段上的点。下面将说明线段上的点的提取方法的示例。首先，通过将微分滤波器应用于拍摄图像1204来获得照明梯度分布。提取照明梯度为极值的点构成的线段。此外，通过在由此提取的线段上应用微分滤波器，来获得线段上的照明梯度分布。然后，在线段上的照明梯度变为极值的点被提取作为特征。由此，能够从拍摄图像1204提取特征，并且获得特征的位置。可以预先定义照明图案1201中的特征的位置。可以采用如下结构，即使用类似的方法提取照明图案1201中的特征，并且获得特征的位置。

不对照明图案1201的类型做特别限定，只要能从投影有照明图案1201的目标物体1205提取照明图案1201中包括的特征即可。例如，照明图案1201无需包括线，并且照明图案1201可以包括任意几何形状。作为示例，图13示出了包括多个点作为特征的照明图案1300。

计算三维位置的方法不限于上述方法。可以使用能够基于通过拍摄目标物体1205获得的图像，来计算目标物体1205的面上的三维位置的任意方法。例如，可以通过使用布置在不同位置处的多个摄像装置拍摄目标物体1205。在这种情况下，可以使用摄像装置与从各个拍摄图像提取的关注特征的位置的相对位置及姿态，通过三角测量方法的原理，来计算关注特征的三维位置。此外，可以经由上述方法，针对目标物体的像上的点，计算三维位置。

接下来，将参照图2的流程图，给出关于在本实施例中进行的处理的说明。根据本实施例的信息处理装置1具有与第1实施例类似的结构，并且下面将给出关于不同点的说明。在本实施例中，模型保持单元106保持目标物体1205的三维模型。模型保持单元106保持的目标物体1205的三维模型例如由指示位于目标物体1205的面上的表面组或点组的位置的信息组成。下面，将给出由表面组组成目标物体1205的三维模型的情况的说明。

与第1实施例类似地进行步骤S201。除了代替针对各个模型边缘特征计算劣化度、而是针对三维模型的面上的各个点计算并保持劣化度之外，与第1实施例类似地进行步骤S202和步骤S203。能够与针对模型边缘特征的劣化度的计算类似地进行针对点的劣化度的计算。例如，劣化度计算单元101能够通过使用摄像装置1203的摄像条件以及摄像装置1203与点之间的距离等，来计算散景量。劣化度计算单元101能够计算在曝光时间期间点在拍摄图像表面上的移动量，作为模糊量。可以采用如下结构，即使得劣化度计算单元101和劣化度保持单元102针对三维模型的各个面，计算并保持劣化度。

在步骤S204中，如上所述，特征提取单元104获得通过拍摄投影有照明图案1201的目标物体1205而获得的拍摄图像1204。在步骤S205中，特征提取单元104从在步骤S204中获得的拍摄图像中如上所述地提取三维点，并且记录三维点的三维位置。下面，将提取的三维点称为测量特征。

下面，将参照图6的流程图，给出步骤S206中的处理的详细说明。步骤S606和步骤S607的处理与第1实施例类似，并且将省略说明。

在步骤S601中，匹配单元107进行初始化处理。首先，匹配单元107从模型保持单元106获得目标物体1205的三维模型。同样地，匹配单元107获得目标物体1205的粗略位置/姿态，并且将其设置为三维模型的位置及姿态s。

在步骤S602中，匹配单元107将在步骤S205中提取的三维点与在步骤S601中获得的三维模型上的特征相关联。在本实施例中，针对各个测量特征，匹配单元107检测距离最近的、在三维模型像中的表面。然后，匹配单元107将检测到的表面与测量特征相关联。下面，将与测量三维点相关联的三维模型的表面称为模型特征。

在步骤S603至S605中，类似于第1实施例，匹配单元107使用Gauss-Newton方法来计算目标物体的位置及姿态。具体而言，匹配单元107重复更新三维模型相对于视点的相对位置及姿态，以使得目标物体的像与三维模型的像之间的匹配度变得更大。同样在本实施例中，基于针对根据与提取了测量特征的位置相对应的劣化度而加权的各个测量特征与对应模型特征的差值，来获得匹配度。测量特征与模型特征之间的差值是测量特征的三维位置与模型特征的三维位置之间的距离。类似于第1实施例，匹配单元107针对通过改变位置及姿态而获得的多个三维模型像，计算与目标物体的像的匹配度。从多个三维模型像中，可以将提供最高匹配度的三维模型像确定为与目标物体的像相对应的三维模型像。

在步骤S603中，匹配单元107如下计算系数矩阵和误差向量。系数矩阵的各个要素是与针对测量特征的坐标的、三维模型的位置及姿态的微小改变相对应的一次偏微分系数，更具体地说，是三维坐标的偏微分系数。误差向量是测量特征与模型特征之间在三维空间中的距离。

通过使用目标物体1205的位置及姿态，将在照相机坐标系(例如，基于摄像装置1203的位置及光轴方向的坐标系)中的点组的三维坐标，转换为目标物体1205的坐标系中的三维坐标(x，y，z)。在此，根据目标物体1205的粗略位置/姿态，将照相机坐标系中的测量特征的三维坐标转换为目标物体坐标系中的三维坐标(x₀，y₀，z₀)。(x，y，z)由目标物体1205的位置及姿态s改变，并且通过在(x₀，y₀，z₀)附近的一阶泰勒展开能够如式(20)那样进行近似。

[式20]

$x\&ap;x_0+\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;x}{\&part;s_i}{\mathrm{\&Delta;s}}_i$

$y\&ap;y_0+\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;y}{\&part;s_i}{\mathrm{\&Delta;s}}_i...\left(20\right)$

$z\&ap;z_0+\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;z}{\&part;s_i}{\mathrm{\&Delta;s}}_i$

在与测量特征相关联的模型特征的模型坐标系中的等式被构造为a_x+b_y+c_z＝e(a²+b²+c²＝1；a，b，c及e是常量)。如果目标物体1205的位置及姿态s准确，则当将照相机坐标系中的测量特征的三维坐标(x，y，z)转换为目标物体坐标系中的三维坐标时，可以认为转换后的三维坐标满足上述等式。如果这样假定，则通过将式(20)代入表面的等式a_x+b_y+c_z＝e(a²+b²+c²＝1)来获得式(21)。

[式21]

$a\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;x}{\&part;s_i}{\mathrm{\&Delta;s}}_i+b\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;y}{\&part;s_i}{\mathrm{\&Delta;s}}_i+c\underset{i=1}{\overset{6}{\&Sigma;}}\frac{\&part;z}{\&part;s_i}{\mathrm{\&Delta;s}}_i=e-q...\left(21\right)$

q＝ax₀+by₀+cz₀

在式(21)中，q是常量。

针对在步骤S602中检测到对应模型特征的所有测量特征，式(21)都成立。因此，如式(22)，针对Δs_i的线性联立方程成立。

[式22]

在式(22)中，左侧的矩阵是系数矩阵，并且右侧的矩阵是误差向量。以这种方式，匹配单元107计算系数矩阵和误差向量。

在步骤S604中，可靠度计算单元105针对各个测量特征计算可靠度。可以与第1实施例类似地进行可靠度的计算。例如，可靠度计算单元105从劣化度保持单元102，针对各个测量特征获得对应的劣化度。在本实施例中，从计算了劣化度的三维模型的面上的各点中，能够获得针对最接近测量特征的三维位置的点的劣化度，作为针对测量特征的劣化度。可靠度计算单元105计算针对各个测量特征的劣化度的平均值，并且还通过使用式(1)来计算针对各个测量特征的可靠度。在本实施例中，式(1)的c是针对测量特征的劣化度的平均值，并且b是针对测量特征的劣化度。计算可靠度的方法不限于该方法，并且可以使用在第1实施例中说明的各种方法。此外，可以采用如下结构，即，将三维空间分割为多个区域，并且针对各个分割区域计算针对测量特征的劣化度的统计量，并且通过将计算出的统计量用作参数的函数来表现可靠度。

计算出的可靠度被用作针对各个测量特征的权重。在下面的说明中，如在第1实施例中说明的，像在式(12)那样，基于可靠度来定义权重矩阵W。权重矩阵W是除了对角要素之外的分量为0的正方形矩阵。对角要素是针对各个模型特征的权重，即，是可靠度w_i(i＝1至N_c)。N_c是与测量特征相关联的模型特征的总数。与第一实施例类似，像式(13)那样，通过使用权重矩阵W来变换式(11)。在步骤S605中，可靠度计算单元105通过如式(14)那样求解式(13)，来获得校正值Δs。通过步骤S605的处理，来获得三维模型的像与目标物体的像之间的匹配度变得更高的位置及姿态的校正值Δs。

如上所述，通过步骤S601至S607的处理，来估计目标物体的位置及姿态。

在本实施例中，给出了由表面组组成目标物体1205的三维模型的情况的说明。然而，目标物体1205的三维模型可以由点组构成。在这种情况下，在步骤S602中，针对各个测量特征，能够将距离最近的三维模型的点相关联。然后，可以获得目标物体1205的位置及姿态的校正值Δs，以使得通过可靠度来加权对应点之间的距离而获得的评价函数最小。

通过以上说明的第二实施例，在考虑到根据散景、模糊等的拍摄图像的劣化来针对测量特征进行加权的同时，通过使模型特征吻合测量特征，来估计目标物体的位置及姿态。因此，能够提高目标物体的位置及姿态的估计精度。

[第3实施例]

在第1实施例中，通过使投影在拍摄图像表面上的目标物体的三维模型的模型边缘特征的图像坐标，吻合从拍摄图像提取的图像边缘特征的图像坐标，来估计目标物体的位置及姿态。在第2实施例中，通过使目标物体的三维模型的模型特征(例如，表面)的三维坐标吻合从拍摄图像计算的测量特征(例如，三维点)的三维坐标，来估计目标物体的位置及姿态。在第3实施例中，通过组合第1实施例及第2实施例，通过使用拍摄图像上的图像坐标的吻合以及三维空间中的三维坐标的吻合两者，来估计目标物体的位置及姿态。

接下来，将参照图2的流程图，给出关于本实施例中进行的处理的说明。根据本实施例的信息处理装置1具有与第1实施例类似的结构，并且下面给出关于不同点的说明。

与第1实施例类似地进行步骤S201。在步骤S202及步骤S203中，与第1实施例类似地计算并保持针对各个模型边缘特征的劣化度，此外，与第2实施例类似地计算并保持针对三维模型的各个表面的劣化度。与第2实施例类似地进行步骤S204。在步骤S205中，特征提取单元104与第1实施例类似地从拍摄图像提取图像边缘特征，并且与第2实施例类似地提取测量特征(三维点)。

下面，将参照图6的流程图，给出步骤S206中的处理的详情的说明。步骤S606和步骤S607的处理与第1实施例的类似，并且将省略对其说明。在步骤S601中，匹配单元107与第1和第2实施例类似地进行初始化处理。

在步骤S602中，类似于第1实施例，匹配单元107进行模型边缘特征的各组与图像边缘特征的各组的关联。此外，类似于第2实施例，匹配单元107将测量特征与模型特征(三维模型的表面)相关联。

在步骤S603中，匹配单元107计算误差向量和系数矩阵，以求解线性联立方程。具体而言，匹配单元107进行在第1实施例中说明的处理和在第2实施例中说明的处理两者。通过将关于根据第1实施例获得的边缘特征的误差向量和系数矩阵，与关于根据第2实施例获得的边缘特征的误差向量和系数矩阵组合，来获得式(23)。

[式23]

在步骤S604中，类似于第1实施例，匹配单元107计算针对与模型边缘特征相对应的图像边缘特征的可靠度，并且类似于第2实施例，计算针对与模型特征相对应的测量特征的可靠度。计算出的可靠度被用作针对各个图像边缘特征和测量特征的权重。在以下说明中，如式(24)，基于可靠度来定义权重矩阵W。

[式24]

权重矩阵W是除了对角要素之外的分量是0的正方形矩阵。权重矩阵W的对角要素是针对图像边缘特征的可靠度W_2d，i(i＝1至Na)，以及针对测量特征的可靠度W_3d，i(i＝1至Nb)。Na是检测出了对应图像边缘特征的模型边缘特征的总数，并且Nb是对应于测量特征的模型特征的总数。

与第1实施例类似，通过使用权重矩阵W如式(13)那样变换式(11)。在步骤S605中，可靠度计算单元105如式(14)那样通过求解式(13)来获得校正值Δs。

如上所述，通过步骤S601至S607的处理，来估计目标物体的位置及姿态。

通过上述第3实施例，在考虑到根据散景、模糊等的拍摄图像的劣化来针对测量特征进行加权的同时，使用测量特征和图像边缘特征两者，来估计目标物体的位置及姿态。因此，能够提高目标物体的位置及姿态的估计精度。

[第4实施例]

在第4实施例中，参照图14，来说明根据第1至第3实施例的信息处理装置1的应用的示例。具体而言，信息处理装置1基于由摄像装置1400获得的拍摄图像，来估计目标物体1205的位置及姿态。工业机器人1401基于估计的目标物体1205的位置及姿态来操作目标物体1205。如图14所示，根据本实施例的机器人系统包括信息处理装置1、摄像装置1400以及机器人1401。

机器人1401例如是工业机器人，并且包括具有可动轴的机械臂。由机器人控制器控制机械臂的移动，并且可以使得末端执行器移动到指示的位置。由此，机器人1401能够对物体进行操作，例如，抓握物体等。目标物体1205放置在工作台上的位置可以改变。因此，为了使机器人1401要在目标物体1205上进行操作，需要估计目标物体1205的位置及姿态，并且基于该估计控制机械臂的移动。机器人控制器可以配设在机器人1401上，或者机器人1401可以连接到机器人控制器。

摄像装置1400是拍摄二维图像的照相机。可以使用普通照相机作为摄像装置1400。摄像装置1400被放置在能够拍摄目标物体1205的位置处。在实施例中，摄像装置1400被配设在由机器人1401组成的机械臂的末端执行器上(即，在抓握物体的手上)，或被配设在该手附近。摄像装置1400也可以被布置在与从机器人1401分开的位置处。

如第1至第3实施例所述，信息处理装置1基于从摄像装置1400获得的拍摄图像，来估计目标物体1205的位置及姿态。如果需要，也可以使用在第2实施例中说明的照射装置。由图像处理装置1估计的目标物体1205的位置及姿态被发送到机器人控制器。机器人控制器基于获得的目标物体1205的位置及姿态，来控制机械臂的位置及姿态。由此，机器人1401能够进行诸如抓握目标物体1205等的操作。

如上所述，即使目标物体1205的位置不固定，根据第4实施例的机器人系统通过估计目标物体1205的位置及姿态，也能够进行针对目标物体1205的操作。

[第5实施例]

在第1至第4实施例中，估计目标物体的位置及姿态。在第5实施例中，进行目标物体的类型的指定。根据第5实施例的信息处理装置1具有与第1实施例类似的结构，下面将给出不同点的说明。

劣化度计算单元101和劣化度保持单元102计算并保持劣化度。在本实施例中，例如，如第1、第8以及第9变型例所述，针对各个像素计算并保持劣化度。在本实施例中，也针对各个后述的投影图像，计算并保持劣化度。

特征提取单元104从由图像获得单元103获得的拍摄图像提取特征。在本实施例中，提取针对各个像素的照明值作为特征。

模型保持单元106保持针对多个比较目标的模型信息，该多个比较目标是与目标物体相比较的物体。一条模型信息由包括比较目标的像的图像和识别比较目标的类型的标识符组成。换言之，模型保持单元106进行图像保持，并且保持包括比较目标的像的多个图像。在本实施例中，比较目标的像是通过将比较目标的三维模型投影在拍摄图像上而获得的投影图像。比较目标的像可以是通过拍摄比较目标而获得的拍摄图像。此外，针对一个比较目标，模型保持单元106可以保持在比较目标相对于摄像装置的相对位置及姿态不同的情况下的多个模型信息。

可靠度计算单元105针对模型保持单元106保持的投影图像的各个像素，计算可靠度。在本实施例中，可靠度计算单元105由针对投影图像的各个像素的劣化度，计算劣化度的统计值，例如，平均值。与第1实施例类似，然后，可靠度计算单元105使用Tukey函数来计算各个像素的可靠度。如前所述，不对计算可靠度的方法做特别限定，只要劣化度越高则可靠度变得越低即可。例如，可以采用如下结构，即通过使用Tukey函数和预定阈值来计算各个像素的可靠度。也可以采用如下结构，即使用计算出的统计值来针对所有像素位置设置共同的可靠度。作为统计值，也可以使用中值、标准偏差等。

匹配单元107指定在由图像获得单元103获得的拍摄图像中包括的目标物体的类型。具体而言，匹配单元107确定由图像获得单元103获得的拍摄图像与由模型保持单元106保持的投影图像之间的类似度。在本实施例中，匹配单元107根据各个像素位置的可靠度，对针对各个像素位置的投影图像的像素值与拍摄图像的像素值之间的差值进行加权。然后，基于针对各个像素位置获得的加权的差值，来计算目标物体的像与比较目标的像之间的匹配度。由此获得的匹配度是基于根据与提取了特征的位置对应的劣化度而加权的、针对目标物体像的多个特征中的各个与对应的比较目标像的特征的差值。

在一个示例中，匹配单元107使用式(25)中示出的归一化互相关函数，来计算由特征提取单元104获得的照明值与模型保持单元106保持的投影图像的照明值之间的类似度NCC。根据式(25)计算的NCC的值越接近1，则确定类似度越高。

[式25]

$NCC=\frac{{\&Sigma;}_{j=0}^{N-1}{\&Sigma;}_{i=0}^{M-1}\left(W\left(i,j\right)I\left(i,j\right)\right)T\left(i,j\right)}{\sqrt{{\&Sigma;}_{j=0}^{N-1}{\&Sigma;}_{i=0}^{M-1}{\left(W\left(i,j\right)I\left(i,j\right)\right)}^2\&times;{\&Sigma;}_{j=0}^{N-1}{\&Sigma;}_{i=0}^{M-1}T{\left(i,j\right)}^2}}...\left(25\right)$

在式(25)中，i和j指示像素位置，并且函数I和T分别指示模型保持单元106保持的投影图像的照明值和由特征提取单元104获得的照明值。此外，函数W指示由可靠度计算单元105计算的可靠度。

匹配单元107针对模型保持单元106保持的各个投影图像计算NCC。匹配单元107指定NCC的值最接近1的投影图像。最后，匹配单元107通过使用与指定的投影图像相关联的标识符，来指定目标物体的类型。匹配单元107能够输出指示指定的目标物体的类型的信息。如果NCC的值不超过阈值，则匹配单元107可以确定在拍摄图像中不存在登记类型的物体。

接下来，将参照图2的流程图，来给出本实施例中的处理的说明。与第1实施例类似地进行步骤S201的处理。在步骤S202和S203中，劣化度计算单元101和劣化度保持单元102如上所述计算和保持劣化度。与第1实施例类似地进行步骤S204的处理。

在步骤S205中，特征提取单元104提取在步骤S204中获得的拍摄图像上的各个像素值，作为特征。在步骤S206中，如上所述，匹配单元107使用在步骤S205中提取的特征、模型保持单元106保持的投影图像、以及由可靠度计算单元105计算出的可靠度，来进行目标物体的识别。

通过上述处理，能够指定目标物体的类型。通过应用本实施例，还能够确定目标物体的位置及姿态。例如，模型保持单元106保持的一条模型信息可以由投影图像、标识符以及指示摄像装置相对于比较目标的相对位置及姿态的信息构成。在这种情况下，匹配单元107可以使用指示与指定的投影图像相关联的相对位置及姿态的信息，来确定目标物体的位置及姿态。

根据第5实施例，在考虑到根据散景和模糊等的拍摄图像的劣化来针对各像素进行加权的同时，通过计算拍摄图像与投影图像之间的匹配度，能够高精度地进行目标物体的类型的指定。

[第10变型例]

在第5实施例中，基于目标物体的拍摄图像与模型保持单元106保持的投影图像之间的类似度，来进行目标物体的识别。在第10变型例中，通过使用SIFT特征的类似度，来进行目标物体的识别。根据第5实施例的信息处理装置1具有与第1实施例类似的结构；下面将给出不同点的说明。

特征提取单元104从由图像获得单元103获得的拍摄图像，提取SIFT特征量。例如，特征提取单元104能够从拍摄图像检测特征点(关键点)，并且计算在各个关键点处的SIFT特征量。检测关键点的方法和计算SIFT特征量的方法是公知的。作为本实施例的一个示例，使用在HironobuFujiyoshi，"LocalFeatureAmountsforGenericObjectRecognition(SIFTandHOG)"InformationProcessingInstituteResearchReport，CVIM160，pp.211-224，2007中公开的方法。

模型保持单元106针对多个比较目标，保持模型信息。一条模型信息由从通过将比较目标的三维模型投影在拍摄图像上获得的投影图像中提取的SIFT特征量、以及指定比较目标的类型的标识符组成。在本实施例中，一条模型信息包括多个SIFT特征量。此外，针对一个比较目标，模型保持单元106能够保持在比较目标相对于摄像装置的相对位置及姿态不同的情况下的多条模型信息。

匹配单元107指定由图像获得单元103获得的拍摄图像中包括的目标物体的类型。具体而言，匹配单元107首先选择模型保持单元106保持的一条模型信息，然后将选择的模型信息中包括的SIFT特征量与由特征提取单元104提取的SIFT特征量相关联。关联SIFT特征量的方法是公知的，并且作为本实施例的一个示例，可以使用在HironobuFujiyoshi，"LocalFeatureAmountsforGenericObjectRecognition(SIFTandHOG)"InformationProcessingInstituteResearchReport，CVIM160，pp.211-224，2007中公开的方法。

当进行SIFT特征量的关联时，可以将由模型保持单元106保持的SIFT特征量与距离接近的、从由图像获得单元103获得的拍摄图像提取的SIFT特征量相关联。可以与关键点的像素位置无关地进行该关联。在第1至第5实施例中，将位置接近的特征相关联，但是也可以以这种方式使用各种方法作为关联特征的方法。

接下来，匹配单元107获得针对关联的SIFT特征量的可靠度。在本变型例中，与第5实施例类似，可靠度计算单元105针对由模型保持单元106保持的投影图像的各个像素，计算可靠度。匹配单元107从可靠度计算单元105，获得与从拍摄图像提取的SIFT特征量相对应的关键点的像素的可靠度。匹配单元107计算通过将获得的可靠度作为权重与在关联的SIFT特征之间的欧几里得(Euclidean)距离相乘而得到的加权距离的总和，作为类似度R。

匹配单元107进行上述处理，以计算针对各条模型信息的类似度R。然后，匹配单元107指定类似度R变为最小的模型信息，并且根据与指定的模型信息相关联的标识符来指定目标物体的类型。匹配单元107能够输出指示指定的目标物体的类型的信息。在本变型例中，类似于第5实施例，能够使用指示与指定的模型信息相关联的相对位置及姿态的信息，来确定目标物体的位置及姿态。

在本变型例中使用SIFT特征量，但是可以使用从图像提取的其他特征来指定目标物体的类型。例如，可以使用边缘特征、基于拍摄图像而计算出的三维点等作为特征。

[第6实施例]

在上述实施例中，通过专用硬件来实现例如图1等示出的各个处理单元。然而，可以通过计算机来实现部分或所有处理单元。在本实施例中，至少根据各个上述实施例的处理的一部分由计算机来执行。图15是示出计算机的基本结构的图。为了在计算机中执行上述各实施例的功能，可以通过程序来表现各个功能结构，并由计算机读取。由此，能够通过计算机来实现上述实施例的各个功能。在这种情况下，可以通过函数或者CPU执行的子程序，来使得图15中的各个组件发挥功能。

此外，计算机程序通常存储在诸如CD-ROM等的非易失性计算机可读存储介质中。通过将存储介质设置到计算机所具有的读取装置(诸如CD-ROM驱动)中，并且将其复制或安装到系统中，能够执行该计算机程序。因此，对应的非易失性计算机可读存储介质也在本发明的范围内，这是不言自明的。

图15是示出计算机的基本结构的图。图15中的处理器1510例如是CPU，并且整体上控制计算机的操作。存储器1520例如是RAM，并且临时存储程序、数据等。非易失性计算机可读存储介质1530例如是硬盘或CD-ROM，并且长期存储程序和数据等。在本实施例中，存储在存储介质1530中并实现各个单元的功能的程序，被读入存储器1520中。处理器1510通过根据存储器1520中的程序进行操作，来实现各个单元的功能。

在图15中，输入接口1540是用于从外部装置获得信息的接口，并且例如连接到操作面板112等。同样，输出接口1550是用于向外部装置输出信息的接口，并且例如连接到LCD监视器113等。总线1560连接各个上述单元，并且使得能够进行数据的交换。

其他实施例

还可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多程序)以执行上述实施例中的一个或更多个的功能、和/或包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现本发明的实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、和/或控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一者或更多。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (30)

1.一种图像处理装置，所述图像处理装置包括：

图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像；

劣化度获得单元，其用于针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；

提取单元，其用于基于所述劣化度从所述拍摄图像提取所述目标物体的特征；

模型保持单元，其用于保持所述目标物体的三维模型；

关联单元，其用于将所述目标物体的特征，与当根据预定位置及姿态布置所述三维模型时观察到的所述三维模型的特征相关联；以及

导出单元，其用于通过基于所述关联的结果校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。

2.根据权利要求1所述的图像处理装置，其中，所述劣化度获得单元从劣化度保持单元获得所述劣化度，所述劣化度保持单元预先保持指示针对由摄像装置拍摄的拍摄图像的各个位置的图像劣化度的信息。

3.根据权利要求2所述的图像处理装置，其中，所述劣化度保持单元将指示所述劣化度的信息，与所述目标物体和所述摄像装置之间的位置及姿态相关联地保持。

4.根据权利要求2所述的图像处理装置，其中，所述劣化度保持单元将指示通过摄像装置拍摄所述目标物体而获得的拍摄图像在所述目标物体的像的各个特征的位置处的劣化度的信息，与所述三维模型包括的、对应于各个特征的特征相关联地保持。

5.根据权利要求1所述的图像处理装置，其中，所述导出单元校正所述预定位置及姿态，以使由所述关联单元关联的所述三维模型的特征与所述目标物体的特征之间的距离小。

6.根据权利要求1所述的图像处理装置，其中，

所述特征是边缘特征，

所述提取单元通过对所述拍摄图像进行边缘检测处理，来提取多个边缘特征，并且

所述关联单元针对所述三维模型具有的多个边缘中的各个，计算通过基于所述预定位置及姿态将所述边缘投影在投影图像上而获得的图像位置，并且将所述拍摄图像中的、所述目标物体的像的边缘特征的图像位置，与跟所述目标物体的像的边缘特征邻近的、所述投影图像上的所述三维模型的边缘的图像位置相关联。

7.根据权利要求1所述的图像处理装置，其中，

由所述摄像装置拍摄所述目标物体来获得所述拍摄图像，在所述目标物体上由照射装置照射有照明图案，

所述提取单元基于所述照射装置的位置、所述摄像装置的位置以及所述照明图案，提取所述目标物体的像上的点的三维位置作为所述特征，并且

所述关联单元将所述目标物体的像上的所述点的所述三维位置，与跟该三维位置邻近的、所述三维模型的表面的三维位置相关联。

8.根据权利要求1所述的图像处理装置，其中，所述导出单元，通过基于所述关联的结果以及与所述特征被提取的位置对应的劣化度，校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。

9.根据权利要求1所述的图像处理装置，所述图像处理装置还包括设置单元，所述设置单元用于根据所述劣化度，设置用于从所述拍摄图像提取所述特征的提取参数，

其中，所述提取单元通过使用由所述设置单元设置的所述提取参数，来从所述拍摄图像提取所述特征。

10.根据权利要求9所述的图像处理装置，其中，所述设置单元设置所述提取参数，以便通过使用滤波器的滤波处理来提取特征，其中所述劣化度越高，所述滤波器的尺寸越大。

11.根据权利要求9所述的图像处理装置，其中，所述设置单元设置所述提取参数，以便在对所述拍摄图像进行大小调整之后通过滤波处理来提取特征，其中所述劣化度越高，将所述拍摄图像的大小调整为越小。

12.根据权利要求9所述的图像处理装置，其中，

所述设置单元，根据所述劣化度设置多个提取参数；以及

所述提取单元，根据滤波处理使用所述多个提取参数中的各个来提取特征，并且根据滤波处理的响应值从多个提取结果中选择至少一个提取结果。

13.根据权利要求1至12中任一项所述的图像处理装置，其中，所述劣化度指示图像的模糊量和散景量中的至少一者。

14.根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括劣化度计算单元，所述劣化度计算单元用于基于根据所述摄像装置的所述目标物体的摄像条件，使用所述目标物体的所述三维模型，来计算所述劣化度。

15.根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括劣化度计算单元，所述劣化度计算单元用于基于由所述摄像装置拍摄所述目标物体而获得的拍摄图像，来计算所述劣化度。

16.根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括劣化度计算单元，所述劣化度计算单元用于基于根据所述摄像装置的所述目标物体的摄像条件、使用所述目标物体的所述三维模型，来估计由所述摄像装置拍摄所述目标物体而获得的拍摄图像，并且基于估计的图像来计算所述劣化度。

17.根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括摄像单元，所述摄像单元用于通过拍摄所述目标物体来获得所述拍摄图像。

18.根据权利要求1至12中任一项所述的图像处理装置，所述图像处理装置还包括：

摄像单元，其用于通过拍摄所述目标物体来获得所述拍摄图像；

包括可移动轴的机械臂；以及

控制单元，其用于根据导出的、所述目标物体的位置及姿态，来控制所述机械臂的位置及姿态。

19.一种图像处理装置，所述图像处理装置包括：

图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像；

劣化度获得单元，其用于针对所述拍摄图像的位置，获得指示所述拍摄图像的劣化度的信息；

保持单元，其用于保持多个比较目标像；以及

确定单元，其用于基于所述目标物体的像与所述多个比较目标像中的比较目标像之间的匹配度，从所述多个比较目标像之中，确定与所述目标物体的像相对应的像，其中，

所述匹配度基于所述目标物体的像的多个特征中的各个与对应的比较目标像的特征的差值，所述差值根据与特征被提取的位置对应的所述劣化度而被加权。

20.一种图像处理装置，所述图像处理装置包括：

图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像；

劣化度获得单元，其用于获得指示所述拍摄图像的劣化度的信息；

设置单元，其用于根据所述劣化度，设置用于从所述拍摄图像提取特征的提取参数；以及

提取单元，其用于参照所述拍摄图像，通过使用由所述设置单元设置的所述提取参数，来提取所述拍摄图像的特征。

21.根据权利要求20所述的图像处理装置，其中，

所述劣化度获得单元针对所述拍摄图像中的位置，获得指示图像劣化度的信息，并且

所述设置单元针对所述拍摄图像的所述位置，根据针对所述位置的所述劣化度，设置用于在该位置处提取特征的提取参数。

22.根据权利要20所述的图像处理装置，其中，所述劣化度获得单元获得指示所述劣化度的所述信息，所述劣化度与所述目标物体和所述摄像装置的视点之间的位置及姿态相关联。

23.根据权利要求20至22中任一项所述的图像处理装置，其中，所述设置单元设置所述提取参数，以使得通过使用滤波器的滤波处理来提取特征，其中所述劣化度越高，则所述滤波器的尺寸越大。

24.根据权利要求20至22中任一项所述的图像处理装置，其中，所述设置单元设置所述提取参数，以使得在对所述拍摄图像进行大小调整之后通过滤波处理来提取特征，其中，所述劣化度越高，则将所述拍摄图像的大小调整为越小。

25.根据权利要求20至22中任一项所述的图像处理装置，其中，

所述设置单元根据所述劣化度，设置多个提取参数，并且

所述提取单元使用所述多个提取参数中的各个以根据滤波处理来提取特征，并且根据滤波处理的响应值，从多个提取结果中选择至少一个提取结果。

26.一种图像处理方法，所述图像处理方法包括：

获得由摄像装置拍摄的目标物体的拍摄图像；

针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；

基于所述劣化度从所述拍摄图像提取所述目标物体的特征；

保持所述目标物体的三维模型；

将所述目标物体的特征，与当根据预定位置及姿态布置所述三维模型时观察到的所述三维模型的特征相关联；以及

通过基于所述关联的结果校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。

27.一种图像处理方法，所述图像处理方法包括：

获得由摄像装置拍摄的目标物体的拍摄图像；

针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；

保持多个比较目标像；以及

基于所述目标物体的像与所述多个比较目标像中的比较目标像之间的匹配度，从所述多个比较目标像之中，确定与所述目标物体的像相对应的像，其中，

所述匹配度基于所述目标物体的像的多个特征中的各个与对应的比较目标像的特征的差值，所述差值根据与特征被提取的位置对应的所述劣化度而被加权。

28.一种图像处理方法，所述图像处理方法包括：

获得由摄像装置拍摄的目标物体的拍摄图像；

获得指示所述拍摄图像的劣化度的信息；

根据所述劣化度，设置用于从所述拍摄图像提取特征的提取参数；以及

参照所述拍摄图像，通过使用所述提取参数，来提取所述拍摄图像的特征。

29.一种图像处理装置，所述图像处理装置包括：

图像获得单元，其用于获得由摄像装置拍摄的目标物体的拍摄图像；

劣化度获得单元，其用于针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；

提取单元，其用于从所述拍摄图像提取所述目标物体的特征；

模型保持单元，其用于保持所述目标物体的三维模型；

关联单元，其用于将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到的所述三维模型的特征相关联；以及

导出单元，其用于通过基于所述关联的结果以及与所述特征被提取的位置对应的劣化度，校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。

30.一种图像处理方法，所述图像处理方法包括：

获得由摄像装置拍摄的目标物体的拍摄图像；

针对所述拍摄图像中的位置，获得指示所述拍摄图像的劣化度的信息；

从所述拍摄图像提取所述目标物体的特征；

保持所述目标物体的三维模型；

将所述目标物体的特征，与当根据预定位置及姿态来布置所述三维模型时观察到的所述三维模型的特征相关联；以及

通过基于所述关联的结果以及与所述特征被提取的位置对应的劣化度，校正所述预定位置及姿态，来导出所述目标物体相对于所述摄像装置的位置及姿态。