CN1045831C - 识别三维空间目标物的方法 - Google Patents

Abstract

一种识别三维空间目标物的方法，它对三维空间中的目标物进行拍摄而获得一个间距图象，然后用与获得间距图象相同的视点获得一个二维图象；用这个二维图先对间距图象设置一个被测目标物的存在区，然后将对被测目标物的检测操作仅在受限制的部分间距图象上进行，以对目标物，特别是三维目标物进行速度很高的检测。

Description

识别三维空间目标物的方法

本发明涉及一种识别三维空间中目标物的方法，特别涉及一种检测目标物位置、姿态或姿势以及形状的目标物识别方法。

以往识别三维目标物的方法有好几种；其中有如日本公开特许公报No.2-230478所揭示的方法，该方法是根据图象中的所有边缘线段与目标物模型之所有轮廓线相符获得目标物的位置姿态的各类参数，然后从这些参数空间中提取出参数族以检测目标物的位置。另一种是由日本公开特许公报No.4-54409所揭示的方法，该方法将被检目标物看作为一个含有许多刚体及具有旋转自由度的连至这些刚体的接头的目标物模型，然后根据图象中的特性(诸如指定的线段或指定的点等)与目标物模型相符时找到每一个刚体的侯选姿态，再从各自的侯选姿态对目标物图象作估算同时与图象作对比以确定一个合适的姿态。诸如此类的方法还有好几种。

在已往的方法中，必须使得图象中之所有边缘线段与目标物模型之所有轮廓线相符。因而，当目标物的形状复杂时，图象中之边缘线数目和目标物模型之轮廓线数目的就会很大，而这样就会很不利地增加了使二者相符所需要的时间以及降低了检测的精度。即使采用后一种方法，如果目标物具有柔性结构，则刚体数和接头数就很大，因而也使得对一个目标物三维姿态的最终检测需要很长时间。

其间，由日本公开特许公报No.6-29695的提出了一种专门识别形如圆柱形目标物的高速检测目标物的方法。在该方法中，先用二台图象获取装置从二个不同角度斜向对被测目标物拍摄二幅图象，再从二幅图象中提取出曲线边缘，一些位于预定距离范围内的曲线边缘被看作相同的椭圆线的边缘，将直圆的中心视作为图象中椭圆的中心，计算出上、下椭圆的中心并将二个图象相互结合起来，再根据三角学测量术计算出与上、下椭圆相对应的直圆的中心，然后再计算与求出的二个中心相连接的线段的取向或方向以找到圆柱体的中心线，因而可以确定出该圆柱体的位置及姿态。

然而，这个方法也存在一个问题。如果需要识别一环形物或多个圆柱形目标物时，则它会将原来不是同一圆的那些曲线边缘的组合误认为是在同一圆中的，同时圆柱体下底表面的一些边缘在屏幕上是看不到的，这样就不可能测出圆柱形目标物之中心线的方向，也就无法确定其姿态，另外，在把圆心投射到一个图象时，若含该圆的平面与图象获取装置的光轴不垂直的话，该圆心将会投射成图象中偏离圆心的一个点。还有，由于下圆的边线几乎有一半是被遮掩而看不见的，这样根据这些边线而计算出来的圆心的准确度势必较低。因而，由此得到的位置和姿态的值的准确度和可靠性也必定较低。

由此可见本发明的目的就是要提出一种以高准确度实现高速检测的目标物识别法。

按照本发明的一个方面，上述目标是这样达到的：它提出了一种目标物识别法，该方法包括下列几个步骤：对一个三维空间中的目标物进行摄象得到一个间距图象，从获得该间距图象的相同的视角出发得到一个二维图象，对该二维图象确定一个部分图象，并把二维图象指定的部分图象施加到间距图象中去，用以对间距图象提取出部分图象，再对间距部分图象作目标物检测操作。

按本发明之另一个方面是提出了一种目标物识别法，其中有一个二维图象，该二维图象是与对一个三维空间中的目标物摄象后获得的间距图象有相同的视角；一个二维图象中目标物的惯量主轴和重心；间距图象是投射到通过惯量至轴并和二维图象相垂直的平面上；在投影响平面上的惯量主轴和目标物之重心；以及由2个求得的惯量主轴和2个求得的重心检测出来的三维空间中目标物的惯量主轴的位置及姿态。

按本发明的再一个方面，提出了一种目标物识别法，在一三维空间中从多个方向对具有圆周状的目标物摄象得到黑白图象，由该黑白图象获得一个边缘图象和一个光强梯度方向图象，通过对立体图象的处理形成一个边缘图象作为参照同时从该参照图象和另外的边缘图象中形成一个定位差异图象，从参照图象中仅提取曲线边缘从曲线边缘中提取一个圆，使用由被提取的圆中的边缘点的定位差异查找到的三维信息来检测被提取圆的位置和姿态。

在本发明中，在目标物的检测过程中使用二维图象以先行限制间距图象中被测目标物的存在区，同时目标物的检测操作是在受限制区域中的间距部分图象上进行的。因而，同已有技术相比本发明可以实现高速的检测功能，因为已有技术的检测操作是在整个间距图象上完成的。此时，根据目标物的表面形状图案、结构质地的统计图象特点，色彩或亮度的分类或者是由目标物的三维几何图形特点而获得的二维几何图形特性来确定二维图象中的部分图象。

虽然对于本发明可以作各种不同的修改和变更以适合不同需要，下面将按所列图表对某些实例作详细的介绍。然而，不言而喻，本发明绝不限于这里介绍的那些实例，相反，希望能包括一切修改、结构变更和等效作法，只要它们落在本发明之精神和范围之中即可。

参照下列附图进行描述，本发明的这些和其它的特点将会一目了然：

图1是说明按本发明的一个系统的实施例操作的流程图。

图2为是图1实施例的系统的框图。

图3是图1实施例中被测目标物例子的透视图。

图4a是说明图1实施例中样板目标物的二维图象的简图。

图4b是说明图1实施例中样板目标物的间距图象的简图。

图5是说明图1实施例的更具体变化的操作流程图。

图6是说明图5变化的操作的简图。

图7是说明图1实施例中另一个更具体变化的操作流程图。

图8是说明图7变化操作的简图。

图9是说明图1实施例中再一个更具体变化的操作流程图。

图10是说明图9变化的操作的简图。

图11是说明图1实施例中又一个更具体变化的操作流程图。

图12是图11变化中的检测目标物的例子的正视图。

图13a是说明图11变化中的二维图象的简图。

图13b是说明图11变化中的间距图象的简图。

图14是说明图11变化中的操作的简图。

图15是说明本发明另一个实施例的操作的流程图。

图16是说明图15实施例一个操作的简图。

图17是说明图15实施例中另一个操作的简图。

图18是说明本发明的又一个实施例的操作的流程图。

图19是说明本发明再一个实施例的操作的流程图。

图20a是说明图19实施例中的二维图象的简图。

图20b是说明图19实施例中间距图象的简图。

图21a是说明图19实施例中间距图象在经过预处理操作以后的简图。

图21b是说明图19实施例中二维图象在经过预处理操作以后的简图。

图22是说明使用本发明观察方法的实施例操作的流程图。

图23是说明图22实施例中的被观察目标物的透视图。

图24a是说明图22实施例中二维图象的简图。

图24b是说明图22实施例中间距图象的简图。

图25是说明本发明查找一个目标物的位置及姿态的另一个实施例的操作流程图。

图26是图26中目标物的一个例子的透视图。

图27是说明图25实施例中使用了目标物上表面的那个平面的简图。

图28a是画出了图25实施例中平面旋转状态的简图。

图28b是说明样板图象的简图。

图29是一个系统的框图。其中应用了本发明并且被检测物是圆柱形的。

图30是图29系统中的检测目标物的例子的透视图。

图31a是说明图30系统中立体参照图象的一个边缘图象的简图。

图31b是说明图30系统中定位差异图象的简图。

图32a是说明图30系统中一个边缘图象例子的简图。

图32b是说明图30系统中曲线边缘的简图。

图32c是说明图30系统中提取的圆周边缘的简图。

图33是说明本发明一种变更操作的流程图。

图34是本发明另一实施例的透视图。

图35示出了图34实施例中目标物的透视图。

图36a是说明图35实施例中边缘图象的简图。

图37是说明本发明另一种变更操作的的流程图。

图38是本发明另一实施例的图象获取状态的透视图。

图39是图38实施例中目标物的透视图。

图40a是图38实施例中一个边缘图象的简图。

图40b是说明图38实施例中提取出来的圆周边缘的简图。

图41是说明本发明另一种变更操作的流程图。

图42是说明本发明另一实施例的操作的流程图。

图43a是说明图42实施例中如何搜索边缘点的简图。

图43b是说明图42实施例中被提取出来的边缘的简图。

图44是说明在图42实施例中如何提取曲线边缘的简图。

图45a是说明在图42实施例中被提取出来的曲线边缘的简图。

图45b是说明在图42实施例中被提取出来的曲线边缘的简图。

图46是说明本发明另一实施例的变更操作的流程图。

图47a是说明图46实施例中被提取的曲线边缘的简图。

图47b是说明图46实施例中计算出来的具有位置差异的双边缘图象的简图。

图47c是说明图46实施例中被提取的圆周边缘的简图。

图48是说明本发明另一个实施例的变化操作的流程图。

图49是图48实施例中目标物的透视图。

图50a是说明图48实施例中一个边缘图象的简图。

图50b是说明图48实施例中被提取曲线边缘的简图。

图50c是说明图48实施例中被提取曲线边缘的简图。

图51是说明图48实施例中如何选取曲线边缘的简图。

图52是说明本发明另一实施例的操作的流程图。

图53是图52实施例中的目标物的透视图。

图54a是说明图52实施例中边缘图象的简图。

图54b是说明图52实施例中提取出来的圆周边缘的简图。

图55是说明本发明另一个实施例变更操作的流程图。

图56是说明图55实施例中提取操作的流程图。

图57是说明本发明另一个实施例变更操作的流程图。

图58是图57实施例中目标物的透视图。

图59a是说明图57实施例中边缘图象的简图。

图59b是说明图57实施例中提取出来的圆周边缘的简图。

图60是说明图57实施例中如何提取一条圆周边缘的简图。

图61是说明本发明另一个实施例变更操作的流程图。

图62是说明图61实施例中从目标物的上部观察到的平面的简图。

图63是说明图61实施例中平面旋转状态的简图。

图64是本发明另一个实施例变更操作的流程图。

图65是另一个实施例操作的流程图。

图66是另一个实施例变更操作的流程图。

图67是说明图66实施例的一种操作形式的简图。

图68是说明了可以用于流水装配控制系统中的本发明一个实施例的操作流程图。

图69是图68实施例中目标物的透视图。

图70a是说明图68实施例中边缘图象的简图。

图70b是说明图68实施例中提取出来的圆周边缘的简图，以及

图71是说明了例如在图29至图31实施例中用到的索贝尔(Sobel)算子的简图。

下面结合实施例对本发明作详细说明。本发明之第一和第二特点是使用一个间距图象以及使用一个以与间距图象相同视点拍摄的二维图象。虽然形成间距图象的方法很多，但是我们这里说到的间距图象是由立体图象，即从二维图象得到的。在图2中，参照符号10a和10b表示了拍摄立体图象的电视摄象机。将电视摄象机10a和10b中之一10a所摄的图象与二维图象存储器4相连作为立体参照图象。把由电视摄象机10a和10b拍摄的图象在立体图象处理器2中结合起来，同时把根据有关结果计算出来的距离映照到立体参照图象上去。这样在三维图象发生器3中形成间距图象。由一架电视摄象机10a获得的二维图象存入到二维图象存储器4中。在二维图象和间距图象的基础上，目标物存在区提取器5将存在目标物的目标物存在区提取出来，并且由三维位置/姿态检测器6根据目标物存在区以及在其近旁的间距图象将目标物的位置或姿态检测出来。

图3画出了需要检测的目标物的一个例子。图4a是这个样板目标物的二维图象I2，而图4b是间距图象I3。在间距图I3中不同区域打上了不同的影线以表示各目标物的不同的高度。在以后的描述中也将采取此种表示方式。

首先要说明的是如何使用在间距图象上检测不到的那个被测目标物表面上呈现的形状图案来提取目标物存在区。利用目标物存在区提取器5来提取目标物存在区是通过图5所示的图案匹配进行的。例如，被测目标物的一个表面上有一个字母“B”，则这个字母“B”就用作检测图案，如图6所示那样，图案的匹配是在二维图象I2和检测图案之间进行的以提取一个相应于匹配分等于或大于一个阀值的部分作为目标物存在区A1，它包括提取出来的部分并覆盖一圆，该圆心与被提取部分的重心G1相对应。而目标物的检测操作是在与目标存在区A1相应的间距图象I3的部分图象上进行的。这个目标物的检测操作不仅可以使用已经说明的已有的技术的二种方法也可以使用下面将说明的另一种方法。

如图7和8所示，要设置目标物存在区A2可以从二维图象I2中提取边缘，可以将边缘之光强(明暗度)等于或大于某个阀值的部分提取出来，这样就可以设定一个目标物存在区A2，它的中心对应于被提取部分的重心G2，而目标物检测操作则是在与目标物存在区A2相应的间距图象I3的部分图象上进行的。该目标物检测操作是利用这样的事实，即目标物结构的统计图象特性的差异使得二维图象I2中的边缘之密度也不一样。

若在其中心的多个直角平行六面体中只有一个是红色的而其它均为兰色的，如图9所示，则色彩提取可以这样进行(在所述例中为提取红色)从二维图象I2中提取红色分量大于等于阀值的部分。如图10所示，可以设置一个中心对应于所提取部分重心G3的目标物存在区A3而目标物检测操作可以在与目标物存在区A3相应的间距图象I3的部分图象上完成。不言而喻，只需用其亮度代替色彩就可完成提取某一特定部分。此时，应注意目标物存在区是在目标分量等于或大于它的阀值的二维图象的提取部分的基础上设定。且与设定区相对应的图象是用来作为二维图象的部分图象的。

除此以外，利用从三维图象的几何特点求得的图形的二维几何特点可以预先限制被测目标物之存在区域。图11说明了这样一种情形，它利用了二条直线以T字形相接的二维几何特点。说得更明确些，首先，在图12所示的目标物120被拍摄下来后得到3如图13a所示之二维图象I2以及一个如图13b所示之间距图象I3。在此情形中，二维几何特点出现了如由参照数字130所示的二条直线的T字线形连接。接着，从二维图象I2中提取边缘并作霍夫(Hough)变换以检测直线。被检线的交点也被提取出来。然后就来判断是否存在T一形连接，藉以提取图14中所示的T一形连接中的交点G4。同时，将具有预定范围以及中心与T-形连接的交点G4相对应的区域加到间距图象I3上去以从间距部分图象上检测一个目标物的三维位置或姿态。

如图15和16所示，从二维图象I2中检测到惯量主轴EA1和重心G5，同时把间距图象I3影射到一个通过惯量主轴EA1且垂直于二维图象I2的平面上。如图7所示，在从投影的图象中检测到一个惯量主轴EA2和一个重心G6时，则从二个惯量主轴EA1和EA2中可以检测出惯量主轴的姿态，而从重心G5和G6中可以检测到惯量主轴的位置。

另外，如图18所示，在如上所述检测到惯量主轴之姿态和位置后，就可以找到目标物模型的惯量主轴和重心，并使它们与检测到的惯量主轴的姿态和位置相重合，使目标物模型绕惯性主轴旋转以找到目标物模型与目标物之间的重合或匹配度，当匹配度为最大时，则根据目标物的位置及姿态可以检测目标物的三维位置及姿态。在此情形中，由于把代表三维空间中目标物之位置和姿态的惯量主轴的位置和姿态用作固定的参照系统，即三维空间中的目标物之六个自由度中的五个被固定了，则三维空间中的目标物的位置和姿态就能高速地准确地检测出来。

如图20a的二维图象I2和图20b的间距图象I3中可见，当把如图12所示的目标物堆放起来时，对一个被测目标物存在位置在预处理过程先设置一个预定的高度。若该区的高度高于预定高度，则从间距图象I3中将该区提取出来(见图21a)，若高度与预定高度相等，则从二维图象I2中提取出来(见图21b)，如图19所示。因而，受二维图象I2’和间距图象I3’预定高度参照标准所限制的区域须经如上所述之预处理(在本例中，与图11所示之处理是相同的)后才能检测目标物的三维位置和姿态。

这样一种三维目标物的识别方法也可应用于目标物检查的情况。例如，图23就显示了这样一种情况，一根矩形柱8要插到基板2中的一个方孔70中去，并希望能检查出这根矩形柱8在插入时与基底板2是否成垂直(即Q=0°)。图22则是说明使用前面已提到的图案匹配操作的一张流程图。即如图24a中所示的这样的二维图象I2与如图24b所示的这样的间距图象I3可以从二架电视摄象机的立体图象中获得。说得更详细些，在矩形柱8的顶部表面上的一个圆80(也可以用一个开口或一个螺丝孔来代替)可以用作检测图案。按前面实施例相似的方法对目标物存在区加以限制，则就可检测到矩形柱8在三维空间中的位置及姿态。根据检测结果便可找到矩形柱8的倾角Q因而也就能判断其插入状态是否好。

图25至28示出了一个检测方法的例子，该例是根据利用前述的方法而提取的间距部分图象检测目标物的位置和姿态的。说得更具体些；当出现如图26所示的目标物8，通过对目标物8的拍摄获得的间距图象以及根据其结构将与目标物8的顶面相应的部分图象从间距图象提取出来，同时将从部分图象中获得的三维信息加到一个平面上去以找到如图27所示的在三维空间中包含目标物8的顶面的平面Pa。而通过最小二乘法计算下列方程之系数a,b和c则可获得平面Pa：

ax+by+cz+1=0其次，如图27所示，把目标物的顶面上的点的三维空间位置绕摄象机图象座标系统的原点Po旋转，从而使平面Pa的法线Paz与图28a所示之图象座标系统的Z轴相重合，然后利用经旋转后目标物顶面上点的x和y座标值将这些位置投射到一个参照座标系的平面上去(在此情形中，为上述图象座标系的x-y平面Pxy)。如此获得的投影图象与以前存入的样板图象M(如图28b所示)之间须经过图案匹配以找到投影图象的目标物的位置和姿态，找到的目标物之位置还须经过一个逆变换以查找上述旋转之前的目标物的顶面的位置和姿态。为了在二维图象上检测出目标物的位置和姿态。在说明过的例子中是使用与样板图象的图案进行匹配的方法，但是十分清楚，诸如广义的霍夫变换等方法也完全可以使用的。

在上述实施例中，对三维空间中的目标物进行拍摄，得到一个间距图象同时以同样的视点获得二维图象，提取并限制了目标物之位置和姿态须经检测操作的区域。并且根据二维图象提取了目标物的惯量主轴和重心。然而，当目标物具有诸如圆柱体形状时，圆周部分可利用边缘图象提取出来，同时对圆周的位置、姿态和半径进行测量以实现对目标物的高速识别。

在此情形中，如图29所示之系统，由照明设备19对目标物18作照明，而由二台摄像机11和12对目标物18拍摄。A/D转换器13和14将摄象机11和12的模拟图象信号转换成数字图象信号，帧存储器15和16用来存储数字图象信号，处理器17与帧存储器15和16相连。使用这样的系统，平行主体转换是通过对一个边缘图象的立体图象处理进行的，即两台摄像机11和12的取向和焦距是匹配的，将图象信号转换成图象，从而使二个图象的对应的象素在Y座标值上相互重合以实现相应点的有效搜索，对应于二个计算出来的图象的X座标值之间的位置由摄象机11拍摄，并且映象到提取出来的边缘图象上去(立体参照图象)以形成位差图象。当需要间距图象时，就加上从位差到间距的转换。例如，如图30所示的那样，放置具有不同高度的圆柱体18a,18b和18c。当由二架摄象机从它们的上边对这些目标物拍摄时，就获得了如图31a所示之立体参照图象和如31b所示之位差图象ID。在图31b中，一条粗线表示一个较高的目标物。

通过图象采集而存储在帧存储器15和16中的图象须经平行立体转换以获得一个边缘图象并根据转换后的图象获得一个梯度方向图象。为了从图象中提取边缘，就可使用在图71中所示的那种索贝尔(Sobel)算子。使用这个算子，将算子中心移至目的象素，把目的象素近旁的象素的明暗度的值与算子的值相乘，由此关于所有象素的沿X和Y方向的梯度幅度Gx和Gy，梯度强度|G|、以及梯度方向θ都被计算出来。当I(x,y)表示座标点〔x,y〕上的象素的明暗度时，可以用下列方程表示沿x和y方向的梯度Gx和Gy：

Gx(x,y)={I(x+1,y-1)+2I(x+1,y)+I(x+1,y+1)}

         -{I(x-1,y-1)+2I(x-1,y)+I(x-1,y+1)}

Gy(x,y)={I(x-1,y-1)+2I(x,y-1)+I(x+1,y-1)｝-

{I(x-1,y+1)+2I(x,y+1)+I(x+1,y+1)}使用Gx和Gy，就可找到梯度强度|G|和每个象素位置上的梯度方向θ如下。具有这些值的象素的图象分别称为梯度强度图象和梯度方向图象。

|G|=(Gx²+Gy²)^1/2

θ=tan^-1(Gy/Gx)在对梯度强度|G|的值提出一个阀值后，那些梯度强度值低于阀值的象素的梯度强度都被置成0，在近旁具有最高梯度强度的点，即形成脊线的那些梯度强度被提取出来作为边缘点，于是就获得了如图32a所示之这样的边缘图象IE。如图32b所示，从立体参照图的边缘图象中只提取曲线分量321和322，而如图32c所示，从已提取的曲线分量提取圆周分量322。

按上述方式位差是根据二个立体边缘图通过立体图象处理计算出来的，把计算出来的位差映照到立体参照图象的边缘图象上去以建立一个位差图象，按上述方式在圆形边缘上各点的三维位置是从提取的圆形位差图象的对应部分中计算得到的。圆柱体目标物18的顶面圆周中心的位置和姿态是根据计算出来的三维位置信息而测得的，由此来识别目标物18的位置和姿态。

从立体参照图象的边缘图象中只提取曲线部分的做法可以用，例如，下面这种方法完成，通过霍夫变换提取直线部分，在预定范围内把出现的边缘从被提取的直线中擦去。将对如下情况要作些解释：即如图35所示的三种类型的目标物18a,18b和18c沿着传送器92被传送，而目标物18则是这三种目标物中之一，以及如何从这三种类型的目标物中选取这个目标物区。如图37所示，边缘图象是通过平行立体转换以及建立一个梯度值图象和一个梯度方向图象而建立起来的。在这一情况中，拍摄立体参照图象的摄象机11几乎就从目标物上方采集了图象，这样就得到了如图36a所示之目标物18的边缘图象。当边缘图象霍夫变换以提取直线并且从提取的直线126和127中把在预定距离内出现的边缘擦除时，就把来自传送器92的边缘122至125都擦去了。因而，只提取了目标物18上表面的圆周边缘121。同时，在从提取的圆周的位差中计算出圆周边缘上各点的三维位置时以及在从计算出的三维位置信息测量出目标物18的顶面圆周的圆心位置和半径时，就能根据所测出的圆心位置(高)以及半径确定出目标物18是属于如图35所示的三种类型中的哪一种。

而如图38和39所示，当圆柱体目标物18、18a、18b和18c在它们的顶面边缘中有直线成分时，那么在预定距离内对已提取的直线边缘进行擦除时，也可能擦去一部分曲线部分。为了避免这个缺陷，如图40和41所示，作这样的安排擦除那些出现在预定距离内的提取出来的直线177、178、179、17a、17b和17c并且它们的梯度方向和直线方向矢量之间的角度所具有的值在预定90°值范围内。这样就可如图40b所示实现既能擦除直线边缘同时又不会擦去部分圆周边缘171。

使用如图42至45所示之方法也可实现擦除边缘图象中的直线成分而保留曲线成分。即，从存储着的立体参照图象的边缘图象中找出边缘点，同时如图43a所示，从右边开始按顺时针方向搜索被找出的目的边缘点201所包围的那些点以找出另外存在的边缘点。若一个边缘点的梯度方向与以前存入的边缘点201的样度方向不同(相差一预定值或小于预定值)时，则将此边缘点存储起来作下一个目的边缘点，这个存储过程只要有边缘点就要一直做下去，一直进行到目的边缘点201周围找不到边缘点为止，同时，当这样存储的边缘点的数目超过了预定值时，这些边缘点就如图43b那样被汇总到边缘线组431至435去。如图44所示，对每一个边缘组，考察由连接起始点221与中点222的线段与由连接边缘起始点221与终点224的线段构成的角度224，使得只有那些角度超过某一个预定值的边缘线可以留下来，这样也就只能提取那些如图45a所示的曲线边缘431、434和435，而如图45b中所示的圆周边缘434和435可以从图45a中的边缘中提取出来。

从曲线边缘提取圆周边缘可以按下列方式进行。首先，按图46所示之方法利用这样的事实，即目标物18的下部与其左部和右部图象没有对应的部分，这样它的位差检测比值就相当低。如图47a所示，从只有曲线边缘的边缘图象中考察曲线边缘261、262和263计算出来的位差。如图47b中计算出的带有位差的边缘点的双图象所示，曲线边缘262和263几乎是按它们的位差计算出来的。由于曲线边缘261在其左部和右部图象均无对应部分，因它的位差也尚未被计算出来，当一些曲线它们已经计算出来的位差比值小于一个预定值时就取消这些曲线时，这样曲线边缘261就被取消，这样就如图47c所示的那样只在目标物顶面上的曲线262和263被保留下来，因而从此可以提取边缘262和263以形成一个圆。

当目标物18具有类似图49所示的那种环状时，由于目标物的顶面有二个圆形边缘，只提取其中一个圆形边缘(在图49中是外圆边缘)。更具体些说，一个目标物18的边缘图象IE如图50a所示，以及当直线部分从边缘图象上被擦除后就得到了如图50b所示边缘图象IE2。当在背景上看到目标物发亮时，外环边缘331的梯度方向335是向内的，而内环边缘332的梯度方向336是向外的，如图51所示，对于直圆应用方程

x²+y²+ax+by+r=0可以用最小二乘法求得系数a和b和常数r。把直圆应用方程应用于顶面的单边缘332以计算圆心(-a/2,-b/2)334时，选取了直圆边缘中的任意点339，找到了从选取的点339指向计算出来的圆心334的方向，并且提取顶面上这样一条边缘使得方向338与被选点336的梯度方向之间的差是一个预定值(90°)或小于该值。除了边缘332之外，即使对于顶面边缘331、33a、33b、33c、33d、33e以及33f，若作前述的操作计算出每个边缘点的梯度方向同该点指向直圆圆心方向之间的差，同时提取那些其差等于或小于预定值(90°)的顶面上的边缘，则就能获得如图50c所示的立体参照图象的边缘图象IE3，这个图中已经取消了内侧圆周边缘332、33a、33c和33e。关于这一点，当这个差的预定值选成大于90°时，则外侧圆周边缘331、33b、33d和33f被擦去了而内侧圆圆边缘332,33a,33c和33e被保留下来。

图52的实施例是这样设计的，当目标物18是类似于图53所示之那些圆柱体并且被堆放起来其边缘图象IE就如图54a所示时，就检测堆放目标物中最高的那一个，以测定它的位置和姿态。出现在边缘图象中的多个曲线边缘中，选择一条由于其位置处于最高而有最大位差的那条边缘，同时将该被选边缘设置成如图54a所示的参照边缘381，并且还要检查该边缘，看一看该参照边缘381是否形成圆的一部分。若参照边缘不能当作圆的一部分，那么就选取一条位差的大小仅次于刚才选出的边缘381的边缘作为参照边缘，同时也要再检查该边缘，看一看它是否是圆的一部分，上述操作重复进行，直至能找到一个是圆一部分的边缘作为参照边缘。因而，其它的边缘被标上参照数字，从参照边缘381开始以递增的次序标上参照数字382、383等等，并且按上述递增的编号次序逐个考察其它的边缘，看一看它们是否组成同一个圆的一部分。那些被判定是组成同一个圆的一部分的边缘就被包含在同一个组内作为参照边缘。对与参照边缘具有等于或小于预定值距离的其它边缘也进行这样的处理，从而将具有相同圆周的边缘381、383、384和386如图54b所示那样组合起来，这样就可根据它来检测最高层次的目标物18的位置和姿态。

在图55所示之实施例中，从图54a的边缘图象中选取了一条由于是目标物处在最高层次而具有最大位差的边缘，把选出的这条边缘用作参照边缘381，其它的边缘按与参照边缘381距离递增的次序依次用382、383、…等参照数字表示。然后，按下列方程用最小二乘法可求得系数a,b,h,g和f(用于椭圆方程)：

ax²+by²+2hxy+2gx+2fy=1把椭圆应用于参照边缘381，以计算它的中心座标(x₀,y₀)。如图56所示，有一条直线413穿过参照边缘点417和椭圆411的中心点412，并与该椭圆相交于二点414和415。若二个交点中靠近边缘点417的那一个点414与点417的距离416超过了在参照边缘任何点的预定值，那第该参照边缘就不再看作是一圆周部分，接下去就任选一个作为参照边缘。反之，若上述提到的距离不超过这个预定值时，那么就把该参照边缘看作是圆周的一部分，把参照边缘381同近旁的边缘382相结合，用最小二乘法在上述方程中可以求得系数a,b,h,g和f，由此将椭圆应用于参照边缘，以计算出它的中心座标(x₀,y₀)。于是就可求得参照边缘381与其附近的边缘382之间的距离，同时也求得那个已经找到的椭圆。若所有求得的距离均小于一个预定值的话，则可以判定参照边缘381及其附近的边缘382构成同一圆的一部分。若即使有一个距离不小于预定值，则也可判定这些边缘并不构成同一圆的部分，于是参照边缘381就同其附近的下一个边缘线383组合起来再进行上述的操作。若重复一系列操作一直到所有可以结合的边缘都取完了，那么属于同一圆的那些边缘都应能连接起来成为一个圆周。按这样的连接，上述椭圆的圆心座标可以表示为：

x₀=(hf/bg)/(ab-h²)

y₀=(hg/af)/(ab=h²)

图57所示之实施例也是要检测如图58所示由多个圆柱体目标物18堆放起来的其中处于最高层的那个目标物。图59a画出了图58中这些目标物的边缘图象IE。在图59a中，参照边缘441是对应于最高层的边缘线它的位差最大。在此情况下，按上述实施例的方法，边缘442应该如参照边缘441那样作为同一圆的一部分被检测出来的。然而由于该目标物正好是倾斜着或其它什么原因而检测不到。因而就有可能会产生误判而将边缘443与参照边缘441连接起来。在说明过的例子中，为了避免出现此类错误，当按上述实施例的方法判定参照边缘441与边缘443是属于同一个圆周的时候还要做一个最后的判定以确定它们是否属于同一个圆周。这个最后判定仅在下面这种情况时进行：如图60所示，根据参照边缘441上的任意二点和其它边缘443上的任意一点的位差而建立的三维信息作出一个平面453再根据参照边缘441上的除刚才已经选取过的二点之外的任意一点和边缘443上的任意二点的位差建立的三维信息组成一个平面454；若这二个平面的法线的方向的差小于预定值时，则就必须进行最后判定。通过上述操作，就能如图59b所示那样提取出最高层目标物的顶面的圆周边缘441。

完成了对圆柱体目标物的顶面圆周边缘的提取后就来对操作作一些解释。图61至63的实施例同图25的情况相同，根据已提取之圆周边缘的位差计算出这些点的三维位置，同时下列方程使用最小二乘法可计算出系数a,b和c:

ax+by+cz+1=0然后，求出如图62所示的包含目标物18的顶面的平面Pa，在目标物顶面的点的三维位置绕着摄象机座标系的原点P₀旋转，这样就如图63所示平面Pa的法线Paz就与摄象机座标系的Z轴相重合。同时按下列方程(适用于直圆)及最小二乘法可以求得系数a,b和常数r，这样可以去计算出直圆(right cirle)在旋转以后的中心位置491以及半径492。

x²+y²+ax+by+r=0在作过说明的例子中，是将摄象机座标系作为参照座标系的。通过对计算出的直圆的圆心位置491的逆变换(即所旋转以前)计算出目标物18的顶面的直圆的圆心位置486，这样可以求出目标物的位置、姿态和半径。在座标系统旋转后对直圆作计算，利用最小二乘法在上述的椭圆应用方程中可以求得系数a,b,h,g和f。同时将椭圆转换成标准型以求得椭圆柱体之位置和姿态以及长、短轴半径。

在图64所示之实施例中，目标物之顶面点的三维位置围绕着上述座标系之原点旋转，使得平面Pa的法线Paz与座标系之Z轴重合。之后，那些在三维空间中旋转以后由所建立平面Pa至圆的边缘点的距离493(即是Z轴值之差)超过预定值的点均需取消。利用旋转以后目标物18顶面边缘点(除上面已经用过的点外)的x、y的座标值，按直圆应用方程及最小二乘法可以求得系数a,b和常数r，这样可以求得直圆在旋转以后的圆心位置491和半径492。在这一情形下，摄象机座标系是用作参照座标系。通过对计算出的直圆的圆心位置491作逆变换(即到旋转之前)可以计算目标物18的顶面直圆的圆心位置486，这样也可求得目标18在座标系旋转以后的位置、姿态以及半径。进而，在座标系旋转后对直圆作计算，按上面提到的椭圆应用方程，利用最小二乘法可以找到系数a,b,h,g和f，同时把椭圆转换成标准型以后也可求得椭圆柱体的位置、姿态以及其长、短轴半径。

在图65的实例中，目标物之顶面点的三维位置围绕着上述座标系之原点作旋转，使得平面Pa之法线Paz与该座标系之Z轴相重合。之后，那些在三维空间中作旋转后由所建之平面Pa至圆周边缘点的距离(即Z座标植之差)超过预定值的点都要取消。利用最小二乘法，再次在三维空间中求得一个包含圆柱体目标物18顶面边缘的平面Pa，同时将目标物顶面点的三维位置围绕着摄象座标系的原点Po作旋转使得刚求得的平面Pa之法线Paz与座标系之z轴重合。利用旋转以后的目标物18顶面边缘点(除上面已经用过的点以外)的x和y的座标值，按直圆应用方程，利用最小二乘法可以求得系数a,b和常数r以计算出直圆在旋转以后的圆心位置491和半径492。通过对计算出来的直圆的圆心位置作逆变换(即到旋转之前)可以求出目标物18的顶面直圆的圆心位置486以求得目标物在座标系旋转以后的位置、姿态和半径。即使在此种情况时，进一步在座标系旋转后可对直圆作计算，按上面提及之椭圆应用方程，利用最小二乘法可以求得系数a,b,h,g和f，而将椭圆转换成标准型的也可求得椭圆柱体的位置、姿态和长、短半径。

在图66的实施例中，如上所述根据提取出来的圆周边缘的位差计算出了点的三维位置，又按上面提及的平面应用方程利用最小二乘法计算出系数a、b和c以求出一包含目标物18顶面的平面Pa。另外，如图67所示，利用最小二乘法可以在三维空间中求得一个包含目标物18顶面直圆的球531。在应用球时，由于顶面直圆可以呈现在同一个平面上，因而该球并不是唯一确定的。然而，该球的球心是受到某种限制的，即球心必定在一条与上述平面Pa垂直并通过在该平面上的直圆圆心的直线上。另外，由于所求得的球可能是任意一个球，只须满足它的半径比顶面直圆的大，并且它包含了顶面直圆，然而一旦该球球心座标轴上的任何一个值固定下来后，则球就被确定了。在本实施例中，球心的Z轴值固定在Z轴值c₀上，该值c₀与目标物存在区的Z轴值不同且大于直圆的半径。换言之，下式就是通过最小二乘法求取系数a和b以及常数R的球方程的表达式：

x²+y²+z²+ax+by-2C₀Z+R=0通过计算平面Pa与一条直线的交点可以求出圆柱体目标物18的顶面直圆之圆心533，这条直线通过球心532并且具有与平面Pa的法向矢量537相同的方向矢量。从球并径535的平方减去球心到直圆心之间的距离536的平方随后开平方根可求出半径534。因此，即使在此种情况，也能求得目标物18的位置、姿态和半径。

图68到70的实施例是本发明应用于自动装配工作的例子。图69更为详细说明了希望用机器人将有二个孔的部件541与有二个凸出部分的部件542装配起来，就先检测孔和凸出部分以测定其位置和姿态。即测定部件541和542的位置和姿态。

更具体地说，建立起一个立体参照图象的边缘图象(见图70a)、一个梯度方向图象和一个位差图象，并从边缘图象中提取出曲线边缘，即如图70b所示提取这样4个圆形边缘701至704。当从4个圆形边缘计算出与三维空间中相应的4个圆543至546的连接中点与圆心的线段方向以及由2个圆确定的平面的法线方向时，有二个凸出物的部件542的位置和姿态便可确定下来。对另外二个圆周也作类似的操作，则有二个孔的部件的位置和姿态也可确定了。

按照本发明，如上面已解释的那样，由通过对三维空间的目标物进行拍摄获得间距图象时所用的相同的视点可以得到一个二维图象。在此二维图象中再规定一个部分图象，将该二维部分图象应用于间距图象以从间距图象中提取一个部分图象，而目标物的检测操作就是在间距部分图象上进行的。即，在进行目标物检测操作时，先利用二维图象对间距图象中的被测目标物的存在区域加以限制，而目标物的检测操作就在该间距部分图象的限定区域上进行。因而，可以明白，比起在整个间距图象区中进行检测的已有技术来，本发明能实现较高速的检测操作。

Claims (23)

1．一种目标物识别方法，其特征在于，包括如下步骤：

通过对三维空间中的目标物拍摄获得一个间距图象，从获得此间距图象的相同视点出发获得一个二维图象；

在二维图象中规定出一个部分图象；

将规定的二维部分图象应用于间距图象以提取间距图象的部分图象；以及

将间距部分图象用于目标物检测操作。

2．如权利要求1的目标物识别方法，其特征在于，规定二维图象中的部分图象的步骤是根据形状图案来进行的。

3．如权利要求1的目标物识别方法，其特征在于，在二维图象中规定出部分图象的步骤是根据结构的统计图象特征而进行的。

4．如权利要求1的目标物识别方法，其特征在于，在二维图象中规定出部分图象是根据色彩或亮度而进行的。

5．如权利要求1的目标物识别方法，其特征在于，在二维图象中规定出部分图象是根据从目标物的三维几何特征中求得的二维几何特性而进行的。

6．一种目标物识别方法，其特征在于，以对在三维空间中的目标物拍摄得到的间距图象所用的相同视点而获得一个二维图象，在二维图象中目标物图象的惯量主轴和重心，把间距图象映射到一块通过惯量主轴而又与二维图象垂直的平面上去，在投影平面上的目标物图象的惯量主轴和重心，以及从二个已获得的惯量主轴和二个已获得的重心中检测出三维空间中目标物的一个惯量主轴的位置和姿态。

7．如权利要求6的目标物识别方法，其特征在于，使得在三维空间被检测出来的目标物的惯量主轴及重心与一个目标物模型的惯量主轴及重心相重合，目标物模型围绕着它的惯量主轴旋转，并求出目标物模型与目标物之间的重合度以检测出三维空间中目标物之位置及姿态。

8．如权利要求1或6的目标物识别方法，其特征在于，作为预处理，从间距图象中提取一个表示规定高度的规定区域并从该规定区域的二维图象中规定出部分图象。

9．如权利要求1或6的目标物识别方法，其特征在于，在目标物检测操作中，把从间距部分图象获得的三维信息应用于平面上，以摄象座标系为原点作旋转使得平面之法线与摄象座标系之z轴相重合，把旋转后的三维信息投射到座标系的x-y平面上，将投影图象与先前存储着的模型作对比以求取目标物的暂时位置及姿态，将该暂时位置及姿态经过逆变换而算出目标物在旋转前的位置及姿态。

10．一种目标物识别法，其特征在于，对一个在三维空间中从多个角度对具有圆形的目标物进行拍摄获得一个黑白图象，再从这个黑白图象求得一个边缘图象和一个梯度方向图象；通过立体图象处理产生一个边缘图象作为参照，再从这个边缘图象和另外的边缘图象建立一个位差图象；从参照边缘图象中只提取曲线边缘；并利用由提取圆边缘点的位差求得的三维信息来检测被提取圆的位置和姿态。

11．如权利要求10的目标物识别方法，其特征在于，从参照边缘图象提取直线，在被提取直线近旁的边缘都被擦除以只提取曲线边缘。

12．如权利要求10的目标物识别方法，其特征在于，从参照边缘图象提取直线，擦除那些与提取出来的直线相近的边缘还要擦除那些它们的梯度方向和直线方向矢量之角度几乎为90°的边缘，以仅提取曲线边缘。

13．如权利要求10的目标物识别方法，其特征在于，在从参照边缘图象中仅提取曲线边缘时，将参照边缘图象中的边缘点设置成目标边缘点，搜索由目标边缘点包围的点以寻求下一个边缘点，将搜索到的点寄存起来备作下一个目标边缘点，这个被搜索到的点的梯度方向与目标边缘点的梯度方向之间有一个等于或小于预定值的差，这个寄存操作一直进行下去直到在该目标边缘点的周围找不到下一个目标边缘点为止，然后再将曲线和直线边缘分组归类，从相同组的边缘点分布中只提取曲线边缘。

14．如权利要求10的目标物识别方法，其特征在于，从曲线边缘提取圆，提取那些具有经位差计算的边缘点的预定数目或预定百分比的曲线边缘以提取圆。

15．如权利要求10的目标物识别方法，其特征在于，由最小二乘法把圆加于已提取的曲线边缘以计算出该圆的圆心，曲线边缘的边缘点指向圆心的方向与边缘点的梯度的方向之间有一个差值，若一些曲线边缘的这个差值在预定范围内，则把这些曲线边缘提取出来，而圆就是从这些已提取的曲线边缘中提取出来的。

16．如权利要求10的目标物识别方法，其特征在于，将已提取的曲线边缘连接起来组合成一个完整的圆，将曲线边缘按其距离依递增次序连接起来以形成图象中的圆，而那些距离等于或大于预定值的曲线边缘不能用作形成圆。

17．如权利要求16的目标物识别方法，其特征在于，当从已连接的曲线边缘的二维数据中利用最小二乘法找到了圆时，且仅当已连接的曲线边缘上各自的点在它们已找到的圆的距离范围内时才能将这些已连接的曲线边缘判定为在同一个圆上并形成一个圆。

18．如权利要求10的目标物识别方法，其特征在于，只有当如下原则满足时二条被认为可以组成圆的曲线边缘才能被判定为在同一个圆上，这个原则是：根据第一条曲线边缘上的二点与第二条曲线边缘上的一点之间的位差而建立的三维信息的所确定的一个平面的法线与根据第二条曲线边缘上的二点与第一条曲线边缘上的一点(除上面已经取过的点之外)之间的位差而建立的三维信息所确定的一个平面的法线之间有一个差值，若这个差值在预定值范围以内则表明这二条曲线边缘是在同一个圆上并构成圆。

19．如权利要求10的目标物识别方法，其特征在于，利用已提取圆边缘上的点的三维信息求得这个圆边缘所在之平面，三维信息绕摄象座标系的原点作旋转使得那个求得的平面的法线与摄象座标系统之z轴重合，应用圆边缘在旋转以后的x和y座标值通过最小二乘法算出圆的圆心和半径，将算出的座标值经逆交换求出目标物在旋转以前的位置和姿态。

20．如权利要求19的目标物识别方法，其特征在于，求出圆边缘所放的平面，那些在三维空间中对应于在等于或大于预定值的圆边缘点都从已求得的平面上去掉，而计算出该圆的圆心和半径。

21．如权利要求19的目标物识别方法，其特征在于，求出圆边缘所放的平面，那些在三维空间中对应于等于或大于预定值的圆边缘点都从所求得的平面上去掉，由留下来的圆边缘点确定的圆边缘再求一个该圆边缘所在的平面，并将求得的平面作旋转。

22．权利10的目标物识别方法，其特征在于，将已提取的圆边缘放到一个平面和一个在三维空间中的球上去，以计算由该平面和球的相交平面所确定的球截面直圆的圆心和半径。

23．如权利要求10的目标物识别方法，其特征在于，根据被测圆的量值和其在三维空间中的位置关系来检测和识别目标物的位置和姿态。

Images