CN1667362A - 计量系统 - Google Patents

Abstract

容易获知错误检测的计量系统。使用在机器人上搭载的计量用照相机进行计量用的拍摄，获得工件的图像，进行确定位置的检测、计量。接着使用确认用照相机进行确认用拍摄，取得工件的图像，进行确定位置的检测、计量。通过机器人移动的组合，也可以用1台照相机进行计量用及确认用双方的拍摄。判断用两者获得的计量结果是否是基于同一位置的检测，是的时候为计量有效，不是的时候为计量无效，进行重新操作等例外的处理。利用照相机的拍摄结果，也可以用于判断大尺寸对象计量时的机器人移动路线是否合适。

Description

计量系统

技术领域

本发明与计量系统有关，所述计量系统非常适合于例如在生产线上与机器人组合使用、机器人对作为作业对象的工件的位置偏离进行认识，据此机器人捕正偏离量进行作业的应用。

背景技术

作为生产线上很多必要的一般工序的其中一个有顺序取出不是整齐排列的多个部件、向下一道工序传送的工序。为了使工序实现自动化，提出了使用机器人和视觉传感器相结合的机器人视觉传感器系统尝试的各种方案。一般，视觉传感器包含有进行获取图像的传感头和进行对该传感头的控制及图像处理等的图像处理装置，在传感头上设置照相机或在照相机上附加了图形光源(狭缝光，点光)的投光源。而且，传感头被安装在机器人的前端附近来使用的情况较多，但是也有在机器人周边上在固定的状态下使用的情况。

但是，以具有可靠性的形式来使上述系统达到实用化并不简单，历来通过适当设定条件，达到了一部分实用化的程度，但是最近从试验阶段进入到普及阶段，逐步实现了各种各样应用的实用的扩大。例如正如特开2003-34430号公报所示的那样，以前不能实现的系统，实际上现在也开始运转了。

但是，由于照明等的外部环境、作为作业对象的多个工件的个体差别、或是在1个工件上应当求出的特征的近旁上有与该特征相似的特征等理由，导致检测出的结果不稳定的情况很多。换而言之，有时发生未检测出(应当检测出的工件没有被检测出)/或错误检测(把应当求出的特征以外的特征误认为是应当求出的特征)，导致生产线停止。

作为对这些不良情况的对策中的一个，例如特开2001-160146号公报所示的那样，判断未检测出或错误检测将要发生的画质，在画质(在该文献中是对比度)劣化时，发出警报，或者，切换到画质劣化时用的处理上，提出了以上的方案。但是未检测出或错误检测的原因如先前所述不仅仅是因为画质的原因，所以不能够除去全部的未检测出或错误检出。

但是，未检测出和错误检测进行比较时，因为未检测出能够容易判断，使用重复操作等例外处理的组合，回避生产线停止的方法容易。然而，因为错误检测不能够容易判断，是否需要例外处理的判断是困难的。所以由于错误检测诱发了机器人的错误动作，因为冲撞等的影响大的事故导致生产线停止的危险性很大。

发明内容

因此本发明是以提供一种能够防止特别是这样影响大的错误检出的计量系统为目的。

本发明，在根据利用照相机获得的图像的计量中，能够判断该计量是否是正确的计量，从而防止错误检测的发生。计量结果的合理性的判断，参照使用计量用照相机和确认用照相机(也有一台照像机兼用的情况)或计量用图像和确认用图像这样的多种手段得到的多种结果进行。更具体说，根据本发明，将提供一种以测定被测物体的位置为目的的计测系统，该系统具备有：用于从不同位置拍摄上述物体的照相机；根据通过上述照相机拍摄的上述物体的多个图像、求出与上述物体的位置相关的多个计量结果的图像处理单元；通过上述多个计量结果进行比较，判断上述多个计量结果是否表示了上述物体的相同位置的比较单元，和仅在通过上述比较单元判定上述多个计量结果表示了上述物体的相同的位置时，判断上述计量结果才有效的判断单元。

计量系统也可以只具有一台照相机，此时照相机可能进行能够从2个或2个以上的不同位置进行上述物体的拍摄的移动。或者，计量系统具有2台或2台以上的照相机，也可以把2台或2台以上的照相机在相互不同的位置上配置，分别进行上述物体的拍摄。

根据本发明的其他的形态，将提供一种以测定被测物体的位置为目的的计测系统，该系统具备有：用于拍摄上述物体的计量用图像及确认用图像的照相机，设定上述确认用图像应当满足的条件的条件设定单元，和仅在上述确认用图像满足通过上述条件设定单元设定的条件时，才判断根据上述计量用图像的上述物体的计量结果有效的判断单元。

计量系统更可以具有使照相机在多个位置上移动的移动装置，在该情况时的确认用图像应该满足的条件是，在多个位置上通过照相机拍摄的多个确认用图像全体都包含物体的一部分。

计量系统可以只具有拍摄计量用图像和确认用图像双方的1台照像机。或者计量系统也可以具有拍摄计量用图像的照相机和与该照相机不同的拍摄确认用图像的照相机。

附图说明

本发明的上述或其他的目的、特征及优点，通过参照附图说明以下的较好的实施形态应该更容易理解。

图1是表示有关本发明实施形态的全体构成图；

图2是表示在本发明的实施形态中执行的处理的一个例子的流程图；

图3是在计量系统是2维计量系统时，计量用照相机及确认用照相机检测出同一位置作为正确的确定位置时的说明图；

图4是与图3相关联的，计量用照相机发生错误检出时的说明图；

图5是说明如图2所示的流程的步骤S7的具体例子的流程图；

图6是关于被计量物体的尺寸较大时说明的图；

图7是表示与图6相关联的、在本发明的实施形态中执行的处理的一个例子的流程图；

图8a是表示与本发明有关的计量系统的基本构成的方块图；

图8b是表示与本发明的其它形态有关的计量系统的基本构成的方块图。

具体实施方式

图8a是表示关于本发明的计量系统基本构成的方块图。关于本发明，以测定被测物体20、21的位置为目的的计量系统具备有：用于从不同位置拍摄物体20、21的照相机2、3；根据通过照相机2、3拍摄的物体20、21的多张图像，求出与物体20、21的位置相关的多个计量结果的图像处理单元4a；通过多个计量结果进行比较、判断多个计量结果是否表示物体20、21的相同位置的比较单元4b；和仅在通过比较单元4b判断多个计量算结果表示物体20、21相同的位置时判断计量结果才有效的判断单元4c。

图8b是表示关于本发明其他形态的计量系统的基本构成的方块图。该计量系统具备有：用于拍摄物体20、21的计量用图像及确认用图像的照相机2、3，设定确认用图像应满足的条件的条件设定单元4d，和仅在确认用图像满足通过条件设定单元4d设定的条件时，判断出基于计量用的图像的物体20、21的计量结果为有效的判断单元4e。

此外在以下叙述的适合的实施形态中，图像处理单元4a、比较单元4b、判断单元4c、4e以及条件设定单元4d中的任何一个都可以包含在个人计算机4中。

以下，参考附图对本发明的实施形态说明。首先，图1表示了关于本发明的实施形态的全体构成图。参照该图，符号1是通过机器人控制器5控制的机器人，通过电缆12相互连接。在机器人1的尖端部周围安装2台照相机2、3和机械臂9。2台照相机2、3中，一台照相机用作计量用照相机，另一台用作确认用照相机。这里，照相机2是计量用的，照相机3是确认用的，但是反过来使用也没关系。而且，有如稍后将叙述的，也可以使用机器人1作为照相机的移动装置，1台照相机2(或3)兼用为计量用及确认用。

照相机2、3分别使用电缆7、8连接在个人电脑4上，机械臂9使用电缆连接在机器人控制器5上。个人电脑4是构成计量系统的控制/图像处理单元的设备，在控制构成计量系统的视觉传感器的照相机2、3的拍摄动作的同时，输入通过各照相机2、3拍摄获得的图像进行图像处理，根据该信息进行需要的监测(特征部分监测)和计量。

此外，照相机2、3的校准及机器人坐标系和传感器坐标系的结合，是通过公知的方法来实现的。作为视觉传感即照相机的计量，这里作为被测物体，预先假定与工件20的特征部分的一个对应的确定的位置21的2维位置的计量。以下把该确定的位置的称为适宜的特征部分。

机器人控制器5，通过网络6与个人电脑4连接，根据使用个人电脑4的检测、计量的结果(确定的位置21的位置计量结果)令机器人及机械臂操作。这里表示的例子是2维的计量系统，能够求出各照相机的视线的位置·方向，但是求出最终的3维的信息不足。为了弥补这点，例如假设已知特征部分21的高度(在机器人坐标系∑b上的Z坐标值)的话则可以利用它。而且如果计量系统是3维的计量系统(例如是传感器头部具备有投射狭缝光或是点光的投射单元的3维计量系统)，则当然可以求出3维的位置。此外，在想要知道工件20的姿态的时候，例如也可以对每一个被检测工件取多个特征部分，从这些的3维位置求出姿态。

图2表示在使用图1中所示构成的实施形态中可以实施的一个例子的流程图。各个步骤的要点接下来叙述。此外，在处理开始时刻点，机器人位于用照相机2、3把工件20的全体纳入视线的初始位置。

步骤S1

使用照相机2进行计量用的拍摄，获得工件20的图像(计量用的图像)

步骤S2

处理用步骤1获得的图像，进行工件20确定的位置21的检测。但是，如以后叙述的那样，有错误检测出该确定的位置以外的位置的可能性。正如所说，工件20的确定的位置21，选择例如凹陷、突起、轮廓的棱角线等特征部分，该检测能够使用众所周知的模式匹配的方法，该方法在模板上使用了表示了该特征部分21的基准图像。此外，在计量系统例如附加了狭缝投光器的3维的情况时，通过投射狭缝光、从在工件20上形成亮线的图像中抽取特征部分21，由此检测出确定的位置21。

步骤S3

对于步骤S2中检测出的确定的位置21进行计量。如前所述，2维的计量系统不能求出3维位置，但是可以求出各个照相机的视线位置·方向。因此，这里如图3所示，计算从照相机2的代表点(镜头中心)向着确定的位置21的代表点21a的视线23的位置·方向。

但是，如果确定的位置21的检出有错误检出的时候，计算了朝向其他的位置的视线。该例表示在图4上。在图3、图4中，确定的位置(特征部分)21，表示为圆形的小洞，代表点21a是其中心。因为错误检出引起了误认为其他的圆形的小洞(特征部分)22的情况，所以22a就成了该代表点(孔的中心)。在图4所示的错误检出时刻不是计算视线23，而是计算视线25(参照图4)。此外，在使用3维计量系统时，如果没有错误检出，则计算特征部分21的代表点21a的3维位置，错误检出时刻计算特征部分22的代表点22a的3维位置。

步骤S4

使用照相机3进行确认用的拍摄，取得工件20的图像(确认用的图像)。此外，机器人1的位置最好与利用照相机2拍摄的位置相同。然而，为了更加明确确认用图像和计量用图像的差异，也可以令机器人移动定位。此外，计量用照相机2兼用为确认用照相机3时，为了不使确认用图像和计量用图像混为一个，最好令机器人移动之后获取确认用图像。

步骤S5

处理用步骤S4获得的确认用画像，进行工件20的确定的位置21的检测。此外，这里也可能有错误检测发生，此时，就会检测出其他的位置(例如特征部分22)。

步骤S6

进行对用步骤S5检测的确定的位置21的计量。这里如图3所示，计算从照相机3的代表点(镜头中心)朝向确定的位置21的代表点21a的视线24的位置·方向。但是在确定的位置21的检测(确认用)是错误检测的场合，成为计算朝向别的位置的视线(例如视线27；参照图4)。在使用3维计量系统的场合，计算确定的位置21的代表点21a的3维位置(正确检测时)，或者其他位置的代表点(例如点22a)的3维位置(错误检测时)。

步骤S7

步骤S3中的计量结果和步骤S6中的计量结果进行比较、对照，判断是否进行了同一个位置的检测·计量。关于为了该判断的算法，稍后叙述。如果进行了同一位置的检测·计量，判断出没有错误检测就进入步骤S8，如果不是这样，就进入步骤S9。此外，只要原来[错误检出]的概率控制在某个较低程度，则可以认为步骤S3中的计量结果和步骤S6中的计量结果的两方，根据错误检出的情况(视线25、27的组合)极少发生。

步骤S8

记录在步骤S3中的计量结果作为正确的计量结果，将该计量结果输送到机器人控制器5上，处理完成。机器人控制器5利用该结果控制机器人1和机械臂9。

步骤S9

执行错误检出时的例外处理。对于错误检出时的例外处理有多种考虑，例如有改变机器人位置之后重新尝试。

图5表示了以进行上述步骤S7的判断为目的的算法。以下叙述各个步骤的要点。

步骤Q1

求出在步骤S3、S6中求出的各个视线间的距离、即在步骤S3中求出的视线上的任意的点和在步骤S6中求出的视线上的任意的点之间的距离中的最小的距离d。两个视线存在焦点的时候记作d＝0。此外两个视线不可能一致。

步骤Q2

判断距离d是否未达到基准值δ。这里作为基准值δ是预先设定了在误差范围内被用来对实际上两视线是否相交的识别的值。首先，如果d≥δ判断两视线实际上没有相交。两视线实际上没有相交这种情况，因为在步骤S2、S5的双方没有错误检出的图3的情况下不可能得到，所以这种情况应当判断是错误检出，进入步骤S5计量为无效。另外也有在步骤S2没有错误检出，只在步骤S5中存在错误检出的情况(视线23和实现27的组合)，该情况判断为可靠性低，计量仍然无效。

d＜δ的情况时，进入步骤S3，判断交点是否相当于点21a。这是因为在步骤S2及步骤S4至少一方中存在错误检出时，都会出现两个视线(25和26、25和27、或是23和27)存在交点的原因。因为有时即使视线23及24中哪一个都检测出同一个点21a，由于检测误差两个视线没有完全交叉在点21a上，所以也可以记录理想上应成为d＝0的实际的距离d来作为检测误差的指标使用。因为δ是检查是否在同一个位置进行检测的基准，所以最好确定能够区别检测误差与[错误检测]的程度的大小。例如假设最大检测误差为1mm左右时，最好设定δ比该值稍大为2mm。

步骤Q3

使用预先设定的辅助基准判断视线的交点是否相当于点21a。作为辅助基准例如能够指定点21a的Z坐标值(机器人坐标系∑b上)放入的某个坐标值范围(高度位置范围)。如果交点在该坐标值范围内则判断该交点相当于点21a，进入步骤Q4。如果不是则判断该交点并不相当于点21a，进入步骤Q5。此外，在步骤S2及步骤S5的双方中错误检测出点22a的时候，该步骤Q3不是合适的处理，如前所述，考虑为该情况很难发生。

步骤Q4

判定出计量是正确(没有错误检测计量有效)时，进入到步骤S8。

步骤Q5

判定计量不可信赖(有错误检测计量无效)时，进入到步骤S9。

此外，使用3维计量系统时，因为在步骤S3及S6中的计量结果作为3维位置给出，因此如果这些值(误差范围以上)不一致，就无条件地作为[因为错误检测计量无效]，如果一致(误差范围内)，就通过和上述步骤Q3同样的辅助基准(点21a的Z坐标值范围)判断其一致点是否相当于[点21a]。接着，如果相当则[计量有效]，如果不是则[计量无效]。

通过以上说明的处理，可以不管从错误检测导出的计算结果，进行根据该点的机器人控制或机械臂控制，大幅地降低因为突发事故等导致生产线停止的频率。此外，确认用的拍摄，也可以利用照相机的数量进一步增加，或是机器人1的位置进一步变化等，从多个位置进行。该情况，在判断根据计量用图像的计量结果(步骤S3)和根据多个确认用图像的多个计量结果全部是根据同一个位置检测的时，也可以做出[没有错误检测]的判断。

在上述例子中，因为工件20为比较小的尺寸，因此即使被测位置是多个机器人也没有必要移动，但是如果是对于像汽车的车体那样的大型工件，为了保证工件的位置、姿态的计量精度，如果不进行通过移动装置对照相机移动(例如机器人移动)的话，则有时需要计量不能进行那样分离的2个或者2个以上的位置。图6就是对有关这样例子的实施形态进行说明的图。

假设在图6中，符号200表示大尺寸工件，进行对用代表点31代表的特征部分(第1个确定位置)30、和用代表点41代表的特征部分(第2个确定位置)40的计量。而且，如图所示，在特征部分40旁边存在着与特征部分40类似的特征部分50，该特征部分50不是应当被检测·计量的位置。对于这样的工件200，考虑大略地掌握特征部分30侧，具有特征部分40的相反侧可在相当大的范围内自由运动的情况。

这时，在特征部分30侧有在工件200的位置多少分布不均的情况，机器人1在某个位置(一定的位置)的时候，在计量用照相机2的视野201内能够确实捕捉到特征部分30。但是，在特征部分40所在的相反侧，由于工件200在相当大的范围内自由移动，假设经常在相同的机器人位置上进行检测·计量时，特征部分40就会从计量用照相机2的视野202中消失，代之为可能发生出现了非计量对象的特征部50的现象。用符号203表示这样的视野。

现在，在图示的情况下，以图示的位置·姿态固定工件200，而且，用视野的移动描述机器人的移动路线的话，在上述现象(代替特征部分40出现特征部分50的现象)发生时，即使使机器人选择预定的相同路线，实际中也会发生或者在用符号204所示的路线上移动，或者在用符号205所示的路线上移动。如果选择了符号204所示的路线，则因为在视野202内能够捕捉到特征部分40，所以很难发生错误检出，但是如果选择了符号205所示的路线，则在视野203内捕捉到本来不应被检测·计量的特征部50，就发生了错误检出。

因此，通过使用确认用照相机3，一边获取对于物件200的各个相对位置，一边逐一确认是否能进行来进行机器人1的移动(即照相机2、3的移动)，就能够确认是否沿着到达能够获得视野202的位置的路线。在图6中，符号206～209表示了在路线204途中通过确认用照相机3获得的视野。另一方面，沿着错误的路线205的话，例如确认用照相机3就会有210～213的那样的视野。

这样的情况下，如果用确认用照相机3，对工件200的一部分(图6的实施例中2根线)继续观测的话，就能够判断机器人1通过了正确的线路(对于工件200的相对线路)，作为结果来说就得到了视线202。具体的来说，如果一边附加修正使作为观测对象的工件200的一部分经常处于视野的中央一边令机器人移动，就能够使机器人1到达更稳定地得到视野202的位置。

图7表示在这样的前提下确认是否实现满足[规定条件]的路线、决定计量的有效/无效的处理顺序的概略流程图。可以在条件设定单元4d例如个人电脑4上预先设定[规定的条件]，这里作为表现取路线204那样的路线的条件，采用[能看见工件200的2条轮廓线的方法]。但是这是个例子，一般的是研究工件的形状和视野的路线的关系之后来确定。此外，在以下的说明中，能获得视野201的机器人的位置称为[机器人位置A]，能获得视野202或者能获得视野203的机器人的位置称为[机器人位置B]。以下叙述各个步骤的要点。

步骤R1

令机器人1向位置A移动。

步骤R2

利用计量用照相机2的拍摄获得含有特征部分30的图像，检测特征部分30。该检测和上述的例子一样，例如使用模式匹配的方法。

步骤R3

进行特征部分30的代表点的计量。如前所述，在2维计量系统的情况下，能够求出例如通过代表点31的视线。在3维计量系统的情况下，能够求出代表点31的3维位置。

步骤R4

开始向机器人位置B移动。

步骤R5

检查从步骤R2的摄像位置上是否进行了大于等于距离D1的移动。这里，距离D1设定为，在条件检查(是否能够看见2条线)中，比能够判断出路线正常/异常为止的最小移动距离大若干的尺寸。

步骤R6

利用确认用照相机3拍摄获得确认用图像，检测工件200的轮廓线。

步骤R7

判断是否满足图像条件(这里指的是能够检测2条轮廓线)。如果满足了条件，进入步骤R8，如果不能满足，进入步骤R12。

步骤R8

检查是否到达了机器人位置B跟前的距离D2的位置上。这里，距离D2设定为，在条件检查(是否能够看见2条线)中，比不能够判断出路线正常/异常的位置和机器人位置B之间的距离大若干的尺寸。如果没有到达返回步骤R6，反复进行步骤R6及R7的处理。到达的话前进到步骤R9。

步骤R9

令机器人到达位置B。

步骤R10

进行以特征部40(第2个位置的确定的位置)为目的的计量用的拍摄，检测出特征部分40。

步骤R11

进行特征部分40的代表点41的计量。记录该计量结果和在步骤R3得到的计量结果作为正确的计算结果，向机器人控制器5输送计量结果，处理完成。机器人控制器5可以利用该计量结果控制机器人1及机械臂9。

步骤R12

执行没有检测出时的例外处理。即进入到该步骤R12这件事，因为意味着不满足[观测到两条轮廓线的情况(继续在视野的中央看见工件200的一部分)]，所以把它看作是[移动线路从规定的线路中偏离]的证据，判断为没有检测出。接着执行适合没检测出用的例外处理。

通过以上的处理，可以排除或者减低把特征部分50误认为是特征部分40而采用错误的计量结果的危险性。此外，在本例子中，步骤R2中的计量用的拍摄和步骤R6中的确认用拍摄，分别准备计量用照相机2和确认用照相机3进行，但是也可以将计量用照相机2兼用作确认用，仅用计量用照相机2进行拍摄。而且利用照相机的计量，与工件的形状或是大小对应，可以进行2维的计量，也可以进行3维的计量。

根据本发明，主要可以防止能在1个位置上进行计量的操作的较小的工件上的错误检出。另外，也能够防止有必要在多个位置进行计量的比较大型的工件上的错误检测。

参照为了说明选定的特定的实施形态对本发明进行说明，但是可以明白，对于从业者可以在不脱离本发明的基本的概念及范围的情况下进行多种变更。

Claims (7)

1.一种用于测定被测物体(20、21)位置的计量系统，其特征是：

该系统具备有：用于从不同位置拍摄上述物体(20、21)的照相机(2、3)；根据通过上述照相机(2、3)拍摄的上述物体(20、21)的多个图像，求出与上述物体(20、21)的位置相关的多个计量结果的图像处理单元(4a)；通过比较上述多个计量结果，判断上述多个计量结果是否表示上述物体(20、21)的相同位置的比较单元(4b)，和仅在通过上述比较单元(4b)判定上述多个计算结果表示上述物体(20、21)相同的位置时，才判断上述计量结果有效的判断单元(4c)。

2.权利要求1中所记载的计量系统，其特征是：

只具有一台照相机(2或3)，上述照相机(2或3)设置成能够移动以从2个或2个以上的不同位置上进行上述物体(20、21)的拍摄。

3.权利要求1中所记载的计量系统，其特征是：

具有2台或2台以上的照相机(2及3)，上述2台或2台以上的照相机(2及3)在相互不同的位置上配置，从上述不同的位置进行上述物体(20、21)的拍摄。

4.一种用于测定被测物体(200)的位置的计量系统，其特征是：

该系统具备有用于拍摄上述物体(200)的计量用图像及确认用图像的照相机，设定上述确认用图像应当满足的条件的条件设定单元(4d)，和仅在上述确认用图像满足了通过上述条件设定单元(4d)设定的条件，才判断根据上述计量用图像的计量结果有效的判断单元(4e)。

5.权利要求4中所记载的计量系统，其特征是：

计量系统更具有令上述照相机(2、3)在多个位置上移动的移动装置(1)，上述确认用图像应该满足的条件是，在多个位置上通过上述照相机(2、3)拍摄的多个确认用图像全体都包含上述物体(200)的一部分。

6.权利要求4中所记载的计量系统，其特征是：

只具有拍摄上述计量用图像和上述确认用图像双方的1台照像机(2或3)。

7.权利要求4中所记载的计量系统，其特征是：

具有拍摄上述计量用图像的照相机(2)和与该照相机(2)不同的拍摄确认用图像的照相机(3)。

Images