CN1296862C - 图像处理装置 - Google Patents

Abstract

图像处理装置。将包含样本图像所有的对象物区域的区域的像素作为有效像素、除此而外的区域的像素作为无效像素，做成输入图像的第1掩模图像。在输入图像和各样本图像的第1次的比较对照中利用第1掩模图像将一致度高的图像作为临时选择样本图像，在第2次的比较对照中利用与该临时选择样本图像相对应的第2掩模图像进行比较对照，最终决定样本图像。第2掩模图像是针对各个样本图像做成、并将包含对象物区域的区域的像素作为有效像素、除此而外的区域的像素作为无效像素来做成。

Description

图像处理装置

技术领域

本发明涉及由视觉传感器进行零件等对象物的识别时所使用的图像处理装置，特别是，涉及用来由图像识别可以摆出各种姿态的对象物的位置和姿态的图像处理装置。

背景技术

为了用机器人等自动装置处理不能准确定位的对象物(如零件)，在各种应用中，是采用对该对象物进行摄像来取得图像数据、由其图像数据来识别对象物的位置姿态的方法。在这种方法中，对象物可摆出的姿态的范围越广，越难以进行姿态的识别。例如，像堆积如山状态的零件群，对象物是按3维方向以任意的姿态被放置的场合，姿态识别非常困难。

作为这种场合的识别方法，是事先对对象物从各个方向拍摄样本图像，在姿态识别时、将输入图像和样本图像一张一张地比较对照，其结果，从样本图像中选择与输入图像一致度最高的图像，由对应于选择的样本图像的摄像方向推断出对象物的姿态(参见特开2000-288974号)。

在这种对象物姿态识别方法中，如何提高比较对照的精度是至关重要的。比较对照的精度变低的原因之一，是在进行实际识别时所使用的输入图像中、存在有不规则的背景图像(对象物以外的图像)。即，由于样本图像是在理想条件下摄像的，所以可以将背景做成均一的图像(一定的色彩，亮度)，但是，在实际进行对象物识别的现场所得到的输入图像中，识别对象物以外的物体等，不可预测的干扰往往要进入到背景。作为排除这种干扰背景的一个方法，作为所有样本图像的对象物区域的积集合，构成窗函数，只利用该窗函数表示的窗(积集合)中所包含的像素、来进行与样本图像的比较对照，该方法被记载于下述的文献中。

H.Murase and K.Nayar，”Detection 3D in cluttered scenes usinghierarchical eigenspace”，Pattern Recognition Letters 18，Vol.14，No.1，pp.375-384.1997

如上所述，与样本图像的比较对照的精度下降的原因之一，是由于在输入图像中与对象物的图像共存的不规则的背景图像，若在除掉了背景图像的影响的条件下进行比较对照，就可以提高识别的精度。然而，将上述文献公布了的去除背景对象的方法适用于上述的比较对照的场合，往往由积集合形成的窗变得太窄，反而产生了对比较对照精度具有坏影响的问题。

发明内容

本发明是导入这样的思路来试图解决上述问题：根据样本图像，制作具有适当宽度的窗的掩模图像，在由掩模在一定程度上消除了干扰之后，进行比较对照。

亦即，本发明是对由对象物从不同的多个方向摄像的样本图像中、选择对应于与输入图像中所包含的对象物的摄像方向相近的摄像方向的图像的图像处理装置进行改良，根据样本图像做成适当的掩模图像，在由掩模在一定程度上消除了背景干扰之后，进行比较对照，来提高比较对照的精度。如下所述，本发明可以采取2种方式。

第1种方式：在图像处理装置中设置有：将包含所有的样本图像的对象物区域的区域的像素作为有效像素、除此而外的区域的像素作为无效像素的、制作第1掩模图像的单元，和使用与上述第1掩模图像的有效像素相对应的输入图像的像素、进行与上述样本图像的比较对照、从上述样本图像中、选择与上述输入图像一致度高的图像的单元。

第2种方式：在图像处理装置中设置有：将包含样本图像的所有对象物区域的区域的像素作为有效像素、除此而外的区域的像素作为无效像素的、制作第1掩模图像的单元；使用与上述第1掩模图像的有效像素相对应的输入图像的像素、进行与上述样本图像的比较对照、从上述样本图像中、选择与上述输入图像一致度高的图像的单元；和对于每个上述样本图像、将包含对象物区域的区域的像素作为有效像素、除此而外的区域的像素作为无效像素的、制作第2掩模图像的单元，其中该进行选择的单元将利用第1掩模图像而选择的该与上述输入图像一致度高的图像使用作为临时选择样本图像，且通过使用与上述临时选择样本图像相对应的第2掩模图像的有效像素所对应的上述输入图像的像素、进行与上述样本图像的比较对照、从上述样本图像中选择与上述输入图像一致度高的图像。

在这些方式中，上述比较对照，可以对成为比较对象的各图像实施了正交变换的中间的图像间进行比较对照。这个正交变换，既可以是傅里叶变换，也可以是离散余弦变换。另外，也可以将对每个上述样本图像实施了正交变换后所得到的成分作为上述样本图像的主成分。

附图说明

本发明的上述的以及其他的目的和特征，参照附图、通过以下实施例进行更加清楚的说明。这些图中：

图1是包含本发明的一实施方式的图像处理装置的系统构成概略图。

图2是在图1的图像处理装置中分别得到的样本图像和输入图像间的比较对照的说明图。

图3是本发明的第1实施方式的图像处理装置中的比较对照的说明图。

图4是本发明的第2实施方式的图像处理装置中的比较对照的说明图。

图5是本发明的第3实施方式的图像处理装置中的比较对照的说明图。

具体实施方式

图1是包含本发明的一实施方式的图像处理装置的系统构成概略图。在图1中，符号1表示机器人(本体装置部)，在该机器人1的手臂前端，作为视觉传感器的摄像装置、安装有摄象机2。机器人1的动作，由被连接到该机器人1的机器人控制装置10来控制。在摄象机2中，连接有图像处理装置20，图像处理装置20经由通信线路也被连接到机器人控制装置10。

在图像处理装置20中，装备有包括CPU、存储器、摄象机接口、通信接口等硬件，和进行与摄象机2、机器人控制装置10间的指令、图像数据等的授受的软件，此外，还装备有包含进行图像数据处理的程序以及相关参数的软件。另外，在图像处理装置20中附设有显示器21，可以显示由摄像机2摄像的图像，及其处理图像、和后面所述的样本图像等。

还有，虽然省略了图示，但在机器人控制装置10和图像处理装置20中，在通常的方式下附设有手动操作装置(示范教授操作盘、键盘、鼠标等)，根据需要，可以由手动进行机器人操作、程序的输入/编辑、启动/停止、由摄象机2的摄像、图像数据取入、图像处理程序的输入/编辑、启动/停止等。

摄象机2接收来自图像处理装置20的摄像/图像数据输出指令进行摄像，并将包含对象物(如零件)W的像的图像的图像数据输入到图像处理装置20。图像处理装置20，用处理程序按后面所述的方式执行图像处理，对来自图像的对象物进行对象物识别。另外，机器人控制装置10和图像处理装置20根据需要相互取得同步，同时，具有进行下述(1)～(3)的数据授受和相关处理的一般功能。

(1)机器人控制装置10，将机器人1的现在位置以规定的短周期通知给图像处理装置20。

(2)机器人控制装置10，依据与机器人1的作业(握紧等)相关连的程序(或由操作员手动输入的指令)，将图像摄像指令输出到图像处理装置20，让摄象机2执行摄像，让图像处理装置20获得图像数据。

(3)将在图像处理装置20决定的机器人1的目标动作位置发送给机器人控制装置10。

在上述的前提之下，为了改良从对于对象物从不同的多个方向摄像的样本图像中、选择对应于与输入图像中所包含的对象物的摄像方向相近的摄像方向的图像的方法，首先，要根据样本图像做成适当的掩模图像。而后，由用这个掩模图像的掩模从掩模图像中一定程度地消除干扰背景。这样一来，就可以提高输入图像和样本图像间的比较对照精度。下面，按照顺序对这个过程进行说明。

首先，对于与对象物W同种的物体(下面，称作样本物体)从不同的多个方向摄像，准备多个样本图像。为此，例如，将样本物体放置成适当的位置·姿态，让机器人处于多个位置·姿态，由摄像机2进行摄像，并将样本图像数据储备到图像处理装置20的存储器中。另外，使其与各个样本图像对应起来将机器人的位置存储到图像处理装置20的存储器中。机器人向多个位置·姿态的移动，既可以是依据预先所教授的动作，也可以靠操作员的手动操作。

在为获得样本图像进行摄像时，要作到在样本物体的背景中不照干扰的部分。如，只要将样本物体放置在与样本物体颜色、亮度不同的无图案的地板上进行摄像即可。此处，样本物体，既可以是在作业中实际处理的对象物中的之一，也可以是形状、大小等同样的假物体。

图2中示出了这样获得的样本图像群的例子。在用结束了这个准备的系统实际进行作业时，要让机器人处于将对象物W的至少一个(一般存在多个同种的对象物)能纳入到视野的位置·姿态，来由摄像机2进行摄像，获得由至少一个对象物的图象和背景图像所构成的图像(下面，称作输入图像)，并崭且存储到图像处理装置20中。只要做到：取得输入图像时的机器人位置(下面称作取得输入图像机器人位置)事先程序教授好，由再生运转，使机器人向取得输入图像机器人位置移动即可

特定输入图像的数据，让其与取得输入图像机器人位置关联起来、存储到图像处理装置20中。图2中示出了这样获得的输入图像的例子。将输入图像与已经准备好的多个样本图像进行比较对照，选择出样本图像，该样本图像被判断为是从最靠近输入图像取得时的摄像方向的摄像方向摄取的对象物的图象。在图2的例子中，从多个(一群)样本图像中，选择用虚线D框起来表示的一个样本图像。

上述的、用于样本图像选择的判断(摄像方向的一致度的判断)，由从样本图像群中选择与输入图像的「一致度高的图像」的方式来实行。判断图像一致度的方法本身已知的有各种各样的方法。如，有由图像间的辉度关系来进行匹配的方法。另外，还有用对成为比较对象的图象实施了正交变换的中间图像间的距离来测量一致度的方法。作为正交变换，除了富里叶变换、离散余弦变换外，还有对样本图像分别实施了正交变换后所获得的成为样本图像的主成成分分的正交变换。通过进行正交变换，与在图像间进行直接相关计算的场合相比，可以降低数据的维数，所以，具有可以减少类似图像的比较对照的计算量的效果。这些正交变换以及匹配法本身，是大家熟知的，故此，省略详细说明。

在输入图像中，如上所述(另外，也如图2中所例示的)，除了要识别的对象物的图象之外、包含其他的不规则的背景图像。因此，将原封不动的包含背景图像的输入图像与各样本图像间的比较对照，或者，即使是由上述的匹配法进行对其实施了正交变换的中间图像间进行比较对照，实际上还是有不能得到正确结果的情况。

如上所述，在本发明中，导入了这样的思路：根据样本图像，做成具有适当宽度的窗的掩模图像，在由掩模在一定程度上消除了干扰之后，来进行比较对照。关于具体的图像处理，与掩模图像的生成法相关、可以考虑3种方式(与上述发明的3种方式对应)。所以下面，增加图3～图5作为参照图来说明要点。

首先，图3是本发明的第1实施方式的图像处理装置中的比较对照的说明图。在该方式中，在进行输入图像和各样本图像间的比较对照之前，做成第1掩模图像first masking image。该第1掩模图像是将包含样本图像所有的对象物区域的区域像素作为有效像素、除此而外的区域的像素作为无效像素来做成的。即如下所述。

在各样本图像和输入图像中，将共通的像素编号设定为：Aij(i＝1，2，3…m；j＝1，2，3…n；像素总数m*n)，用Ss表示第s号的样本图像(s＝1，2，3…q；q是样本图像总数)。于是，在图像处理装置20内，就其各像素Aij(i＝1～m；i＝1～n)来说，某个像素Aij，如果处于在至少一个样本图像Ss(s＝1～q)中包含对象物显像的像素区域的适当的像素区域内，判定该像素Aij为「有效像素」，除此而外的像素为无效像素。亦即，像素Aij，如果处于在所有的样本图像Ss(s＝1～q)中包含背景显像的像素区域的适当的像素区域内，判定该像素Aij为「无效像素」。

接着，根据这个处理结果进行修正输入图像的掩模处理。亦即，就其输入图像来说，只抽出被判定为「有效像素」的像素的图像数据来做成掩模输入图像(下面，称作第1掩模输入图像fist masked input image)。

由此，就去除了包含在输入图像中的不规则背景图像的大部分。而后，将各样本图像S1，S2…Sq依次与该第1掩模输入图像进行比较对照，进行决定一致度最高的样本图像的处理。作为用来比较对照的具体的处理，用上述大家熟知的方法即可。亦即，例如可以适用由图像间的辉度关系的匹配法。另外，也可以适用用对各样本图像施加了正交变换的中间图像间的距离来测量与第1掩模输入图像一致度的方法。作为正交变换，除了富里叶变换、离散余弦变换外，还有对样本图像分别实施了正交变换后所获得的成分成为样本图像的主成分的正交变换。

这样一来，一旦选择了一致度最高的样本图像(此处是在图2中用虚线D框起来的样本图像)，从取得该所选择的样本图像时的机器人的位置和对象物特征部分的显像样式，来计算该对象物的位置·姿态。再者，在对象物的位置·姿态的计算中若有必要，也可以用来自不同的2个方向以上的摄像方向的摄像取得输入图像(2个以上)、并对各输入图像施加上述掩模后来进行与样本图像的比较对照。

下面图4，是本发明的第2实施方式的图像处理装置中的比较对照的说明图。在该方式中，输入图像和各样本图像的比较对照按2阶段进行。首先是用各个图像的所有的像素、进行第1阶段的比较对照。由该比较对照，从样本图像中、选择与输入图像一致度最高的图像作为临时选择样本图像(假定为St)。

第2次的比较对照，用根据该临时选择样本图像St所作成的第2掩模图像来进行。因此，按与上述的第1掩模图像有若干不同的规则做成第2掩模图像。第2掩模图像，是针对各个样本图像做成的，此处是根据临时选择样本图像St做成。亦即，就其临时选择样本图像St来说，是将包含对象物区域的区域的像素作为有效像素、除此而外的区域的像素作为无效像素。如果用在第1方式的说明中使用过的定义来叙述，要进行下述的处理。

在图像处理装置20内，就其临时选择样本图像St的各像素Aij来说，要进行这样的判定处理：某个像素Aij，如果处于在该样本图像St中包含对象物显像的像素区域的适当的像素区域内，该像素Aij作为「有效像素」，否则(处于在该样本图像St中包含背景显像的像素区域的适当的像素区域内)判定为「无效像素」。结果，就其临时选择样本图像St来说，全部像素被分类为「有效像素」和「无效像素」。

根据这个处理结果来进行修正输入图像的掩模处理，做成第2掩模输入图像。由此，从输入图像中去除了背景像的大部分。而后，将各样本图像S1，S2…Sq依次与该第2掩模输入图像进行比较对照，决定一致度最高的样本图像。如果临时选择作了最好的选择，就被预测为最终地选择了临时选择样本图像St，但也能发生不是这样情况的场合。再者，就其用来比较对照的具体的处理以及选择一致度最高样本图像后的事项来说，与第1方式是一样的，所以不再重复说明。

最后，图5是本发明的第3实施方式的图像处理装置中的比较对照的说明图。在该方式中，在进行输入图像和各样本图像的比较对照之前，做成第1掩模图像和第2掩模图像。第1掩模图像，如上所述，是将包含样本图像所有的对象物区域的区域像素作为有效像素、除此而外的区域的像素作为无效像素来做成的。另外，第2掩模图像，针对每个样本图像做成，是将包含对象物区域的区域像素作为有效像素、除此而外的区域的像素作为无效像素来做成的。

输入图像与各样本图像的比较对照，进行2次。第一次的比较对照，用对应于第1掩模图像的有效像素的像素来进行。由该比较对照，从样本图像中作为临时选择样本图像(假定为Su)来选择与输入图像一致度最高的图像。第2次的比较对照，用对应于对应该临时选择样本图像Su的第2掩模图像的有效像素来进行。

亦即，在图像处理装置20内，就其临时选择样本图像Su的各像素Aij来说，进行这样的判定处理：某个像素Aij，如果处于在该临时选择样本图像Su中包含对象物显像的像素区域的适当的像素区域内，该像素Aij作为「有效像素」，否则(处于在该样本图像Su中包含背景显像的像素区域的适当的像素区域内)判定为「无效像素」。结果，就其临时选择样本图像Su来说，全部像素被分类为「有效像素」和「无效像素」。

根据这个处理结果来进行修正输入图像的掩模处理，做成第2掩模输入图像。由此，从输入图像中去除了背景像的大部分。而后，将各样本图像S1，S2…Sq依次与该第2掩模输入图像进行比较对照，决定一致度最高的样本图像。如果，临时选择作了最好的选择，被预测为最终地选择了临时选择样本图像Su，但也能产生不是这样情况的场合。再者，就其用来比较对照的具体的处理以及选择一致度最高样本图像后的事项来说，与第1方式是一样的，所以不再重复说明。

依据本发明，在从与对象物同种的物体从不同的多个方向摄像的多个样本图像中、选择对应于与输入图像中所包含的对象物的摄像方向相近的摄像方向的图像，在这样的图像处理装置中，提高了图像选择的精度和可信度。

Claims (6)

1.一种图像处理装置，该装置由对与对象物同种的物体从不同的多个方向摄像的多个样本图像中、选择与输入图像中所包含的对象物的摄像方向相近的摄像方向相对应的图像，其特征为：

配备有：

将包含上述所有的样本图像的对象物区域的区域的像素作为有效像素、除此而外的区域的像素作为无效像素的、制作第1掩模图像的单元，和

使用与上述第1掩模图像的有效像素相对应的上述输入图像的像素、进行与上述样本图像的比较对照、从上述样本图像中、选择与上述输入图像一致度高的图像的单元。

2.根据权利要求1所记载的图像处理装置其特征为：

配备有：

对于每个上述样本图像、将包含对象物区域的区域的像素作为有效像素、除此而外的区域的像素作为无效像素的、制作第2掩模图像的单元，其中

该进行选择的单元将利用第1掩模图像而选择的该与上述输入图像一致度高的图像使用作为临时选择样本图像，且通过使用与上述临时选择样本图像相对应的第2掩模图像的有效像素所对应的上述输入图像的像素、进行与上述样本图像的比较对照、从上述样本图像中选择与上述输入图像一致度高的图像。

3.根据权利要求第1至2的任何一项所记载的图像处理装置，其特征是：

上述比较对照是对成为比较对象的各图像实施了正交变换的中间图像间的比较对照。

4.根据权利要求第1至2的任何一项所记载的图像处理装置，其特征是：

上述比较对照是对成为比较对象的各图像实施了傅里叶变换的中间图像间的比较对照。

5.根据权利要求第1至2的任何一项所记载的图像处理装置，其特征是：

上述比较对照是对成为比较对象的各图像实施了离散余弦变换的中间图像间的比较对照。

6.根据权利要求第1至2的任何一项所记载的图像处理装置，其特征是：

上述比较对照是对成为比较对象的各图像实施了正交变换的中间图像间的比较对照，并且对每个上述样本图像实施这个正交变换后所得到的成分群为上述样本图像的主成分。

Images