CN105049701B - 图像处理方法和图像捕捉装置 - Google Patents

Abstract

公开了图像处理方法和图像捕捉装置。图像处理方法包括通过由图像捕捉装置连续地捕捉物体的图像来获取多个图像数据项(S1)，将这多个图像数据项传输给运算部(S2)，通过使用运算部来运算图像特征值，图像特征值中的每一个与图像数据项中的每一个的位置信息和照明条件相关信息关联(S3)，比较基准图像特征值与这多个图像数据项之间的匹配度，基准图像特征值中的每一个与位置信息和照明条件相关信息对应(S4)，以及从这多个图像数据项中选择具有与基准图像特征值相匹配的位置信息和照明条件的图像并且输出该图像(S5)。

Description

图像处理方法和图像捕捉装置

技术领域

本发明涉及用于通过使用相机(camera)来捕捉物体的图像的方法和装置。更具体地说，本发明涉及用于捕捉相对于相机移动的物体的图像的技术。

背景技术

在使用机器人的产品自动装配线中，其中机器人握持已被提供的部件并且将已由机器人握持的部件安装到工件上的操作被重复。在所提供的部件未被严格定位的情况下，有时可以在用于握持部件的处理中执行通过使用相机对部件的位置和朝向的测量。

该测量被执行以使已由机器人握持的部件的相对于机器人的位置和朝向尽可能地接近目标位置和目标朝向。换言之，作为目标值的“机器人握持部件的预定方式”和作为实际测量值的“机器人握持部件的实际方式”被相互比较，并且在目标值与实际测量值之间存在差异的情况下，机器人执行用于使实际测量值与目标值相同的处理。该处理被执行以实现在机器人已经握持部件之后将要执行的处理中由机器人执行装配的精度的提高。

示例性具体方法如下：机器人握持部件，然后将部件运输到相机前面的位置，并且在那之后停止其操作。部件的静止图像被相机捕捉，并且所捕捉的静止图像经历图像处理，以使得部件相对于机器人的位置和朝向被识别出。机器人基于识别结果来执行用于改变其朝向的处理和用于改变部件被握持的方式的处理，以使得部件的位置和朝向被改变为在其中可以执行将部件安装在工件上的处理的范围内。在那之后，装配操作被执行。

近年来，已经存在在使用由相机获得的视觉信息的同时通过使用机器人以良好效率自动装配产品的需求。因此，为了实现每小时生产率的进一步提高，尽可能多地降低在图像捕捉期间发生的由机器人的减速、中断、致动和加速引起的部件运输所花时间的增加是有效的。最后，希望在不使机器人停止运输部件的情况下在部件在相机前面移动的同时捕捉部件的图像(该方法在下文中将被称作用于捕捉移动物体的图像的方法)。

在用于捕捉移动物体的图像的方法中，先前已经存储的物体的样本图像(目标值)和在物体正在移动时捕捉的物体的图像(实际测量值)被相互比较，并且根据这些值之间的相似度来识别将要测量的物体。

为了以高识别精度执行对移动物体的图像捕捉，图像处理算法被确定，并且在实际测量中，需要以类似于已被存储作为目标值的物体的样本图像中的分辨率的分辨率在物体正在移动时捕捉物体的图像以对应于图像处理算法。

此外，需要在与已经在其下获取样本图像的照明条件尽可能类似的照明条件(诸如影子和环境光的反射)下捕捉物体的图像。

例如，假定如下情况，其中通过利用放置在部件上的标记来测量作为物体的部件的位置和朝向的图像处理算法被使用。在这种情况下，在实际图像捕捉中，安装在工厂内部的荧光灯的光有时可被部件的表面反射，并且眩光有时可被产生。此外，有时可能在标记由于这种眩光的影响而对相机不可见的照明条件下执行图像捕捉，并且有可能部件的位置和朝向将被错误地识别。

在移动物体的这种图像捕捉的领域中，如在日本专利特开第9-288060号(在下文中被称作专利文献1)中描述的，已经设计出通过捕捉移动部件的图像来提取适用于图像分析的图像的技术。

以下技术在专利文献1中被描述。在专利文献1中描述的技术中，根据以有规律间隔从相机的控制单元发送的图像捕捉触发信号来连续地(或者间歇地)捕捉由传送机在相机前面传送的物体的多个图像。在那之后，其中物体与图像中心之间的距离最小的图像被选择作为多个捕捉图像当中的最佳图像，然后最佳图像被输出。

在专利文献1中描述的相机的操作如下：首先，最后捕捉的图像和在最后捕捉的图像之前捕捉的图像被存储在相机的存储器中。在这种状态下，基于在这两个图像中的每一个中计算的物体的位置相对于图像中心的移位量来选择以下中的一个：(1)最后捕捉的图像被确定为最佳图像，(2)在最后捕捉的图像之前捕捉的图像被确定为最佳图像，以及(3)确定处理被暂停，并且图像捕捉操作继续。在移位量下降到预定阈值以下的情况下，就是说，在物体足够接近图像中心的情况下，(1)被选择。在最后捕捉的图像中的移位量大于在最后捕捉的图像之前捕捉的图像中的移位量的情况下，就是说，在已经走近图像中心一次的物体已经穿过图像中心并且正在离开图像中心的方向上移动的情况下，(2)被选择。在以上两种情况都不适用的情况下，(3)被选择。结果，在通过使用在专利文献1中描述的相关技术来执行对移动物体的图像的捕捉的情况下，可以从由相机捕捉的图像中取回其中部件的位置与由用户预先确定的位置(在下文中有时被称作目标捕捉位置)之间的距离为最小的图像。

然而，在专利文献1中描述的捕捉移动物体的图像的方法中，在只有部件的位置起参考作用的同时在捕捉的图像当中选择要输出的图像。因此，在其朝向由于在部件的运输期间生成的振动等而倾斜的部件的图像被捕捉的情况下，部件的图像是在如下条件下捕捉的，在这些条件下部件与相机/照明之间的位置和朝向关系不同于当图像处理算法被确定时的位置和朝向关系。因此，在与原先假定的那些照明条件不同的照明条件下捕捉的图像被获取，并且所获取的图像的一部分中的明度(brightness)有可能可以与已经假定的明度不同，并且与已经假定的区域不同的区域的轮廓信息有可能可以被强烈地检测到。在这种情况下，在图像处理的处理和识别物体的处理被执行的情况下，部件的位置和朝向有可能将被错误地识别，这继而导致自动装配的故障。

发明内容

本发明是鉴于上面的问题而做出的。根据本发明的一方面，提供一种用于在与获取对其预先确定图像处理算法的图像的那些照明条件类似的照明条件下捕捉移动部件的图像的方法。

根据本发明的另一方面，一种图像处理方法包括：通过由图像捕捉装置连续地捕捉物体的图像来获取多个图像数据项；将这多个图像数据项传输给运算部；通过使用运算部来运算出图像特征值，图像特征值中的每一个与图像数据项中的相应一个的位置信息和照明条件相关信息关联；以及输出从这多个图像数据项中选择的图像。在输出图像中，位置信息与存储器中存储的基准图像特征值之间的匹配度被比较，运算出的图像特征值与存储在存储器中的并且与照明条件相关信息关联的基准图像特征值之间的匹配度被比较，并且具有与基准图像特征值相匹配的位置信息和照明条件的图像被从多个图像数据项中选择并输出。

本发明的其他特征根据参考附图对示例性实施例的以下描述将变得清楚。

附图说明

图1是例示出根据本发明第一实施例的用于捕捉移动物体的图像的装置的框图。

图2是根据本发明第一实施例的流程图。

图3是例示出根据本发明的第一实施例和第二实施例的图像数据项的示例的示图。

图4是例示出根据本发明第一实施例的捕捉图像的示例的示图。

图5是例示出根据本发明第一实施例的二值化图像的示例的示图。

图6是例示出根据本发明第二实施例的用于捕捉移动物体的图像的装置的框图。

图7是例示出根据本发明第二实施例的捕捉图像的示例的示图。

图8是例示出根据本发明第二实施例的已被转换为二进制表示的图像的帧间差的示例的示图。

具体实施方式

第一实施例

根据本发明第一实施例的用于捕捉移动物体的图像的装置将被描述。在以下描述中，根据本发明的图像处理方法的处理将被逐步描述，并且在那之后，将参考对应于第一实施例的示例性实施例来具体描述相机等中包括的个别组件。

图1例示出根据本发明第一实施例的有时将被称作图像捕捉装置的用于捕捉(移动物体的)图像的装置的配置。如在图1中示出，用于捕捉(移动物体的)图像的装置包括相机114和用于握持部件112的机械手113，相机114包括图像拾取元件101、透镜102和运算部115。运算部115包括控制器103、图像输入接口104、图像特征值计算单元106、存储器107、图像选择单元108和图像输出接口109。

首先，将简要描述当图像捕捉装置通过使用相机114来捕捉在被机械手113握持的同时正在移动的部件112的图像时的处理的流程，然后将详细描述每一个组件中的信号和每一个组件的操作。

首先将描述在执行对移动物体的图像的捕捉之前将要执行的初始设置。控制器103通过使用串行外围接口(SPI)等的通信将其中图像拾取元件101连续地(或者间歇地)捕捉图像的电影记录模式设置为图像拾取元件101的工作模式。基于实验、设计值等的以下两个预定图像特征值被存储在控制器103的存储区域中。换言之，作为目标捕捉位置的图像特征值和与该目标捕捉位置处的照明条件相关的图像特征值被存储作为基准图像特征值，并且这些基准图像特征值被预先输出到图像选择单元108。关于其中将存储诸如目标捕捉位置和图像特征值之类的数据项的区域，运算部115的具有存储功能的特定部分可被任意设置为“存储器”。

注意，稍后将描述用于计算与照明条件相关的图像特征值的方法的细节。预先指示机械手113以在部件112被机械手113握持的同时部件112横穿相机114的视场范围的方式来移动。在其中将临时存储图像数据项和图像特征值的存储器107中，仅具有亮度(luminance)值为“0”并且图像特征值为“0”的像素的图像被存储作为初始数据项。通过执行这些操作来完成本实施例中的初始设置。注意，目标捕捉位置和基准图像特征值不是必须被存储在控制器103的存储区域中并且可以被存储在存储器107中并被输出到图像选择单元108。

现在将参考在图2中示出的流程图来描述当执行对移动物体的图像的捕捉时的获取图像数据项和图像处理的处理的流程。

(S1多个图像数据项的获取)

图像拾取元件101的工作模式已经通过初始设置而被设置为电影记录模式，并且图像拾取元件101通过经由透镜106连续地(间歇地)捕捉部件112的图像来获取多个图像数据项，直到部件112到达目标捕捉位置附近为止。

图像拾取元件101不限于将电影记录模式作为其工作模式并且可以通过以一定间隔连续地捕捉部件112的序列图像来获取多个图像数据项。在以下描述中，术语“连续地捕捉图像”也指代以这种方式执行的图像捕捉。

(S2向运算部传输图像数据项)

捕捉的图像例如作为LVDS信号而被顺序地输出到图像输入接口104。在这种情况下，LVDS信号例如通过10对差分信号线来传输，并且这些差分信号线输出串行信号，这些串行信号是被乘以七并且串行化的LVDS信号。图像输入接口104顺序地将作为LVDS信号而被连续地输入到图像输入接口104的图像数据项转换为并行信号形式的图像数据项，并且将这些图像数据项输出到运算部115的图像特征值计算单元106。

(S3运算照明条件和位置信息的图像特征值)

图像特征值计算单元106计算被输入到图像特征值计算单元106的图像数据项的图像特征值。在本实施例中，两类图像特征值被使用。图像特征值中的一个是与如下信息关联的图像特征值，所述信息与指示部件112在捕捉图像中的位置的位置信息相关。图像特征值中的另一个是与指示其中执行图像捕捉的照明环境的照明条件相关的图像特征值。

在这里，照明条件例如表示部件112相对于相机114以及诸如用于图像捕捉的照明(未示出)和荧光灯之类的环境光源(未示出)的位置和朝向。作为具体示例，存在这样的情况，其中，部件112相对于相机114的倾斜大于通过使用图像处理算法而已经假定的部件112相对于相机114的倾斜，所以照明条件不同于预定照明条件。在这种情况下，图像明度有时可能由于在图像中映出的荧光灯等的环境光的强度、映出这种环境光的位置以及被捕捉的散射光的强度的变化而受影响。图像明度有时还可能由于供在图像处理等中使用的标记的轮廓线和特征点的锐度、遮蔽和阴影被生成处的位置的变化而受影响。

可以以以下方式确定与照明条件相关的图像特征值。

首先，通过在以部件112相对于相机114的朝向在图像之间有差异的方式使部件112倾斜等的同时进行捕捉来获取部件112的图像。此外，确认在图像的数据项中包括的各种图像特征值当中是否存在根据部件112的朝向而显著改变的图像特征值。可以由执行设置的用户通过这些处理来预先确定与照明条件相关的图像特征值。

与照明条件相关的图像特征值的示例包括图像的亮度的总值、通过将图像划分为多个块而获得的图像区域中的亮度的总值、特征点的坐标值、特定图像区域中的浓度梯度值以及轮廓线的强度值。最希望使用在通过使用图像捕捉装置已经捕捉的图像来识别部件112的位置和朝向时使用的图像特征值。可替代地，可以例如通过使多个图像特征值规格化和计算多个图像特征值的平均值来使用多个图像特征值。在本实施例的以下描述中，作为示例，图像的亮度的总值被用作与照明条件相关的图像特征值。

运算部115的图像特征值计算单元106计算这些图像特征值并且将这些图像特征值与相对应的图像数据项一起输出到图像选择单元108。稍后将描述用于计算部件112的位置的方法和用于计算图像的亮度的总值的方法的细节。在未在图像中检测到部件112的位置的情况下，就是说，在部件112不存在于相机114的视场中的情况下，图像特征值计算单元106将“0”作为位置信息输出给图像选择单元108。(S4基准图像特征值与基准位置信息之间的匹配)

在图像数据项和相对应的两个图像特征值被从图像特征值计算单元106输入到图像选择单元108的同时，与位置信息和照明条件分别相关的图像特征值被从控制器103输入到图像选择单元108。图像选择单元108参考已被输入到其的图像特征值，并且在部件112尚未进入相机114的视场的情况下，就是说，在部件112的位置信息为“0”的情况下，图像选择单元108不执行操作并且等待接下来的图像数据项和图像特征值。一旦部件112已经进入相机114的视场，并且部件112的位置信息已被改变为除“0”之外的值，则图像选择单元108将在存储器107中存储的基准图像特征值和从所捕捉图像的图像数据项中提取的图像特征值进行比较。然后，图像选择单元108执行用于判定给定判定条件是否得到满足的匹配处理。

然后，在所捕捉图像的图像数据项当中，从中提取出与基准图像特征值更接近的图像特征值的图像数据项被选择。在已被输入的图像特征值比存储器107中存储的图像特征值更接近基准图像特征值的情况下，存储器107的内容被更新为已被输入的图像数据项和图像特征值。此外，当部件112被移动到相机114的视场外部，并且部件112的位置信息被从除“0”之外的值改变为“0”时，此时在存储器107中存储的图像数据项被读取并输出到图像输出接口109。

(S5图像的输出)

已被输入到图像输出接口109并且是并行信号形式的图像数据项通过图像输出接口109而被乘以例如七并且被串行化，然后图像数据项通过根据诸如相机链路(CameraLink)之类的图像信号标准的10对差分信号线而被输出作为图像信号。已被输出的图像信号被外部的帧采集板等接收到并处理。

通过上面的处理，当部件112通过目标捕捉位置时，具有与样本图像最接近的图像特征值的图像数据项可以被捕捉，从而可以降低无法识别部件112的位置和朝向的可能性。

示例性实施例

为了实践上面描述的第一实施例，将使用一个示例性实施例来描述每一个组件的细节。

首先，将描述作为本实施例的前提的坐标系。现在将描述在本实施例中使用并且与在图3中示出的图像数据项关联的坐标系。该坐标系被形成在具有2048×2048个像素并且可以被相机114捕捉的图像区域上，并且在该图像区域中，朝着如在图3中看到的水平方向的右侧的方向被定义为x方向，并且朝着如在图3中看到的垂直方向的下侧的方向被定义为y方向。该坐标系的原点(x＝1，y＝1)是位于该图像区域的左上角处的点。例如，在该图像区域中，位于右上角处的点的坐标、位于左下角处的点的坐标以及位于右下角处的点的坐标分别是(x＝2048，y＝1)、(x＝1，y＝2048)和(x＝2048，y＝2048)。

图3例示出通过捕捉正在握持部件112的机械手113的图像而获得的图像数据项。

部件112是构成产品一部分的物体并且具有例如50mm×50mm或者更小的尺寸。部件112被放置在托盘上并且未被严格定位。部件112将被机械手113捡起并被运输到布置有工件(未示出)的位置以装配产品。当部件112处于正被机械手113握持的状态下时，部件112的朝向尚未被确定。在图像已被根据本发明的用于捕捉移动物体的图像的装置捕捉为“视觉信息”之后，部件112的位置和朝向通过图像处理而被测量，并且部件112的位置和朝向通过机械手113而被校正。然后，部件112被安装在工件上。

已被安装在工作台上的机械手113包括例如三个手指并且可以稳定地握持部件112并且沿着被形成在工作台中并且具有500mm×500mm的尺寸的工作区域中的如下路径运输部件112，机械手113先前已被指示沿着该路径移动。机械手113以2,000mm/秒的速度运输部件112。在本实施例中，机械手113被预先指示在握持部件112的同时以2,000mm/秒的恒定速度在相机114的视场中移动。在这种情况下，机械手113被指示以如下方式移动：部件112在相机114的视场中心附近横穿并且部件112的移动方向接近于被捕捉的图像区域中的x方向。换言之，机械手113被指示以如下方式移动：部件112从图像区域的左端(x＝1)出现，在x方向上基本上直线地移动，并且在图像区域的右端(x＝2048)消失。注意，下面将被描述的将被相机114捕捉的机械手113的表面被涂黑，并且将被相机114捕捉的机械手113的背景的颜色也是黑色的。这些被实施为用于抑制不希望的反射光的生成的设备。在本实施例中，x方向上的图像的中心(x＝1024)是目标捕捉位置。显然，目标捕捉位置可以是任意的x坐标或者根据其中图像捕捉被执行的环境等而可以是不在x方向上而在y方向上的任意坐标。

现在将描述相机114中包括的图像拾取元件101、透镜102和运算部115。

图像拾取元件101具有大约4兆像素(2048×2048个像素)的空间分辨率，并且每一个像素具有8位的位深度。图像拾取元件101通过10对LVDS信号来输出图像。在输出4兆像素的情况下，帧速率例如是160fps。作为图像拾取元件101和透镜102的组合的图像捕捉光学系统具有100mm×100mm的捕捉视场以及大约50μm×50μm的像素分辨率。图像拾取元件101通过使用串行外围接口(SPI)等的通信将设定值写入到嵌入在图像拾取元件101中的寄存器中，然后读取大约4兆像素(2048×2048个像素)的图像。图像拾取元件101具有电影记录模式，在该模式中图像拾取元件101以固定帧速率连续地捕捉图像。在每一个捕捉的帧中，在图像拾取元件101正在传输信号的同时，垂直同步信号为高。在本实施例中，首先，使图像拾取元件101在电影记录模式下工作的设定值经由控制器103而被写入到嵌入在图像拾取元件101中的寄存器中以将图像拾取元件101的工作模式设置为电影记录模式。由图像拾取元件101捕捉的图像被输出到稍后将被描述的图像输入接口104。

运算部115是配备有控制器103、图像输入接口104、图像特征量计算单元106、存储器107、图像选择单元108和图像输出接口109的电路板。控制器103、图像特征量计算单元106和图像选择单元108例如作为将被安装在电路板上的FPGA器件中的运算块而被安装。运算块中的每一个通过组合基于使用公知的硬件描述语言(HDL)的硬件描述的电路和FPGA中包括的宏电路而被安装。考虑到电路面积、制造成本和性能平衡，图像输入接口104和图像输出接口109可以被安装在FPGA中，或者运算部115可以在不使用FPGA的情况下被形成。

图像输入接口104使用公知的并行化器IC，该并行化器IC将从图像拾取元件101输入到图像输入接口104的LVDS信号转换为易于在电路中使用的并行信号。术语“LVDS”指的是“低电压差分信号”。可替代地，LVDS信号可以被输入到公知的现场可编程门阵列(FPGA)并且被转换为并行信号，FPGA是其功能可以被改变的集成电路并且能够接收LVDS信号。作为并行化器IC，10个差分对的LVDS信号可以被输入到其的设备被使用。可替代地，各自具有不足以接收10个差分对的LVDS信号的能力的多个设备可以被并行用作并行化器IC。在这里，从图像输入接口104输出的信号是80位并行信号(8位×10个抽头)、像素时钟信号、水平同步信号和垂直同步信号，并且这些信号被输出到图像特征量计算单元106。

运算部115中的图像特征量计算单元106是安装在FPGA器件中的运算块，该FPGA器件安装在电路板上。图像特征量计算单元106通过使用由已被从图像输入接口104输入到图像特征量计算单元106的80位并行信号、像素时钟信号、水平同步信号和垂直同步信号构成的图像信号来检测部件112在图像中的位置。此外，图像特征量计算单元106将图像的亮度的总值检测为与照明条件相关的图像特征值。在本实施例中，因为在机械手113的图像被捕捉时机械手113的颜色和机械手113的背景的颜色都是黑色的，因此被输入到图像特征量计算单元106的图像信号指示诸如在图4中示出的那些图像的图像。首先，对每8位(作为一个像素)被输入的并行图像信号执行二值化处理，以获取二进制图像。通过在像素值大于预定阈值(例如，128)时将像素值设置为高(1)并且在像素值不大于该阈值时将其设置为低(0)来执行二值化处理。在图5中示出的图像是这种二进制图像的示例。然而，在本实施例中，通过如稍后描述的像素级的流水线处理来执行二值化处理，因而应当注意，诸如在图5中示出的那些的一组二进制图像将不被存储或者输出。接下来，表示部件112的位置信息的二进制图像的重心(centroid)被计算。

现在将描述用于计算具有值为0或1的像素的二进制图像的重心的方法。图像的重心在亮度值被看作质量时通常表示质量分布的中心坐标，并且在二进制图像中，图像的重心是各自具有为1的亮度值的多个像素的中心坐标。为了计算图像的重心，图像的零阶矩和图像的一阶矩被使用。一般而言，图像的这种矩在亮度值被看作质量时还表示重力矩。二进制图像的零阶矩表示各自具有为1的亮度值的像素的总数，并且二进制图像的一阶矩表示各自具有为1的亮度值的像素的位置坐标值之和。在本实施例中，针对水平方向计算的图像的一阶矩被称作图像的水平一阶矩，并且针对垂直方向计算的图像的一阶矩被称作图像的垂直一阶矩。可以通过将图像的水平一阶矩乘以图像的零阶矩的倒数来计算图像的重心的水平坐标。可以通过将图像的垂直一阶矩乘以图像的零阶矩的倒数来计算图像的重心的垂直坐标。

基于以上，针对已经获得的二进制信号来计算图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩。在图像特征量计算单元106中，以下寄存器被包括在FPGA的运算块中。就是说，图像特征量计算单元106包括水平坐标寄存器和垂直坐标寄存器，水平坐标寄存器将与像素时钟同步地被增加并且与水平同步信号同步地被重置，垂直坐标寄存器将与水平同步信号同步地被增加并且与垂直同步信号同步地被重置。此外，图像特征量计算单元106包括保持图像的零阶矩的积分值的零阶矩寄存器、保持图像的水平一阶矩的积分值的水平一阶矩寄存器，以及保持图像的垂直一阶矩的积分值的垂直一阶矩寄存器。这些寄存器中的每一个都保持零作为初始值。首先，当一位二进制图像信号被输入时，一位值被添加到零阶矩寄存器中存储的值。同时，计算(位值×(水平坐标寄存器中的值))被执行，并且结果被添加到水平一阶矩寄存器中存储的值。同时，计算(位值×(垂直坐标寄存器中的值))被执行并且结果被添加到垂直一阶矩寄存器中存储的值。与像素时钟同步地重复以上计算达到对应于所有像素(2048×2048个像素)的次数。结果，在整个图像中，图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩被分别存储在零阶矩寄存器、水平一阶矩寄存器和垂直一阶矩寄存器中。

接下来，根据已经计算出的图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩来计算图像的重心。通过使用公式(水平一阶矩寄存器值/零阶矩寄存器值)的硬件运算来计算图像的重心的水平坐标。通过使用公式(垂直一阶矩寄存器值/零阶矩寄存器值)的硬件运算来计算图像的重心的垂直坐标。已经如上所述计算出的图像的重心的水平坐标和图像的重心的垂直坐标构成部件112的位置信息。

关于将被输入到运算部115的图像特征量计算单元106的诸如在图4中示出的那些的一系列图像数据项，每一个图像数据项的亮度的总值被计算。在图像特征量计算单元106中，与像素时钟同步地保持图像的亮度的总值的积分值的亮度总值寄存器被包括在FPGA的运算块中。亮度总值寄存器保持零作为初始值。首先，当8位图像信号被输入时，8位值被添加到亮度总值寄存器中存储的值。与像素时钟同步地重复该计算达到对应于所有像素(2048×2048个像素)的次数，结果，在整个图像中，图像的亮度的总值被存储在亮度总值寄存器中。

通过上面的运算已经计算出的部件112的位置信息和图像的亮度的总值被与相对应的图像数据项一起从图像特征量计算单元106输出并且被输入到图像选择单元108。在这里，在部件112不存在于相机114的捕捉视场中的情况下，“0”被输出为位置信息。注意，在上面描述的运算当中，通过流水线处理来执行对每一个像素执行的二值化处理以及针对图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩的累积计算。换言之，例如，代替在对所有像素执行的二值化处理都完成之前等待，在对第二像素执行二值化处理的同时执行第一像素的累积计算，并且在对第三像素执行二值化处理的同时执行第二像素的累积计算。

在本实施例中，其中在执行对图像的二值化处理并且计算图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩之后计算图像的重心的方法已作为用于检测部件112在图像中的位置的方法被描述。然而，不同于上面的方法并且基于背景为黑色的事实的用于检测物体的公知方法可以被使用。例如，部件112的模版图像，即具有与由相机114捕捉的图像相对应的分辨率的模版图像，可以被预先存储在FPGA中，执行公知的模版匹配的处理电路可以被安装在FPGA中，并且部件112的位置可以被检测到。在尽管部件112不存在于相机114的捕捉视场中但是由于图像中混入的噪声而检测到部件112的情况下，可以执行如下滤波处理，在该滤波处理中在图像的零阶矩的值被设置为阈值的同时输出坐标的值被设置为“0”。

此外，在本实施例的描述中，尽管图像的亮度的总值已被用作与照明条件相关的图像特征值，但是诸如上面描述的那些的不同图像特征值也可以被使用，只要先前已经确认该图像特征值与照明条件相关即可。

存储器107是安装在电路板上的随机存取存储器(RAM)并且由多个256千字节的同步动态RAM(SDRAM)构成。这多个SDRAM例如包括10个SDRAM。每一个SDRAM的位宽度是8位。每一个SDRAM都指定行地址和列地址并且能够与同步信号同步地执行读和写。

图像选择单元108是安装在FPGA器件中的运算块，该FPGA器件安装在电路板上。图像选择单元108从图像特征量计算单元106获取由图像的重心的水平坐标和图像的重心的垂直坐标构成的部件112的位置信息。图像的亮度的总值以及由80位并行信号、像素时钟信号、水平同步信号和垂直同步信号构成的图像信号被输入到图像选择单元108。此外，基准图像特征值被从控制器103输入到图像选择单元108。图像选择单元108包括用于存取存储器107的存储器接口。该存储器接口设有并行连接的10个运算块以对应于10个SDRAM。当垂直同步信号变为高时，存储器接口开始存储器存取并且将像素时钟信号作为在存储器存取中使用的同步信号提供给SDRAM。此外，存储器接口与像素时钟信号同步地增加行地址并且与水平同步信号同步地增加列地址以设置用于存取SDRAM的地址。当垂直同步信号变为低时，存储器接口终止存储器存取。具有与基准图像特征值最紧密地匹配的图像特征值的一个帧的图像数据项和图像特征值被存储在存储器107中。在初始状态下，“0”被存储作为存储器107中的图像数据项和图像特征值。

在当已被输入的部件112的位置信息是“0”的时段期间，就是说，在当部件112尚未到达相机114的视场的时段期间，图像选择单元108不执行操作并且等待接下来将被输入的图像数据项和图像特征值。然后，当部件112的位置信息已经从“0”改变为除“0”之外的值时，图像选择单元108将在存储器107中存储的基准图像特征值和已被输入的图像特征值相比较。在那之后，图像选择单元108判定输入的图像特征值和已被从控制器103输入的基准图像特征值之间的匹配度是否高于在存储器107中存储的图像的图像特征值和已被从控制器103输入的基准图像特征值之间的匹配度。在输入的图像特征值和从控制器103输入的基准图像特征值之间的匹配度高于在存储器107中存储的图像的图像特征值和从控制器103输入的基准图像特征值之间的匹配度的情况下，图像选择单元108将存储器107的内容更新为输入的图像数据项和相对应的图像特征值，否则，图像选择单元108不更新存储器107的内容并且丢弃输入的图像数据项和相对应的图像特征值。

最后，当部件112的位置信息被从除“0”之外的值改变为“0”时，图像选择单元108读取此时在存储器107中存储的图像数据项并且将该图像数据项输出给图像输出接口109。

现在将描述用于确定已被输入的图像特征值和基准图像特征值之间的匹配度是否高于存储器107中存储的图像特征值和基准图像特征值之间的匹配度的方法。首先，判定部件112的整体位于相机114的视场中。参考输入的图像特征值中包括的部件112的位置信息，在其中图像的重心的水平坐标大于等于513且小于等于1,536并且其中图像的重心的垂直坐标大于等于513且小于等于1,536的情况下，图像特征值的等级被确定为A，否则，被确定为B。

接下来，图像的亮度的总值被评估。基准图像特征值和输入的图像特征值中包括的图像的亮度的总值之间的差的绝对值被计算。

最后，判定基准图像特征值与存储器107中存储的图像特征值之间的匹配度和基准图像特征值与输入的图像特征值之间的匹配度中的哪一个更高，并且输入的图像特征值被评为“优”或者“劣”。通过类似于用于确定输入的图像特征值的等级的方法的方法将存储器107中存储的图像特征值的等级确定为A、B或者“0”中的一个。此外，图像的亮度的总值与基准图像特征值之间的差的绝对值被计算。在存储器107中存储的图像特征值是“0”的情况下，输入的图像特征值被评为“优”。在存储器107中存储的图像特征值的等级是B的情况下，如果输入的图像特征值的等级是A，则输入的图像特征值被评为“优”。在输入的图像特征值的等级是B的情况下，如果基准图像特征值与输入的图像特征值之间的差的绝对值不大于存储器107中存储的图像特征值，则输入的图像特征值被评为“优”，并且如果该绝对值大于存储器107中存储的图像特征值，则输入的图像特征值被评为“劣”。在存储在存储器107中的图像特征值的等级是A的情况下，如果输入图像特征值的等级是B，则输入图像特征值被评为“劣”。在输入的图像特征值的等级是A的情况下，如果基准图像特征值与输入的图像特征值之间的差的绝对值不大于存储器107中存储的图像特征值，则输入的图像特征值被评为“优”，并且如果该绝对值大于存储器107中存储的图像特征值，则输入的图像特征值被评为“劣”。在输入的图像特征值通过上面的判定处理而被评为“优”的情况下，基准图像特征值与输入的图像特征值之间的匹配度被认为是高，并且存储器107的内容被更新为已被输入的图像信号和图像特征值。如果输入的图像特征值被评为“劣”，则存储器107的内容将不被更新，并且输入的图像数据项和相对应的图像特征值被丢弃。

在本实施例中，根据执行输入的图像特征值的计算的定时来执行用于为存储器107中存储的图像特征值评级的处理以及基准图像特征值与图像的亮度的总值之间的差的绝对值的计算。然而，当图像特征值被存储在存储器107中时执行的评级处理的结果和基准图像特征值与图像的亮度的总值之间的差的绝对值的计算结果可以被存储并被重新使用。

图像输出接口109使用串行化器IC，该串行化器IC将已被从图像选择单元108输入的80位并行信号、像素时钟信号、水平同步信号和垂直同步信号转换为符合相机链路等的LVDS图像信号。可替代地，能够输出LVDS信号的FPGA器件可以被使用以在FPGA中将并行信号转换为串行信号。从图像输出接口109输出的LVDS信号被外部的相机链路采集板等接收到，并且通过处理器等对LVDS信号执行图像处理。

控制器103是将被安装在FPGA器件中的运算块，该FPGA器件被安装在电路板上。控制器103经由SPI接口向图像拾取元件101发出连续图像捕捉设置命令以使图像拾取元件101具有电影记录模式。此外，控制器103将预先从外部输入的基准图像特征值存储到内部的寄存器中并且将基准图像特征值输出给图像选择单元108。注意，基准图像特征值是通过与上面描述的计算方法相同的方法根据在图像处理算法已被预先确定时已被使用的图像数据项计算出的由图像的重心的水平坐标和图像的垂直坐标构成的部件112的位置信息和图像的亮度的总值。

根据本实施例，与在图像处理算法已被预先确定时已被使用的图像数据项类似的图像可以被捕捉。因此，在在目标捕捉位置附近移动的部件112的多个捕捉图像中，只有作为其中最有可能正确完成图像处理的最佳图像的一个图像可以被输出。因此，即使由于相对于目标捕捉位置的移位的量和作为摆动和倾斜的结果的照明条件的变化，其中例如荧光灯等的环境光被映出的帧被产生，或者其中阴影被映出的帧被产生，部件112的位置和朝向也可以被正确地识别。

第二实施例

在上面描述的第一实施例中，由相机114捕捉的图像中的机械手113和机械手113的背景的颜色是黑色的，以提供在捕捉部件112的图像时和后续的图像处理中的优点。然而，在诸如制造工厂之类的实际制造地点中，要装配的其他组件有可能可以存在于要捕捉的图像的背景中。因此，当图像被捕捉时，图像的背景的颜色不总是被设置为黑色。即使在背景的整个颜色被设置为黑色的情况下，背景也有可能通过环境光的反射等而被照亮，因而存在如下问题，其中要捕捉的图像的背景的颜色有可能无法被设置为黑色。

相应地，作为第二实施例，将描述用于捕捉移动物体的图像的装置，该装置即使要捕捉的图像的背景具有明度也在与捕捉先前已经假定的图像的照明条件类似的照明条件下捕捉正在移动的部件的图像，并且执行背景移除处理。

图6例示出根据本发明第二实施例的用于捕捉移动物体的图像的装置的配置。根据本发明第二实施例的用于捕捉移动物体的图像的装置包括相机114、部件112和用于握持部件112的机械手113，相机114包括图像拾取元件101、透镜102和运算部115。运算部115包括控制器103、图像输入接口104、图像特征值计算单元106、存储器107、存储器110、图像选择单元108和图像输出接口109。因为用于捕捉移动物体的图像的装置捕捉在被机械手113握持的同时正在移动的部件112的图像时的处理的流程类似于第一实施例中的那个，因此处理的流程的描述将被省略，并且机械手113和图像特征量计算单元106将被描述。

首先，机械手113将被描述。机械手113包括例如三个手指并且可以稳定地握持部件112并且沿着具有500mm×500mm的尺寸的工作区域中的如下路径运输部件112，机械手113先前已被指示沿着该路径移动。机械手113能够以高达2,000mm/秒的速度运输部件112。另外在本实施例中，机械手113在握持部件112的同时以2,000mm/秒的恒定速度在相机114的视场中移动，这将在稍后描述。在这种情况下，部件112在相机114的视场中心附近横穿，并且部件112的移动方向接近于被捕捉的图像中的x方向。换言之，机械手113被指示以如下方式移动：部件112从图像区域的左端(x＝1)出现，在x方向上基本上直线地移动，并且在图像区域的右端(x＝2048)消失。注意，将被相机114捕捉的机械手113的背景的诸如颜色和明度之类的光学特性不随着时间过去而改变。在本实施例中，x方向上的图像的中心(x＝1024)是目标捕捉位置。显然，目标捕捉位置可以是任意的x坐标或者根据光照环境等可以是不在x方向上而在y方向上的任意坐标。

接下来，存储器110将被描述。存储器110是安装在电路板上的RAM并且由多个256千字节的SDRAM构成。这多个SDRAM例如包括10个SDRAM。每一个SDRAM的位宽度是8位。每一个SDRAM都指定行地址和列地址并且能够与同步信号同步地执行读和写。

接下来，图像特征量计算单元106将被描述。图像特征量计算单元106是安装在FPGA器件中的运算块，该FPGA器件被安装在电路板上。图像特征量计算单元106通过使用由已被从图像输入接口104输入到图像特征量计算单元106的80位并行信号、像素时钟信号、水平同步信号和垂直同步信号构成的图像信号来检测部件112在图像中的位置。此外，图像特征量计算单元106检测作为与照明条件相关的图像特征值的图像的亮度的总值。图像特征量计算单元106包括用于存取存储器107的存储器接口。该存储器接口设有并行连接的10个运算块以对应于10个SDRAM。当垂直同步信号变为高时，存储器接口开始存储器存取并且将像素时钟信号作为在存储器存取中使用的同步信号提供给SDRAM。此外，存储器接口与像素时钟信号同步地增加行地址并且与水平同步信号同步地增加列地址以设置用于存取SDRAM的地址。当垂直同步信号变为低时，存储器接口终止存储器存取。紧接在最后的帧之前的帧的图像信号被存储在存储器110中。

在本实施例中，被输入到图像特征量计算单元106的图像信号指示诸如在图7中示出的那些的图像。首先，与已被输入的并行图像信号关联的图像的亮度的总值被计算。在图像特征量计算单元106中，与像素时钟同步地保持图像的亮度的总值的积分值的亮度总值寄存器被包括在FPGA的运算块中。亮度总值寄存器保持零作为初始值。首先，当8位图像信号被输入时，8位值被添加到亮度总值寄存器中存储的值。与像素时钟同步地重复该计算达到对应于所有像素(2048×2048个像素)的次数，结果，在整个图像中，图像的亮度的总值被存储在亮度总值寄存器中。

现在将描述将被与上面的处理一起执行的用于计算部件112的位置信息的处理。

首先，逐像素地计算最后的图像与以下图像之间的差值：该图像是最后的图像之前的一个帧并且与被输入的并行图像信号、像素时钟信号、水平同步信号和垂直同步信号同步地经由存储器接口而被从存储器110中读取。接下来，对每一个像素的差值执行二值化处理。通过在像素值大于预定阈值(例如，128)时将像素值设置为高(1)并且在像素值不大于该阈值时将其设置为低(0)来执行二值化处理。在图8中例示出已被二值化的图像的示例。然而，在本实施例中，通过如稍后描述的像素级的流水线处理来执行二值化处理，因而应当注意，诸如在图8中示出的那些的一组二进制图像将不被存储或者输出。

接下来，针对已经获得的二进制信号来计算图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩。在图像特征量计算单元106中，以下寄存器被包括在FPGA的运算块中。就是说，图像特征量计算单元106包括水平坐标寄存器和垂直坐标寄存器，水平坐标寄存器将与像素时钟同步地被增加并且与水平同步信号同步地被重置，垂直坐标寄存器将与水平同步信号同步地被增加并且与垂直同步信号同步地被重置。此外，图像特征量计算单元106包括保持图像的零阶矩的积分值的零阶矩寄存器，保持图像的水平一阶矩的积分值的水平一阶矩寄存器，以及保持图像的垂直一阶矩的积分值的垂直一阶矩寄存器。这些寄存器中的每一个都保持零作为初始值。首先，当一位二进制图像信号被输入时，一位值被添加到零阶矩寄存器中存储的值。同时，计算(位值×(水平坐标寄存器中的值))被执行，并且结果被添加到水平一阶矩寄存器中存储的值。同时，计算(位值×(垂直坐标寄存器中的值))被执行并且结果被添加到垂直一阶矩寄存器中存储的值。与像素时钟同步地重复以上计算达到对应于所有像素(2048×2048个像素)的次数。结果，在整个图像中，图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩被分别存储在零阶矩寄存器、水平一阶矩寄存器和垂直一阶矩寄存器中。

接下来，根据已经计算出的图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩来计算图像的重心。通过使用公式(水平一阶矩寄存器值/零阶矩寄存器值)的硬件运算来计算图像的重心的x坐标。通过使用公式(垂直一阶矩寄存器值/零阶矩寄存器值)的硬件运算来计算图像的重心的y坐标。通过上面的运算计算出的部件112的位置信息和图像的亮度的总值被从图像特征量计算单元106输出并且被输入到图像选择单元108。在这里，在部件112不存在于相机114的捕捉视场中的情况下，“0”被输出为位置信息。注意，在上面描述的运算当中，通过流水线处理来执行对每一个像素执行的二值化处理以及针对图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩的累积计算。换言之，例如，代替在对所有像素执行的二值化处理都完成之前等待，在对第二像素执行二值化处理的同时执行第一像素的累积计算，并且在对第三像素执行二值化处理的同时执行第二像素的累积计算。最后，存储器110的内容利用已经通过像素时钟信号、水平同步信号和垂直同步信号经由存储器接口而被输入的并行图像信号而被重写，并且一个帧的图像被存储到10个SDRAM中。存储的图像将被用作作为下一帧之前的一个帧的图像。

尽管在本实施例中已经描述通过帧间差方法来移除所捕捉的部件112的图像的背景的方法，但是也可以使用与该方法不同的公知背景移除处理。例如，可以通过使用作为非易失性存储器的存储器110将其中未出现部件112和机械手113的背景图像预先存储在存储器110中，并且可以通过计算背景图像与将被捕捉的图像之间的差来移除背景，或者可以使用用于移除背景的其他算法。在尽管部件112不存在于相机114的捕捉视场中但是由于图像中混入的噪声而检测到部件112的情况下，可以执行如下滤波处理，在该滤波处理中在图像的零阶矩的值被设置为阈值的同时输出坐标的值被设置为“0”。此外，在本实施例的描述中，尽管图像的亮度的总值已被用作与照明条件相关的图像特征值，但是诸如上面描述的那些的不同图像特征值也可以被使用，只要先前已经确认该图像特征值与照明条件相关即可。

根据本实施例，即使将被相机114捕捉的机械手113的图像的背景不是黑色并且具有明度也可以有效地执行图像捕捉。换言之，在在目标捕捉位置附近移动的部件112的多个捕捉图像中，作为其中最有可能正确完成图像处理的最佳图像的一个图像可以被输出。因此，在难以将图像的背景的颜色设置为黑色的情形下，部件112的位置和朝向可以被正确地识别。

通过执行将由包括执行根据本发明的图像捕捉方法的相机和机械手的机器人装置执行的用于生产物品的方法，可以在由该机械手握持的物体正在移动的同时有效地捕捉该物体的图像，因而可以有效地执行生产活动。

本发明可以在装配机器人系统中使用。

根据本发明，在部件的位置以及与已在其下捕捉图像的照明条件相关的图像特征值起参考作用的同时选择要输出的图像。因此，在正在移动的部件由于在该部件的运输期间生成的振动等而已倾斜的情况下，具有与样本图像等价的图像特征值的图像可以被选择并输出。因此，可以在与在其下捕捉已经假定的图像的那些照明条件类似的照明条件下捕捉图像，因而，本发明的有利效果在于正在移动的部件的位置和朝向可以被正确地识别。

尽管已经参考示例性实施例描述了本发明，但是将会明白本发明不限于所公开的示例性实施例。以下权利要求的范围将被赋予最广的解释以包括所有这种修改和等同的结构和功能。

Claims (5)

1.一种用于捕捉移动物体的图像数据的图像处理方法，其特征在于，包括：

通过由图像捕捉装置连续地捕捉移动物体的图像来获取多个图像数据项；

将所述多个图像数据项传输给运算部；

通过使用运算部来运算出所述多个图像数据项中的相应一个图像数据项的移动物体的位置信息和与照明条件相关的图像特征值；以及

在位置信息满足预定条件时，通过顺序地比较与照明条件相关的图像特征值和预先获取的与照明条件相关的基准图像特征值，对于所述多个图像数据项中的每个图像数据项计算匹配度，

其中，先计算出匹配度的图像数据和后计算出匹配度的图像数据中的匹配度更高的一者被存储。

2.根据权利要求1所述的图像处理方法，

其中，与照明条件相关的图像特征值是以下项中的至少一个：图像的亮度的总值，通过将图像划分为多个块而获得的图像区域中的亮度的总值，特定图像区域中的浓度梯度值，和轮廓线的强度值。

3.根据权利要求1所述的图像处理方法，还包括：

对由图像拾取元件捕捉的图像执行背景移除处理。

4.根据权利要求3所述的图像处理方法，

其中，对于所述多个图像数据项中的每一个，每预定像素地计算这种图像数据项与在这种图像数据项之前的特定数量的帧中的相应图像之间的差值，

其中对每一个像素的差值执行二值化处理，

其中针对通过所述二值化处理得到的二进制信号来计算图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩，

其中根据计算出的图像的零阶矩、图像的水平一阶矩和图像的垂直一阶矩来计算图像的重心，并且

其中通过帧间差方法来移除所述多个图像数据项的背景。

5.一种机器人装置，其特征在于，包括：

相机，捕捉横穿相机的视场的物体的图像；以及

机械手，能够以将物体布置在相机的视场中的方式来移动物体，

其中相机包括图像拾取元件、透镜、运算单元和存储器，

其中运算单元具有以下功能：获取通过使用图像捕捉装置连续地捕捉由机械手握持的物体的图像而得到的多个图像数据项；运算所述多个图像数据项中的相应一个图像数据项的移动物体的位置信息和与照明条件相关的图像特征值；在位置信息满足在存储器中存储的预定条件时，通过顺序地比较与照明条件相关的图像特征值和预先获取并且在存储器中存储的与照明条件相关的基准图像特征值，对于所述多个图像数据项中的每个图像数据项计算匹配度，并且，

其中，先计算出匹配度的图像数据和后计算出匹配度的图像数据中的匹配度更高的一者被存储在存储器中。