CN106485692B - 图像处理方法和装置、机器人装置、程序和记录介质 - Google Patents

Abstract

本发明涉及图像处理方法和装置、机器人装置、程序和记录介质。该图像处理方法使用参考图像、在图案匹配处理中具有减少的计算量。计算机在输入图像上设置搜索区域以便分别对应于输入图像上的待检测的工件位置的多个分布区域，通过在预先确定数量的输入图像上，通过在连续的搜索区域中使用参考图像来执行图案匹配处理，来检测预先确定数量的工件位置，并且基于已经检测到的预先确定数量的工件位置，来确定输入图像上的工件位置的分布，并且通过在已经在设置处理中设置的多个搜索区域中，通过使用参考图像来执行图案匹配处理，以及每次执行图案匹配处理时，确定图案匹配的评估值，来检测工件位置。

Description

图像处理方法和装置、机器人装置、程序和记录介质

技术领域

本发明涉及使用参考图像执行图案匹配处理的图像处理方法、图像处理装置、机器人装置、程序以及记录介质。

背景技术

在设置在输入图像上的搜索区域中使用参考图像执行图案匹配处理以检测输入图像上的工件位置的图像处理装置，以及被设置有该图像处理装置的机器人装置被广泛使用。

在使用参考图像的图案匹配处理中，图像处理装置重复在已经设置在输入图像上的搜索区域中逐渐地移位参考图像的位置和角度的计算，并且确定图案匹配的评估值。因为如此，如果搜索区域为大，在确定输入图像上的工件位置之前，计算量变得庞大，并且计算时间延长。另外，为了增强使用参考图像的图案匹配处理的精度，需要减小在搜索区域中执行使用参考图像的图案匹配处理的位置和倾斜角的增量宽度。另外，同样在使得在搜索区域中执行图案匹配处理的位置的增量宽度和倾斜角为小的情况下，计算量变得庞大，并且用于待建立输入图像上的工件位置的计算时间延长。

于是，在日本专利申请公开No.2003-60888中，图像读取装置在已经基于输入图像的成像规则先前设置在输入图像上的条状搜索区域中，通过使用参考图像执行图案匹配处理，并且由此减少图案匹配处理中的计算量。

另外，在日本专利申请公开No.2011-43922中，移动对象识别装置连续地对移动对象进行成像，估计移动对象的位置，并且在将所估计的位置作为中心的搜索区域中通过使用参考图像执行图案匹配处理，并且由此减少图案匹配处理的计算量。

存在如下的情况，其中由成像单元对由保持单元保持的工件进行成像的输入图像中的工件位置有偏向性地(preferentially)出现在输入图像上的多个分布区域中。在这种情况下，如果对搜索区域中的所有工件位置执行使用参考图像的图案匹配处理，如日本专利申请公开No.2003-60888和日本专利申请公开No.2011-43922中所描述的，那么导致在该多个分布区域之间的区域中，图案匹配处理被多次执行，这不可能检测到工件位置。

本发明涉及：一种图像处理方法，该图像处理方法在输入图像上的待检测的工件位置有偏向性地出现在多个部分中的情况下，可以减少使用参考图像的图案匹配处理中的计算量；一种图像处理装置；一种机器人装置；一种程序；以及一种记录介质。

发明内容

根据本发明的一个方面，一种图像处理方法，算数运算单元通过该图像处理方法对输入图像执行图像处理，在输入图像中，由成像单元对由保持单元保持的工件进行成像的输入图像中的工件位置有偏向性地出现在输入图像上的多个分布区域中，该图像处理方法包括：设置处理，其中算数运算单元在输入图像上设置搜索区域，以便分别对应于多个分布区域；以及检测处理，其中算数运算单元在已经在设置处理中设置的多个搜索区域中，通过使用参考图像执行图案匹配处理来检测工件位置，其中，在检测处理中，每次执行图案匹配处理时，算数运算单元确定图案匹配的评估值。

根据本发明的示例性实施例的图像处理方法包括在输入图像上设置搜索区域，以便分别对应于多个分布区域。因为如此，该方法可以在输入图像上待检测的工件位置有偏向性地出现在多个部分中的情况下减少使用参考图像的图案匹配处理中的计算量。

根据以下参照附图对示例性实施例的描述，本发明的更多特征将变得清楚。

附图说明

图1是实施例1中的机器人装置的结构的说明视图。

图2是使用三个爪子的抓取机构的说明视图。

图3A、3B、3C和3D是工件由三爪抓取机构所抓取的状态的说明视图。

图4是工件的中心位置的分布的说明视图。

图5是图案匹配处理的功能框图。

图6是机器人装置的硬件配置的说明视图。

图7是图案匹配处理的在先处理的流程图。

图8是图案匹配处理的说明视图。

图9是实施例1的图案匹配处理的流程图。

图10是优先搜索处理的流程图。

图11是实施例2的图案匹配处理的功能框图。

图12是实施例2的图案匹配处理的流程图。

具体实施方式

现在将根据附图详细地描述本发明的优选实施例。

<实施例1>

(机器人装置)

图1是实施例1中的机器人装置的结构的说明视图。如图1中所例示的，机器人装置10是一种生产设施，它使用多关节机器人的机器人臂300抓取随机地加载在工件台11上的工件200，对工件200进行成像和检查，并且然后将工件200排列在工件台12上，使得工件的方向被对齐。

机器人臂300使用设置在头部上的三爪抓取机构330抓取工件200，并且将工件200移动至直接位于成像装置400下方的成像位置。成像装置400是用于对处于由三爪抓取机构330抓取的状态中的工件200进行成像的照相机。

成像控制单元130使机器人臂300抓取工件200并且将工件200从工件台11移动至成像位置，并且使成像装置400对工件200的端面进行成像并且获取所成像的图像。图像处理装置100从成像装置400获取工件的所成像的图像，并且执行图像处理，该图像处理包括对已经获取的工件的所成像的图像进行的图案匹配处理。

图案匹配处理单元110使工件200的端面的所成像的图像经受使用参考图像的图案匹配处理，并且检测所成像的图像上的工件位置。检查和测量处理单元120基于图案匹配处理单元110的图案匹配处理结果来检查工件200。

如上已经描述的那样，机器人装置10具有机器人臂300，这是多关节机器人的一个示例。机器人臂300具有三爪抓取机构330，这是保持单元的一个示例。作为成像单元的一个示例的成像装置400对由三爪抓取机构330所保持的工件200进行成像。每次三爪抓取机构330保持工件时，机器人装置10使成像装置400对工件进行成像，并且获取输入图像。

(三爪抓取机构)

图2是使用三个爪子的抓取机构的说明视图。图3A至3D是工件由三爪抓取机构所抓取的状态的说明视图。图4是工件的中心位置的分布的说明视图。

如图2中所例示的，三爪抓取机构330具有可旋转地安装在臂301的头部上的爪基部320。三个爪子331、332和333安装在爪基部320上以便可以沿着导向槽321、322和323在直径方向上移动。工件200具有圆柱形状，该圆柱形状具有D切割面210，并且在由三个爪子331、332和333抓取的状态下，该端面位于成像位置处。

如图1中所例示的，机器人臂300将爪基部320移动至直接位于成像装置400下面的成像位置，并且将工件200的端面定位在被确定面向成像装置400的预先确定的焦点位置。机器人臂300旋转爪基部320，并且由此将三个爪子331、332和333定位在爪基部320的回转表面中的相同角位置处。

此时，如图3A至3D中所例示的，由爪子331、332和333抓取的工件200的端面上的旋转轴经过的中心位置(x标记)根据D切割面210的角位置而移动。

(1)图3A是其中爪子331接触D切割面210的抓取状态1。在抓取状态1中，工件200在工件的中心移位到爪子331侧的状态下被抓取。

(2)图3B是其中爪子332接触D切割面210的抓取状态2。在抓取状态2中，工件200在工件的中心移位到爪子332侧的状态下被抓取。

(3)图3C是其中爪子333接触D切割面210的抓取状态3。在抓取状态3中，工件200在工件的中心移位到爪子333侧的状态下被抓取。

(4)图3D是其中爪子331、332和333的任一个都不接触D切割面210的抓取状态4。在抓取状态4中，工件200的旋转轴位于三爪抓取机构330的中心位置处。

结果，在工件已经被随机地抓取并且重复地成像的情况下，如图4中所例示，工件中心(旋转轴的位置)X分布在所成像的图像上的四个位置中。在D切割形状的工件200已经由三爪抓取机构330抓取的情况下，存在四种抓取状态，并且工件的端面的成像位置根据各自的抓取状态而移位。因此，工件中心X的分布划分成四种。具体地，在机器人装置10中，由成像装置400对由三爪抓取机构330保持的工件200进行成像的输入图像上的工件位置有偏向性地出现在输入图像上的多个分布区域中。

于是，在实施例1中，机器人装置10测量工件中心X的分布，并且在所成像的图像上设置优先搜索区域R1、R2、R3和R4，以便对应于所测量的分布。然后，机器人装置10在优先搜索区域R1、R2、R3和R4中执行图案匹配处理，并且仅当不能够检测到工件位置时，才在除了优先搜索区域之外的正常搜索区域UE中执行图案匹配处理。由此，与在整个正常搜索区域UE中执行图案匹配处理的情况相比较，机器人装置10极大地减少在图案匹配处理成功之前所执行的计算量。

(图像处理装置)

图5是图案匹配处理的功能框图。图6是机器人装置的硬件配置的说明视图。如图5中所例示的，图像获取单元111从成像装置(400：图1)获取输入图像。

图案匹配处理单元110通过使用参考图像对输入图像执行图案匹配处理，并且检测输入图像上的参考图像关于所成像的图像的匹配位置和匹配角度。搜索处理执行单元112通过使用参考图像执行图案匹配处理。匹配位置记录单元113记录匹配位置。匹配位置分析单元114分析过去的匹配位置的分布。优先搜索区域设置单元115在输入图像上设置多个优先搜索区域。参考图像登记单元116登记参考图像。参数登记单元117登记图案匹配处理所需要的各种类型的参数。

如图6中所例示的，计算机150中的CPU 152与诸如ROM 153、RAM 154、硬盘155、接口158、输入单元151、输出单元156和显示单元157之类的组件总线连接。成像装置400对工件200进行成像，并且将所成像的图像转换成数字数据。成像装置400中的所成像的图像的图像数据输入到输入单元151。

CPU 152由微处理器形成，并且执行数据的计算和处理。CPU152执行存储在ROM153中的程序，从RAM 154、硬盘155、输入单元151等接收数据，计算所接收的数据，并且将所计算的数据输出到显示单元157、硬盘155、输出单元156等。

ROM 153将各种类型的控制的程序和数据存储在其中。RAM154用于CPU 152执行的处理的数据等的临时存储。硬盘155是保存诸如所成像的图像和参考图像(模板)的数据之类的大型数据的存储装置。

接口158在数据和各种类型的信号之间进行相互转换，并且通过信号线控制成像装置(照相机)400和机器人臂300。接口158可以通过硬盘驱动器160从记录介质的光盘161中读取程序。接口158通过光纤、LAN缆线等与外部服务器、计算机和通信仪器通信。

显示单元157将图像信号输出到CRT显示器、液晶显示器、等离子体显示器等，并且在上面显示图像。输入单元151还接收从诸如键盘、触摸板和鼠标之类的指示设备(pointing device)发送的操作输入。输出单元156具有用于输出数据的输出端。

(在先处理)

图7是图案匹配处理的在先处理的流程图。如图5中所例示的，在图案匹配处理开始之前，参考图像登记单元116和参数登记单元117执行图案匹配处理单元110的在先处理，并且设置图案匹配处理所需要的参考图像、参数等。用户可以通过参考图像登记单元116和参数登记单元117来改变这些参数的一部分或全部。

如图7中所例示的，参考图像登记单元116从先前准备的多个参考图像中，根据由用户指定的工件200的类型和成像条件来选择适当的参考图像，并且在参考图像登记单元116中登记所选择的参考图像(S1)。

参数登记单元117从先前准备的各种类型的参数的多个所选择的抉择中，在由用户指定的工件200的类型和成像条件方面，选择用于图案匹配处理的最佳选择的抉择，并且在参数登记单元117中登记最佳选择的抉择(S2)。

(正常分数阈值)

当在已经在输入图像上设置的搜索区域中执行图案匹配处理时，输入图像与参考图像之间的相似度变得最高处的参考图像的位置被称作匹配位置，并且此时的相似度称作匹配分数。分数阈值是规定搜索区域中被认为匹配成功的最大匹配分数是多少或者更大的阈值。在实施例1中，正常分数阈值是匹配分数的阈值，这是图案匹配的评估值。

(正常搜索角度)

当在搜索区域中的一个位置中在搜索角度内执行图案匹配处理时，输入图像与参考图像之间的相似度变得最高处的参考图像的角度被称作匹配角度。搜索角度是规定倾斜范围多宽的参数，其中在搜索区域中的每个位置处执行参考图像的图案匹配处理。在实施例1中，正常搜索角度是在所成像的图像上的每个位置处执行图案匹配处理的角度范围。

(正常搜索比例)

当在搜索区域中的一个位置处以一个角度执行图案匹配处理同时参考图像以搜索比例扩展或收缩时，输入图像与参考图像之间的相似度变得最大处的参考图像的比例被称作匹配比例。搜索比例是规定扩展和收缩的范围多宽的参数，其中执行图案匹配处理同时扩展或收缩参考图像。在实施例1中，正常搜索的比例是当在搜索区域中的一个位置处以一个角度执行图案匹配处理时扩展或收缩参考图像的范围。

(正常搜索区域)

正常搜索区域是设置在所成像的图像上并且在其中执行图案匹配处理的最大范围。正常搜索区域是规定所成像的图像上的执行图案匹配处理的范围的参数。正常搜索区域是规定在图案匹配处理中参考图像的中心移动的范围的参数。正常搜索区域被设置得足够大，使得考虑到由机器人臂300重复定位的准确度、随着时间的变化而发生的分散等方面的所有变化，即使当发生任何变化时，图案匹配处理单元也可以检测到作为待检测对象的工件200。

(过去的信息参考的数量)

过去的信息参考的数量N是图4中所例示的工件中心x的总数量。具体地，该数量是示出当设置优先搜索区域R1、R2、R3和R4时，过去的匹配位置(x)被参考多少次的数值。

(参考图像和所成像的图像)

图8是图案匹配处理的说明视图。如图8中所例示的，图案匹配处理单元使工件200的所成像的图像G经受使用参考图像K的图案匹配处理，并且确定所成像的图像上的所成像的图像G匹配参考图像K处的坐标位置x和y，以及参考图像K的倾斜角θ。这里，为了简化描述，参考图像(模板)K使用整个工件的轮廓，将工件中心定位在参考图像K的中心，整个工件的轮廓是工件200的端面的边缘图像并且是具有D切割的圆形。然而，实际上，参考图像K是工件的轮廓的一部分，以便减少计算量。

如图8中所例示的，搜索处理执行单元112从所成像的图像中提取边缘图像Ge，并且使所提取的边缘图像Ge经受使用参考图像K的图案匹配处理。然后，搜索处理执行单元112确定工件200的中心位置的坐标位置x和y以及倾斜角θ，这是所成像的图像G上的工件位置。

每次执行图案匹配处理时，图像处理装置100确定匹配分数，匹配分数是图案匹配的评估值的一个示例。当在所成像的图像G上的正常搜索区域UE中执行图案匹配处理时，图像处理装置100在正常搜索区域UE中的每个像素的每个位置处执行图案匹配处理，并且确定匹配分数中的每一个，匹配分数是所成像的图像G与参考图像K之间的相似度的评估值。然后，图像处理装置100输出由匹配分数评估的、与参考图像K的相似度变得最高处的坐标位置x和y以及倾斜角θ，作为工件位置。作为替换地，当匹配分数大于分数阈值时，图像处理装置100认为匹配已经成功，并且输出工件位置作为数据x和y以及倾斜角θ。

图案匹配处理单元110从所成像的图像G上的所有像素中提取边缘，并且创建边缘图像Ge。随后，图案匹配处理单元110使所创建的边缘图像Ge经受使用参考图像K的图案匹配处理，确定匹配分数，并且由此评估在边缘图像Ge上的该位置和该倾斜角处参考图像K与边缘图像Ge的图案之间的匹配度。

(优先搜索区域的设置)

图9是实施例1中的图案匹配处理的流程图。如图4中所例示的，在实施例1中，优先搜索区域设置单元115在用户已经设置的正常搜索区域UE的内部设置多个优先搜索区域R1、R2、R3和R4，并且执行图案匹配处理。

如参考图6在图9中所例示的，计算机150获取已经由成像装置400成像的作为待测量对象的工件200的所成像的图像，作为输入图像(S3)。

计算机150对当前的次数m进行计数，这指示当前的输入图像是第几次的输入图像，并且确定当前的次数m是否已经超过于在先处理中设置的过去的信息参考的数量N(S4)。

计算机150继续正常搜索处理直到当前的次数m超过过去的信息参考的数量N(N≥m，S4中否)(S10)。计算机150使用用户在在先处理中已经设置的正常分数阈值、正常搜索角度和正常搜索比例的参数，在图4中所例示的整个正常搜索区域UE中搜索工件位置。计算机150在所获取的输入图像中设置正常搜索区域UE，使用参考图像K执行图案匹配处理，并且记录与参考图像K的相似度(匹配分数)变得最高处的坐标位置x和y以及倾斜角θ，作为工件位置。

在当前的次数m超过过去的信息参考的数量N时(N<m，S4的是)，计算机150执行工件位置的分布状态的分析(S5)。

计算机150基于m条工件位置的分布状态的分析结果，聚集工件位置。另外，如图4中所例示的，计算机150针对所聚集的工件位置的分布D1、D2、D3和D4的每个，设置优先搜索区域R1、R2、R3和R4(S6)。

计算机150在优先搜索区域R1、R2、R3和R4的内部，执行使用参考图像K的图案匹配处理(S7)。

当在优先搜索区域R1、R2、R3和R4的内部图案匹配处理已经成功时(S8中是)，计算机150记录计算机150已经成功进行图案匹配处的坐标位置x和y以及倾斜角θ，作为工件位置(S9)。

当计算机150不能够在优先搜索区域R1、R2、R3和R4中找到工件位置时(S8中否)，计算机150进行到正常搜索处理(S10)。此时，为了避免搜索区域的重复，计算机150在输入图像上设置优先搜索区域R1、R2、R3和R4被从正常搜索区域UE中去除的搜索区域，并且在那里使用参考图像K执行图案匹配处理。然后，计算机150记录匹配分数变得最高处的坐标位置x和y以及倾斜角θ，作为工件位置。

当已经成功进行优先搜索处理以及还当已经成功进行正常搜索处理时，计算机150在已经成功进行图案匹配处理时记录坐标位置x和y，至多最近的过去N次的结果(S9)。当记录时，计算机150执行FIFO(先进先出)处理，记录新的位置信息的数据xm，并且同时删除比过去的信息参考的数量N更老的数据xm-N。由此，如图4中所例示的，优先搜索区域R1、R2、R3和R4的重心位置逐渐地被校正，并且保持优先搜索区域R1、R2、R3和R4以便对应于最近的分布D1、D2、D3和D4。

当已经可以在输入图像上检测到与参考图像重合的位置时，换言之，当已经成功进行搜索时，计算机150认为优先搜索处理已经成功并且结束优先搜索处理。然而，当优先搜索处理已经失败时，计算机150执行正常搜索处理。另外，当甚至在正常搜索处理中工件位置的搜索也已经失败时，计算机150认为搜索处理已经失败，停止机器人装置10，并且输出警报。

如图5中所例示的，当图案匹配处理单元已经成功时，匹配位置记录单元113记录匹配位置的数据xm。当记录时，匹配位置记录单元113执行FIFO(先进先出)处理，并且当记录新的位置信息的数据xm时，删除比过去的信息参考的数量N更老的数据xm-N。由此，匹配位置记录单元113保存对应于N条最近的过去的信息参考的匹配位置信息xi(i＝m-N，…，m-1)。

匹配位置分析单元114从匹配位置记录单元113获取最近的匹配位置信息xi(i＝m-N，…，m-1)。匹配位置分析单元114使用分层聚集法执行匹配位置信息xi(i＝m-N，…，m-1)的集群分析。当执行集群分析时，组平均法、Ward法、最短距离法和最长距离法的任何一个可以用作距离测量方法。

匹配位置分析单元114基于用户已经预先指定的、集群之间的距离的阈值来划分集群。这样，如图4中所例示的，N条匹配位置被划分成四个分布D1、D2、D3和D4。

优先搜索区域设置单元115执行优先搜索区域设置处理，并且针对所聚集的分布D1、D2、D3和D4的每个，分别设置优先搜索区域R1、R2、R3和R4。

优先搜索区域设置单元115首先计算属于分布D1的所有位置的重心位置μ1，以及与重心的距离的标准偏差σ1。然后，优先搜索区域设置单元115设置中心为μ1并且半径为5σ1的圆形区域，作为优先搜索区域R1。如图4中所例示的，优先搜索区域设置单元115将一个优先搜索区域R1设置为圆形区域，其将工件位置的一个分组中的工件位置的重心μ1作为中心，并且具有一个分组中的重心与工件位置的每个之间的距离的标准偏差的五倍大的半径。

优先搜索区域设置单元115针对分布D2、D3和D4类似地设置优先搜索区域R2、R3和R4。

如上所述，在图像处理装置100中，作为算数运算单元的一个示例的计算机150执行作为设置处理的一个示例的优先搜索区域设置单元115的处理，以及作为检测处理的一个示例的搜索处理执行单元112的处理。优先搜索区域设置单元115在输入图像上设置搜索区域以便分别对应于多个分布区域。搜索处理执行单元112通过在由优先搜索区域设置单元115设置的多个搜索区域中，通过使用参考图像执行图案匹配处理来检测工件位置。

在作为分布搜索处理的一个示例的匹配位置分析单元114的处理中，匹配位置分析单元114在预先确定数量的输入图像上，通过在连续搜索区域中使用参考图像执行图案匹配处理来检测预先确定数量的工件位置。优先搜索区域设置单元115基于预先确定数量的所检测的工件位置，确定输入图像上工件位置的分布。

(优先搜索处理)

图10是优先搜索处理的流程图。当分布D1、D2、D3和D4已经由已经执行的正常搜索处理获取时，如图4中所例示的，计算机150设置优先搜索区域R1、R2、R3和R4以便对应于分布D1、D2、D3和D4。

计算机150计算属于分布D1的所有匹配位置的重心位置μ1，以及重心位置μ1与每个匹配位置之间的距离δ的标准偏差σ1。然后，计算机150设置中心为μ1并且半径为5σ1的圆形区域，作为优先搜索区域R1。类似地，计算机150针对分布D2、D3和D4设置优先搜索区域R2、R3和R4。

在已经设置优先搜索区域R2、R3和R4之后，计算机150在优先搜索区域R1、R2、R3和R4中执行优先搜索处理。计算机150使用参考图像对所设置的优先搜索区域R1、R2、R3和R4顺序地执行图案匹配处理，并且搜索匹配位置和匹配角度。

如图10中所例示的，计算机150在优先搜索区域R1中搜索工件位置(S11)。当已经可以在优先搜索区域R1中检测到与参考图像中的工件位置重合的工件位置时(S12中是)，计算机150认为优先搜索处理已经成功，并且结束优先搜索处理(S20)。

当在优先搜索区域R1中已经不能够检测到与参考图像中的位置重合的位置时(S12中否)，计算机150搜索优先搜索区域R2的内部(S13)。当已经可以在优先搜索区域R2中检测到与参考图像中的位置重合的位置时(S14中是)，计算机150认为优先搜索处理已经成功，并且结束优先搜索处理(S20)。

当在优先搜索区域R2中已经不能够检测到与参考图像中的位置重合的位置时(S14中否)，计算机150搜索优先搜索区域R3的内部(S15)。当已经可以在优先搜索区域R3中检测到与参考图像中的位置重合的位置时(S16中是)，计算机150认为优先搜索处理已经成功，并且结束优先搜索处理(S20)。

当在优先搜索区域R3中已经不能够检测到与参考图像中的位置重合的位置时(S16中否)，计算机150搜索优先搜索区域R4的内部(S17)。当已经可以在优先搜索区域R4中检测到与参考图像中的位置重合的位置时(S18中是)，计算机150认为优先搜索处理已经成功，并且结束优先搜索处理(S20)。

当在优先搜索区域R4中已经不能够检测到与参考图像中的位置重合的位置时(S18中否)，计算机150记录优先搜索处理的失败(S19)。

搜索处理执行单元112执行优先搜索处理。在优先搜索处理中，搜索处理执行单元112在优先搜索区域中顺序地搜索参考图像的位置；并且当已经可以检测到与参考图像中的位置重合的位置时，换言之，当已经成功进行搜索时，认为优先搜索处理成功，并且结束处理。另外，当在所有优先搜索区域中搜索失败时，搜索处理执行单元112认为优先搜索处理失败，并且结束处理。

搜索处理执行单元112搜索输入图像上的优先搜索区域R1的内部。当已经可以在优先搜索区域R1中检测到与参考图像中的位置重合的位置时，搜索处理执行单元112认为优先搜索处理已经成功，并且结束处理。当已经不能够检测到位置时，搜索处理执行单元112接下来在优先搜索区域R2的内部中执行搜索。搜索处理执行单元112重复这个操作直到完成搜索所有优先搜索区域为止，以便得知是否可以检测到与参考图像中的位置重合的位置。当在已经完成搜索所有优先搜索区域的阶段中，已经不能够检测到与参考图像中的位置重合的位置时，搜索处理执行单元112认为优先搜索处理失败，并且结束处理。

具体地，在作为第一检测处理的一个示例的优先搜索处理中，计算机150在作为第一搜索区域的一个示例的优先搜索区域R1、R2、R3和R4中执行图案匹配处理。另外，当已经不能够在优先搜索处理中检测到工件位置时，计算机150执行作为第二检测处理的一个示例的正常搜索处理。在正常搜索处理中，计算机150在除了优先搜索区域R1、R2、R3和R4之外的正常搜索区域UE中执行图案匹配处理。

(比较示例)

在文本图像处理、面部识别、生产装置等的广泛领域的图像处理的领域中，图案匹配处理被用作用于在设置在输入图像上的单个搜索区域中检测待检测对象的位置的方法。

在常规的图案匹配处理中，图案匹配装置在整个搜索区域中重复与参考图像的相似度的计算，因此计算量变得庞大，并且图案匹配处理的计算时间延长。在生产装置的领域中，图像处理时间直接影响产品的制造成本，因此强烈要求处理时间比现在缩短更多，并且对于增大处理的速度存在很强的需求。由于这个原因，根据各种观点，速度需要增大。

于是，在比较示例中，在实施例1的机器人装置10中，搜索区域设置在狭窄区域，如专利文献1中所描述的，它将过去的匹配位置的模式认作中心，并且搜索区域的外部中的图案匹配处理被省略。

然而，在比较示例中，当过去的匹配位置的数据具有其中数据集中在多个部分并且被分散的多峰值分布时，在许多情况下，图案匹配处理在多个部分之间的中间区域中徒劳地执行。因为如此，存在没有充分增大图案匹配处理的速度的问题。

如图4中所例示的，在机器人装置10中，匹配位置形成多峰值分布。因为如此，当仅仅根据整个分布确定模式和分散，并且由此确定搜索区域时，搜索区域变成包含所有分布的圆形形状，并且实际上导致也包含匹配位置没有分布在其中的区域。换言之，导致搜索区域被设置为徒劳地广阔，并且因此速度的增大是不充分的。

(实施例1的效果)

在实施例1中，图像处理装置可以分析匹配位置的分布，并且考虑到每个分布中的分散而设置需要的最小优先搜索区域；并且因此可以将搜索区域设置为比常规中的搜索区域窄，并且可以在更短的时间段内从输入图像中检测到参考图像的位置。

在实施例1中，当优先搜索区域的内部的搜索已经失败时，图像处理装置可以搜索用户已经设置的正常搜索区域的内部，并且因此即使在优先搜索区域的内部不存在正确的位置，只要在正常搜索区域中存在正确的位置，则匹配就不会失败。

在实施例1中，图像处理装置分析匹配位置的分布，并且针对每个分布确定优先搜索区域；并且因此甚至当匹配位置的分布是多峰值时，也可以将搜索区域限制到比常规中的搜索区域窄的范围。因为如此，图像处理装置可以在更短的时间段内从输入图像中检测到参考图像的位置。

在实施例1中，图像处理装置在输入图像上设置作为多个搜索区域的一个示例的优先搜索区域R1、R2、R3和R4，以便分别对应于多个分布区域。然后，图像处理装置通过使用参考图像对优先搜索区域R1、R2、R3和R4执行图案匹配处理以检测工件位置。因为如此，在已经开始优先搜索处理之后，图像处理装置可以省略优先搜索区域R1、R2、R3和R4从其中去除的正常搜索区域UE中的图案匹配处理。

在实施例1中，图像处理装置顺序地选择多个搜索区域并且对其执行图案匹配处理，并且在匹配分数已经达到作为评估参考的一个示例的正常分数阈值的搜索区域中结束图案匹配处理。因为如此，图像处理装置可以省略比分数已经达到正常分数阈值的搜索区域到来得更晚的搜索区域中的图案匹配处理。

在实施例1中，图像处理装置按照在过去已经执行过的图案匹配处理中工件位置被检测到的频率的递减次序选择搜索区域。在正常搜索处理中，图像处理装置从更多匹配位置分布在其中的搜索区域开始按照递减的次序在搜索区域中搜索工件位置。因为如此，图像处理装置在早期找到已经达到正常分数阈值的搜索区域的这种可能性提高，并且可以省略在更多搜索区域中的图案匹配处理。然后，图像处理装置认为优先搜索处理在早期已经成功，并且可以结束处理。

在实施例1中，当在作为第一搜索区域的一个示例的优先搜索区域R1、R2、R3和R4中已经不能够检测到工件位置时，图像处理装置在作为第二搜索区域的一个示例的正常搜索区域UE中执行图案匹配处理，并且在那里检测工件位置。因为如此，即使当在优先搜索区域R1、R2、R3和R4中已经不能够检测到工件位置时，图像处理装置也在输入图像中检测工件位置，并且不需要停止机器人装置10。

在实施例1中，图像处理装置设置优先搜索区域R1、R2、R3和R4以便对应于工件位置的分布，工件位置的分布由作为分布搜索处理的一个示例的正常搜索处理来确定。因为如此，图像处理装置可以设置优先搜索区域R1、R2、R3和R4，其中因在那时工件200的类型、成像条件和参考图像之间的组合而引起的过度和不足很少。

在实施例1中，图像处理装置基于工件位置之间的距离来辨别预先确定数量的工件位置，确定多个工件位置的分组，并且设置一个优先搜索区域以便与所确定的分组一一对应。因为如此，图像处理装置可以设置优先搜索区域R1、R2、R3和R4，其中由优先搜索处理所检测的工件位置近似同等地分散，并且其中过度和不足很少。

在实施例1中，图像处理装置基于已经在追溯到过去的预先确定数量的输入图像上检测到的工件位置的平均值和标准偏差，设置多个搜索区域。因为如此，即使当成像条件已经在针对工件200的连续处理期间被改变，图像处理装置也将优先搜索区域R1、R2、R3和R4调整至过度和不足很少的状态，并且可以抑制错误的发生。

<实施例2>

在实施例1中，随后将描述的分数阈值、搜索角度和搜索比例的参数的每个已经是由用户设置的固定值。另一方面，在实施例2中，在优先搜索处理已经从初始值开始之后，分数阈值、搜索角度和搜索比例的参数的每个自动地调整成优先搜索时的分数阈值、优先搜索的角度和优先搜索的比例。除了上面的描述之外的配置和控制与实施例1中的配置和控制相同，因此，在图11中，与实施例1中的配置共同的配置由图5中相同的附图标记指定，并且将省略重叠的描述。

(在先处理)

图11是实施例2中的图案匹配处理的功能框图。在图案匹配处理开始之前，参考图像登记单元116和参数登记单元117针对图案匹配处理单元110执行在先处理，并且设置图案匹配处理所需的参考图像、参数等。用户可以通过参考图像登记单元116和参数登记单元117来改变参数的一部分或全部。

如图7中所例示的，用户根据工件200的类型和成像条件，从预先在参考图像登记单元116中准备好的多个参考图像中选择适当的参考图像，并且在参考图像登记单元116中登记所选择的参考图像(S1)。

用户从预先由参数登记单元117准备好的参数的多个选择抉择中，选择对于在搜索处理执行单元112中执行的图案匹配处理所需的选择抉择，并且在参数登记单元117中登记该选择抉择(S2)。

(图案匹配处理)

图12是实施例2中的图案匹配处理的流程图。如参考图6在图12中所例示的，计算机150获取工件200的所成像的图像(S23)。

计算机150确定计算机150已经获取工件位置的当前的次数m是否超过过去的信息参考的数量N(S24)。直到当前的次数m超过过去的信息参考的数量N(S24中否)为止，计算机150继续如图4中所例示的用于在整个正常搜索区域UE中搜索工件位置的正常搜索处理(S33)。

在当前的次数m超过过去的信息参考的数量N时(S24中是)，计算机150执行工件位置的分布状态的分析(S25)。计算机150基于m条工件位置的分布状态的分析结果，设置优先搜索区域R1、R2、R3和R4(S26)。

计算机150执行随后将描述的设置优先搜索时的分数阈值的处理，并且设置优先搜索时的分数阈值(S27)。计算机150执行随后将描述的设置优先搜索的角度的处理，并且设置优先搜索的角度(S28)。

计算机150执行随后将描述的设置优先搜索的比例的处理，并且设置优先搜索的比例(S29)。计算机150在优先搜索区域R1、R2、R3和R4的内部，执行使用优先搜索时的分数阈值、优先搜索的角度、优先搜索的比例以及参考图像K作为参数的图案匹配处理。

当在优先搜索区域R1、R2、R3和R4的内部已经成功进行图案匹配处理时(S31中是)，计算机150记录计算机150已经成功进行图案匹配处理处的坐标位置x和y以及倾斜角θ，作为工件位置(S32)。

当在优先搜索区域R1、R2、R3和R4的内部没有成功进行搜索匹配处理时(S31中否)，计算机150移动至正常搜索处理(S33)。当甚至在正常搜索处理中也没有成功进行图案匹配处理时，计算机150认为搜索处理失败，停止机器人装置10，并且输出警报。

(匹配结果记录处理)

如图11中所例示的，匹配结果记录单元118记录图案匹配处理单元已经成功进行图案匹配处理时的坐标位置x和y、匹配分数t、匹配角度a和匹配比例s，至多最近的过去的N次的结果。当记录时，匹配位置记录单元118执行FIFO(先进先出)处理，并且当记录新的数据xm、ym、tm、am和sm时，删除比过去的信息参考的数量N更老的数据xm-N、ym-N、tm-N、am-N和sm-N。

优先搜索条件设置单元119通过使用在匹配结果记录单元118中记录的匹配分数ti(i＝m-N，…，m-1)、匹配角度ai(i＝m-N，…，m-1)以及匹配比例si(i＝m-N，…，m-1)，来设置优先搜索时的分数阈值、优先搜索的角度以及优先搜索的比例。这些设置值在优先搜索时使用。

搜索处理执行单元112执行优先搜索处理。在优先搜索处理中，搜索处理执行单元112通过使用优先搜索时的分数阈值、优先搜索的角度和优先搜索的比例，在输入图像上搜索参考图像的位置和倾斜角。

(优先搜索时的分数阈值)

当分数阈值设置得低时，即使当照明的一些噪声和一些变化发生时，图案匹配处理仍然成功。然而，当分数阈值低时，许多候选点保留在搜索的处理中，因此计算量增大，并且图案匹配处理的时间段延长。

于是，在实施例2中，优先搜索条件设置单元通过使用匹配分数的累积数据调整分数阈值，并且防止分数阈值被设置得低。如图11中所例示的，在作为评估参考设置处理的一个示例的优先搜索条件设置单元的处理中，优先搜索条件设置单元基于在追溯到过去的预先确定数量的输入图像上的图案匹配处理中的匹配分数的平均值和标准偏差，设置优先搜索时的分数阈值。优先搜索条件设置单元119从匹配结果记录单元118获取对应于N条最近的过去的信息参考的匹配分数信息ti(i＝m-N，…，m-1)。然后，优先搜索条件设置单元119计算所有匹配分数的算术平均μt和标准偏差σt，并且设置μt-5σt作为优先搜索时的分数阈值。

(优先搜索的角度)

当搜索角度设置得大时，即使当工件200在所成像的图像上非常倾斜时，图案匹配处理仍然可以成功进行，但是许多候选点保留在搜索的处理中；并且因此计算量增大，并且图案匹配处理的时间段延长。

于是，在实施例2中，优先搜索条件设置单元通过使用匹配角度的累积数据调整搜索角度，并且防止搜索角度被设置得大。如图11中所例示的，在作为角度范围设置处理的一个示例的优先搜索条件设置单元的处理中，优先搜索条件设置单元基于在追溯到过去的预先确定数量的输入图像上的图案匹配处理中的匹配角度的平均值和标准偏差，设置搜索角度。优先搜索条件设置单元119从匹配结果记录单元118获取对应于N条最近的过去的信息参考的匹配角度信息ai(i＝m-N，…，m-1)。然后，优先搜索条件设置单元119计算所有匹配角度的算术平均μa和标准偏差σa，并且设置μa-5σa至μa+5σa的优先搜索的角度范围。

(优先搜索的比例)

当搜索比例设置得大时，即使当工件200在所成像的图像上被成像得稍微扩展或收缩时，仍然可以检测到工件位置。然而，许多候选点保留在搜索的处理中，因此计算量增大，并且图案匹配处理的时间段延长。

于是，在实施例2中，优先搜索条件设置单元通过使用匹配比例的累积数据调整搜索比例，并且防止搜索比例被设置得大。如图11中所例示的，在作为扩展和收缩范围设置处理的一个示例的优先搜索条件设置单元的处理中，优先搜索条件设置单元基于在追溯到过去的预先确定数量的输入图像上的图案匹配处理中的匹配比例的平均值和标准偏差，设置参考图像的扩展和收缩范围。优先搜索条件设置单元119从匹配结果记录单元118获取对应于N条最近的过去的信息参考的匹配比例信息si(i＝m-N，…，m-1)。然后，优先搜索条件设置单元119计算所有匹配比例的算术平均μs和标准偏差σs，并且设置μs-5σs至μs+5σs的优先搜索的比例范围。

(实施例2的效果)

在实施例2中，图像处理装置将优先搜索时的分数阈值设置为考虑到分散的最大值，并且由此可以减少候选点的数量，候选点是在图案匹配处理中针对其计算相似度的对象。

在实施例2中，图像处理装置将优先搜索的角度设置为考虑到分散的最小值，并且由此可以减少候选点的数量，候选点是在图案匹配处理中针对其计算相似度的对象。

在实施例2中，图像处理装置将优先搜索的比例设置为考虑到分散的最小值，并且由此可以减少候选点的数量，候选点是在图案匹配处理中针对其计算相似度的对象。

<其他实施例>

在实施例1和2中，图像处理装置通过使用边缘图像的参考图像已经对所成像的图像的边缘图像执行图案匹配处理。然而，用于在所成像的图像上确定工件位置的方法不局限于这种图案匹配处理。该方法可以是任何方法，只要方法是诸如使用亮度信息的匹配技术和使用边缘信息的匹配技术之类的已知技术即可。此时，参考图像取决于搜索方法而变化，但是可以是作为从参考图像中切割出来的矩形区域的一部分的模板图像，或者还可以是待检测对象的边缘信息已经转换成的图像。

在实施例1和2中，已经描述了机器人装置的实施例。然而，本发明可以由设置有图像处理装置的、除了机器人装置之外的测量装置、检查装置和生产装置来执行。

在实施例1和2中，优先搜索区域R1、R2、R3和R4的圆形区域的半径已经设置成每个区域中的匹配位置的重心位置μ1到匹配位置的距离的标准偏差的5倍大。然而，优先搜索区域R1、R2、R3和R4的圆形区域的半径可以是重心位置μ1到匹配位置的距离的标准偏差σ的任何倍数，诸如3σ和σ。如图4中所例示的，如下是可接受的，将一个优先搜索区域设置成圆形区域，该圆形区域将工件位置的一个分组中的工件位置的重心作为中心，并且具有从工件位置的一个分组中的重心到工件位置的每个的距离的标准偏差的1倍或更多并且6倍或更少的半径。

在实施例1中，针对在优先搜索处理中将被搜索的区域的次序，搜索区域已经从在正常搜索处理中更多匹配位置分布在其中的区域开始按照递减次序来选择。然而，次序可以被确定为图4中的编号的次序(R1、R2、R3和R4)，而不管搜索区域中的匹配位置的数量。另外，次序可以被连续地校正，使得即使在优先搜索处理已经开始之后，优先搜索处理执行单元也继续匹配位置的累积，并且从在追溯到过去的近似20次的优先搜索处理中更多匹配位置分布在其中的区域开始按照递减次序搜索该搜索区域。这是因为图像处理装置认为优先搜索处理在较早期成功，并且可以结束处理。

在实施例1中，计算机150已经在优先搜索处理中匹配分数已经达到阈值的优先搜索区域处结束搜索。然而，计算机150可以确定所有优先搜索区域中的匹配分数，并且可以确定分数最高处的点作为匹配位置。具体地，计算机150在多个搜索区域相加在一起的总和区域中执行图案匹配处理，并且检测在总和区域中匹配分数变得最高处的位置，作为工件位置。这是因为图案匹配处理时间延长，但是准确度增强。

在实施例1中，已经描述了匹配位置被划分成四个分布的情况，但是分布的数量不局限于四，并且可以是任何数量。

在实施例1中，已经使用了分层聚集法，但是在已经知道匹配位置被划分成多少个分布的情况下，通过使用作为非分层聚集法的Kmeans法来聚集是可接受的。

本发明的实施例还可以由系统或装置的计算机实现，该系统或装置的计算机读取并且执行记录在存储介质(其还可以被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以便执行一个或多个上述实施例的功能，和/或包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))，以及可由该系统或装置的计算机，例如通过从存储介质读取并执行计算机可执行指令以执行一个或多个上述实施例的功能，和/或控制一个或多个电路以执行一个或多个上述实施例的功能而执行的方法，实现本发明的实施例。该计算机可以包括一个或多个处理器(例如中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分离的计算机或者分离的处理器的网络，以便读取并且执行该计算机可执行指令。该计算机可执行指令可例如被从网络或者存储介质提供给计算机。存储介质可以包括，例如，硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储设备、光盘(诸如压缩盘(CD)、数字通用盘(DVD)或者蓝光盘(BD)^TM)、闪速存储器设备和存储卡等中的一个或多个。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已参照示例性实施例说明了本发明，但应理解，本发明不限于公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释以包含所有这样的变更方式以及等同的结构和功能。

Claims (12)

1.一种图像处理方法，其特征在于，算数运算单元通过该图像处理方法对由成像单元捕获的对象的输入图像执行图像处理，所述图像处理方法包括：

通过算数运算单元获取通过分析由成像单元捕获的多个图像而获得的对象的分布状态；

通过算数运算单元基于分布状态在由成像单元捕获的图像中设置用于有偏向性地搜索对象的搜索区域；以及

通过算数运算单元在由成像单元捕获的新的输入图像中的与搜索区域相对应的区域内搜索对象，

其中，在所述搜索中，每次执行图案匹配处理时，算数运算单元确定图案匹配的评估值。

2.根据权利要求1所述的图像处理方法，其中在所述搜索中，算数运算单元顺序地选择多个搜索区域，执行图案匹配处理，并且在评估值达到评估参考的搜索区域处结束图案匹配处理。

3.根据权利要求2所述的图像处理方法，其中在所述搜索中，算数运算单元按照在过去执行的图案匹配处理中检测到对象的频率的递减次序来选择搜索区域。

4.根据权利要求1所述的图像处理方法，其中在所述搜索中，算数运算单元在多个搜索区域相加在一起的总和区域中执行图案匹配处理，并且检测总和区域中评估值变得最高处的位置，作为对象的检测位置。

5.根据权利要求1所述的图像处理方法，还包括第二搜索，其中

当所述搜索被设置成第一搜索时，多个搜索区域被设置成第一搜索区域，并且输入图像上除了所述多个搜索区域之外的区域被设置成第二搜索区域，在算数运算单元在第一搜索中不能够检测到对象的情况下，算数运算单元通过在第二搜索区域中执行图案匹配处理来检测对象。

6.根据权利要求1所述的图像处理方法，还包括分布搜索处理，其中算数运算单元通过使用参考图像来对由成像单元捕获的预先确定数量的输入图像执行图案匹配处理，来检测对象，并且基于在所述预先确定数量的输入图像中检测到的对象的位置，确定输入图像上的对象的分布，其中

在所述设置中，算数运算单元与由分布搜索处理确定的对象的分布相对应地设置多个搜索区域。

7.根据权利要求1所述的图像处理方法，还包括评估参考设置处理，其中算数运算单元基于在追溯到过去的预先确定数量的输入图像的图案匹配处理中的评估值的平均值和标准偏差，设置评估值的评估参考，其中，

在所述搜索中，算数运算单元使用在评估参考设置处理中设置的评估参考。

8.根据权利要求1所述的图像处理方法，还包括角度范围设置处理，其中算数运算单元基于在追溯到过去的预先确定数量的输入图像的图案匹配处理中检测到的、输入图像与参考图像之间的倾斜角的所述预先确定数量的数据，设置角度范围，图案匹配处理在该角度范围内在搜索区域的各个位置处执行，其中，

在所述搜索中，算数运算单元使用在角度范围设置处理中设置的角度范围。

9.根据权利要求1所述的图像处理方法，还包括扩展收缩范围设置处理，其中算数运算单元基于在追溯到过去的预先确定数量的输入图像的图案匹配处理中、参考图像的扩展收缩范围的所述预先确定数量的数据，设置当在搜索区域的各个位置处执行图案匹配处理时参考图像的扩展收缩范围，其中，

在所述搜索中，算数运算单元使用在扩展收缩范围设置处理中设置的扩展收缩范围。

10.一种非瞬时性记录介质，其特征在于，在所述非瞬时性记录介质中记录用于使得计算机执行根据权利要求1所述的图像处理方法的程序。

11.一种图像处理装置，其特征在于，所述图像处理装置使通过使用成像单元捕获对象而获得的输入图像经受图像处理，所述图像处理装置包括算数运算单元，该算数运算单元被配置成执行：

获取通过分析由成像单元捕获的多个图像而获得的对象的分布状态；

基于分布状态在由成像单元捕获的图像中设置用于有偏向性地搜索对象的搜索区域；以及

通过使用参考图像执行图案匹配处理来在由成像单元捕获的新的输入图像中的与搜索区域相对应的区域内搜索对象。

12.一种机器人装置，其特征在于，所述机器人装置包括：

根据权利要求11所述的图像处理装置；

具有保持单元的多关节机器人；以及

成像单元，其中每次算数运算单元使保持单元保持对象时，算数运算单元执行成像处理以使成像单元对对象进行成像，并且获取输入图像，以及

其中，在所述设置中，多个搜索区域被设置在成像处理中所获取的输入图像上。

Images