CN106469455A

CN106469455A - 图像处理方法、图像处理设备以及记录介质

Info

Publication number: CN106469455A
Application number: CN201610693270.4A
Authority: CN
Inventors: 小田切润
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-08-21
Filing date: 2016-08-19
Publication date: 2017-03-01
Anticipated expiration: 2036-08-19
Also published as: US20170053416A1; US9911204B2; JP2017041190A; CN106469455B; JP6570370B2

Abstract

本公开涉及图像处理方法、图像处理设备以及记录介质。处理器使用参考图像对搜索目标图像执行模式匹配。处理器使用参考图像来计算具有模型边缘和不同层的模型金字塔，并且使用搜索目标图像来计算搜索目标金字塔，该搜索目标金字塔具有搜索目标边缘和具有与模型金字塔相同的尺寸缩小系数的层。处理器使用模型金字塔对搜索目标金字塔执行模式匹配。模型金字塔的计算包括(i)从参考图像中提取和计算边缘的尺寸，(ii)获得各个边缘的最大尺寸缩小系数，并且(iii)设定(a)具有等于或大于目标层尺寸缩小系数的尺寸缩小系数以及(b)已经经受尺寸缩小的边缘作为目标层的模型边缘。

Description

图像处理方法、图像处理设备以及记录介质

技术领域

本发明涉及用于使用粗到精的搜索(coarse-to-fine search)方法执行基于形状的模式匹配的图像处理方法、图像处理设备以及记录介质。

背景技术

通常，在图像处理的领域中，已经广泛使用模式匹配作为用于检测对象(工件)和测量对象的位置的方法。特别地，已经广泛使用基于形状的模式匹配，因为仅使用图像中的包括形状的特征的部分计算相似度，并且因此，以高速执行形状模式匹配。

在形状模式匹配中，使用通过捕获理想状态中的工件而获得的参考图像和通过捕获目标工件而获得的搜索目标图像的形状的特征计算相似度，并且因此，要求从图像中提取形状的特征。作为用于提取边缘作为形状特征的方法，广泛使用了使用边缘提取滤波器(诸如Sobel滤波器或Canny滤波器)的方法。

具体地，形状模式匹配是用于通过对参考图像和搜索目标图像执行上述的边缘提取方法而生成使用参考图像的模型边缘和使用搜索目标图像的搜索目标边缘并且计算模型边缘和搜索目标边缘之间的相似度的方法。

边缘是其中像素之间的亮度梯度较大的部分，并且实际上是一组边缘点。具体地，根据任意规则布置的一组边缘点被称为“边缘”。通常，广泛使用通过将相邻边缘点彼此连接而形成的边缘。由于通过边缘点来形成边缘，因此可以执行使用边缘的特征的图像处理。例如，可以计算特征值，诸如边缘尺寸。

作为用于实现高速模式匹配的方法，使用粗到精的搜索方法。在粗到精的搜索方法中，使用小信息量的数据检测粗略的位置，并且其后，使用大信息量的数据检测详细的位置。在实践中，首先，重复地执行通过减小高分辨率的图像的尺寸来生成低分辨率的图像的处理，使得生成不同的低分辨率的不同图像。随后，对具有低分辨率的图像执行模式匹配，使得检测工件的粗略的位置。其后，仅对在分辨率高于先前图像的图像中的先前的检测位置附近的范围执行搜索，使得可以逐渐地以更高精度获得检测位置。注意，不仅可以对图像执行尺寸缩小，而且可以对包括待提取边缘的区域(在下文中称为“边缘提取区域”)、包括待搜索工件的区域(在下文中称为“搜索区域”)以及边缘执行尺寸缩小。

通常，在采用粗到精的搜索方法的情况下，也考虑低分辨率的边缘，并且因此，难以选择要用作模型的边缘并且控制参数。如果在不考虑特征的程度的情况下执行尺寸缩小，则存在如下问题，即具有小程度的特征的边缘模糊并且由于环境影响变得不稳定，并且结果，工件的检测失败。此外，如果不考虑边缘的尺寸执行导致边缘模糊的尺寸缩小，则可能不能以高速充分地执行粗到精的搜索方法。

为了解决这个问题，日本专利公开No.2010-97438提出了用于根据边缘点的锐度(sharpness)程度确定图像数据的尺寸缩小系数的方法。在这个方法中，为图像设定基于边缘点的锐度程度的尺寸缩小系数，使得稳定地执行检测。

然而，在日本专利公开No.2010-97438中，为图像设定一定的尺寸缩小系数，并且因此，如果边缘点之一具有低锐度程度，则设定适合于边缘点的尺寸缩小系数。相应地，可能不会设定大尺寸缩小系数。如果可能不会设定大尺寸缩小系数，则可能不能以高速充分地执行采用粗到精的搜索方法的处理。另一方面，即使在由于锐度程度高而可以设定大尺寸缩小系数的情况下，如果边缘小，则很可能图像包括不稳定的边缘，诸如上述的边缘的模糊，并且相应地，检测是不稳定的。

发明内容

相应地，本发明实现以高速执行的、具有高稳健性(robustness)、且具有高精度的模式匹配。

根据本发明一个方面，一种图像处理方法使得处理器使用参考图像对搜索目标图像执行模式匹配，所述图像处理方法包括：使得处理器使用参考图像计算模型金字塔，所述模型金字塔具有有着不同的尺寸缩小系数的不同的层并且在模型金字塔的各个层中包括模型边缘；使得处理器使用搜索目标图像计算搜索目标金字塔，所述搜索目标金字塔具有有着与模型金字塔的层相同的尺寸缩小系数的层并且在搜索目标金字塔的各个层中包括搜索目标边缘；以及使得处理器使用模型金字塔对搜索目标金字塔执行模式匹配，其中模型金字塔的计算包括：使得处理器从参考图像中提取多个边缘，使得处理器计算提取的各个边缘的尺寸，使得处理器根据所计算的提取的各个边缘的尺寸来获得各个边缘的最大尺寸缩小系数，以及使得处理器在要生成作为模型金字塔的多个层中的目标层的目标层时设定如下的边缘作为目标层的模型边缘，即所述边缘具有等于或大于目标层的尺寸缩小系数的尺寸缩小系数以及已经经受利用目标层的尺寸缩小系数的尺寸缩小。

从以下参考附图的示例性实施例的描述中本发明更多的特征将变得清晰。

根据本发明，基于根据边缘尺寸计算的最大尺寸缩小系数生成模型金字塔(pyramid)，并且相应地，可以防止在模型金字塔的每一层中生成不稳定的模型边缘。相应地，由于使用不包括不稳定的边缘的模型金字塔执行模式匹配，因此可以以高速、高稳健性以及高精度实现模式匹配。

附图说明

图1是示出根据第一实施例的包括图像处理设备的图像处理系统的图。

图2是示出根据第一实施例的图像处理设备的框图。

图3是示出根据第一实施例的图像处理方法的流程图。

图4是示出根据第一实施例的图像处理方法的流程图。

图5是示出根据第一实施例的提取边缘点的操作的图。

图6是示意性地示出根据第一实施例的其中设定了所获得的最大尺寸缩小系数的边缘的图。

图7A是示出边缘消失的情况的图，并且图7B是示出边缘模糊的情况的图。

图8是示出在边缘缩小时边缘点的合成的图。

图9是示意性地示出模型金字塔的图。

图10是示出粗到精的搜索方法的概念图。

图11是示意性地示出模式匹配的图。

图12是示出根据第二实施例的图像处理方法的流程图。

具体实施方式

在下文中将参考附图详细描述本发明的实施例。在一个示例中，使用参考图像获得模型金字塔，该模型金字塔具有有着不同尺寸缩小系数的不同的层并且在各个层中包括模型边缘。具体地，从参考图像中提取多个边缘。获得各个边缘的尺寸。随后，对于各个边缘获得与边缘的尺寸对应的最大尺寸缩小系数。在要生成作为模型金字塔的多个层的目标层的目标层时，具有等于或大于目标层的尺寸缩小系数的尺寸缩小系数以及已经经受利用目标层的尺寸缩小系数的尺寸缩小的边缘作为目标层的模型边缘。

第一实施例

图1是示出根据本发明第一实施例的包括图像处理设备的图像处理系统的图。图像处理系统100包括光源102、用作成像设备的照相机105以及图像处理设备200。光源102和照相机105连接到图像处理设备200。在工件保持台107上保持作为检测目标对象(对象)的工件W。

光源102是向工件W发射(照射)光的照明设备。可以采用任何光源(诸如LED或卤素灯)作为光源102，只要光源102向工件W发射图像处理所需的光量的光即可。

照相机105是数字式静态照相机，其通过接收来自工件W的光生成关于所捕获的图像的数据。照相机105包括成像透镜105A和成像装置(固态成像装置)105B。

成像装置105B是区域传感器，诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。成像透镜105A是控制系数并且执行控制使得由成像装置105B捕获整个工件W的物镜单元。

图像处理设备200对通过由照相机105捕获工件W而获得的所捕获图像执行图像处理，从而获得工件W的位置(包括取向)。

图2是示出根据本发明第一实施例的图像处理设备200的框图。图像处理设备200包括用作处理器(计算单元)的中央处理单元(CPU)201。图像处理设备200还包括只读存储器(ROM)202、随机访问存储器(RAM)203以及硬盘驱动(HDD)204作为存储单元。图像处理设备200还包括记录盘驱动205和各个接口211到213。

ROM 202、RAM 203、HDD 204、记录盘驱动205以及各个接口211到213通过总线210连接到CPU 201。ROM 202存储基本程序，诸如基本输入/输出系统(BIOS)。RAM 203是临时存储各种数据(诸如算术运算处理的结果)的存储装置。

HDD 204是如下的存储装置，其存储由CPU 201执行的算术运算处理的结果、外部获得的各种数据等等，并且还记录使得CPU 201执行下面描述的各种算术运算处理的程序240。CPU 201根据HDD 204中记录(存储)的程序240执行图像处理方法的各个步骤。具体地，CPU 201使用参考图像对搜索目标图像执行模式匹配。通过对工件W成像获得参考图像和搜索目标图像。参考图像用作所谓的模板(模板图像)，并且通过对在生产线等中传送的待检查工件W成像获得搜索目标图像。

记录盘驱动205可以读取记录在记录盘241中的各个数据、程序等等。

与接口211连接的光源102在CPU 201的控制之下导通或断开。

照相机105连接到接口212。CPU 201将触发信号输出到照相机105并且使得照相机105在照相机105收到触发信号时捕获图像。照相机105将作为成像结果的关于所捕获图像的数据输出到CPU 201。CPU 201从照相机105获得关于所捕获图像的数据并且对所捕获图像执行图像处理使得检测(测量)工件W的位置。

外部存储装置120(诸如可重写的非易失性存储器或外部HDD)可连接到接口213。

虽然在第一实施例中描述了其中HDD 204是计算机可读记录介质并且程序240存储在HDD 204中的情况，但是本发明不限于此。HDD 204可以被记录在任何计算机可读记录介质中。作为提供程序240的记录介质，可以使用例如图2中示出的外部存储装置120、记录盘241、或ROM 202。记录介质的示例包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储器以及ROM。

图3和图4是示出根据第一实施例的图像处理方法的流程图。在第一实施例中，CPU201根据程序240执行在图3和4中示出的图像处理方法的步骤(处理)。

CPU 201基于参考图像获得模型金字塔(S1到S7：模型金字塔计算步骤或模型金字塔计算处理)。模型金字塔具有通过缩小从参考图像中提取的边缘的尺寸并且基于尺寸缩小系数(基于分辨率)形成边缘层而获得的金字塔形结构。因此，模型金字塔具有不同尺寸缩小系数(分辨率)的多个层。模型金字塔的每个层包括边缘(模型边缘)。具体地，从参考图像中提取的边缘被包括在与尺寸缩小系数为1对应的第一层中，并且通过缩小从参考图像中提取的边缘的尺寸获得的尺寸缩小的边缘被包括在与除了1以外的尺寸缩小系数对应的层(例如，与尺寸缩小系数为1/2对应的层和与尺寸缩小系数为1/4对应的层)中。这里，尺寸缩小系数意指尺寸缩小的程度，尺寸缩小系数变得越大，尺寸缩小目标变得越小。例如，尺寸缩小系数为1/2意指尺寸缩小目标的尺寸被缩小到1/2。那么尺寸缩小系数1/4大于尺寸缩小系数1/2(在数字方面基于分母执行比较)。

在下文中，将详细描述计算(生成)模型金字塔的模型金字塔计算步骤(模型金字塔计算处理)。

CPU 201使得照相机105捕获在理想状态中的照明条件之下并且安置在理想状态中的位置中的工件W的图像，从而获得参考图像(步骤S1)。虽然在第一实施例中示出了通过照相机105获得参考图像的情况，但是可以通过例如网络或外部存储装置120获得参考图像。

随后，CPU 201提取参考图像中的边缘点(步骤S2)。具体地，CPU 201设定参考图像中的边缘提取区域并且对于边缘提取区域中的每个像素计算亮度梯度强度(边缘幅度)以及亮度梯度方向(边缘方向)。预先将关于边缘提取区域的数据存储(设定)在存储单元(诸如HDD 204)中。在x和y方向上使用Sobel滤波器(边缘提取滤波器)计算边缘幅度。

图5是示出根据第一实施例的提取边缘点的操作的图。首先，如图5中所示出的，CPU 201计算参考图像I_R中包括的特定目标像素1R的x方向上的边缘幅度(梯度强度)2R和y方向上的边缘幅度(梯度强度)3R。

通过分别在x方向和y方向上的边缘幅度2R的平方和边缘幅度3R的平方之和的平方根来计算目标像素1R的边缘幅度4R(表达式1)。此外，根据下面的表达式2使用x方向上的边缘幅度2R和y方向上的边缘幅度3R计算边缘方向。

E:边缘幅度

E_x:x方向上的边缘幅度

E_y:y方向上的边缘幅度

θ:边缘方向

在计算了参考图像I_R中包括的所有像素的边缘幅度和边缘方向之后，CPU 201提取边缘幅度等于或大于特定阈值的像素。此外，CPU 201通过对边缘幅度等于或大于阈值的所提取像素执行边缘方向上的非最大抑制来执行细化(thinning)处理，从而指定边缘幅度局部变为最大的位置。这里，除了关于坐标(边缘位置坐标)的信息之外，边缘点还具有边缘位置坐标中的关于边缘幅度的信息和关于边缘方向的信息。由于边缘点具有关于边缘幅度的信息和关于边缘方向的信息，因此边缘点可以用作向量。在下面描述的边缘的尺寸缩小中，使用边缘作为向量执行尺寸缩小处理。虽然在第一实施例中使用Sobel滤波器计算边缘幅度和边缘方向，但是可以使用边缘提取滤波器，诸如Canny滤波器。

接下来，CPU 201通过根据边缘点之间的关系收集多个边缘点来生成边缘(S3)。例如，CPU 201收集在其之间具有小距离的边缘点(距离等于或小于预定距离)。注意，CPU 201可以根据工件W的特征收集边缘点以便获得新的边缘。例如，在工件W具有圆形形状的情况下，可以收集构成圆形形状的边缘点使得获得新的边缘。通过收集边缘点作为边缘，可以执行利用边缘的特征的图像处理。

以这种方式，CPU 201在步骤S2和步骤S3(边缘提取步骤或边缘提取处理)中从参考图像中提取多个边缘。由于在第一实施例中在参考图像中设定边缘提取区域，因此CPU201在步骤S2中从设定的边缘提取区域中提取边缘点并且使用所提取的边缘点计算边缘。具体地，从边缘提取区域中提取多个边缘。

其后，CPU 201计算各个边缘的尺寸(S4：尺寸计算步骤或尺寸计算处理)。在第一实施例中，计算边缘的外接矩形并且获得外接矩形的短边的长度作为边缘的尺寸。注意，作为边缘的尺寸，可以计算边缘的外接矩形中的边缘点的密度。可替代地，作为边缘的尺寸，可以计算边缘的面积或长度。以这种方式，多个特征值表征边缘的尺寸，并且可以单独使用每个特征值或可以彼此结合多个特征值。

随后，CPU 201对于每个边缘获得与边缘尺寸对应的最大尺寸缩小系数(S5：最大尺寸缩小系数计算步骤或最大尺寸缩小系数计算处理)。最大尺寸缩小系数是指出对边缘执行的最大尺寸缩小的程度的数值。

图6是示意性地示出根据第一实施例的其中设定所获得的最大尺寸缩小系数的边缘的图。如图6中所示出的，对于不同的边缘尺寸设定不同的最大尺寸缩小系数。具体地，边缘尺寸越大，设定的最大尺寸缩小系数越大。假设从参考图像I_R中提取三个边缘E1到E3。根据边缘E1到E3的尺寸获得最大尺寸缩小系数。在图6的示例中，边缘E1的最大尺寸缩小系数是1/4，边缘E2的最大尺寸缩小系数是1/2，并且边缘E3的最大尺寸缩小系数是1/1。

这里，随着边缘的尺寸越小，边缘越可能模糊且受到环境噪声的影响，因此，设定的最大尺寸缩小系数越小。另一方面，随着边缘的尺寸越大，可以设定的最大尺寸缩小系数越大，结果得到高速处理。最大尺寸缩小系数的计算式由例如表达式3表示。因此，CPU 201根据表达式3获得最大尺寸缩小系数。在表达式3中，“maxMinimize”表示最大尺寸缩小系数并且“L”表示边缘的尺寸。

max Minimize＝floor(L/2)，

floor(x)＝{n∈Z|n≤x}}表达式3

这里，将描述当缩小边缘的尺寸时发生的边缘的“消失”和“模糊”。图7A是示出边缘消失的情况的图。图7B是示出边缘模糊的情况的图。在金字塔中的第i个台阶的边缘的尺寸被缩小以获得第(i+1)个台阶(1/2倍)的边缘的情况下，基于2×2像素的单位分割边缘的区域。在如图7A中所示出的将2×2像素的边缘缩小到1个像素的情况下，当四个边缘向量(边缘幅度和边缘方向)彼此合成时边缘点可能消失。此外，如图7B中所示出的，在使用不同于图7A的特定位置作为参考来缩小2×2像素的边缘的情况下，边缘方向从原始的特征改变，并且因此可能产生模糊。

根据第一实施例，当缩小边缘的尺寸以便从参考图像生成模型金字塔时避免边缘模糊。因此，CPU 201基于对于各个边缘计算的最大尺寸缩小系数来缩小边缘的尺寸(S6)。在对所有边缘执行尺寸缩小处理之后，CPU 201根据尺寸缩小系数收集边缘从而基于尺寸缩小系数生成模型金字塔(S7)。具体地，通过对于各个边缘在不超过最大尺寸缩小系数的范围内重复地执行尺寸缩小来实现这个处理。这里，CPU 201从模型金字塔的多个层中的尺寸缩小系数最小的层(即，尺寸缩小系数为1/1的层)开始持续地增大尺寸缩小系数。在该情况下，多个层之中的要生成的层被确定作为目标层。当在步骤S6和步骤S7中生成目标层时，CPU 201设定如下的边缘作为目标层的模型边缘(设定步骤或设定处理)：该边缘与尺寸缩小系数等于或大于目标层的尺寸缩小系数的边缘对应以及具有变为目标层的尺寸缩小系数的尺寸缩小系数。

在第一实施例中，CPU 201在步骤S6和步骤S7中从多个边缘之中提取最大尺寸缩小系数等于或大于目标层的尺寸缩小系数的边缘，执行计算使得所提取边缘具有目标层的尺寸缩小系数，并且设定所提取边缘作为目标层中的模型边缘。此外，在目标层的尺寸缩小系数为1/1(即，1)的情况下，CPU 201在步骤S6和步骤S7中设定该多个边缘作为目标层的模型边缘。

在下文中，为描述简单起见，通过一次尺寸缩小将边缘的尺寸缩小到1/2。例如，在图6的边缘E1的情况下，由于边缘E1具有1/4的最大尺寸缩小系数，因此执行两次尺寸缩小。在该情况下，已经经受一次尺寸缩小的边缘被称为“边缘E1'”，并且已经经受两次尺寸缩小的边缘被称为“边缘E1"”。类似地，对边缘E2执行一次尺寸缩小。在该情况下，已经经受一次尺寸缩小的边缘被称为“边缘E2'”。边缘E3不经受尺寸缩小。

图8是示出在边缘尺寸缩小时边缘点的合成的图。现在将参考图8详细描述边缘的尺寸缩小。生成以2×2像素为单位的感兴趣区。接下来，感兴趣区中包括的所有边缘点经受向量合成。根据下面表达式4到7计算向量合成之后的边缘幅度E_R和边缘方向θ_R。

这里，“e_i”和“θ_i”(i＝0到3)分别表示感兴趣区中包括的边缘点EP_i的边缘幅度和边缘方向。最后，感兴趣区被偏移使得感兴趣区不包括已经经受尺寸缩小处理的像素。通过重复地执行上述处理，执行边缘的尺寸缩小。

图9是示意性地示出模型金字塔的图。如图9中所示出的，模型金字塔中的尺寸缩小系数为1/1(无尺寸缩小)的层包括边缘E1到E3。模型金字塔中的尺寸缩小系数为1/2的层仅包括边缘E1'和E2'，因为最大尺寸缩小系数为1的边缘E3的尺寸不缩小。模型金字塔中的尺寸缩小系数为1/4的层仅包括边缘E1″，因为最大尺寸缩小系数为1的边缘E3的尺寸和最大尺寸缩小系数为1/2的边缘E2的尺寸不缩小。

具体地，在尺寸缩小系数为1/1的层被设定作为目标层的情况下，多个边缘E1到E3被设定作为目标层中的模型边缘。此外，在要执行1/2尺寸缩小(即，尺寸缩小系数为1/2的层被确定作为目标层)的情况下，从多个边缘E1到E3之中提取最大尺寸缩小系数等于或大于目标层的尺寸缩小系数的边缘E1和E2。CPU 201对提取的边缘E1和E2执行利用与目标层对应的尺寸缩小系数1/2的尺寸缩小的计算，从而获得边缘E1'和E2'以便被设定作为目标层中的模型边缘。此外，在要执行1/4尺寸缩小(即，尺寸缩小系数为1/4的层被确定作为目标层)的情况下，从多个边缘E1到E3之中提取最大尺寸缩小系数等于或大于目标层的尺寸缩小系数的边缘E1。CPU 201对提取的边缘E1执行利用与目标层对应的尺寸缩小系数1/4的尺寸缩小的计算，从而获得边缘E1″以便被设定作为目标层中的模型边缘。具体地，边缘E1'经受1/2尺寸缩小使得获得边缘E1"。

如上所述获得的模型金字塔被存储在存储单元(诸如HDD 204)中。此外，最大尺寸缩小系数中的最大一个最大尺寸缩小系数被存储在存储单元(诸如HDD 204)中作为在下面描述的模式匹配中搜索目标图像经受尺寸缩小时要使用的模型最大尺寸缩小系数。具体地，在图6的情况下，边缘E1的最大尺寸缩小系数1/4被存储在HDD 204中作为模型最大尺寸缩小系数。

在上文描述了模型金字塔计算方法(计算步骤或计算处理)。在实际执行模式匹配时，从作为存储单元的HDD 204读取模型金字塔。

在下文中将描述图4的流程图。首先，CPU 201读取和输入存储在HDD 204中的模型金字塔(S11)。

随后，CPU 201使得照相机105捕获在模型生成的照明条件之下并且安置在模型生成中的位置中的工件W的图像，从而从照相机105获得搜索目标图像(步骤S12)。

然后，CPU 201基于该搜索目标图像获得搜索目标金字塔(S13：搜索目标金字塔计算步骤或搜索目标金字塔计算处理)。搜索目标金字塔具有通过缩小从搜索目标图像中提取的边缘的尺寸并且根据尺寸缩小系数(根据分辨率)形成边缘层级而获得的金字塔形结构。具体地，搜索目标金字塔的结构与模型金字塔的结构相同。搜索目标金字塔也具有不同的尺寸缩小系数(分辨率)的不同的层，并且层包括边缘(搜索目标边缘)。搜索目标金字塔的层(台阶)的数量与模型金字塔的层(台阶)的数量相同。此外，搜索目标金字塔的层的尺寸缩小系数与模型金字塔的层的尺寸缩小系数相同。具体地，搜索目标金字塔具有尺寸缩小系数与模型金字塔相同的层。如果模型金字塔具有尺寸缩小系数为1、1/2和1/4的层，则生成具有尺寸缩小系数为1、1/2和1/4的层的搜索目标金字塔。

现在将详细描述步骤S13中的处理。CPU 201使用Sobel滤波器(边缘提取滤波器)在步骤S12中获得的搜索目标图像中提取边缘点。当在步骤S1到步骤S7中生成模型金字塔时，通过对边缘点执行非最大抑制来执行细化处理。然而，主要对模型的边缘点执行下面描述的模式匹配的分数计算，并且因此，不需要对搜索目标图像执行细化处理。然后CPU 201对所提取边缘重复地执行尺寸缩小从而生成搜索目标金字塔。向量合成被用作尺寸缩小方法。这里，执行尺寸缩小到预先存储的模型金字塔的最大尺寸缩小系数，并且不执行不必要的尺寸缩小。

CPU 201对搜索目标金字塔执行使用模型金字塔的粗到精的搜索方法的模式匹配(S14：匹配步骤或匹配处理)。

图10是示出粗到精的搜索方法的概念图。首先，在两个金字塔中在最低分辨率的层(即，其中其尺寸被缩小最多(尺寸缩小系数最大))中的边缘中搜索用作检测目标对象的工件。这通常被称为“粗略的搜索”。在粗略的搜索中，其中工件可能移动到的图像中的整个范围经受搜索。然而，当与尺寸缩小之前的数据相比时，减少了大量数据，并且因此，可以以高速检测工件的位置。关于所检测到的位置的信息要在下面描述的精细的搜索中使用。注意，可能检测到多个位置。

在粗略的搜索之后执行精细的搜索。粗略的搜索和精细的搜索彼此不同之处在于，精细的搜索使用先前检测的结果。在精细的搜索中，仅在粗略地指定的先前检测位置附近的部分经受搜索，使得实现高速处理。通过重复地执行精细的搜索，与先前检测结果相比时可以以更高精度指定搜索目标对象的位置。当重复地执行精细的搜索时，检测到高度可靠的位置，并且因此，下次精细的搜索中使用的候选者的数量逐渐地减少并且在最后的搜索中确定剩余的候选位置中最可靠的那个位置作为检测位置。这里，选择具有最高分数(即，最类似于模型)的位置作为高度可靠的检测位置。

图11是示意性地示出模式匹配的图。将参考图11描述模式匹配中的分数计算。当模型在图像中以像素为单位执行平行移动时，各个位置中的分数在各自的位置中被计算。任意位置(i,j)中的分数S_ij根据表达式8来计算。

S_ij:(i,j)处的分数

N:模型的边缘的数量

s_k:局部分数

这里，对于模型的每个边缘点计算局部分数s_k，并且局部分数s_k由搜索目标图像中的特定边缘点的边缘方向与模型中的特定边缘点的边缘方向之间的差的余弦值表示(表达式9)。

s_k＝cos(θT_k-θ_Mk)，k＝1，…，N表达式9

θ_Tk:搜索目标图像的边缘方向

θ_Mk:模型的边缘方向

k:模型的边缘点的索引

局部分数的可能值的范围为从-1到1的范围。此外，局部分数的和除以边缘点的数量以便规格化，并且因此，分数可能值的范围为从-1到1的范围。当通过上述计算计算任意位置的分数时，执行阈值确定以便确定是否成功地执行检测。如果分数等于或大于预定的阈值，则该任意点被确定作为匹配候选点并且在检测位置之后计算下一位置的分数并且存储分数，而如果分数小于阈值，则对下一位置执行分数计算。在计算各个位置中的所有分数之后，如果检测到匹配候选点则确定已经成功地执行使用形状模式匹配的检测。其后，输出匹配候选者之中具有最大分数的匹配候选点的关于分数的信息和关于检测位置(i，j)的信息。

根据第一实施例，基于使用边缘尺寸对于各自边缘计算的最大尺寸缩小系数生成模型金字塔，并且相应地，可以防止在模型金字塔的每一层中生成具有模糊等的不稳定的模型边缘。相应地，由于使用不包括不稳定的边缘的模型金字塔执行模式匹配，因此可以以高速、高稳健性以及高精度实现模式匹配。

第二实施例

接下来，将描述根据本发明第二实施例的图像处理方法。图12是示出根据本发明第二实施例的图像处理方法的流程图。根据第二实施例的图像处理设备的配置与第一实施例相同，但是第二实施例与第一实施例的不同在于CPU 201的处理，即，程序240，并且更具体地，用于生成模型金字塔的方法。在第二实施例中，如同第一实施例一样，CPU 201根据程序240执行在图12中示出的图像处理方法(模型金字塔生成方法)的步骤(处理)。

CPU 201基于参考图像获得模型金字塔(S21到S27：模型金字塔计算步骤或模型金字塔计算处理)。这里，图12中示出的从步骤S21到步骤S25的处理与图3中示出的从步骤S1到步骤S5的处理相同。具体地，CPU 201从参考图像中提取边缘点(S21和S22)，收集边缘点从而生成边缘(S23)，计算各个边缘的尺寸(S24)，并且根据边缘的尺寸计算最大尺寸缩小系数(S25)。

当生成模型金字塔的多个层之中的目标层时，CPU 201设定具有等于或大于模型金字塔的多个层之中的目标层的尺寸缩小系数的尺寸缩小系数以及经受利用目标层的尺寸缩小率的尺寸缩小的边缘作为目标层的模型边缘(S26和S27)。具体地，在步骤S26和步骤S27中执行设定步骤(设定处理)。

在第二实施例中，CPU 201在步骤S26中使用多个边缘的最大尺寸缩小系数之中的最大一个最大尺寸缩小系数作为上限对参考图像执行尺寸缩小，并且获得与目标层对应的尺寸缩小系数的经尺寸缩小的图像。例如，在多个边缘E1到E3的最大尺寸缩小系数之中，最大一个最大尺寸缩小系数为1/4。最大尺寸缩小系数1/4被设定作为上限，并且参考图像经受尺寸缩小使得获得经尺寸缩小的图像。例如，获得利用1/2的尺寸缩小系数缩小的经尺寸缩小的图像以及利用1/4的尺寸缩小系数缩小的经尺寸缩小的图像。

在每个经尺寸缩小的图像中，CPU 201在经尺寸缩小的图像中的除了包括最大尺寸缩小系数小于经尺寸缩小的图像的尺寸缩小系数的边缘的区域以外的区域中设定尺寸缩小边缘提取区域，该尺寸缩小边缘提取区域的尺寸缩小系数与经尺寸缩小的图像的尺寸缩小系数相同。在步骤S27中，CPU 201设定从尺寸缩小边缘提取区域中提取的边缘作为目标层的模型边缘。例如，在尺寸缩小系数为1/2的层中，从尺寸缩小边缘提取区域中提取的边缘E1'和E2'被设定作为模型边缘，并且在尺寸缩小系数为1/4的层中，从尺寸缩小边缘提取区域中提取的边缘E1"被设定作为模型边缘。

将详细描述步骤S26中的处理。CPU 201根据对于每个边缘计算的最大尺寸缩小系数来缩小边缘提取区域和参考图像的尺寸。具体地，通过在不超过最大尺寸缩小系数的范围内对参考图像和边缘提取区域重复地执行尺寸缩小来实现这个处理。

这里，在边缘提取区域经受尺寸缩小之前预先从边缘提取区域中排除包括尺寸缩小系数超出最大尺寸缩小系数的边缘的区域，使得不提取不稳定的边缘。

在下文中，为描述简单起见对于一次尺寸缩小将边缘的尺寸缩小1/2。首先，将详细描述边缘提取区域的尺寸缩小。区域等于二进制图像。相应地，在首先示出通常的图像尺寸缩小方法之后描述二进制图像的情况。

将在下文中描述通常的图像尺寸缩小方法。首先，在要执行尺寸缩小系数为1/2的尺寸缩小的情况下，生成以2×2像素为单位的感兴趣区。接下来，感兴趣区中包括的所有像素的亮度值的平均值被计算，并且被确定作为尺寸缩小之后的亮度值。最后，感兴趣区被偏移使得感兴趣区不包括已经经受尺寸缩小处理的像素。重复地执行处理，并且当停止整个感兴趣区的偏移时，生成作为参考图像的经尺寸缩小的图像的图像。

这里，在二进制图像的情况下，为了获得尺寸缩小之后的二进制图像，要求获得二进制的平均值。在第二实施例中，如果平均值等于或大于阈值，则二进制值为1，而如果平均值小于阈值，则二进制值为0，并且阈值为0。由此，尺寸缩小之后的边缘提取区域可靠地包括与尺寸缩小之前的边缘提取区域对应的区域。

接下来，将在下文中描述用于预先从边缘提取区域中排除包括尺寸缩小系数大于最大尺寸缩小系数的边缘的区域的方法。

首先，如同边缘尺寸缩小方法一样，基于对于每个边缘计算的最大尺寸缩小系数缩小边缘的尺寸。具体地，通过对于各个边缘在不超过最大尺寸缩小系数的范围内重复地执行尺寸缩小来实现这个处理。

在图6的边缘E1的情况下，由于边缘E4具有1/4的最大尺寸缩小系数，因此执行两次尺寸缩小。在该情况下，已经经受一次尺寸缩小的边缘被称为“边缘E1'”，并且已经经受两次尺寸缩小的边缘被称为“边缘E1"”。类似地，对边缘E2执行一次尺寸缩小。在该情况下，已经经受一次尺寸缩小的边缘被称为“边缘E2'”。边缘E3不会进一步经受尺寸缩小。

在对所有边缘执行尺寸缩小处理之后，CPU 201根据尺寸缩小系数收集边缘从而生成区域。当要生成边缘区域时，在实践中可以根据Sobel滤波器的宽度执行扩展(expansion)处理。然后，包括具有相同的尺寸缩小系数的边缘的区域和边缘提取区域之间的重叠区被重新确定为该尺寸缩小系数的尺寸缩小边缘提取区域。由此，任意尺寸缩小系数的尺寸缩小边缘提取区域不包括不稳定的边缘。

注意，虽然在第二实施例中在缩小边缘提取区域的尺寸之后通过排除要求从尺寸缩小区域中排除的区域来获得尺寸缩小边缘提取区域，但是可以通过在从边缘提取区域中排除要求的区域之后对剩余区域执行尺寸缩小来获得尺寸缩小边缘提取区域。

接下来，CPU 201在步骤S27中使用参考图像、经尺寸缩小的图像、边缘提取区域以及尺寸缩小边缘提取区域来生成模型金字塔。从边缘提取区域中提取的边缘和相同的尺寸缩小系数的图像被确定作为尺寸缩小系数的模型。

可以使用第一实施例中的图4的流程图中示出的模式匹配方法，并且因此省略其描述。

根据第二实施例，如同第一实施例一样，基于使用边缘尺寸对于各自边缘计算的最大尺寸缩小系数生成模型金字塔，并且相应地，可以防止在模型金字塔的每一层中生成具有模糊等的不稳定的模型边缘。相应地，由于使用不包括不稳定的边缘的模型金字塔执行模式匹配，因此可以以高速、高稳健性以及高精度实现模式匹配。

注意，本发明不限于上述实施例，并且可以在本发明的范围内做出各种变型。此外，在本发明的实施例中描述了本发明的优选的效果，并且本发明的效果不限于本发明的实施例中描述的那些。

本发明可以通过经由网络或存储介质将实现上述实施例的功能中的至少一个的程序供应给系统或设备并且通过该系统或设备中包括的计算机的至少一个处理器读取和执行该程序的处理来实现。此外，本发明可以通过实现功能中的至少一个的电路(例如，专用集成电路(ASIC))实现。

此外，虽然在上述实施例中描述了通过从搜索目标图像中提取边缘并且缩小边缘尺寸来获得搜索目标金字塔的情况，但是可以通过从搜索目标图像和通过对搜索目标图像执行尺寸缩小而获得的经尺寸缩小的图像中提取边缘来获得搜索目标金字塔。在该情况下，虽然可以对整个图像执行边缘提取，但是在小尺寸缩小系数的下层中，可以使用在较大尺寸缩小系数的上层中执行的模式匹配的结果使仅图像中的模式匹配所需的最小区域经受边缘提取。在该情况下，重复地执行搜索目标金字塔计算处理和匹配处理直到搜索目标金字塔的最下层与搜索目标图像的尺寸缩小系数(即，1/1的尺寸缩小系数)对应。

虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。以下权利要求的范围将被给予最宽的解释从而包括所有这样的修改、等同的结构与功能。

Claims

1.一种图像处理方法，使得处理器使用参考图像对搜索目标图像执行模式匹配，所述图像处理方法包括：

使得处理器使用参考图像计算模型金字塔，所述模型金字塔具有有着不同的尺寸缩小系数的不同的层并且在模型金字塔的各个层中包括模型边缘；

使得处理器使用搜索目标图像计算搜索目标金字塔，所述搜索目标金字塔具有尺寸缩小系数与模型金字塔的层中的尺寸缩小系数相同的层并且在搜索目标金字塔的各个层中包括搜索目标边缘；以及

使得处理器使用模型金字塔对搜索目标金字塔执行模式匹配，

其中模型金字塔的计算包括

使得处理器从参考图像中提取多个边缘，

使得处理器计算提取的各个边缘的尺寸，

使得处理器根据所计算的提取的各个边缘的尺寸来获得各个边缘的最大尺寸缩小系数，以及

使得处理器在要生成作为模型金字塔的多个层中的目标层的目标层时设定如下的边缘作为目标层的模型边缘，即所述边缘具有等于或大于目标层的尺寸缩小系数的尺寸缩小系数以及已经经受利用目标层的尺寸缩小系数的尺寸缩小。

2.根据权利要求1所述的图像处理方法，其中提取所述多个边缘包括使得处理器在参考图像中设定边缘提取区域并且从边缘提取区域中提取多个边缘。

3.根据权利要求1所述的图像处理方法，其中设定目标层的模型边缘包括：(i)使得处理器从所述多个边缘之中提取尺寸缩小系数等于或大于目标层的尺寸缩小系数的边缘，(ii)使得处理器利用目标层的尺寸缩小系数对提取的边缘执行尺寸缩小，以及(iii)使得处理器设定提取的边缘作为目标层中的模型边缘。

4.根据权利要求1所述的图像处理方法，

其中设定目标层的模型边缘包括

(i)使得处理器在所述多个边缘的最大尺寸缩小系数中的最大的一个最大尺寸缩小系数被设定作为上限的情况下对参考图像执行尺寸缩小，从而获得具有目标层的尺寸缩小系数的经尺寸缩小的图像，

(ii)使得处理器在经尺寸缩小的图像中在除了包括最大尺寸缩小系数小于经尺寸缩小的图像的尺寸缩小系数的边缘的区域以外的区域中设定尺寸缩小边缘提取区域，该尺寸缩小边缘提取区域的尺寸缩小系数与经尺寸缩小的图像的尺寸缩小系数相同，以及

(iii)使得处理器设定从尺寸缩小边缘提取区域中提取的边缘作为目标层中的模型边缘。

5.根据权利要求1所述的图像处理方法，其中，在目标层与尺寸缩小系数为1的层对应的情况下，设定模型边缘包括使得处理器设定所述多个边缘作为目标层的模型边缘。

6.根据权利要求1所述的图像处理方法，其中计算搜索目标金字塔包括使得处理器通过对从搜索目标图像中提取的边缘执行尺寸缩小来获得搜索目标边缘。

7.一种图像处理设备，包括：

处理器，使用参考图像对搜索目标图像执行模式匹配，其中处理器被配置为执行

使用参考图像计算模型金字塔的处理，该模型金字塔具有有着不同的尺寸缩小系数的不同的层并且在模型金字塔的各个层中包括模型边缘；

使用搜索目标图像计算搜索目标金字塔的处理，该搜索目标金字塔具有尺寸缩小系数与模型金字塔的层中的尺寸缩小系数相同的层并且在搜索目标金字塔的各个层中包括搜索目标边缘；以及

使用模型金字塔对搜索目标金字塔执行模式匹配的处理，

其中计算模型金字塔的处理包括

从参考图像中提取多个边缘的处理，

计算提取的各个边缘的尺寸的处理，

根据所计算的提取的各个边缘的尺寸来获得各个边缘的最大尺寸缩小系数的处理，以及

在要生成作为模型金字塔的多个层中的目标层的目标层时设定如下的边缘作为目标层的模型边缘的处理，即所述边缘具有等于或大于目标层的尺寸缩小系数的尺寸缩小系数以及已经经受利用目标层的尺寸缩小系数的尺寸缩小。

8.根据权利要求7所述的图像处理设备，其中提取多个边缘的处理包括在参考图像中设定边缘提取区域并且从边缘提取区域中提取多个边缘的处理。

9.根据权利要求7所述的图像处理设备，其中设定目标层的模型边缘的处理包括：(i)从所述多个边缘之中提取尺寸缩小系数等于或大于目标层的尺寸缩小系数的边缘的处理，(ii)利用目标层的尺寸缩小系数对提取的边缘执行尺寸缩小的处理，以及(iii)设定提取的边缘作为目标层中的模型边缘的处理。

10.根据权利要求7所述的图像处理设备，

其中设定目标层的模型边缘的处理包括

(i)在所述多个边缘的最大尺寸缩小系数中的最大的一个最大尺寸缩小系数被设定作为上限的情况下对参考图像执行尺寸缩小，从而获得具有目标层的尺寸缩小系数的经尺寸缩小的图像的处理，以及

(ii)在经尺寸缩小的图像中在除了包括最大尺寸缩小系数小于经尺寸缩小的图像的尺寸缩小系数的边缘的区域以外的区域中设定尺寸缩小边缘提取区域的处理，该尺寸缩小边缘提取区域的尺寸缩小系数与经尺寸缩小的图像的尺寸缩小系数相同，以及

(iii)设定从尺寸缩小边缘提取区域中提取的边缘作为目标层中的模型边缘的处理。

11.根据权利要求7所述的图像处理设备，其中，在目标层与尺寸缩小系数为1的层对应的情况下，设定模型边缘的处理包括设定所述多个边缘作为目标层的模型边缘的处理。

12.根据权利要求7所述的图像处理设备，其中计算搜索目标金字塔的处理包括通过对从搜索目标图像中提取的边缘执行尺寸缩小来获得搜索目标边缘的处理。

13.根据权利要求7所述的图像处理设备，还包括存储单元，所述存储单元被配置为存储由处理器获得的模型金字塔，

其中所述处理器被配置为执行从存储单元中读取模型金字塔并且执行匹配处理的处理。

14.一种程序，使得计算机执行根据权利要求1所述的图像处理方法。

15.一种计算机可读记录介质，在该计算机可读记录介质上记录有根据权利要求14所述的程序。