CN108319979A - 一种基于缩放和旋转匹配的图像定位识别检测方法 - Google Patents

Abstract

本发明涉及一种基于缩放和旋转匹配的图像定位识别检测方法，该方法将目标图片和模板图像通过缩小生成多层金字塔，然后在金字塔最高层开始，分别做旋转和缩放匹配，匹配结果传递到下一层，直到第一层得到精确的匹配结果。本发明解决了传统的模板匹配无法处理模板与目标图像之间存在大角度旋转的问题，以及模板与图像之间有大小变化问题，实现图像快速匹配定位、识别、检测。

Description

一种基于缩放和旋转匹配的图像定位识别检测方法

【技术领域】

本发明属于图像识别和处理领域，尤其涉及一种基于缩放和旋转匹配的图像定位识别检测方法。

【背景技术】

图像匹配，是指根据图像的一些特征或组合特征等对模板和目标图像进行匹配的过程。图像匹配目前主要有模板匹配、轮廓匹配以及特征点匹配；模板匹配就是将模板和目标图像的灰度进行比较，找到模板在目标图像中的位置，但模板匹配具有自身的局限性，主要表现在它只能进行平行移动，若原图像中的匹配目标发生旋转或大小变化，该算法无效。轮廓匹配在目标具有复杂背景时难以提取轮廓和物体本身轮廓难以提取时轮廓匹配很难适用；特征点匹配在找特征及匹配时计算量很大，而且精度也不是很高。

在实际应用中，由于拍摄中角度、环境的变换、传感器自身的噪声等因素的影响，每张图片背景等会有细微的变化，而且物体之间的摆放位置也会不完全一样，而且图片中物体还会有旋转等变化，甚至会有细微的大小变化。在传统的模板匹配中，如果图片中的物品图像相对于模板图像在平面上有一个较大的旋转角度，并且图像大小有较大不同，则传统的模板匹配就很可能失效。因此，针对这种情况，如何使匹配算法精度高、正确匹配率高、速度快、鲁棒性和抗干扰性强成为人们关心的问题。

【发明内容】

为了解决现有技术中的上述问题，本发明提供了-一种基于缩放和旋转匹配的图像定位识别检测方法。

本发明采用的技术方案具体如下：

一种图像定位识别检测方法，用于在原始图片中检测模板图像，包括以下步骤：

(1)基于所述原始图片建立n层图片金字塔，所述原始图片是图片金字塔的第一层，每一层的图片都是将下一层图片缩小后得到的；使用相同的方法基于所述模板图像建立模板金字塔；图片金字塔中的每一层在模板匹配时是与模板金字塔的相同层进行匹配；

(2)在最高层的图片中通过缩放和旋转搜索模板图像的位置；所述缩放包括确定一个缩放比例序列，基于所述缩放比例序列对最高层图片进行相应比例的缩放，对于每一个缩放后的图片再进行旋转匹配；所述旋转匹配包括预先设置旋转匹配次数m，将图片从0度开始，每次旋转360/m度，进行m次模板匹配；从所有匹配结果中得到最匹配的结果，记录其对应的缩放比例a1和旋转度数a2；

(3)最高层以下的每一层图片，都在上一层所获得的缩放比例和旋转度数附近搜索模板图像，一直到第一层的原始图片，得到精确的缩放比例和旋转度数，以及匹配位置。

进一步地，步骤(1)中对图片缩小的方法包括：按照从左到右，从上到下的顺序对图片中的像素进行扫描，将相邻的四个像素合并成一个像素，如果扫描过程中剩下的像素不足以形成四个相邻像素，则将相邻的两个像素合并。

进一步地，具体的像素合并方法包括：将需要合并的像素的像素值求平均值，作为合并后的像素的像素值。

进一步地，最高层图片的像素数量控制在100到200之间。

进一步地，m＝180。

进一步地，最高层的缩放比例序列为：1.2、1.1、1、0.9、0.8。

进一步地，所述图片金字塔和模板金字塔都为四层金字塔。

进一步地，对第三层图片搜索时，使用的缩放比例序列为a1+0.05、a1、a1-0.05，基于第三层的缩放比例序列对第三层图片进行相应比例的缩放，对每一个缩放后的图片，分别旋转a2度、a2+(360/m)/2度、a2-(360/m)/2度进行匹配，得到的最匹配的缩放比例b1和旋转度数b2。

进一步地，对第二层图片搜索时，使用的缩放比例序列为b1+0.02、b1、b1-0.02，基于第二层的缩放比例序列对第二层图片进行相应比例的缩放，对每一个缩放后的图片，分别旋转b2度、b2+(360/m)/4度、b2-(360/m)/4度进行匹配，得到的最匹配的缩放比例c1和旋转度数c2。

进一步地，对第一层图片搜索时，使用的缩放比例序列为c1+0.01、c1、c1-0.01，基于第一层的缩放比例序列对第一层图片进行相应比例的缩放，对每一个缩放后的图片，分别旋转c2度、c2+(360/m)/8度、c2-(360/m)/8度进行匹配，得到的精确的缩放比例和旋转度数。

本方法的有益效果为：解决传统的模板匹配无法处理模板与目标图像之间存在大角度旋转的问题，以及模板与图像之间有大小变化问题，实现图像快速匹配定位、识别、检测。。

【附图说明】

此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：

图1是本发明通过旋转金字塔模板匹配的示意图。

图2是本发明带缩放和旋转金字塔模板匹配的示意图。

图3是本发明方法在目标识别领域的具体应用过程。

图4是本发明方法在目标定位领域的应用过程。

图5是本发明在差异检测中的应用过程。

【具体实施方式】

下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。

参见附图1，其示出了本发明通过旋转金字塔模板匹配的第一个实施例，其针对的是物品图像相对于模板图像具有一定旋转角度的情况，附图1的中部图像为图片金字塔，右部图像是相应的模板金字塔。图片金字塔共有四层，第一层(即最下层)是原始图片，通过图片金字塔来减小计算量。具体步骤说明如下：

(1)对于第一层的图片，按照从左到右，从上到下的顺序对图片中的像素进行扫描，将相邻的四个像素合并成一个像素。

例如，假设图片左上角为坐标原点，x轴的正方向向右，y轴正方向向下，则坐标值为(0,0)、(1,0)、(0,1)、(1,1)的四个像素合并成一个像素；将坐标值为(2,0)、(3,0)、(2,1)、(3,1)的四个像素合并成一个像素。如果扫描过程中剩下的像素不足以形成四个相邻像素，则可以将相邻的两个像素合并。

具体的合并方法是，将需要合并的像素的像素值求平均值，作为合并后的像素的像素值。例如，对于RGB图像，分别对四个像素的R值求均值，作为合并后的R值，同理对G值和B值分别求均值，作为合并后的G值和B值。

通过这种方式，将第一层图片缩小成为第二层图片。通过相同的方式，可以将第二层图片缩小成第三层图片，将第三层图片缩小成第四层图片。

需要说明的是，四层只是本发明的一个示例性实施例，具体选择几层取决于图片的具体大小和图片上的特征。如果图片特征细节多，则最高层就需要较多的像素，通常情况下，最高层的像素数目设置在100到200之间。

在本实施例中没有考虑图像大小的差异，因此将模板图像用相同的方法建立模板金字塔，图片金字塔中的每一层可与模板金字塔中的相应层进行模板匹配。

(2)在最高层的图片中搜索模板图像的位置，由于模板和图片之间有旋转角度，所以最高层的图片和模板需要进行相对旋转后再做匹配。由于通常旋转会带来图像的边缘信息损失，因此选择对图片进行旋转而不是对模板进行旋转。

具体地，预先设置匹配次数为m，则每次旋转的度数为360/m度。优选地，m＝180时，旋转的度数为2度，则将最高层图片从旋转0度开始，与模板进行匹配，每旋转2度，与模板做一次匹配。由于现在图片很小，所以匹配很快，将做过的m次匹配结果做比较，找到最匹配的结果，记录其相应的旋转度数为a，并记录图片中匹配的相应位置。

(3)对于第三层的图片，在旋转度数a附近进行搜索，找到匹配度最好的度数b。

例如，可以将第三层的图片分别旋转a度、a+(360/m)/2度、a-(360/m)/2度，对这三种情况进行模板匹配，找到三个度数中模板匹配结果最好的度数b。

(4)对于第二层的图片，在旋转度数b附近进行搜索，找到匹配度最好的度数c。

例如，可以将第二层的图片分别旋转b度、b+(360/m)/4度、b-(360/m)/4度，对这三种情况进行模板匹配，找到三个度数中模板匹配结果最好的度数c。

(5)对于第一层的原始图片，在旋转度数c附近经常搜索，从而得到精确的匹配旋转度数和匹配位置。

例如，将第一层的图片分别旋转c度、c+(360/m)/8度、c-(360/m)/8度，对这三种情况进行模板匹配，找到三个度数中模板匹配结果最好的度数作为最终的匹配旋转度数，并找到匹配位置。

上述实施例是以四层为例的，对于并非四层的情况，操作也是类似的，即首先通过最高层搜索到一个匹配的旋转度数，然后下面的每一层在上一层的旋转度数附近进行更精确的搜索，一直到第一层的原始图片，得到最终的精确结果。

参见附图2，其示出了本发明带缩放和旋转金字塔模板匹配的第二个实施例。在本实施例中，所针对的情况不仅物品图像相对于模板图像具有一定旋转角度，而且物品图像与模板图像大小也不相同，因此在旋转的同时，还要考虑缩放。图2与图1类似，左部图像为图片金字塔，右部图像是相应的模板金字塔。图片金字塔共有四层，第一层(即最下层)是原始图片，通过图片金字塔来减小计算量。具体步骤说明如下：

(1)对于第一层的图片，按照从左到右，从上到下的顺序对图片中的像素进行扫描，将相邻的四个像素合并成一个像素，将第一层图片缩小成为第二层图片。通过相同的方式，可以将第二层图片缩小成第三层图片，将第三层图片缩小成第四层图片。

具体的合并和缩小方法与第一个实施例相同，在此不再赘述。选择四层也只是示例性的，具体选择几层取决于图片的具体大小和图片上的特征。如果图片特征细节多，则最高层就需要较多的像素，通常情况下，最高层的像素数目设置在100到200之间。

将模板图像用相同的方法建立模板金字塔，图片金字塔中的每一层可与模板金字塔中的相同层进行模板匹配。

(2)在最高层的图片中搜索模板图像的位置，由于模板和图片之间同时有缩放和旋转，所以在最高层中对图像进行旋转的同时要进行缩放，才能进行匹配。

具体地，首先确定一个缩放比例序列，所述序列可以预先设置，优选的，所述缩放比例序列为1.2、1.1、1、0.9、0.8。其代表则将当前图片缩放为当前大小的1.2倍、1.1倍、1倍(即大小不变)、0.9倍、0.8倍。

基于所述缩放比例序列对最高层图片进行相应比例的缩放，对每一个缩放后的图片，进行旋转匹配。该旋转匹配的方法与第一个实施例中最高层的旋转匹配方法相同。从所有匹配结果中得到最匹配的结果，记录其对应的缩放比例a1和旋转度数a2。

(3)对于第三层的图片，在所述缩放比例a1和旋转度数a2附近进行搜索，找到最匹配的缩放比例b1和旋转度数b2。

优选的，对第三层图片的缩放比例序列为a1+0.05、a1、a1-0.05，例如，当a1＝0.9时，序列为0.95、0.9、0.85。基于序列中的每一个缩放比例对第三层图片进行相应比例的缩放，对每一个缩放后的图片，进行旋转匹配，旋转匹配的方法和第一个实施例中对第三层的匹配方法相同(即分别旋转a2度、a2+(360/m)/2度、a2-(360/m)/2度进行匹配)。这样总共需要进行9次匹配，得到b1和b2。

(4)对于第二层的图片，在所述缩放比例b1和旋转度数b2附近进行搜索，找到最匹配的缩放比例c1和旋转度数c2。

优选的，对第二层图片的缩放比例序列为b1+0.02、b1、b1-0.02，基于序列中的每一个缩放比例对第二层图片进行相应比例的缩放，对每一个缩放后的图片，进行旋转匹配，旋转匹配的方法和第一个实施例中对第二层的匹配方法相同。这样总共需要进行9次匹配，得到c1和c2。

(5)对于第一层的原始图片，在缩放比例c1和旋转度数c2附近进行搜索，得到精确的匹配缩放比例和旋转度数，并确定匹配位置。

优选的，对第一层图片的缩放比例序列为c1+0.01、c1、c1-0.01，基于序列中的每一个缩放比例对第一层图片进行相应比例的缩放，对每一个缩放后的图片，进行旋转匹配，旋转匹配的方法和第一个实施例中对第一层的匹配方法相同。

上述实施例是以四层为例的，对于并非四层的情况，操作也是类似的，即首先通过最高层搜索到一个匹配的缩放比例和旋转度数，然后下面的每一层在上一层的缩放比例和旋转度数附近进行更精确的搜索，一直到第一层的原始图片，得到最终的精确结果。

参见附图3，其示出了本发明方法在目标识别领域的具体应用过程，首先对每个需要识别的目标采集模板图像，然后采集图像作为目标图片，将目标图片和模板图像经过金字塔缩小后，在最高层进行匹配，如果有旋转，就用金字塔旋转匹配的方法，如果还存在缩放就加上缩放匹配，将模板与目标图片匹配的结果做对比，找到与目标图片匹配最好的模板，再将参数传给下一层做一次匹配，这样一层一层传递参数并匹配，直到第一层，得到识别结果。

第二种情况是在多幅图片中找模板目标，将多幅图片和模板图像经过金字塔缩小后，在最高层进行匹配，如果有旋转，就用金字塔旋转匹配的方法，如果还存在缩放就加上缩放匹配，将模板与目标图片匹配的结果做对比，找到与模板匹配最好的目标图片，再将参数传给下一层做一次匹配，这样一层一层传递参数并匹配，直到第一层，得到识别结果。

参见附图4，其示出了本发明方法在目标定位领域的应用，首先对目标采集模板，将目标图像和模板图像经过金字塔缩小后，在最高层进行匹配，如果有旋转，就用金字塔旋转匹配的方法，如果还存在缩放就加上缩放匹配，在最高层进行匹配，获得旋转度数后依次返回下一层，直到第一层，得到需要精度。

参见附图5，其示出了本发明方法的另外一个差异检测应用，由于目标图像和模板之间存在位置偏差、旋转角度不一致等，无法检测目标图像和模板之间的缺陷，因此，先将目标图像和模板做金字塔旋转匹配，将匹配好的图像做差找到图像与模板间的差异。

以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (10)

1.一种图像定位识别检测方法，用于在原始图片中检测模板图像，其特征在于，包括以下步骤：

(1)基于所述原始图片建立n层图片金字塔，所述原始图片是图片金字塔的第一层，每一层的图片都是将下一层图片缩小后得到的；使用相同的方法基于所述模板图像建立模板金字塔；图片金字塔中的每一层在模板匹配时是与模板金字塔的相同层进行匹配；

(2)在最高层的图片中通过缩放和旋转搜索模板图像的位置；所述缩放包括确定一个缩放比例序列，基于所述缩放比例序列对最高层图片进行相应比例的缩放，对于每一个缩放后的图片进行在进行旋转匹配；所述旋转匹配包括预先设置旋转匹配次数m，将图片从0度开始，每次旋转360/m度，进行m次模板匹配；从所有匹配结果中得到最匹配的结果，记录其对应的缩放比例a1和旋转度数a2；

(3)最高层以下的每一层图片，都在上一层所获得的缩放比例和旋转度数附近搜索模板图像，一直到第一层的原始图片，得到精确的缩放比例和旋转度数，以及匹配位置。

2.根据权利要求1所述的方法，其特征在于，步骤(1)中对图片缩小的方法包括：按照从左到右，从上到下的顺序对图片中的像素进行扫描，将相邻的四个像素合并成一个像素，如果扫描过程中剩下的像素不足以形成四个相邻像素，则将相邻的两个像素合并。

3.根据权利要求2所述的方法，其特征在于，具体的像素合并方法包括：将需要合并的像素的像素值求平均值，作为合并后的像素的像素值。

4.根据权利要求1-3任意一项所述的方法，其特征在于，最高层图片的像素数量控制在100到200之间。

5.根据权利要求1-4任意一项所述的方法，其特征在于，m＝180。

6.根据权利要求1-5任意一项所述的方法，其特征在于，最高层的缩放比例序列为：1.2、1.1、1、0.9、0.8。

7.根据权利要求1所述的方法，其特征在于，所述图片金字塔和模板金字塔都为四层金字塔。

8.根据权利要求7所述的方法，其特征在于，对第三层图片搜索时，使用的缩放比例序列为a1+0.05、a1、a1-0.05，基于第三层的缩放比例序列对第三层图片进行相应比例的缩放，对每一个缩放后的图片，分别旋转a2度、a2+(360/m)/2度、a2-(360/m)/2度进行匹配，得到的最匹配的缩放比例b1和旋转度数b2。

9.根据权利要求8所述的方法，其特征在于，对第二层图片搜索时，使用的缩放比例序列为b1+0.02、b1、b1-0.02，基于第二层的缩放比例序列对第二层图片进行相应比例的缩放，对每一个缩放后的图片，分别旋转b2度、b2+(360/m)/4度、b2-(360/m)/4度进行匹配，得到的最匹配的缩放比例c1和旋转度数c2。

10.根据权利要求9所述的方法，其特征在于，对第一层图片搜索时，使用的缩放比例序列为c1+0.01、c1、c1-0.01，基于第一层的缩放比例序列对第一层图片进行相应比例的缩放，对每一个缩放后的图片，分别旋转c2度、c2+(360/m)/8度、c2-(360/m)/8度进行匹配，得到的精确的缩放比例和旋转度数。