CN109543665B - 图像定位方法及装置 - Google Patents

Abstract

本发明实施例提供了一种图像定位方法及装置，本发明实施例首先根据待检测图像与模板图像相配的网格数量进行初步的粗匹配，得到备选区域，为了进一步提高待检测图像与模板图像的定位精度，基于轮廓点的坐标信息确定拟合分数，并利用拟合分数在备选区域中筛选出匹配效果更好的目标区域，利用目标区域以及模板图像即可实现待检测图像与模板图像的定位。本发明的实施例通过粗匹配和精匹配两个步骤提高了精细定位的精确度，即提高了待检测图像与模板图像定位的精确度。另外，由于本发明实施例是利用轮廓点筛选目标区域，因此需要处理的数据量大幅度减小，精细定位的效率得到有效提高，同时提高了抗干扰能力。

Description

图像定位方法及装置

技术领域

本发明实施例涉及图像处理技术领域，并且更具体地，涉及一种图像定位方法及装置。

背景技术

AOI(Automatic Optic Inspection，自动光学检测)是基于光学原理来对焊接产品中遇到的常见缺陷进行检测的技术，例如利用AOI技术检测PCB(Printed CircuitBoard，印制电路板)的缺陷。AOI检测时，检测设备通过摄像头自动扫描待检测产品，采集得到待检测图像，之后将待检测图像与模板图像进行比较，从而检测出待检测产品上存在的缺陷以及确定缺陷的位置。操作人员根据检测出来的缺陷及其位置进行分析和修复，从而能够有效提高待检测产品的质量。

利用AOI技术进行缺陷检测时，如图2所示，大致包括如下步骤：第一，轮廓提取，确定待检测图像的灰度图像，并获取该灰度图像的轮廓；第二，全局定位，确定待检测图像坐标系与模板图像坐标系的映射关系，如图1所示，图中方框1为待检测基元进行全局配准后的位置，图中方框2为模板图像中对应的基元的位置，图中方框3为检测窗口进行全局配准后的位置；第三，精细定位，在全局配准形成的坐标系对应关系的基础上，确定每个检测窗口覆盖的待检测基元的内容，为其中的每个待检测基元选择精细配准特征点，如图1中圆形4、5所示；根据该特征点的轮廓数据执行精细配准，实现每个检测窗口中待检测基元在模板图像上的定位，或引用精细配准关系，将每个检测窗口内的待检测基元的轮廓数据映射到模板图像坐标系，以供后续缺陷检测步骤使用；第四，缺陷检测，根据步骤三的定位结果，校正待检测图像和模板图像的位置偏差，将模板图像的轮廓与待检测图像的轮廓进行匹配，按照轮廓段进行缺陷检测。

另外，对于上述第三点中的精细定位的方法，除上述的利用轮廓信息进行精细定位外，还可以利用图像的灰度信息进行定位或利用图像的几何特征进行定位。其中，利用图像的灰度信息进行定位具体为：以待检测图像的灰度信息和模板图像的灰度信息为基础，用归一化相关系数为相似性度量指标，在待检测图像中搜索和模板图像相一致的定位位置或定位区域，以实现待检测图像和模板图像的定位。利用图像的几何特征进行定位具体为：以待检测图像的几何特征以及模板图像的几何特征为基础，用最小均方误差为度量指标，在待检测图像中搜索和模板图像相一致的定位位置或定位区域，以实现待检测图像和模板图像的定位。

从上面的陈述可知，精细能够进一步提高待检测图像与模板图像定位的精确度，如果待检测图像和模板图像的偏差得不到有效校正，将会导致后续轮廓匹配失败或利用找到的定位区域定位失败，从而导致缺陷的漏检测，同时如果待检测图像和模板图像的偏差得不到有效校正也会导致缺陷误报。因此精细定位的精确度对AOI检测的精度至关重要。目前精细定位的精确度相对较低，容易导致缺陷漏检测和缺陷误报。同时目前的精细定位通常是基于轮廓信息，或者是基于图像灰度信息、图像几何特征信息进行的配准，需要处理的数据量相当大，精细配准的效率低，另外，利用图像的轮廓信息或灰度信息、几何特征信息进行配准，抗干扰能力弱，容易导致配准精度不够。

发明内容

本发明实施例提供一种图像定位方法及装置，其能够提高精细定位的精确度，同时由于是针对图像的轮廓点进行的处理，因此降低了需要处理的数据量，提高了抗干扰能力。

第一方面，提供了一种图像定位方法，所述方法包括如下步骤：

对于待检测图像每个预定区域，确定其中的网格与模板图像的对应位置的网格相匹配的网格数量；其中，每个所述预定区域中包括多个网格；

筛出所述网格数量大于预定数量的预定区域作为备选区域；

根据尺度步长、角度步长、水平偏移量和竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第一模板轮廓点集；

确定所述第一模板轮廓点集的外接矩形，并根据网格尺寸将该外接矩形分割成多个第一模板网格，并对所述多个第一模板网格中的轮廓点进行量化；

对于每个所述备选区域，根据其量化后的每个轮廓点的位置坐标以及对应位置的第一模板网格中每个量化后的轮廓点的位置坐标，确定该备选区域的拟合分数；

筛选出所述拟合分数大于第一预定分值的备选区域，作为目标区域。

结合第一方面，在第一种可能的实现方式中，所述方法在所述确定其中的网格与模板图像的对应位置的网格相匹配的网格数量之前，还包括如下步骤：

确定待检测图像的轮廓点的集合的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化；

获取所述尺度步长和所述角度步长，并利用所述尺度步长和所述角度步长对模板图像的轮廓点的集合行几何变换，得到第二模板轮廓点集；

确定所述第二模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述方法在确定所述目标区域之后还包括如下步骤：

根据每个所述目标区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定新的水平偏移量和新的竖直偏移量；

利用所述尺度步长、角度步长、新的水平偏移量和新的竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第三模板轮廓点集；

确定所述第三模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个第二模板网格，并对每个所述第二模板网格中的轮廓点进行量化；

对于每个所述目标区域，根据其中每个量化后的轮廓点的位置坐标以及对应位置的第二模板网格中每个量化后的轮廓点的位置坐标，确定该目标区域的拟合分数；

筛选出所述拟合分数大于第二预定分值的目标区域，作为最终的目标区域。

结合第一方面，在第三种可能的实现方式中，所述预定数量根据预定覆盖分数以及模板图像轮廓点的数量确定。

结合第一方面，在第四种可能的实现方式中，所述方法还包括如下步骤：

根据每个所述目标区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定新的平移自由度，所述新的平移自由度包括新的水平偏移量和新的竖直偏移量；

判断所述新的平移自由度是否大于预定平移度，同时判断所述广义自由度是否均在预定广义度重叠范围内；其中所述广义自由度包括尺度步长和角度步长；

若所述平移自由度大于所述预定平移度，同时所述新的广义自由度均在所述预定广义度重叠范围内，则删除该目标区域。

结合第一方面的第四种可能的实现方式，在第五种可能的实现方式中，确定所述拟合分数包括如下步骤：

对于所述备选区域的每个量化后的轮廓点，利用其位置坐标以及对应位置的第一模板网格中对应位置的量化后的轮廓点的位置坐标，确定该两个轮廓点的距离；

利用所有的所述距离以及捕获范围确定该备选区域的所述拟合分数。

结合第一方面的第五种可能的实现方式，在第六种可能的实现方式中，确定所述水平偏移量和竖直偏移量包括如下步骤：

根据每个所述备选区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定所述水平偏移量和竖直偏移量。

结合第一方面，第一方面的第一种可能的实现方式，第一方面的第二种可能的实现方式，第一方面的第三种可能的实现方式，第一方面的第四种可能的实现方式，第一方面的第五种可能的实现方式以及第一方面的第六种可能的实现方式，在第七种可能的实现方式中，所述方法还包括如下步骤：

对于每一个所述目标区域，建立其中的每个轮廓点与模板图像的对应位置的网格内对应的轮廓点的映射关系。

第二方面，提供了一种图像定位装置，所述装置包括第一定位模块和第二定位模块，

所述第一定位模块，用于对待检测图像每个预定区域，确定其中的网格与模板图像的对应位置的网格相匹配的网格数量，并筛出所述网格数量大于预定数量的预定区域作为备选区域；其中，每个所述预定区域中包括多个网格；

第二定位模块包括：

第一模板轮廓点集确定子模块，用于根据尺度步长、角度步长、水平偏移量和竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第一模板轮廓点集；

第一模板网格确定子模块，用于确定所述第一模板轮廓点集的外接矩形，并根据网格尺寸将该外接矩形分割成多个第一模板网格，并对所述多个第一模板网格中的轮廓点进行量化；

第一拟合分数确定子模块，用于对每个所述备选区域，根据其量化后的每个轮廓点的位置坐标以及对应位置的第一模板网格中每个量化后的轮廓点的位置坐标，确定该备选区域的拟合分数；

第一目标区域确定子模块，用于筛选出所述拟合分数大于第一预定分值的备选区域，作为目标区域。

结合第二方面，第一种可能的实现方式中，所述第一定位模块包括：

待检测图像网格确定子模块，用于确定待检测图像的轮廓点的集合的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化；

第二模板轮廓点集确定子模块，用于获取所述尺度步长和所述角度步长，并利用所述尺度步长和所述角度步长对模板图像的轮廓点的集合行几何变换，得到第二模板轮廓点集；

模板图像网格确定子模块，用于确定所述第二模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化。

结合第二方面的第一种可能的实现方式，第二种可能的实现方式中，所述第二定位模块还包括：

第三模板轮廓点集确定子模块，用于根据每个所述目标区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定新的水平偏移量和新的竖直偏移量；

并利用所述尺度步长、角度步长、新的水平偏移量和新的竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第三模板轮廓点集；

第二模板网格确定子模块，用于确定所述第三模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个第二模板网格，并对每个所述第二网格中的轮廓点进行量化；

第二拟合分数确定子模块，对于每个所述目标区域，根据其中每个量化后的轮廓点的位置坐标以及对应位置的第二模板网格中每个量化后的轮廓点的位置坐标确定该目标区域的拟合分数；

第二目标网格确定子模块，用于筛选出所述拟合分数大于第二预定分值的目标区域，作为最终的目标区域。

在本发明实施例的上述技术方案中，首先根据待检测图像与模板图像相配的网格数量进行初步的粗匹配，得到备选区域，为了进一步提高待检测图像与模板图像的定位精度，基于轮廓点的坐标信息确定拟合分数，并利用拟合分数在备选区域中筛选出匹配效果更好的目标区域，利用目标区域以及模板图像即可实现待检测图像与模板图像的定位。本发明的实施例通过将精细定位分为粗匹配和精匹配两个步骤地递进执行，提高了精细定位的精确度，即提高了待检测图像图模板图像定位的精确度。

另外，由于本发明实施例是利用轮廓点筛选用于定位的目标区域，因此处理的数据量相对于现有技术中精细定位需要处理的数据量大幅度减小，精细定位的效率得到有效提高，并且由于处理的数据量较小，因此提高了抗干扰能力，并且节省了系统内存。

附图说明

为了更清楚的说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示意性的示出了现有技术中AOI全局定位的示意图；

图2示意性的示出了现有技术中AOI检测的流程图；

图3示意性的示出了根据本发明一实施例的图像定位方法的流程图；

图4示意性的示出了根据本发明另一实施例的图像定位方法的流程图；

图5示意性的示出了根据本发明一实施例的图像定位方法的输入输出示意图；

图6示意性的示出了根据本发明再一实施例的图像定位方法的流程图；

图7示意性的示出了根据本发明一实施例的图像定位方法中模板图像轮廓点的集合示意图；

图8示意性的示出了根据本发明一实施例的图像定位方法中训练模板图像轮廓点的集合的流程图；

图9示意性的示出了根据本发明再一实施例的图像定位方法的流程图；

图10A、10B、10C示意性的示出了根据本发明一实施例的图像定位方法中待检测图像网格化示意图；

图11示意性的示出了根据本发明一实施例的图像定位方法中粗匹配流程图；

图12示意性的示出了根据本发明一实施例的图像定位方法中更新平移自由度总体流程图；

图13示意性的示出了根据本发明一实施例的图像定位方法中更新平移自由度流程图；

图14示意性的示出了根据本发明一实施例的图像定位方法中平移自由度搜索范围示意图；

图15示意性的示出了根据本发明一实施例的图像定位方法中亚像素匹配位置的插值计算示意图；

图16示意性的示出了根据本发明一实施例的图像定位方法中平移自由度搜索流程示意图；

图17示意性的示出了根据本发明一实施例的图像定位方法中逐点搜索示意图；

图18示意性的示出了根据本发明一实施例的图像定位方法中精匹配总体流程图；

图19示意性的示出了根据本发明一实施例的图像定位方法中精匹配流程图；

图20A示意性的示出了根据本发明一实施例的图像定位方法中模板图像中网格的示意图；

图20B示意性的示出了根据本发明一实施例的图像定位方法中待检测图像中定位后的网格的示意图；

图21示意性的示出了根据本发明一实施例的图像定位装置的框图；

图22示意性的示出了根据本发明另一实施例的图像定位装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种图像定位方法，如图3所示，该方法包括如下步骤：

100、对于待检测图像每个预定区域，确定其中的网格与模板图像的对应位置的网格相匹配的网格数量；其中，每个所述预定区域中包括多个网格；筛出网格数量大于预定数量的预定区域作为备选区域；

此步骤可以作为精细定位中初步进行的粗匹配步骤，该步骤根据预定区域与模板图相同相匹配的网格数量筛选出备选区域。这里的相匹配是指预定区域中的网格与模板图像的对应位置的网格中都存在轮廓点。本步骤中作为筛选标准的预定数量根据预定覆盖分数以及模板图像轮廓点的数量确定，具体计算公式为：

式中，CoverageScore表示预定覆盖分数，M表示模板图像轮廓点的数量，I表示预定数量。

可见根据预定覆盖分数以及模板图像轮廓点的数量可以计算得到预订数量，因此可以理解为根据预定覆盖分数筛选备选网格，即筛选出覆盖分数大于预定覆盖分数的网格。网格的覆盖分数可以利用上面的公式计算，即利用预定区域与模板图相同相匹配的网格数量除以模板图像轮廓点的数量，得到该预定区域的覆盖分数。覆盖分数越大，即待检测图像的网格与模板图像的网格中相匹配的数量越多，表明待检测图像与模板图像的匹配程度越高，很可能实现待检测图像与模板图像的精确定位。

应当说明的是，这里的预定区域的格式是多个，多个预定区域利用如下步骤得到：选取第一个预定区域，之后该第一预定区域按照一定的顺序移动，没移动一个网格得到一个新的预定区域，直到待检测图像的左右都属于至少一个预定区域。这里的一定的顺序可以是从左到右、从上到下，当然也可以是其他的循序，本发明实施例对此并不进行限定。每个第一预定区域应该与模板图像的大小相等或相近。

此步骤也可以理解为以覆盖分数为优化目标，筛选覆盖分数符合要求的备选区域。

110、根据尺度步长、角度步长、水平偏移量和竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第一模板轮廓点集；

具体地利用如下公式进行几何变换：

式中s表示尺度步长、θ表示角度步长、t_x表示水平偏移量，t_y表示竖直偏移量，(x，y) 表示模板图像的轮廓点的坐标，(u,v)表示几何变换后的第一模板轮廓点集中轮廓点的坐标。

这里的尺度步长和角度步长在整个处理过程中不变，尺度步长和角度步长可以预先设定并存储于广义自由度列表中，也可以通过对模板图像的轮廓点的集合进过训练得到。

这里的水平偏移量和竖直偏离量是根据备选区域的轮廓点的集合以及模板图像的轮廓点的集合经过计算得到的，例如利用最小二乘法计算得到水平偏移量和竖直偏离量。

120、确定第一模板轮廓点集的外接矩形，并根据网格尺寸将该外接矩形分割成多个第一模板网格，并对所述多个第一模板网格中的轮廓点进行量化；

此步骤中，网格尺寸可以预先设定，也可以通过对模板图像的轮廓点的集合进行训练得到。此步骤根据网格尺寸将第一模板轮廓点集的外接矩形分成多个网格，并实现了对模板图像轮廓点的集合的量化。

130、对于每个所述备选区域，根据其量化后的每个轮廓点的位置坐标以及对应位置的第一模板网格中每个量化后的轮廓点的位置坐标，确定该备选区域的拟合分数；

具体地，拟合分数根据如下子步骤确定：

1301、对于备选区域的每个轮廓点，利用其位置坐标以及对应位置的第一模板网格中对应位置的轮廓点的位置坐标确定该两个轮廓点的距离；

1302、利用所有的距离以及捕获范围确定该第一网格的拟合分数，具体计算公式如下：

FitScore＝1-e_rms/dCaptrueRange

式中，FitScore表示拟合分数。e_rms表示拟合误差，dCaptrueRange表示捕获范围。

拟合误差e_rms利用如下公式获得：

e_i表示备选区域的网格中的第i个轮廓点与对应位置的第一模板网格中对应位置的轮廓点的距离。

捕获范围可以预先设定，也可以通过对模板图像的轮廓点的集合进行训练得到。

140、筛选出所述拟合分数大于第一预定分值的备选区域，作为目标区域。

此步骤中第一预定分值可以根据实际情景灵活设定，本发明对此不进行限定。拟合分数高的备选区域说明与模板图像更加相似，匹配程度更高。

步骤110至140可以看做精细定位中的精匹配子步骤，精匹配是以覆盖分数为第一优化目标，以拟合分数为第二优化目标实现的。精匹配得到的目标区域与模板图像具有更高的相似度，待检测图像与模板图像用目标区域进行定位的定位精度将会更高。

150、利用目标区域实现待检测图像与模板图像的定位，即对于每一个所述目标区域，建立其中的每个轮廓点与模板图像的对应位置的网格内对应的轮廓点的映射关系。

综上，本实施例的方法，首先根据待检测图像的预定区域与模板图像相配的网格数量进行初步的粗匹配，得到备选区域，为了进一步提高待检测图像与模板图像的定位精度，基于轮廓点的坐标信息确定拟合分数，并利用拟合分数在备选区域中筛选出匹配效果更好的目标区域，利用目标区域即可实现待检测图像的对应的预定区域与模板图像的定位。通过将精细定位分为粗匹配和精匹配两个步骤地递进执行，提高了精细定位的精确度，即提高了待检测图像图模板图像定位的精确度。

另外，由于本实施例是利用图像的轮廓点筛选用于定位的目标区域，因此处理的数据量相对于现有技术中精细定位需要处理的数据量大幅度减小，精细定位的效率得到有效提高，并且由于处理的数据量较小，因此提高了抗干扰能力，并且节省了系统内存。

在一个实施中，在步骤100中的确定其中的网格与模板图像的对应位置的网格相匹配的网格数量之前，还包括如下步骤，还包括如下步骤，如图4所示：

1000、确定待检测图像的轮廓点的集合的外接矩形，并根据网格尺寸将该外接矩形分割成多个网格，并对每个网格中的轮廓点进行量化；

此步骤中的网格尺寸与步骤120中的网格尺寸相同。

在一个实施中，需要首先获取待检测图像的轮廓图以及模板图像的轮廓图，之后根据待检测图像的轮廓图获取待检测图像的轮廓点的集合，根据模板图像的轮廓图获取模板图像的轮廓点的集合。

确定待检测图像的轮廓点的集合的外接矩形的操作如图10A、图10B和图10C所示，图 10A为待检测图像的轮廓点的集合；根据该集合确定外接矩形，并将外接矩形按照网格尺寸进行分割，每个网格内包含有轮廓点，如图10B所示；图10C为将待检测图像的轮廓点的集合量化后的图形。之后根据分割的网格建立待检测图像查找表，该表格将各个轮廓点的坐标与对应的网格位置建立映射关系。

应当说明的是，第一模板轮廓点集的外接矩形的分割方法、第二模板轮廓点集的外接矩形的分割方法以及第三模板轮廓点集的外接矩形的分割方法与上述待检测图像的轮廓点的集合的外接矩形的分割方法相同。

本发明实施例中的外接矩形的分割除根据网格尺寸外，还要根据对应的搜索区域，搜索区域可以预先设定。

1001、获取所述尺度步长和所述角度步长，并利用所述尺度步长和所述角度步长对模板图像的轮廓点的集合行几何变换，得到第二模板轮廓点集；

此步骤中的尺度步长和角度步长存储于广义自由度列表中，尺度步长和角度步长可以预先设定，也可以通过训练模板图像轮廓点的集合得到。

遍历广义自由度列表获取到尺度步长和角度步长，利用尺度步长和角度步长确定尺度变换矩阵和角度变换矩阵，再将尺度变换矩阵和角度变换矩阵分别于模板图像的轮廓点的集合相乘实现几何变换，得到第二模板轮廓点集。其中尺度变换矩阵如下：

X表示预制尺度步长。

角度变换矩阵如下：

X表示角度步长。

尺度变换矩阵和角度变换矩阵可以称为广义自由度变换矩阵。

1002、确定第二模板轮廓点集的外接矩形，并根据网格尺寸将该外接矩形分割成多个网格，并对每个网格中的轮廓点进行量化。

本实施例首先将待检测图像的轮廓点的集合以及模板图像的轮廓点的集合进行了网格划分，之后搜索平移自由度空间，利用逐点搜索的方法确定待检测图像的每个预定区域的轮廓点与模板图像相匹配的网格数量，确定待检测图像的每个预定区域的覆盖分数。

在一个施例中，粗匹配的流程如下：

如图16所示，(1)根据广义自由度变换矩阵对模板图像的轮廓点的集合进行几何变换，即进行Compile操作(2)确定Compile后的模板图像的轮廓点的集合的外接矩形，并根据网格尺寸进行分割量化(3)逐点搜索计算匹配结果，即在待检测图像上搜索与模板图像匹配的每一个预定区域的覆盖分数，该搜索以网格为单位进行，搜索流程见图17。

在一个实施中，粗匹配在获得了覆盖分数后还进行如下删除重复结果的操作：

步骤一、根据每个目标区域对应的轮廓点的集合以及模板图像的轮廓点的集合，利用最小二乘法确定新的平移自由度，所述新的平移自由度包括新的水平偏移量和新的竖直偏移量；

步骤二、判断所述新的平移自由度是否大于预定平移度，同时判断所述广义自由度是否均在预定广义度重叠范围内；其中所述广义自由度包括尺度步长和角度步长；

此步骤中，如果模式个数＝＝1，则预定平移度＝0.5；如果模式个数>1,则预定平移度＝ 0.7。

步骤三、若所述平移自由度大于所述预定平移度，同时所述新的广义自由度均在所述预定广义度重叠范围内，则删除该目标区域。

在一个实施中，粗匹配在获得了覆盖分数后还进行如下删除低分结果的操作：

低分结果的定义为：覆盖分数CoverageScore<CoverageScorThre

CoverageScorThre＝max(0.3*nTrainPointNum,0.9*AcceptThre),其中，TrainPointNum表示模板图像的轮廓点的个数，AcceptThre表示用户输入的最小覆盖分数。

在一个实施例中，步骤140之后，即在确定目标区域之后还包括如下步骤：

1401、根据每个所述目标区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定新的水平偏移量和新的竖直偏移量；

利用所述尺度步长、角度步长、新的水平偏移量和新的竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第三模板轮廓点集；

1402、确定所述第三模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个第二模板网格，并对每个所述第二模板网格中的轮廓点进行量化；

1403、对于每个所述目标区域，根据其中每个量化后的轮廓点的位置坐标以及对应位置的第二模板网格中每个量化后的轮廓点的位置坐标，确定该目标区域的拟合分数；

1404、筛选出所述拟合分数大于第二预定分值的目标区域，作为最终的目标区域。

如图18所示，本实施例以上一次精匹配的结果作为输入又进行了一次精匹配，使得到的最终的目标区域与对应的模板图像的相似度更高，更容易实现待检测图像与模板图像的精确定位。

在一个实施例中，拟合分数的计算的推导流程如下：

步骤一、在每个目标区域内搜索对应位置第二模板网格的轮廓点距离小于捕获范围的轮廓点，作为预备轮廓点；

步骤二、确定各个预备轮廓点与对应位置的第二模板网格内的轮廓点的距离；

步骤三、利用距离最小的两个轮廓点的坐标构造最小均方拟合方程，利用最小均方拟合方程经过推导确定拟合分数的计算公式。

最小均方拟合的误差函数可以表示为

u'＝sxcosθ-sysinθ+t_x

v'＝sxsinθ+sycosθ+t_y

上式所示的拟合问题本质上是一个非线性模型的参数估计问题，可以采用非线性最小均方优化中描述的LM方法来求解。选取目标函数F(s,θ,t_x,t_y)＝0，目标函数对s,θ,t_x,t_y的导函数如下面公式所示，选取粗匹配结果作为初值。

在一个实施例中，如图19所示，精匹配的流程如下：(1)以粗匹配的结果作为输入，根据粗匹配结果对模板图像的轮廓点的集合进行几何变换；(2)对几何变换后的模板图像的轮廓点的集合进行网格划分，实现模板图像的轮廓点的集合的量化，之后再每一个备选区域的网格中搜索和几何变换后的模板图像的网格中轮廓点的距离小于捕获范围的最小距离的轮廓点(3)根据搜索到的备选区域中的轮廓点以及对应的模板图像的轮廓点的坐标，构造最小均方拟合方程，计算得到拟合分数、广义自由度参数，其中广义自由度参数即尺度步长、角度步长，平移自由度参数包括水平偏移量和竖直偏移量。

在一个实施例中，如图9所示，图像定位方法包括如下步骤：(1)创建广义自由度列表 (2)计算搜索区域并量化模板图像轮廓点的集合以及待检测图像轮廓点的集合(3)进行粗匹配(4)删除重复结果和低分结果(5)精匹配(6)输出匹配结果。

本发明实施例的图像定位方法，先进行粗匹配，再进行精匹配，粗匹配采用网格的方式进行降分辨率操作，使其定位效率高。在精匹配环节根据匹配点对，构造最小均方拟合方程，计算变换参数和拟合分数，使得定位精度更高。本发明实施例利用边缘点数据进行训练和定位，不仅定位精度高，并且使用的数据量小，效率高，占系统内存少。同时对于易存在缺陷的检测目标来说，抗干扰能力强。另外，线路板由于存在蚀刻的误差，导致图像相对中心尺寸有差异，本发明实施例通过用户输入的网格尺寸距离和捕获范围来搜索匹配点对，从而计算定位参数，因此能够适应存匹配距离一个像素以内蚀刻误差的线路板。

在一个实施例中，如图6所示，图像定位方法包括如下步骤：

200、训练，输入模板图像轮廓点的集合；如有需要，自动计算网格尺寸和捕获范围；如有需要，自动计算广义自由度参数，即尺度步长和角度步长。

210、粗匹配，以覆盖分数为优化目标，通过模板图像轮廓点的集合的量化以及待检测图像轮廓点的集合的量化，进行粗匹配。

220、精匹配，以覆盖分数和拟合分数为优化目标，通过最小均方拟合，进行精匹配。

粗匹配和精匹配的结合使精细定位的精确得到有效提高，如图20A和图20B所示，定位结果的平移度误差为0.5像素以内，角度误差为1度以内。

在一个实施例中，如图5所示，图像定位方法利用匹配工具完成，包括粗匹配和精匹配两个阶段。匹配工具的输入包括：模板图像轮廓点的集合、待检测图像轮廓点的集合、初始姿态和变化范围、网格尺寸、捕捉范围、模式个数、最小覆盖阈值。匹配工具的输出包括：模板图像轮廓点的集合与待检测图像轮廓点的集合之间的变换关系、模板图像轮廓点的集合与待检测图像轮廓点的集合的映射列表、覆盖分数、拟合分数。

在一个实施例中，步骤200中，输入的模板图像轮廓点的集合结构如图7所示。训练得到网格尺寸、捕获范围以及广义自由度参数的流程图如图8所示：

(1)判断是否计算网格尺寸，如果需要计算网格尺寸，计算网格尺寸；

(2)如果不需要计算网格尺寸，判断是否需要计算捕获范围，如果需要计算捕获范围，计算捕获范围；

(3)如果不需要计算捕获范围，判断是否需要计算尺度步长，如果需要计算尺度步长，计算尺度步长；

(4)如果不需要计算尺度步长，判断是否需要计算角度步长，如果需要计算角度步长，计算角度步长；

(5)如果不需要计算角度步长，模板图像轮廓点的集合相对重心坐标进行变换，并保存训练结果。

网格尺寸、捕获范围可由用户设置，也可自动计算，其精度都为1个像素，如果用户输入小于1个像素则默认取1个像素。网格尺寸和捕获范围可设置为模板图像轮廓点的集合的有效的最近点距离的25％，要求网格尺寸大于等于捕获范围尺寸。

在一个实施例中，如图11所示，步骤210中，粗匹配以固定步长在模板图像的网格以及待检测图像的网格中进行搜索，图14为粗匹配中平移自由度搜索范围示意图。之后对搜索结果进行峰值检测，删除带有删除标记的结果，并跟新平移自由度参数。经过峰值检测，对广义自由度进行了插值计算，因此要更新相应的平移自由度参数。如图12所示为更新平移自由度参数的总体流程。图13为更新平移自由度流程图。由图13可知，首先在预定义的邻域范围内搜索覆盖分数最高的位置，然后通过插值得到亚像素精确位置，如图15所示。

本发明实施例的图像定位方法，采用轮廓的边缘点进行定位，不使用灰度图像，处理的数据量小，占系统内存少，并且对于易存在缺陷的检测目标来说，抗干扰能力强。训练阶段主要计算网格尺寸、捕获范围以及广义自由度参数，训练时间短。之后先进行粗匹配，再进行精匹配，粗匹配采用网格的方式进行降分辨率操作，使其定位效率高。粗匹配环节先进行广义自由度搜索，然后再进行平移自由度搜索，并对初步得到的搜索结果进行峰值检测然后在预定义的邻域范围内搜索覆盖分数最高的位置，通过插值得到亚像素精确位置，使得粗匹配结果精度提高。在精匹配环节根据匹配点对，构造最小均方拟合方程，计算变换参数和拟合分数，使得定位精度更高。

本发明实施例还提供了一种图像定位装置，如图21所示，该装置包括第一定位模块和第二定位模块，

第一定位模块，用于对待检测图像每个预定区域，确定其中的网格与模板图像的对应位置的网格相匹配的网格数量，并筛出所述网格数量大于预定数量的预定区域作为备选区域；其中，每个所述预定区域中包括多个网格；

第二定位模块包括：

第一模板轮廓点集确定子模块，用于根据尺度步长、角度步长、水平偏移量和竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第一模板轮廓点集；

第一模板网格确定子模块，用于确定所述第一模板轮廓点集的外接矩形，并根据网格尺寸将该外接矩形分割成多个第一模板网格，并对所述多个第一模板网格中的轮廓点进行量化；

第一拟合分数确定子模块，用于对每个所述备选区域，根据其量化后的每个轮廓点的位置坐标以及对应位置的第一模板网格中每个量化后的轮廓点的位置坐标，确定该备选区域的拟合分数；

第一目标区域确定子模块，用于筛选出所述拟合分数大于第一预定分值的备选区域，作为目标区域。

本实施的装置首先根据待检测图像与模板图像相配的网格数量进行初步的粗匹配，得到备选区域，为了进一步提高待检测图像与模板图像的定位精度，基于轮廓点的坐标信息确定拟合分数，并利用拟合分数在备选区域中筛选出匹配效果更好的目标区域，利用目标区域即可实现待检测图像与模板图像的定位。通过将精细定位分为粗匹配和精匹配两个步骤地递进执行，提高了精细定位的精确度，即提高了待检测图像图模板图像定位的精确度。另外，由于本实施例是利用轮廓点筛选用于定位的目标第一网格，因此处理的数据量相对于现有技术中精细定位需要处理的数据量大幅度减小，精细定位的效率得到有效提高，并且由于处理的数据量较小，因此提高了抗干扰能力，并且节省了系统内存。

在一个实施例中，如图22所示，第一定位模块包括：

待检测图像网格确定子模块，用于确定待检测图像的轮廓点的集合的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化；

第二模板轮廓点集确定子模块，用于获取所述尺度步长和所述角度步长，并利用所述尺度步长和所述角度步长对模板图像的轮廓点的集合行几何变换，得到第二模板轮廓点集；模板图像网格确定子模块，用于确定所述第二模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化。

在一个实施例中，第二定位模块还包括：

第三模板轮廓点集确定子模块，用于根据每个所述目标区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定新的水平偏移量和新的竖直偏移量；

并利用所述尺度步长、角度步长、新的水平偏移量和新的竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第三模板轮廓点集；

第二模板网格确定子模块，用于确定所述第三模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个第二模板网格，并对每个所述第二网格中的轮廓点进行量化；

第二拟合分数确定子模块，对于每个所述目标区域，根据其中每个量化后的轮廓点的位置坐标以及对应位置的第二模板网格中每个量化后的轮廓点的位置坐标确定该目标区域的拟合分数；

第二目标网格确定子模块，用于筛选出所述拟合分数大于第二预定分值的目标区域，作为最终的目标区域。

本发明实施例中的装置是与本发明实施例中的方法对应的产品，本发明实施例中的方法的每一个步骤均由本发明实施例中的装置的模块或子模块完成，因此对于相同的部分不再进行赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种图像定位方法，其特征在于，所述方法包括如下步骤：

对于待检测图像每个预定区域，确定其中的网格与模板图像的对应位置的网格相匹配的网格数量；其中，每个所述预定区域中包括多个网格；

筛出所述网格数量大于预定数量的预定区域作为备选区域；

根据尺度步长、角度步长、水平偏移量和竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第一模板轮廓点集；

确定所述第一模板轮廓点集的外接矩形，并根据网格尺寸将该外接矩形分割成多个第一模板网格，并对所述多个第一模板网格中的轮廓点进行量化；

对于每个所述备选区域，根据其量化后的每个轮廓点的位置坐标以及对应位置的第一模板网格中每个量化后的轮廓点的位置坐标，确定该备选区域的拟合分数；

筛选出所述拟合分数大于第一预定分值的备选区域，作为目标区域。

2.根据权利要求1所述的方法，其特征在于，所述方法在所述确定其中的网格与模板图像的对应位置的网格相匹配的网格数量之前，还包括如下步骤：

确定待检测图像的轮廓点的集合的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化；

获取所述尺度步长和所述角度步长，并利用所述尺度步长和所述角度步长对模板图像的轮廓点的集合进行几何变换，得到第二模板轮廓点集；

确定所述第二模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化。

3.根据权利要求2所述的方法，其特征在于，所述方法在确定所述目标区域之后还包括如下步骤：

根据每个所述目标区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定新的水平偏移量和新的竖直偏移量；

利用所述尺度步长、角度步长、新的水平偏移量和新的竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第三模板轮廓点集；

确定所述第三模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个第二模板网格，并对每个所述第二模板网格中的轮廓点进行量化；

对于每个所述目标区域，根据其中每个量化后的轮廓点的位置坐标以及对应位置的第二模板网格中每个量化后的轮廓点的位置坐标，确定该目标区域的拟合分数；

筛选出所述拟合分数大于第二预定分值的目标区域，作为最终的目标区域。

4.根据权利要求1所述的方法，其特征在于，所述预定数量根据预定覆盖分数以及模板图像的轮廓点的数量确定。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括如下步骤：

根据每个所述目标区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定新的平移自由度，所述新的平移自由度包括新的水平偏移量和新的竖直偏移量；

判断所述新的平移自由度是否大于预定平移度，同时判断广义自由度是否均在预定广义度重叠范围内；其中所述广义自由度包括尺度步长和角度步长；

若所述平移自由度大于所述预定平移度，同时新的所述广义自由度均在所述预定广义度重叠范围内，则删除该目标区域。

6.根据权利要求5所述的方法，其特征在于，确定所述拟合分数包括如下步骤：

对于所述备选区域的每个量化后的轮廓点，利用其位置坐标以及对应位置的第一模板网格中对应位置的量化后的轮廓点的位置坐标，确定两个所述轮廓点的距离；

利用所有的所述距离以及捕获范围确定该备选区域的所述拟合分数。

7.根据权利要求1所述的方法，其特征在于，确定所述水平偏移量和竖直偏移量包括如下步骤：

根据每个所述备选区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定所述水平偏移量和竖直偏移量。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括如下步骤：

对于每一个所述目标区域，建立其中的每个轮廓点与模板图像的对应位置的网格内对应的轮廓点的映射关系。

9.一种图像定位装置，其特征在于，所述装置包括第一定位模块和第二定位模块，

所述第一定位模块，用于对待检测图像每个预定区域，确定其中的网格与模板图像的对应位置的网格相匹配的网格数量，并筛出所述网格数量大于预定数量的预定区域作为备选区域；其中，每个所述预定区域中包括多个网格；

第二定位模块包括：

第一模板轮廓点集确定子模块，用于根据尺度步长、角度步长、水平偏移量和竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第一模板轮廓点集；

第一模板网格确定子模块，用于确定所述第一模板轮廓点集的外接矩形，并根据网格尺寸将该外接矩形分割成多个第一模板网格，并对所述多个第一模板网格中的轮廓点进行量化；

第一拟合分数确定子模块，用于对每个所述备选区域，根据其量化后的每个轮廓点的位置坐标以及对应位置的第一模板网格中每个量化后的轮廓点的位置坐标，确定该备选区域的拟合分数；

第一目标区域确定子模块，用于筛选出所述拟合分数大于第一预定分值的备选区域，作为目标区域。

10.根据权利要求9所述的装置，其特征在于，所述第一定位模块包括：

待检测图像网格确定子模块，用于确定待检测图像的轮廓点的集合的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化；

第二模板轮廓点集确定子模块，用于获取所述尺度步长和所述角度步长，并利用所述尺度步长和所述角度步长对模板图像的轮廓点的集合行几何变换，得到第二模板轮廓点集；

模板图像网格确定子模块，用于确定所述第二模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个网格，并对每个所述网格中的轮廓点进行量化。

11.根据权利要求10所述的装置，其特征在于，所述第二定位模块还包括：

第三模板轮廓点集确定子模块，用于根据每个所述目标区域对应的轮廓点的集合以及所述模板图像的轮廓点的集合，利用最小二乘法确定新的水平偏移量和新的竖直偏移量；

并利用所述尺度步长、角度步长、新的水平偏移量和新的竖直偏移量对模板图像的轮廓点的集合进行几何变换，得到第三模板轮廓点集；

第二模板网格确定子模块，用于确定所述第三模板轮廓点集的外接矩形，并根据所述网格尺寸将该外接矩形分割成多个第二模板网格，并对每个所述第二模板网格中的轮廓点进行量化；

第二拟合分数确定子模块，对于每个所述目标区域，根据其中每个量化后的轮廓点的位置坐标以及对应位置的第二模板网格中每个量化后的轮廓点的位置坐标确定该目标区域的拟合分数；

第二目标网格确定子模块，用于筛选出所述拟合分数大于第二预定分值的目标区域，作为最终的目标区域。

Images