CN112070811A - 一种基于连续域蚁群算法改进的图像配准方法 - Google Patents

Abstract

本发明提供一种基于连续域蚁群算法改进的图像配准方法，包括以下步骤：S1：确定模板图像和感测图像；S2：提取模板图像的图形轮廓，得到模板像素点集合T；提取感测图像的图形轮廓，得到搜索像素点集合E；S3：量化T与E的相似度；S4：切分模板图像生成感兴趣区域；S5：将感兴趣区域与感测图像进行匹配，采用连续域蚁群算法找到相似度最大的度量，实现图像配准。本发明提供一种基于连续域蚁群算法改进的图像配准方法，量化像素点集合的相似度，然后采用连续域蚁群算法找到相似度最大的度量，实现将切分后的模板图像与感测图像配准，在保证配准速度的前提下，提高了配准精度，解决了目前图像配准方法的配准精度不够高的问题。

Description

一种基于连续域蚁群算法改进的图像配准方法

技术领域

本发明涉及图像处理技术领域，更具体的，涉及一种基于连续域蚁群算法改进的图像配准方法。

背景技术

印刷电路板(PCB)对电子产品十分重要，它是电子电路的组成部分，是各种电子元器件的载体。电路板为电子产品中的元器件提供支撑和电气连接，其质量好坏直接影响产品的质量。2018年，中国大陆生产的PCB产值占全球的55.7％，持续保持高增长(达7.7％)，稳居全球第一。现代电子产业、通讯产业、互联网产业以及制造业的高速发展，需要生产更高质量的印刷电路板。随着电子产品趋于微型化和电路板加工工艺的提升，PCB生产正向高精度、高速率、高密度、多层化的方向发展。

差影法是最常使用的电路板缺陷检测方法，其工作原理是将待检图和预先制作的参考图像进行差分计算，逐像素对比出实时拍摄的感测图像与标准模板之间的不同之处，从而找出产品中的缺陷。使用差影法进行缺陷检测要先进行图像配准，图像配准是使用差影法的前提。图像配准是将不同场景、不同时间或不同传感器获取的多幅图像进行对准叠加的过程，是图像处理领域的一个基本问题。但是印刷品图像复杂，当有大量重复图形或印刷缺陷存在时，目前的图像配准方法的配准精度不够高。

现有技术中，如2019年1月11日公开的一种基于区域生长与蚁群优化算法相结合的边缘检测方法，公开号为CN109191478A，通过将区域生长与蚁群优化算法相结合，克服了图像边缘检测技术中的图像边缘不清晰、边缘不连续、受噪影响大的缺陷，但是不适用于图像配准，无法提高图像配准精度。

发明内容

本发明为克服目前的图像配准方法的配准精度不够高的技术缺陷，提供一种基于连续域蚁群算法改进的图像配准方法。

为解决上述技术问题，本发明的技术方案如下：

一种基于连续域蚁群算法改进的图像配准方法，包括以下步骤：

S1：确定模板图像和感测图像；

S2：提取模板图像的图形轮廓，得到模板像素点集合T；

提取感测图像的图形轮廓，得到搜索像素点集合E；

S3：量化T与E的相似度；

S4：切分模板图像生成感兴趣区域；

S5：将感兴趣区域与感测图像进行匹配，采用连续域蚁群算法找到相似度最大的度量，实现图像配准。

优选的，在步骤S2中，采用边缘检测算子提取模板图像中的图形轮廓，生成模板像素点集合T：

采用边缘检测算子提取感测图像中的图形轮廓，生成搜索像素点集合E：

其中，

表示第i个模板像素点的坐标，

表示第i个模板像素点的方向向量，共m个像素点；

表示第j个搜索像素点的坐标，

表示第j个搜索像素点的方向向量，共n个像素点。

优选的，在步骤S2中，还包括以下步骤：以偏转半个像素所需的旋转角度为步长，在限定的平移范围和偏转范围内遍历所有的旋转角度，对应得到多个平移旋转变换后的模板图像；平移变换后的模板像素点坐标为p′＝Ap+t_p，旋转变换后的模板像素点的方向向量为

其中，A是旋转变换矩阵，p是平移变换前模板像素点的坐标，t_p是模板图像的平移量。

优选的，在步骤S3中，通过计算平移旋转变换后的模板图像上所有模板像素点的方向向量与感测图像中相应搜索像素点的方向向量的内积的总和量化T 与E的相似度，并用一个[0,1]区间内的匹配分数来表示：

其中，〈·〉为内积，||·||为欧几里德范数，

是感测图像中与模板图像的第i个模板像素点相对应的搜索像素点的方向向量。

优选的，在步骤S4中，使用网格切分法切分模板图像，具体为：

将模板图像切割成k个区域，区域内连续的轮廓线分为1簇，每个区域内有若干簇轮廓线，则切分后的模板图像的模板像素点集合为：

其中，

表示第i个模板像素点的坐标，

表示第i个模板像素点的方向向量，

表示第i个模板像素点的所属区域，共m个像素点；

轮廓线的质心为

定义水平平移的约束为δx，垂直平移的约束为δy，旋转角度的约束为δθ，则使用大小为(2δx+1)×(2δy+1)的矩形膨胀轮廓线来涵盖轮廓线能够平移的区域，在[-δθ,δθ]范围内旋转矩形膨胀轮廓线生成感兴趣区域。

优选的，通过求得变换参数求解问题的全局最优解找到相似度最大的度量，变换参数求解问题为：

α^*＝argmax(s(E,T_α(C)))

其中，α^*是变换参数求解问题的最优解，T_α(C)是模板图像的无序的有方向模板像素点集合，α是仿射变换的参数，s(E,T_α(C))是E与T_α(C)的相似度度量。

优选的，采用连续域蚁群算法求得变换参数求解问题的全局最优解，包括以下步骤：

S5.1：初始化：进行蚂蚁数量、任务量、解的子区间数、最大迭代次数、迭代终止条件的初始化；模板图像的每个区域提取z条轮廓线，k个区域的任务量为m＝k*z，每个子区间初始的信息素浓度为1；

S5.2：执行任务：执行子区间的任务，根据相似度进行排序计算权重，选出解组件x；k个子区间生成k个解组件放在解档案中，第一轮计算完成；

S5.3：信息素更新：进行下一轮迭代计算，各子区间生成新的解组件，根据解组件的概率密度函数，取样生成候选解组件；候选解组件与解档案中的解组件排序，根据挥发性将解档案中挥发性较差的解组件移除，生成新的解档案；

S5.4：当到达最大迭代次数t_max或结果收敛则结束迭代，求得变换参数求解问题的最优解；否则，返回执行步骤S5.3。

优选的，连续域蚁群算法的核心模型为：

P＝(S,Ω,f)

其中，解空间S＝[S_min,S_max]，S_min是最小相似度度量，S_max是最大相似度度量，将解空间S划分成k个的子区间S＝{s₁,s₂,...,s_k}，s_i＝{t_x,t_y,θ}是满足约束条件Ω的三维解向量，s∈S，t_x、t_y和θ为相似度影响参数；目标函数f：

为相似度量函数，要使其最大化；当且仅当满足：f(s^*)≥f(s)时，s^*∈S表示变换参数的全局最优解。

优选的，在步骤S5.3中，采用动态生成概率密度函数的方法来更新信息素，通过信息素和启发值选择解组件更新解组件档案，最后组合出完整解；

使用高斯核概率密度函数Gⁱ(i＝1,2,...,N)作为取样函数：

N维解组件定义i＝1,2,...,N个高斯函数

把高斯函数通过权值ω_l组合起来形成高斯核概率密度函数；

高斯函数

由期望

和均方差

决定：

其中，l表示在排序序列中的等级。

优选的，在步骤S5.4中，结果是否收敛由解档案的多样性来决定，表示为：

由于要精确到亚像素级别，则当

时结果收敛；否则，结果不收敛；其中，

是解组件的均值。

与现有技术相比，本发明技术方案的有益效果是：

本发明提供了一种基于连续域蚁群算法改进的图像配准方法，量化像素点集合的相似度，然后采用连续域蚁群算法找到相似度最大的度量，实现将切分后的模板图像与感测图像配准，在保证配准速度的前提下，提高了配准精度。

附图说明

图1为本发明的技术方案实施步骤流程图；

图2为本发明中连续域蚁群算法的步骤流程图；

图3为本发明中连续域蚁群算法的解档案架构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

如图1所示，一种基于连续域蚁群算法改进的图像配准方法，包括以下步骤：

S1：确定模板图像和感测图像；

S2：提取模板图像的图形轮廓，得到模板像素点集合T；

提取感测图像的图形轮廓，得到搜索像素点集合E；

S3：量化T与E的相似度；

S4：切分模板图像生成感兴趣区域；

S5：将感兴趣区域与感测图像进行匹配，采用连续域蚁群算法找到相似度最大的度量，实现图像配准。

在具体实施过程中，量化像素点集合的相似度，然后采用连续域蚁群算法找到相似度最大的度量，实现将切分后的模板图像与感测图像配准，在保证配准速度的前提下，提高了配准精度。

更具体的，在步骤S2中，采用边缘检测算子提取模板图像中的图形轮廓，生成模板像素点集合T：

采用边缘检测算子提取感测图像中的图形轮廓，生成搜索像素点集合E：

其中，

表示第i个模板像素点的坐标，

表示第i个模板像素点的方向向量，共m个像素点；

表示第j个搜索像素点的坐标，

表示第j个搜索像素点的方向向量，共n个像素点。

在具体实施过程中，模板像素点集合是无序的有方向边缘像素点集合。

更具体的，在步骤S2中，还包括以下步骤：以偏转半个像素所需的旋转角度为步长，在限定的平移范围和偏转范围内遍历所有的旋转角度，对应得到多个平移旋转变换后的模板图像；平移变换后的模板像素点坐标为p′＝Ap+t_p，旋转变换后的模板像素点的方向向量为

其中，A是旋转变换矩阵，p是平移变换前模板像素点的坐标，t_p是模板图像的平移量。

在具体实施过程中，自动光学检测设备中的机械定位装置会将采集图像偏转的角度限定在一定的范围内。精确到亚像素时，将偏转半个像素所对应的角度为步长，遍历所有可能的旋转角度生成多个不同旋转角度的模板图像，在平移范围内于感测图像中匹配模板图像，通过模板图像与感测图像的相似度来匹配图像。

更具体的，在步骤S3中，通过计算平移旋转变换后的模板图像上所有模板像素点的方向向量与感测图像中相应搜索像素点的方向向量的内积的总和量化 T与E的相似度，并用一个[0,1]区间内的匹配分数来表示：

其中，〈·〉为内积，||·||为欧几里德范数，

是感测图像中与模板图像的第i个模板像素点相对应的搜索像素点的方向向量。

在具体实施过程中，该相似度度量可满足对遮挡、缺失、杂点、光照变化的鲁棒性要求。噪声或PCB缺陷所产生的随机方向向量通过归一化平均后数值很小，对相似度的最终结果影响不大，归一化后的相似度度量小于或等于1，等于 1表示与模板图完全一致。

更具体的，在步骤S4中，使用网格切分法切分模板图像，具体为：

将模板图像切割成k个区域，区域内连续的轮廓线分为1簇，每个区域内有若干簇轮廓线，则切分后的模板图像的模板像素点集合为：

其中，

表示第i个模板像素点的坐标，

表示第i个模板像素点的方向向量，

表示第i个模板像素点的所属区域，共m个像素点；

轮廓线的质心为

定义水平平移的约束为δx，垂直平移的约束为δy，旋转角度的约束为δθ，则使用大小为(2δx+1)×(2δy+1)的矩形膨胀轮廓线来涵盖轮廓线能够平移的区域，在[-δθ,δθ]范围内旋转矩形膨胀轮廓线生成感兴趣区域。

在具体实施过程中，配准要求精确到亚像素级，则旋转的最小弧度为1/2像素，根据模板像素点到质心的最长距离计算出最小角度作为旋转变换的步长，使用生成的感兴趣区域(REGION OF INTEREST，ROI)作为搜索区域在感测图像中进行匹配。

更具体的，通过求得变换参数求解问题的全局最优解找到相似度最大的度量，变换参数求解问题为：

α^*＝argmax(s(E,T_α(C)))

其中，α^*是变换参数求解问题的最优解，T_α(C)是模板图像的无序的有方向模板像素点集合，α是仿射变换的参数，s(E,T_α(C))是E与T_α(C)的相似度度量。

在具体实施过程中，网格切分后的图像匹配会找到局部最优解，为了获得全局最优解，需要找到相似度最大的度量。

更具体的，如图2所示，采用连续域蚁群算法求得变换参数求解问题的全局最优解，包括以下步骤：

S5.1：初始化：进行蚂蚁数量、任务量、解的子区间数、最大迭代次数、迭代终止条件的初始化；模板图像的每个区域提取z条轮廓线，k个区域的任务量为m＝k*z，每个子区间初始的信息素浓度为1；

S5.2：执行任务：执行子区间的任务，根据相似度进行排序计算权重，选出解组件x；k个子区间生成k个解组件放在解档案中，第一轮计算完成；

S5.3：信息素更新：进行下一轮迭代计算，具体为：重复执行子区间的任务，根据相似度进行排序计算权重，各子区间生成新的解组件，根据解组件的概率密度函数，取样生成候选解组件；候选解组件与解档案中的解组件排序，根据挥发性将解档案中挥发性较差的解组件移除，生成新的解档案，如图3所示；

S5.4：当到达最大迭代次数t_max或结果收敛则结束迭代，求得变换参数求解问题的最优解；否则，返回执行步骤S5.3。

在具体实施过程中，挥发性即信息素的更新速度，信息素的更新速度越快，挥发性越好；使用连续域蚁群算法寻找全局最优解，将解空间[S_min,S_max]划分成k 个子区间，S_min是最小相似度度量,S_max是最大相似度度量，子区间数与模板图像切分的区域数相等，根据轮廓线条数量z设定每个区域有z只蚂蚁，该z只蚂蚁只在一个子区间中进行搜索，则k个子区间共有m＝k*z只蚂蚁；使用相似度f(s) 度量区间的优良程度；通过信息素的更新来缩小解空间的范围，最终找到全局最优解。最大迭代次数设定为t_max，迭代终止条件设定为结果收敛。

更具体的，连续域蚁群算法的核心模型为：

P＝(S,Ω,f)

其中，解空间S＝[S_min,S_max]，S_min是最小相似度度量，S_max是最大相似度度量，将解空间S划分成k个的子区间S＝{s₁,s₂,...,s_k}，s_i＝{t_x,t_y,θ}是满足约束条件Ω的三维解向量，s∈S，t_x、t_y和θ为相似度影响参数；目标函数f：

为相似度量函数，要使其最大化；当且仅当满足：f(s^*)≥f(s)时，s^*∈S表示变换参数的全局最优解。

在具体实施过程中，变换参数求解问题是多维连续域寻优问题，配准过程就是搜索到使相似度最大的参数t_x、t_y和θ。

更具体的，在步骤S5.3中，采用动态生成概率密度函数的方法来更新信息素，通过信息素和启发值选择解组件更新解组件档案，最后组合出完整解；

使用高斯核概率密度函数Gⁱ(i＝1,2,...,N)作为取样函数：

N维解组件定义i＝1,2,...,N个高斯函数

把高斯函数通过权值ω_l组合起来形成高斯核概率密度函数；

的选择由权重比p_l决定：

ω_l表示为：

重ω_l的值由相似度量函数f(s_l)决定，根据相似度排序ω₁≥ω₂≥L≥ω_l≥L≥ω_k，相似度越大，函数值越大，则权重越大，相应的高斯函数

更有机会被选中；qk为标准差，通过调整q(0<q<1)的值调节信息素更新的速度，q越小，被选中的可能性越大，越容易陷入局部最优解；

因此，高斯函数

由期望

和均方差

决定：

其中，l表示在排序序列中的等级。

在实施过程中，连续域蚁群算法中的启发值即其目标函数值。

更具体的，在步骤S5.4中，结果是否收敛由解档案的多样性来决定，表示为：

由于要精确到亚像素级别，则当

时结果收敛；否则，结果不收敛；其中，

是解组件的均值。

在具体实施过程中，经过10组测试，每组测试图的数量为10张，使用本实施例的图像配准方法进行配准，准确性达到亚像素级，计算时间小于500ms，配准率为94％，可同时满足实际生产对准确率和速度的要求。有6张测试图无法使用本实施例的图像配准方法配准是由于图形集中在PCB图像的四角而中央区域是大片空白，当采集到的图像旋转角度较大时，图形旋转弧度过大偏离了检测范围致使图形匹配度大幅下降所致。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种基于连续域蚁群算法改进的图像配准方法，其特征在于，包括以下步骤：

S1：确定模板图像和感测图像；

S2：提取模板图像的图形轮廓，得到模板像素点集合T；

提取感测图像的图形轮廓，得到搜索像素点集合E；

S3：量化T与E的相似度；

S4：切分模板图像生成感兴趣区域；

S5：将感兴趣区域与感测图像进行匹配，采用连续域蚁群算法找到相似度最大的度量，实现图像配准。

2.根据权利要求1所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，在步骤S2中，采用边缘检测算子提取模板图像中的图形轮廓，生成模板像素点集合T：

采用边缘检测算子提取感测图像中的图形轮廓，生成搜索像素点集合E：

其中，

表示第i个模板像素点的坐标，

表示第i个模板像素点的方向向量，共m个像素点；

表示第j个搜索像素点的坐标，

表示第j个搜索像素点的方向向量，共n个像素点。

3.根据权利要求2所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，在步骤S2中，还包括以下步骤：以偏转半个像素所需的旋转角度为步长，在限定的平移范围和偏转范围内遍历所有的旋转角度，对应得到多个平移旋转变换后的模板图像；平移变换后的模板像素点坐标为p′＝Ap+t_p，旋转变换后的模板像素点的方向向量为

其中，A是旋转变换矩阵，p是平移变换前模板像素点的坐标，t_p是模板图像的平移量。

4.根据权利要求3所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，在步骤S3中，通过计算平移旋转变换后的模板图像上所有模板像素点的方向向量与感测图像中相应搜索像素点的方向向量的内积的总和量化T与E的相似度，并用一个[0,1]区间内的匹配分数来表示：

其中，〈·〉为内积，||·||为欧几里德范数，

是感测图像中与模板图像的第i个模板像素点相对应的搜索像素点的方向向量。

5.根据权利要求4所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，在步骤S4中，使用网格切分法切分模板图像，具体为：

将模板图像切割成k个区域，区域内连续的轮廓线分为1簇，每个区域内有若干簇轮廓线，则切分后的模板图像的模板像素点集合为：

其中，

表示第i个模板像素点的坐标，

表示第i个模板像素点的方向向量，

表示第i个模板像素点的所属区域，共m个像素点；

轮廓线的质心为

定义水平平移的约束为δx，垂直平移的约束为δy，旋转角度的约束为δθ，则使用大小为(2δx+1)×(2δy+1)的矩形膨胀轮廓线来涵盖轮廓线能够平移的区域，在[-δθ,δθ]范围内旋转矩形膨胀轮廓线生成感兴趣区域。

6.根据权利要求5所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，通过求得变换参数求解问题的全局最优解找到相似度最大的度量，变换参数求解问题为：

α^*＝argmax(s(E,T_α(C)))

其中，α^*是变换参数求解问题的最优解，T_α(C)是模板图像的无序的有方向模板像素点集合，α是仿射变换的参数，s(E,T_α(C))是E与T_α(C)的相似度度量。

7.根据权利要求6所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，采用连续域蚁群算法求得变换参数求解问题的全局最优解，包括以下步骤：

S5.1：初始化：进行蚂蚁数量、任务量、解的子区间数、最大迭代次数、迭代终止条件的初始化；模板图像的每个区域提取z条轮廓线，k个区域的任务量为m＝k*z，每个子区间初始的信息素浓度为1；

S5.2：执行任务：执行子区间的任务，根据相似度进行排序计算权重，选出解组件x；k个子区间生成k个解组件放在解档案中，第一轮计算完成；

S5.3：信息素更新：进行下一轮迭代计算，各子区间生成新的解组件，根据解组件的概率密度函数更新信息素，取样生成候选解组件；候选解组件与解档案中的解组件排序，根据挥发性将解档案中挥发性较差的解组件移除，生成新的解档案；

S5.4：当到达最大迭代次数t_max或结果收敛则结束迭代，求得变换参数求解问题的最优解；否则，返回执行步骤S5.3。

8.根据权利要求7所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，连续域蚁群算法的核心模型为：

P＝(S,Ω,f)

其中，解空间S＝[S_min,S_max]，S_min是最小相似度度量，S_max是最大相似度度量，将解空间S划分成k个的子区间S＝{s₁,s₂,...,s_k}，s_i＝{t_x,t_y,θ}是满足约束条件Ω的三维解向量，s∈S，t_x、t_y和θ为相似度影响参数；目标函数f：

为相似度量函数，要使其最大化；当且仅当满足：f(s^*)≥f(s)时，s^*∈S表示变换参数的全局最优解。

9.根据权利要求7所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，在步骤S5.3中，采用动态生成概率密度函数的方法来更新信息素，通过信息素和启发值选择解组件更新解组件档案，最后组合出完整解；

使用高斯核概率密度函数Gⁱ(i＝1,2,...,N)作为取样函数：

N维解组件定义i＝1,2,...,N个高斯函数

把高斯函数通过权值ω_l组合起来形成高斯核概率密度函数；

高斯函数

由期望

和均方差

决定：

其中，l表示在排序序列中的等级。

10.根据权利要求9所述的一种基于连续域蚁群算法改进的图像配准方法，其特征在于，在步骤S5.4中，结果是否收敛由解档案的多样性来决定，表示为：

由于要精确到亚像素级别，则当

时结果收敛；否则，结果不收敛；其中，

是解组件的均值。

Images