CN117011351A - 一种超大尺寸陶瓷基板图像配准方法 - Google Patents

Abstract

本发明涉及陶瓷基板图像配准技术领域，公开了一种超大尺寸陶瓷基板图像配准方法，包括以下步骤：获取多个线扫相机的图像；完整图像拼接；模板图与待测图像之间的粗配准；模板图与待测图像之间的精配准；精配准结果的全局应用。本发明基于两个线扫相机获取的31000×16000的两张图像，获取其拼接矩阵，对模板图像和待检测图像进行粗配准和细配准，并将精配准结果应用到全局，得到高效的鲁棒配准矩阵，提高了检测准确度，降低检测误检率和漏检率。此外，通过两个线扫相机成像方式，缓解了单个线扫相机覆盖范围不够大的问题，实现了检测数据规模的扩增；使用由粗到精的配准方式在保证配准精度的同时实现了速度的加快。

Description

一种超大尺寸陶瓷基板图像配准方法

技术领域

本发明涉及陶瓷基板图像配准技术领域，具体涉及一种超大尺寸陶瓷基板图像配准方法。

背景技术

随着我国工业的不断进步，陶瓷基板技术工艺不断精进，出现了众多细分市场，不同种类的陶瓷基板性能也大不相同，在集成电路、移动通信、汽车电子、航空医疗等领域广泛应用，市场极其广阔。

国内从事陶瓷产业的众多企业对印刷工艺提出了更高的要求，急需通过质量检测进行严格把关，提升产品质量。在对印刷质量进行检测时，需要根据模版图像和缺陷图像之间的差别来检测图像，模版图像和缺陷图像配准结果的精度对检测质量的精度影响重大。

常见的陶瓷基板生产一般使用大小为6寸、8寸两种尺寸的生瓷片，其边长为152mm和203mm，电路图形不同区域的检测需求不同，最细线宽及线间距为0.1mm，最小可检测缺陷大小为20μm，主要分为短路、断路、残屑、凹陷、毛刺、针孔等缺陷。

针对线扫相机不能覆盖整个陶瓷基板的面积问题，为保证可检测缺陷大小，采用两个线扫相机获取31000×16000的两张图像，然后拼接成完整图像。由于拼接后超大尺寸的图像需要配准模版图像和待检测图像样本，本发明研发了一种超大尺寸陶瓷基板图像配准方法来解决该配准问题。

发明内容

鉴于此，本发明的目的在于，提供一种超大尺寸陶瓷基板图像配准方法，以解决上述背景技术中所指出的问题。

为了达到上述发明目的，进而采取的技术方案如下：

一种超大尺寸陶瓷基板图像配准方法，包括以下步骤：

S1、获取多个线扫相机的图像

将多个线扫相机并排安装，使其达到彼此之间位置相对固定，同时需要注意，在扫描过程中，保证相邻的线扫相机扫描区域中存在彼此重叠部分，这一步的目的为保证有足够的重叠面积为多图拼接建立基础；

S2、完整图像拼接

基于步骤S1的位置设定，建立数学模型假设，即任意两张线扫相机之间的图像变换矩阵都属于仿射变换，以及其仿摄变换矩阵固定；换言之，本发明一经计算得到的图像变换矩阵，可以同时适用缺陷图和模版图，亦可多次复用；基于此，离线计算多个线扫相机直接的拼接矩阵，并将计算结果进行存储；当在线使用时，直接读取离线计算矩阵进行图像拼接；

为了满足实时性的要求，本发明采用一种由粗到精的配准方式，粗配准的目的是使得模板图像和待测图像之间的配准误差缩小到一定的范围，缩小两张图像变换矩阵的解空间。

S3、模板图与待测图像之间的粗配准

首先将图像缩小m倍，得到小尺寸的图像，然后利用SIFT特征来计算小尺寸图像之间的变换矩阵，采用该计算方式，会造成计算得到的粗等变换矩阵的误差为源图像的m倍，带来的好处则是计算速度提升为原来的m倍；

S4、模板图与待测图像之间的精配准

经过步骤S3配准后的图像表现为两组图像之间存在着1～20个像素的不配准差异，为了进一步降低误差，提供高精度的配准图像，同时为了满足实时性的要求，采用局部区域配准的方式来实现精配准；

采用这种精配准的计算方式，能保证在裁剪的局部区域内实现精确配准，同时该步的计算量仅为源图计算量的1/n；注意，本步骤的变换矩阵是有界矩阵，其取值范围与S3步骤的粗配准精度相关。

精配准计算方法如下步骤：

S4-1、选取源图像，即陶瓷基板电路图形中纹理特征丰富的区域进行裁剪，裁剪面积为源图像的1/n；

S4-2、通过计算两副裁剪的图像之间的变换矩阵，得到精配准的矩阵；

S5、精配准结果的全局应用

经过步骤S4得到的精配准矩阵，不能直接应用于两组源图像，需要经过以下步骤：

S5-1、对齐局部裁剪区域与整体源图像之间的坐标关系，将两组坐标整合到同一参考系中；

S5-2、利用精配准矩阵进行采样，获取一定量的对应点；

S5-3、将对应点坐标由局部图转换到整体图坐标，利用得到的整体图坐标计算最终的源图像精配准矩阵。

在上述步骤中，本发明通过步骤S2的离线计算保障了在线计算时实时性。通过步骤S3，步骤S4，步骤S5的粗配准和局部配准，使得本发明计算量为直接整体计算量的(m+n)/mn。

本发明基于多个线扫相机获取多张图像，并进行拼接，形成31000×31000的超大尺寸的模板图像和待检测图像，以便于进行配准。配准时，首先建立一个粗配准过程，将配准和待检测样本配准到一定的误差范围内。然后将粗配准的结果作为精配准的输入，选粗配准的部分典型区域进行进一步的仿射变换调整。最后将局部仿射矩阵映射会整体图像，实现整体图像的精配准。

SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。

SIFT算法操作步骤包括以下几步：

(1)图像金字塔

采用高斯函数对图像Image(x,y)进行模糊以及降采样处理得到，L(x,y,σ)＝G(x,y,σ)×Image(x,y)。

(2)空间极值点(即关键点)检测

关键点是由DOG空间的局部极值点组成的，关键点的初步探查是通过同一组内各DoG相邻两层图像之间比较完成的。为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，确保在尺度空间和二维图像空间都检测到极值点。

(3)关键点方向分配

为了使描述符具有旋转不变性，需要利用图像的局部特征为给每一个关键点分配一个基准方向。使用图像梯度的方法求取局部结构的稳定方向。

(4)特征点描述符

每一个关键点拥有三个信息：位置、尺度以及方向，为每个关键点建立一个描述符，使其不随各种变化而改变，比如光照变化、视角变化等等，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。

在基于SIFT算法进行拼接时，步骤如下：

(1)将输入的图像转化为灰度图，采用cv2.cvtColor(left,cv2.THRESH_BINARY)函数进行转化；

(2)创建SIFT对象，采用cv2.xfeatures2d.SIFT_create()进行创建，不需要传递参数；求解特征点和特征向量，采用sift.detectAndCompute(gray1,None)进行求解，第一个参数是求解特征点和特征向量的图像，第二个参数决定是否对特定区域求解，传入一个mask，返回值kps是对图像求解的特征点，是一个一维向量，其中每一个元素属于keypoint类型，dp是与kps对性的特征向量，也是一个列表，其中每一个元素是长度为128的向量；

(3)构造BFMacher对象，采用cv2.BFMatcher()进行构建；

(4)用knnMatch方法进行关键点多点匹配，采用bf.knnMatch(dpA,dpB,k＝2)匹配，返回列表；

(5)去除不可靠匹配，遍历matches，如果第一对点的欧氏距离小于k倍第二对点的欧氏距离则说明第一对点匹配可靠，将这对点的索引号追加到good_matches；

(6)寻得可靠匹配点并转换类型；

(7)采用cv2.findHomography求解转换矩阵；

(8)图像空间变换，采用cv2.warpPerspective函数；

(9)图像拼接。

经过SIFT算法得到了图像中的特征点以及相应的特征描述，一般采用KNN算法对特征点进行匹配。K近邻算法求取在空间中距离最近的K个数据点，并将这些数据点归为一类，如果最接近和此接近的比值大于一个既定的值，则保留最接近的值，认为该值和其匹配的点为goodmatch。

本发明的有益效果是：本发明基于两个线扫相机获取的31000×16000的两张图像，获取其拼接矩阵，采用本发明所提出的两步法的技术，对模板图像和待检测图像进行粗配准和细配准，并将精配准结果应用到全局，得到高效的鲁棒配准矩阵，提高了检测准确度，降低检测误检率和漏检率。

通过两个线扫相机成像方式，缓解了单个线扫相机覆盖范围不够大的问题，实现了检测数据规模的扩增。使用由粗到精的配准方式在保证配准精度的同时实现了速度的重大加快，为在工业批量生产应用提供了实时性的保障。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明一种超大尺寸陶瓷基板图像配准方法的流程示意图；

图2是本发明左侧线扫相机采集到的图像；

图3是本发明右侧线扫相机采集到的图像；

图4是本发明实施例的SIFT算法流程图；

图5是本发明实施例的粗配准图像棋盘格测试结果；

图6是本发明实施例的粗配准图像棋盘格测试结果；

图7是本发明实施例的配准图像结果。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

如图1-7所示，一种超大尺寸陶瓷基板图像配准方法，包括以下步骤：

S1、获取多个线扫相机的图像

将多个线扫相机并排安装，使其达到彼此之间位置相对固定，同时需要注意，在扫描过程中，保证相邻的线扫相机扫描区域中存在彼此重叠部分，这一步的目的为保证有足够的重叠面积为多图拼接建立基础；

S2、完整图像拼接

基于步骤S1的位置设定，建立数学模型假设，即任意两张线扫相机之间的图像变换矩阵都属于仿射变换，以及其仿摄变换矩阵固定；换言之，本发明一经计算得到的图像变换矩阵，可以同时适用缺陷图和模版图，亦可多次复用；基于此，离线计算多个线扫相机直接的拼接矩阵，并将计算结果进行存储；当在线使用时，直接读取离线计算矩阵进行图像拼接；

为了满足实时性的要求，本发明采用一种由粗到精的配准方式，粗配准的目的是使得模板图像和待测图像之间的配准误差缩小到一定的范围，缩小两张图像变换矩阵的解空间。

S3、模板图与待测图像之间的粗配准

首先将图像缩小m倍，得到小尺寸的图像，然后利用SIFT特征来计算小尺寸图像之间的变换矩阵，采用该计算方式，会造成计算得到的粗等变换矩阵的误差为源图像的m倍，带来的好处则是计算速度提升为原来的m倍；

S4、模板图与待测图像之间的精配准

经过步骤S3配准后的图像表现为两组图像之间存在着1～20个像素的不配准差异，为了进一步降低误差，提供高精度的配准图像，同时为了满足实时性的要求，采用局部区域配准的方式来实现精配准；

采用这种精配准的计算方式，能保证在裁剪的局部区域内实现精确配准，同时该步的计算量仅为源图计算量的1/n；注意，本步骤的变换矩阵是有界矩阵，其取值范围与S3步骤的粗配准精度相关。

精配准计算方法如下步骤：

S4-1、选取源图像，即陶瓷基板电路图形中纹理特征丰富的区域进行裁剪，裁剪面积为源图像的1/n；

S4-2、通过计算两副裁剪的图像之间的变换矩阵，得到精配准的矩阵；

S5、精配准结果的全局应用

经过步骤S4得到的精配准矩阵，不能直接应用于两组源图像，需要经过以下步骤：

S5-1、对齐局部裁剪区域与整体源图像之间的坐标关系，将两组坐标整合到同一参考系中；

S5-2、利用精配准矩阵进行采样，获取一定量的对应点；

S5-3、将对应点坐标由局部图转换到整体图坐标，利用得到的整体图坐标计算最终的源图像精配准矩阵。

在上述步骤中，本发明通过步骤S2的离线计算保障了在线计算时实时性。通过步骤S3，步骤S4，步骤S5的粗配准和局部配准，使得本发明计算量为直接整体计算量的(m+n)/mn。

本发明基于多个线扫相机获取多张图像，并进行拼接，形成31000×31000的超大尺寸的模板图像和待检测图像，以便于进行配准。配准时，首先建立一个粗配准过程，将配准和待检测样本配准到一定的误差范围内。然后将粗配准的结果作为精配准的输入，选粗配准的部分典型区域进行进一步的仿射变换调整。最后将局部仿射矩阵映射会整体图像，实现整体图像的精配准。

SIFT算法的实质是在不同的尺度空间上查找关键点(特征点)，并计算出关键点的方向。SIFT所查找到的关键点是一些十分突出，不会因光照，仿射变换和噪音等因素而变化的点，如角点、边缘点、暗区的亮点及亮区的暗点等。

SIFT算法操作步骤包括以下几步：

(1)图像金字塔

采用高斯函数对图像Image(x,y)进行模糊以及降采样处理得到，L(x,y,σ)＝G(x,y,σ)×Image(x,y)。

(2)空间极值点(即关键点)检测

关键点是由DOG空间的局部极值点组成的，关键点的初步探查是通过同一组内各DoG相邻两层图像之间比较完成的。为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小，确保在尺度空间和二维图像空间都检测到极值点。

(3)关键点方向分配

为了使描述符具有旋转不变性，需要利用图像的局部特征为给每一个关键点分配一个基准方向。使用图像梯度的方法求取局部结构的稳定方向。

(4)特征点描述符

每一个关键点拥有三个信息：位置、尺度以及方向，为每个关键点建立一个描述符，使其不随各种变化而改变，比如光照变化、视角变化等等，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。

在基于SIFT算法进行拼接时，步骤如下：

(1)将输入的图像转化为灰度图，采用cv2.cvtColor(left,cv2.THRESH_BINARY)函数进行转化；

(2)创建SIFT对象，采用cv2.xfeatures2d.SIFT_create()进行创建，不需要传递参数；求解特征点和特征向量，采用sift.detectAndCompute(gray1,None)进行求解，第一个参数是求解特征点和特征向量的图像，第二个参数决定是否对特定区域求解，传入一个mask，返回值kps是对图像求解的特征点，是一个一维向量，其中每一个元素属于keypoint类型，dp是与kps对性的特征向量，也是一个列表，其中每一个元素是长度为128的向量；

(3)构造BFMacher对象，采用cv2.BFMatcher()进行构建；

(4)用knnMatch方法进行关键点多点匹配，采用bf.knnMatch(dpA,dpB,k＝2)匹配，返回列表；

(5)去除不可靠匹配，遍历matches，如果第一对点的欧氏距离小于k倍第二对点的欧氏距离则说明第一对点匹配可靠，将这对点的索引号追加到good_matches；

(6)寻得可靠匹配点并转换类型；

(7)采用cv2.findHomography求解转换矩阵；

(8)图像空间变换，采用cv2.warpPerspective函数；

(9)图像拼接。

经过SIFT算法得到了图像中的特征点以及相应的特征描述，一般采用KNN算法对特征点进行匹配。K近邻算法求取在空间中距离最近的K个数据点，并将这些数据点归为一类，如果最接近和此接近的比值大于一个既定的值，则保留最接近的值，认为该值和其匹配的点为goodmatch。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进、部件拆分或组合等，均应包含在本发明的保护范围之内。

Claims (1)

1.一种超大尺寸陶瓷基板图像配准方法，其特征在于，包括以下步骤：

S1、获取多个线扫相机的图像

将多个线扫相机并排安装，使其达到彼此之间位置相对固定，在扫描过程中，保证相邻的线扫相机扫描区域中存在彼此重叠部分；

S2、完整图像拼接

基于步骤S1的位置设定，建立数学模型假设，即任意两张线扫相机之间的图像变换矩阵都属于仿射变换，以及其仿摄变换矩阵固定；基于此，离线计算多个线扫相机直接的拼接矩阵，并将计算结果进行存储；当在线使用时，直接读取离线计算矩阵进行图像拼接；

S3、模板图与待测图像之间的粗配准

首先将图像缩小m倍，得到小尺寸的图像，然后利用SIFT特征来计算小尺寸图像之间的变换矩阵；

S4、模板图与待测图像之间的精配准

经过步骤S3配准后的图像表现为两组图像之间存在着1～20个像素的不配准差异，采用局部区域配准的方式来实现精配准；

精配准计算方法如下步骤：

S4-1、选取源图像，即陶瓷基板电路图形中纹理特征丰富的区域进行裁剪，裁剪面积为源图像的1/n；

S4-2、通过计算两副裁剪的图像之间的变换矩阵，得到精配准的矩阵；

S5、精配准结果的全局应用

经过步骤S4得到的精配准矩阵，不能直接应用于两组源图像，需要经过以下步骤：

S5-1、对齐局部裁剪区域与整体源图像之间的坐标关系，将两组坐标整合到同一参考系中；

S5-2、利用精配准矩阵进行采样，获取一定量的对应点；

S5-3、将对应点坐标由局部图转换到整体图坐标，利用得到的整体图坐标计算最终的源图像精配准矩阵。