CN111507904B - 一种微观打印图案的图像拼接方法及装置 - Google Patents

Abstract

本发明提供了一种应用于微观打印图案的图像拼接方法及系统，属于图像处理领域。该方法为：在图像重叠区域内计算对应的点特征和直线特征；将源图像初步网格划分，使用点特征和直线特征的对应性，计算每个网格的局部单应性变换矩阵，以此将两幅图像进行初步拼接；将初步变换的源图像再次作网格划分，使用网格顶点表示点特征和直线特征，结合局部相似性和全局一致性，进一步优化对齐。本发明引入直线特征来求解变换模型，避免了打印图案部分区域特征点不足引起的误匹配；使用局部变换模型，增加了变换模型的自由度，提高了拼接图像的对齐精度；使用基于网格的变换模型，引入局部相似性和全局一致性，对初步对齐的拼接结果进行优化，提高对齐精度。

Description

一种微观打印图案的图像拼接方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种微观打印图案优化拼接精度的方法和装置。

背景技术

在许多科研领域需要对待检测目标的微观形貌进行观测，比如医疗、生物、材料和精密制造等。为了获取待检测目标的微观形貌，需要借助具有足够分辨率的相机和镜头才能得到合适的观测图像。但分辨率的提高，不可避免的会造成相机视野的减少，这就造成只能直接对待检测目标的局部进行观测。而在保证合适的分辨率的前提下，通过直接增加相机的感光元件的尺寸，不但大幅度的增加成本，而且不能解决对更大的观测范围的需求，这就需要使用微观图像拼接技术。对于微观打印图案，由于是人为制造的结构化图案，因此在可能存在规律化的直线特征，但却缺少足够的点特征，不能够获得足够多的一致性特征，同时由于微观打印图案的精度高，对于拼接的结果中轻微的偏移就会造成打印直线的不连续，这就需要拼接精度更高的方法。

发明内容

针对现有技术存在的问题，本发明提供一种微观打印图案的图像拼接方法及装置，可有效的改善现有微观打印图案拼接特征不足和对齐精度不够的问题。

一种图像拼接方法，包括以下步骤：

(1)从目标图像和源图像的重叠区域中提取对应的点特征和直线特征；

(2)将源图像作初步网格划分，使用点特征和直线特征的对应性，计算每个网格的局部单应性变换矩阵，以此将两幅图像进行初步拼接；

(3)将初步拼接的源图像再次作网格划分，将点特征和直线特征使用网格顶点表示，引入局部相似性和全局一致性，进一步优化对齐精度，完成拼接。

进一步地，所述步骤(2)的具体实现方式为：将源图像I分割为r×c数量的网格，对于每一个网格单元使用其中心像素

表示，第k个网格单元的中心像素的坐标，其中k＝{1,2,…,r×c}，求出该网格单元对应的局部变换/>

其中，

为对角矩阵，diag(.)表示根据给定的向量生成一个对角矩阵，/>

和/>

分别是特征点和特征直线对应的权重因子组成的向量，根据N对点特征对和M对直线特征对，第k个网格单元对应的权重向量/>

和/>

具体的分别为/>

其中/>

表示第i个点特征对应第k个网格单元的权重值，/>

表示第j个直线特征对应第k个网格单元的权重值。

进一步地，所述步骤(2)将点特征和直线特征使用网格顶点表示的具体实现方式为：

将初步拼接后的源图像均匀划分为R×C个网格单元，其网格顶点表示为

则源图像内的像素点使用包围该像素点的四个网格顶点进行加权表示，对于最终拼接图像中的网格顶点表示为/>

通过使用网格顶点表示点特征，构造的目标函数为：

其中，p_i'是目标图像中第i个对应的特征点，g＝{1,2,3,4}，

是包围该对应特征点的四个网格顶点，w_i,g是该四个网格顶点对应的权重值；

通过使用网格顶点表示直线特征与网格边界的各个交点及直线端点，构造的目标函数为：

其中，l_j'是目标图像中第j个对应的特征直线，其直线方程为a'_jx+b_j'y+c'_j＝0，g＝{1,2,3,4}，q＝{1,2,…,num}，其中num是用于表示变换后的直线特征与网格边界的交点加上两个端点的数量，

表示包围直线特征的第q个点的四个网格顶点，/>

该四个网格顶点对应的权重值。

进一步地，所述步骤(2)通过使用网格顶点引入局部相似性的具体实现方式为：

其中，

是最终拼接图像中任意相邻的三个网格顶点，μ,ν是该三个网格顶点在初步变换后的源图像中通过第二，三个顶点表示的建立局部坐标系表示第一个顶点的局部坐标，/>

是旋转矩阵，对所有的顶点的/>

进行求和，获得完整的平滑项E_s，构造的目标函数为：

进一步地，所述步骤(2)通过使用网格顶点引入全局一致性的具体实现方式为：构造目标函数为：

其中t＝{1,2,…,R×C}，表示划分网格的各个网格顶点，

分别是最终拼接图像中的第t个网格顶点和初步变换后的源图像的第t个网格顶点；

将上述四种目标函数项进行组合，获得以下的最小化问题：

E＝E_point+E_line+αE_s+βE_g

其中，α和β权重系数，用于调整不同目标函数对整体变换的重要程度，则通过对总的目标函数E进行最小化，求得最终的变换后的网格顶点位置。

进一步地，根据源图像I与目标图像之间的相邻方式，即左右相邻或者上下相邻，可知这两幅相邻图像之间像素距离，既确定这两幅图像的重叠区域。

一种图像拼接系统，包括图像采集单元和图像拼接单元；

所述图像采集单元包括光源和相机控制模块与运动控制模块，运动控制模块用于控制相机运动轨迹，光源和相机控制模块用于采集亮度均匀的图像；

所述图像拼接单元，用于执行权利要求1-6任一项所述的图像拼接方法。

本发明的有益技术效果体现在：

应用本发明，同时将点特征和直线特征考虑在内，避免了结构化打印图案特征不足的问题；

进一步，对待拼接图像进行网格划分，对每个网格单元受一致性特征的影响程度不同，使用不同的局部变换，提过初步对齐图像的精度；

进一步，引入网格变换，同时考虑点特征、直线特征、局部相似性和全局一致性来进一步优化对齐精度。

附图说明

图1是本发明的获取图像的基本装置。

图2是本发明获得拼接图像的流程图。

图3是本发明定义点到直线的距离，其中，图3(a)、(b)为点到直线的垂足不在线段两端点之间，图3(c)为点到直线的垂足位于线段两端点之间。

图4是本发明优化对齐图像的说明图。

图5是本发明获取的图像拼接成完整区域示意图

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，为本发明获取图像的基本装置，包括相机1、运动平台2、X方向运动3、Y方向运动4和同轴光源5，本发明的具体流程如图2所示：

S101，获取观测区域的待拼接图像，既光源和相机控制单元根据相机的硬件参数和图像拼接时需要的重叠区域的大小，初步计算获取图像时，相邻图像之间的物理距离和像素距离；

进一步，设定需要获取图像的区域大小，以相机当前位置为获取图像的起始位置，运动控制单元控制运动平台以之字形的路径，拍摄对应区域的图像；

S102，同时使用点特征和线特征初步对齐图像，既需从获取的图像序列中按照拍摄的顺序，取出拍摄的第一幅图像和第二幅图像，将第一幅图像作为目标图像I'，将第二幅图像作为源图像I，并根据这两张图像的相邻方式，即左右相邻或者上下相邻，可知这两幅相邻图像之间像素距离，进而确定这两幅图像的重叠区域，并计算两幅图像在重叠区域内对应的点特征

和对应的直线特征/>

i表示第i对点特征，N表示共有N对点特征，j表示第j对直线特征，M表示共有M对直线特征，p',l'和p,l分别表示目标图像和源图像内的对应的点特征和直线特征，既/>

和/>

作为对应的特征点对和线段对，其中点特征的坐标为p_i＝[x_i,y_i,1]^T，直线特征使用直线方程a_jx+b_jy+c_j＝0的系数可以表示为l_j＝[a_j,b_j,c_j]^T，直线段的对应端点为/>

0,1表示该直线段的两个端点，u,v表示该直线段端点的坐标；

若对应特征之间的变换矩阵为H，则变换后的点为

符号～表示按比例因子相等，则特征点的映射应满足/>

符号×是叉积，因此代数距离||p_i'×Hp_i||是需要进行最小化的对象，至于直线线段，由于直线之间的映射关系，变换后的端点/>

预期位于目标直线l_j'上，可表示为/>

则代数距离

是需要进行最小化的对象，则变换矩阵为：

其中，h＝[h₁,h₂,h₃,h₄,h₅,h₆,h₇,h₈,h₉]^T是矩阵H对应的9维向量，A_i,B_j∈R^2×9分别是于第i对对应的点对和第j对对应的直线段的系数矩阵，矩阵A∈R^2N×9,B∈R^2M×9分别为所有的N对对应点对和M对对应直线段对的联合矩阵，矩阵C∈R^2(N+M)×9对应的是将矩阵A,B联合；

进一步，将源图像I分割为r×c数量的网格，其中r,c的取值根据图像的分辨率，在保证每个网格单元的较短边长包含至少41个像素下，选取合适的正整数。对于每一个网格单元使用其中心像素

求出该网格单元对应的局部变换h_k，k＝{1,2,…,r×c}，表示第k个网格单元：

其中，

为对角矩阵，diag(.)表示根据给定的向量生成一个对角矩阵，/>

和/>

分别是特征点和特征直线对应的权重因子组成的向量，具体的/>

其中/>

表示第i个点特征对应第k个网格单元的权重值，/>

表示第j个直线特征对应第k个网格单元的权重值。这就变成了一个带权重的奇异值分解问题，解就是矩阵W_kA的最小有效右奇异向量；

进一步，对于特征点的权重向量

根据每个网格单元的被选择作为局部参考点的中心/>

其各个权重因子/>

计算如下：

其中，p_i是在源图像中获得的第i个对应特征点，σ_p是点特征的尺度因子，默认是为9，0＜λ＜1是为了避免点

距离特征点p_i太远时产生数值计算问题而设置的常数，默认值为0.01；

进一步，直线的局部权重向量

计算如下：

其中，σ_l是直线特征的尺度因子，默认值为9.5，0＜λ＜1是为了避免点

距离直线特征l_j太远时产生数值计算问题而设置的常数，默认值为0.01，/>

是点/>

和直线l_j之间的最短距离，根据点/>

的位置计算/>

既：

其中

是直线l_j的两个端点；

S103，将初步对齐的图像进行网格划分，进一步优化对齐图像，既将初步变换后的源图像均匀的网格划分为R×C个网格单元，其网格顶点表示为

对于最终拼接图像中的网格顶点表示为/>

如图4所示。对于对应的特征点对/>

将特征点初步变换后为/>

将特征点/>

使用包含它的网格单元的四个顶点/>

表示，其中g＝{1,2,3,4}，使用双线性插值法计算出各个顶点/>

的对应的权重w_i,g，且w_i,1+w_i,2+w_i,3+w_i,4＝1，使用这些权重系数w_i,g和对应的最终应得到的顶点/>

构造其目标函数，则特征点对应的目标函数的数据项为：

进一步，对于对应的特征直线对

将其初步变换后为/>

将特征直线/>

以与之相交的网格线进行划分，获得各个交点，则将特征直线使用其两个端点和与网格线的交点进行表示，则可以要求对所有这些表示特征直线的点到目标直线的距离/>

进行最小化，q＝{1,2,…,num}，其中num是用于表示特征直线/>

的所有点的数量。而特征直线的每个点可以再次使用网格顶点/>

进行表示，使用双线性插值法计算出各个顶点的对应的权重/>

且/>

使用这些权重系数/>

和对应的最终应得到的顶点/>

构造其目标函数，则特征直线对应的目标函数的数据项为：

进一步，为了进一步减少整个变换过程中的局部畸变，使图像变换更加平滑，初步变换结果中每一个网格单元进一步优化是尽量使用相似变换。考虑到一个三角形

其顶点/>

可以使用另外两个顶点进行表示为：

其中，u和v是顶点

在由顶点/>

和/>

定义的局部坐标系内的坐标值(R是旋转矩阵，将给定的方向旋转90°，来获得原方向的垂直方向)。如果该三角形经受的是一个相似变换，则在局部坐标系中的坐标将会变化。则使用局部坐标u和v和对应的最终应得到的顶点

构造其目标函数，通过下式求取单个顶点的表示：

对所有的顶点的

进行求和，获得完整的平滑项E_s则相似变换项对应的目标函数的数据项为：

进一步，对于缺少对应特征的区域，为了使最终的变换结果和初步变换结果尽可能的一致，则可以用预变换后的顶点

和对应的最终应得到的顶点/>

构造其目标函数，则全局对齐项对应的目标函数的数据项为：

其中t＝{1,2,…,R×C}，表示划分网格的各个顶点；

进一步，将上述四种目标函数进行组合，获得以下的最小化问题：

E＝E_point+E_line+αE_s+βE_g

其中，α和β权重系数，用于调整不同目标函数对整体变换的重要程度，其取值分别为0.001和0.01，则通过对总的目标函数E进行最小化，求得最终的变换后的网格顶点位置，对目标函数E的最小化求解，可以使用标准稀疏线性求解器进行求解，获得优化后各个网格顶点

的位置；

S104，将获取的图像拼接成完整区域，如图5所示，在先将拍摄的前两幅图像拼接完成后，将拼接好的图像作为新目标图像I'，按照图像采集单元获取待拼接区域的图像的顺序，依次取出下一张图像作为新源图像I，根据新源图像I与上一幅已经取出的图像之间的相邻方式，即左右相邻或者上下相邻，可知这两幅相邻图像之间像素距离，既确定这两幅图像的重叠区域，再根据已获得的拼接图像间的变换关系，将这两幅图像的重叠区域变换为新源图像I和新目标图像I'之间的大致重叠区域，再重复上述拼接过程，将新源图像拼接到新目标图像中，直到将有序图像集合中剩余的所有图像依次作为新源图像添加到新目标图像中，获得最终拼接结果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种图像拼接方法，其特征在，包括以下步骤：

(1)从目标图像和源图像的重叠区域中提取对应的点特征和直线特征；

(2)将源图像作初步网格划分，使用点特征和直线特征的对应性，计算每个网格的局部单应性变换矩阵，以此将两幅图像进行初步拼接；

(3)将初步拼接的源图像再次作网格划分，将点特征和直线特征使用网格顶点表示，引入局部相似性和全局一致性，进一步优化对齐精度，完成拼接；

其中，所述步骤(2)将点特征和直线特征使用网格顶点表示的具体实现方式为：

将初步拼接后的源图像均匀划分为R×C个网格单元，其网格顶点表示为

则源图像内的像素点使用包围该像素点的四个网格顶点进行加权表示，对于最终拼接图像中的网格顶点表示为/>

通过使用网格顶点表示点特征，构造的目标函数为：

其中，p_i'是目标图像中第i个对应的特征点，g＝{1,2,3,4}，

是包围该对应特征点的四个网格顶点，w_i,g是该四个网格顶点对应的权重值；

通过使用网格顶点表示直线特征与网格边界的各个交点及直线端点，构造的目标函数为：

其中，l'_j是目标图像中第j个对应的特征直线，其直线方程为a'_jx+b'_jy+c'_j＝0，a'_j、b'_j为该直线方程的系数，l'_j的上标T为转置符号，g＝{1,2,3,4}，q＝{1,2,…,num}，其中num是用于表示变换后的直线特征与网格边界的交点加上两个端点的数量，

表示包围直线特征的第q个点的四个网格顶点，/>

该四个网格顶点对应的权重值。

2.根据权利要求1所述的图像拼接方法，其特征在于，所述步骤(2)的具体实现方式为：将源图像I分割为r×c数量的网格，r、c分别为源图像I在长、宽方向划分的网格数，对于每一个网格单元使用其中心像素

表示第k个网格单元的中心像素的坐标，其中k＝{1,2,…,r×c}，/>

分别为第k个网格单元中心像素坐标，求出该网格单元对应的局部变换/>

其中，

为对角矩阵，diag(.)表示根据给定的向量生成一个对角矩阵，/>

和/>

分别是特征点和特征直线对应的权重因子组成的向量，根据N对点特征对和M对直线特征对，第k个网格单元对应的权重向量/>

和/>

具体的分别为

其中/>

表示第i个点特征对应第k个网格单元的权重值，/>

表示第j个直线特征对应第k个网格单元的权重值；矩阵C∈R^2(N+M)×9为矩阵A,B的合并，矩阵A∈R^2N×9,B∈R^2M×9分别为重叠区域所有的N对对应点对和M对对应直线段对的联合矩阵，h＝[h₁,h₂,h₃,h₄,h₅,h₆,h₇,h₈,h₉]^T，为矩阵H对应的九维向量，T为矩阵转置符号，H为源图像I与目标图像对应特征点或直线之间的变换矩阵，

中的R为实数，R的上标/>

表示矩阵的大小。

3.根据权利要求1所述的图像拼接方法，其特征在于，所述步骤(2)通过使用网格顶点引入局部相似性的具体实现方式为：构造函数

其中，

是最终拼接图像中任意相邻的三个网格顶点，μ,ν是该三个网格顶点在初步变换后的源图像中通过第二，三个顶点表示的建立局部坐标系表示第一个顶点的局部坐标，/>

是旋转矩阵，对所有的顶点的/>

进行求和，获得完整的平滑项E_s，构造的目标函数为：

4.根据权利要求3所述的图像拼接方法，其特征在于，所述步骤(2)通过使用网格顶点引入全局一致性的具体实现方式为：构造目标函数为：

其中t＝{1,2,…,R×C}，表示划分网格的各个网格顶点，

分别是最终拼接图像中的第t个网格顶点和初步变换后的源图像的第t个网格顶点；

将E_point、E_line、E_s和E_g进行组合，获得以下的最小化问题：

E＝E_point+E_line+αE_s+βE_g

其中，α和β权重系数，用于调整不同目标函数对整体变换的重要程度，则通过对总的目标函数E进行最小化，求得最终的变换后的网格顶点位置。

5.根据权利要求1所述的图像拼接方法，其特征在于，根据源图像I与目标图像之间的相邻方式，即左右相邻或者上下相邻，可知这两幅相邻图像之间像素距离，既确定这两幅图像的重叠区域。

6.一种图像拼接系统，其特征在于，包括图像采集单元和图像拼接单元；

所述图像采集单元包括光源和相机控制模块与运动控制模块，运动控制模块用于控制相机运动轨迹，光源和相机控制模块用于采集亮度均匀的图像；

所述图像拼接单元，用于执行权利要求1-5任一项所述的图像拼接方法。

Images