CN112465883B - 一种高精度曲面非均匀图像配准方法 - Google Patents

Abstract

本发明专利针对曲面非均匀图案配准模型的非一致性难题，提出一种基于局部双线性变换模型估计的全局优化高精度图像配准方法。该方法通过粗配准流程和精化配准流程两个步骤，对所采集的图像与模板图像之间每个像素点依次建立独立变换模型，并利用相邻像素之间变换模型的平滑曲面模型假设，通过对变化模型的图模型或局部信息传播模型建立全局优化方法，实现在曲面非一致变换中的亚像素配准精度，为后续图案的高精度缺陷分析提供关键支持。

Description

一种高精度曲面非均匀图像配准方法

技术领域

本发明涉及图像配准技术领域，具体涉及一种高精度曲面非均匀图像配准方法。

背景技术

在非平面表面上的印刷、烤花、雕刻、吹制花纹等技术已经越来越普遍，这些技术所生产的大量容器类产品，如玻璃容器、易拉罐、陶瓷容器、塑料容器等广泛的应用于各个行业中，丰富了人们的日常生活。但由于相对于平面印刷非常好的一致性，曲面表面由于弧面、曲率、速度不均匀、手工作业等工艺情况，其表面所附着的图案更容易出现各类的缺陷，主要的缺陷包括文字错误、图案错误、图案扭曲、颜色失真、文字\图案缺失、套印偏差等，这些缺陷在食品、医药、日化等行业容易导致产品的质量事故，引起消费者的投诉和广泛关注。

目前在各类容器等曲面表面上的印刷、烤花等图案印染工艺中，主要通过人工人眼来进行对比检测印染质量。而印刷图案的缺陷特征差别细微，图案千差万别，人眼观测精度低，效率低，长时间观测容易产生疲劳，因此曲面表面上的图案质量存在着很大的质量问题和隐患。

目前难以实现全自动检测的主要原因之一是通常的模板配准算法无法适应在曲面上的图案非一致、非均匀的变换，导致配准精度不够，无法进行后续的缺陷分析。现有的配准算法包括基于局部特征、频域特征、光流配准、模板匹配等，但一般都是处理4参数的平移旋转变换，6参数的仿射变换或者8参数的透视变换，获得的是整体变换模型，无法满足每一局部变换模型均不一致的曲面配准需求。

发明内容

本发明的目的是在于提出一种适用于曲面图案配准方法，以解决非一致、非均匀变换的图像高精度配准难题。本方法分为粗配准流程和精化配准流程两部分，粗配准流程通过整体配准技术获得整体大致的变换模型，精化模型利用初步变换过后的结果，进行局部模型估计，再利用全局优化模型，最终输出的每一个像素独立的双线性变换模型，形成稠密、连续的变换曲面，实现高精度的曲面非均匀配准。

本发明的技术方案如下：

一种高精度曲面非均匀图像配准方法，包括全局粗配准和局部精化配准两步配准流程。

第1阶段粗配准阶段：由于输入图像状态与模板图像之间的状态完全未知，因此无法直接计算相应的变换模型，因此采用现有的配准算法计算整体变换的粗模型，可以有效的消除整体输入的不确定性，减少后续局部精化配准的复杂度，为后续的局部精化配准精度提供支持。粗配准流程主要包括以下步骤：

步骤1：特征提取及特征描述：对输入图像和模板图像分别提取特征及对特征进行描述，采用但不限于包括局部特征及局部描述子、频域变换及相位分析、光流分析及K-L变换等方法；

步骤2：计算整体粗变换模型：通过对输入图像和模板图像之间特征的配对或者对比分析，并采用但不限于随机采样一致性等数据过滤方法，获得准确的配对信息建立整体变换模型；

步骤3：将粗变换模型作用于输入图像，作为精化配准流程的输入。

第2阶段精化配准流程阶段：通过粗配准阶段可以获得输入图像与模板图像之间大致的变换关系，然后可以通过局部匹配、局部特征点配对等配准方式，计算局部匹配模型，建立稀疏的变换模型矩阵，再利用曲面的模型的平滑性假设约束，通过全局优化算法，计算得到稠密单像素双线性变换模型矩阵，实现高精度的非一直变换配准。精化配准流程主要包括以下步骤：

步骤4：在模板图像上进行自卷积分析，对于每一块窗口大小为Ws的局部区域的纹理进行分析，若出现纹理信息不够丰富，或在邻域内出现与当前局部纹理有明显相似区域等情况，该区域中心标记为不稳定区域，不参与后续局部配准算法；

步骤5：利用粗配准计算得到的匹配点集及变换结果，采用但不限于局部匹配、局部特征点配对等匹配方式，在纹理相对丰富区域，计算得到精确的匹配点对；

步骤6：利用一定窗口区域内W_D的精确局部匹配点对，设计如下的双线性变换模型假设，对于输入图像像素点p(x,y)，所对应的模板图像中的q(x′,y′)坐标之间的关系满足如下模型：

计算局部变换参数，建立稀疏变换模型；

步骤7：建立曲面变化模型的平滑性假设约束，即相邻像素之间的变换模型参数变化具有连续性(参数的变化率较小)，采用但不限于图分割、置信度传播等全局优化方法，从稀疏变换矩阵优化获得全局稠密的单像素变换模型。

本发明相对于现有技术所取得的有益效果在于：本发明高精度曲面非均匀图像配准方法，针对曲面非均匀图案配准模型的非一致性难题，提出一种基于局部双线性变换模型估计的全局优化高精度图像配准方法。该方法通过粗配准流程和精化配准流程两个步骤，对所采集的图像与模板图像之间每个像素点依次建立独立变换模型，并利用相邻像素之间变换模型的平滑曲面模型假设，通过对变化模型的图模型或局部信息传播模型建立全局优化方法，实现在曲面非一致变换中的亚像素配准精度，为后续图案的高精度缺陷分析提供关键支持。

与传统方法相比，该方法具有以下几点显著优势：

(1)图像配准精度高，对于整体图案的所有局部区域，实现最大配准偏差不超过1个像素，整体平均局部配准精度可以得到亚像素。

(2)可以适用于曲面图案、局部变形图案、线扫不均匀图案、多次分块印刷图案等非一致性变换配准需求。

(3)所输出的高精度配准结果，可以为后续进一步的高精度图案缺陷分析检测提供关键技术支撑。

附图说明

通过阅读下文优选实施方式的详细描述，本申请的方案和优点对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。

在附图中：

图1为高精度曲面非均匀图像配准方法的流程框架图；

图2为实施例1中高精度曲面非均匀图像配准方法在曲面表面上的图案配准，其中(a)为输入图像，(b)为模板图像，(c)为变换图像，(d)为残差图像；

图3为实施例2中高精度曲面非均匀图像配准方法在非刚性表面上的图案配准，其中(a)为输入图像，(b)为模板图像，(c)为变换图像，(d)为残差图像。

具体实施方式

下面将结合附图更详细地描述本公开的示例性实施方式。需要说明，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员，可以以各种形式实现本公开，而不应被这里阐述的实施方式所限制。

参见图1，图1为本发明高精度曲面非均匀图像配准方法的流程框架图。

一种高精度曲面非均匀图像配准方法，包括全局粗配准和局部精化配准两步配准流程。

第1阶段粗配准阶段：由于输入图像状态与模板图像之间的状态完全未知，因此无法直接计算相应的变换模型，因此采用现有的配准算法计算整体变换的粗模型，可以有效的消除整体输入的不确定性，减少后续局部精化配准的复杂度，为后续的局部精化配准精度提供支持。粗配准流程主要包括以下步骤：

步骤1：特征提取及特征描述：对输入图像和模板图像分别提取特征及对特征进行描述，采用但不限于包括局部特征及局部描述子、频域变换及相位分析、光流分析及K-L变换等方法；

步骤2：计算整体粗变换模型：通过对输入图像和模板图像之间特征的配对或者对比分析，并采用但不限于随机采样一致性等数据过滤方法，获得准确的配对信息建立整体变换模型；

步骤3：将粗变换模型作用于输入图像，作为精化配准流程的输入。

第2阶段精化配准流程阶段：通过粗配准阶段可以获得输入图像与模板图像之间大致的变换关系，然后可以通过局部匹配、局部特征点配对等配准方式，计算局部匹配模型，建立稀疏的变换模型矩阵，再利用曲面的模型的平滑性假设约束，通过全局优化算法，计算得到稠密单像素双线性变换模型矩阵，实现高精度的非一直变换配准。精化配准流程主要包括以下步骤：

步骤4：在模板图像上进行自卷积分析，对于每一块窗口大小为Ws的局部区域的纹理进行分析，若出现纹理信息不够丰富，或在邻域内出现与当前局部纹理有明显相似区域等情况，该区域中心标记为不稳定区域，不参与后续局部配准算法；

步骤5：利用粗配准计算得到的匹配点集及变换结果，采用但不限于局部匹配、局部特征点配对等匹配方式，在纹理相对丰富区域，计算得到精确的匹配点对；

步骤6：利用一定窗口区域内W_D的精确局部匹配点对，设计如下的双线性变换模型假设，对于输入图像像素点p(x,y)，所对应的模板图像中的q(x′,y′)坐标之间的关系满足如下模型：

计算局部变换参数，建立稀疏变换模型；

步骤7：建立曲面变化模型的平滑性假设约束，即相邻像素之间的变换模型参数变化具有连续性(参数的变化率较小)，采用但不限于图分割、置信度传播等全局优化方法，从稀疏变换矩阵优化获得全局稠密的单像素变换模型。

下面结合两个具体实施例来说明本方法的具体使用步骤。

实施例1

参见图2，图2为采用本发明的配准流程，对弧形容器表面的图案进行配准的结果。我们在输入图像上的“古”字和下方字幕“G”的位置做了部分缺陷，缺陷面积小于1平方毫米。

在粗配准流程阶段，首先通过提取区域的SURF特征及描述子，用K-nearest距离判决得到匹配点对并采用RANSAC算法得到整体图案的6参数配准模型，将输入图像经过粗配准模型变换后进入精化配准流程。

首先将图像分割成长宽W_k的子区域，用区域匹配算法在领域窗口Ws范围内搜索，得到最佳匹配位置，获得所有子区域中心在模板图像中的对应坐标，设计每个子窗口的作用域为W_D，设计和图像尺寸大小一致的可信度图像，图像的每一个值为该像素当前配准模型的可信程度，1为可信度最高，0为不可信。初始状态，每个子区域的中心位置的可信度为之前局部配准的相关度f_p，其余像素可信度为0。

第一次迭代从图像的左上角开始，以每一个子区域中心开始遍历，在W_D窗口范围内，以每个像素的可信度为权重，采用加权RANSAC算法获得该作用域的最佳局部双线性配准模型，并标记每一个像素点的模型估计可信度增量为Δf，以重叠度的步长W_D/2进行扫描，重复估计区域内每个像素点的配准模型，用新估计的配准模型参数与之前估计的模型参数差异程度ΔM更新每个像素点的可信度Δf，ΔM越大表示前后模型不一致，则当前像素点的可信度降低，Δf为负数，ΔM越接近0表示前后估计模型越一致，当前像素局部配准模型越可信，Δf为正数。

第二次迭代从图像的右下角继续反向迭代，如此周期进行多次迭代。

算法结束条件：当迭代测次数大于设定次数或每一个点的配准模型的改变量小于设定阈值时，优化过程结束，每一个像素点的配准模型参数为最终结果。对整图的搜索虽然在瓶体弧形曲面曲率比较大，整体图像的变换模型非传统的有限参数模型。我们在输入图像上的“古”字和下方字幕“G”的位置做了部分缺陷，缺陷面积小于1平方毫米，而从变换后的残差图像上可以看出，其他区域基本无差异，只残留了所设计的缺陷位置，可以证明本发明提出的方法有效适用于曲面图案的配准。

实施例2

参见图3，图3给出了采用本发明提出的配准流程，对非刚性表面的图案配准的结果。图2中的图案都是手动贴标后进行的烤花印染，由于贴花标签的柔性，因此经常会出现标签发生起皱或标签不一致的情况。

图2的粗配准流程和实施例1相似，而在精化配准过程中，建立了以每个像素的局部配准模型参数T(a,b,c,d,e,f)为优化目标的图分割模型，建立能量函数

其中p是带配准图像中的像素点，p′为模板图像中的对应点，q为p点邻域内的点，用图分割方法获取全局能量函数的最小值，获得每个像素点的优化局部配准模型参数。

由于图3中的图案都是手动贴标后进行的烤花印染，由于贴花标签的柔性，因此经常会出现标签发生起皱或标签不一致的情况。对比图2中的(a)和(b)输入图像和模板图像，两者之间显然是非刚性的变换关系。在最终给出的残差图像中可以看出，除了右上角的Logo区域字母不一致以外，其他配准区域展示了很好的对应关系，可以证明本发明提出的方法适用于非均匀变换的图像配准，且有很高的配准精度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或增减替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (6)

1.一种高精度曲面非均匀图像配准方法，其特征在于，包括全局粗配准和局部精化配准两步配准流程，其中全局粗配准包括如下步骤：

步骤1：特征提取及特征描述，对输入图像和模板图像分别提取特征及对特征进行描述；

步骤2：计算整体粗变换模型，通过对输入图像和模板图像之间特征的配对或者对比分析，获得准确的配对信息建立整体变换模型；

步骤3：将粗变换模型作用于输入图像，作为精化配准流程的输入；

局部精化配准包括如下步骤：

步骤4：在模板图像上进行自卷积分析，对于每一块窗口大小为Ws的局部区域的纹理进行分析，若出现纹理信息不够丰富，或在邻域内出现与当前局部纹理有明显相似区域情况，该区域中心标记为不稳定区域，不参与后续局部配准算法；

步骤5：利用粗配准计算得到的匹配点集及变换结果，在纹理相对丰富区域，计算得到精确的匹配点对；

步骤6：建立局部配准的双线性模型，计算局部变换参数，建立稀疏变换模型；

步骤7：建立曲面变化模型的平滑性假设约束，即相邻像素之间的变换模型参数变化具有连续性，采用全局优化方法，从稀疏变换矩阵优化获得全局稠密的单像素变换模型。

2.根据权利要求1所述的一种高精度曲面非均匀图像配准方法，其特征在于，全局粗配准的步骤1中采用但不限于包括局部特征及局部描述子、频域变换及相位分析、光流分析及K-L变换。

3.根据权利要求1所述的一种高精度曲面非均匀图像配准方法，其特征在于，全局粗配准的步骤2中采用的数据过滤方法包括随机采样一致性算法。

4.根据权利要求1所述的一种高精度曲面非均匀图像配准方法，其特征在于，局部精化配准的步骤5中采用局部匹配或局部特征点配对。

5.根据权利要求1所述的一种高精度曲面非均匀图像配准方法，其特征在于，局部精化配准的步骤6中利用一定窗口区域内W_D的精确局部匹配点对，设计如下的双线性变换模型假设，对于输入图像像素点p(x,y)，所对应的模板图像中的q(x´,y´)坐标之间的关系满足如下模型：

计算局部变换参数，建立稀疏变换模型。

6.根据权利要求1所述的一种高精度曲面非均匀图像配准方法，其特征在于，局部精化配准的步骤7中采用的全局优化方法包括图分割或置信度传播。

Images