CN105405096A - 融合全局信息及局部配准的古籍图像拼接方法 - Google Patents

Abstract

本发明提供一种融合全局信息及局部配准的古籍图像拼接方法，建立多阶的子图像间纹理差异模型，通过全局优化得到全局最优拼缝，建立内容重合度判别函数；基于上述内容重合度判别函数，在不同区域进行基于全局或局部的拼接。具体来讲，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，而基于局部的拼接则需计算扩展的两条拼缝，然后将子图像位于各自拼缝两边的内容变换后拼接起来。该种融合全局信息及局部配准的古籍图像拼接方法，有效结合了全局信息及局部对准，实现了在图像具有局部变形条件下的无缝拼接，为用户扫描各种珍贵的古籍文献提供了完整的解决方案。

Description

融合全局信息及局部配准的古籍图像拼接方法

技术领域

本发明涉及一种融合全局信息及局部配准的古籍图像拼接方法。

背景技术

中国有5000多万册古文书，非接触式扫描能够最大程度减轻古籍或其他珍贵文书在电子化过程中的损害，是古文书数字化的首选方案。由于古籍纸张质量或者长时间保存的问题，造成书面翘曲及褶皱等，导致非接触式扫描时分别扫描的两幅子图像内容结构出现形变，且不同区域形变差别较大，甚至出现错位及偏移等，这将对拼接为完整图像的过程造成很大困难。

为了解决这个问题，现已提出很多对图像进行拼接的方法。目前来说，这些方法大致可分为两类：基于全局信息的拼接和基于局部信息的拼接。如V.Kwatra等使用图像的全局纹理信息，利用最小化两幅子图像的纹理差异来选择最优拼缝，C.V.Veena等考虑到图像全局的摄影连续性及几何错位，通过寻找使全局的不连续性最小以及几何错位最小的位置来估计最优拼缝。这种方法通常估计一条最优拼缝，通过将两幅子图像沿拼缝两边的对应部分拼接起来形成完整图像。这种方法考虑到图像内容的连续性，在刚性图像的拼接中效果很好。然而在图像具有局部变形的情况下，常常无法估计到最优拼缝，从而无法达到正确拼接。而基于局部信息的拼接方法，如J.Jia等基于局部结构特征连续性，在两幅子图像上构建局部特征对应，在每张图上建立最优拼缝，然后通过变换传播将两幅子图像的对应部分拼接起来。另外，Fan等使用动态规划得到第一幅图像上的最优拼缝，继而在第二幅图像上找到与之匹配的最优拼缝，然后将两幅子图像沿拼缝拼接起来形成完整图像。这类方法考虑到图像局部信息的对应，在图像局部细节保持方面具有较好效果。但这类方法对局部纹理相似，或局部纹理稀疏的条件下，无法有效提取特征，从而无法完成正确拼接。

发明内容

本发明的目的是提供一种融合全局信息及局部配准的古籍图像拼接方法，有效的解决局部有效信息稀疏或缺失条件下的全局最优拼缝估计，以及局部无法实现理想拼接时的局部最优拼缝校正，从而达到古籍图像的无缝拼接，可用于解决古籍图像的数字化问题。

本发明的技术解决方案是：

一种融合全局信息及局部配准的古籍图像拼接方法，包括以下步骤：

步骤1、采集两幅子图像，建立多阶的子图像间纹理差异模型，通过全局优化得到全局最优拼缝；

步骤2、建立内容重合度判别函数：利用最优拼缝在局部区域的纹理差异权重和以及图像间局部内容的相似度作为内容重合度判别度量，形成最终的内容重合度判别函数；

步骤3、基于步骤2所得内容重合度判别函数，在不同区域进行基于全局或局部的拼接；具体为，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，而基于局部的拼接则需计算扩展的两条拼缝；然后将子图像位于各自拼缝两边的内容变换后拼接起来。

进一步地，步骤1中，构建多阶的子图像间纹理差异模型，其中图模型的节点数目设定为图像的像素点数目，排布与图像像素排布一致，而边设定为两幅图像间的像素及邻近像素的多阶颜色差异。

进一步地，多阶颜色差异定义如下：

F(A,B)＝||A(s_i)-B(s₀)||+||A(t_i)-B(t₀)||,i∈{-k,...0,...,k},k∈N(1)

其中A和B分别代表两幅子图像，S₀为当前像素的位置，t₀为邻近像素的位置，k表示某个自然数，i表示与当前像素偏离位移，如果i为0则表示仅计算两幅子图像相同位置的像素颜色差异，而i取负则表示取A图当前位置的上方i个像素与B图当前位置相比，反之亦然。

进一步地，步骤2中，利用步骤1的最优拼缝在局部区域的纹理差异权重和以及图像间局部内容的相似度作为内容重合度判别度量，形成最终的内容重合度判别函数

进一步地，结合两种度量形成最终的内容重合度判别函数为：

f_c＝λ₁·∑w+λ₂·S(A_c,B_c)(2)

其中c指的是当前局部窗口，w为上一步骤中建立的图模型在局部窗口内的一条边权重，∑w为当前局部窗口内的边的权重之和，A_c与B_c分别表示两幅子图像的局部窗口，S(A_c,B_c)表示二者图像内容的相似度，λ₁和λ₂表示不同项的权重系数。

进一步地，步骤3中，基于步骤2所得内容重合度判别函数，在内容重合度小于选定的阈值时，将两幅子图像处于拼缝两边的图像内容拼接起来；而在内容重合度大于选定的阈值时，在第二幅子图像上，寻找与第一条拼缝对应的第二条拼缝；当扩展的两条拼缝计算完成后，将子图像位于各自拼缝两边的内容变换后拼接起来。

进一步地，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，具体为：

设最优拼缝为S₁，设区域P为包含S₁局部的图像小窗口，则在P区域内，如果两幅子图像的图像内容重合度大于某个选定的阈值，则可直接将两幅子图像位于拼缝两边的图像内容拼接起来，实现当前局部区域内的图像拼接：

$I=A_{/S_1}+B_{/S_2}---\left(3\right)$

其中，表示在S₁上侧的A图像，表示在S₂上侧的B图像，I表示最终拼接出的图像。

进一步地，基于局部的拼接则计算扩展的两条拼缝，具体为：当内容重合度小于选定的阈值时，则在第二幅子图像上，寻找与第一条拼缝S₁对应的第二条拼缝S₂，使之与S₁在内容上一致；将位于A在第一条拼缝S₁外侧的图像部分经坐标变换，使之与B在第二条拼缝S₂外侧的图像部分相交，即可完成当前局部区域内的图像拼接。

$\begin{array}{c}{A^{\′}}_{/S_1}=T\left(A_{/S_1}\right)\\ I={A^{\′}}_{/S_1}+B_{/S_2}\end{array}---\left(4\right)$

其中，表示经T变换后的图像，I意义同式(3)；

按基于全局的拼接、基于局部的拼接的上述两步骤遍历完最优拼缝，即可完成整体图像拼接。

进一步地，在第二幅子图像上，寻找与第一条拼缝S₂对应的第二条拼缝S₂，具体为：通过提取窗口内的特征进行匹配，得到第一幅子图像与第二幅子图像在区域P内的变换关系，利用此变换关系，找到与第一条拼缝S₁对应的第二条拼缝S₂。

该种融合全局信息及局部配准的古籍图像拼接方法，采集两幅子图像，建立多阶的子图像间纹理差异模型，通过全局优化得到全局最优拼缝，则当前拼缝即为使二者内容最为相近，也即重合度最高的最优拼缝。然后，建立内容重合度判别函数：最优拼缝在局部区域的纹理差异权重和是图像间局部相似程度的一种度量，同时利用了图像间局部内容的相似度作为另一种度量，结合两种度量形成最终的内容重合度判别函数。最后，基于上述内容重合度判别函数，在不同区域进行基于全局或局部的拼接。具体来讲，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，而基于局部的拼接则需计算扩展的两条拼缝，然后将子图像位于各自拼缝两边的内容变换后拼接起来。

本发明的有益效果是：该种融合全局信息及局部配准的古籍图像拼接方法，有效结合了全局信息及局部对准，可在图像具有局部变形条件下实现无缝拼接。本发明建立了子图像间纹理差异模型，通过全局优化得到全局最优拼缝。然后利用局部区域的纹理差异权重和图像间局部内容相似度建立图像内容重合度判别函数，利用上述内容重合度判别函数，在不同区域进行基于全局或局部的拼接。采用实际数据的实验结果表明，本发明提出的一种结合了全局信息及局部对准，可在图像具有局部变形条件下实现图像无缝拼接，因此本发明在古籍的电子化保存和古文献的保护方面具有重要应用价值。

附图说明

图1是本发明实施例融合全局信息及局部配准的古籍图像拼接方法的流程说明示意图。

图2为实施例中经初步对齐后的两幅子图像的局部内容对比示意图。

图2中左起第一列为第一幅子图像的局部内容，第二列为第二幅子图像的局部内容。横向线条为初始对齐后两幅图的某个对准位置。

图3实施例中为利用全局信息后的两幅图像拼接结果的示意图；图中矩形框突出说明了拼接结果的错误。

图4为实施例中利用局部区域的纹理差异权重和图像间局部内容相似度构建扩展拼缝的示意图。

图4中灰色区域为图像区域，白色曲线为全局最优拼缝，黑色曲线为扩展的另一条拼缝示意图，另一条拼缝的剩余部分与白色曲线重合。

图5为不同分类方法的图像拼接结果比较示意图。

图5中第一行为基于全局信息的拼接结果图，横向曲线表示全局最优拼缝。第二行为基于局部对准的拼接结果图，第三行为本发明基于全局信息及局部对准的拼接结果图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

考虑到初步对齐后，两幅子图像有一定范围的重合。在此重合区域内，两幅子图像在不同位置具有不同程度的重合。以往基于全局信息的方法仅以整体最小误差重合为目标函数来得到最优拼缝，在某些由于文档卷曲变形而无法重合的区域，这种方法无法求取理想拼缝。

在这种情况下，实施例的该种基于非接触式扫描的大幅面古文书的无缝拼接方法，提出了一种内容判别函数，当判断重合度理想时，仅用一条最有拼缝对图像进行拼接；当判断重合度不理想时，利用局部信息对此区域进行特征提取，将现有的最优拼缝扩展为两条对应拼缝，并对两幅子图像上对应内容进行校正，实现无缝拼接。

实施例提出的算法能有效的解决局部有效信息稀疏或缺失条件下的全局最优拼缝估计，以及局部无法实现理想拼接时的局部最优拼缝校正，从而达到古籍图像的无缝拼接，可用于解决古籍图像的数字化问题。

一种融合全局信息及局部配准的古籍图像拼接方法，包括以下步骤：

步骤1、采集两幅子图像，建立多阶的子图像间纹理差异模型，通过全局优化得到全局最优拼缝，则当前拼缝即为使二者内容最为相近，也即重合度最高的最优拼缝。

步骤2、建立内容重合度判别函数：最优拼缝在局部区域的纹理差异权重和是图像间局部相似程度的一种度量，同时利用了图像间局部内容的相似度作为另一种度量，结合两种度量形成最终的内容重合度判别函数。

步骤3、基于上述内容重合度判别函数，在不同区域进行基于全局或局部的拼接。具体来讲，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，而基于局部的拼接则需计算扩展的两条拼缝，然后将子图像位于各自拼缝两边的内容变换后拼接起来。

该种融合全局信息及局部配准的古籍图像拼接方法，有效结合了全局信息及局部对准，实现了在图像具有局部变形条件下的无缝拼接，为用户扫描各种珍贵的古籍文献提供了完整的解决方案。

图1为本发明的基于全局信息及局部对准，可在图像具有局部变形条件下实现图像无缝拼接方法的示意图。输入为两幅已经过初步对齐的部分古籍图像，输出一幅整体的无缝古籍图像。图2为经初步对齐后的两幅图像局部内容对比，由图2可知在初始对齐后，两幅图像的局部内容差异较大，出现错位现象。图3为利用全局信息后的两幅图像拼接结果，由图3可知图像拼接结果出现明显错误。

如图1所示，本发明各部分具体实施细节如下：

输入两幅分别采集的古籍文献子图像，要说明的是，这两幅图像已经经过初始对齐，也就是说两幅图已经大体在全局坐标系下对准。

建立图像间纹理差异性模型，利用全局优化策略得到全局最优拼缝。这里构建图模型，其中图模型的节点数目设定为图像的像素点数目，排布与图像像素排布一致，而边设定为两幅图像间的像素及邻近像素的多阶颜色差异。这里多阶颜色差异定义如下：

F(A,B)＝||A(s_i)-B(s₀)||+||A(t_i)-B(t₀)||,i∈{-k,...0,...,k},k∈N(1)

其中A和B分别代表两幅子图像，S₀为当前像素的位置，t₀为邻近像素的位置，k表示某个自然数，i表示与当前像素偏离位移，如果i为0则表示仅计算两幅子图像相同位置的像素颜色差异，而i取负则表示取A图当前位置的上方i个像素与B图当前位置相比，反之亦然。传统方法仅利用当前像素的偏离位移，不利于后续步骤中最优拼缝的选取。而本发明提出的方法，使用多个i可以反映两幅图在更多可能位置上的差异情况，即使在两幅子图像存在较大局部变形导致某些局部内容无法对齐时，也可搜寻某个最佳位置i，使某幅子图像经移动位置i，可以与另一幅子图像对齐。另外也可以在初始对齐存在误差时，有效克服这部分误差，这种方法被定义为本发明中提到的多阶。这样，即使两幅图无法完全对齐，按式(1)设置图模型的权重也保证了达到理想对齐时的图像相似程度。然后，通过对图模型进行全局优化，如最大流算法等，寻找最小F(A,B)值，可得到使两幅子图像最为相似的拼缝。

建立图像间内容重合度判别函数。如何有效评价最优拼缝是否需要扩展为两条拼缝是利用局部信息进行拼接的重要前提。首先，根据第2步骤中图模型的构建过程，最优拼缝在局部区域的纹理差异权重和是图像间局部相似程度的一种度量，其次，图像间局部内容的相似度也可作为图像间局部相似程度的另一种度量。同时结合两种度量形成最终的内容重合度判别函数：

f_c＝λ₁·∑w+λ₂·S(A_c,B_c)(2)

其中c指的是当前局部窗口，w为上一步骤中建立的图模型在局部窗口内的一条边权重，∑w为当前局部窗口内的边的权重之和，A_c与B_c分别表示两幅子图像的局部窗口，S(A_c,B_c)表示二者图像内容的相似度，可以用图像内容相关性准则或匹配程度来表示，λ₁和λ₂表示不同项的权重系数。因为上述内容重合度判别函数的第一项是基于第2步骤提出的多阶颜色差异前提下，因此它可以在即使初始对齐存在误差时，或者即使两幅图无法完全对齐时，保证了达到理想对齐时的图像相似程度估计。然后，通过实验，选择合适阈值，保证在这个选定的阈值，图像内容相似度可以有效判别出来。

基于上述内容重合度判别函数，在不同区域进行基于全局或局部的图像拼接。

具体来讲，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，而基于局部的拼接则需计算扩展的两条拼缝，然后将子图像位于各自拼缝两边的内容变换后拼接起来。

设最优拼缝为S₁，设区域P为包含S₁局部的图像小窗口，则在P区域内，如果两幅子图像的图像内容重合度大于某个选定的阈值，则可直接将两幅子图像位于拼缝两边的图像内容拼接起来，实现当前局部区域内的图像拼接：

$I=A_{/S_1}+B_{/S_2}---\left(3\right)$

其中，表示在S₁上侧的A图像，表示在S₂上侧的B图像，I表示最终拼接出的图像；

当内容重合度小于选定的阈值时，则需要在第二幅子图像上，寻找新的拼缝S₂，使之与S₁在内容上一致。具体方法可通过提取窗口内的特征进行匹配，得到两幅子图像在区域P内的变换关系，利用此变换关系，可以找到与S₁对应的拼缝S₂。这时，可将位于A在S₁外侧的图像部分经坐标变换，使之与B在S₂外侧的图像部分相交，即可完成当前局部区域内的图像拼接：

$\begin{array}{c}{A^{\′}}_{/S_1}=T\left(A_{/S_1}\right)\\ I={A^{\′}}_{/S_1}+B_{/S_2}\end{array}---\left(4\right)$

其中，表示经T变换后的图像，I意义同式(3)；

按上述两步骤遍历完最优拼缝，即可完成整体图像拼接。图4中显示了S₁与S₂的示意图。S₁在某些区域需要扩展为S₂，其余部分二者重合。

本发明所提出的基于全局信息及局部对准的图像无缝拼接方法与基于全局信息和局部对准的方法分别进行了比较。其中，基于全局信息的方法采用类似Kwatra的方法实现，而基于局部对准的方法采用类似Fan的方法实现。评价是否拼接成功的准则如下：

不出现图像内容错位或缺失；

不出现较大图像内容变形，如直线变形，或字体变化较大；

不出现图像内容重影及明显拼缝痕迹；

基于上述标准，对采集的部分古籍文献进行了评价，附图5中是其中一例。附图5中第一行图像为基于全局信息的拼接结果，横向曲线表示全局最优拼缝。可见直接将子图像拼接起来，会导致出现图像内容错位，造成拼接错误。第二行图像为基于局部对准的拼接结果，可见仅基于局部，会导致原本的直线变为曲线，影响电子化后的阅读，第三行图像为本发明基于全局信息及局部对准的拼接结果。

由此可以总结出，基于全局信息的拼接方法在图像局部变形较大的情况下可能会丢失图像信息，基于局部对准的拼接方法在局部纹理较少的情况下可能会造成图像局部拼接错误，而本发明的方法综合考虑了两种情况，提出了一种稳定的处理策略，在拼接结果上显示出较高的准确度。因此，本发明提出的方法可以在图像具有局部变形条件下实现图像无缝拼接，在古籍的电子化保存和古文献的保护方面具有重要应用价值。

Claims (9)

1.一种融合全局信息及局部配准的古籍图像拼接方法，其特征在于：包括以下步骤：

步骤1、采集两幅子图像，建立多阶的子图像间纹理差异模型，通过全局优化得到全局最优拼缝；

步骤2、建立内容重合度判别函数：利用最优拼缝在局部区域的纹理差异权重和以及图像间局部内容的相似度作为内容重合度判别度量，形成最终的内容重合度判别函数；

步骤3、基于步骤2所得内容重合度判别函数，在不同区域进行基于全局或局部的拼接；具体为，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，而基于局部的拼接则需计算扩展的两条拼缝；然后将子图像位于各自拼缝两边的内容变换后拼接起来。

2.如权利要求1所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于：步骤1中，构建多阶的子图像间纹理差异模型，其中图模型的节点数目设定为图像的像素点数目，排布与图像像素排布一致，而边设定为两幅图像间的像素及邻近像素的多阶颜色差异。

3.如权利要求2所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于：多阶颜色差异定义如下：

F(A,B)＝||A(s_i)-B(s₀)||+||A(t_i)-B(t₀)||,i∈{-k,...0,...,k},k∈N(1)

其中A和B分别代表两幅子图像，s₀为当前像素的位置，t₀为邻近像素的位置，k表示某个自然数，i表示与当前像素偏离位移，如果i为0则表示仅计算两幅子图像相同位置的像素颜色差异，而i取负则表示取A图当前位置的上方i个像素与B图当前位置相比，反之亦然。

4.如权利要求1所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于：步骤2中，利用步骤1的最优拼缝在局部区域的纹理差异权重和以及图像间局部内容的相似度作为内容重合度判别度量，形成最终的内容重合度判别函数。

5.如权利要求4所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于：结合两种度量形成最终的内容重合度判别函数为：

f_c＝λ₁·Σw+λ₂·S(A_c,B_c)(2)

其中c指的是当前局部窗口，w为上一步骤中建立的图模型在局部窗口内的一条边权重，Σw为当前局部窗口内的边的权重之和，A_c与B_c分别表示两幅子图像的局部窗口，S(A_c,B_c)表示二者图像内容的相似度，λ₁和λ₂表示不同项的权重系数。

6.如权利要求1-5任一项所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于：步骤3中，基于步骤2所得内容重合度判别函数，在内容重合度小于选定的阈值时，将两幅子图像处于拼缝两边的图像内容拼接起来；而在内容重合度大于选定的阈值时，在第二幅子图像上，寻找与第一条拼缝对应的第二条拼缝；当扩展的两条拼缝计算完成后，将子图像位于各自拼缝两边的内容变换后拼接起来。

7.如权利要求6所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于，基于全局的拼接仅将子图像处于拼缝两边的图像内容拼接起来，具体为：

设最优拼缝为S₁，设区域P为包含S₁局部的图像小窗口，则在P区域内，如果两幅子图像的图像内容重合度大于某个选定的阈值，则可直接将两幅子图像位于拼缝两边的图像内容拼接起来，实现当前局部区域内的图像拼接：

其中，表示在S₁上侧的A图像，表示在S₂上侧的B图像，I表示最终拼接出的图像。

8.如权利要求7所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于，基于局部的拼接则计算扩展的两条拼缝，具体为：当内容重合度小于选定的阈值时，则在第二幅子图像上，寻找与第一条拼缝S₁对应的第二条拼缝S₂，使之与S₁在内容上一致；将位于A在第一条拼缝S₁外侧的图像部分经坐标变换，使之与B在第二条拼缝S₂外侧的图像部分相交，即可完成当前局部区域内的图像拼接。

其中，表示经T变换后的图像，I意义同式(3)；

按基于全局的拼接、基于局部的拼接的上述两步骤遍历完最优拼缝，即可完成整体图像拼接。

9.如权利要求8所述的融合全局信息及局部配准的古籍图像拼接方法，其特征在于，在第二幅子图像上，寻找与第一条拼缝S₁对应的第二条拼缝S₂，具体为：通过提取窗口内的特征进行匹配，得到第一幅子图像与第二幅子图像在区域P内的变换关系，利用此变换关系，找到与第一条拼缝S₁对应的第二条拼缝S₂。