CN104794701A - 图像拼接装置、方法以及图像处理设备 - Google Patents

Abstract

本发明实施例提供一种图像拼接装置、方法以及图像处理设备。所述图像拼接方法包括：对第一图像和第二图像进行初始配准，在第一图像的空白区域中获得第一拼接缝；利用第一拼接缝在第二图像的相应区域中进行特征点的匹配，根据匹配的结果在第二图像上获得第二拼接缝；计算第一拼接缝和第二拼接缝之间的距离容差，根据该距离容差来修正第一拼接缝或第二拼接缝；基于第一拼接缝和第二拼接缝进行图像拼接，并对拼接后的原始图像进行补偿以获得拼接后的最终图像。通过本发明实施例，可以进一步提高图像拼接的准确性，获得拼接效果更好的图像。

Description

图像拼接装置、方法以及图像处理设备

技术领域

本发明涉及通信技术领域，尤其涉及一种图像拼接装置、方法以及图像处理设备。 

背景技术

图像拼接技术是将多张有重叠部分的图像拼接成一幅图像的技术，可以实现从独立的例如两幅扫描图像重建一幅整体图像。当摄像机扫描范围有限时，图像拼接技术可以提供整幅全景图，从而克服了视场有限的限制。 

传统的图像拼接方法常用于自然场景，并且视觉对象常为刚性目标。因此传统的拼接流程包含初始的全局配准，全局最优拼接缝的估计，以及最终的图像刚性拼接等等。 

下面列出了对于理解本发明和常规技术有益的文献，通过引用将它们并入本文中，如同在本文中完全阐明了一样。 

[非专利文献1]：M.Brown and D.Lowe.Automatic Panoramic Image Stitching using Invariant Features,International Journal of Computer Vision,vol.74,no.1,pp.59-73,2007. 

[非专利文献2]：J.Jiaya and C.K.Tang.Image Stitching Using Structure Deformation,IEEE Transactions on Pattern Analysis and Machine Intelligence,vol.30,no.4,2008. 

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。 

发明内容

但是，发明人发现在一些应用场景中，例如古籍报纸图像拼接等场景中，由于长期保存及自然卷曲等导致报纸存在形变，且不同区域形变差别较大；采用传统方法不能准确地进行拼接。另外，在一些利用局部特征匹配进行拼接的方法中，没有考虑到 匹配的整体性及外点的影响，不能进一步提高图像拼接的准确性，无法获得拼接效果更好的图像。 

本发明实施例提供一种图像拼接装置、方法以及图像处理设备；进一步提高图像拼接的准确性，获得拼接效果更好的图像。 

根据本发明实施例的一个方面，提供一种图像拼接装置，所述图像拼接装置包括： 

初始配准单元，对第一图像和第二图像进行初始配准； 

第一获得单元，在所述第一图像的空白区域中获得第一拼接缝； 

第二获得单元，利用所述第一拼接缝在所述第二图像的相应区域进行特征点的匹配，根据匹配的结果在所述第二图像上获得第二拼接缝； 

容差修正单元，计算所述第一拼接缝和所述第二拼接缝之间的距离容差，根据所述距离容差来修正所述第一拼接缝或所述第二拼接缝； 

图像补偿单元，基于所述第一拼接缝和所述第二拼接缝进行图像拼接，并对拼接后的原始图像进行补偿以获得拼接后的最终图像。 

根据本发明实施例的另一个方面，提供一种图像拼接方法，所述图像拼接方法包括： 

对第一图像和第二图像进行初始配准； 

在所述第一图像的空白区域中获得第一拼接缝； 

利用所述第一拼接缝在所述第二图像的相应区域进行特征点的匹配，根据匹配的结果在所述第二图像上获得第二拼接缝； 

计算所述第一拼接缝和所述第二拼接缝之间的距离容差，根据所述距离容差来修正所述第一拼接缝或所述第二拼接缝； 

基于所述第一拼接缝和所述第二拼接缝进行图像拼接，并对拼接后的原始图像进行补偿以获得拼接后的最终图像。 

根据本发明实施例的另一个方面，提供一种图像处理设备，所述图像处理设备包括如上所述的图像拼接装置。 

本发明的有益效果在于：通过在空白区域获得第一拼接缝，可以避免可能的文字区域局部变形；在第一拼接缝的基础上通过特征点匹配获得第二拼接缝，可以确定鲁棒匹配的拼接缝，并且可以在非接触条件下通过独立采样实现图像的拼接；通过第一拼接缝和第二拼接缝之间的距离容差对拼接缝进行修正，可以实现图像的全局拼接； 基于拼接缝对图像进行图像补偿，可以无损文本内容地获得光滑的全景图像。 

参照后文的说明和附图，详细公开了本发明的特定实施方式，指明了本发明的原理可以被采用的方式。应该理解，本发明的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本发明的实施方式包括许多改变、修改和等同。 

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。 

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。 

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施方式，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中： 

图1是本发明实施例1的图像拼接方法的一流程示意图； 

图2是本发明实施例1的第一图像的一实例示意图； 

图3是本发明实施例1的第二图像的一实例示意图； 

图4是本发明实施例1的获得第一拼接缝的一流程示意图； 

图5是本发明实施例1的在第一图像上获得第一拼接缝的一实例示意图； 

图6是本发明实施例1的获得第二拼接缝的一流程示意图； 

图7是本发明实施例1的第一图像中多个待匹配的特征点的一实例示意图； 

图8是本发明实施例1的在第二图像上获得第二拼接缝的一实例示意图； 

图9是本发明实施例1的通过两条拼接缝的距离进行修正的一实例示意图； 

图10是本发明实施例1的利用双掩膜进行平滑的一实例示意图； 

图11是本发明实施例1的对图像进行拉伸或压缩的一示意图； 

图12是本发明实施例2的图像拼接装置的一构成示意图； 

图13是本发明实施例2的图像拼接装置的另一构成示意图； 

图14是本发明实施例2的特征点匹配单元的一构成示意图； 

图15是本发明实施例2的图像补偿单元的一构成示意图； 

图16是本发明实施例2的图像补偿单元的另一构成示意图； 

图17是本发明实施例3的图像处理设备的一构成示意图。 

具体实施方式

参照附图，通过下面的说明书，本发明的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本发明的特定实施方式，其表明了其中可以采用本发明的原则的部分实施方式，应了解的是，本发明不限于所描述的实施方式，相反，本发明包括落入所附权利要求的范围内的全部修改、变型以及等同物。 

实施例1 

本发明实施例提供一种图像拼接方法，图1是本发明实施例的图像拼接方法的一流程示意图。如图1所示，该图像拼接方法包括： 

步骤101，对第一图像和第二图像进行初始配准； 

步骤102，在第一图像的空白区域中获得第一拼接缝； 

步骤103，利用第一拼接缝在第二图像的相应区域中进行特征点的匹配，根据匹配的结果在第二图像上获得第二拼接缝； 

步骤104，计算第一拼接缝和第二拼接缝之间的距离容差，根据该距离容差来修正第一拼接缝或第二拼接缝； 

步骤105，基于第一拼接缝和第二拼接缝进行图像拼接，并对拼接后的原始图像进行补偿以获得拼接后的最终图像。 

在本实施例中，以两幅具有重叠部分的图像G1和G2进行拼接为例进行说明，但本发明不限于此。还可以进行多幅图像的拼接，可以通过多次两两拼接完成。其中，G1和G2具有重叠部分，在以下的实施例中，将G1中的重叠部分称为第一图像，将G2中的重叠部分称为第二图像。 

图2是本发明实施例的第一图像的一实例示意图，图3是本发明实施例的第二图像的一实例示意图，示出了实际场景中的一个例子。如图2和3所示，由于长期保存等原因，扫描后的第一图像和第二图像中的内容可能存在变形。 

在本实施例中，输入为经过初始配准的两幅经反转扫描的图像，输出为整体的全景拼接图像。在步骤101中，首先两幅图像经过特征匹配而实现初始配准，关于如何 进行配准，可以采用现有技术中的任意一种方法。 

例如，可以使用特征匹配实现初始配准，特征可以包括SURF（Speeded Up Robust Features），ORB（Oriented Brief）等，匹配方法可以包括最近邻匹配方法等。然后基于匹配的特征估计两幅图像间的透视变换矩阵，于是两幅图像在统一的坐标系里实现了初始的配准。但本发明不限于此，可以根据实际情况选择实际的特征以及匹配算法等。 

以上对本发明实施例的大致流程进行了说明，以下对本发明实施例的步骤进行详细说明。 

图4是本发明实施例的获得第一拼接缝的一流程示意图。如图4所示，步骤102中在第一图像的空白区域中获得第一拼接缝，具体可以包括： 

步骤401，计算第一图像每一行中的背景像素的数目，将具有最大背景像素数目的行作为待搜索的行； 

步骤402，在该待搜索的行的附近区域，通过动态规划进行搜索以获得经过最多背景像素的最优路径； 

步骤403，将该最优路径作为第一拼接缝。 

在本实施例中，空白区域也可以被称为背景区域，例如可以是不具有文本内容的、由背景像素组成的区域。空白区域并不一定是由空白像素（例如RGB值为0）组成，对于该技术特征，本领域的技术人员可以准确地了解其含义。 

在具体实现时，例如首先可以针对第一图像I1建立直方图，来记录第一图像每一行中的背景像素数目，其中具有最大数目的行被认为是待搜索的行，而该待搜索的行中的首点和末点被设为动态规划的初始点和结束点。 

然后，在待搜索的行的临近区域内，可以通过一种3邻接的搜索来实现最优连续拼接缝的估计。例如，动态规划的代价函数F可定义为： 

f(i,j)=min(f(i-1,j-1)+c,f(i,j-1),f(i+1,j-1)+c)   （1） 

$F=\underset{i\∈h}{\min }f(i,w)$

其中，（i，j）为当前像素位置，h和w分别表示第一图像的高度和宽度，c为从当前像素的左上和右下方向邻接像素而得到的代价，f（i，j）是I₁经反向二值化后的图像中（i，j）点的像素值；其中背景像素的RGB值被置为0，前景像素的RGB值被置为255。 

图5是本发明实施例的在第一图像上获得第一拼接缝的一实例示意图。如图5所示，在第一图像中的空白区域可以获得第一拼接缝501。 

由此，通过计算最小代价，可以获得经过最多背景像素的最优路径，从而得到第一拼接缝。在初始阶段，通过在空白区域查找拼接缝，可以避免可能的文字区域局部变形。 

图6是本发明实施例的获得第二拼接缝的一流程示意图。如图6所示，步骤103中利用第一拼接缝在第二图像的相应区域中进行特征点的匹配，根据匹配的结果在第二图像上获得第二拼接缝，具体可以包括： 

步骤601，将第一拼接缝划分为多段，根据多段获得多个待匹配的特征点； 

步骤602，根据多个待匹配的特征点，在第二图像的对应区域进行匹配以获得多个匹配特征点； 

步骤603，对多个匹配特征点进行动态规划来获得第二拼接缝。 

在本实施例中，因为第一图像I₁和第二图像I₂存在较大局部变形，为了得到I₂中鲁棒匹配的拼接缝，I₁中的拼接缝可以被划分为多个子段，在每个子段中心上进行特征匹配。即可以将每个子段的中心点作为待匹配的特征点；同时，具有显著特征的拐点也被记录下来作为待匹配的特征点。 

图7是本发明实施例的第一图像中多个待匹配的特征点的一实例示意图。如图7所示，可以在第一拼接缝上选取多个待匹配的特征点。 

在本实施例中，步骤602中根据多个待匹配的特征点，在第二图像的对应区域进行匹配以获得多个匹配特征点，具体可以包括：对于待匹配的特征点，通过自适应的窗口大小来进行特征提取；根据提取出的特征在第二图像的对应区域进行匹配，以获得初步匹配的特征点；在全局连续性约束下，对初步匹配的特征点进行局部最优特征匹配来获得最优偏移量，并根据最优偏移量获得最终的匹配特征点。 

在本实施例中，第一图像和第二图像已经被初始配准，因此对于第一图像中的每个待匹配的特征点，可以在第二图像中找到大致的对应区域；可以采用现有的任意一种方法实现。 

然后可以进行特征点的匹配，在具体实施时，例如实现I2向I1的多段匹配可以包括两个阶段： 

第一阶段：粗略匹配阶段。例如，对于每一个待匹配的特征点，可以在记录的该 特征点处提取特征，例如SURF，HOG（Histogram of Oriented Gradient），FREAK（Fast Retina Keypoint）等特征。 

然而，由于I₁中的拼缝处位于空白区域，因此特征较少，本发明实施例可以采用一种自适应的窗口大小来提取更多特征。例如，对于预定大小的窗口，建立二值图的积分图，通过计算前景像素的信息含量，决定是否需要改变该窗口的大小。如果信息量足够，那么该窗口就保持原状，在此窗口内进行特征提取；如果信息量不足，那么将该窗口变大，直到前景像素的信息含量足够。 

第二阶段，匹配优化阶段。在得到了粗略匹配的特征点之后，可以进行匹配优化。 

例如，可以利用一种多段的viterbi算法优化求解如下代价函数，实现在全局连续性约束下的局部最优特征匹配： 

$\underset{\mathrm{\Δ}{y}_i^2}{\min }{\mathrm{\λ}}_1\underset{i=1}{\overset{i\∈n}{\mathrm{\Σ}}}\left|\mathrm{\Δ}{y}_i^2\right|+{\mathrm{\λ}}_2\underset{i=1}{\overset{i\∈n-1}{\mathrm{\Σ}}}|y_i^2+\mathrm{\Δ}{y}_i^2-y_i^1-(y_{i+1}^2+\mathrm{\Δ}{y}_{i+1}^2-y_{i+1}^1)|---\left(2\right)$

其中，λ₁和λ₂表示优化子项的系数，表示第二图像中待优化的最优拼缝点偏移，表示第一图像中的待匹配的特征点，表示第二图像中的匹配特征点，n表示特征点的个数。 

由此，通过viterbi算法优化上述代价函数，可以获得各个采样特征点的最优偏移量，从而可获得最终的匹配特征点。可以实现全局的连续性约束及局部特征匹配，从而确定鲁棒匹配的拼接缝。 

在本实施例中，步骤603中可以对多个匹配特征点进行动态规划，从而获得第二拼接缝。 

具体地，在第二图像中得到了所有的匹配特征点之后，为了得到I₂中的完整拼接缝，可通过在邻接的两点进行动态规划寻找最短路径。这里的代价函数可以与上式（1）类似。 

图8是本发明实施例的第二图像上获得第二拼接缝的一实例示意图。如图8所示，通过特征点匹配，利用第一拼接缝可以获得第二图像中的完整连续拼接缝，即第二拼接缝801。 

在本实施例中，由于两条拼接缝附近区域具有局部变形，经粗略匹配的两条拼接缝在全局坐标系下可能具备偏移。因此，步骤104中可以计算第一拼接缝和第二拼接缝之间的距离容差，根据距离容差进行修正。 

图9是本发明实施例的通过两条拼接缝的距离进行修正的一实例示意图。如图9 所示，例如，第二图像的第二拼接缝L2应该位于第一图像的第一拼接缝L1的下方，而事实上在变形的图中，L2位于L1的上方（如图9的实线所示）。 

因此，为了保证两幅图像的相对位置关系的准确性，可以通过计算两条拼接缝之间的距离来修正L1或L2。，以修正L2为例，如图9中箭头所示，L2按照箭头方向可以移动（例如平移）至最大容差位置（如图9的虚线所示）。 

由此，可以通过最大容差来估计拼接缝之间的距离，实现图像的全局拼接。在获得修正后的第一拼接缝和第二拼接缝之后，可以基于第一拼接缝和第二拼接缝进行图像拼接；例如可以采用现有的任意一种拼接方法。 

在本实施例中，由于修正后的第一拼接缝和第二拼接缝之间的区域是空缺的，因此可以在步骤105中对拼接后的原始图像进行补偿。可以通过图像修复技术来补足空缺，但本发明不限于此。 

在一个实施方式中，对图像进行补偿具体可以包括：针对第一拼接缝和第二拼接缝之间的区域即第一区域，进行随机插值来填充第一区域；对第一区域进行扩展，获得比第一区域大的第二区域；对第二区域进行高斯平滑，获得进行高斯平滑后的第一区域；将进行高斯平滑后的第一区域与拼接后的原始图像进行叠加，以获得拼接后的最终图像。 

在具体实施时，可以通过从空缺区域边缘的像素值进行随机插值来填充该空缺区域；然后利用一种双掩模的方法进行图像平滑以保证图像内容的良好视觉效果。以下通过一个实例对双掩模的方法进行说明。 

图10是本发明实施例的利用双掩膜进行平滑的一实例示意图。如图10所示，首先在拼接缝的附近区域（第一区域）建立小掩模，然后对小掩模进行扩张（第二区域）得到大掩模。 

对大掩模进行高斯平滑，然后仅取经平滑后的大掩模中小掩模的区域，与原始图像减去小掩模的部分（斜线阴影部分）进行叠加，得到最终平滑后的图像。这样可以保证了平滑过程的快速和良好效果。 

在另一个实施方式中，对图像进行补偿具体可以包括：针对第一拼接缝和第二拼接缝之间的区域，对拼接后的原始图像按列进行拉伸或压缩，使所述列上的第一拼接缝和第二拼接缝的采样点重合。 

在具体实施时，可以按列拉伸或压缩第一拼接缝和第二拼接缝的采样点。图11 是本发明实施例的对图像进行拉伸或压缩的一示意图；如图11所示，A点表示第一拼接缝在某一列上的采样点，B点表示第二拼接缝在该列上的采样点，O点表示拉伸或压缩之后在该列上A点和B点的重合点。 

例如，O点为A点和B点之间的中点。可以针对第一拼接缝和第二拼接缝之间的区域即第一区域的一列，将第一拼接缝在该列上的采样点A以上的图像拉伸或压缩到第一区域在该列上的中心位置，将第二拼接缝在该列上的采样点B以下的图像拉伸或压缩到第一区域在该列上的中心位置； 

或者，也可以按照如下比例进行拉伸或压缩：|AO|/|BO|=a/b；其中，a表示该列上A点以上图像的长度，b表示该列上B点以下图像的长度。通过上述比例确定O点的位置之后，进行图像的拉伸或压缩；由此可以解决不同列上拉伸或压缩比例不同导致的内容变形。 

由上述实施例可知，通过在空白区域获得第一拼接缝，可以避免可能的文字区域局部变形；在第一拼接缝的基础上通过特征点匹配获得第二拼接缝，可以确定鲁棒匹配的拼接缝，并且可以在非接触条件下通过独立采样实现图像的拼接；通过第一拼接缝和第二拼接缝之间的距离容差对拼接缝进行修正，可以实现图像的全局拼接；基于拼接缝对图像进行图像补偿，可以无损文本内容地获得光滑的全景图像。 

实施例2 

本发明实施例提供一种图像拼接装置，对应于实施例1中的图像拼接方法，相同的内容可以参考实施例1，此处不再赘述。 

图12是本发明实施例的图像拼接装置的一构成示意图，如图12所示，该图像拼接装置1200包括： 

初始配准单元1201，对第一图像和第二图像进行初始配准； 

第一获得单元1202，在第一图像的空白区域中获得第一拼接缝； 

第二获得单元1203，利用第一拼接缝在第二图像的相应区域中进行特征点的匹配，根据匹配的结果在第二图像上获得第二拼接缝； 

容差修正单元1204，计算第一拼接缝和第二拼接缝之间的距离容差，根据该距离容差来修正第一拼接缝或第二拼接缝； 

图像补偿单元1205，基于第一拼接缝和第二拼接缝进行图像拼接，并对拼接后 的原始图像进行补偿以获得拼接后的最终图像。 

图13是本发明实施例的图像拼接装置的另一构成示意图，如图13所示，该图像拼接装置1300包括：初始配准单元1201、第一获得单元1202、第二获得单元1203、容差修正单元1204以及图像补偿单元1205，如上所述。 

如图13所示，第一获取单元1202还可以包括： 

像素计算单元1301，计算第一图像每一行中的背景像素的数目，将具有最大背景像素数目的行作为待搜索的行； 

路径搜索单元1302，在所述待搜索的行的附近区域，通过动态规划进行搜索以获得经过最多背景像素的最优路径，将所述最优路径作为所述第一拼接缝。 

如图13所示，第二获取单元1203还可以包括： 

特征点获取单元1303，将第一拼接缝划分为多段，根据所述多段获得多个待匹配的特征点； 

特征点匹配单元1304，根据所述多个待匹配的特征点，在所述第二图像的对应区域进行匹配以获得多个匹配特征点； 

动态规划单元1305，对多个匹配特征点进行动态规划来获得第二拼接缝。 

图14是本发明实施例的特征点匹配单元的一构成示意图，如图14所示，特征点匹配单元1304具体可以包括： 

特征提取单元1401，对于待匹配的特征点，通过自适应的窗口大小来进行特征提取； 

特征匹配单元1402，根据提取出的特征在所述第二图像的对应区域进行匹配，以获得初步匹配的特征点； 

匹配优化单元1403，在全局连续性约束下，对所述初步匹配的特征点进行局部最优特征匹配来获得最优偏移量，并根据所述最优偏移量获得最终的所述匹配特征点。 

其中，匹配优化单元1402可以利用viterbi算法求解如下代价函数，来获得最优偏移量： 

$\underset{\mathrm{\Δ}{y}_i^2}{\min }{\mathrm{\λ}}_1\underset{i=1}{\overset{i\∈n}{\mathrm{\Σ}}}\left|\mathrm{\Δ}{y}_i^2\right|+{\mathrm{\λ}}_2\underset{i=1}{\overset{i\∈n-1}{\mathrm{\Σ}}}|y_i^2+\mathrm{\Δ}{y}_i^2-y_i^1-(y_{i+1}^2+\mathrm{\Δ}{y}_{i+1}^2-y_{i+1}^1)|$

其中，λ₁和λ₂表示优化子项的系数，表示所述第二图像中待优化的最优拼缝点偏移，表示所述第一图像中的所述待匹配的特征点，表示所述第二图像中的 所述匹配特征点，n表示特征点的个数。 

图15是本发明实施例的图像补偿单元的一构成示意图，如图15所示，在一个实施方式中，图像补偿单元1205具体可以包括： 

随机插值单元1501，针对所述第一拼接缝和所述第二拼接缝之间的区域即第一区域，进行随机插值来填充所述第一区域； 

区域扩展单元1502，对所述第一区域进行扩展，获得比所述第一区域大的第二区域； 

高斯平滑单元1503，对所述第二区域进行高斯平滑，获得进行所述高斯平滑后的所述第一区域； 

图像叠加单元1504，将进行所述高斯平滑后的所述第一区域与拼接后的原始图像进行叠加，以获得拼接后的最终图像。 

图16是本发明实施例的图像补偿单元的另一构成示意图，如图16所示，在另一个实施方式中，图像补偿单元1205具体可以包括： 

图像伸缩单元1601，针对所述第一拼接缝和所述第二拼接缝之间的区域，对拼接后的原始图像按列进行拉伸或压缩，使所述列上的所述第一拼接缝和所述第二拼接缝的采样点重合。 

其中，图像伸缩单元1601具体可以用于：针对所述第一拼接缝和所述第二拼接缝之间的区域即第一区域的一列，将所述第一拼接缝在所述列上的采样点A以上的图像拉伸或压缩到所述第一区域在所述列上的中心位置，所述第二拼接缝在所述列上的采样点B以下的图像拉伸或压缩到所述第一区域在所述列上的中心位置； 

或者，按照如下比例进行拉伸或压缩：|AO|/|BO|=a/b； 

其中，A点表示所述第一拼接缝在所述列上的采样点，B点表示所述第二拼接缝在所述列上的采样点，O点表示拉伸或压缩之后在所述列上A点和B点的重合点；a表示所述列上A点以上图像的长度，b表示所述列上B点以下图像的长度。 

由上述实施例可知，通过在空白区域获得第一拼接缝，可以避免可能的文字区域局部变形；在第一拼接缝的基础上通过特征点匹配获得第二拼接缝，可以确定鲁棒匹配的拼接缝，并且可以在非接触条件下通过独立采样实现图像的拼接；通过第一拼接缝和第二拼接缝之间的距离容差对拼接缝进行修正，可以实现图像的全局拼接；基于拼接缝对图像进行图像补偿，可以无损文本内容地获得光滑的全景图像。 

实施例3 

本发明实施例提供一种图像处理设备，该图像处理设备包括如实施例2所述的图像拼接装置。 

图17是本发明实施例的图像处理设备的一构成示意图。如图17所示，图像处理设备1700可以包括：中央处理器（CPU）200和存储器210；存储器210耦合到中央处理器200。其中该存储器210可存储各种数据；此外还存储信息处理的程序，并且在中央处理器200的控制下执行该程序。 

在一个实施方式中，图像拼接装置的功能可以被集成到中央处理器200中。其中，中央处理器200可以被配置为实现如实施例1所述的图像拼接方法。 

在另一个实施方式中，图像拼接装置可以与中央处理器分开配置，例如可以将图像拼接装置配置为与中央处理器200连接的芯片，通过中央处理器的控制来实现图像拼接装置的功能。 

此外，如图17所示，图像处理设备1700还可以包括：输入输出单元220和显示单元230等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，图像处理设备1700也并不是必须要包括图17中所示的所有部件；此外，图像处理设备1700还可以包括图17中没有示出的部件，可以参考现有技术。 

本发明实施例还提供一种计算机可读程序，其中当在图像处理设备中执行所述程序时，所述程序使得计算机在所述图像处理设备中执行实施例1所述的图像拼接方法。 

本发明实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在图像处理设备中执行实施例1所述的图像拼接方法。 

本发明以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本发明涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本发明还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。 

以上结合具体的实施方式对本发明进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本发明保护范围的限制。本领域技术人员可以根据本 发明的精神和原理对本发明做出各种变型和修改，这些变型和修改也在本发明的范围内。 

关于包括以上实施例的实施方式，还公开下述的附记： 

（附记1）一种图像拼接方法，其特征在于，对第一图像和第二图像进行初始配准之后，所述图像拼接方法还包括： 

在所述第一图像的空白区域中获得第一拼接缝； 

利用所述第一拼接缝在所述第二图像的相应区域进行特征点的匹配，根据匹配的结果在所述第二图像上获得第二拼接缝； 

计算所述第一拼接缝和所述第二拼接缝之间的距离容差，根据所述距离容差来修正所述第一拼接缝或所述第二拼接缝； 

基于所述第一拼接缝和所述第二拼接缝进行图像拼接，并对拼接后的原始图像进行补偿以获得拼接后的最终图像。 

（附记2）根据附记1所述的图像拼接方法，其中，在所述第一图像的空白区域中估计第一拼接缝包括： 

计算所述第一图像每一行中的背景像素的数目，将具有最大背景像素数目的行作为待搜索的行； 

在所述待搜索的行的附近区域，通过动态规划进行搜索以获得经过最多背景像素的最优路径，将所述最优路径作为所述第一拼接缝。 

（附记3）根据附记1所述的图像拼接方法，其中，利用所述第一拼接缝在所述第二图像的相应区域进行特征点的匹配，根据匹配的结果在所述第二图像上获得第二拼接缝，包括： 

将所述第一拼接缝划分为多段，根据所述多段获得多个待匹配的特征点； 

根据所述多个待匹配的特征点，在所述第二图像的对应区域进行匹配以获得多个匹配特征点； 

对所述多个匹配特征点进行动态规划来获得所述第二拼接缝。 

（附记4）根据附记3所述的图像拼接方法，其中，根据所述多个待匹配的特征点，在所述第二图像的对应区域进行匹配以获得多个匹配特征点，包括： 

对于所述待匹配的特征点，通过自适应的窗口大小来进行特征提取； 

根据提取出的特征在所述第二图像的对应区域进行匹配，以获得初步匹配的特征 点； 

在全局连续性约束下，对所述初步匹配的特征点进行局部最优特征匹配来获得最优偏移量，并根据所述最优偏移量获得最终的所述匹配特征点。 

（附记5）根据附记4所述的图像拼接方法，其中，利用viterbi算法求解如下代价函数来获得最优偏移量： 

$\underset{\mathrm{\Δ}{y}_i^2}{\min }{\mathrm{\λ}}_1\underset{i=1}{\overset{i\∈n}{\mathrm{\Σ}}}\left|\mathrm{\Δ}{y}_i^2\right|+{\mathrm{\λ}}_2\underset{i=1}{\overset{i\∈n-1}{\mathrm{\Σ}}}|y_i^2+\mathrm{\Δ}{y}_i^2-y_i^1-(y_{i+1}^2+\mathrm{\Δ}{y}_{i+1}^2-y_{i+1}^1)|$

其中，λ₁和λ₂表示优化子项的系数，表示所述第二图像中待优化的最优拼缝点偏移，表示所述第一图像中的所述待匹配的特征点，表示所述第二图像中的所述匹配特征点，n表示特征点的个数。 

（附记6）根据附记1所述的图像拼接方法，其中，对拼接后的原始图像进行补偿以获得拼接后的最终图像，包括： 

针对所述第一拼接缝和所述第二拼接缝之间的区域即第一区域，进行随机插值来填充所述第一区域； 

对所述第一区域进行扩展，获得比所述第一区域大的第二区域； 

对所述第二区域进行高斯平滑，获得进行所述高斯平滑后的所述第一区域； 

将进行所述高斯平滑后的所述第一区域与拼接后的原始图像进行叠加，以获得拼接后的最终图像。 

（附记7）根据附记1所述的图像拼接方法，其中，对拼接后的原始图像进行补偿以获得拼接后的最终图像，包括： 

针对所述第一拼接缝和所述第二拼接缝之间的区域，对拼接后的原始图像按列进行拉伸或压缩，使所述列上的所述第一拼接缝和所述第二拼接缝的采样点重合。 

（附记8）根据附记7所述的图像拼接方法，其中，所述方法包括： 

针对所述第一拼接缝和所述第二拼接缝之间的区域即第一区域的一列，将所述第一拼接缝在所述列上的采样点A以上的图像拉伸或压缩到所述第一区域在所述列上的中心位置，所述第二拼接缝在所述列上的采样点B以下的图像拉伸或压缩到所述第一区域在所述列上的中心位置；或者 

按照如下比例进行拉伸或压缩：|AO|/|BO|=a/b 

其中，A点表示所述第一拼接缝在所述列上的采样点，B点表示所述第二拼接缝在所述列上的采样点，O点表示拉伸或压缩之后在所述列上A点和B点的重合点；a 表示所述列上A点以上图像的长度，b表示所述列上B点以下图像的长度。 

（附记9）一种图像拼接装置，其特征在于，所述图像拼接装置包括： 

初始配准单元，对第一图像和第二图像进行初始配准； 

第一获得单元，在所述第一图像的空白区域中获得第一拼接缝； 

第二获得单元，利用所述第一拼接缝在所述第二图像的相应区域进行特征点的匹配，根据匹配的结果在所述第二图像上获得第二拼接缝； 

容差修正单元，计算所述第一拼接缝和所述第二拼接缝之间的距离容差，根据所述距离容差来修正所述第一拼接缝或所述第二拼接缝； 

图像补偿单元，基于所述第一拼接缝和所述第二拼接缝进行图像拼接，并对拼接后的原始图像进行补偿以获得拼接后的最终图像。 

（附记10）根据附记9所述的图像拼接装置，其中，所述第一获取单元包括： 

像素计算单元，计算所述第一图像每一行中的背景像素的数目，将具有最大背景像素数目的行作为待搜索的行； 

路径搜索单元，在所述待搜索的行的附近区域，通过动态规划进行搜索以获得经过最多背景像素的最优路径，将所述最优路径作为所述第一拼接缝。 

（附记11）根据附记9所述的图像拼接装置，其中，所述第二获取单元包括： 

特征点获取单元，将所述第一拼接缝划分为多段，根据所述多段获得多个待匹配的特征点； 

特征点匹配单元，根据所述多个待匹配的特征点，在所述第二图像的对应区域进行匹配以获得多个匹配特征点； 

动态规划单元，对所述多个匹配特征点进行动态规划来获得所述第二拼接缝。 

（附记12）根据附记11所述的图像拼接装置，其中，所述特征点匹配单元包括： 

特征提取单元，对于所述待匹配的特征点，通过自适应的窗口大小来进行特征提取； 

特征匹配单元，根据提取出的特征在所述第二图像的对应区域进行匹配，以获得初步匹配的特征点； 

匹配优化单元，在全局连续性约束下，对所述初步匹配的特征点进行局部最优特征匹配来获得最优偏移量，并根据所述最优偏移量获得最终的所述匹配特征点。 

（附记13）根据附记12所述的图像拼接装置，其中，所述匹配优化单元利用viterbi 算法求解如下代价函数来获得最优偏移量： 

$\underset{\mathrm{\Δ}{y}_i^2}{\min }{\mathrm{\λ}}_1\underset{i=1}{\overset{i\∈n}{\mathrm{\Σ}}}\left|\mathrm{\Δ}{y}_i^2\right|+{\mathrm{\λ}}_2\underset{i=1}{\overset{i\∈n-1}{\mathrm{\Σ}}}|y_i^2+\mathrm{\Δ}{y}_i^2-y_i^1-(y_{i+1}^2+\mathrm{\Δ}{y}_{i+1}^2-y_{i+1}^1)|$

其中，λ₁和λ₂表示优化子项的系数，表示所述第二图像中待优化的最优拼缝点偏移，表示所述第一图像中的所述待匹配的特征点，表示所述第二图像中的所述匹配特征点，n表示特征点的个数。 

（附记14）根据附记9所述的图像拼接装置，其中，所述图像补偿单元包括： 

随机插值单元，针对所述第一拼接缝和所述第二拼接缝之间的区域即第一区域，进行随机插值来填充所述第一区域； 

区域扩展单元，对所述第一区域进行扩展，获得比所述第一区域大的第二区域； 

高斯平滑单元，对所述第二区域进行高斯平滑，获得进行所述高斯平滑后的所述第一区域； 

图像叠加单元，将进行所述高斯平滑后的所述第一区域与拼接后的原始图像进行叠加，以获得拼接后的最终图像。 

（附记15）根据附记9所述的图像拼接装置，其中，所述图像补偿单元包括： 

图像伸缩单元，针对所述第一拼接缝和所述第二拼接缝之间的区域，对拼接后的原始图像按列进行拉伸或压缩，使所述列上的所述第一拼接缝和所述第二拼接缝的采样点重合。 

（附记16）根据附记15所述的图像拼接装置，其中，所述图像伸缩单元具体用于： 

针对所述第一拼接缝和所述第二拼接缝之间的区域即第一区域的一列，将所述第一拼接缝在所述列上的采样点A以上的图像拉伸或压缩到所述第一区域在所述列上的中心位置，所述第二拼接缝在所述列上的采样点B以下的图像拉伸或压缩到所述第一区域在所述列上的中心位置；或者 

按照如下比例进行拉伸或压缩：|AO|/|BO|=a/b 

其中，A点表示所述第一拼接缝在所述列上的采样点，B点表示所述第二拼接缝在所述列上的采样点，O点表示拉伸或压缩之后在所述列上A点和B点的重合点；a表示所述列上A点以上图像的长度，b表示所述列上B点以下图像的长度。 

（附记17）一种图像处理设备，其特征在于，所述图像处理设备包括如附记9至16任一项所述的图像拼接装置。 

Claims (10)

1.一种图像拼接装置，其特征在于，所述图像拼接装置包括：

初始配准单元，对第一图像和第二图像进行初始配准；

第一获得单元，在所述第一图像的空白区域中获得第一拼接缝；

第二获得单元，利用所述第一拼接缝在所述第二图像的相应区域进行特征点的匹配，根据匹配的结果在所述第二图像上获得第二拼接缝；

容差修正单元，计算所述第一拼接缝和所述第二拼接缝之间的距离容差，根据所述距离容差来修正所述第一拼接缝或所述第二拼接缝；

图像补偿单元，基于所述第一拼接缝和所述第二拼接缝进行图像拼接，并对拼接后的原始图像进行补偿以获得拼接后的最终图像。

2.根据权利要求1所述的图像拼接装置，其中，所述第一获取单元包括：

像素计算单元，计算所述第一图像每一行中的背景像素的数目，将具有最大背景像素数目的行作为待搜索的行；

路径搜索单元，在所述待搜索的行的附近区域，通过动态规划进行搜索以获得经过最多背景像素的最优路径，将所述最优路径作为所述第一拼接缝。

3.根据权利要求1所述的图像拼接装置，其中，所述第二获取单元包括：

特征点获取单元，将所述第一拼接缝划分为多段，根据所述多段获得多个待匹配的特征点；

特征点匹配单元，根据所述多个待匹配的特征点，在所述第二图像的对应区域进行匹配以获得多个匹配特征点；

动态规划单元，对所述多个匹配特征点进行动态规划来获得所述第二拼接缝。

4.根据权利要求3所述的图像拼接装置，其中，所述特征点匹配单元包括：

特征提取单元，对于所述待匹配的特征点，通过自适应的窗口大小来进行特征提取；

特征匹配单元，根据提取出的特征在所述第二图像的对应区域进行匹配，以获得初步匹配的特征点；

匹配优化单元，在全局连续性约束下，对所述初步匹配的特征点进行局部最优特征匹配来获得最优偏移量，并根据所述最优偏移量获得最终的所述匹配特征点。

5.根据权利要求1所述的图像拼接装置，其中，所述图像补偿单元包括：

随机插值单元，针对所述第一拼接缝和所述第二拼接缝之间的区域即第一区域，进行随机插值来填充所述第一区域；

区域扩展单元，对所述第一区域进行扩展，获得比所述第一区域大的第二区域；

高斯平滑单元，对所述第二区域进行高斯平滑，获得进行所述高斯平滑后的所述第一区域；

图像叠加单元，将进行所述高斯平滑后的所述第一区域与拼接后的原始图像进行叠加，以获得拼接后的最终图像。

6.根据权利要求1所述的图像拼接装置，其中，所述图像补偿单元包括：

图像伸缩单元，针对所述第一拼接缝和所述第二拼接缝之间的区域，对拼接后的原始图像按列进行拉伸或压缩，使所述列上的所述第一拼接缝和所述第二拼接缝的采样点重合。

7.一种图像拼接方法，其特征在于，所述图像拼接方法包括：

对第一图像和第二图像进行初始配准；

在所述第一图像的空白区域中获得第一拼接缝；

利用所述第一拼接缝在所述第二图像的相应区域进行特征点的匹配，根据匹配的结果在所述第二图像上获得第二拼接缝；

计算所述第一拼接缝和所述第二拼接缝之间的距离容差，根据所述距离容差来修正所述第一拼接缝或所述第二拼接缝；

基于所述第一拼接缝和所述第二拼接缝进行图像拼接，并对拼接后的原始图像进行补偿以获得拼接后的最终图像。

8.根据权利要求7所述的图像拼接方法，其中，在所述第一图像的空白区域中获得第一拼接缝，包括：

计算所述第一图像每一行中的背景像素的数目，将具有最大背景像素数目的行作为待搜索的行；

在所述待搜索的行的附近区域，通过动态规划进行搜索以获得经过最多背景像素的最优路径，将所述最优路径作为所述第一拼接缝。

9.根据权利要求7所述的图像拼接方法，其中，利用所述第一拼接缝在所述第二图像的相应区域进行特征点的匹配，根据匹配的结果在所述第二图像上获得第二拼接缝，包括：

将所述第一拼接缝划分为多段，根据所述多段获得多个待匹配的特征点；

根据所述多个待匹配的特征点，在所述第二图像的对应区域进行匹配以获得多个匹配特征点；

对所述多个匹配特征点进行动态规划来获得所述第二拼接缝。

10.一种图像处理设备，其特征在于，所述图像处理设备包括如权利要求1至6任一项所述的图像拼接装置。