CN115205113A - 一种图像拼接方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提出一种图像拼接方法、装置、设备及存储介质，方法包括：获取第一图像帧的透视特征图，根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，并获取第二图像帧的第二透视校正图像帧。对第一透视校正图像帧和第二透视校正图像帧进行拼接，得到拼接图像。采用本申请的技术方案，通过对图像帧进行透视校正，减弱图像帧的透视效果，能够提高图像帧拼接时，两帧图像之间匹配的正确率，从而提高扫描图像的拼接效果。

Description

一种图像拼接方法、装置、设备及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像拼接方法、装置、设备及存储介质。

背景技术

随着近年来信息技术的不断升级发展，已经实现了对图像中字符的识别，因此，对于书本、文件等资料的信息，可以通过扫描图像，然后对图像中字符进行识别的方式，实现信息识别。例如，扫描笔等扫描设备通过不断获取图像，并对所有图像进行拼接，从而对拼接图像进行识别。其中，拼接图像的效果越好，越有利于提高识别准确率，因此，如何提高扫描图像的拼接效果是本领域技术人员亟需解决的问题。

发明内容

基于上述现有技术的缺陷和不足，本申请提出一种图像拼接方法、装置、设备及存储介质，能够提高扫描图像的拼接效果。

本申请第一方面提供了一种图像拼接方法，包括：

获取第一图像帧的透视特征图；其中，所述透视特征图用于表征图像帧中的图像内容的透视效果特征；

根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧，以及，获取第二图像帧的第二透视校正图像帧；所述透视校正以消除图像帧中的图像内容的透视效果为目标；

对所述第一透视校正图像帧和所述第二透视校正图像帧进行拼接，得到拼接图像。

可选的，所述第二透视校正图像帧为预先存储的拼接图像的最后一帧，所述第二透视校正图像帧通过根据第二图像帧的透视特征图对所述第二图像帧进行透视校正得到。

可选的，所述获取第一图像帧的透视特征图，包括：

提取第一图像帧的各个像素点的梯度信息；

根据所述第一图像帧的各个像素点的梯度信息，构建所述第一图像帧的梯度叠加图作为所述第一图像帧的透视特征图。

可选的，根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧，包括：

从所述第一图像帧的透视特征图中，提取需要进行透视校正的待校正区域；

基于所述待校正区域，计算所述第一图像帧对应的形变场；

根据所述形变场，对所述第一图像帧进行透视校正，得到所述第一图像帧对应的第一透视校正图像帧。

可选的，所述基于所述待校正区域，计算所述第一图像帧对应的形变场，包括：

基于所述待校正区域的顶点和所述待校正区域的上下边界，进行直线拟合，得到拟合直线；

将所述拟合直线调整为水平状态得到水平拟合直线，并确定所述水平拟合直线与所述第一图像帧边界的交点作为目标参考点；

根据所述拟合直线与所述目标参考点计算出变换矩阵，并将所述变换矩阵作为所述第一图像帧的形变场。

可选的，根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧之前，还包括：

根据所述第一图像帧的透视特征图和预先设置的校正条件区域，确定所述第一图像帧是否具有透视校正需求；所述校正条件区域包括图像帧最左侧的设定区域；

若所述第一图像帧具有透视校正需求，则根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧。

可选的，所述第一图像帧的透视特征图为第一图像帧的梯度叠加图；

根据所述第一图像帧的透视特征图和预先设置的校正条件区域，确定所述第一图像帧是否具有透视校正需求，包括：

若所述第一图像帧中预先设置的校正条件区域内存在待识别字符，且所述梯度叠加图的连通域面积达到预设阈值，则确定所述第一图像帧具有透视校正需求；

若所述第一图像帧中预先设置的校正条件区域内不存在待识别字符，或所述梯度叠加图的连通域面积未达到预设阈值，则确定所述第一图像帧不具有透视校正需求。

可选的，对所述第一透视校正图像帧和所述第二透视校正图像帧进行拼接，得到拼接图像，包括：

对所述第一透视校正图像帧与所述第二透视校正图像帧进行对比，确定两帧图像的重叠区域；

基于所述重叠区域，将所述第一透视校正图像帧与所述第二透视校正图像帧拼接，得到拼接图像。

可选的，对所述第一透视校正图像帧与所述第二透视校正图像帧进行对比，确定两帧图像的重叠区域，包括：

从所述第一透视校正图像帧中，提取预设的图像区域，作为匹配区域；

确定所述匹配区域的特征向量，以及确定所述第二透视校正图像帧的各个子区域的特征向量；

根据所述匹配区域的特征向量和所述各个子区域的特征向量，从所述各个子区域中搜索与所述匹配区域相似度最高的子区域作为重叠区域。

可选的，基于所述重叠区域，将所述第一透视校正图像帧与所述第二透视校正图像帧拼接，得到拼接图像，包括：

根据所述重叠区域和所述匹配区域，确定所述第一透视校正图像帧与所述第二透视校正图像帧之间的偏移量；

基于所述偏移量，将所述第一透视校正图像帧与所述第二透视校正图像帧拼接，得到拼接图像。

可选的，确定所述匹配区域的特征向量，包括：

将所述匹配区域分为至少一个图像块，并确定每个图像块的权重；

计算每个图像块的方向梯度直方图特征；

根据每个图像块的权重，对所有图像块的方向梯度直方图特征进行加权归一化处理，得到所述匹配区域的特征向量。

可选的，所述获取第一图像帧的透视特征图之前，还包括：

分析获取的当前扫描图像与所述第二图像帧之间的目标相似度；

根据所述目标相似度和预先设置的相似度阈值，确定所述当前扫描图像与所述第二图像帧之间的相似关系；

若所述相似关系表示不相似，则将所述当前扫描图像作为第一图像帧；

若所述相似关系表示相似，则将下一帧扫描图像作为当前扫描图像。

可选的，所述分析获取的当前扫描图像与所述第二图像帧之间的目标相似度，包括：

确定获取的当前扫描图像的图像特征和所述第二图像帧的图像特征；

计算所述当前扫描图像的图像特征和所述第二图像帧的图像特征之间的目标相似度。

可选的，若所述图像特征包括：整图特征和预先设置的局部区域对应的局部特征；

所述相似度阈值包括：第一相似度阈值和第二相似度阈值；

所述目标相似度包括：所述当前扫描图像的整图特征与所述第二图像帧的整图特征之间的第一目标相似度，以及，所述当前扫描图像的局部特征与所述第二图像帧的局部特征之间的第二目标相似度；

根据所述目标相似度和预先设置的相似度阈值，确定所述当前扫描图像与所述第二图像帧之间的相似关系，包括：

若所述第一目标相似度小于所述第一相似度阈值，且所述第二目标相似度小于所述第二相似度阈值，则确定所述当前扫描图像与所述前一图像帧之间的相似关系表示不相似；

若所述第一目标相似度不小于所述第一相似度阈值，和/或所述第二目标相似度不小于所述第二相似度阈值，则确定所述当前扫描图像与所述第二图像帧之间的相似关系表示相似。

可选的，图像拼接方法，还包括：

确定所述拼接图像中的图像内容的边界轮廓；

利用所述边界轮廓上的点坐标，对所述拼接图像进行竖直方向的边界对齐校正，得到校正后的拼接图像。

本申请第二方面提供了一种图像拼接装置，包括：

获取模块，用于获取的第一图像帧的透视特征图；其中，所述透视特征图用于表征图像帧中的图像内容的透视效果特征；

透视校正模块，用于根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧，以及，获取第二图像帧的第二透视校正图像帧；所述透视校正以消除图像帧中的图像内容的透视效果为目标；

图像拼接模块，用于对所述第一透视校正图像帧和所述第二透视校正图像帧进行拼接，得到拼接图像。

本申请第三方面提供了一种图像拼接设备，包括：

存储器和处理器；

其中，所述存储器与所述处理器连接，用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现上述图像拼接方法。

本申请第四方面提供了一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述图像拼接方法。

本申请提出的图像拼接方法，获取第一图像帧的透视特征图，根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，并获取第二图像帧的第二透视校正图像帧。对第一透视校正图像帧和第二透视校正图像帧进行拼接，得到拼接图像。采用本申请的技术方案，通过对图像帧进行透视校正，减弱图像帧的透视效果，能够提高图像帧拼接时，两帧图像之间匹配的正确率，从而提高扫描图像的拼接效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种图像拼接方法的流程示意图；

图2是本申请实施例提供的获取第一图像帧的透视特征图的处理流程示意图；

图3是本申请实施例提供的透视特征图的获取效果图；

图4是本申请实施例提供的对第一图像帧进行透视校正的处理流程示意图；

图5是本申请实施例提供的透视校正的目标参考点选取示意图；

图6是本申请实施例提供的透视校正前后对比图；

图7是本申请实施例提供的另一种图像拼接方法的流程示意图；

图8是本申请实施例提供的第一透视校正图像帧与第二透视校正图像帧拼接的处理流程示意图；

图9是本申请实施例提供的确定第一透视校正图像帧与第二透视校正图像帧重叠区域的处理流程示意图；

图10是本申请实施例提供的匹配区域分块的处理流程示意图；

图11是本申请实施例提供的另一种图像拼接方法的流程示意图；

图12是本申请实施例提供的另一种图像拼接方法的流程示意图；

图13是本申请实施例提供的拼接图像边界对齐校正前后对比图；

图14是本申请实施例提供的一种图像拼接装置的结构示意图；

图15是本申请实施例提供的一种图像拼接设备的结构示意图。

具体实施方式

本申请实施例技术方案适用于图像拼接的应用场景。采用本申请实施例技术方案，通过对图像帧进行透视校正，减弱图像帧的透视效果，能够提高图像帧拼接时，两帧图像之间匹配的正确率，从而提高扫描图像的拼接效果。

图像识别技术是人工智能的一个重要领域，随着图像识别技术的升级发展，图像识别技术的应用也越来越广泛。例如，扫描笔、手机、扫描仪等扫描设备可以通过对图像扫描后，对图像进行识别。当需要识别的内容较多时，可以采用扫描设备连续扫描，然后将扫描后的图像拼接后，对拼接图像进行识别。其中，拼接图像的拼接效果越好，越有利于提高识别准确率。

扫描设备在进行图片扫描时，与被扫描平面的角度会使得扫描出的图像呈现不同程度的透视，例如，当扫描设备与被扫描平面为90度时，没有透视，当扫描设备与被扫描平面小于60度时，便会有较大的透视效果。两帧图像在拼接时，会匹配两帧图像中相似的地方，确定两帧图像中是否扫描了相同的内容，从而避免拼接图像中扫描内容重复。但是，如果图像中的内容出现透视，那么在进行图像拼接时，即使两帧图像扫描了相同的内容，也会因为透视，导致两帧图像的匹配效果不理想，提高了拼接图像中出现相同内容的概率，影响了拼接图像的效果。

鉴于上述的现有技术的不足以及现实存在的扫描图像透视情况，导致扫描图像的拼接效果不高，本申请发明人经过研究和试验，提出一种图像拼接方法，该方法能够实现减弱图像帧的透视效果，提高图像帧拼接时，两帧图像之间匹配的正确率，从而提高扫描图像的拼接效果。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出一种图像拼接方法，参见图1所示，该方法包括：

S101、获取第一图像帧的透视特征图。

具体的，第一图像帧为扫描设备扫描到的图像帧，当获取到该第一图像帧后，需要判断该第一图像帧的透视情况，即获取该第一图像帧的透视特征图。其中，透视特征图用于表征图像帧中的图像内容的透视效果特征。图像帧的梯度二值累计叠加图(即梯度叠加图)中的前景连通域可以很明显的体现出图像帧中图像内容的透视效果，因此，本实施例可以通过构建第一图像帧的梯度叠加图作为该第一图像帧的透视特征图。

S102、根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，以及，获取第二图像帧的第二透视校正图像帧。

具体的，第一图像帧的透视特征图可以体现出第一图像帧中的图像内容的透视效果，由于透视特征图采用的是梯度叠加图，而梯度叠加图优选为按照预设数量，对第一图像帧二值化后的二值图与第一图像帧之前的图像帧的二值图叠加后的图。本实施例需要先确定透视特征图中图像内容所处区域的校正方式，再根据透视特征图对应的校正方式对原图(即第一图像帧)进行透视校正。即，根据透视特征图中表现出的图像内容的透视情况，确定可以消除透视特征图中图像内容的透视效果的校正方式，然后根据该校正方式对第一图像帧中的图像内容所在的区域进行透视校正，以便消除第一图像帧中的图像内容的透视效果，并将透视校正完成后的图像帧作为第一透视校正图像帧。

扫描设备扫描的第一图像帧可以是灰度图，也可以是彩色图。当第一图像帧为灰度图时，由于灰度图是单通道图片，因此只需要按照预先确定的透视特征图对应的校正方式，对灰度图单通道进行校正即可；当第一图像帧为彩色图时，由于彩色图是三通道图片(即R、G、B对应的三通道)，因此，需要按照预先确定的透视特征图对应的校正方式对彩色图的三通道进行校正，即，根据该校正方式确定彩色图的每个通道对应的校正值，根据三个通道的校正值来对彩色图三个通道进行校正。

若要对第一图像帧和第二图像帧进行拼接，本实施例还需要获取第二图像帧的第二透视校正图像帧。其中，如果第二图像帧已经完成透视校正，得到了第二透视校正图像帧，则直接获取第二透视校正图像帧。如果，第二图像帧并未进行透视校正，则还需要获取第二图像帧的透视特征图，具体可以按照上述的对第一图像帧进行透视校正的方式，根据第二图像帧的透视特征图，对第二图像帧进行透视校正，得到第二透视校正图像帧。

S103、对第一透视校正图像帧和第二透视校正图像帧进行拼接，得到拼接图像。

具体的，对图像帧进行拼接时，相邻的两帧图像帧之间会存在相同内容，当扫描速度越慢或者扫描设备的扫描帧率越快，相邻两帧图像帧之间相同的内容越多，因此，在对两帧图像帧拼接时，直接将两帧图像首尾拼接，便会出现拼接后的图像中相同内容重复出现的情况。因此，在进行图像帧拼接时，需要找出两帧图像帧中出现相同内容的区域，然后将两帧图像帧出现相同内容的区域拼接在一起，从而保证拼接后的图像中两帧图像帧中相同的内容只出现一次。

如果图像帧具有较大的透视效果，那么在搜索两帧图像帧中出现相同内容的区域时，可能会由于透视，导致两帧图像帧之间对比匹配的不准确，即使是相同的内容，在透视效果下，也无法检测出两者相同，因此，为了提高图像帧拼接时的准确度，提高拼接图像的效果，本实施例需要利用第一图像帧透视校正后的第一透视校正图像帧和第二图像帧透视校正后的第二透视校正图像帧来实现图像拼接，搜索第一透视校正图像帧和第二透视校正图像帧中出现相同内容的区域，然后将两帧图像帧出现相同内容的区域重叠在一起，从而得到拼接图像。

通过上述介绍可见，本申请实施例提出的图像拼接方法，获取第一图像帧的透视特征图，根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，并获取第二图像帧的第二透视校正图像帧。对第一透视校正图像帧和第二透视校正图像帧进行拼接，得到拼接图像。采用本实施例的技术方案，通过对图像帧进行透视校正，减弱图像帧的透视效果，能够提高图像帧拼接时，两帧图像之间匹配的正确率，从而提高扫描图像的拼接效果。

作为一种可选的实施方式，本申请另一实施例公开了，上述步骤S102中获取的第二透视校正图像帧为预先存储的拼接图像的最后一帧。例如，在实时扫描和扫描图像实时拼接的情况下，第一图像帧作为当前获取的图像帧，第二图像帧则为获取第一图像帧的前一次获取到的图像帧，在前一次获取到第二图像帧时，也根据第二图像帧的透视特征图对第二图像帧进行了透视校正，得到了第二透视校正图像帧。存储的拼接图像是由之前获取的图像帧透视校正后拼接完成的，而当前存储的拼接图像中的最后一帧则为第二透视校正图像帧。此时，第一透视校正图像帧与第二透视校正图像帧进行拼接，也就是将第一透视校正图像帧与存储的拼接图像进行拼接，拼接后得到的拼接图像作为最新的拼接图像替换掉之前存储的拼接图像。

作为一种可选的实施方式，参见图2所示，本申请另一实施例公开了，上述步骤S101，获取第一图像帧的透视特征图，包括：

S201、提取第一图像帧的各个像素点的梯度信息。

具体的，为了获取第一图像帧的透视特征图，首先需要对第一图像帧进行梯度提取，即提取第一图像帧中的各个像素点的梯度信息。其中，梯度是指相邻两个位置强度的差值，在图像帧中，梯度则是指两个相邻像素点之间的像素差值。

像素点的梯度信息包括：像素点的梯度角度和梯度幅值。其中像素点的梯度角度需要通过x方向的梯度和y方向的梯度来确定。例如，对于坐标为(x，y)的像素点，其x方向的梯度g_x＝f(x+1，y)-f(x，y)，其y方向的梯度g_y＝f(x，y+1)-f(x，y)，那么，该坐标为(x，y)的像素点的梯度角度α(x，y)＝arctan[g_y/g_x]，梯度幅值

其中，f(x+1，y)表示坐标为(x+1，y)的像素点的像素值，f(x，y)表示坐标为(x，y)的像素点的像素值，f(x，y+1)表示坐标为(x，y+1)的像素点的像素值。一般情况下，在提取图像中像素点各方向的梯度时，可以利用梯度算子提取，其中，梯度算子有Roberts算子、Sobel算子、Prewitt算子以及Laplace算子等，可以选用任意一种，本实施例优选采用的是Sobel算子。

S202、根据第一图像帧的各个像素点的梯度信息，构建第一图像帧的梯度叠加图作为第一图像帧的透视特征图。

具体的，计算出第一图像帧中的各个像素点的梯度信息后，需要利用所有梯度信息构建第一图像帧的梯度二值累计叠加图，即梯度叠加图，并将该梯度叠加图作为第一图像帧的透视特征图。利用所有梯度信息构建第一图像帧的梯度二值累计叠加图，首先需要利用第一图像帧中所有像素点的梯度信息构建该第一图像帧对应的梯度二值图，然后按照预设数量，将第一图像帧的梯度二值图与第一图像帧之前采集的图像帧的梯度二值图进行叠加，从而得到第一图像帧的梯度二值累计叠加图。例如，预设数量设置为50，则将第一图像帧的梯度二值图与第一图像帧之前采集49帧图像帧的梯度二值图进行叠加，将这50帧梯度二值图叠加在一起，得到第一图像帧的梯度二值累计叠加图，即梯度叠加图。

参见图3所示，第一行图像为原始图像帧，第一列的原始图像帧为第1帧时刻获取的图像帧，第二列的原始图像帧为第n帧时刻获取的图像帧，第三列的原始图像帧为第m帧时刻获取的图像帧。第二行图像为第一行的原始图像帧对应的梯度二值图，第三行图像则为第一行的原始图像帧对应的梯度二值累计叠加图。图3中第m帧时刻的梯度二值累计叠加图中的连通域(即图中白色区域)左边两个顶点之间的宽度与连通域右边两个顶点之间的宽度有较为明显的差距，从而体现出该梯度二值累计叠加图对应的原始图像帧具有较明显的透视效果。因此，本实施例将梯度叠加图作为透视特征图来表征图像帧中的图像内容的透视效果特征。

作为一种可选的实施方式，参见图4所示，本申请另一实施例公开了，上述步骤S102中，根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，包括：

S401、从第一图像帧的透视特征图中，提取需要进行透视校正的待校正区域。

具体的，为了确定对第一图像帧中的图像内容进行透视校正的校正方式，本实施例需要针对透视特征图中表现出的图像内容的透视情况，确定可以消除透视特征图中图像内容的透视效果时，对透视特征图中图像内容所在的区域的校正方式。那么，首先需要从第一图像帧的透视特征图中，提取前景连通域(如图3中第m帧时刻的梯度叠加图中的白色区域)。如果图像帧中除了中间的完整字符外，图像帧的上方或者下方有意外扫描到的上一行或下一行字符的一部分，在构建梯度叠加图时，梯度叠加图的中间具有完整字符对应的前景连通域，梯度叠加图的上方或者下方也会形成上一行或下一行字符的一部分对应的前景连通域。由于完整字符对应的前景连通域肯定会大于字符的一部分对应的前景连通域，因此，为了对第一图像帧中间完整字符进行透视校正，需要从第一图像帧的透视特征图(即梯度叠加图)所有的前景连通域中提取最大的前景连通域作为需要进行透视校正的待校正区域。

S402、基于待校正区域，计算第一图像帧对应的形变场。

具体的，从第一图像帧的透视特征图中提取到的待校正区域为具有透视效果的区域，需要将该待校正区域以消除透视效果为目标进行校正，确定将该校正区域校正为不具有透视效果的区域所对应的变换矩阵，从而以该变换矩阵作为第一图像帧对应的形变场。

进一步地，具体步骤如下所述：

第一，基于待校正区域的顶点和待校正区域的上下边界，进行直线拟合，得到拟合直线。

本实施例需要从透视特征图中的待校正区域的边界获取多个顶点，然后通过待校正区域的顶点以及待校正区域的上下边界，针对待校正区域的上下边界进行直线拟合，从而得到待校正区域上边界对应的拟合直线和下边界对应的拟合直线。本实施例中优选获取四个待校正区域的顶点，上边界获取两个顶点，下边界获取两个顶点，根据上边界顶点拟合上边界对应的拟合直线，根据下边界顶点拟合下边界对应的拟合直线。如图5所示，图5左边的图中，a1与b1两点对应的直线为待校正区域上边界对应的拟合直线，c1和d1两点对应的直线为待校正区域下边界对应的拟合直线。其中，a1、b1、c1、d1四个点分别为两条拟合直线与透视特征图的边界之间的交点，当透视特征图体现出第一图像帧的透视效果程度较大时，a1-c1之间的距离与b1-d1之间的距离差距较大，因此可以通过调整a1-c1之间的距离与b1-d1之间的距离，以使a1-c1之间的距离与b1-d1之间的距离差距缩小，从而实现对待校正区域进行校正，减弱透视特征图的透视效果。

第二，将拟合直线调整为水平状态得到水平拟合直线，并确定水平拟合直线与第一图像帧边界的交点作为目标参考点。

本实施例可以将透视特征图的待校正区域上边界对应的拟合直线和待校正区域下边界对应的拟合直线均调整为水平状态，这样两条直线保持平行，将a1-c1之间的距离与b1-d1之间的距离调整为相同，并且两条拟合直线均为水平状态，待校正区域便会为水平状态，那么第一图像帧对应的待校正区域内的图像内容也会保持水平状态，避免待识别的图像内容倾斜，提高识别时的准确率。对拟合直线调整为水平状态后，可得到对应的水平拟合直线，本实施例需要确定水平拟合直线与透视特征图边界的交点，也是水平拟合直线与第一图像帧边界的交点，将所有交点作为目标参考点。

本实施例中，假设第一图像帧的宽度为w，那么第一图像帧对应的透视特征图的宽度也为w。此时可以将a1的坐标确定为(0，y1)，b1的坐标确定为(w-1，y2)，c1的坐标确定为(0，y3)，d1的坐标确定为(w-1，y4)。如图5所示，右侧的图中，a2、b2、c2、d2四个点为目标参考点，以a1和b1中的最高点的高度为基准，对a1和b1进行调整，得到a2和b2，图5中a1和b1中的最高点为a1，那么a1则保持原位，将b1按照a1的高度进行调整，即a2的坐标为(0，y1)，b2的坐标为(w-1，y1)。以c1和d1中的最低点的高度为基准，对c1和d1进行调整，得到c2和d2，图5中c1和d1中的最低点为d1，那么d1则保持原位，将c1按照d1的高度进行调整，即c2的坐标为(0，y4)，d2的坐标为(w-1，y4)。

第三，根据拟合直线与目标参考点计算出变换矩阵，并将变换矩阵作为第一图像帧的形变场。

本实施例根据拟合直线与透视特征图边界的交点以及目标参考点，即a1-a2、b1-b2、c1-c2、d1-d2四个点对，利用DLT(直接线性变换，direct linear transformation)的方式，可以计算出变换矩阵，第一图像帧的透视特征图可以根据该变换矩阵校正为消除透视效果后的透视特征图，那么第一图像帧也可以根据该变换矩阵校正为消除透视效果后的图像帧，因此，可以将该变换矩阵作为第一图像帧的形变场。

S403、根据形变场，对第一图像帧进行透视校正，得到第一图像帧对应的第一透视校正图像帧。

本实施例可以根据上述步骤确定的形变场，对第一图像帧进行透视校正，即按照上述变换矩阵对第一图像帧中待校正区域对应的图像内容进行校正，从而得到第一图像帧透视校正后的第一透视校正图像帧。如图6所示，图中左侧的图为原始的图像帧，右侧为对原始的图像帧进行透视校正后的透视校正图像帧，该透视校正图像帧消除了原始的图像帧中的透视效果。

作为一种可选的实施方式，参见图7所示，本申请另一实施例公开了，上述步骤S102之前，还需要执行如下步骤：

S702、根据第一图像帧的透视特征图和预先设置的校正条件区域，确定第一图像帧是否具有透视校正需求。

具体的，只有第一图像帧的透视效果程度达到需要透视校正的情况下，才需要对第一图像帧进行透视校正，因此，在对第一图像帧进行透视校正之前还需要判断第一图像帧是否具有透视校正需求。其中，本实施例中，预先设置了校正条件区域，需要根据校正条件区域内的图像内容以及第一图像帧的透视特征图中的待校正区域，来判断第一图像帧是否具有透视校正需求。在进行图像扫描时，在扫描设备移动过程中，字符依次在图像的右边、中间和左边出现，在扫描设备的扫描角度会使扫描到的图像帧具有透视效果时，图像帧中的图像内容(字符)越靠左侧，图像帧的透视效果越明显，因此，预先设置的校正条件区域优选为图像帧最左侧的设定区域。如图3所示，图中每幅图的左侧的方框区域则为预先设置的校正条件区域。

进一步地，具体步骤如下所述：

第一，若第一图像帧中预先设置的校正条件区域内存在待识别字符，且梯度叠加图的连通域面积达到预设阈值，则确定第一图像帧具有透视校正需求。

本实施例中，将图像帧最左侧的设定区域作为需透视校正时图像内容所需达到的区域，即当图像内容中的待识别字符达到最左侧的设定区域(预先设置的校正条件区域)后，该图像帧才有进行透视校正的必要。如图3所示，第1帧时刻和第n帧时刻的图像帧中的校正条件区域中均不存在待识别字符，因此，第1帧时刻和第n帧时刻的图像帧无需进行透视校正。

另外，当图像帧中的图像内容不具有透视效果时，该图像帧对应的梯度叠加图中图像内容的连通域处于水平状态，且越加与矩形相似，而如果图像帧中的图像内容具有透视效果时，该图像帧对应的梯度叠加图中图像内容的连通域与梯形相似，那么此时连通域的面积便会大于不具透视效果时连通域的面积，因此，本实施例根据不具透视效果时，图像帧对应的梯度叠加图中图像内容的连通域面积来设置预设阈值。只有第一图像帧对应的梯度叠加图的连通域面积达到该预设阈值时，才说明第一图像帧有进行透视校正的必要。

本实施例需要根据校正条件区域与梯度叠加图的连通域面积这两个方面来对第一图像帧的透视校正需求进行判定，当第一图像帧的校正条件区域内存在待识别字符，并且第一图像帧对应的梯度叠加图的连通域面积达到预设阈值时，则确定该第一图像帧具有透视校正需求。

第二，若第一图像帧中预先设置的校正条件区域内不存在待识别字符，或梯度叠加图的连通域面积未达到预设阈值，则确定第一图像帧不具有透视校正需求。

如果第一图像帧的校正条件区域内不存在待识别字符，则说明第一图像帧没有进行透视校正的必要，如果第一图像帧对应的梯度叠加图的连通域面积未达到预设阈值，也说明第一图像帧没有进行透视校正的必要，因此，当第一图像帧中预先设置的校正条件区域内不存在待识别字符，或梯度叠加图的连通域面积未达到预设阈值时，则确定第一图像帧不具有透视校正需求。

S703、若第一图像帧具有透视校正需求，则根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，以及，获取第二图像帧的第二透视校正图像帧。

如果通过上述步骤确定出第一图像帧不具有透视校正需求时，则不需要对第一图像帧进行透视校正，此时直接将该第一图像帧作为从第一透视校正图像帧，并获取第二图像帧的第二透视校正图像帧，从而进行后续的图像拼接步骤。如果确定出第一图像帧具有透视校正需求时，则根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，以及，获取第二图像帧的第二透视校正图像帧。其中，对第一图像帧进行透视校正的具体步骤以及获取第二图像帧的第二任透视校正图像帧的具体步骤在上述实施例的步骤S102中已经介绍，此处不再具体阐述。

图7中的步骤S701与图1中的步骤S101相同，图7中的步骤S704与图1中的步骤S103相同，本实施例不再具体阐述步骤S701与步骤S704。

作为一种可选的实施方式，参见图8所示，本申请另一实施例公开了，上述步骤S103，对第一透视校正图像帧和第二透视校正图像帧进行拼接，得到拼接图像，包括：

S801、对第一透视校正图像帧与第二透视校正图像帧进行对比，确定两帧图像的重叠区域。

具体的，扫描设备在扫描过程中由于扫描帧率与扫描设备的移动速率不一致，扫描帧率通常需要大于扫描设备的移动速率，以避免出现图像漏扫的情况，当扫描帧率大于扫描设备的移动速率时，则会出现扫描到的相邻两帧或相邻多帧图像中扫描了相同内容的情况，因此，为了避免两帧图像拼接后图像内容重复，可以将相邻帧中图像内容相同的地方重叠拼接，这样可以将重复的图像内容只保留一份。因此，本实施例需要先确定需要进行拼接的两帧图像帧之间的重叠区域，并且，由于相同的图像内容在两帧图像中所处的位置不同，那么在透视效果的影响下，相同的图像内容对应的图像特征也会有所区别，如果两帧图像帧为透视效果明显的图像帧，那么在对两帧图像进行对比匹配时，匹配准确度较低，即对比出的两帧图像重叠区域的准确度较低，从而便会导致两帧图像帧之间的拼接效果较差，影响图像识别。因此，在进行图像拼接时，直接对透视校正后的第一透视校正图像帧和第二透视校正图像帧进行对比，确定两帧图像的重叠区域，重叠区域的准确度更高。

由于扫描设备的扫描特性，若两帧相邻的图像帧之间具有相同的图像内容，那么便是当前图像帧左侧部分的图像内容与其前一图像帧某一区域的图像内容出现相同，因此，在搜索两帧图像的重叠区域时，可以在图像帧的左侧设定的图像区域，将该图像区域作为进行图像匹配对比的匹配区域，在第二透视校正图像帧中搜索与第一透视校正图像帧匹配区域的图像相似度最高的区域作为重叠区域。

S802、基于重叠区域，将第一透视校正图像帧与第二透视校正图像帧拼接，得到拼接图像。

具体的，确定了第一透视校正图像帧与第二透视校正图像之间的重叠区域后，需要对第一透视图像帧中的匹配区域与第二透视校正图像帧中的重叠区域进行重叠拼接，即直接以第一透视图像帧中的匹配区域与第二透视校正图像帧中的重叠区域相重叠为基准，将第一透视图像帧拼接到第二透视校正图像帧上。

进一步地，具体步骤如下所述：

第一，根据重叠区域和匹配区域，确定第一透视校正图像帧与第二透视校正图像帧之间的偏移量。

通过上述步骤的对比，可得出第二透视校正图像中的重叠区域与第一透视校正图像帧中的匹配区域的图像相似度最高，则说明第二透视校正图像中重叠区域的图像与第一透视校正图像帧中匹配区域的图像为相同图像内容，为了实现重叠拼接，需要根据第二透视校正图像中重叠区域的位置与第一透视校正图像帧中匹配区域的位置，确定两个位置之间的偏移量，其中，偏移量包括：重叠区域在第二透视校正图像帧中水平方向上的位置与匹配区域在第一透视校正图像帧中水平方向上的位置之间的水平偏差值，以及，重叠区域在第二透视校正图像帧中垂直方向上的位置与匹配区域在第一透视校正图像帧中垂直方向上的位置之间的垂直偏差值。

第二，基于偏移量，将第一透视校正图像帧与第二透视校正图像帧拼接，得到拼接图像。

在对第一透视校正图像帧与第二透视校正图像帧进行拼接时，需要在第一透视校正图像帧与第二透视校正图像帧重叠对齐的基础上，将第一透视校正图像帧在水平方向上移动水平偏差值对应的距离，再将第一透视校正图像帧在垂直方向上移动垂直偏差值对应的距离，从而实现第一透视校正图像帧中的匹配区域与第二透视校正图像帧中的重叠区域之间相重叠，然后直接以当前位置为基准，将第一透视校正图像帧与第二透视校正图像帧拼接在一起，得到拼接图像。

作为一种可选的实施方式，参见图9所示，本申请另一实施例公开了，上述步骤S801，对第一透视校正图像帧与第二透视校正图像帧进行对比，确定两帧图像的重叠区域，包括：

S901、从第一透视校正图像帧中，提取预设的图像区域，作为匹配区域。

具体的，由于扫描设备的扫描特性，若两帧相邻的图像帧之间具有相同的图像内容，那么便是当前图像帧左侧部分的图像内容与其前一图像帧某一区域的图像内容出现相同的图像内容，因此，在搜索两帧图像的重叠区域时，可以在图像帧的左侧预先设定图像区域，提取该预设的图像区域作为进行图像匹配对比的匹配区域。

S902、确定匹配区域的特征向量，以及确定第二透视校正图像帧的各个子区域的特征向量。

具体的，为了从第二透视校正图像帧中匹配出与匹配区域中的图像相似度最高的区域，本实施例需要对第二透视校正图像帧进行区域划分，从而得到若干个子区域，然后根据第一透视校正图像帧的匹配区域内的图像特征与第二透视校正图像帧的各个子区域内的图像特征来计算匹配区域与各个子区域之间的图像相似度。其中，可以计算区域内图像的特征向量，将特征向量作为该区域的图像特征来进行相似度分析。因此，本实施例需要确定第一透视校正图像帧的匹配区域的特征向量以及第二透视校正图像帧的各个子区域的特征向量。

进一步地，确定匹配区域的特征向量，具体包括如下步骤：

第一，将匹配区域分为至少一个图像块，并确定每个图像块的权重。

本实施例可以将第一透视校正图像帧的匹配区域的图像分为至少一个图像块，然后根据每个图像块所在位置，为每个图像块设定相应的权重，其中，图像块的权重是根据该图像块所处位置在图像识别中的重要性来确定的，例如，在图像帧中，通常是中间部分为需要识别的图像内容，而图像帧上边界和下边界附近则可能会有意外扫描到的上一行或下一行的字符边缘，那么此时便可以将图像帧的中间区域的权重赋值较大，将上边界和下边界的区域的权重赋值较小，这样可以在待识别的字符笔画较少等对比难度较大的情况时，提高图像对比的准确度。本实施例在对匹配区域进行图像块划分时，可以采用大小不规则划分方式，如图10所示，若左侧的图为匹配区域，中间的图则为对匹配按照大小不规则划分方式划分后的9个图像块，其中图像块的大小不一。右侧的图则为对每个图像块赋予的权重值，其中，图像帧的中间区域为需要对比的主要区域，因此权重值较大，而上下边界在进行图像对比时，重要性不大，则设置的权重值较小。

第二，计算每个图像块的梯度方向直方图特征。

本实施例对匹配区域的图像划分为若干个图像块后，需要计算每个图像块的方向梯度直方图(HOG)特征。由于8方向梯度直方图特征能很好的区分不同字符，且在目标检测任务中，局部目标的表象和形状能够被梯度或边缘的方向密度分布很好地描述。因此，本实施例优选计算每个图像块的8方向梯度直方图特征。

第三，根据每个图像块的权重，对所有图像块的方向梯度直方图特征进行加权归一化处理，得到匹配区域的特征向量。

由于每个图像块均设置了对应的权重，因此，本实施例需要对所有图像块的方向梯度直方图特征进行加权归一化处理，将所有方向梯度直方图特征拼接成特征向量，即匹配区域的特征向量。其中，对于权重为0的图像块的方向梯度直方图特征需要被舍弃，直接对权重值不为0的图像块的方向特征直方图特征进行加权归一化。如图10所示的匹配区域划分的9个图像块中，有4个图像块的权重为0，则只对其余5个图像块的方向特征直方图进行加权归一化，由于每个图像块计算的均为8方向梯度直方图特征，那么5个图像块加权归一化后得到的特征向量则为40维特征向量。

另外，本实施例中，第二透视校正图像帧的各个子区域的特征向量的计算方式与匹配区域的特征向量的计算方式相同，本实施例不再一一阐述。

S903、根据匹配区域的特征向量和各个子区域的特征向量，从各个子区域中搜索与匹配区域相似度最高的子区域作为重叠区域。

具体的，通过上述步骤计算出第一透视校正图像帧的匹配区域的特征向量以及第二透视校正图像帧的各个子区域的特征向量后，需要计算匹配区域与各个子区域之间的相似度。本实施例中采用余弦相似度的计算方法，对匹配区域的特征向量与各个子区域的特征向量进行余弦相似度计算，从而确定匹配区域与各个子区域之间的相似度，并根据所有相似度，提取相似度最高的子区域，将该子区域作为重叠区域。

其中，本实施例在对第二透视校正图像帧划分子区域时，可以直接对第二透视校正图像帧进行完全划分，然后采用遍历搜索的方式，遍历各个子区域，从中选取相似度最高的子区域。还可以先只对第二透视校正图像帧进行纵向划分，从纵向划分的各个纵向区域中选取相似度最高的纵向区域，然后再对第二透视校正图像帧进行横向划分，从横向划分的各个横向区域中选取相似度最高的横向区域，然后将相似度最高的纵向区域和相似度最高的横向区域相重合的区域作为相似度最高的子区域，即重叠区域。

作为一种可选的实施方式，参见图11所示，本申请另一实施例公开了，在实时扫描和扫描图像实时拼接的情况下，第二透视校正图像帧为预先存储的拼接图像的最后一帧。由于扫描设备在扫描图像时，为了避免出现图像漏扫的情况，通常设置了较大的扫描帧率(例如120帧/秒)，因此扫描出的相邻图像帧之间的相似度较高，如果每帧图像帧均进行匹配拼接，则会导致实时拼接的压力较大，影响拼接效率，所以，可以在当前扫描图像与前一帧拼接好的图像(即预先存储的拼接图像的最后一帧)在透视校正之前的图像相似度较高时，通过跳帧，放弃当前扫描图像的拼接，减少实时拼接的压力。由于图像帧在进行透视校正后，图像特征则会发生改变，而当前扫描图像为未透视校正的图像，因此，在判断当前扫描图像与其前一帧图像之间的相似度时，也需要与前一帧未透视校正时的图像进行对比，从而避免为透视校正的图像与透视校正的图像之间对比相似度，导致判断结果不准确的情况。

即，在上述步骤S101，获取第一图像帧的透视特征图之前，还包括：

S1101、分析获取的当前扫描图像与第二图像帧之间的目标相似度。

具体的，本实施例中，预先存储的拼接图像的最后一帧为第二透视校正图像帧，而第二图像帧为第二透视校正图像帧在进行透视校正之前的原始图像帧，扫描设备在进行实时扫描时，获取到的当前扫描图像需要与前一帧完成拼接的图像帧对应的未进行透视校正之前的原始图像帧(即第二图像帧)进行相似度分析，得到当前扫描图像与第二图像帧之间的目标相似度。

进一步地，具体步骤如下所述：

第一，确定获取的当前扫描图像的图像特征和第二图像帧的图像特征。

本实施例需要计算出当前扫描图像的图像特征以及第二图像帧的图像特征。本实施例中，可以计算感知哈希特征(phash特征)作为图像特征，也可以计算方向梯度直方图特征作为图像特征，但当前扫描图像的图像特征和第二图像帧的图像特征需为同一种类型的图像特征。感知哈希特征的计算首先需要对图像进行图像块划分，然后进行图像块DCT变换(离散余弦变换)，再提取每个图像块的低频特征，通过比较图像块的低频特征与所有图像块的平均低频特征，得到phash特征值。本实施例中，图像特征包括整图特征和/或局部特征，其中局部特征对应的局部区域为预先设置的区域，优选为图像左侧1/3宽度区域。

第二，计算当前扫描图像的图像特征和第二图像帧的图像特征之间的目标相似度。

本实施例可以采用对当前扫描图像的图像特征和第二图像帧的图像特征计算巴氏距离的方式，确定两者之间的目标相似度，也可以采用余弦相似度的方式确定两者之间的目标相似度，本实施例不做具体限制。若图像特征只包括整图特征，那么目标相似度为当前扫描图像的整图特征和第二图像帧的整图特征之间的相似度；若图像特征只包括局部特征，那么目标相似度为当前扫描图像的局部特征和第二图像帧的局部特征之间的相似度；若图像特征包括整图特征和局部特征，那么目标相似度则包括当前扫描图像的整图特征和第二图像帧的整图特征之间的相似度，以及，当前扫描图像的局部特征和第二图像帧的局部特征之间的相似度。

S1102、根据目标相似度和预先设置的相似度阈值，确定当前扫描图像与第二图像帧之间的相似关系。

本实施例需要对当前扫描图像的图像特征与第二图像帧的图像特征之间的目标相似度和预先设置的相似度阈值进行对比，从而确定当前扫描图像与第二图像帧之间的相似关系。如果目标相似度小于相似度阈值，则说明当前扫描图像与第二图像帧之间的相似关系表示不相似；如果目标相似度不小于相似度阈值，则说明当前扫描图像与第二图像帧之间的相似关系表示相似。

具体的，本实施例可以将当前扫描图像的整图特征与第二图像帧的整图特征之间的相似度作为第一目标相似度，第一目标相似度对应设置的相似度阈值为第一相似度阈值，将当前扫描图像的局部特征与第二图像帧的局部特征之间的相似度作为第二目标相似度，第二目标相似度对应设置的相似度阈值为第二相似度阈值。

那么，当图像特征只包括整图特征时，如果第一目标相似度小于第一相似度阈值，则说明当前扫描图像与第二图像帧之间的相似关系表示不相似；如果第一目标相似度不小于第一相似度阈值，则说明当前扫描图像与第二图像帧之间的相似关系表示相似。

当图像特征只包括局部特征时，如果第二目标相似度小于第二相似度阈值，则说明当前扫描图像与第二图像帧之间的相似关系表示不相似；如果第二目标相似度不小于第二相似度阈值，则说明当前扫描图像与第二图像帧之间的相似关系表示相似。

当图像特征包括整图特征和局部特征时，如果第一目标相似度小于第一相似度阈值，且，第二目标相似度小于第二相似度阈值，则确定当前扫描图像与前一图像帧之间的相似关系表示不相似；如果第一目标相似度不小于第一相似度阈值，和或，第二目标相似度不小于第二相似度阈值，则确定当前扫描图像与第二图像帧之间的相似关系表示相似。其中，第一相似度阈值优选设置为0.95，第二相似度阈值优选设置为0.90。

S1103、若相似关系表示相似，则将下一帧扫描图像作为当前扫描图像。

通过上述步骤，如果判断出当前扫描图像与第二图像帧之间的相似关系表示相似，则说明当前扫描图像与第二图像帧之间的相似度较高，因此，可以直接跳帧，将当前扫描图像舍弃，直接获取下一帧扫描图像，并将下一帧扫描图像作为当前扫描图像，继续与第二图像帧进行目标相似度计算。

S1104、若相似关系表示不相似，则将当前扫描图像作为第一图像帧。

通过上述步骤，如果判断出当前扫描图像与第二图像帧之间的相似关系表示不相似，则说明当前扫描图像与第二图像帧之间的相似度不高，如果舍弃当前扫描图像则可能会丢失图像内容，因此，不跳帧，将该当前扫描图像作为第一图像帧，然后执行后续的透视校正与图像拼接的步骤。

图11中的步骤S1105-S1107与图1中的步骤S101-S103相同，本实施例不再具体阐述步骤S1105-S1107。

作为一种可选的实施方式，参见图12所示，本申请另一实施例公开了，图像拼接方法还包括：

S1204、确定拼接图像中的图像内容的边界轮廓。

当第一透视校正图像帧与第二透视校正图像帧完成拼接后，可能由于两帧图像在扫描时，扫描设备的扫描路径不一致，从而导致拼接图像拼接成弯曲的文本行，为了保证图像识别的准确度，本实施例需要对拼接图像进行文本行校正。首先，需要确定拼接图像中的图像内容的边界轮廓。其中，图像内容的边界轮廓可以采用梯度提取的方式确定。如图12所示，图12中上方的图为校正前的拼接图像，文字周围的轮廓为确定的图像内容的边界轮廓。

S1205、利用边界轮廓上的点坐标，对拼接图像进行竖直方向的边界对齐校正，得到校正后的拼接图像。

确定了拼接图像中图像内容的边界轮廓后，可以根据边界轮廓上的点坐标，计算各个点在竖直方向上的差值，根据该差值确定拼接图像中图像内容在竖直方向上的变换矩阵，然后根据该变换矩阵对拼接图像进行竖直方向上的对齐校正，得到校正后的拼接图像。如图12中下方的图为校正后的拼接图像。

与上述的图像拼接方法相对应的，本申请实施例还提出一种图像拼接装置，参见图14所示，该装置包括：

获取模块100，用于获取的第一图像帧的透视特征图；其中，透视特征图用于表征图像帧中的图像内容的透视效果特征；

透视校正模块110，用于根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，以及，获取第二图像帧的第二透视校正图像帧；透视校正以消除图像帧中的图像内容的透视效果为目标；

图像拼接模块120，用于对第一透视校正图像帧和第二透视校正图像帧进行拼接，得到拼接图像。

本申请实施例提出的图像拼接装置，利用获取模块100获取第一图像帧的透视特征图，利用透视校正模块110根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧，并获取第二图像帧的第二透视校正图像帧。利用图像拼接模块120对第一透视校正图像帧和第二透视校正图像帧进行拼接，得到拼接图像。采用本实施例的技术方案，通过对图像帧进行透视校正，减弱图像帧的透视效果，能够提高图像帧拼接时，两帧图像之间匹配的正确率，从而提高扫描图像的拼接效果。

作为一种可选的实施方式，本申请另一实施例还公开了，第二透视校正图像帧为预先存储的拼接图像的最后一帧，第二透视校正图像帧通过根据第二图像帧的透视特征图对第二图像帧进行透视校正得到。

作为一种可选的实施方式，本申请另一实施例还公开了，获取模块100，具体用于：

提取第一图像帧的各个像素点的梯度信息；

根据第一图像帧的各个像素点的梯度信息，构建第一图像帧的梯度叠加图作为第一图像帧的透视特征图。

作为一种可选的实施方式，本申请另一实施例还公开了，透视校正模块110包括：区域提取单元、计算单元和校正单元；

区域提取单元，用于从第一图像帧的透视特征图中，提取需要进行透视校正的待校正区域；

计算单元，用于基于待校正区域，计算第一图像帧对应的形变场；

校正单元，用于根据形变场，对第一图像帧进行透视校正，得到第一图像帧对应的第一透视校正图像帧。

作为一种可选的实施方式，本申请另一实施例还公开了，计算单元，具体用于：

基于待校正区域的顶点和待校正区域的上下边界，进行直线拟合，得到拟合直线；

将拟合直线调整为水平状态得到水平拟合直线，并确定水平拟合直线与第一图像帧边界的交点作为目标参考点；

根据拟合直线与目标参考点计算出变换矩阵，并将变换矩阵作为第一图像帧的形变场。

作为一种可选的实施方式，本申请另一实施例还公开了，图像拼接装置还包括：校正需求确定模块，用于根据第一图像帧的透视特征图和预先设置的校正条件区域，确定第一图像帧是否具有透视校正需求；校正条件区域包括图像帧最左侧的设定区域；

透视校正模块110，具体用于若第一图像帧具有透视校正需求，则根据第一图像帧的透视特征图对第一图像帧进行透视校正，得到第一透视校正图像帧。

作为一种可选的实施方式，本申请另一实施例还公开了，第一图像帧的透视特征图为第一图像帧的梯度叠加图。

校正需求确定模块，具体用于：

若第一图像帧中预先设置的校正条件区域内存在待识别字符，且梯度叠加图的连通域面积达到预设阈值，则确定第一图像帧具有透视校正需求；

若第一图像帧中预先设置的校正条件区域内不存在待识别字符，或梯度叠加图的连通域面积未达到预设阈值，则确定第一图像帧不具有透视校正需求。

作为一种可选的实施方式，本申请另一实施例还公开了，图像拼接模块120包括：重叠区域确定单元和拼接单元；

重叠区域确定单元，用于对第一透视校正图像帧与第二透视校正图像帧进行对比，确定两帧图像的重叠区域；

拼接单元，用于基于重叠区域，将第一透视校正图像帧与第二透视校正图像帧拼接，得到拼接图像。

作为一种可选的实施方式，本申请另一实施例还公开了，重叠区域确定单元，具体用于：

从第一透视校正图像帧中，提取预设的图像区域，作为匹配区域；

确定匹配区域的特征向量，以及确定第二透视校正图像帧的各个子区域的特征向量；

根据匹配区域的特征向量和各个子区域的特征向量，从各个子区域中搜索与匹配区域相似度最高的子区域作为重叠区域。

作为一种可选的实施方式，本申请另一实施例还公开了，拼接单元，具体用于：

根据重叠区域和匹配区域，确定第一透视校正图像帧与第二透视校正图像帧之间的偏移量；

基于偏移量，将第一透视校正图像帧与第二透视校正图像帧拼接，得到拼接图像。

作为一种可选的实施方式，本申请另一实施例还公开了，重叠区域确定单元确定匹配区域的特征向量，包括：

将匹配区域分为至少一个图像块，并确定每个图像块的权重；

计算每个图像块的方向梯度直方图特征；

根据每个图像块的权重，对所有图像块的方向梯度直方图特征进行加权归一化处理，得到匹配区域的特征向量。

作为一种可选的实施方式，本申请另一实施例还公开了，图像拼接装置还包括：分析模块、相似关系确定模块和图像帧确定模块；

分析模块，用于分析获取的当前扫描图像与第二图像帧之间的目标相似度；

相似关系确定模块，用于根据目标相似度和预先设置的相似度阈值，确定当前扫描图像与第二图像帧之间的相似关系；

图像帧确定模块，用于若相似关系表示不相似，则将当前扫描图像作为第一图像帧；若相似关系表示相似，则将下一帧扫描图像作为当前扫描图像。

作为一种可选的实施方式，本申请另一实施例还公开了，分析模块，具体用于：

确定获取的当前扫描图像的图像特征和第二图像帧的图像特征；

计算当前扫描图像的图像特征和第二图像帧的图像特征之间的目标相似度。

作为一种可选的实施方式，本申请另一实施例还公开了，若图像特征包括：整图特征和预先设置的局部区域对应的局部特征；

相似度阈值包括：第一相似度阈值和第二相似度阈值；

目标相似度包括：当前扫描图像的整图特征与第二图像帧的整图特征之间的第一目标相似度，以及，当前扫描图像的局部特征与第二图像帧的局部特征之间的第二目标相似度；

相似关系确定模块，具体用于：

若第一目标相似度小于第一相似度阈值，且第二目标相似度小于第二相似度阈值，则确定当前扫描图像与前一图像帧之间的相似关系表示不相似；

若第一目标相似度不小于第一相似度阈值，和/或第二目标相似度不小于第二相似度阈值，则确定当前扫描图像与第二图像帧之间的相似关系表示相似。

作为一种可选的实施方式，本申请另一实施例还公开了，图像拼接装置还包括：边界确定模块和边界校正模块；

边界确定模块，用于确定拼接图像中的图像内容的边界轮廓；

边界校正模块，用于利用边界轮廓上的点坐标，对拼接图像进行竖直方向的边界对齐校正，得到校正后的拼接图像。

本实施例提供的图像拼接装置，与本申请上述实施例所提供的图像拼接方法属于同一申请构思，可执行本申请上述任意实施例所提供的图像拼接方法，具备执行该图像拼接方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的图像拼接方法的具体处理内容，此处不再加以赘述。

本申请另一实施例还公开了一种图像拼接设备，参见图15所示，该设备包括：

存储器200和处理器210；

其中，所述存储器200与所述处理器210连接，用于存储程序；

所述处理器210，用于通过运行所述存储器200中存储的程序，实现上述任一实施例公开的图像拼接方法。

具体的，上述图像拼接设备还可以包括：总线、通信接口220、输入设备230和输出设备240。

处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器210可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器210可包括主处理器，还可包括基带芯片、调制解调器等。

存储器200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(randomaccess memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器2102执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请实施例所提供的图像拼接方法的各个步骤。

上述的图像拼接设备本身可以是扫描笔、扫描仪等具有图像扫描功能的电子设备，该电子设备通过执行本申请实施例上述的图像拼接方法，能够实现更好的图像拼接效果。或者，上述的图像拼接设备也可以用于扫描笔、扫描仪、服务器、图像处理设备等其他电子设备中，通过应用该图像拼接设备，能够使得上述其他电子设备实现更好的图像拼接效果。

本申请另一实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例提供的图像拼接方法的各个步骤。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (17)

1.一种图像拼接方法，其特征在于，包括：

获取第一图像帧的透视特征图；其中，所述透视特征图用于表征图像帧中的图像内容的透视效果特征；

根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧，以及，获取第二图像帧的第二透视校正图像帧；所述透视校正以消除图像帧中的图像内容的透视效果为目标；

对所述第一透视校正图像帧和所述第二透视校正图像帧进行拼接，得到拼接图像。

2.根据权利要求1所述的方法，其特征在于，所述第二透视校正图像帧为预先存储的拼接图像的最后一帧，所述第二透视校正图像帧通过根据第二图像帧的透视特征图对所述第二图像帧进行透视校正得到。

3.根据权利要求1所述的方法，其特征在于，所述获取第一图像帧的透视特征图，包括：

提取第一图像帧的各个像素点的梯度信息；

根据所述第一图像帧的各个像素点的梯度信息，构建所述第一图像帧的梯度叠加图作为所述第一图像帧的透视特征图。

4.根据权利要求1所述的方法，其特征在于，根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧，包括：

从所述第一图像帧的透视特征图中，提取需要进行透视校正的待校正区域；

基于所述待校正区域，计算所述第一图像帧对应的形变场；

根据所述形变场，对所述第一图像帧进行透视校正，得到所述第一图像帧对应的第一透视校正图像帧。

5.根据权利要求4所述的方法，其特征在于，所述基于所述待校正区域，计算所述第一图像帧对应的形变场，包括：

基于所述待校正区域的顶点和所述待校正区域的上下边界，进行直线拟合，得到拟合直线；

将所述拟合直线调整为水平状态得到水平拟合直线，并确定所述水平拟合直线与所述第一图像帧边界的交点作为目标参考点；

根据所述拟合直线与所述目标参考点计算出变换矩阵，并将所述变换矩阵作为所述第一图像帧的形变场。

6.根据权利要求1所述的方法，其特征在于，根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧之前，还包括：

根据所述第一图像帧的透视特征图和预先设置的校正条件区域，确定所述第一图像帧是否具有透视校正需求；所述校正条件区域包括图像帧最左侧的设定区域；

若所述第一图像帧具有透视校正需求，则根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧。

7.根据权利要求6所述的方法，其特征在于，所述第一图像帧的透视特征图为第一图像帧的梯度叠加图；

根据所述第一图像帧的透视特征图和预先设置的校正条件区域，确定所述第一图像帧是否具有透视校正需求，包括：

若所述第一图像帧中预先设置的校正条件区域内存在待识别字符，且所述梯度叠加图的连通域面积达到预设阈值，则确定所述第一图像帧具有透视校正需求；

若所述第一图像帧中预先设置的校正条件区域内不存在待识别字符，或所述梯度叠加图的连通域面积未达到预设阈值，则确定所述第一图像帧不具有透视校正需求。

8.根据权利要求1所述的方法，其特征在于，对所述第一透视校正图像帧和所述第二透视校正图像帧进行拼接，得到拼接图像，包括：

对所述第一透视校正图像帧与所述第二透视校正图像帧进行对比，确定两帧图像的重叠区域；

基于所述重叠区域，将所述第一透视校正图像帧与所述第二透视校正图像帧拼接，得到拼接图像。

9.根据权利要求8所述的方法，其特征在于，对所述第一透视校正图像帧与所述第二透视校正图像帧进行对比，确定两帧图像的重叠区域，包括：

从所述第一透视校正图像帧中，提取预设的图像区域，作为匹配区域；

确定所述匹配区域的特征向量，以及确定所述第二透视校正图像帧的各个子区域的特征向量；

根据所述匹配区域的特征向量和所述各个子区域的特征向量，从所述各个子区域中搜索与所述匹配区域相似度最高的子区域作为重叠区域。

10.根据权利要求9所述的方法，其特征在于，基于所述重叠区域，将所述第一透视校正图像帧与所述第二透视校正图像帧拼接，得到拼接图像，包括：

根据所述重叠区域和所述匹配区域，确定所述第一透视校正图像帧与所述第二透视校正图像帧之间的偏移量；

基于所述偏移量，将所述第一透视校正图像帧与所述第二透视校正图像帧拼接，得到拼接图像。

11.根据权利要求9所述的方法，其特征在于，确定所述匹配区域的特征向量，包括：

将所述匹配区域分为至少一个图像块，并确定每个图像块的权重；

计算每个图像块的方向梯度直方图特征；

根据每个图像块的权重，对所有图像块的方向梯度直方图特征进行加权归一化处理，得到所述匹配区域的特征向量。

12.根据权利要求2所述的方法，其特征在于，所述获取第一图像帧的透视特征图之前，还包括：

分析获取的当前扫描图像与所述第二图像帧之间的目标相似度；

根据所述目标相似度和预先设置的相似度阈值，确定所述当前扫描图像与所述第二图像帧之间的相似关系；

若所述相似关系表示不相似，则将所述当前扫描图像作为第一图像帧；

若所述相似关系表示相似，则将下一帧扫描图像作为当前扫描图像。

13.根据权利要求12所述的方法，其特征在于，所述分析获取的当前扫描图像与所述第二图像帧之间的目标相似度，包括：

确定获取的当前扫描图像的图像特征和所述第二图像帧的图像特征；

计算所述当前扫描图像的图像特征和所述第二图像帧的图像特征之间的目标相似度。

14.根据权利要求1所述的方法，其特征在于，还包括：

确定所述拼接图像中的图像内容的边界轮廓；

利用所述边界轮廓上的点坐标，对所述拼接图像进行竖直方向的边界对齐校正，得到校正后的拼接图像。

15.一种图像拼接装置，其特征在于，包括：

获取模块，用于获取的第一图像帧的透视特征图；其中，所述透视特征图用于表征图像帧中的图像内容的透视效果特征；

透视校正模块，用于根据所述第一图像帧的透视特征图对所述第一图像帧进行透视校正，得到第一透视校正图像帧，以及，获取第二图像帧的第二透视校正图像帧；所述透视校正以消除图像帧中的图像内容的透视效果为目标；

图像拼接模块，用于对所述第一透视校正图像帧和所述第二透视校正图像帧进行拼接，得到拼接图像。

16.一种图像拼接设备，其特征在于，包括：

存储器和处理器；

其中，所述存储器与所述处理器连接，用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现如权利要求1至14中任一项所述的图像拼接方法。

17.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至14中任一项所述的图像拼接方法。

Images