CN115222935A - 图像校正方法、装置、电子设备、扫描笔及存储介质 - Google Patents

Abstract

本申请提出一种图像校正方法、装置、电子设备、扫描笔及存储介质，方法包括：获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与目标姿态参数对应的目标图像变换信息；利用目标图像变换信息，对待校正图像进行校正。采用本申请的技术方案，预先记录了扫描设备在各种设备姿态参数下采集的图像的图像变换信息，可以直接根据采集待校正图像时的姿态参数，确定对待校正图像校正的目标图像变换信息，无需根据待校正图像中的图像内容计算图像变换信息，提高了图像变换的准确性，从而提高了图像校正的准确率。

Description

图像校正方法、装置、电子设备、扫描笔及存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像校正方法、装置、电子设备、扫描笔及存储介质。

背景技术

图像扫描设备在进行图像扫描时，扫描的角度不同，扫描到的图像便会出现不同程度的透视效果，因此在进行图像识别之前需要对图像进行姿态校正。现有的匹配拼接技术中，在拼接前，或进行特征点匹配，根据匹配结果获取姿态关系，从而进行姿态校正；或进行字符的匹配跟踪，确定运动走势和大小变化来确定姿态，然后完成姿态校正拼接。但是现有技术是基于图像中的图像内容进行检测定位和校正，因视野和内容歧义的缺陷，无法获得完美的实时鲁棒的校正，以使根据图像中的内容信息确定的图像变换信息的准确率较低，从而影响图像校正的准确率。

发明内容

基于上述现有技术的缺陷和不足，本申请提出一种图像校正方法、装置、电子设备、扫描笔及存储介质，能够提高图像变换的准确性，从而提高图像校正的准确率。

本申请第一方面提供了一种图像校正方法，包括：

获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；

根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与所述目标姿态参数对应的目标图像变换信息；其中，所述图像变换信息用于表示扫描图像与标准扫描图像之间的变换信息；

利用所述目标图像变换信息，对所述待校正图像进行校正。

可选的，所述设备姿态参数与图像变换信息的匹配信息，通过将所述扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与所述扫描设备在标准扫描姿态下对所述预设扫描样本进行扫描得到的图像进行匹配变换而确定。

可选的，通过将所述扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与所述扫描设备在标准扫描姿态下对所述预设扫描样本进行扫描得到的图像进行匹配变换，确定设备姿态参数与图像变换信息的匹配信息，包括：

获取所述扫描设备在每个扫描角度下的设备姿态参数，以及获取所述扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的样本图像；

以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息；其中，所述标准样本图像为所述扫描设备在标准扫描姿态下对所述预设扫描样本进行扫描得到的图像；

将所述扫描设备在每个扫描角度下的设备姿态参数与每个扫描角度对应的图像变换信息进行匹配关联，得到设备姿态参数与图像变换信息的匹配信息。

可选的，所述以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息，包括：

分别对每个所述样本图像进行二值化处理，得到每个所述样本图像对应的二值化图像；

根据每个所述样本图像对应的二值化图像，确定每个所述样本图像的姿态变换参考点；

从所述标准样本图像中，获取每个所述姿态变换参考点对应的标准参考点，并将所述姿态变换参考点与所述姿态变换参考点对应的标准参考点作为参考点对；

根据每组参考点对，计算每个所述样本图像的图像变换信息。

可选的，根据每个所述样本图像对应的二值化图像，确定每个所述样本图像的姿态变换参考点，包括：

从每个所述样本图像对应的二值化图像中，提取每个所述样本图像对应的待校正区域；

对每个所述样本图像对应的待校正区域进行边界拟合，得到每个所述待校正区域的边界拟合直线；

从每个所述样本图像对应的二值化图像中，提取每个所述样本图像对应的待校正区域的边界拟合直线之间的交点作为每个所述样本图像的姿态变换参考点。

可选的，从每个所述样本图像对应的二值化图像中，提取每个所述样本图像对应的待校正区域，包括：

对每个所述样本图像对应的二值化图像进行前景膨胀，得到每个所述样本图像对应的前景膨胀二值化图像；

从每个所述样本图像对应的前景膨胀二值化图像中，提取最大连通区域作为待校正区域。

可选的，根据每组参考点对，计算每个所述样本图像的图像变换信息，包括：

利用预先设置的线性变换规则和每个所述样本图像对应的参考点对，计算将每个所述样本图像变换为所述标准样本图像时的线性变换矩阵，作为与每个所述样本图像对应的图像变换信息。

可选的，所述获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数，包括：

获取扫描设备扫描得到待校正图像时，设置在所述扫描设备上的陀螺仪采集的设备姿态参数，作为目标姿态参数。

可选的，利用所述目标图像变换信息，对所述待校正图像进行校正，包括：

利用所述目标图像变换信息和所述待校正图像中各个像素点的当前位置，计算所述待校正图像中各个像素点进行图像变换后的目标位置；

根据所述待校正图像中各个像素点的目标位置，对所述待校正图像进行图像校正。

本申请第二方面提供了一种图像校正装置，包括：

参数获取模块，用于获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；

变换信息确定模块，用于根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与所述目标姿态参数对应的目标图像变换信息；其中，所述图像变换信息用于表示扫描图像与标准扫描图像之间的变换信息；

图像校正模块，用于利用所述目标图像变换信息，对所述待校正图像进行校正。

本申请第三方面提供了一种电子设备，包括：存储器和处理器；

其中，所述存储器与所述处理器连接，用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现上述图像校正方法。

本申请第四方面提供了一种扫描笔，其特征在于，包括：扫描摄像头、陀螺仪，以及与所述扫描摄像头和所述陀螺仪分别连接的处理器；

所述陀螺仪用于采集所述扫描笔的设备姿态参数，并将所述设备姿态参数发送给所述处理器；

所述扫描摄像头用于采集待校正图像，并将所述待校正图像发送给所述处理器；

所述处理器用于获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；

根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与所述目标姿态参数对应的目标图像变换信息；其中，所述图像变换信息用于表示扫描图像与标准扫描图像之间的变换信息；

利用所述目标图像变换信息，对所述待校正图像进行校正。

本申请第五方面提供了一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现上述图像校正方法。

本申请提出的图像校正方法，获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与目标姿态参数对应的目标图像变换信息；利用目标图像变换信息，对待校正图像进行校正。采用本申请的技术方案，预先记录了扫描设备在各种设备姿态参数下采集的图像的图像变换信息，可以直接根据采集待校正图像时的姿态参数，确定对待校正图像校正的目标图像变换信息，无需根据待校正图像中的图像内容计算图像变换信息，提高了图像变换的准确性，从而提高了图像校正的准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1是本申请实施例提供的一种图像校正方法的流程示意图；

图2(a)是本申请实施例提供的无旋转角握笔俯仰角90度时扫描图像的效果示例图；

图2(b)是本申请实施例提供的无旋转角握笔俯仰角60度时扫描图像的效果示例图；

图2(c)是本申请实施例提供的有旋转角握笔俯仰角45度时扫描图像的效果示例图；

图3是本申请实施例提供的确定设备姿态参数与图像变换信息的匹配信息的处理流程示意图；

图4(a)是本申请实施例提供的一种扫描角度的样本图像校正前的效果示意图；

图4(b)是本申请实施例提供的一种扫描角度的样本图像校正后的效果示意图；

图5是本申请实施例提供的确定每个扫描角度对应的样本图像的图像变换信息的处理流程示意图；

图6(a)是本申请实施例提供的样本图像的前景膨胀二值化图像；

图6(b)是本申请实施例提供的对图6(a)中前景膨胀二值化图像进行最大轮廓填充后的图像；

图6(c)是本申请实施例提供的样本图像的待校正区域图像；

图7是本申请实施例提供的样本图像对应的待校正区域的边界拟合图；

图8是本申请实施例提供的一种图像校正装置的结构示意图；

图9是本申请实施例提供的一种电子设备的结构示意图；

图10是本申请实施例提供的一种扫描笔的结构示意图。

具体实施方式

本申请实施例技术方案适用于图像校正的应用场景。采用本申请实施例技术方案，能够提高图像变换的准确性，从而提高图像校正的准确率。

对于扫描笔、词典笔等设备，通常可以根据使用要求不同分为两类，一类是规范用户使用姿态的，后续的图像处理中不需要进行任何图像校正即可得到标准扫描角度的图像，如在扫描笔的设计上进行规范，只能无旋转角度的握笔90度才能触发扫描。但是此类设备约束了用户的使用姿态，影响了用户的体验度。另一类是不进行用户规范使用约束的，可以采用亲和正常握笔姿态进行扫描，但是扫描到的图像可能会出现透视和倾斜。因此扫描到图像后，或进行特征点匹配，根据匹配结果获取姿态关系，从而进行姿态校正；或进行字符的匹配跟踪，确定运动走势和大小变化来确定姿态，然后完成姿态校正拼接。上述校正方式是基于图像中内容进行检测定位和校正，但是因视野和内容歧义的缺陷，无法获得完美的实时鲁棒的校正方法，根据图像中的内容信息确定的图像变换信息的准确率较低，从而影响图像校正的准确率。

鉴于上述的现有技术的不足以及现实存在的因视野和内容歧义的缺陷，无法获得完美的实时鲁棒的校正方法，根据图像中的内容信息确定的图像变换信息的准确率较低，从而影响图像校正的准确率的问题，本申请发明人经过研究和试验，提出一种图像校正方法，该方法能够实现直接根据采集待校正图像时的姿态参数，确定对待校正图像校正的目标图像变换信息，无需根据待校正图像中的图像内容计算图像变换信息，提高了图像变换的准确性，从而提高了图像校正的准确率。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提出一种图像校正方法，参见图1所示，该方法包括：

S101、获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数。

具体的，扫描笔、词典笔等扫描设备会因使用者的握笔姿态和使用角度不同，扫描到的图像也会呈现不同的透视效果和倾斜效果。如图2(a)所示，为无旋转角握笔俯仰角90度时扫描到的图像，该图像为标准扫描姿态下的图像，无透视、无倾斜。图2(b)为无旋转角握笔俯仰角60度时扫描到的图像，由于握笔姿态无旋转角，所以扫描到的图像无倾斜，但是握笔俯仰角为60度，因此该图像出现了左右透视效果。图2(c)为有旋转角握笔俯仰角45度时扫描到的图像，由于握笔姿态有旋转角，所以扫描到的图像有倾斜，且握笔俯仰角为45度，该图像也出现了左右透视效果。扫描笔、词典笔等扫描设备只有在标准扫描姿态(握笔无旋转角，握笔俯仰角90度)下，扫描到的图像才为无倾斜、无透视效果的标准图像。当握笔有旋转角时扫描到的图像会出现倾斜效果，当握笔俯仰角不是90度时扫描到的图像会出现透视效果。

图像的透视效果和倾斜效果不同，那么图像对应的图像变换信息也不相同，因此，扫描设备扫描得到待校正图像时，还需要获取扫描该待校正图像时的设备姿态参数，作为该待校正图像对应的目标姿态参数。

进一步地，本实施例可以在扫描设备中设置陀螺仪，陀螺仪可以采集扫描设备的设备姿态参数。本实施例可以获取扫描设备扫描得到待校正图像时，设置在扫描设备上的陀螺仪采集的设备姿态参数，作为目标姿态参数。其中，设备姿态参数中包括：握笔的俯仰角和握笔的旋转角。握笔的俯仰角为扫描设备与被扫描文本所在平面之间呈现的角度；将被扫描文本所在平面中，标准状态下对文字扫描的方向作为X轴方向，被扫描文本所在平面中与X轴垂直的方向为Y轴方向，设备姿态参数中握笔的旋转角为扫描设备映射到被扫描文本所在平面中后，与X轴之间的夹角。

S102、根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与目标姿态参数对应的目标图像变换信息。

具体的，本实施例中预先存储了设备姿态参数与图像变换信息的匹配信息，该匹配信息中记录了各个不同的设备姿态参数对应的图像变换信息，其中，图像变换信息表示其对应的设备姿态参数下采集到的扫描图像与标准扫描姿态下采集到的标准扫描图像之间的变化信息。也就是说，设备姿态参数下采集到的扫描图像可以通过该设备姿态参数对应的图像变换信息，将扫描图像变换为标准扫描图像，从而消除扫描图像中的倾斜效果和透视效果。因此，为了消除待校正图像中的倾斜效果和透视效果，本实施例需要从设备姿态参数与图像变换信息的匹配信息中，查询出与待校正图像对应的目标姿态参数相匹配的图像变换信息，并将该图像变换信息作为待校正图像对应的目标图像变换信息。

进一步地，本实施例中设备姿态参数与图像变换信息的匹配信息可以通过将扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与扫描设备在标准扫描姿态下对预设扫描样本进行扫描得到的图像进行匹配变换而确定。其中，预设扫描样本优选选择大小一致且对比度大的网格图，因为采用网格图针对扫描出的图像计算图像变换信息时准确度更高。

S103、利用目标图像变换信息，对待校正图像进行校正。

具体的，从设备姿态参数与图像变换信息的匹配信息中，查询出目标姿态参数对应的目标图像变换信息后，由于目标图像变换信息为目标姿态参数下扫描图像与标准扫描图像之间的变换信息，因此，可以利用该目标图像变换信息对待校正图像进行校正，以使待校正图像变换为标准扫描姿态下的图像，消除了待校正图像的透视效果和倾斜效果。

进一步地，具体包括如下步骤：

第一，利用目标图像变换信息和待校正图像中各个像素点的当前位置，计算待校正图像中各个像素点进行图像变换后的目标位置。

本实施例中，目标图像变换信息为图像变换矩阵，并且其中包含旋转参数、平移参数和透视变换参数等。待校正图像中的每个像素点均可以根据该图像变换矩阵以及像素点的当前位置，计算出对像素点变换后的目标位置。

另外，该目标图像变换信息是通过将扫描设备在目标姿态参数下对预设扫描样本进行扫描得到的图像，与扫描设备在标准扫描姿态下对预设扫描样本进行扫描得到的图像进行匹配变换得到的。该匹配变换的方式应该与像素点利用目标图像变换信息计算目标位置的方式相同，例如，如果目标图像变换信息是通过直接线性变换(DLT)的匹配变换方式得到的，那么计算每个像素点的目标位置，也需要利用直接线性变换(DLT)的方式计算。

第二，根据待校正图像中各个像素点的目标位置，对待校正图像进行图像校正。

当计算出待校正图像中各个像素点图像变换后的目标位置后，则将各个像素点由当前位置调整至其对应的目标位置，从而实现对待校正图像的图像变换，完成对待校正图像的图像校正，消除了待校正图像中的透视效果和倾斜效果。

通过上述介绍可见，本申请实施例提出的图像校正方法，获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与目标姿态参数对应的目标图像变换信息；利用目标图像变换信息，对待校正图像进行校正。采用本实施例的技术方案，预先记录了扫描设备在各种设备姿态参数下采集的图像的图像变换信息，可以直接根据采集待校正图像时的姿态参数，确定对待校正图像校正的目标图像变换信息，无需根据待校正图像中的图像内容计算图像变换信息，提高了图像变换的准确性，从而提高了图像校正的准确率。。

作为一种可选的实施方式，参见图3所示，本申请另一实施例公开了，通过将扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与扫描设备在标准扫描姿态下对预设扫描样本进行扫描得到的图像进行匹配变换，确定设备姿态参数与图像变换信息的匹配信息，包括：

S301、获取扫描设备在每个扫描角度下的设备姿态参数，以及获取扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的样本图像。

具体的，为了确定各个设备姿态参数下扫描设备扫描到的图像的图像变换信息，使用者需要握持扫描设备呈现不同的扫描角度，在不同的扫描角度下对预设扫描样本进行扫描，其中，该扫描角度包括俯仰角和旋转角，预设扫描样本优选采用对比度大，且大小一致的网格图。

扫描设备在不同的扫描角度下具有不同的设备姿态参数，因此，本实施例需要获取扫描设备在每个扫描角度下的设备姿态参数。并且，还需要获取每个扫描角度下对预设扫描样本进行扫描得到的样本图像。将一个扫描角度对应的设备姿态参数与该扫描角度下扫描得到的样本图像相关联，以使每个设备姿态参数均对应一个样本图像。如图4(a)所示，该图为一种扫描角度下对预设扫描样本进行扫描得到的样本图像。

S302、以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息。

具体的，本实施例利用扫描设备在标准扫描姿态(握笔的俯仰角为90度，握笔的旋转角为0)下，对预设扫描样本进行扫描，将扫描得到的图像作为标准样本图像。每个样本图像对应的图像变换信息为可以将样本图像变换为标准样本图像的变化信息。因此，本实施例需要以标准样本图像为基准，将样本图像与标准样本图像对比，从样本图像和标准样本图像中提取相应的参考点对，其中，参考点对中包含一个样本图像中的参考点以及一个标准样本图像中的参考点，这两个参考点为扫描的预设扫描样本中的同一个点。每个参考点对中均存储有两个参考点的在其所处图像中的坐标，本实施例可以针对一个样本图像提取多个参考点对，从而能够确定出可以将每个参考点对中样本图像参考点坐标变换为与其对应的标准样本图像参考点坐标的变换信息，该变换信息便是该样本图像的图像变换信息。如图4(b)所示，为图4(a)的样本图像利用对应的图像变换信息变换后的图像，即图4(a)的样本图像校正后的图像。

S303、将扫描设备在每个扫描角度下的设备姿态参数与每个扫描角度对应的图像变换信息进行匹配关联，得到设备姿态参数与图像变换信息的匹配信息。

具体的，通过上述步骤计算出每个样本图像的图像变换信息后，需要将扫描设备在每个扫描角度下的设备姿态参数与每个扫描角度下扫描得到的样本图像的图像变换信息进行匹配关联，从而得到设备姿态参数与图像变换信息的匹配信息。例如，将第一扫描角度下获取的设备姿态参数与第一扫描角度下对预设扫描样本进行扫描得到的样本图像的图像变换信息进行关联。

作为一种可选的实施方式，参见图5所示，本申请另一实施例公开了，步骤S302，以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息，包括：

S501、分别对每个样本图像进行二值化处理，得到每个样本图像对应的二值化图像。

具体的，为了确定每个样本图像的图像变换信息，需要先提取样本图像与标准样本图像中对应的参考点对。那么首先需要对每个样本图像进行二值化处理，得到每个样本图像对应的二值化图像。其中，对样本图像进行二值化采用的二值化阈值可以为该样本图像的大津阈值，也可以预先设定固定阈值。但是，在对预设扫描样本进行扫描时，不同扫描角度扫描的样本图像可能会有不同程度的漏光，如图4(a)中的图像左侧偏暗，右侧偏亮即为漏光现象。如果样本图像中漏光较为严重，那么该样本图像对应的大津阈值则会比较小，漏光越严重，大津阈值越小，如果大津阈值太小，那么样本图像的二值化效果便会较差，因此，本实施例可以在利用大津阈值的基础上，设置约束阈值，当漏光情况正常时，大津阈值大于该约束阈值，此时采用大津阈值作为二值化阈值，当漏光情况严重时，大津阈值小于该约束阈值，此时采用该约束阈值作为二值化阈值。

S502、根据每个样本图像对应的二值化图像，确定每个样本图像的姿态变换参考点。

具体的，为了保证对样本图像的图像变换的准确性，即保证样本图像的图像变换信息的准确性，在从样本图像中提取参考点时，需要保证提取的参考点所涉及的区域尽量更大。因此得到了样本图像对应的二值化图像后，需要从二值化图像中提取网格均完整且涉及的图像范围最大的区域，根据该区域提取参考点作为样本图像的姿态变换参考点，以使提取的参考点所涉及的区域更大。

进一步地，具体步骤如下所述：

第一，从每个样本图像对应的二值化图像中，提取每个样本图像对应的待校正区域。

本实施例需要从每个样本图像对应的二值化图像中，提取网格均完整且涉及的图像范围最大的区域作为每个样本图像对应的待校正区域。

首先，需要对每个样本图像对应的二值化图像进行前景膨胀，得到每个样本图像对应的前景膨胀二值化图像，以保证保证二值化图像中的前景连通体更加清晰、更加具有连续性。如图6(a)为图4(a)中样本图像的前景膨胀二值化图像，其中的前景连通体为二值化以及前景膨胀后网格线的区域。

其次，需要从每个样本图像对应的前景膨胀二值化图像中，提取最大连通域作为待校正区域。具体的，可以从前景膨胀二值化图像中选用最大的轮廓，然后将轮廓内的区域进行前景填充，即，将轮廓内的区域设置为整体的前景区域，如图6(b)为图6(a)的前景膨胀二值化图像中最大轮廓填充后的图像。如图6(c)为图6(b)中最大轮廓填充后的图像减去图6(a)的前景膨胀二值化图像后得到的图像，该图像中的连通体则为网格均完整且涉及的图像范围最大的区域，即样本图像对应的待校正区域。如图6(c)中的前景连通体为图4(a)的样本图像中全部完整的网格。由于图6(b)和图6(a)中各个像素点的灰度值均为0或者255，因此图6(b)减去图6(a)即可得到图6(c)。

第二，对每个样本图像对应的待校正区域进行边界拟合，得到每个待校正区域的边界拟合直线。

确定了每个样本图像对应的待校正区域后，需要对待校正区域进行边界拟合，那么则需要提取待校正区域的边界点。其中，边界点包括上边界点、下边界点、左边界点和右边界点，每一种边界点均需要提取至少两个。如图6(c)所示，包含了多个前景连通体，可以统计所有前景连通体的中心点的平均值，根据每个前景连通体的中心与平均值之间的关系(如上下关系、左右关系)，分为上排连通体、下排连通体、左侧连通体和右侧连通体，即，中心位于平均值上方的前景连通体为上排连通体，中心位于平均值下方的前景连通体为下排连通体，中心位于平均值左侧的前景连通体为左侧连通体，中心位于平均值右侧的前景连通体为右侧连通体。待校正区域的上边界点可以从最上排的上排连通体的上边界点中提取，待校正区域的下边界点可以从最下排的下排连通体的下边界点中提取，待校正区域的左边界点可以从最左侧列的左侧连通体的左边界点中提取，待校正区域的右边界点可以从最右侧列的左侧连通体的右边界点中提取。

本实施例可以对提取到的待校正区域的多个上边界点进行直线拟合，从而得到待校正区域的上边界拟合直线；对提取到的待校正区域的多个下边界点进行直线拟合，从而得到待校正区域的下边界拟合直线；对提取到的待校正区域的多个左边界点进行直线拟合，从而得到待校正区域的左边界拟合直线；对提取到的待校正区域的多个右边界点进行直线拟合，从而得到待校正区域的右边界拟合直线。

第三，从每个样本图像对应的二值化图像中，提取每个样本图像对应的待校正区域的边界拟合直线之间的交点作为每个样本图像的姿态变换参考点。

对每个样本图像对应的待校正区域进行边界拟合后，可以在样本图像对应的二值化图像中提取该样本图像的待校正区域对应的所有边界拟合直线之间的交点，作为该样本图像的姿态变换参考点。如图7所示，图4(a)中的样本图像对应的姿态变换参考点为A、B、C、D四个点。

S503、从标准样本图像中，获取每个姿态变换参考点对应的标准参考点，并将姿态变换参考点与姿态变换参考点对应的标准参考点作为参考点对。

具体的，本实施例需要确定样本图像的姿态变换参考点在预设扫描样本中的位置，然后根据在预设扫描样本中的位置确定出在标准样本图像中该位置对应的点作为姿态变换参考点对应的标准参考点，并将姿态变换参考点与该姿态变换参考点对应的标准参考点作为参考点对，从而能够确定每个样本图像对应的参考点对，并且每个样本图像均对应有多组参考点对。

S504、根据每组参考点对，计算每个样本图像的图像变换信息。

通过上述步骤，可以确定每个样本图像对应的参考点对，每个样本图像均对应有多组参考点对，可以根据每个样本图像的参考点对计算出每个样本图像的图像变换信息。具体的，可以利用预先设置的线性变换规则和每个样本图像对应的参考点对，计算出每个样本图像对应的线性变换矩阵，将该线性变换矩阵作为样本图像的图像变换信息。其中样本图像对应的线性变换矩阵可以将样本图像变换为标准样本图像。

本实施例中，预先设置的线性变换规则对应的变换公式为：

其中，参考点对中的姿态变换参考点的坐标为(x，y)，标准参考点的坐标为(x′，y′)，A表示旋转参数，T表示平移参数，V表示透视变换参数。通过样本图像的多组参考点对，可以计算出H矩阵，并将该H矩阵作为线性变换矩阵。

与上述的图像校正方法相对应的，本申请实施例还提出一种图像校正装置，参见图8所示，该装置包括：

参数获取模块100，用于获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；

变换信息确定模块110，用于根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与目标姿态参数对应的目标图像变换信息；其中，图像变换信息用于表示扫描图像与标准扫描图像之间的变换信息；

图像校正模块120，用于利用目标图像变换信息，对待校正图像进行校正。

本申请实施例提出的图像校正装置，利用参数获取模块100获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；利用变换信息确定模块110根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与目标姿态参数对应的目标图像变换信息；通过图像校正模块120利用目标图像变换信息，对待校正图像进行校正。采用本实施例的技术方案，预先记录了扫描设备在各种设备姿态参数下采集的图像的图像变换信息，可以直接根据采集待校正图像时的姿态参数，确定对待校正图像校正的目标图像变换信息，无需根据待校正图像中的图像内容计算图像变换信息，提高了图像变换的准确性，从而提高了图像校正的准确率。。

作为一种可选的实现方式，本申请另一实施例还公开了，图像校正装置还包括：匹配信息确定模块，用于通过将扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与扫描设备在标准扫描姿态下对预设扫描样本进行扫描得到的图像进行匹配变换，确定设备姿态参数与图像变换信息的匹配信息。

作为一种可选的实现方式，本申请另一实施例还公开了，匹配信息确定模块，包括：获取单元、确定单元和关联单元。

获取单元，用于获取扫描设备在每个扫描角度下的设备姿态参数，以及获取扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的样本图像；

确定单元，用于以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息；其中，标准样本图像为扫描设备在标准扫描姿态下对预设扫描样本进行扫描得到的图像；

关联单元，用于将扫描设备在每个扫描角度下的设备姿态参数与每个扫描角度对应的图像变换信息进行匹配关联，得到设备姿态参数与图像变换信息的匹配信息。

作为一种可选的实现方式，本申请另一实施例还公开了，确定单元，具体用于：

分别对每个样本图像进行二值化处理，得到每个样本图像对应的二值化图像；

根据每个样本图像对应的二值化图像，确定每个样本图像的姿态变换参考点；

从标准样本图像中，获取每个姿态变换参考点对应的标准参考点，并将姿态变换参考点与姿态变换参考点对应的标准参考点作为参考点对；

根据每组参考点对，计算每个样本图像的图像变换信息。

作为一种可选的实现方式，本申请另一实施例还公开了，确定单元根据每个样本图像对应的二值化图像，确定每个样本图像的姿态变换参考点，包括：

从每个样本图像对应的二值化图像中，提取每个样本图像对应的待校正区域；

对每个样本图像对应的待校正区域进行边界拟合，得到每个待校正区域的边界拟合直线；

从每个样本图像对应的二值化图像中，提取每个样本图像对应的待校正区域的边界拟合直线之间的交点作为每个样本图像的姿态变换参考点。

作为一种可选的实现方式，本申请另一实施例还公开了，确定单元从每个样本图像对应的二值化图像中，提取每个样本图像对应的待校正区域，包括：

对每个样本图像对应的二值化图像进行前景膨胀，得到每个样本图像对应的前景膨胀二值化图像；

从每个样本图像对应的前景膨胀二值化图像中，提取最大连通区域作为待校正区域。

作为一种可选的实现方式，本申请另一实施例还公开了，确定单元根据每组参考点对，计算每个样本图像的图像变换信息，包括：

利用预先设置的线性变换规则和每个样本图像对应的参考点对，计算将每个样本图像变换为标准样本图像时的线性变换矩阵，作为与每个样本图像对应的图像变换信息。

作为一种可选的实现方式，本申请另一实施例还公开了，参数获取模块100，具体用于获取扫描设备扫描得到待校正图像时，设置在扫描设备上的陀螺仪采集的设备姿态参数，作为目标姿态参数。

作为一种可选的实现方式，本申请另一实施例还公开了，图像校正模块120，具体用于：

利用目标图像变换信息和待校正图像中各个像素点的当前位置，计算待校正图像中各个像素点进行图像变换后的目标位置；

根据待校正图像中各个像素点的目标位置，对待校正图像进行图像校正。

本实施例提供的图像校正装置，与本申请上述实施例所提供的图像校正方法属于同一申请构思，可执行本申请上述任意实施例所提供的图像校正方法，具备执行该图像校正方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的图像校正方法的具体处理内容，此处不再加以赘述。

本申请另一实施例还公开了一种电子设备，参见图9所示，该设备包括：

存储器200和处理器210；

其中，所述存储器200与所述处理器210连接，用于存储程序；

所述处理器210，用于通过运行所述存储器200中存储的程序，实现上述任一实施例公开的图像校正方法。

具体的，上述电子设备还可以包括：总线、通信接口220、输入设备230和输出设备240。

处理器210、存储器200、通信接口220、输入设备230和输出设备240通过总线相互连接。其中：

总线可包括一通路，在计算机系统各个部件之间传送信息。

处理器210可以是通用处理器，例如通用中央处理器(CPU)、微处理器等，也可以是特定应用集成电路(application-specific integrated circuit，ASIC)，或一个或多个用于控制本发明方案程序执行的集成电路。还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

处理器210可包括主处理器，还可包括基带芯片、调制解调器等。

存储器200中保存有执行本发明技术方案的程序，还可以保存有操作系统和其他关键业务。具体地，程序可以包括程序代码，程序代码包括计算机操作指令。更具体的，存储器200可以包括只读存储器(read-only memory，ROM)、可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)、可存储信息和指令的其他类型的动态存储设备、磁盘存储器、flash等等。

输入设备230可包括接收用户输入的数据和信息的装置，例如键盘、鼠标、摄像头、扫描仪、光笔、语音输入装置、触摸屏、计步器或重力感应器等。

输出设备240可包括允许输出信息给用户的装置，例如显示屏、打印机、扬声器等。

通信接口220可包括使用任何收发器一类的装置，以便与其他设备或通信网络通信，如以太网，无线接入网(RAN)，无线局域网(WLAN)等。

处理器2102执行存储器200中所存放的程序，以及调用其他设备，可用于实现本申请实施例所提供的图像校正方法的各个步骤。

本申请另一实施例还提供了一种扫描笔，参见图10所示，扫描笔包括：扫描摄像头300、陀螺仪320，以及与扫描摄像头300和陀螺仪320分别连接的处理器310。

陀螺仪320用于采集扫描笔的设备姿态参数，并将设备姿态参数发送给处理器；

扫描摄像头300用于采集待校正图像，并将待校正图像发送给处理器；

处理器310用于获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与目标姿态参数对应的目标图像变换信息；其中，图像变换信息用于表示扫描图像与标准扫描图像之间的变换信息；利用目标图像变换信息，对待校正图像进行校正。

作为一种可选的实施方式，处理器310还用于通过将扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与扫描设备在标准扫描姿态下对预设扫描样本进行扫描得到的图像进行匹配变换，确定设备姿态参数与图像变换信息的匹配信息。

作为一种可选的实施方式，处理器310通过将扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与扫描设备在标准扫描姿态下对预设扫描样本进行扫描得到的图像进行匹配变换，确定设备姿态参数与图像变换信息的匹配信息，包括：

获取扫描设备在每个扫描角度下的设备姿态参数，以及获取扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的样本图像；

以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息；其中，标准样本图像为扫描设备在标准扫描姿态下对预设扫描样本进行扫描得到的图像；

将扫描设备在每个扫描角度下的设备姿态参数与每个扫描角度对应的图像变换信息进行匹配关联，得到设备姿态参数与图像变换信息的匹配信息。

作为一种可选的实施方式，处理器310以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息，包括：

分别对每个样本图像进行二值化处理，得到每个样本图像对应的二值化图像；

根据每个样本图像对应的二值化图像，确定每个样本图像的姿态变换参考点；

从标准样本图像中，获取每个姿态变换参考点对应的标准参考点，并将姿态变换参考点与姿态变换参考点对应的标准参考点作为参考点对；

根据每组参考点对，计算每个样本图像的图像变换信息。

作为一种可选的实施方式，处理器310根据每个样本图像对应的二值化图像，确定每个样本图像的姿态变换参考点，包括：

从每个样本图像对应的二值化图像中，提取每个样本图像对应的待校正区域；

对每个样本图像对应的待校正区域进行边界拟合，得到每个待校正区域的边界拟合直线；

从每个样本图像对应的二值化图像中，提取每个样本图像对应的待校正区域的边界拟合直线之间的交点作为每个样本图像的姿态变换参考点。

作为一种可选的实施方式，处理器310从每个样本图像对应的二值化图像中，提取每个样本图像对应的待校正区域，包括：

对每个样本图像对应的二值化图像进行前景膨胀，得到每个样本图像对应的前景膨胀二值化图像；

从每个样本图像对应的前景膨胀二值化图像中，提取最大连通区域作为待校正区域。

作为一种可选的实施方式，处理器310根据每组参考点对，计算每个样本图像的图像变换信息，包括：

利用预先设置的线性变换规则和每个样本图像对应的参考点对，计算将每个样本图像变换为标准样本图像时的线性变换矩阵，作为与每个样本图像对应的图像变换信息。

作为一种可选的实施方式，处理器310获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数，包括：

获取扫描设备扫描得到待校正图像时，设置在扫描设备上的陀螺仪采集的设备姿态参数，作为目标姿态参数。

作为一种可选的实施方式，处理器310利用目标图像变换信息，对待校正图像进行校正，包括：

利用目标图像变换信息和待校正图像中各个像素点的当前位置，计算待校正图像中各个像素点进行图像变换后的目标位置；

根据待校正图像中各个像素点的目标位置，对待校正图像进行图像校正。

本实施例提供的扫描笔，与本申请上述实施例所提供的图像校正方法属于同一申请构思，可执行本申请上述任意实施例所提供的图像校正方法，具备执行该图像校正方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请上述实施例提供的图像校正方法的具体处理内容，此处不再加以赘述。

本申请另一实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现上述任一实施例提供的图像校正方法的各个步骤。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请各实施例种装置及终端中的模块和子模块可以根据实际需要进行合并、划分和删减。

本申请所提供的几个实施例中，应该理解到，所揭露的终端，装置和方法，可以通过其它的方式实现。例如，以上所描述的终端实施例仅仅是示意性的，例如，模块或子模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个子模块或模块可以结合或者可以集成到另一个模块，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块或子模块可以是或者也可以不是物理上分开的，作为模块或子模块的部件可以是或者也可以不是物理模块或子模块，即可以位于一个地方，或者也可以分布到多个网络模块或子模块上。可以根据实际的需要选择其中的部分或者全部模块或子模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块或子模块可以集成在一个处理模块中，也可以是各个模块或子模块单独物理存在，也可以两个或两个以上模块或子模块集成在一个模块中。上述集成的模块或子模块既可以采用硬件的形式实现，也可以采用软件功能模块或子模块的形式实现。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件单元，或者二者的结合来实施。软件单元可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (13)

1.一种图像校正方法，其特征在于，包括：

获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；

根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与所述目标姿态参数对应的目标图像变换信息；其中，所述图像变换信息用于表示扫描图像与标准扫描图像之间的变换信息；

利用所述目标图像变换信息，对所述待校正图像进行校正。

2.根据权利要求1所述的方法，其特征在于，所述设备姿态参数与图像变换信息的匹配信息，通过将所述扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与所述扫描设备在标准扫描姿态下对所述预设扫描样本进行扫描得到的图像进行匹配变换而确定。

3.根据权利要求2所述的方法，其特征在于，通过将所述扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的图像，与所述扫描设备在标准扫描姿态下对所述预设扫描样本进行扫描得到的图像进行匹配变换，确定设备姿态参数与图像变换信息的匹配信息，包括：

获取所述扫描设备在每个扫描角度下的设备姿态参数，以及获取所述扫描设备在每个扫描角度下对预设扫描样本进行扫描得到的样本图像；

以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息；其中，所述标准样本图像为所述扫描设备在标准扫描姿态下对所述预设扫描样本进行扫描得到的图像；

将所述扫描设备在每个扫描角度下的设备姿态参数与每个扫描角度对应的图像变换信息进行匹配关联，得到设备姿态参数与图像变换信息的匹配信息。

4.根据权利要求3所述的方法，其特征在于，所述以标准样本图像为基准，确定每个扫描角度对应的样本图像的图像变换信息，包括：

分别对每个所述样本图像进行二值化处理，得到每个所述样本图像对应的二值化图像；

根据每个所述样本图像对应的二值化图像，确定每个所述样本图像的姿态变换参考点；

从所述标准样本图像中，获取每个所述姿态变换参考点对应的标准参考点，并将所述姿态变换参考点与所述姿态变换参考点对应的标准参考点作为参考点对；

根据每组参考点对，计算每个所述样本图像的图像变换信息。

5.根据权利要求4所述的方法，其特征在于，根据每个所述样本图像对应的二值化图像，确定每个所述样本图像的姿态变换参考点，包括：

从每个所述样本图像对应的二值化图像中，提取每个所述样本图像对应的待校正区域；

对每个所述样本图像对应的待校正区域进行边界拟合，得到每个所述待校正区域的边界拟合直线；

从每个所述样本图像对应的二值化图像中，提取每个所述样本图像对应的待校正区域的边界拟合直线之间的交点作为每个所述样本图像的姿态变换参考点。

6.根据权利要求5所述的方法，其特征在于，从每个所述样本图像对应的二值化图像中，提取每个所述样本图像对应的待校正区域，包括：

对每个所述样本图像对应的二值化图像进行前景膨胀，得到每个所述样本图像对应的前景膨胀二值化图像；

从每个所述样本图像对应的前景膨胀二值化图像中，提取最大连通区域作为待校正区域。

7.根据权利要求4所述的方法，其特征在于，根据每组参考点对，计算每个所述样本图像的图像变换信息，包括：

利用预先设置的线性变换规则和每个所述样本图像对应的参考点对，计算将每个所述样本图像变换为所述标准样本图像时的线性变换矩阵，作为与每个所述样本图像对应的图像变换信息。

8.根据权利要求1所述的方法，其特征在于，所述获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数，包括：

获取扫描设备扫描得到待校正图像时，设置在所述扫描设备上的陀螺仪采集的设备姿态参数，作为目标姿态参数。

9.根据权利要求1所述的方法，其特征在于，利用所述目标图像变换信息，对所述待校正图像进行校正，包括：

利用所述目标图像变换信息和所述待校正图像中各个像素点的当前位置，计算所述待校正图像中各个像素点进行图像变换后的目标位置；

根据所述待校正图像中各个像素点的目标位置，对所述待校正图像进行图像校正。

10.一种图像校正装置，其特征在于，包括：

参数获取模块，用于获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；

变换信息确定模块，用于根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与所述目标姿态参数对应的目标图像变换信息；其中，所述图像变换信息用于表示扫描图像与标准扫描图像之间的变换信息：

图像校正模块，用于利用所述目标图像变换信息，对所述待校正图像进行校正。

11.一种电子设备，其特征在于，包括：存储器和处理器；

其中，所述存储器与所述处理器连接，用于存储程序；

所述处理器，用于通过运行所述存储器中的程序，实现如权利要求1至9中任一项所述的图像校正方法。

12.一种扫描笔，其特征在于，包括：扫描摄像头、陀螺仪，以及与所述扫描摄像头和所述陀螺仪分别连接的处理器；

所述陀螺仪用于采集所述扫描笔的设备姿态参数，并将所述设备姿态参数发送给所述处理器；

所述扫描摄像头用于采集待校正图像，并将所述待校正图像发送给所述处理器；

所述处理器用于获取扫描设备扫描得到待校正图像时的设备姿态参数，作为目标姿态参数；

根据预先存储的设备姿态参数与图像变换信息的匹配信息，确定与所述目标姿态参数对应的目标图像变换信息；其中，所述图像变换信息用于表示扫描图像与标准扫描图像之间的变换信息；

利用所述目标图像变换信息，对所述待校正图像进行校正。

13.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1至9中任一项所述的图像校正方法。

Images