CN115471846A - 一种图像矫正方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供了一种图像矫正方法、装置、电子设备及可读存储介质，对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；拼接各个目标矫正区域，得到矫正后的目标文档图像。这样，可以根据待矫正文档图像的版式类别，利用该版式类别对应的畸变矫正模型实现对该待矫正文档图像的畸变矫正，进而，可以提高矫正结果的准确性。

Description

一种图像矫正方法、装置、电子设备及可读存储介质

技术领域

本申请涉及图像识别技术领域，尤其是涉及一种图像矫正方法、装置、电子设备及可读存储介质。

背景技术

在对文档图像进行识别过程中，由于，文档图像采集角度的问题，容易导致文档图像发生畸变，而在文档图像发生畸变的情况下，无法准确地从文档图像中识别出其中所包括的文档信息。

目前，现有的图像畸变矫正方法大致来说是采用传统图像学方法，利用具体的文档版式特征对发生畸变的文档图像进行畸变矫正，由于，受到具体的文档版式特征的限制，无法准确地对不同版式的文档图像进行矫正，因此，无法获得较好的鲁棒性。

发明内容

有鉴于此，本申请的目的在于提供一种图像矫正方法、装置、电子设备及可读存储介质，可以根据待矫正文档图像的版式类别，利用该版式类别对应的畸变矫正模型实现对该待矫正文档图像的畸变矫正，进而，可以提高矫正结果的准确性。

本申请实施例提供了一种图像矫正方法，所述图像矫正方法包括：

对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；

利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；

针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；

拼接各个目标矫正区域，得到矫正后的目标文档图像。

在一种可能的实施方式中，所述对获取到的原始文档图像进行图像预处理，得到待矫正文档图像，包括：

获取原始文档图像；

对所述原始文档图像进行降噪处理，得到降噪文档图像；

按照所述降噪文档图像在图形用户界面中的呈现角度和呈现位置，对所述降噪文档图像进行显示矫正，得到待矫正文档图像。

在一种可能的实施方式中，所述利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档中提取出待矫正区域，包括：

根据所述待矫正文档图像所属版式类别，获取用于对所述待矫正文档图像进行矫正区域划分的区域采样窗口；

利用所述区域采样窗口，将所述待矫正文档图像划分为多个候选矫正区域；

根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域。

在一种可能的实施方式中，所述根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域，包括：

根据每个候选矫正区域的区域位置坐标，将位于预设区域内的候选矫正区域确定为待矫正区域；和/或，

根据每个候选矫正区域中的文档信息，将携带有业务需求信息的候选矫正区域确定为待矫正区域；或，

将每个候选矫正区域的区域信息输入至目标检测模型中，利用所述目标检测模型从所述多个候选矫正区域中确定出待矫正区域。

在一种可能的实施方式中，通过以下步骤训练得到所述畸变矫正模型：

获取非畸变样本图像集；其中，所述非畸变样本图像集中包括多张非畸变样本图像；

按照每张非畸变样本图像的版式类别，将所述非畸变样本图像集中的多种非畸变样本图像分类为多个样本图像子集；其中，同一样本图像子集中的非畸变样本图像属于同一版式类别；

针对于每个版式类别，对该版式类别对应的样本图像子集中的每张非畸变样本图像进行模拟畸变处理，得到畸变图像子集；其中，所述畸变图像子集包括多张非畸变样本图像以及每张非畸变样本图像对应的模拟畸变样本图像；

利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型。

在一种可能的实施方式中，所述利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型，包括：

利用该版式类别对应的区域采样窗口，从每张非畸变样本图像中提取出非畸变样本区域以及从每张模拟畸变样本图像中提取出模拟畸变样本区域；

利用提取出的多个非畸变样本区域和多个模拟畸变样本区域，对预先构建好的学习模型进行训练，得到该版式类别的畸变矫正模型。

在一种可能的实施方式中，通过以下步骤确定所述待矫正文档图像的版式类别：

识别所述待矫正文档图像的排版格式，并根据所述排版格式，确定所述待矫正文档图像的所属版式类别；和/或，

识别所述待矫正文档图像中的文档信息，并根据所述文档信息，确定所述待矫正文档图像的所属版式类别。

本申请实施例还提供了一种图像矫正装置，所述图像矫正装置包括：

预处理模块，用于对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；

区域提取模块，用于利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；

畸变矫正模块，用于针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；

区域拼接模块，用于拼接各个目标矫正区域，得到矫正后的目标文档图像。

在一种可能的实施方式中，所述预处理模块在用于对获取到的原始文档图像进行图像预处理，得到待矫正文档图像时，所述预处理模块用于：

获取原始文档图像；

对所述原始文档图像进行降噪处理，得到降噪文档图像；

按照所述降噪文档图像在图形用户界面中的呈现角度和呈现位置，对所述降噪文档图像进行显示矫正，得到待矫正文档图像。

在一种可能的实施方式中，所述区域提取模块在用于利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域时，所述区域提取模块用于：

根据所述待矫正文档图像所属版式类别，获取用于对所述待矫正文档图像进行矫正区域划分的区域采样窗口；

利用所述区域采样窗口，将所述待矫正文档图像划分为多个候选矫正区域；

根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域。

在一种可能的实施方式中，所述区域提取模块在用于根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域时，所述区域提取模块用于：

根据每个候选矫正区域的区域位置坐标，将位于预设区域内的候选矫正区域确定为待矫正区域；和/或，

根据每个候选矫正区域中的文档信息，将携带有业务需求信息的候选矫正区域确定为待矫正区域；或，

将每个候选矫正区域的区域信息输入至目标检测模型中，利用所述目标检测模型从所述多个候选矫正区域中确定出待矫正区域。

在一种可能的实施方式中，所述装置还包括模型训练模块，所述模型训练模块用于通过以下步骤训练得到所述畸变矫正模型：

获取非畸变样本图像集；其中，所述非畸变样本图像集中包括多张非畸变样本图像；

按照每张非畸变样本图像的版式类别，将所述非畸变样本图像集中的多种非畸变样本图像分类为多个样本图像子集；其中，同一样本图像子集中的非畸变样本图像属于同一版式类别；

针对于每个版式类别，对该版式类别对应的样本图像子集中的每张非畸变样本图像进行模拟畸变处理，得到畸变图像子集；其中，所述畸变图像子集包括多张非畸变样本图像以及每张非畸变样本图像对应的模拟畸变样本图像；

利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型。

在一种可能的实施方式中，所述模型训练模块在用于利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型时，所述模型训练模块用于：

利用该版式类别对应的区域采样窗口，从每张非畸变样本图像中提取出非畸变样本区域以及从每张模拟畸变样本图像中提取出模拟畸变样本区域；

利用提取出的多个非畸变样本区域和多个模拟畸变样本区域，对预先构建好的学习模型进行训练，得到该版式类别的畸变矫正模型。

在一种可能的实施方式中，所述区域提取模块通过以下步骤确定所述待矫正文档图像的版式类别：

识别所述待矫正文档图像的排版格式，并根据所述排版格式，确定所述待矫正文档图像的所属版式类别；和/或，

识别所述待矫正文档图像中的文档信息，并根据所述文档信息，确定所述待矫正文档图像的所属版式类别。

本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的图像矫正方法的步骤。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的图像矫正方法的步骤。

本申请实施例提供的图像矫正方法、装置、电子设备及可读存储介质，对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；拼接各个目标矫正区域，得到矫正后的目标文档图像。这样，可以根据待矫正文档图像的版式类别，利用该版式类别对应的畸变矫正模型实现对该待矫正文档图像的畸变矫正，进而，可以提高矫正结果的准确性。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例所提供的一种图像矫正方法的流程图；

图2为本申请实施例所提供显示矫正过程示意图；

图3为本申请实施例所提供的一种图像矫正装置的结构示意图之一；

图4为本申请实施例所提供的一种图像矫正装置的结构示意图之二；

图5为本申请实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的每个其他实施例，都属于本申请保护的范围。

经研究发现，目前，现有的图像畸变矫正方法大致来说具体可以分为两种，一种是，采用传统图像学方法，利用具体的文档版式特征对发生畸变的文档图像进行畸变矫正，由于，受到具体的文档版式特征的限制，无法准确地对不同版式的文档图像进行矫正，因此，无法获得较好的鲁棒性；另一种是，采用深度学习的方式，深度学习畸变矫正一般是利用样本图像训练通用的畸变矫正模型，但是，样本图像的版式类型较为局限，对于不同版式类别的文档图像来说，在图像发生畸变时需矫正的区域并不相同，因此，受到训练样本的限制，通用的畸变矫正模型无法保证对每个版式类别的文档图像均具有较好的矫正效果。

基于此，本申请实施例提供了一种图像矫正方法，可以结合待矫正文档的版式类型，利用该版式类型对应的畸变矫正模型，更加准确地实现该待矫正文档的畸变矫正。

请参阅图1，图1为本申请实施例所提供的一种图像矫正方法的流程图。如图1中所示，本申请实施例提供的图像矫正方法，包括：

S101、对获取到的原始文档图像进行图像预处理，得到待矫正文档图像。

S102、利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域。

S103、针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域。

S104、拼接各个目标矫正区域，得到矫正后的目标文档图像。

本申请实施例所提供的图像矫正方法，在获取到原始文档图像后，为了避免图像中存在的噪声对图像矫正过程造成干扰，对原始文档图像进行图像预处理，得到不包含有噪音的待矫正文档图像；对于待矫正文档图像来说，存在不包括文档内容的干扰区域，例如，文档页眉、页脚等空白区域，这些区域本质上并不具有被矫正的价值；因此，为了避免对不必要的区域进行图像矫正，利用待矫正文档图像所属版式类别对应的区域采样窗口，从待矫正文档图像中提取出待矫正区域；并利用版式类别对应的畸变矫正模型对各个待矫正区域进行畸变矫正，得到矫正后的各个目标矫正区域；通过拼接各个目标矫正区域，得到矫正后的目标文档图像。这样，便可以结合于待矫正文档的版式类型，利用该版式类型对应的畸变矫正模型，更加准确地实现该待矫正文档的畸变矫正。

在步骤S101中，考虑到直接获取到的原始文档图像中会存在有噪音，例如，成像传感器噪音、相片颗粒噪音以及信道噪音等噪音，对后续图像矫正过程造成干扰；在对原始文档图像进行畸变矫正之前，需要对获取到的原始文档图像进行图像预处理，滤除容易对后续矫正过程造成干扰的图像噪音，得到待进行畸变矫正的待矫正文档图像。

这里，获取到的原始文档图像还会受到原始文档在采集时的摆放位置、角度的影响，使得获取到的原始文档图像的呈现角度和/或呈现位置存在异常，此时，还需通过图像预处理实现位置和/或角度的矫正。

在一种实施方式中，步骤S101包括：获取原始文档图像；对所述原始文档图像进行降噪处理，得到降噪文档图像；按照所述降噪文档图像在图形用户界面中的呈现角度和呈现位置，对所述降噪文档图像进行显示矫正，得到待矫正文档图像。

该步骤中，由于，原始文档图像中可能存在有不同种类的噪音，所以，在图像预处理阶段中可以采取不同的降噪方式(例如，不同的滤波方法)对原始文档图像进行降噪处理，得到不存在噪音的降噪文档图像。

具体的，可以通过滤波的方式对原始文档图像进行降噪处理，例如，中值滤波、均值滤波以及自适应维纳滤波等；还可以通过预训练模型的方式对原始文档图像进行降噪处理，例如，非局部自相似(NSS)模型、稀疏模型、梯度模型和马尔可夫随机场(MRF)模型等；具体的可视实际情况而定，在此不做限制。

进一步地考虑到，在对文档的原始文档图像进行采集时，文档的摆放角度和摆放位置会对采集出的原始文档图像的呈现角度和呈现位置造成影响，若直接使用采集得到的未进行显示矫正的原始文档图像或者降噪文档图像进行后续的畸变矫正，则同样会影响畸变矫正结果的准确性。

因此，在得到降噪文档图像后，还需进一步地对降噪文档图像的呈现角度以及呈现位置进行矫正；具体的，确定出降噪文档图像在图形用户界面中的呈现角度和呈现位置，根据呈现角度和呈现位置对降噪文档图像进行呈现显示矫正，即调整降噪文档图像在图像用户界面中的呈现角度和呈现位置，使得降噪文档图像能够竖直地显示在图形用户界面中的预先设置的显示位置处，以此，得到显示矫正完成的待矫正文档图像。

这里，呈现角度可以依据于降噪文档图像的图像纵坐标轴(或图像横坐标轴)和图形用户界面的界面纵坐标轴(或界面横坐标轴)来确定；降噪文档图像的图像纵坐标轴和图像横坐标轴是以降噪文档图像的中心为原点，所建立的第一坐标系的第一纵坐标轴和第一横坐标轴；图形用户界面的界面纵坐标轴和界面横坐标轴是以图形用户界面的中心为原点，所建立的第二坐标系的第二纵坐标轴和第二横坐标轴。

呈现位置主要需要参考于预先设置的显示位置，若降噪文档图像位于预先设置的显示位置内，则无需对降噪文档图像的显示位置进行调整；相反的，若降噪文档图像未位于预先设置的显示位置内，则需将降噪文档图像调整至显示位置。

示例性的，请参阅图2，图2为本申请实施例所提供显示矫正过程示意图。如图2所示，图形用户界面2a中显示有经过降噪处理后得到的降噪文档图像2b，根据图形用户界面2a的第二纵坐标轴2c和降噪文档图像2b的第一纵坐标轴2d，确定出降噪文档图像2b原本是以逆时针方向倾斜15°的呈现角度显示在图形用户界面2a中的，经过显示矫正后，使得降噪文档图像2b竖直地(即呈现角度为0°)显示在图形用户界面2a中；相应的，降噪文档图像原本的呈现位置如图2中2e所示，由于呈现位置2e未位于预先设置的显示位置2f内，所以，还需将降噪文档图像2b的呈现位置调整至预先设置的显示位置2f内，得到待矫正文档图像2g。

对于得到的待矫正文档图像来说，待矫正文档图像中包括有空白区域和/或无需关注的文档内容，因此，在后续的畸变矫正过程中也无需对这些区域进行矫正，这里，可以借助于区域采样窗口对待矫正文档图像进行区域上的划分，并提取出需要进行畸变矫正的待矫正区域，以此来减少畸变矫正过程中畸变矫正模型的数据处理量，提高待矫正文档的矫正效率。

这里，对于不同版式类别的文档来说，其中的空白区域和/或无需关注的文档内容的位置并不一致，因此，为了准确地实现待矫正文档图像中各区域的划分以及待矫正区域的准确提取，需利用待矫正文档图像所属版式类别对应的区域采样窗口进行待矫正区域的提取。

在步骤S102中，利用待矫正文档图像所属版式类别对应的区域采样窗口，通过在待矫正文档图像上进行滑动的方式对待矫正文档图像进行区域划分，并从划分出的多个候选矫正区域中筛选出具有畸变矫正价值的待矫正区域。

其中，每种版式类别对应的区域采样窗口为预先配置好的；具体的，需配置区域采样窗口的窗口长度、窗口宽度以及窗移步长等参数，可根据实际情况而定，在此不做限制。

在一种实施方式中，步骤S102包括：

步骤S1021、根据所述待矫正文档图像所属版式类别，获取用于对所述待矫正文档图像进行矫正区域划分的区域采样窗口。

该步骤中，不同版式类别的文档布局方式存在区别，因此，在对不同版式类别的待矫正文档图像进行区域划分时，需使用的区域采样窗口不同；因此，需根据待矫正文档图像所属版式类别，来获取用于对该版式类别的待矫正文档图像进行区域划分的区域采样窗口。

这里，对于待矫正文档图像的版式类别的确定，具体可以借助于待矫正文档图像的排版格式以及文档信息等内容。

在一种实施方式中，通过以下步骤确定所述待矫正文档图像的版式类别：识别所述待矫正文档图像的排版格式，并根据所述排版格式，确定所述待矫正文档图像的所属版式类别。

该步骤中，可以利用图像识别方法，识别出待矫正文档图像中内容的排版格式；进而，确定出具有该排版格式的版式类别，并将该版式类别确定为待矫正文档图像的所属版式类别。

示例性的，版式类别1对应的排版格式为A，版式类别2对应的排版格式为B，若待矫正文档图像中内容的排版格式为排版格式为A，则可确定待矫正文档图像所属于版式类别1；若待矫正文档图像中内容的排版格式为排版格式为B，则可确定待矫正文档图像所属于版式类别2。

排版格式包括版式布局、内容布局等。

和/或，识别所述待矫正文档图像中的文档信息，并根据所述文档信息，确定所述待矫正文档图像的所属版式类别。

该步骤中，还可以通过识别待矫正文档图像所包括的文档信息，例如，文档名称、文档内容等信息，确定出具有相关文档信息的版式类别，将该版式类别确定为待矫正文档的所属版式类别。

示例性的，版式类别可以包括“居住证”版式、“身份证”版式等；若待矫正文档图像中所包括的文档名称为“居住证办理表单”，则可以确定该待矫正文档图像所属版式类别“居住证”版式；待矫正文档图像中所包括的文档内容为“身份证”，则可以确定该待矫正文档图像所属版式类别“身份证”版式。

步骤S1022、利用所述区域采样窗口，将所述待矫正文档图像划分为多个候选矫正区域。

该步骤中，利用待矫正文档图像所属版式类别对应的区域采样窗口，对待矫正文档图像进行划分，可通过在待矫正文档图像上按照窗移步长，滑动预设窗口长度以及窗口宽度的区域采样窗口，将待矫正文档图像划分为多个候选矫正区域。

步骤S1023、根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域。

该步骤中，可进一步地根据每个候选矫正区域所包括的区域信息，来对多个候选矫正区域进行筛选，从多个候选矫正区域中确定出待矫正区域；其中，区域信息可以包括区域位置坐标、区域序号、文档信息等信息。

在一种实施方式中，步骤S1023包括：根据每个候选矫正区域的区域位置坐标，将位于预设区域内的候选矫正区域确定为待矫正区域。

该步骤中，可预先设置好具有矫正价值的各个待矫正区域的预设区域坐标，在筛选待矫正区域时，可以根据各个候选矫正区域的区域位置坐标，将位于预设区域内的候选矫正区域确定为具有畸变矫正价值的待矫正区域；

或者，可以预先设置多个预设区域坐标，将区域位置坐标与预设区域坐标相同的候选矫正区域确定为具有畸变矫正价值的待矫正区域。

和/或，根据每个候选矫正区域中的文档信息，将携带有业务需求信息的候选矫正区域确定为待矫正区域。

该步骤中，还可以进一步地参考于每个候选矫正区域中所包括的文档信息，将携带有与业务需求信息相关的文档信息的候选矫正区域确定为具有畸变矫正价值的待矫正区域。

示例性的，若候选矫正区域中所包括的文档信息涉及到办理业务所需的业务需求信息时，例如，候选矫正区域中包括姓名、身份证号等信息时，则可确定该候选矫正区域中的文档信息为业务需求信息，可以将该候选矫正区域确定为待矫正区域。

或，将每个候选矫正区域的区域信息输入至目标检测模型中，利用所述目标检测模型从所述多个候选矫正区域中确定出待矫正区域。

该步骤中，将每个候选矫正区域的区域信息输入至预先训练好的目标检测模型中，利用预先训练好的目标检测模型从划分出的多个候选矫正区域中筛选出具有畸变矫正价值的待矫正区域。

这里，目标检测模型是利用多个筛选样本图像以及每种筛选样本图像对应的类别标签，通过训练预先构建好的神经网络所得到的；类别标签能够表明筛选样本图像是否畸变矫正价值；这样，在学习的过程中，使得预先构建好的神经网络具有确定出具有畸变矫正价值的目标样本图像的能力，以在后续的使用过程中，从多个候选矫正区域中确定出待矫正区域。

对于不同版式类别的待矫正文档图像来说，其所具有的版式特征并不相同，若使用同一畸变矫正模型对不同版式类别的待矫正文档图像进行畸变矫正，则无法保证对每种版式类别的待矫正文档图像均具有较高的矫正准确性；因此，本申请中为了保证每种版式类别的待矫正文档图像均具有较高的矫正准确性，可以根据待矫正文档图像的版式类别，利用该版式类别对应的畸变矫正模型实现该待矫正文档图像的畸变矫正。

在步骤S103中，在从待矫正文档图像中确定出具有畸变矫正价值的待矫正区域后，针对于每个待矫正区域，利用待矫正文档图像所属版式类别对应的预先训练好的畸变矫正模型，通过确定每个待矫正区域的畸变系数的方式，实现对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域。

在一种实施方式中，通过以下步骤训练得到所述畸变矫正模型：

步骤a、获取非畸变样本图像集。

其中，所述非畸变样本图像集中包括多张非畸变样本图像；

步骤b、按照每张非畸变样本图像的版式类别，将所述非畸变样本图像集中的多种非畸变样本图像分类为多个样本图像子集。

该步骤中，多种非畸变样本图像中包括不同版式类别的样本图像，为了在后续的模型训练过程中，可以针对于每种版式类别训练得到该版式类别对应的畸变矫正模型，此时，需要将多张非畸变样本图像按照版式类别进行分类，得到多个样本图像子集。

其中，同一样本图像子集中的非畸变样本图像属于同一版式类别。

步骤c、针对于每个版式类别，对该版式类别对应的样本图像子集中的每张非畸变样本图像进行模拟畸变处理，得到畸变图像子集。

该步骤中，针对于每个版式类别，对该版式类别所对应的样本图像子集中的每张非畸变样本图像进行模拟畸变处理，使得该样本图像子集中的每张非畸变样本图像能够模拟出发生畸变的图像，得到畸变图像子集。

其中，所述畸变图像子集包括多张非畸变样本图像以及每张非畸变样本图像对应的模拟畸变样本图像；

步骤d、利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型。

该步骤中，针对于每个版式类别，利用该版式类别对应的畸变图像子集，训练预先构建好的学习模型，得到用于对该版式类别的待矫正文档图像进行畸变矫正的畸变矫正模型。

在一种实施方式中，步骤d包括：利用该版式类别对应的区域采样窗口，从每张非畸变样本图像中提取出非畸变样本区域以及从每张模拟畸变样本图像中提取出模拟畸变样本区域；利用提取出的多个非畸变样本区域和多个模拟畸变样本区域，对预先构建好的学习模型进行训练，得到该版式类别的畸变矫正模型。

该步骤中，对于待矫正文档图像来说，待矫正文档图像中所包括的空白区域和/或无需关注的文档内容是无需进行畸变矫正的，因此，在训练畸变矫正模型时，同样可以借助于该版式类别对应的区域采样窗口分别对非畸变样本图像和模拟畸变样本图像进行区域上的划分，得到多个非畸变候选区域和多个畸变候选区域；再分别从多个非畸变候选区域和多个畸变候选区域中提取出用于训练畸变矫正模型的非畸变样本区域和模拟畸变样本区域；利用提取出的多个非畸变样本区域和多个模拟畸变样本区域，对预先构建好的学习模型进行训练，得到用于对该版式类别的待矫正文档图像进行畸变矫正的畸变矫正模型，以此减少畸变矫正模型训练过程中所需的数据处理量，提高畸变矫正模型的训练效率。

这里，可以根据每个非畸变候选区域的区域位置坐标，将位于预设区域内的非畸变候选区域确定为用于训练畸变矫正模型的非畸变样本区域；同理，可以根据每个畸变候选区域的区域位置坐标，将位于预设区域内的畸变候选区域确定为用于训练畸变矫正模型的模拟畸变样本区域；

和/或，可以根据每个非畸变候选区域中的文档信息，将携带有业务需求信息的非畸变候选区域确定为用于训练畸变矫正模型的非畸变样本区域；同理，可以根据每个畸变候选区域中的文档信息，将携带有业务需求信息的畸变候选区域确定为用于训练畸变矫正模型的模拟畸变样本区域。

或，可以利用预先训练好的目标检测模型，将每个非畸变候选区域的区域信息输入至目标检测模型中，利用所述目标检测模型从多个非畸变候选区域中确定出用于训练畸变矫正模型的非畸变样本区域；将每个畸变候选区域的区域信息输入至目标检测模型中，利用所述目标检测模型从多个畸变候选区域中确定出用于训练畸变矫正模型的模拟畸变样本区域。

在步骤S104中，可以按照每个目标矫正区域的区域位置坐标，拼接各个目标矫正区域，得到矫正后的目标文档图像。

本申请实施例提供的图像矫正方法，对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；拼接各个目标矫正区域，得到矫正后的目标文档图像。这样，可以根据待矫正文档图像的版式类别，利用该版式类别对应的畸变矫正模型实现对该待矫正文档图像的畸变矫正，进而，可以提高矫正结果的准确性。

请参阅图3、图4，图3为本申请实施例所提供的一种图像矫正装置的结构示意图之一，图4为本申请实施例所提供的一种图像矫正装置的结构示意图之二。如图3中所示，所述图像矫正装置300包括：

预处理模块310，用于对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；

区域提取模块320，用于利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；

畸变矫正模块330，用于针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；

区域拼接模块340，用于拼接各个目标矫正区域，得到矫正后的目标文档图像。

进一步的，所述预处理模块310在用于对获取到的原始文档图像进行图像预处理，得到待矫正文档图像时，所述预处理模块310用于：

获取原始文档图像；

对所述原始文档图像进行降噪处理，得到降噪文档图像；

按照所述降噪文档图像在图形用户界面中的呈现角度和呈现位置，对所述降噪文档图像进行显示矫正，得到待矫正文档图像。

进一步的，所述区域提取模块320在用于利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域时，所述区域提取模块320用于：

根据所述待矫正文档图像所属版式类别，获取用于对所述待矫正文档图像进行矫正区域划分的区域采样窗口；

利用所述区域采样窗口，将所述待矫正文档图像划分为多个候选矫正区域；

根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域。

进一步的，所述区域提取模块320在用于根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域时，所述区域提取模块320用于：

根据每个候选矫正区域的区域位置坐标，将位于预设区域内的候选矫正区域确定为待矫正区域；和/或，

根据每个候选矫正区域中的文档信息，将携带有业务需求信息的候选矫正区域确定为待矫正区域；或，

将每个候选矫正区域的区域信息输入至目标检测模型中，利用所述目标检测模型从所述多个候选矫正区域中确定出待矫正区域。

进一步的，如图4所示，所述图像矫正装置300还包括模型训练模块350，所述模型训练模块350用于通过以下步骤训练得到所述畸变矫正模型：

获取非畸变样本图像集；其中，所述非畸变样本图像集中包括多张非畸变样本图像；

按照每张非畸变样本图像的版式类别，将所述非畸变样本图像集中的多种非畸变样本图像分类为多个样本图像子集；其中，同一样本图像子集中的非畸变样本图像属于同一版式类别；

针对于每个版式类别，对该版式类别对应的样本图像子集中的每张非畸变样本图像进行模拟畸变处理，得到畸变图像子集；其中，所述畸变图像子集包括多张非畸变样本图像以及每张非畸变样本图像对应的模拟畸变样本图像；

利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型。

进一步的，所述模型训练模块350在用于利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型时，所述模型训练模块350用于：

利用该版式类别对应的区域采样窗口，从每张非畸变样本图像中提取出非畸变样本区域以及从每张模拟畸变样本图像中提取出模拟畸变样本区域；

利用提取出的多个非畸变样本区域和多个模拟畸变样本区域，对预先构建好的学习模型进行训练，得到该版式类别的畸变矫正模型。

进一步的，所述区域提取模块320通过以下步骤确定所述待矫正文档图像的版式类别：

识别所述待矫正文档图像的排版格式，并根据所述排版格式，确定所述待矫正文档图像的所属版式类别；和/或，

识别所述待矫正文档图像中的文档信息，并根据所述文档信息，确定所述待矫正文档图像的所属版式类别。

本申请实施例提供的图像矫正装置，对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；拼接各个目标矫正区域，得到矫正后的目标文档图像。这样，可以根据待矫正文档图像的版式类别，利用该版式类别对应的畸变矫正模型实现对该待矫正文档图像的畸变矫正，进而，可以提高矫正结果的准确性。

请参阅图5，图5为本申请实施例所提供的一种电子设备的结构示意图。如图5中所示，所述电子设备500包括处理器510、存储器520和总线530。

所述存储器520存储有所述处理器510可执行的机器可读指令，当电子设备500运行时，所述处理器510与所述存储器520之间通过总线530通信，所述机器可读指令被所述处理器510执行时，可以执行如上述图1所示方法实施例中的图像矫正方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时可以执行如上述图1所示方法实施例中的图像矫正方法的步骤，具体实现方式可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本申请的具体实施方式，用以说明本申请的技术方案，而非对其限制，本申请的保护范围并不局限于此，尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种图像矫正方法，其特征在于，所述图像矫正方法包括：

对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；

利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；

针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；

拼接各个目标矫正区域，得到矫正后的目标文档图像。

2.根据权利要求1所述的图像矫正方法，其特征在于，所述对获取到的原始文档图像进行图像预处理，得到待矫正文档图像，包括：

获取原始文档图像；

对所述原始文档图像进行降噪处理，得到降噪文档图像；

按照所述降噪文档图像在图形用户界面中的呈现角度和呈现位置，对所述降噪文档图像进行显示矫正，得到待矫正文档图像。

3.根据权利要求1所述的图像矫正方法，其特征在于，所述利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档中提取出待矫正区域，包括：

根据所述待矫正文档图像所属版式类别，获取用于对所述待矫正文档图像进行矫正区域划分的区域采样窗口；

利用所述区域采样窗口，将所述待矫正文档图像划分为多个候选矫正区域；

根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域。

4.根据权利要求3所述的图像矫正方法，其特征在于，所述根据每个候选矫正区域的区域信息，从所述多个候选矫正区域中确定出待矫正区域，包括：

根据每个候选矫正区域的区域位置坐标，将位于预设区域内的候选矫正区域确定为待矫正区域；和/或，

根据每个候选矫正区域中的文档信息，将携带有业务需求信息的候选矫正区域确定为待矫正区域；或，

将每个候选矫正区域的区域信息输入至目标检测模型中，利用所述目标检测模型从所述多个候选矫正区域中确定出待矫正区域。

5.根据权利要求1所述的图像矫正方法，其特征在于，通过以下步骤训练得到所述畸变矫正模型：

获取非畸变样本图像集；其中，所述非畸变样本图像集中包括多张非畸变样本图像；

按照每张非畸变样本图像的版式类别，将所述非畸变样本图像集中的多种非畸变样本图像分类为多个样本图像子集；其中，同一样本图像子集中的非畸变样本图像属于同一版式类别；

针对于每个版式类别，对该版式类别对应的样本图像子集中的每张非畸变样本图像进行模拟畸变处理，得到畸变图像子集；其中，所述畸变图像子集包括多张非畸变样本图像以及每张非畸变样本图像对应的模拟畸变样本图像；

利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型。

6.根据权利要求5所述的图像矫正方法，其特征在于，所述利用所述畸变图像子集训练预先构建好的学习模型，得到该版式类别的畸变矫正模型，包括：

利用该版式类别对应的区域采样窗口，从每张非畸变样本图像中提取出非畸变样本区域以及从每张模拟畸变样本图像中提取出模拟畸变样本区域；

利用提取出的多个非畸变样本区域和多个模拟畸变样本区域，对预先构建好的学习模型进行训练，得到该版式类别的畸变矫正模型。

7.根据权利要求1所述的图像矫正方法，其特征在于，通过以下步骤确定所述待矫正文档图像的版式类别：

识别所述待矫正文档图像的排版格式，并根据所述排版格式，确定所述待矫正文档图像的所属版式类别；和/或，

识别所述待矫正文档图像中的文档信息，并根据所述文档信息，确定所述待矫正文档图像的所属版式类别。

8.一种图像矫正装置，其特征在于，所述图像矫正装置包括：

预处理模块，用于对获取到的原始文档图像进行图像预处理，得到待矫正文档图像；

区域提取模块，用于利用所述待矫正文档图像所属版式类别对应的区域采样窗口，从所述待矫正文档图像中提取出待矫正区域；

畸变矫正模块，用于针对于每个待矫正区域，利用所述版式类别对应的预先训练好的畸变矫正模型，通过确定该待矫正区域的畸变系数，对该待矫正区域进行畸变矫正，得到矫正后的目标矫正区域；

区域拼接模块，用于拼接各个目标矫正区域，得到矫正后的目标文档图像。

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至7任一所述的图像矫正方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述的图像矫正方法的步骤。

Images