CN115273114A - 文档图像优化方法和介质 - Google Patents

文档图像优化方法和介质 Download PDF

Info

Publication number
CN115273114A
CN115273114A CN202210869162.3A CN202210869162A CN115273114A CN 115273114 A CN115273114 A CN 115273114A CN 202210869162 A CN202210869162 A CN 202210869162A CN 115273114 A CN115273114 A CN 115273114A
Authority
CN
China
Prior art keywords
image
document image
document
optimized
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210869162.3A
Other languages
English (en)
Inventor
张旗川
刘嘉
胡锦灿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Zhelin Software Technology Co ltd
Original Assignee
Xiamen Zhelin Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Zhelin Software Technology Co ltd filed Critical Xiamen Zhelin Software Technology Co ltd
Priority to CN202210869162.3A priority Critical patent/CN115273114A/zh
Publication of CN115273114A publication Critical patent/CN115273114A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明公开了一种文档图像优化方法和介质，其中方法包括：获取原始图像和对应的参考图像，其中，所述原始图像为高拍仪原始采集文档图像，所述参考图像为扫描仪采集文档图像；根据所述原始图像和对应的参考图像构建训练数据二元组，并根据所述训练数据二元组进行模型的训练，在所述训练的过程中基于目标函数优化网络参数直至收敛，以得到最终图像优化模型；获取待优化文档图像，并对所述待优化文档图像进行校正，以及将校正后的待优化文档图像输入到所述最终图像优化模型，以通过所述最终图像优化模型输出最终文档图像；能够对高拍仪采集到的文档图像进行自动优化，以降低环境因素对于图像质量的影响，提高最终图像画面质量。

Description

文档图像优化方法和介质
技术领域
本发明涉及图像处理技术领域，特别涉及一种文档图像优化方法和一种计算机可读存储介质。
背景技术
高拍仪，是一款便携低碳的办公用品，其采用高分辨率的传感器，并配备了高清晰的镜头，常用于纸质文档的图像采集。
相关技术中，由于高拍仪采集图像的环境(例如，光照条件)不可控，文档位置不固定，导致最终采集到的图像因环境因素而质量不理想；具体表现为最终图像亮度不均匀，背景有阴影，存在黑边等。因此，如何降低环境因素对于最终图像质量的影响，提高最终图像画面质量成为高拍仪当下亟待解决的问题之一。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此，本发明的一个目的在于提出一种文档图像优化方法，能够对高拍仪采集到的文档图像进行自动优化，以降低环境因素对于图像质量的影响，提高最终图像画面质量。
本发明的第二个目的在于提出一种计算机可读存储介质。
为达到上述目的，本发明第一方面实施例提出了一种文档图像优化方法，包括以下步骤：获取原始图像和对应的参考图像，其中，所述原始图像为高拍仪原始采集文档图像，所述参考图像为扫描仪采集文档图像；根据所述原始图像和对应的参考图像构建训练数据二元组，并根据所述训练数据二元组进行模型的训练，在所述训练的过程中基于目标函数优化网络参数直至收敛，以得到最终图像优化模型；获取待优化文档图像，并对所述待优化文档图像进行校正，以及将校正后的待优化文档图像输入到所述最终图像优化模型，以通过所述最终图像优化模型输出最终文档图像。
根据本发明实施例的文档图像优化方法，首先，获取原始图像和对应的参考图像，其中，所述原始图像为高拍仪原始采集文档图像，所述参考图像为扫描仪采集文档图像；接着，根据所述原始图像和对应的参考图像构建训练数据二元组，并根据所述训练数据二元组进行模型的训练，在所述训练的过程中基于目标函数优化网络参数直至收敛，以得到最终图像优化模型；然后，获取待优化文档图像，并对所述待优化文档图像进行校正，以及将校正后的待优化文档图像输入到所述最终图像优化模型，以通过所述最终图像优化模型输出最终文档图像；从而实现对高拍仪采集到的文档图像进行自动优化，以降低环境因素对于图像质量的影响，提高最终图像画面质量。
另外，根据本发明上述实施例提出的文档图像优化方法还可以具有如下附加的技术特征：
可选地，根据所述原始图像和对应的参考图像构建训练数据二元组，包括：通过图像配准获取所述原始图像与对应的参考图像之间的映射关系，并对所述原始图像进行裁剪，以得到原始子图像，以及根据所述映射关系对所述对应的参考图像进行裁剪，以得到参考子图像；根据所述原始子图像和所述参考子图像构建训练数据二元组。
可选地，所述目标函数通过以下公式表述：
Figure BDA0003760208520000021
其中，N表示训练数据二元组的数量，Xi表示第i个训练数据二元组的原始图，Yi表示第i个训练数据二元组的目标图，||·||2表示矩阵二范数，δ表示阈值参数。
可选地，所述最终图像优化模型由全卷积的网络构成，所述全卷积的网络包括卷积层和转置卷积层；
其中，所述全卷积的网络的最后一层神经元的激活函数为：
Figure BDA0003760208520000022
其中，α表示一个大于1的常数，z表示激活函数的输入。
可选地，对所述待优化文档图像进行校正，包括：计算所述待优化文档图像对应的X轴梯度图和Y轴梯度图，并根据所述X轴梯度图和所述Y轴梯度图生成梯度强度图；计算所述待优化文档图像中每个像素梯度强度的平均值和标准差，并根据所述平均值和所述标准差确定梯度强度阈值，以及根据所述梯度强度阈值对所述梯度强度图进行二值化，以得到边缘图像；对所述边缘图像中每个值为1的像素点进行过滤处理，以得到最终边缘图像。
可选地，所述过滤处理包括：
如果x小于we/2、abs(Gx(x,y))大于abs(Gy(x,y))、且Gx(x,y)小于0，则将边缘图中该像素点的值设置为0；
如果x大于we/2、abs(Gx(x,y))大于abs(Gy(x,y))、且Gx(x,y)大于0，则将边缘图中该像素点的值设置为0；
如果y小于he/2、abs(Gx(x,y))小于abs(Gy(x,y))、且Gy(x,y)小于0，则将边缘图中该像素点的值设置为0；
如果y大于he/2、abs(Gx(x,y))小于abs(Gy(x,y))、且Gy(x,y)大于0，则将边缘图中该像素点的值设置为0；
其中，x表示当前处理的像素点的X轴坐标值，y表示当前处理的像素点的Y轴坐标值，we表示待优化文档图像的宽度，he表示待优化文档图像的高度，Gx(x,y)表示当前处理的像素点的X轴梯度，Gy(x,y)表示当前处理的像素点的Y轴梯度。
可选地，对所述待优化文档图像进行校正，还包括：对所述最终边缘图像进行膨胀处理，并对膨胀处理后的最终边缘图像进行连通域分析，以得到最大连通域，以及计算所述最大连通域的最小旋转外接矩形；根据所述最小旋转外接矩形计算所述待优化文档图像中文档的每条边的所属区域，并基于所述最终边缘图像对每条边的所属区域进行霍夫变换检测，以得到每条边的直线方程；根据每条边的直线方程计算所述文档的四个角点在所述待优化文档图像中的坐标，并根据四个角点的坐标计算所述文档的宽度值和高度值，以及根据所述宽度值和所述高度值创建新图像；计算仿射变换矩阵，并将所述文档的四个角点在所述待优化文档图像中的坐标映射到所述新图像的四个角点上，以及根据所述仿射变换矩阵在所述待优化文档图像中进行相应区域的截取，以得到文档区域图像。
可选地，对所述待优化文档图像进行校正，还包括：对所述文档区域图像进行二值化，以得到二值化文档图像；获取结构元素尺寸信息，并根据所述结构元素尺寸信息、二值化文档图像尺寸信息确定目标图像尺寸，以及将所述二值化文档图像拷贝到所述目标图像中；基于结构元素对拷贝后的目标图像进行形态学的闭运算处理，并将闭运算处理后目标图像中的相关区域拷贝到二值化文档图像中；在拷贝后的二值化文档图像边缘寻找像素值为0的连通域；获取所述像素值为0的连通域中的任意一个像素点的第一坐标值，并查找与当前像素点距离最近的像素值非0像素点的第二坐标值，以及将所述文档区域图像中第二坐标值的像素点的像素值设置为第一坐标值的像素点的像素值。
为达到上述目的，本发明第二方面实施例提出了一种计算机可读存储介质，其上存储有文档图像优化程序，该文档图像优化程序被处理器执行时实现如上述的文档图像优化方法。
根据本发明实施例的计算机可读存储介质，通过存储文档图像优化程序，以使得处理器在执行该文档图像优化程序时，实现如上述的文档图像优化方法，从而实现对高拍仪采集到的文档图像进行自动优化，以降低环境因素对于图像质量的影响，提高最终图像画面质量。
附图说明
图1为根据本发明实施例的文档图像优化方法的流程示意图；
图2为根据本发明实施例的待优化文档图像示意图；
图3为根据本发明实施例的最终文档图像示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
相关技术中，高拍仪采集得到的最终图像容易受环境因素影响而导致最终图像亮度不均匀，背景有阴影，存在多余的边缘；根据本发明实施例的文档图像优化方法，首先，获取原始图像和对应的参考图像，其中，所述原始图像为高拍仪原始采集文档图像，所述参考图像为扫描仪采集文档图像；接着，根据所述原始图像和对应的参考图像构建训练数据二元组，并根据所述训练数据二元组进行模型的训练，在所述训练的过程中基于目标函数优化网络参数直至收敛，以得到最终图像优化模型；然后，获取待优化文档图像，并对所述待优化文档图像进行校正和去边处理，以及将校正后的待优化文档图像输入到所述最终图像优化模型，以通过所述最终图像优化模型输出最终文档图像；从而实现对高拍仪采集到的文档图像进行自动优化，以降低环境因素对于图像质量的影响，提高最终图像画面质量。
为了更好的理解上述技术方案，下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
图1为根据本发明实施例的文档图像优化方法的流程示意图，如图1所示，该文档图像优化方法包括以下步骤：
S101，获取原始图像和对应的参考图像，其中，原始图像为高拍仪原始采集文档图像，参考图像为扫描仪采集文档图像。
也就是说，在初始阶段，对原始图像和原始图像所对应的参考图像进行采集，以便根据采集结果生成训练样本；其中，原始图像为高拍仪原始采集文档图像，而参考图像为扫描仪采集文档图像。
作为一种示例，在数据采集阶段，首先，收集各种常见的纸质文档；接着，对任一纸质文档进行高拍仪拍照，以得到原始图像，并通过扫描仪进行扫描，以得到对应的参考图像。
S102，根据原始图像和对应的参考图像构建训练数据二元组，并根据训练数据二元组进行模型的训练，在训练的过程中基于目标函数优化网络参数直至收敛，以得到最终图像优化模型。
其中，根据原始图像和对应的参考图像构建训练数据二元组的方式可以有多种。
作为一种示例，直接建立原始图像和对应的参考图像之间的映射关系，以完成构建训练数据二元组的过程。
在一些实施例中，根据原始图像和对应的参考图像构建训练数据二元组，包括：通过图像配准获取原始图像与对应的参考图像之间的映射关系，并对原始图像进行裁剪，以得到原始子图像，以及根据映射关系对对应的参考图像进行裁剪，以得到参考子图像；根据原始子图像和参考子图像构建训练数据二元组。
作为一种示例，假设原始图像为图像D，参考图像为图像R；首先，通过图像配准得到图像R与图像D之间的映射关系；接着，将图像D裁剪为大小为m×n×3的原始子图像，并根据图像R与图像D之间的映射关系截取每个原始子图像所对应的参考子图像；以构成训练数据二元组；重复上述步骤进行训练数据二元组的生成，以得到大量的训练数据。
其中，最终图像优化模型的网络设计方式可以有多种。
在一些实施例中，最终图像优化模型由全卷积的网络构成，全卷积的网络包括卷积层和转置卷积层；其中，全卷积的网络的最后一层神经元的激活函数为：
Figure BDA0003760208520000051
其中，α表示一个大于1的常数，z表示激活函数的输入。
作为一种示例，最终图像优化模型由全卷积的网络构成，该全卷积网络包括卷积层和转置卷积层，设用于训练网络参数的图像大小为m×n×3，通过网络的处理，网络最后一层输出优化后的图像，大小m×n×3。最后一层网络的神经元采用的激活函数为：
Figure BDA0003760208520000052
其中，z为激活函数的输入，α为一个大于1的常数(α>1)。而网络其他层的神经元采用常用的激活函数，例如：Sigmoid函数、Tanh函数、ReLU函数等；用X表示输入网络的图像，用T(X)来表示网络对输入图像的映射，网络输出T(X)是一个m×n×3张量。
其中，目标函数的设置方式可以有多种。
在一些实施例中，目标函数通过以下公式表述：
Figure BDA0003760208520000061
其中，N表示训练数据二元组的数量，Xi表示第i个训练数据二元组的原始图，Yi表示表示第i个训练数据二元组的目标图，||·||2表示矩阵二范数，δ表示阈值参数。
可以理解，假设训练数据二元组为(X,Y)，X表示高拍仪采集的原始图像，Y表示参考的网络输出目标图像。对于尽可能多的训练数据二元组，使得T(X)与Y的差异小于δ，既：
Figure BDA0003760208520000062
其中，||·||2是矩阵2范数，δ是一个阈值参数。考虑N个训练数据二元组，则网络训练的最小化目标函数为：
Figure BDA0003760208520000063
其中，[v]+＝max{0,v}；对于不满足条件的训练数据二元组，进行优化。
S103，获取待优化文档图像，并对待优化文档图像进行校正，以及将校正后的待优化文档图像输入到最终图像优化模型，以通过最终图像优化模型输出最终文档图像。
也就是说，在获取到待优化文档图像之后，为了提高最终文档图像的图像质量，首先对待优化文档图像进行校正(例如，裁剪校正、去除黑边等)；并将校正后的图像输入到最终图像优化模型，以得到最终文档图像；从而，降低环境因素对于最终文档图像质量的影响。
在一些实施例中，为了提高校正效果，提高文档的边缘检测结果的精确性；对待优化文档图像计算梯度图并进行处理，包括：计算待优化文档图像对应的X轴梯度图和Y轴梯度图，并根据X轴梯度图和Y轴梯度图生成梯度强度图；计算待优化文档图像中每个像素梯度强度的平均值和标准差，并根据平均值和标准差确定梯度强度阈值，以及根据梯度强度阈值对梯度强度图进行二值化，以得到边缘图像；对边缘图像中每个值为1的像素点进行过滤处理，以得到最终边缘图像。
作为一种示例，假设待优化文档图像为图像S，首先，利用Sobel算子分别计算图像S在水平X轴方向上的梯度图Gx和Y轴方向上的梯度图Gy；接着，根据梯度图Gx和梯度图Gy计算图像S中每个像素点的梯度强度，以得到梯度强度图；然后，计算图像每个像素梯度强度的平均值me和标准差se；并根据梯度强度的平均值和标准差计算梯度强度阈值me+γse，其中，γ为一常数；接着，利用梯度强度阈值对梯度强度图进行二值化，以得到边缘图像E，在该边缘图像E中，如果像素点的值为1，则表示该像素点的梯度强度大；如果像素点的值为0，则表示该像素点的梯度强度小。接着，对于边缘图像E中值为1的像素点进行进一步地过滤，以过滤掉其中会对后续处理造成影响的像素点，得到最终边缘图像。
其中，过滤像素点的方式可以有多种。
在一些实施例中，过滤处理包括：
如果x小于we/2、abs(Gx(x,y))大于abs(Gy(x,y))、且Gx(x,y)小于0，则将边缘图中该像素点的值设置为0；
如果x大于we/2、abs(Gx(x,y))大于abs(Gy(x,y))、且Gx(x,y)大于0，则将边缘图中该像素点的值设置为0；
如果y小于he/2、abs(Gx(x,y))小于abs(Gy(x,y))、且Gy(x,y)小于0，则将边缘图中该像素点的值设置为0；
如果y大于he/2、abs(Gx(x,y))小于abs(Gy(x,y))、且Gy(x,y)大于0，则将边缘图中该像素点的值设置为0；
其中，x表示当前处理的像素点的X轴坐标值，y表示当前处理的像素点的Y轴坐标值，we表示待优化文档图像的宽度，he表示待优化文档图像的高度，Gx(x,y)表示当前处理的像素点的X轴梯度，Gy(x,y)表示当前处理的像素点的Y轴梯度。
在一些实施例中，对待优化文档图像进行校正，还包括：对最终边缘图像进行膨胀处理，并对膨胀处理后的最终边缘图像进行连通域分析，以得到最大连通域，以及计算最大连通域的最小旋转外接矩形；根据最小旋转外接矩形计算待优化文档图像中文档的每条边的所在区域，并基于最终边缘图像对每条边的所在区域进行霍夫变换检测，以得到每条边的直线方程；根据每条边的直线方程计算文档的四个角点在待优化文档图像中的坐标，并根据四个角点的坐标计算文档的宽度值和高度值，以及根据宽度值和高度值创建新图像；计算仿射变换矩阵，并将文档的四个角点在待优化文档图像中的坐标映射到新图像的四个角点上，以及根据仿射变换矩阵在待优化文档图像中进行相应区域的截取，以得到文档区域图像。
作为一种示例，首先，对最终边缘图像进行膨胀处理，以得到图像F；接着，对图像F进行连通域分析，以得到面积最大的连通域；然后，计算该面积最大的连通域的最小旋转外接矩形，以通过该最小旋转外接矩形确定文档在待优化文档图像中的大致位置；接着，根据最小旋转外接矩形计算文档的四条边在待优化图像中的所属区域；然后，基于最终边缘图像对每条边的所属区域分别利用霍夫变换检测直线的位置，以得到文档四条边在待优化文档图像中位置的直线方程；接着，四条边在待优化文档图像中位置的直线方程计算文档的四个角点在图像中的坐标；然后，根据四个角点的坐标计算文档的宽度值wc和高度值hc，并创建一个宽度值为wc、高度值为hc的新图像；接着，计算仿射变换矩阵，并将文档的四个角点在待优化文档图像中的坐标映射到新图像的四个角点上；根据仿射变换矩阵在待优化文档图像中进行相应区域的截取，以得到文档区域图像C。
在一些实施例中，为了提高最终文档图像的优化效果，降低黑边对于图像质量的影响，使得最终图像具有更好的视觉效果，对待优化文档图像进行校正，还包括：对文档区域图像进行二值化，以得到二值化文档图像；获取结构元素尺寸信息，并根据结构元素尺寸信息、二值化文档图像尺寸信息确定目标图像尺寸，以及将二值化文档图像拷贝到目标图像中；基于结构元素对拷贝后的目标图像进行形态学的闭运算处理，并将闭运算处理后目标图像中的相关区域拷贝到二值化文档图像中；在拷贝后的二值化文档图像边缘寻找像素值为0的连通域；获取像素值为0的连通域中的任意一个像素点的第一坐标值，并查找与当前像素点距离最近的像素值非0像素点的第二坐标值，以及将文档区域图像中第二坐标值的像素点的像素值设置为第一坐标值的像素点的像素值。
作为一种示例，为了进一步去除文档图像残留的黑边，对文档区域图像C中的每个像素点，计算以该像素点为中心，半径为r个像素点的圆形区域的像素的灰度平均值，计算该灰度平均值与常数D的差值，并将该差值作为像素阈值；接着，以该阈值对该像素点进行二值化，在完成每个像素点的遍历之后，完成文档区域图像C的二值化，得到二值化文档图像B；接着，获取结构元素尺寸信息，假设结构元素为圆形(结构元素也可以为椭圆形)，直径为re，假设二值文档图像B的宽度值为wb，高度值为hb；将二值文档图像B拷贝到一个宽度值为wb+2re、高度值为hb+2re的目标图像Bex中间，目标图像Bex中，除了二值文档图像B之外的区域的像素点的值为0。然后，利用结构元素对图像Bex进行形态学的闭运算处理，再将图像Bex中间宽度值为wb、高度值为hb的区域拷贝到二值化文档图像B中；接着，在拷贝后的二值化文档图像B的边缘寻找像素值为0的连通域，并对这些连通域中的每个像素点进行处理，假设当前像素点的坐标为(xb,yb)；在拷贝后的二值化文档图像B中找到与当前像素点距离最近的像素点非0的像素点，该像素点的坐标为(xf,yf)；然后，将文档区域图像C中坐标为(xf,yf)的像素点的像素值设置为文档区域图像C中坐标为(xb,yb)的像素点的像素值；从而，能够有效去除图像中的黑边，提高视觉效果。
综上所述，根据本发明实施例的文档图像优化方法，首先，获取原始图像和对应的参考图像，其中，所述原始图像为高拍仪原始采集文档图像，所述参考图像为扫描仪采集文档图像；接着，根据所述原始图像和对应的参考图像构建训练数据二元组，并根据所述训练数据二元组进行模型的训练，在所述训练的过程中基于目标函数优化网络参数直至收敛，以得到最终图像优化模型；然后，获取待优化文档图像，并对所述待优化文档图像进行校正，以及将校正后的待优化文档图像输入到所述最终图像优化模型，以通过所述最终图像优化模型输出最终文档图像；从而实现对高拍仪采集到的文档图像进行自动优化，以降低环境因素对于图像质量的影响，提高最终图像画面质量。
为了实现上述实施例，本发明实施例提出了一种计算机可读存储介质，其上存储有文档图像优化程序，该文档图像优化程序被处理器执行时实现如上述的文档图像优化方法。
根据本发明实施例的计算机可读存储介质，通过存储文档图像优化程序，以使得处理器在执行该文档图像优化程序时，实现如上述的文档图像优化方法，从而实现对高拍仪采集到的文档图像进行自动优化，以降低环境因素对于图像质量的影响，提高最终图像画面质量。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不应理解为必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种文档图像优化方法，其特征在于，包括以下步骤：
获取原始图像和对应的参考图像，其中，所述原始图像为高拍仪原始采集文档图像，所述参考图像为扫描仪采集文档图像；
根据所述原始图像和对应的参考图像构建训练数据二元组，并根据所述训练数据二元组进行模型的训练，在所述训练的过程中基于目标函数优化网络参数直至收敛，以得到最终图像优化模型；
获取待优化文档图像，并对所述待优化文档图像进行校正，以及将校正后的待优化文档图像输入到所述最终图像优化模型，以通过所述最终图像优化模型输出最终文档图像。
2.如权利要求1所述的文档图像优化方法，其特征在于，根据所述原始图像和对应的参考图像构建训练数据二元组，包括：
通过图像配准获取所述原始图像与对应的参考图像之间的映射关系，并对所述原始图像进行裁剪，以得到原始子图像，以及根据所述映射关系对所述对应的参考图像进行裁剪，以得到参考子图像；
根据所述原始子图像和所述参考子图像构建训练数据二元组。
3.如权利要求1所述的文档图像优化方法，其特征在于，所述目标函数通过以下公式表述：
Figure FDA0003760208510000011
其中，N表示训练数据二元组的数量，Xi表示第i个训练数据二元组的原始图，Yi表示第i个训练数据二元组的目标图，||·||2表示矩阵二范数，δ表示阈值参数。
4.如权利要求1所述的文档图像优化方法，其特征在于，所述最终图像优化模型由全卷积的网络构成，所述全卷积的网络包括卷积层和转置卷积层；
其中，所述全卷积的网络的最后一层神经元的激活函数为：
Figure FDA0003760208510000012
其中，α表示一个大于1的常数，z表示激活函数的输入。
5.如权利要求1所述的文档图像优化方法，其特征在于，对所述待优化文档图像进行校正，包括：
计算所述待优化文档图像对应的X轴梯度图和Y轴梯度图，并根据所述X轴梯度图和所述Y轴梯度图生成梯度强度图；
计算所述待优化文档图像中每个像素梯度强度的平均值和标准差，并根据所述平均值和所述标准差确定梯度强度阈值，以及根据所述梯度强度阈值对所述梯度强度图进行二值化，以得到边缘图像；
对所述边缘图像中每个值为1的像素点进行过滤处理，以得到最终边缘图像。
6.如权利要求5所述的文档图像优化方法，其特征在于，所述过滤处理包括：
如果x小于we/2、abs(Gx(x,y))大于abs(Gy(x,y))、且Gx(x,y)小于0，则将边缘图中该像素点的值设置为0；
如果x大于we/2、abs(Gx(x,y))大于abs(Gy(x,y))、且Gx(x,y)大于0，则将边缘图中该像素点的值设置为0；
如果y小于he/2、abs(Gx(x,y))小于abs(Gy(x,y))、且Gy(x,y)小于0，则将边缘图中该像素点的值设置为0；
如果y大于he/2、abs(Gx(x,y))小于abs(Gy(x,y))、且Gy(x,y)大于0，则将边缘图中该像素点的值设置为0；
其中，x表示当前处理的像素点的X轴坐标值，y表示当前处理的像素点的Y轴坐标值，we表示待优化文档图像的宽度，he表示待优化文档图像的高度，Gx(x,y)表示当前处理的像素点的X轴梯度，Gy(x,y)表示当前处理的像素点的Y轴梯度。
7.如权利要求5所述的文档图像优化方法，其特征在于，对所述待优化文档图像进行校正，还包括：
对所述最终边缘图像进行膨胀处理，并对膨胀处理后的最终边缘图像进行连通域分析，以得到最大连通域，以及计算所述最大连通域的最小旋转外接矩形；
根据所述最小旋转外接矩形计算所述待优化文档图像中文档的每条边的所属区域，并基于所述最终边缘图像对每条边的所属区域进行霍夫变换检测，以得到每条边的直线方程；
根据每条边的直线方程计算所述文档的四个角点在所述待优化文档图像中的坐标，并根据四个角点的坐标计算所述文档的宽度值和高度值，以及根据所述宽度值和所述高度值创建新图像；
计算仿射变换矩阵，并将所述文档的四个角点在所述待优化文档图像中的坐标映射到所述新图像的四个角点上，以及根据所述仿射变换矩阵在所述待优化文档图像中进行相应区域的截取，以得到文档区域图像。
8.如权利要求7所述的文档图像优化方法，其特征在于，对所述待优化文档图像进行校正，还包括：
对所述文档区域图像进行二值化，以得到二值化文档图像；
获取结构元素尺寸信息，并根据所述结构元素尺寸信息、二值化文档图像尺寸信息确定目标图像尺寸，以及将所述二值化文档图像拷贝到所述目标图像中；
基于结构元素对拷贝后的目标图像进行形态学的闭运算处理，并将闭运算处理后目标图像中的相关区域拷贝到二值化文档图像中；
在拷贝后的二值化文档图像边缘寻找像素值为0的连通域；
获取所述像素值为0的连通域中的任意一个像素点的第一坐标值，并查找与当前像素点距离最近的像素值非0像素点的第二坐标值，以及将所述文档区域图像中第二坐标值的像素点的像素值设置为第一坐标值的像素点的像素值。
9.一种计算机可读存储介质，其特征在于，其上存储有文档图像优化程序，该文档图像优化程序被处理器执行时实现如权利要求1-8中任一项所述的文档图像优化方法。
CN202210869162.3A 2022-07-21 2022-07-21 文档图像优化方法和介质 Pending CN115273114A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210869162.3A CN115273114A (zh) 2022-07-21 2022-07-21 文档图像优化方法和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210869162.3A CN115273114A (zh) 2022-07-21 2022-07-21 文档图像优化方法和介质

Publications (1)

Publication Number Publication Date
CN115273114A true CN115273114A (zh) 2022-11-01

Family

ID=83769447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210869162.3A Pending CN115273114A (zh) 2022-07-21 2022-07-21 文档图像优化方法和介质

Country Status (1)

Country Link
CN (1) CN115273114A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760609A (zh) * 2022-11-14 2023-03-07 王育新 一种图像优化方法及系统
CN117648296A (zh) * 2024-01-29 2024-03-05 北京惠朗时代科技有限公司 一种图形数据的读取装置及使用方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760609A (zh) * 2022-11-14 2023-03-07 王育新 一种图像优化方法及系统
CN115760609B (zh) * 2022-11-14 2023-07-28 林雅霞 一种图像优化方法及系统
CN117648296A (zh) * 2024-01-29 2024-03-05 北京惠朗时代科技有限公司 一种图形数据的读取装置及使用方法
CN117648296B (zh) * 2024-01-29 2024-04-09 北京惠朗时代科技有限公司 一种图形数据的读取装置及使用方法

Similar Documents

Publication Publication Date Title
CN109086714B (zh) 表格识别方法、识别系统及计算机装置
CN115273114A (zh) 文档图像优化方法和介质
CN110378945B (zh) 深度图处理方法、装置和电子设备
CN109978839B (zh) 晶圆低纹理缺陷的检测方法
CN109409374B (zh) 一种基于联合的同批次试卷答案区域切割方法
CN107301661A (zh) 基于边缘点特征的高分辨率遥感图像配准方法
CN107507173A (zh) 一种全切片图像的无参考清晰度评估方法及系统
CN107945111B (zh) 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法
CN108830832A (zh) 一种基于机器视觉的塑料筒表面缺陷检测算法
CN110473221B (zh) 一种目标物体自动扫描系统及方法
US9122960B2 (en) Patch size adaptation for image enhancement
CN101976436B (zh) 一种基于差分图修正的像素级多聚焦图像融合方法
CN110188747A (zh) 一种文本图像的倾斜校正方法、装置以及图像处理设备
CN102024155A (zh) 基于边缘检测的多光谱图像快速匹配方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN111062331B (zh) 图像的马赛克检测方法、装置、电子设备及存储介质
CN110245600B (zh) 自适应起始快速笔画宽度无人机道路检测方法
CN112767358A (zh) 基于图像特征配准的铁路电力机车故障检测方法
CN108986109B (zh) 一种序列化可视人体切片图像自动分割方法
CN111724354A (zh) 一种基于图像处理的多株小麦穗长与小穗数的测量方法
CN113744142B (zh) 图像修复方法、电子设备及存储介质
CN111553927B (zh) 棋盘格角点检测方法、检测系统、计算机装置及存储介质
CN111767752B (zh) 一种二维码识别方法及装置
CN115861409B (zh) 大豆叶面积测算方法、系统、计算机设备及存储介质
CN110390642B (zh) 一种对木刻版藏文图像几何校正的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination