CN111583259A - 一种文档图像质量评价方法 - Google Patents

Abstract

本发明公开了一种文档图像质量评价方法，从文档图像中截取多个图像块分组到同一个小批当中，分别输入文档图像质量评价网络模型进行训练。在该网络模型训练完成后，从待评价文档图像中截取多个图像块输入文档图像质量评价网络模型，获取待评价文档图像的预测质量标量。具体包括下述步骤：通过文档图像数据集中的文档图像训练生成文档图像质量比较网络模型；运用文档图像质量比较网络模型对文档图像质量评价网络模型进行微调；使用文档图像数据集训练生成文档图像质量评价网络模型；利用文档图像质量评价网络模型对待评价文档图像进行评价，该网络模型的输出为文档图像的预测质量标量。本方法能够获得符合人眼视觉特性的客观文档图像质量评价结果。

Description

一种文档图像质量评价方法

技术领域

本发明属于图像处理技术领域，具体涉及一种文档图像质量评价方法。

背景技术

图像作为重要的视觉信息来源，向人们传递了丰富的信息。通过移动设备将文档拍摄成图像存储起来是当今信息保存的主要方式之一。然而，从文档图像采集到显示的过程当中，有诸多不可避免的因素将导致文档图像失真，如失焦、运动模糊、噪声、压缩等等。文档图像失真将直接导致文档图像信息丢失。此时，采用有效的文档图像质量评价方法能为人们提供一定标准下反映文档图像质量的标量，进而帮助人们从获取到显示图像的过程中采取有效措施，以保障图像质量、减少信息丢失。文档图像质量评价是图像处理领域中一个重要的研究方向，如何获得符合人眼视觉特性的文档图像质量评价结果具有重要的研究意义和实用价值。

大量研究人员开展了针对文档图像质量评价的研究。名称为“一种文本图像质量评估方法及设备”(公开号为CN107644415B)的专利文献公开了获取文本图像质量指标值的方法及设备，介绍了文本质量评估模型的构建及训练方法。通过该方法能够获得文本图像的质量指标值，但是，当文档图像的局部失真不均匀时，通过该方法所获得的图像质量指标值参考价值较低。名称为“手机拍照文本图像质量评估方法”(公开号为CN104978578B)的专利文献公开了一种获取手机拍照文本图像质量的方法，该方法以光学字符识别的置信度作为评价图像质量好坏基础的基础。然而，光学字符识别的结果有时与文档图像的质量不完全相关，从而导致无法为文档图像提供适当的质量评价。

发明内容

为解决上述问题，本发明提出一种文档图像质量评价方法。该方法可对文档图像质量进行评价。

本发明提出的文档图像质量评价方法，其特征在于，该方法采用如下技术方案：从文档图像中截取多个图像块分组到同一个小批当中，分别输入文档图像质量评价网络模型进行训练。在该网络模型训练完成后，从待评价文档图像中截取多个图像块输入文档图像质量评价网络模型，获取待评价文档图像的预测质量标量。其中，该文档图像质量评价网络模型最后一层为平均池化层，以达到在图像失真不均匀、各局部质量不同的情况下，获得更符合人眼视觉特性的文档图像质量标量的目标。具体包括以下几个步骤：

(1)通过文档图像数据集中的文档图像训练生成文档图像质量比较网络模型；

(2)运用文档图像质量比较网络模型对文档图像质量评价网络模型进行微调；

(3)使用文档图像数据集训练生成文档图像质量评价网络模型；

(4)利用文档图像质量评价网络模型对待评价文档图像进行评价，该网络模型的输出为文档图像的预测质量标量。

进一步地，步骤(1)中，所述文档图像数据集中的文档图像须带有能够反映其质量的标量标签y。所述文档图像由所述文档图像数据集中两类带有不同质量标量标签的文档图像X₁、X₂组成。

所述文档图像质量比较网络模型基于卷积神经网络。该网络模型由两个分支构成，该两个分支为权值共享、结构相同的卷积神经网络，单个分支的输入为文档图像X及其质量标量标签y，单个分支的输出f(X；θ)为反映输入文档图像X的预测文档图像质量标量

其中θ为模型参数。在该两个分支后使用定义特征向量间相似度的损失函数，对文档图像的质量进行比较。该文档图像质量比较网络模型的输出为文档图像X₁、X₂的图像质量比较结果。

所述训练文档图像质量比较网络模型，具体工作如下：将所述文档图像X₁、X₂及其质量标量标签y₁、y₂分别作为文档图像质量比较网络模型的两个分支的输入，当该网络模型的文档图像质量输出比较结果与文档图像质量标量标签比较结果一致时，损失值为0；当该网络的文档图像质量输出比较结果与文档图像质量标量标签比较结果不一致时，损失值将增大。采用大量的图像对文档图像质量比较网络进行训练后，得到文档图像质量比较网络模型。

进一步地，步骤(2)中，所述文档图像质量评价网络模型基于卷积神经网络，该网络模型与所述文档图像质量比较网络模型单个分支的结构相同，其输入为文档图像X及其质量标量标签y，其输出f(X；θ)为反映输入文档图像X的预测质量标量

所述文档图像质量比较网络模型对文档图像质量评价网络模型进行微调的实现方法为，将所述文档图像质量比较网络模型中单个分支的权值作为文档图像质量评价网络训练的权值初始值。

进一步地，步骤(3)中，所述使用文档图像数据集训练生成文档图像质量评价网络模型，包括如下步骤：

(3.1)从文档图像数据集中读取样本图像X，按照w×h大小随机或按照指定位置从样本图像X中截取n个图像块X_n→{P₁,P₂,…,P_n}，其中w、h分别为图像块的宽和高；

(3.2)将图像块X_n分组到同一个小批当中，分别输入文档图像质量评价网络模型，训练文档图像质量评价网络模型。其中文档图像质量评价网络模型训练时，最后一层平均池化层的损失函数为：

L(X_n,y)＝(pool(f(X_n；θ))-y)²

(1)

其中，y为样本图像X的图像质量标量标签，f(X_n；θ)如式(2)所示。pool(·)代表平均池化，如式(3)所示，其中σ为平均池化结果。

f(X_n；θ)＝[f(P₁；θ),f(P₂；θ),…,f(P_n；θ)]^T (2)

在文档图像质量评价网络模型训练过程中，采用反向传播优化参数，以提高预测精度。

进一步地，步骤(4)中，利用文档图像质量评价网络模型对待评价文档图像进行评价，具体包括：

(4.1)按照w×h大小随机或按照指定位置从待评价文档图像X中截取n个图像块X_n→{P₁,P₂,…,P_n}；

(4.2)将图像块X_n分别输入至文档图像质量评价网络模型当中，分别得到各图像块的特征值f(P_n；θ)，计算出预测文档图像质量标量

如式(4)所示：

本发明的核心创新在于：将每个图像块的输出结果输入至平均池化层以获得图像的全局质量分数，其中，训练网络模型时，池化层的损失函数为步骤(3)中的步骤3.2；能够达到的效果是：图像失真不均匀，各局部的质量不同，因此将图像的各局部图像块作为小批输入至网络当中，取图像块输出特征的平均值作为全局图像的客观质量分数，获取更符合人眼视觉特性的客观文档图像质量评价结果。

本发明提供了一种文档图像质量评价方法。在该方法中，采用大量不同质量的文档图像对文档图像质量比较网络模型进行训练，并用其对文档图像质量评价模型进行微调，从而有效地运用文档图像质量比较网络模型所学习到的图像质量比较知识指导文档图像质量评价。同时，通过获取文档图像各局部图像块的特征计算文档图像的质量标量，避免由于图像失真不均匀、各局部的质量不同所带来的影响。本方法能够获得符合人眼视觉特性的客观文档图像质量评价结果。

附图说明

图1为本发明实施例中文档图像质量评价的流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明的具体实施方式作进一步详细说明。需要注意的是，此处根据本发明一种文档图像质量评价方法的具体实施例仅作为举例，并不用于限定本发明。

实施例

如图1方法流程图所示，实施例的具体实现过程如下：

(1)通过文档图像数据集中的文档图像训练生成文档图像质量比较网络模型。

所采用的文档图像数据集中的文档图像质量标签为范围为[0,10]的平均主观得分(MeanOpinionScore，MOS)，当MOS值越接近0代表图像质量越差，反之越接近10，代表图像质量越好。所述文档图像由所述文档图像数据集中两类带有不同图像质量标签的文档图像X₁、X₂组成。

所述文档图像质量比较网络模型由两个分支构成，该两个分支为权值共享、结构相同的ResNet50网络，单个分支的输入为文档图像X及其质量标签y，单个分支的输出f(X；θ)为反映输入文档图像X的图像质量标量，其中θ为模型参数。在该两个分支后使用定义特征向量间相似度的损失函数，对文档图像的质量进行比较：

L(X₁,X₂；θ)＝max(0,f(X₂；θ)-f(X₁；θ)+ε) (1)

式(1)中ε为阈值。该文档图像质量比较网络模型的输出为文档图像X₁、X₂的图像质量比较结果。

所述训练文档图像质量比较网络模型，具体工作如下：将所述文档图像X₁、X₂及其图像质量标签y₁、y₂分别作为文档图像质量比较网络模型的两个分支的输入。其中，y₁＞y₂，即X₁的质量好于X₂。当该网络模型的输出比较结果为X₁的质量好于X₂时，输出的比较结果与真实比较情况一致，损失值为0。当网络比较结果为X₂的质量好于X₁，且高出阈值ε时，损失值会增大。采用大量的图像对文档图像质量比较网络进行训练后，得到文档图像质量比较网络模型。

(2)运用文档图像质量比较网络模型对文档图像质量评价网络模型进行微调。

所述文档图像质量评价网络模型基于ResNet50网络，其结构与所述文档图像质量比较网络模型单个分支的结构相同，其输入为文档图像X及其质量标签y，其输出f(X；θ)为反映输入文档图像X的预测质量标量

所述文档图像质量比较网络模型对文档图像质量评价网络模型进行微调的实现方法为，将所述文档图像质量比较网络模型中单个分支的权值作为文档图像质量评价网络训练的权值初始值。

(3)使用文档图像数据集训练生成文档图像质量评价网络模型。

所述使用文档图像数据集训练生成文档图像质量评价网络模型，包括如下步骤：

(3.1)从文档图像数据集中读取样本图像X，按照w×h大小随机或按照指定位置从样本图像X中截取n个图像块X_n→{P₁,P₂,…,P_n}，其中w＝224，h＝224；

(3.2)将图像块X_n分组到同一个小批当中，分别输入文档图像质量评价网络模型，训练文档图像质量评价网络模型。其中文档图像质量评价网络模型训练时，最后一层平均池化层的损失函数为：

L(X_n,y)＝(pool(f(X_n；θ))-y)²

(2)

其中，y为样本图像X的图像质量标量标签，f(X_n；θ)如式(3)所示。pool(·)代表平均池化，如式(4)所示，其中σ为平均池化结果。

f(X_n；θ)＝[f(P₁；θ),f(P₂；θ),…,f(P_n；θ)]^T (2)

在文档图像质量评价网络模型训练过程中利用反向传播优化参数，以提高预测精度。

(4)利用文档图像质量评价网络模型对待评价文档图像进行评价，该网络模型的输出为文档图像的预测质量标量。该预测质量标量为介于0到10之间的数值。当该预测质量标量越接近0代表图像质量越差，反之越接近10，代表图像质量越好。

所述利用文档图像质量评价网络模型对待评价文档图像进行评价，具体包括：

(4.1)按照w×h大小随机或按照指定位置从待评价文档图像X中截取n个图像块X_n→{P₁,P₂,…,P_n}；

(4.2)将图像块X_n分别输入至文档图像质量评价网络模型当中，分别得到各图像块的特征值f(P_n；θ)，计算出预测文档图像质量标量

如式(5)所示：

以上所述为本发明的较佳实施例，并不用以限制本发明，凡不脱离本发明所公开的精神下完成的等效或修改，均应包含在本发明保护的范围之内。

Claims (5)

1.一种文档图像质量评价方法，用于获取反映文档图像质量的标量，从文档图像中截取多个图像块分组到同一个小批当中，分别输入文档图像质量评价网络模型，训练文档图像质量评价网络模型；网络模型训练完成后，从待评价文档图像中截取多个图像块输入文档图像质量评价网络模型，获取待评价文档图像的质量标量；其中，该文档图像质量评价网络模型最后一层为平均池化层，以达到在图像失真不均匀、各局部质量不同的情况下，获得更符合人眼视觉特性的文档图像质量标量的目标；其特征在于：

具体包含以下步骤：

(1)通过文档图像数据集中的文档图像训练生成文档图像质量比较网络模型；

(2)运用文档图像质量比较网络模型对文档图像质量评价网络模型进行微调；

(3)使用文档图像数据集训练生成文档图像质量评价网络模型；

(4)利用文档图像质量评价网络模型对待评价文档图像进行评价，该网络模型的输出为文档图像的预测质量标量。

2.根据权利要求1所述一种文档图像质量评价方法，其特征在于：

所述步骤(1)中，所述文档图像质量比较网络模型，该网络模型的工作方法包括：

所述文档图像质量比较网络模型基于卷积神经网络，该网络模型由两个分支构成，该两个分支为权值共享、结构相同的卷积神经网络，单个分支的输入为文档图像X及其质量标量标签y，单个分支的输出f(X；θ)为反映输入文档图像X的预测文档图像质量标量

其中θ为模型参数；在该两个分支后使用定义特征向量间相似度的损失函数，对文档图像的质量进行比较；该文档图像质量比较网络模型的输出为文档图像X₁、X₂的图像质量比较结果；

所述训练文档图像质量比较网络模型，具体工作如下：将所述文档图像X₁、X₂及其质量标量标签y₁、y₂分别作为文档图像质量比较网络模型的两个分支的输入，当该网络模型的文档图像质量输出比较结果与文档图像质量标量标签比较结果一致时，损失值为0；当该网络的文档图像质量输出比较结果与文档图像质量标量标签比较结果不一致时，损失值将增大；采用大量的图像对文档图像质量比较网络进行训练后，得到文档图像质量比较网络模型。

3.根据权利要求1所述一种文档图像质量评价方法，其特征在于：所述步骤(2)中，运用文档图像质量比较网络模型对文档图像质量评价网络模型进行微调，具体包括：

所述文档图像质量评价网络模型基于卷积神经网络，该网络模型与所述文档图像质量比较网络模型单个分支的结构相同，其输入为文档图像X及其质量标量标签y，其输出f(X；θ)为反映输入文档图像X的预测质量标量

所述文档图像质量比较网络模型对文档图像质量评价网络模型进行微调的实现方法为，将所述文档图像质量比较网络模型中单个分支的权值作为文档图像质量评价网络训练的权值初始值。

4.根据权利要求1所述一种文档图像质量评价方法，其特征在于：所述步骤(3)中，使用文档图像数据集训练生成文档图像质量评价网络模型，包括如下步骤：

(3.1)从文档图像数据集中读取样本图像X，按照w×h大小随机或按照指定位置从样本图像X中截取n个图像块X_n→{P₁,P₂,…,P_n}，其中w、h分别为图像块的宽和高；

(3.2)将图像块X_n分组到同一个小批当中，分别输入文档图像质量评价网络模型，训练文档图像质量评价网络模型；其中文档图像质量评价网络模型训练的损失函数为：

L(X_n,y)＝(pool(f(X_n；θ))-y)² (1)

其中，y为样本图像X的图像质量标量标签，f(X_n；θ)如式(2)所示；pool(·)代表平均池化，如式(3)所示，其中σ为平均池化结果；

f(X_n；θ)＝[f(P₁；θ),f(P₂；θ),…,f(P_n；θ)]^T (2)

在文档图像质量评价网络模型训练过程中利用反向传播使得所有参数得到充分的优化，从而提高预测精度。

5.根据权利要求1所述文档图像质量评价方法，其特征在于：所述步骤(4)中，利用文档图像质量评价网络模型对待评价文档图像进行评价，包括如下步骤：

(4.1)按照w×h大小随机或按照指定位置从待评价文档图像X中截取n个图像块X_n→{P₁,P₂,…,P_n}；

(4.2)将图像块X_n分别输入至文档图像质量评价网络模型当中，分别得到各图像块的特征值f(P_n；θ)，计算出预测文档图像质量标量

如式(4)所示：

Images