CN110400307A - 一种基于区域差异的屏幕图像质量评估方法 - Google Patents

Abstract

本发明提出了一种基于区域差异的屏幕图像质量评估方法，包括：S1：获取参考屏幕图像的数据库，进行局部归一化处理；S2：生成区分文本区域和图形区域的二值索引图；S3：将参考屏幕图像分割成文本块和图形块两种类型的图像块；S4:得到文本卷积神经网络模型和图形卷积神经网络模型；S5：将待测试的失真屏幕图像中的文本块和图形块分别用其相对应的卷积神经网络模型进行预测评估，得到每个图像块的质量分数，将原失真屏幕图像中像素点都以其所得的图像块的质量分数进行赋值，得到质量图；S6:根据屏幕图像活跃度赋给屏幕图像视觉差异区域不同的权重，再将质量图加权融合，得到该失真屏幕图像的预测得分，借此，本发明具有能准确评估屏幕图像的质量的优点。

Description

一种基于区域差异的屏幕图像质量评估方法

技术领域

本发明属于图像质量评估技术领域，特别涉及一种基于区域差异的屏幕图像质量评估方法。

背景技术

目前，随着互联网技术的发展及现代多媒体通信终端的普及，使得用户能够执行许多复杂的通信任务，这些移动终端在使用期间呈现给消费者的可视内容，不再是单一的自然图像，而是包含文本、图像、地图和计算机生成的图形等的混合图像。类似于上述视觉内容的图像通常被称为屏幕图像。屏幕图像在产生、处理及传输的过程中都不可避免的产生失真，造成图像质量的下降，最终影响用户的体验，在过去的几十年中，已经提出了许多客观的图像质量评估方法，这些评估方法在自然图像质量评估上表现良好，但在屏幕图像质量评估上取得的成绩不佳，造成这种结果的原因是屏幕内容图像具有比自然图像更复杂的构图。

但是屏幕内容图像不仅包含自然图像，还添加了计算机生成的各种组件，如文本、图形和图标。这导致屏幕图像通常包含非常锋利的边缘、相对简单的形状、具有少量颜色的细线、甚至单像素宽的单色线，随着深度学习在计算机视觉领域的广泛应用，研究人员提出了许多深度学习网络来解决图像质量评估问题，并且具有优于传统算法的性能，将屏幕图像直接使用现有的卷积神经网络模型进行学习训练时，由于屏幕图像的特殊、复杂的结构特点，网络模型很难同时学习并区分不同区域的特征，从而不能准确的进行评估，此外，深度学习网络的训练过程需要大量数据，这些数据是通过将图像切割成图像块作为卷积神经网络模型中的训练样本来实现的，因此，特在提供一种基于区域差异的屏幕图像质量评估方法，能准确评估屏幕图像的质量，进而指导屏幕图像的处理过程，便于提高后续应用的性能。

发明内容

本发明提出一种基于区域差异的屏幕图像质量评估方法，能准确评估屏幕图像的质量，进而指导屏幕图像的处理过程，便于提高后续应用的性能。

本发明的技术方案是这样实现的：一种基于区域差异的屏幕图像质量评估方法，包括：

S1：获取参考屏幕图像的数据库，进行局部归一化处理；

S2：计算S1中参考屏幕图像的活跃度，并根据参考屏幕图像活跃度的高低，生成区分文本区域和图形区域的二值索引图；

S3：根据S2中的二值索引图将参考屏幕图像分割成文本块和图形块两种类型的图像块；

S4:使用端到端卷积神经网络，将S3中的若干图像块作为训练集及验证集训练卷积神经网络，其中端到端卷积神经网络输入为图像块、输出为预测的质量分数，卷积神经网络经过若干图像块的训练及验证，得到一个稳定收敛的图像块质量分数预测模型；分别使用文本块和图形块输入到图像块质量分数预测模型中进行训练，得到用于预测文本区域得分的文本卷积神经网络模型和用于预测图形区域得分的图形卷积神经网络模型；

S5：将待测试的失真屏幕图像中的文本块和图形块分别用其相对应的卷积神经网络模型进行预测评估，得到每个图像块的质量分数，将原失真屏幕图像中的每个像素点都以其所得的图像块的质量分数进行赋值，得到质量图；

S6:根据屏幕图像活跃度赋给失真屏幕图像视觉差异区域不同的权重，再将S6中得到的质量图进行加权融合，最终得到该失真屏幕图像的预测得分。

本发明中，首先将参考屏幕图像进行局部归一化操作；计算图像活跃度以区分参考屏幕图像中的文本区域和图形区域，图像中具有尖锐边缘的区域通常比平滑区域具有更高的活跃度，根据图像活跃度的高低，生成可区分包含尖锐边缘的文本区域和相对平滑的图形区域的二值索引图；基于二值索引图将图像分割成两种图像块：文本块和图形块；使用卷积神经网络模型分别训练两种类型的图像块，得到两个模型可分别预测失真屏幕图像中的文本区域和图形区域的质量分数；将待测试的失真屏幕图像以图像块为单位进行分数预测，将每个图像块的所得分数汇聚为质量图，基于图像活跃度赋予屏幕图像视觉差异区域不同的权重，再将质量图进行加权融合，最终得到该模型的预测得分，能准确评估失真屏幕图像的质量分数。

作为一种优选的实施方式，S1中进行局部归一化处理采用的方法为：

其中i,j分别表示参考屏幕图像的长宽索引，表示归一化值，I(i,j)表示该像素点的灰度值，μ(i,j)表示局部均值，σ(i,j)为局部方差，C为常数。

作为一种优选的实施方式，所述S2中计算参考屏幕图像活跃度采用的方法为：

其中L(i,j)为参考屏幕图像活跃度，ε为权重因子，E(i,j)表示像素与其左下方像素和右下方像素的差值平方和，F(i,j)表示像素水平方向相邻的两个像素和垂直方向相邻的两个像素的差值平方和。

作为一种优选的实施方式，先以点为单位计算图像活跃度，再以非重叠的矩阵为单位计算图像局部内平均活跃度，根据参考屏幕图像平均活跃度的高低分为两类，再按照1或0保存，生成二值索引图，其中参考屏幕图像局部平均活跃度的计算方式为：

其中m和n分别代表非重叠的矩阵的长度和宽度，L(i,j)为像素点(i,j)的活跃度值。

作为一种优选的实施方式，卷积神经网络模型为六层神经网络，具有四个隐藏层、一个输入层和一个输出层，四个隐藏层分别为卷积层、池化层、第一全连接层和第二全连接层。

作为一种优选的实施方式，文本卷积神经网络模型和图形卷积神经网络模型以图像块作为输入，在池化层之后，有两个完整的全连接层，第一全连接层采用Relu激活函数，第二全连接层采用线性回归得到图像块的预测分数。

作为一种优选的实施方式，S6中根据屏幕图像活跃度赋给屏幕图像视觉差异区域不同的权重的方式如下：

作为一种优选的实施方式，S6中加权融合的方法为：

其中M与N表示失真屏幕图像的长度和宽度，W(i,j)表示权重图，Q(i,j)表示质量图，经过计算得到整个失真屏幕图像的评估得分Score。

采用了上述技术方案后，本发明的有益效果是：

1、能准确评估屏幕图像的质量，进而指导屏幕图像的处理过程，便于提高后续应用的性能；

2、经过训练学习得到图形卷积神经网络模型和文本卷积神经网络模型，分别学习屏幕图像中图形区域和文本区域的特征结构，能更准确、合理地学习屏幕图像的复杂结构特征；

3、能分辨屏幕图像中图形区域和文本区域的差异性，根据不同区域的活跃值进行分割和区分，使得质量评估更加准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明涉及的基于区域差异的屏幕内容图像质量评估卷积神经网络模型的流程图；

图2为无失真的参考屏幕图像，及其图像活跃度产生的二值索引图，其中图2a和2b为原始参考图像，图2c和2d为对应二值索引图；

图3中3a为带有失真的屏幕图像，利用图像活跃度二值索引图将其切割为若干32*32的图像块，3b为展示的部分图像块，将它们分为两类，文本类图像块和图形类图像块，其中3c为图形块，3d为文本块；

图4为本发明使用的卷积神经网络模型架构，此模型为6层神经网络，输入任一32*32的图像块，经学习得到其对应的质量分数。

图5中5a和5b为两张失真屏幕内容图像，经卷积神经网络的学习并以图像块为单位进行预测，5c和5d为图像块得分汇集成的质量图，5e和5f为二值化活跃度图，作为区分屏幕内容图像中差异区域中不同的视觉权重。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于区域差异的屏幕图像质量评估方法，包括：

S1：获取参考屏幕图像的数据库，进行局部归一化处理；

对参考屏幕图像，进行局部归一化处理，方法如下:

其中i,j分别表示参考屏幕图像的长宽索引，表示归一化值，I(i,j)表示该像素点的灰度值，μ(i,j)表示局部均值，σ(i,j)为局部方差，此处局部区域设置为3×3大小的窗口，C表示用来防止除数为0的小常数。

S2：计算S1中参考屏幕图像的活跃度，并根据参考屏幕图像活跃度的高低，生成区分文本区域和图形区域的二值索引图；

文本区域仅采用有限数量的灰度值，在局部区域中灰度值通常会产生急剧变化；图形区域中包含的自然图像，或由计算机生成的人工组件通常具有丰富的灰度值，从而在局部区域中灰度值变化较为平缓，图像中某一像素点的活跃度，可表示该像素点与其周围像素点的灰度值差异程度，计算参考屏幕图像活跃度采用的方法为：

其中ε为权重因子，E(i,j)表示像素与其左下方像素和右下方像素的差值平方和，F(i,j)表示像素水平方向相邻的两个像素和垂直方向相邻的两个像素的差值平方和。

以非重叠的矩阵为单位，计算参考屏幕图像局部的平均活跃度，本实施例以8×8，16×16以及32×32三种不同尺寸的非重叠的矩阵分别进行实验。根据实验结果，以8×8的非重叠的矩阵为单位进行计算时，算法的时间复杂度过高，效率较低；以32×32的非重叠的矩阵为单位进行计算时，尺寸相对过大，图像局部中同时包含文本和图形的概率增加；当ε趋近于0时，具有较大水平或垂直灰度变换的区域可得到更高的活跃值，当ε趋近于1时，在45°或者135°方向灰度变化较大的区域可获得较高的活跃值，根据实验，ε设置为0.5，相比之下，以16×16非重叠的矩阵为单位计算参考屏幕图像局部平均活跃度时具有更高的准确性，计算参考屏幕图像局部平均活跃度的具体方式如下：

其中m和n分别代表非重叠的矩阵的长度和宽度，m＝n＝16，L(i,j)为像素点(i,j)的活跃度值。设置阈值γ，当参考屏幕图像局部平均活跃度大于γ时，将该参考屏幕图像视作文本区域，在二值索引图中将参考屏幕图像局部标记为1；反之，当参考屏幕图像局部平均活跃度小于γ时，将该参考屏幕图像视作图形区域，并在二值索引图中标记为0。根据实验分析，将阈值γ设置为0.3。如图2所示，2a与2b表示屏幕内容图像，2c与2d表示根据此方法生成的二值索引图。

S3：根据S2中的二值索引图将参考屏幕图像分割成文本块和图形块两种类型的图像块；

每个32×32的图像块与二值索引图中的4个16×16索引块(两行两列)所对应，根据4个索引块中标识的信息，将图像块进行分类。由于在屏幕内容图像中，文本区域的信息更为重要，该区域的失真对整幅屏幕内容图像的质量的影响更为突出，所以在一个32×32的图像块中，相对较少的文本区域比相对较多的图形区域对整个图像块质量的影响更加突出，所以若标识为1的索引块数量大于等于2，则将图像块分类为文本块，否则将其分类为图形块。如图3中所示，3a为带有失真的屏幕内容图像，3b为展示的部分图像块，3c为图形块，3d为文本块。参考屏幕图像因此分成文本块和图形块这两组用于卷积神经网络训练学习的样本集。

S4:使用端到端卷积神经网络，将S3中的若干图像块作为训练集及验证集训练卷积神经网络，其中端到端卷积神经网络输入为图像块、输出为预测的质量分数，卷积神经网络经过若干图像块的训练及验证，得到一个稳定收敛的图像块质量分数预测模型，分别使用文本块和图形块分别输入到图像块质量分数预测模型中进行训练，得到用于预测文本区域得分的文本卷积神经网络模型和用于预测图形区域得分的图形卷积神经网络模型；

本方法设计并使用的卷积神经网络以32×32的图像块作为输入，所以将屏幕图象分割为若干非重叠的32×32的图像块，该卷积神经网络模型结构如图4所示，该卷积神经网络模型具有四个隐藏层，一个输入层和一个输出层，四个隐藏层分别为卷积层、池化层、第一全连接层和第二全连接层，文本卷积神经网络模型和图形卷积神经网络模型以32×32的图像块作为输入，其中卷积层设置30个大小为5×5的卷积核，并以1像素的步长过滤输入，所述卷积层输出30个大小为28×28的特征图作为池化层的输入，将每幅特征图以4个不重叠的14×14区域分别进行信息采集，计算每个特征图中四个区域的最大值、最小值和平均值，得到12个特征值，最终将特征尺寸减小到30×12＝360，在池化层之后，有两个完整的全连接层，它们都有1000个神经元节点，第一全连接层采用Relu激活函数，第二全连接层最终采用简单的线性回归得到一个数值，即为该32×32图像块预测的质量分数。

在训练过程中，采用Caffe框架进行实验，使用随机梯度下降法作为优化算法，基础学习率设置为0.1，动量设置为0.9，动量将随着训练的进行逐渐减小，学习率调整策略采用inv，inv是一种指数变换函数，其中参数gamma设置为0.0001，用作控制学习率曲线下降的速率，参数power设置为0.75，可控制学习率曲线在饱和状态下达到的最低值。

S5:将待测试的失真屏幕图像中的文本块和图形块分别用其相对应的卷积神经网络模型进行预测评估，得到每个图像块的质量分数，至此，原失真屏幕图像中，无论文本区域或是图形区域，都以图像块为单位分别得到预测得分，将原失真图像中每个像素点都以其所在的图像块的预测得分进行赋值，所得到的矩阵即为质量图；

经上述步骤得到文本卷积神经网络模型和图形卷积神经网络模型后，将需要质量评估的屏幕图像按照步骤S1、S2、S3进行处理，将处理得到的图像块用步骤S4所得到的文本卷积神经网络模型和图形卷积神经网络模型进行预测评估，原失真屏幕内容图像中，无论文本区域或是图形区域，都以图像块为单位分别得到预测的质量分数。将每个图像块按照其各自在原失真屏幕图像所在的位置，所得预测得分作为保存，汇集成与原失真屏幕内容图像大小一致的新矩阵，该矩阵为原失真图像的质量图Q。如图5所示，5a和5b是两张带有失真的屏幕内容图像，5c和5d是这两张图像根据本方法所得到的质量图。

S6:根据屏幕图像活跃度赋给失真屏幕图像视觉差异区域不同的权重，再将S5中得到的质量图进行加权融合，最终得到该失真屏幕图像的预测得分，如图5所示，5e和5f作为区分屏幕图像中差异区域中不同的视觉权重。

由于屏幕图像的特殊结构，在最终融合得分时，应考虑不同区域的得分，对整幅图像得分的影响程度。与图形区域相比，文本区域在屏幕内容图像的人类主观质量评估中更重要，即文本区域的感知质量与屏幕内容图像整体的质量应具有更高的相关性，又因文本区域比图形区域具有更高的活跃度，所以将屏幕图像活跃度作为权重，以突出失真屏幕图像中具有较高活跃度区域的得分。根据屏幕图像活跃度图，得出权重图W(i,j)，方式如下：

通过权重图W(i,j)与质量图Q(i,j)的相乘，得到失真屏幕图像的最终预测得分，公式如下：

其中M与N表示失真屏幕图像的长度和宽度，W(i,j)表示权重图，Q(i,j)表示质量图，经过计算得到整个失真屏幕图像的评估得分Score。

在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于区域差异的屏幕图像质量评估方法，其特征在于，包括：

S1：获取参考屏幕图像的数据库，进行局部归一化处理；

S2：计算S1中参考屏幕图像的活跃度，并根据参考屏幕图像活跃度的高低，生成区分文本区域和图形区域的二值索引图；

S3：根据S2中的二值索引图将参考屏幕图像分割成文本块和图形块两种类型的图像块；

S4:使用端到端卷积神经网络，将S3中的若干图像块作为训练集及验证集训练卷积神经网络，其中端到端卷积神经网络的输入为图像块、输出为预测的质量分数，卷积神经网络经过若干图像块的训练及验证，得到一个稳定收敛的图像块质量分数预测模型，分别使用文本块和图形块输入到图像块质量分数预测模型中进行训练，得到用于预测文本区域得分的文本卷积神经网络模型和用于预测图形区域得分的图形卷积神经网络模型；

S5：将待测试的失真屏幕图像中的文本块和图形块分别用其相对应的卷积神经网络模型进行预测评估，得到每个图像块的质量分数，将原失真屏幕图像中的每个像素点都以其所得的图像块的质量分数进行赋值，得到质量图；

S6:根据屏幕图像活跃度赋给失真屏幕图像视觉差异区域不同的权重，再将S5中得到的质量图进行加权融合，最终得到该失真屏幕图像的预测得分。

2.根据权利要求1所述的一种基于区域差异的屏幕图像质量评估方法，其特征在于，所述S1中进行局部归一化处理采用的方法为：

其中i,j分别表示参考屏幕图像的长宽索引，表示归一化值，I(i,j)表示该像素点的灰度值，μ(i,j)表示局部均值，σ(i,j)为局部方差，C为常数。

3.根据权利要求1所述的一种基于区域差异的屏幕图像质量评估方法，其特征在于，所述S2中计算参考屏幕图像活跃度采用的方法为：

其中L(i,j)为参考屏幕图像活跃度，ε为权重因子，E(i,j)表示像素与其左下方像素和右下方像素的差值平方和，F(i,j)表示像素水平方向相邻的两个像素和垂直方向相邻的两个像素的差值平方和。

4.根据权利要求3所述的一种基于区域差异的屏幕图像质量评估方法，其特征在于，先以点为单位计算参考屏幕图像的活跃度，再以非重叠的矩阵为单位计算参考屏幕图像局部平均活跃度，根据参考屏幕图像局部平均活跃度的高低分为两类，再按照1或0保存，生成二值索引图，其中参考屏幕图像局部平均活跃度的计算方式为：

其中m和n分别代表非重叠的矩阵的长度和宽度，L(i,j)为像素点(i,j)的活跃度值。

5.根据权利要求1所述的一种基于区域差异的屏幕图像质量评估方法，其特征在于，所述S4中的卷积神经网络为六层神经网络，具有四个隐藏层、一个输入层和一个输出层，所述四个隐藏层分别为卷积层、池化层、第一全连接层和第二全连接层。

6.根据权利要求5所述的一种基于区域差异的屏幕图像质量评估方法，其特征在于，所述文本卷积神经网络模型和图形卷积神经网络模型以图像块作为输入，所述卷积层的输出作为池化层的输入，所述第一全连接层和第二全连接层均位于池化层之后，其中第一全连接层采用Relu激活函数，第二全连接层采用线性回归得到图像块的预测分数。

7.根据权利要求1所述的一种基于区域差异的屏幕图像质量评估方法，其特征在于，所述S6中根据屏幕图像活跃度赋给屏幕图像视觉差异区域不同的权重的方式如下：

8.根据权利要求7所述的一种基于区域差异的屏幕图像质量评估方法，其特征在于，所述S6中加权融合的方法为：

其中M与N表示失真屏幕图像的长度和宽度，W(i,j)表示权重图，Q(i,j)表示质量图，经过计算得到整个失真屏幕图像的评估得分Score。