CN112348809B - 基于多任务深度学习的无参考屏幕内容图像质量评价方法 - Google Patents
基于多任务深度学习的无参考屏幕内容图像质量评价方法 Download PDFInfo
- Publication number
- CN112348809B CN112348809B CN202011378774.XA CN202011378774A CN112348809B CN 112348809 B CN112348809 B CN 112348809B CN 202011378774 A CN202011378774 A CN 202011378774A CN 112348809 B CN112348809 B CN 112348809B
- Authority
- CN
- China
- Prior art keywords
- image
- quality
- task
- blocks
- screen content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 41
- 238000013135 deep learning Methods 0.000 title claims abstract description 13
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000011156 evaluation Methods 0.000 claims abstract description 9
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 238000004364 calculation method Methods 0.000 claims description 26
- 238000001303 quality assessment method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 239000007787 solid Substances 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 238000007430 reference method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 241000282414 Homo sapiens Species 0.000 description 1
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多任务深度学习的无参考屏幕内容图像质量评价方法，步骤如下：对屏幕内容训练图像进行预处理；构建由方向梯度直方图特征预测任务辅助质量分数预测任务的多任务网络架构；将预处理得到的图像块输入网络，利用原图像自身质量分数进行反向梯度传播训练，获得网络训练模型；对屏幕内容测试图像进行相同的预处理，并预测得到各个图像块的质量分数；去除纯色空白图像块，使用自适应权重估计的质量融合策略将剩余各个图像块的质量分数进行整合，最终得到整幅图像的质量分数。通过在SIQAD和SCID数据库下进行训练测试，本方法利用多任务学习和自适应权重估计得到了失真图像的客观评价质量，提高了无参考屏幕内容图像质量评价的准确性。
Description
技术领域
本发明属于图像处理和计算机视觉领域，涉及图像质量的评测技术，特别是一种基于多任务深度学习的无参考屏幕内容图像质量评价方法，能够实现在没有原始对照图像的情况下，对失真屏幕内容图像进行质量评价。
背景技术
近年来，随着互联网上各种多媒体应用和社交通信系统的迅速发展，屏幕内容图像已广泛应用于人们的日常生活中，例如在线教育、在线浏览、远程屏幕共享、云计算和游戏等。屏幕内容图像是一种复合图像，既包含由计算机直接生成的图表和文字，又包含摄像机拍摄的自然图像。在实时多客户端通信系统中，屏幕内容图像的分发和处理通常涉及到获取、压缩和传输等环节。由于系统资源有限，各类处理环节都可能在屏幕内容图像中引入失真，影响用户体验。然而当前图像质量评价的研究主要针对传统自然图像，为了能够反映系统中各环节对最终用户体验的影响，进而实现系统优化的目的，亟需研究和设计针对屏幕内容图像的质量评价方法。
图像质量评价方法分为主观评价方法和客观评价方法。由于主观评价法的评判者是人，因此是最准确的，但是耗时耗力不易实现。客观质量评价方法是由相应的计算模型得到图像的质量指标，具有实时性，可重复性和操作简单的特点，是图像质量评价研究的重点。此外，客观图像质量评价方法可根据所需原始未失真参考图像信息量的多少进一步分为全参考方法，部分参考方法和无参考方法。全参考和部分参考方法在评估失真图像质量的过程中都需要原始未失真图像的全部或部分参与，相反无参考方法不需要未失真图像的任何信息即可计算该失真图像的质量分数，因此其难度最高，但是实用性最强，是客观图像质量评价的主要关注方法。
目前主要的图像质量评价法多适应于自然图像质量评价[1]，对于屏幕内容图像并没有表现出良好的适配性，原因在于屏幕内容图像和自然图像具有不同的图像结构和统计特性。基于此，近年来涌现了一批专门针对屏幕内容图像的无参考质量评价方法[2]。在无参考屏幕内容图像质量评价问题中，基本实现方法有两种：两阶段评价法和端到端评价法。对于两阶段评价法[3][4][5]，包括手工图像特征提取和模型回归计算。在手工图像特征提取阶段，为了贴合屏幕内容图像特性，则侧重于提取纹理结构特征；在模型计算回归阶段，通过使用支持向量回归[6]或K近邻[7]等回归模型，将上一阶段获得的图像特征回归为图像质量分数，从而获得失真图像的质量评估结果。然而考虑到手工设计特征的表达能力有限，当数据集较大时该类模型无法表现出优势，因此提出了基于深度学习的端到端方法[8][9][10]。主要思想是通过事先将失真图像进行分块预处理以获取足够多的训练数据，然后简单地将原图像的主观质量得分分配给对应的图像块，将其作为网络模型训练的质量标签。然而，由于一幅失真图像中的各个部分的失真程度不一定相同或者由于区域内容的不同，其对人的视觉感知影响也不一致，因此直接将整幅图像的质量分配给各个图像块是有误差存在的。当然，有些方法为了避免这一缺陷，在得到图像块质量分数后，又采用一种自适应权重估计的方法对不同图像块分配不同的权重，根据权重对其质量分数进行融合得到原失真图像质量。但这些方法都将边缘或梯度信息作为衡量权重的重要因素，忽略了屏幕图像本身的内容信息。因此，目前亟需一个有效的网络模型和一种更为精确的质量融合策略，可以在预测评估图像块质量分数的同时，更有针对性地根据屏幕内容特性将其加权融合，从而得到最终整幅失真屏幕内容图像的质量分数。
参考文献：
[1]王志明.无参考图像质量评价综述.自动化学报,2015,41(6):1062-1079.
[2]朱映映,曹磊,王旭.无参考屏幕内容图像质量评价.软件学报,2018,29(4):973-986.
[3]Ke Gu,Guangtao Zhai,Weisi Lin,Xiaokang Yang,and WenjunZhang.2016.Learning a blind quality evaluation engine of screen contentimages.Neurocomputing 196(2016),140–149.
[4]Ning Lu and Guohui Li.2018.Blind quality assessment for screencontent images by orientation selectivity mechanism.Signal Processing 145,178(2018),225–232.
[5]Guanghui Yue,Chunping Hou,Weiqing Yan,Lark Kwon Choi,Tianwei Zhou,and Yonghong Hou.2019.Blind quality assessment for screen content images viaconvolutional neural network.Digital Signal Processing 91(2019),21–30.
[6]Qiaohong Li,Weisi Lin,Jingtao Xu,and Yuming Fang.2016.Blind imagequality assessment using statistical structural and luminance features.IEEETransactions on Multimedia 18,12(2016),2457–2469.
[7]Ruigang Fang,Richard Al-Bayaty,and Dapeng Wu.2016.Bnb method forno-reference image quality assessment.IEEE Transactions on Circuits andSystems for Video Technology 27,7(2016),1381–1391.
[8]Lingxuan Zuo,Hanli Wang,and Jie Fu.2016.Screen content imagequality assessment via convolutional neural network.In Proceedings of theIEEE International Conference on Image Processing.2082–2086.
[9]Jianan Chen,Liquan Shen,Linru Zheng,and XuhaoJiang.2018.Naturalization Module in Neural Networks for Screen Content ImageQuality Assessment.IEEE Signal Processing Letters 25,11(2018),1685–1689.
[10]Xuhao Jiang,Liquan Shen,Guorui Feng,Liangwei Yu,and PingAn.2019.Deep Optimization model for Screen Content Image Quality Assessmentusing Neural Networks.arXiv preprint arXiv:1903.00705(2019).
发明内容
本发明的目的是为了克服现有技术中的不足，提供一种基于多任务深度学习的无参考屏幕内容图像质量评价方法，其充分利用了屏幕内容图像多纹理，边缘特征明显的特性，在网络模型的设计上引入方向梯度直方图特征预测任务。从而在训练学习图像质量评估任务的同时，受方向梯度直方图特征预测任务的影响，使网络模型的特征提取层更多地倾向于提取屏幕内容图像的纹理特征，从而使得该质量评估方法更有针对性地贴合屏幕内容图像的主观质量评估。此外，还引入了基于屏幕图像内容的自适应权重估计的质量融合策略，通过对不同区域的图像块质量分数进行加权平均，进一步提高了无参考屏幕内容图像质量评价方法的准确性，满足实际应用中对无参考屏幕内容图像质量评价方法的要求，解决了端到端屏幕内容图像质量评价方法预测准确度不够高的问题。
本发明的目的是通过以下技术方案实现的：
基于多任务深度学习的无参考屏幕内容图像质量评价方法，包括以下步骤：
(1)构建训练样本；
(2)预处理屏幕内容图像；将图像分割为大小相同的图像块，并通过局部规范化方法进行处理；
(3)构建多任务网络模型架构；以质量分数预测任务作为主要任务，方向梯度直方图特征预测任务作为辅助任务，构建由多层卷积神经网络组成的多任务网络模型架构；
(4)获得训练好的多任务网络模型；将预处理得到的屏幕内容图像块输入到多任务网络模型，利用原图像的方向梯度直方图特征和DMOS分数对多任务网络模型进行反向传播训练，获得多任务网络模型的网络层权重和偏置的最优解；
(5)获得测试屏幕内容图像块的客观质量评价分数；选取测试样本，经过与训练样本相同的预处理后输入到多任务网络模型中，预测得到各个图像块的质量分数；
(6)获得整幅测试原图像的客观质量评价分数；去除纯色空白图像块，使用基于屏幕图像内容的自适应权重估计的质量融合策略将各个屏幕内容图像块的质量分数按权重分配进行整合，最终得到整幅图像的质量评估结果。
进一步的，在对屏幕内容图像进行预处理时，采用非重叠式分割方法将每个图像分割为32*32图像块；在构建多任务网络模型架构时，多任务网络模型架构由9层卷积、3层池化、3层全连接组成，此外对应于两个预测任务，该多任务网络模型的输出由两部分组成，分别为方向梯度直方图特征输出和质量分数输出；多任务网络模型的输入为经过预处理的32*32的图像块，随后通过多任务网络模型训练，随机初始化网络模型权值，采用梯度下降算法以及反向传播算法，全局的调整定位该多任务网络模型参数。
进一步的，步骤(5)中在获取测试图像块的客观质量评价分数时，需要固定多任务网络模型参数，在方向梯度直方图预测任务的辅助下，利用质量分数预测任务对输入的屏幕内容图像块进行质量预测评估，从而得到每一块测试图像的质量分数。
进一步的，步骤(6)中去除纯色空白图像块时包括以下步骤：
(601)将未经预处理的3通道彩色图像块灰度化处理，变为单通道灰度图像块；
(602)计算各图像块中基于像素点的局部标准差LSD和局部熵值LE，其计算公式如下：
LSD计算公式中，ω＝{ωk,l|k＝-K,…,K,l＝-L,…,L}是高斯加权函数；式中的I(i,j)表示像素所在位置(i,j)的像素值；K和L表示标准化窗口大小，这里设置K＝L＝3；LE计算公式中，其中Px表示以位置(i,j)像素为中心的矩形窗口中像素值等于x的概率，而max表示以该像素为中心的矩形窗口中的最大像素值；
(603)计算基于图像块的平均局部标准差MLSD和平均局部熵值MLE；具体计算方式为平均灰度图像块中所有像素点的LSD值和LE值，从而求得该灰度图像块的平均局部标准差和平均局部熵值；
(604)计算图像块的平均局部标准差阈值和平均局部熵阈值，将低于任一阈值的图像块视为纯色空白块，保留超过阈值的图像块作为用于计算整幅图像的候选块；阈值的计算公式如下：
Tl＝βl×Maxl Te＝βe×Maxe
分别对应图像块的平均局部标准差阈值Tl和平均局部熵阈值Te；其中Maxl和Maxe分别表示原图像所有图像块中的最大平均局部标准差和最大局部熵值；βl、βe为两个可调参数值；
去除纯色空白图像块后，需使用自适应权重估计的质量融合策略将各个屏幕内容图像块的质量分数按权重分配进行整合，具体包括以下步骤：
(605)自适应权重估计计算各图像块的局部权重和全局权重；局部权值由两个因素决定，分别为图像块中各像素点的LSD值的方差VLSD和图像块平均局部熵值MLE；最终计算公式如下：
Wl＝VLSDρ1×MLEρ2
其中ρ1、ρ2为两个可调节指数参数；全局权重由原图像的显著性映射图决定，根据显著性映射图，求得每个像素点的显著性值，进而将32*32图像块中的最大显著性值作为该屏幕内容图像块的显著性值；之后设定显著性阈值Ts＝0.03，若图像块显著性值小于显著性阈值Ts，则将该屏幕内容图像块视为以文字为主题的图像块，简称文本块，若图像块显著性值大于显著性阈值Ts，则将该屏幕内容图像块视为以图形图像为主体的屏幕内容图像块，简称图片块；统计原图像中文本块和图片块各自的数量，则每个文本块的全局权重为对应原图像中所有文本块的数量，每个图片块的全局权重为对应原图像中所有图片块的数量；
(606)按局部和全局权重分配结果对原图像中各图像块的质量分数进行整合；计算公式如下：
其中，Qi为图像块i经多任务网络模型预测所得到的客观质量评价分数，Wli和Wgi为该图像块的局部和全局质量分数，M为原图像中去除纯色空白块后的所有候选块个数，则Q为最终所求得的整幅测试图像的质量分数。
进一步的，选用SCID和SIQAD数据库中的80％图像作为训练样本；选用SCID和SIQAD数据库中剩余的20％图像作为测试样本。
与现有技术相比，本发明的技术方案所带来的有益效果是：
本发明选取屏幕内容图像中的图像块作为输入，使得网络模型可以有效学习到存在于图像局部结构中对人类更敏感的感知信息，并在方向梯度直方图特征预测任务的辅助下对各个图像块质量进行预测评估，从而引导网络模型在训练学习的过程中更多地去提取其纹理特征，从而贴合满足屏幕内容图像的多纹理特性，更好地表达屏幕内容图像的属性特征。之后从基于图像块自身内容特性的角度计算各图像块的局部权重，从基于整幅原图像内容的角度计算各图像块的全局权重，利用自适应权重估计的结果对网络模型预测得到的各个图像块的质量分数进行加权平均，最终得到整幅原图像的质量分数。在SCID和SIQAD数据库下进行测试，本发明方法得到了相较于已有质量评估更好的结果。
附图说明
图1多任务网络模型架构图；
图2a是SIQAD图像库中的一个失真图像m；
图2b是失真图像m基于像素点的局部标准差映射图；
图2c是失真图像m基于像素点的局部熵映射图；
图2d是失真图像m去除纯色空白图像块后的候选块构成图；
图3a是失真图像m的VLSD映射图；
图3b是失真图像m的平均局部熵ALE映射图；
图3c是失真图像m基于像素点的显著性映射图；
图3d是失真图像m基于图像块的显著性映射图。
具体实施方式
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种基于多任务深度学习的无参考屏幕内容图像质量评价方法，具体如下：
(1)首先构建训练样本：选用SCID和SIQAD数据库中的80％图像作为训练样本；
(2)预处理屏幕内容图像；
在训练网络模型以及测试的过程中，考虑到数据量过少会引起过拟合现象，故将原屏幕内容图像分割为大小相同的32*32图像块，并通过局部规范化方法进行处理，这将减弱图片扭曲所带来的影响并提升网络模型对对比度变化情况下的鲁棒性。局部规范化公式如下：
其中，ω＝{ωk,l|k＝-K,…,K,l＝-L,…,L}是高斯加权函数。I(i,j,d)表示像素所在位置(i,j,d)的像素值，d表示图像块的通道号。K和L表示标准化窗口大小，C是大于0的常数。这里设置K＝L＝3。
(3)多任务网络模型架构设计
将预处理得到的图像块输入到多任务网络模型中，该多任务网络模型架构如图1所示。对应于两个训练预测任务，该模型有两部分输出，分别为36维的方向梯度直方图特征输出和1维的图像质量分数输出。对于方向梯度直方图训练预测任务(辅助任务)，考虑到屏幕内容图像具有更多的纹理特征和边缘信息，因此该任务总能引导网络模型的特征提取层提取更多偏纹理特征，从而更精确地反映屏幕内容图像的失真情况。对于质量评估任务(主要任务)，该任务与梯度方向直方图任务共享网络模型的特征提取层，并在最后将两个任务的特征输出级联，最后以一维的质量分数输出作为结束。其中，在特征提取层中包含有最大池化操作，从而保留更多的纹理信息去贴合屏幕内容图像的自身特性。
该多任务网络模型训练的损失函数形式如下：
其中，Hp n表示第n个图像块经过多任务网络模型中的方向梯度直方图任务预测所得到的方向梯度直方图特征，Hg n为其对应的真实方向梯度直方图特征标签，是事先通过手动提取获得的36维特征向量。同理，Sp n表示该图像块经过多任务网络模型中的图像质量评估任务预测所得到的图像质量分数，Sg n为其对应的真实图像块质量分数，是事先由观察者们评判的主观质量分数。N表示多任务网络模型训练过程中mini-batch梯度下降的batch大小。基于此，通过利用原图像的方向梯度直方图特征和主观质量分数对多任务网络模型进行反向传播训练，最终获得该多任务网络模型的网络层权重和偏置的最优解。
(4)获取候选失真图像块
选用SCID和SIQAD数据库中剩余的20％图像作为测试样本，经过与训练样本相同的预处理后输入到多任务网络模型中，预测得到各个图像块的质量分数；
对于原失真图像，包含多个图像块，考虑到部分图像块属于纯色空白块，该类型图像块由于内容缺失，基本不会对整幅图像的质量评估产生帮助，甚至可能会包含某种噪声，从而干扰最终的质量评估。因此属于纯色空白类型的图像块需要剔除，仅保留非纯色空白的图像块作为质量评估的候选失真图像块。如图2a为剔除前的原失真图像，图2d为剔除结果，灰色部分表示剔除的纯色空白图像块，非灰色区域即为最终保留的候选图像块。具体剔除过程是基于图像块本身的内容特性，即局部标准差和局部熵。局部标准差趋向于强调图像中富含纹理信息的部分，即文字部分。局部熵趋向于强调图像中富含图形图像的部分，即图片表示部分。如图2b和图2c分别表示对应到原失真图像上的局部标准差映射图和局部熵映射图。于是便可根据图像块的局部标准差值和局部熵值来判断该图像块是否包含内容信息，从而进一步判断该图像块是否属于需要被剔除的纯色空白块。具体计算过程如下。
首先需要将未经预处理的3通道彩色图像块灰度化处理，变为单通道灰度图像块。然后计算各图像块中基于像素点的局部标准差LSD和局部熵值LE，其计算公式如下：
LSD计算公式中，ω＝{ωk,l|k＝-K,…,K,l＝-L,…,L}是高斯加权函数。I(i,j)表示像素所在位置(i,j)的像素值。K和L表示标准化窗口大小，这里设置K＝L＝3。LE计算公式中，其中Px表示以位置(i,j)像素为中心的矩形窗口中像素值等于x的概率，而max表示以该像素为中心的矩形窗口中的最大像素值。之后需要计算基于图像块的平均局部标准差MLSD和平均局部熵值MLE。具体计算方式为平均该图像块中所有像素点的LSD值和LE值，从而求得该图像块的平均局部标准差和平均局部熵值。最后计算图像块的平均局部标准差阈值和平均局部熵阈值，将低于任一阈值的图像块视为纯色空白块，保留超过阈值的图像块作为用于计算整幅图像的候选块。阈值的计算公式如下：
Tl＝βl×Maxl Te＝βe×Maxe
其分别对应图像块的平均局部标准差阈值Tl和平均局部熵阈值Te。其中Maxl和Maxe分别表示原图像所有图像块中的最大平均局部标准差和最大局部熵值。这里设置βl＝0.12,βe＝0.25，为两个可调参数值。经过以上计算，最终即可得到图2d所示的结果。
(5)对候选失真图像块进行权重分配
经过步骤(4)，获得了候选失真图像块。为了将这些图像块的质量分数进行加权融合获得最终整幅原失真图像的质量分数，需为其分配权重。具体分配方式主要基于图像块本身内容属性和对应原失真图像的内容属性。将图像块本身内容属性：局部标准差的方差值VLSD和平均局部熵值ALE，作为图像块的局部权重。将原失真图像的内容属性：显著性映射，作为图像块的全局权重，对这两部分的权重进行求和，即为该图像块所分配的权重大小。如图3a和图3b分别表示VLSD映射图和ALE映射图，图3c和图3d分别表示基于像素点的显著性映射图和基于图像块的显著性映射图。使用VLSD和ALE作为图像块局部权重的决定因素主要是考虑到VLSD和ALE分别反映图像块的两个不同属性，纹理属性和图形图像属性，如图3a和图3b的矩形框标注所示。VLSD值和ALE值越大，表示该图像块富含纹理信息或图形图像信息，其对整幅图像质量评判的重要性越高，则需要分配较大的权重。具体局部权重计算公式如下，其中ρ1＝2.0，ρ2＝6.0为两个可调节指数参数。
使用显著性映射作为图像块全局权重的决定因素主要是考虑到图像中占比面积大的内容类型总会吸引人们产生更多的关注，需要为其分配更多的权重。而图形图像内容类型的显著性值往往大于文字内容类型的显著性值，因此可通过显著性映射图区分原失真屏幕内容图像的内容类型。具体来说，根据显著性映射图，求得每个像素点的显著性值，进而将32*32图像块中的最大显著性值作为该图像块的显著性值。之后设定显著性阈值Ts＝0.03，若图像块显著性值小于该阈值，则将其视为以文字为主题的屏幕内容图像块，简称文本块，若图像块显著性值大于该阈值，则将其视为以图形图像为主体的屏幕内容图像块，简称图片块。统计原图像中文本块和图片块各自的数量，则每个文本块的全局权重为对应原图像中所有文本块的数量，每个图片块的全局权重为对应原图像中所有图片块的数量。数量越多，表示该类型内容在原失真图像中占比越大，从而为属于该类型的图像块分配更大的权重。
(6)对原失真屏幕内容图像进行质量评估
经过步骤(3)，获得了已经训练好的多任务网络模型，利用该模型预测得到每个失真图像块的客观质量得分。在步骤(4)中剔除纯色空白块，保留候选失真图像块。在步骤(5)计算得到候选图像块的局部权重和全局权重后，将其求和获得候选图像块的权重，然后对其质量分数进行加权求和，即可得到原失真屏幕内容图像的质量评估结果。其计算公式如下：
其中，Qi为图像块i的质量分数，
和/>
为该图像块的局部和全局质量分数，M为原图像中去除纯色空白块后的所有候选块个数，则Q为最终求得的整幅测试图像的质量分数。
本发明并不限于上文描述的实施方式。以上对具体实施方式的描述旨在描述和说明本发明的技术方案，上述的具体实施方式仅仅是示意性的，并不是限制性的。在不脱离本发明宗旨和权利要求所保护的范围情况下，本领域的普通技术人员在本发明的启示下还可做出很多形式的具体变换，这些均属于本发明的保护范围之内。
Claims (5)
1.基于多任务深度学习的无参考屏幕内容图像质量评价方法，其特征在于，包括以下步骤：
(1)构建训练样本；
(2)预处理屏幕内容图像；将图像分割为大小相同的图像块，并通过局部规范化方法进行处理；
局部规范化公式如下：
其中，ω＝{ωk,l|k＝-K,…,K,l＝-L,…,L}是高斯加权函数；I(i,j,d)表示像素所在位置(i,j,d)的像素值，d表示图像块的通道号，K和L表示标准化窗口大小，C是大于0的常数，设置K＝L＝3；
(3)构建多任务网络模型架构；以质量分数预测任务作为主要任务，方向梯度直方图特征预测任务作为辅助任务，构建由多层卷积神经网络组成的多任务网络模型架构；
(4)获得训练好的多任务网络模型；将预处理得到的屏幕内容图像块输入到多任务网络模型，利用原图像的方向梯度直方图特征和DMOS分数对多任务网络模型进行反向传播训练，获得多任务网络模型的网络层权重和偏置的最优解；
(5)获得测试屏幕内容图像块的客观质量评价分数；选取测试样本，经过与训练样本相同的预处理后输入到多任务网络模型中，预测得到各个图像块的质量分数；
(6)获得整幅测试原图像的客观质量评价分数；去除纯色空白图像块，使用基于屏幕图像内容的自适应权重估计的质量融合策略将各个屏幕内容图像块的质量分数按权重分配进行整合，最终得到整幅图像的质量评估结果。
2.根据权利要求1所述基于多任务深度学习的无参考屏幕内容图像质量评价方法，其特征在于，在对屏幕内容图像进行预处理时，采用非重叠式分割方法将每个图像分割为32*32图像块；在构建多任务网络模型架构时，多任务网络模型架构由9层卷积、3层池化、3层全连接组成，此外对应于两个预测任务，该多任务网络模型的输出由两部分组成，分别为方向梯度直方图特征输出和质量分数输出；多任务网络模型的输入为经过预处理的32*32的图像块，随后通过多任务网络模型训练，随机初始化网络模型权值，采用梯度下降算法以及反向传播算法，全局的调整定位该多任务网络模型参数。
3.根据权利要求1所述基于多任务深度学习的无参考屏幕内容图像质量评价方法，其特征在于，步骤(5)中在获取测试图像块的客观质量评价分数时，需要固定多任务网络模型参数，在方向梯度直方图预测任务的辅助下，利用质量分数预测任务对输入的屏幕内容图像块进行质量预测评估，从而得到每一块测试图像的质量分数；具体的，对应于两个训练预测任务，多任务网络模型有两部分输出，分别为36维的方向梯度直方图特征输出和1维的图像质量分数输出；对于方向梯度直方图训练预测任务能引导多任务网络模型的特征提取层提取更多偏纹理特征，以精确反映屏幕内容图像的失真情况；质量评估任务与方向梯度直方图训练预测任务共享多任务网络模型的特征提取层，并在最后将两个任务的特征输出级联，最后以一维的质量分数输出作为结束；其中，在特征提取层中包含有最大池化操作，以保留更多的纹理信息去贴合屏幕内容图像的自身特性。
4.根据权利要求1所述基于多任务深度学习的无参考屏幕内容图像质量评价方法，其特征在于，步骤(6)中去除纯色空白图像块时包括以下步骤：
(601)将未经预处理的3通道彩色图像块灰度化处理，变为单通道灰度图像块；
(602)计算各图像块中基于像素点的局部标准差LSD和局部熵值LE，其计算公式如下：
LSD计算公式中，ω＝{ωk,l|k＝-K,…,K,l＝-L,…,L}是高斯加权函数；式中的I(i,j)表示像素所在位置(i,j)的像素值；K和L表示标准化窗口大小，这里设置K＝L＝3；LE计算公式中，其中Px表示以位置(i,j)像素为中心的矩形窗口中像素值等于x的概率，而max表示以该像素为中心的矩形窗口中的最大像素值；
(603)计算基于图像块的平均局部标准差MLSD和平均局部熵值MLE；具体计算方式为平均灰度图像块中所有像素点的LSD值和LE值，从而求得该灰度图像块的平均局部标准差和平均局部熵值；
(604)计算图像块的平均局部标准差阈值和平均局部熵阈值，将低于任一阈值的图像块视为纯色空白块，保留超过阈值的图像块作为用于计算整幅图像的候选块；阈值的计算公式如下：
Tl＝βl×Maxl Te＝βe×Maxe
分别对应图像块的平均局部标准差阈值Tl和平均局部熵阈值Te；其中Maxl和Maxe分别表示原图像所有图像块中的最大平均局部标准差和最大局部熵值；βl、βe为两个可调参数值；
去除纯色空白图像块后，需使用自适应权重估计的质量融合策略将各个屏幕内容图像块的质量分数按权重分配进行整合，具体包括以下步骤：
(605)自适应权重估计计算各图像块的局部权重和全局权重；局部权值由两个因素决定，分别为图像块中各像素点的LSD值的方差VLSD和图像块平均局部熵值MLE；最终计算公式如下：
其中ρ1、ρ2为两个可调节指数参数；全局权重由原图像的显著性映射图决定，根据显著性映射图，求得每个像素点的显著性值，进而将32*32图像块中的最大显著性值作为该屏幕内容图像块的显著性值；之后设定显著性阈值Ts＝0.03，若图像块显著性值小于显著性阈值Ts，则将该屏幕内容图像块视为以文字为主题的图像块，简称文本块，若图像块显著性值大于显著性阈值Ts，则将该屏幕内容图像块视为以图形图像为主体的屏幕内容图像块，简称图片块；统计原图像中文本块和图片块各自的数量，则每个文本块的全局权重为对应原图像中所有文本块的数量，每个图片块的全局权重为对应原图像中所有图片块的数量；
(606)按局部和全局权重分配结果对原图像中各图像块的质量分数进行整合；计算公式如下：
其中，Qi为图像块i经多任务网络模型预测所得到的客观质量评价分数，
和/>
为该图像块的局部和全局质量分数，M为原图像中去除纯色空白块后的所有候选块个数，则Q为最终所求得的整幅测试图像的质量分数。
5.根据权利要求1所述基于多任务深度学习的无参考屏幕内容图像质量评价方法，其特征在于，选用SCID和SIQAD数据库中的80％图像作为训练样本；选用SCID和SIQAD数据库中剩余的20％图像作为测试样本。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011378774.XA CN112348809B (zh) | 2020-11-30 | 2020-11-30 | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011378774.XA CN112348809B (zh) | 2020-11-30 | 2020-11-30 | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112348809A CN112348809A (zh) | 2021-02-09 |
| CN112348809B true CN112348809B (zh) | 2023-05-23 |
Family
ID=74366215
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011378774.XA Active CN112348809B (zh) | 2020-11-30 | 2020-11-30 | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112348809B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112766419A (zh) * | 2021-03-09 | 2021-05-07 | 东华理工大学 | 一种基于多任务学习的图像质量评估方法及装置 |
| CN114926461A (zh) * | 2022-07-19 | 2022-08-19 | 湖南工商大学 | 一种全盲屏幕内容图像质量评价方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105528791A (zh) * | 2015-12-17 | 2016-04-27 | 广东工业大学 | 一种面向触摸屏手绘图像的质量评价装置及其评价方法 |
| CN107507166A (zh) * | 2017-07-21 | 2017-12-22 | 华侨大学 | 一种基于支持向量回归的无参考屏幕图像质量评估方法 |
| CN109886924A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 基于cnn的屏幕失真图像无参考质量评价方法 |
| CN110400307A (zh) * | 2019-07-29 | 2019-11-01 | 青岛大学 | 一种基于区域差异的屏幕图像质量评估方法 |
| CN110473181A (zh) * | 2019-07-31 | 2019-11-19 | 天津大学 | 基于边缘特征信息的屏幕内容图像的无参质量评价方法 |
| CN111724370A (zh) * | 2020-06-19 | 2020-09-29 | 福州大学 | 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8712157B2 (en) * | 2011-04-19 | 2014-04-29 | Xerox Corporation | Image quality assessment |
-
2020
- 2020-11-30 CN CN202011378774.XA patent/CN112348809B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105528791A (zh) * | 2015-12-17 | 2016-04-27 | 广东工业大学 | 一种面向触摸屏手绘图像的质量评价装置及其评价方法 |
| CN107507166A (zh) * | 2017-07-21 | 2017-12-22 | 华侨大学 | 一种基于支持向量回归的无参考屏幕图像质量评估方法 |
| CN109886924A (zh) * | 2019-01-19 | 2019-06-14 | 天津大学 | 基于cnn的屏幕失真图像无参考质量评价方法 |
| CN110400307A (zh) * | 2019-07-29 | 2019-11-01 | 青岛大学 | 一种基于区域差异的屏幕图像质量评估方法 |
| CN110473181A (zh) * | 2019-07-31 | 2019-11-19 | 天津大学 | 基于边缘特征信息的屏幕内容图像的无参质量评价方法 |
| CN111724370A (zh) * | 2020-06-19 | 2020-09-29 | 福州大学 | 一种基于不确定性和概率的多任务无参考图像质量评估方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| No-reference image quality assessment via feature fusion and multi-task learning;Golestaneh S A et al.;《arXiv》;20200606;第1-10页 * |
| 无参考屏幕内容图像质量评价;朱映映 等;《软件学报》;20180430;第29卷(第4期);第973-986页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112348809A (zh) | 2021-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229526B (zh) | 网络训练、图像处理方法、装置、存储介质和电子设备 | |
| CN111444966B (zh) | 媒体信息分类方法及装置 | |
| WO2018121690A1 (zh) | 对象属性检测、神经网络训练、区域检测方法和装置 | |
| CN109727246A (zh) | 一种基于孪生网络的对比学习图像质量评估方法 | |
| CN112348809B (zh) | 基于多任务深度学习的无参考屏幕内容图像质量评价方法 | |
| CN112818737B (zh) | 视频识别方法、装置、存储介质及终端 | |
| CN110807757A (zh) | 基于人工智能的图像质量评估方法、装置及计算机设备 | |
| CN110020658B (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
| Chen et al. | Subjective and objective quality evaluation of sonar images for underwater acoustic transmission | |
| CN116012291A (zh) | 工业零件图像缺陷检测方法及系统、电子设备和存储介质 | |
| CN112819008B (zh) | 实例检测网络的优化方法、装置、介质及电子设备 | |
| CN117078670A (zh) | 一种云相框的生产控制系统 | |
| CN108665455B (zh) | 图像显著性预测结果的评价方法和装置 | |
| CN116977260A (zh) | 目标物的缺陷检测方法、装置、电子设备及存储介质 | |
| CN104079934B (zh) | 一种实时视频通信中的感兴趣区域提取方法 | |
| CN111402223B (zh) | 一种利用变电站视频图像的变电站缺陷问题检测方法 | |
| CN115116117A (zh) | 一种基于多模态融合网络的学习投入度数据的获取方法 | |
| CN115880516A (zh) | 图像分类方法、图像分类模型训练方法及相关设备 | |
| Tang et al. | Deep saliency quality assessment network | |
| CN116168398B (zh) | 基于图像识别的试卷审批方法、装置和设备 | |
| CN111626409B (zh) | 一种图像质量检测的数据生成方法 | |
| CN113117341B (zh) | 图片处理方法及装置、计算机可读存储介质、电子设备 | |
| CN117474915B (zh) | 一种异常检测方法、电子设备及存储介质 | |
| CN112749614B (zh) | 一种多媒体内容的识别方法、装置、电子设备和存储介质 | |
| CN111950565B (zh) | 基于特征融合和朴素贝叶斯的抽象画图像方向识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |