CN111047618A - 基于多尺度的无参考屏幕内容图像质量评估方法 - Google Patents

基于多尺度的无参考屏幕内容图像质量评估方法 Download PDF

Info

Publication number
CN111047618A
CN111047618A CN201911352695.9A CN201911352695A CN111047618A CN 111047618 A CN111047618 A CN 111047618A CN 201911352695 A CN201911352695 A CN 201911352695A CN 111047618 A CN111047618 A CN 111047618A
Authority
CN
China
Prior art keywords
image
map
pixel
distorted image
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911352695.9A
Other languages
English (en)
Other versions
CN111047618B (zh
Inventor
牛玉贞
林冠妙
魏乐松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911352695.9A priority Critical patent/CN111047618B/zh
Publication of CN111047618A publication Critical patent/CN111047618A/zh
Application granted granted Critical
Publication of CN111047618B publication Critical patent/CN111047618B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于多尺度的无参考屏幕内容图像质量评估方法，包括以下步骤：步骤S1：将失真图像从RGB颜色空间转换到LMN颜色空间，并利用bicubic算法对L分量进行放大，利用Gabor滤波器的虚部提取失真图像的边缘特征；步骤S2：利用bicubic算法对失真图像的灰度图进行放大，并利用Scharr滤波器和局部二值模式提取失真图像的结构特征；步骤S3：利用局部归一化算法提取失真图像的亮度特征；步骤S4：将得到的三个特征作为训练数据，利用随机森林回归训练图像质量评估模型；步骤S5：根据步骤S1‑S3，获取待测图像的边缘特征、结构特征和亮度特征，并利用训练好的图像质量评估模型预测待测图像的质量分数。本发明能显著提高无参考屏幕内容图像质量评估性能。

Description

基于多尺度的无参考屏幕内容图像质量评估方法
技术领域
本发明图像和视频处理以及计算机视觉领域，具体涉及一种基于多尺度的无参考屏幕内容图像质量评估方法。
背景技术
随着移动设备和多媒体应用的快速发展，屏幕内容图像越来越多地出现在多客户通信系统中，例如在线新闻，电子杂志，电子商务，云游戏和云计算等。在对图像的处理过程中，比如传输、压缩和重定向等，由于技术原因，这会引入失真，降低图像质量，从而影响用户体验。图像质量评估可以用来检验图像处理相关技术的性能，也能对其的发展进行指导，因此一个性能好的屏幕内容图像质量评估方法显得十分重要。
近年来，学者们根据屏幕内容图像和人类视觉系统的特点，提出了许多有效的质量评估算法。Fang等人通过结构特征和不确定性加权，提出了一种全参考质量评估模型，该方法先将输入图像粗略地划分为图形区域和文本区域，然后比较并组合上述两种类型的区域在失真和未失真图像之间的感知差异，以产生一个失真图像质量的客观评分。Wang等人提出一个简单的方法，即通过设置局部滤波器的自适应窗口大小来修改经典的SSIM算法，具体来说，小尺寸内核用于文本区域，而大尺寸内核用于图形区域。上述两个工作中，都需要分割才能区分文本和图片区域，这存在两个明显的弊端，一方面，这明显地增加了计算复杂性，另一方面，由于错误分割，这种错误分割会将图形区域误认为文本区域，这可能会严重降低算法评估图像质量的准确性。Shao等人通过利用稀疏表示框架提出了一种无参考图像质量评估方法，该方法需要利用四种全参考方法来生成图像的标签，但这四种方法在预测屏幕内容图像质量上的效果比较差，导致整个算法性能不佳。
目前提出的方法大部分是全参考方法，然而全参考方法需要全部原始图像信息，但这些信息在实际应用中经常是得不到的，目前提出的无参考方法还比较少，而且这些无参考方法效果比较差，不能与主观感知产生较高的一致性。因此，提出一种预测结果比较准确的无参考屏幕内容图像质量评估方法是非常必要的。
发明内容
有鉴于此，本发明的目的在于提供一种基于多尺度的无参考屏幕内容图像质量评估方法，能够提高无参考屏幕内容图像质量评估性能。
为实现上述目的，本发明采用如下技术方案：
一种基于多尺度的无参考屏幕内容图像质量评估方法，包括以下步骤：
步骤S1：将失真图像从RGB颜色空间转换到LMN颜色空间，并利用bicubic算法对L分量进行放大，利用Gabor滤波器的虚部在放大后的L分量上提取失真图像的边缘特征；
步骤S2：利用bicubic算法对失真图像的灰度图进行放大，并利用Scharr滤波器和局部二值模式在放大后的灰度图上提取失真图像的结构特征；
步骤S3：利用局部归一化算法在放大后的灰度图上提取失真图像的亮度特征；
步骤S4：将得到的输入图像的边缘特征、结构特征和亮度特征作为训练数据，利用随机森林回归训练图像质量评估模型；
步骤S5：根据步骤S1-S3，获取待测图像的边缘特征、结构特征和亮度特征，并利用训练好的图像质量评估模型预测待测图像的质量分数。
进一步的，所述步骤S1具体为：
步骤S11：将失真图像转换为double数据类型，然后将所述失真图像从RGB颜色空间转换到LMN颜色空间，两种颜色空间进行转换的公式如下：
Figure BDA0002335024330000031
其中，下标i表示所述失真图像中像素的位置索引，Li、Mi、Ni分别是像素i的L、M、N三个颜色通道的值，Ri、Gi、Bi分别是像素i的R、G、B三个颜色通道的值；
接着利用bicubic算法对L分量进行放大两倍处理，将放大后的L分量记为L′；
步骤S12：计算得到水平方向的Gabor滤波器的虚部和垂直方向的Gabor滤波器的虚部，计算公式如下：
Figure BDA0002335024330000041
Figure BDA0002335024330000042
Figure BDA0002335024330000043
Figure BDA0002335024330000044
Figure BDA0002335024330000045
其中，θ为方向，a、b、
Figure BDA0002335024330000046
为参数，分别为0.4、0.4和0.975，m和n分别表示为所述失真图像的长和宽，(x,y)表示像素在所述失真图像中的坐标；θ为0时，计算得到的g(x,y)记为gh(x,y)，失真图像所有像素的gh(x,y)组成gh，是水平方向的Gabor滤波器虚部；θ为
Figure BDA0002335024330000047
时，计算得到的g(x,y)记为gv(x,y),失真图像所有像素的gv(x,y)组成gv，是垂直方向的Gabor滤波器虚部；
步骤S13：利用步骤S12得到的两个Gabor滤波器的虚部分别与步骤S11中得到的放大后的L分量L′进行卷积运算，得到不同方向的所述失真图像的边缘图，然后将得到的两个边缘图相加得到最终的所述失真图像的边缘图，计算公式如下：
Figure BDA0002335024330000048
Figure BDA0002335024330000049
e＝eh+ev
其中，
Figure BDA0002335024330000051
表示卷积运算，gh和gv分别表示水平方向和垂直方向的Gabor滤波器虚部，eh和ev分别表示水平方向和垂直方向的边缘图，e表示最终的所述失真图像的边缘图；
步骤S14：利用频率分布直方图对步骤S13中得到的最终的所述失真图像的边缘图进行统计，直方图分组个数设置为10，用一个10维向量{f1,f2,...,f10}来表示边缘特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：
Figure BDA0002335024330000052
Figure BDA0002335024330000053
其中，M表示最终的所述失真图像的边缘图中的像素个数，ei表示最终的所述失真图像的边缘图中第i个像素的值，Q(n)表示直方图中第n个分组的取值范围，取值范围是在最终的所述失真图像的边缘图中像素的最大值和最小值之间等距离分割成10段而得到的；
步骤S15:将得到的所述失真图像的边缘特征集记为Fe＝{f1,f2,...,f10}。
进一步的，所述步骤S2具体为：
步骤S21:将失真图像转换成灰度图，然后利用bicubic算法对所述的灰度图进行放大两倍处理，将放大后的灰度图记为p；
步骤S22：利用两个Scharr滤波器分别与步骤S21中得到的放大后的灰度图p进行卷积运算，得到放大后的灰度图的不同方向的梯度信息组成的梯度图，然后将得到的两个梯度图的平方和开方，得到放大后灰度图的最终梯度图，计算公式如下：
Figure BDA0002335024330000061
Figure BDA0002335024330000062
Figure BDA0002335024330000063
其中，p表示放大后的灰度图，sh和sv分别表示水平和垂直方向的Scharr滤波器，th和tv分别表示通过卷积运算获得的水平和垂直方向的梯度图，t表示放大后的灰度图的最终梯度图；
步骤S23：将旋转不变等价LBP算子作用于步骤S22中得到的梯度图t上，得到梯度图t的LBP图，旋转不变等价LBP算子的表达式如下：
Figure BDA0002335024330000064
Figure BDA0002335024330000065
Figure BDA0002335024330000066
Figure BDA0002335024330000067
其中，R表示圆形区域的半径，I表示半径为R的圆形区域边上采样点的个数，tc和ti分别表示中心像素的梯度值以及其半径为R的圆形区域边上采样点的梯度值，θ表示LBP模式的二进制值中0-1跳变的次数，LBPI,R表示旋转不变LBP算子，LBP′I,R表示旋转不变等价LBP算子；
步骤S24：累加放大后的灰度图的最终梯度图中具有相同LBP模式的像素的梯度值，并将其作为所述失真图像的结构特征，计算公式如下：
Figure BDA0002335024330000071
Figure BDA0002335024330000072
其中，N表示最终梯度图中的像素个数；k∈[0,K]表示LBP模式，K＝I+1；tj表示最终梯度图中第j个像素的梯度值，作为该像素对应LBP模式的权值。
进一步的，所述步骤S3具体为：
步骤S31：利用局部归一化算法在步骤S21中取得的放大两倍后的灰度图p上计算图像的亮度信息，计算公式如下所示：
Figure BDA0002335024330000073
其中，(i,j)表示像素在图像中的位置，p(i,j)表示图中位置(i,j)处像素的像素值，S′(i,j)表示图p中位置(i,j)处像素的像素值经过局部归一化后的值，图p中所有像素的S′(i,j)组成的S′是图p的亮度图，i∈{1,2,..,W}和j∈{1,2,..,Y}表示像素点的空间位置，W和Y分别表示图p的长度和宽度；C是一个常数，防止分母为0；μp(i,j)和σp(i,j)分别表示图p中每个像素点的局部加权平均值和局部加权标准差，它们的计算公式分别如下所示：
Figure BDA0002335024330000074
Figure BDA0002335024330000081
其中，ω(u,v)表示在图p中坐标(i+u,j+v)处像素值的权重，所有的ω(u,v)构成是一个2维权重矩阵ω＝{ω(u,v)|u＝-U,...,U；v＝-V,...,V}，U和V分别表示局部归一化过程中窗口长度和宽度；
步骤S32：沿着4个方向：水平、垂直、主对角线和副对角线，对步骤S31中得到的亮度图S′中的相邻像素点的亮度值进行相乘，相邻像素点的亮度值相乘运算公式如下所示：
MH(i,j)＝S′(i,j)S′(i,j+1)
MD1(i,j)＝S′(i,j)S′(i+1,j+1)
MV(i,j)＝S′(i,j)S′(i+1,j)
MD2(i,j)＝S′(i,j)S′(i+1,j-1)
其中，(i,j)表示像素点在图像中的位置，MH(i,j)表示图S′中位置(i,j)处像素点的亮度值与水平方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MH(i,j)值组成亮度图MH；MD1(i,j)表示图S′中位置(i,j)处像素点的亮度值与主对角线方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MD1(i,j)值组成亮度图MD1；MV(i,j)表示图S′中位置(i,j)处像素点的亮度值与垂直方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MV(i,j)值组成亮度图MV；MD2(i,j)表示图S′中位置(i,j)处像素点的亮度值与副对角线相邻像素点亮度值相乘后的结果，图S′中所有像素点的MV(i,j)值组成亮度图MD2；
步骤S33：利用频率分布直方图对步骤S31和步骤S32中得到的亮度图S′、MH、MD1、MV和MD2分别进行统计，直方图分组个数设置为10，分别用一个10维向量{z1,z2,...,z10}来表示每幅失真图像的亮度特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：
Figure BDA0002335024330000091
Figure BDA0002335024330000092
其中，M表示步骤S32和步骤S33中得到的亮度图S′、MH、MD1、MV和MD2的像素个数，B∈{S′,MH,MD1,MV,MD2}，Bi表示亮度图中第i个像素，R(n)表示直方图中第n个分组的取值范围；
步骤S34:将亮度图S′的亮度特征集记为zs，将亮度图MH的亮度特征集记为zh，将亮度图MD1的亮度特征集记为zd1，将亮度图MV的亮度特征集记为zv，将亮度图MD2的亮度特征集记为zd2，所述失真图像的亮度特征集Fl＝{zs,zh,zd1,zv,zd2}。
进一步的，所述步骤S4具体为：
步骤S41：将步骤S1、步骤S2和步骤S3中得到的边缘特征集Fe、结构特征集Fs和亮度特征集Fl组合起来，得到失真图的特征集F1＝{Fe,Fs,Fl}；
步骤S42：将输入的失真图像缩小为0.8倍，利用步骤S1-S3中的方法得到失真图的特征集F2＝{Fe′,Fs′,Fl′}；
步骤S43：将输入的失真图像缩小为0.64倍，利用步骤S1-S3中的方法得到失真图的特征集F3＝{Fe″,Fs″,Fl″}；
步骤S44：将输入的失真图像缩小为0.512倍，利用步骤S1-S3中的方法得到失真图的特征集F4＝{Fe″′,Fs″′,Fl″′}；
步骤S45：综合步骤S41-S44，得到输入的失真图像的最终特征集F＝{F1,F2,F3,F4}，然后将这个最终的特征集F放入随机森林回归中训练，得到图像质量预测模型。
本发明与现有技术相比具有以下有益效果：
1、本发明综合考虑屏幕内容图像和人类视觉系统的显著特征，提取对失真图像的失真信息有更强表示能力的特征，显著提高了无参考屏幕内容图像质量评估方法的性能。
2、本发明适用于多种失真类型的、不同失真程度的屏幕内容图像质量评估，预测得到的失真屏幕内容图像的质量分数与主观评分更加接近。
附图说明
图1是本发明方法的实现流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于多尺度的无参考屏幕内容图像质量评估方法，包括以下步骤：
步骤S1：将输入的图像从RGB颜色空间转换到LMN颜色空间，利用bicubic算法对L分量进行放大，利用Gabor滤波器的虚部在放大后的L分量上提取图像的边缘特征。
步骤S11：将所述失真图像转换为double数据类型，然后将所述失真图像从RGB颜色空间转换到LMN颜色空间，其中两种颜色空间进行转换的公式如下：
Figure BDA0002335024330000111
其中，下标i表示所述失真图像中像素的位置索引，Li、Mi、Ni分别是像素i的L、M、N三个颜色通道的值，Ri、Gi、Bi分别是像素i的R、G、B三个颜色通道的值；
接着利用bicubic算法对L分量进行放大两倍处理，将放大后的L分量记为L′；
步骤S12：计算得到水平方向的Gabor滤波器的虚部和垂直方向的Gabor滤波器的虚部，计算公式如下：
Figure BDA0002335024330000112
Figure BDA0002335024330000113
Figure BDA0002335024330000114
Figure BDA0002335024330000115
Figure BDA0002335024330000116
其中，θ为方向，a、b、
Figure BDA0002335024330000117
为参数，分别为0.4、0.4和0.975，m和n分别表示为所述失真图像的长和宽，(x,y)表示像素在所述失真图像中的坐标；θ为0时，计算得到的g(x,y)记为gh(x,y)，失真图像所有像素的gh(x,y)组成gh，是水平方向的Gabor滤波器虚部；θ为
Figure BDA0002335024330000118
时，计算得到的g(x,y)记为gv(x,y),失真图像所有像素的gv(x,y)组成gv，是垂直方向的Gabor滤波器虚部；
步骤S13：利用步骤S12得到的两个Gabor滤波器的虚部分别与步骤S11中得到的放大后的L分量L′进行卷积运算，得到不同方向的所述失真图像的边缘图，然后将得到的两个边缘图相加得到最终的所述失真图像的边缘图，计算公式如下：
Figure BDA0002335024330000121
Figure BDA0002335024330000122
e＝eh+ev
其中，
Figure BDA0002335024330000123
表示卷积运算,gh和gv分别表示水平方向和垂直方向的Gabor滤波器的虚部，eh和ev分别表示水平方向和垂直方向的边缘图，e表示最终的所述失真图像的边缘图；
步骤S14：利用频率分布直方图对步骤S13中得到的最终的所述失真图像的边缘图进行统计，直方图分组个数设置为10，用一个10维向量{f1,f2,...,f10}来表示边缘特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：
Figure BDA0002335024330000124
Figure BDA0002335024330000125
其中，M表示最终的所述失真图像的边缘图中的像素个数，ei表示最终的所述失真图像的边缘图中第i个像素的值，Q(n)表示直方图中第n个分组的取值范围，取值范围是在最终的所述失真图像的边缘图中像素的最大值和最小值之间等距离分割成10段而得到的。
将得到的所述失真图的边缘特征集记为Fe＝{f1,f2,...,f10}。
步骤S2：利用bicubic算法对输入图像的灰度图进行放大，然后利用Scharr滤波器和局部二值模式(LBP)在放大后的灰度图上提取图像的结构特征。
步骤S21：将失真图转换成灰度图，然后利用bicubic算法对所述的灰度图进行放大两倍处理，将放大后的灰度图记为p；
步骤S22：利用两个Scharr滤波器分别与步骤S21中得到的放大后的灰度图p进行卷积运算，得到放大后的灰度图的不同方向的梯度信息组成的梯度图，然后将得到的两个梯度图的平方和开方，得到放大后灰度图的最终梯度图，计算公式如下：
Figure BDA0002335024330000131
Figure BDA0002335024330000132
Figure BDA0002335024330000133
其中，p表示放大后的灰度图，sh和sv分别表示水平和垂直方向的Scharr滤波器，th和tv分别表示通过卷积运算获得的水平和垂直方向的梯度图，t表示放大后的灰度图的最终梯度图；
步骤S23：将旋转不变等价LBP算子作用于步骤S22中得到的梯度图t上，得到梯度图t的LBP图，旋转不变等价LBP算子的表达式如下：
Figure BDA0002335024330000134
Figure BDA0002335024330000135
Figure BDA0002335024330000141
Figure BDA0002335024330000142
其中，R表示圆形区域的半径，I表示半径为R的圆形区域边上采样点的个数，tc和ti分别表示中心像素的梯度值以及其半径为R的圆形区域边上采样点的梯度值，θ表示LBP模式的二进制值中0-1跳变的次数，LBPI,R表示旋转不变LBP算子，LBP′I,R表示旋转不变等价LBP算子；
步骤S24：累加放大后的灰度图的最终梯度图中具有相同LBP模式的像素的梯度值，并将其作为所述失真图像的结构特征，计算公式如下：
Figure BDA0002335024330000143
Figure BDA0002335024330000144
其中，N表示最终梯度图中的像素个数；k∈[0,K]表示LBP模式，K＝I+1；tj表示最终梯度图中第j个像素的梯度值，作为该像素对应LBP模式的权值。
本实施例中，优选的，取I为8，R为1，故K为9，得到10种LBP模式，将所述失真图像的结构特征集表示为Fs＝{w1,w2,...,w10}。
步骤S3：利用局部归一化算法在步骤S2中得到的放大的灰度图上提取图像的亮度特征。
步骤S31：利用局部归一化算法在步骤S21中取得的放大两倍后的灰度图p上计算图像的亮度信息，计算公式如下所示：
Figure BDA0002335024330000151
其中，(i,j)表示像素在图像中的位置，p(i,j)表示图中位置(i,j)处像素的像素值，S′(i,j)表示图p中位置(i,j)处像素的像素值经过局部归一化后的值，图p中所有像素的S′(i,j)组成的S′是图p的亮度图，图像中(i,j)位置的值，i∈{1,2,..,W}和j∈{1,2,..,Y}表示像素点的空间位置，W和Y分别表示图像的长度和宽度。C是一个常数，防止分母为0。μp(i,j)和σp(i,j)分别表示图p中每个像素点的局部加权平均值和局部加权标准差，它们的计算公式分别如下所示：
Figure BDA0002335024330000152
Figure BDA0002335024330000153
其中，ω(u,v)表示在图p中坐标(i+u,j+v)处像素值的权重，所有的ω(u,v)构成是一个2维权重矩阵ω＝{ω(u,v)|u＝-U,...,U；v＝-V,...,V}，U和V分别表示局部归一化过程中窗口长度和宽度。
本实施例中，优选的，U和V设置为7；
步骤S32：沿着4个方向：水平、垂直、主对角线和副对角线，对步骤S31中得到的亮度图S′中的相邻像素点的亮度值进行相乘，相邻像素点的亮度值相乘运算公式如下所示：
MH(i,j)＝S′(i,j)S′(i,j+1)
MD1(i,j)＝S′(i,j)S′(i+1,j+1)
MV(i,j)＝S′(i,j)S′(i+1,j)
MD2(i,j)＝S′(i,j)S′(i+1,j-1)
其中，(i,j)表示像素点在图像中的位置，MH(i,j)表示图S′中位置(i,j)处像素点的亮度值与水平方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MH(i,j)值组成亮度图MH；MD1(i,j)表示图S′中位置(i,j)处像素点的亮度值与主对角线方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MD1(i,j)值组成亮度图MD1；MV(i,j)表示图S′中位置(i,j)处像素点的亮度值与垂直方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MV(i,j)值组成亮度图MV；MD2(i,j)表示图S′中位置(i,j)处像素点的亮度值与副对角线相邻像素点亮度值相乘后的结果，图S′中所有像素点的MV(i,j)值组成亮度图MD2；
步骤S33：利用频率分布直方图对步骤S31和步骤S32中得到的亮度图S′、MH、MD1、MV和MD2分别进行统计，直方图分组个数设置为10，用一个10维向量{z1,z2,...,z10}来表示亮度特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：
Figure BDA0002335024330000161
Figure BDA0002335024330000162
其中，M表示步骤S32和步骤S33中得到的亮度图S′、MH、MD1、MV和MD2的像素个数，B∈{S′,MH,MD1,MV,MD2}，Bi表示亮度图中第i个像素，R(n)表示直方图中第n个分组的取值范围。
将亮度图S′的亮度特征集记为zs，将亮度图MH的亮度特征集记为zh，将亮度图MD1的亮度特征集记为zd1，将亮度图MV的亮度特征集记为zv，将亮度图MD2的亮度特征集记为zd2，所述失真图的亮度特征集Fl＝{zs,zh,zd1,zv,zd2}。
步骤S4：根据步骤S1-S3，从4个尺度上提取失真图像的3种特征，然后利用随机森林回归训练图像质量评估模型，利用训练好的模型预测所有待测图像的质量分数。
步骤S41：将步骤S14、步骤S24和步骤S33中得到的特征集Fe、Fs和Fl组合起来，得到失真图的特征集F1＝{Fe,Fs,Fl}；
步骤S42：将输入的失真图像缩小为0.8倍，利用步骤S1-S3中的方法得到失真图的特征集F2＝{Fe′,Fs′,Fl′}；
步骤S43：将输入的失真图像缩小为0.64倍，利用步骤S1-S3中的方法得到失真图的特征集F3＝{Fe″,Fs″,Fl″}；
步骤S44：将输入的失真图像缩小为0.512倍，利用步骤S1-S3中的方法得到失真图的特征集F4＝{Fe″′,Fs″′,Fl″′}；
步骤S45：综合步骤S41-S44，得到输入的失真图像的最终特征集F＝{F1,F2,F3,F4}，然后将这个最终的特征集F放入随机森林回归中训练，得到图像质量预测模型。
步骤S5：根据步骤S1-S3，从4个尺度上提取待测图像的3种特征，利用训练好的模型预测待测图像的质量分数。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于多尺度的无参考屏幕内容图像质量评估方法，其特征在于，包括以下步骤：
步骤S1：将失真图像从RGB颜色空间转换到LMN颜色空间，并利用bicubic算法对L分量进行放大，利用Gabor滤波器的虚部在放大后的L分量上提取失真图像的边缘特征；
步骤S2：利用bicubic算法对失真图像的灰度图进行放大，并利用Scharr滤波器和局部二值模式在放大后的灰度图上提取失真图像的结构特征；
步骤S3：利用局部归一化算法在放大后的灰度图上提取失真图像的亮度特征；
步骤S4：将得到的输入图像的边缘特征、结构特征和亮度特征作为训练数据，利用随机森林回归训练图像质量评估模型；
步骤S5：根据步骤S1-S3，获取待测图像的边缘特征、结构特征和亮度特征，并利用训练好的图像质量评估模型预测待测图像的质量分数。
2.根据权利要求1所述的基于多尺度的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S1具体为：
步骤S11：将失真图像转换为double数据类型，然后将所述失真图像从RGB颜色空间转换到LMN颜色空间，两种颜色空间进行转换的公式如下：
Figure FDA0002335024320000021
其中，下标i表示所述失真图像中像素的位置索引，Li、Mi、Ni分别是像素i的L、M、N三个颜色通道的值，Ri、Gi、Bi分别是像素i的R、G、B三个颜色通道的值；
接着利用bicubic算法对L分量进行放大两倍处理，将放大后的L分量记为L′；
步骤S12：计算得到水平方向的Gabor滤波器的虚部和垂直方向的Gabor滤波器的虚部，计算公式如下：
Figure FDA0002335024320000022
Figure FDA0002335024320000023
Figure FDA0002335024320000024
Figure FDA0002335024320000025
Figure FDA0002335024320000026
其中，θ为方向，a、b、
Figure FDA0002335024320000027
为参数，分别为0.4、0.4和0.975，m和n分别表示为所述失真图像的长和宽，(x,y)表示像素在所述失真图像中的坐标；θ为0时，计算得到的g(x,y)记为gh(x,y)，失真图像所有像素的gh(x,y)组成gh，是水平方向的Gabor滤波器虚部；θ为
Figure FDA0002335024320000028
时，计算得到的g(x,y)记为gv(x,y),失真图像所有像素的gv(x,y)组成gv，是垂直方向的Gabor滤波器虚部；
步骤S13：利用步骤S12得到的两个Gabor滤波器的虚部分别与步骤S11中得到的放大后的L分量L′进行卷积运算，得到不同方向的所述失真图像的边缘图，然后将得到的两个边缘图相加得到最终的所述失真图像的边缘图，计算公式如下：
Figure FDA0002335024320000031
Figure FDA0002335024320000032
e＝eh+ev
其中，
Figure FDA0002335024320000033
表示卷积运算，gh和gv分别表示水平方向和垂直方向的Gabor滤波器虚部，eh和ev分别表示水平方向和垂直方向的边缘图，e表示最终的所述失真图像的边缘图；
步骤S14：利用频率分布直方图对步骤S13中得到的最终的所述失真图像的边缘图进行统计，直方图分组个数设置为10，用一个10维向量{f1,f2,...,f10}来表示边缘特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：
Figure FDA0002335024320000034
Figure FDA0002335024320000035
其中，M表示最终的所述失真图像的边缘图中的像素个数，ei表示最终的所述失真图像的边缘图中第i个像素的值，Q(n)表示直方图中第n个分组的取值范围，取值范围是在最终的所述失真图像的边缘图中像素的最大值和最小值之间等距离分割成10段而得到的；
步骤S15:将得到的所述失真图像的边缘特征集记为Fe＝{f1,f2,...,f10}。
3.根据权利要求1所述的基于多尺度的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S2具体为：
步骤S21:将失真图像转换成灰度图，然后利用bicubic算法对所述的灰度图进行放大两倍处理，将放大后的灰度图记为p；
步骤S22：利用两个Scharr滤波器分别与步骤S21中得到的放大后的灰度图p进行卷积运算，得到放大后的灰度图的不同方向的梯度信息组成的梯度图，然后将得到的两个梯度图的平方和开方，得到放大后灰度图的最终梯度图，计算公式如下：
Figure FDA0002335024320000041
Figure FDA0002335024320000042
Figure FDA0002335024320000043
其中，p表示放大后的灰度图，sh和sv分别表示水平和垂直方向的Scharr滤波器，th和tv分别表示通过卷积运算获得的水平和垂直方向的梯度图，t表示放大后的灰度图的最终梯度图；
步骤S23：将旋转不变等价LBP算子作用于步骤S22中得到的梯度图t上，得到梯度图t的LBP图，旋转不变等价LBP算子的表达式如下：
Figure FDA0002335024320000044
Figure FDA0002335024320000045
Figure FDA0002335024320000046
Figure FDA0002335024320000051
其中，R表示圆形区域的半径，I表示半径为R的圆形区域边上采样点的个数，tc和ti分别表示中心像素的梯度值以及其半径为R的圆形区域边上采样点的梯度值，θ表示LBP模式的二进制值中0-1跳变的次数，LBPI,R表示旋转不变LBP算子，LBP′I,R表示旋转不变等价LBP算子；
步骤S24：累加放大后的灰度图的最终梯度图中具有相同LBP模式的像素的梯度值，并将其作为所述失真图像的结构特征，计算公式如下：
Figure FDA0002335024320000052
Figure FDA0002335024320000053
其中，N表示最终梯度图中的像素个数；k∈[0,K]表示LBP模式，K＝I+1；tj表示最终梯度图中第j个像素的梯度值，作为该像素对应LBP模式的权值。
4.根据权利要求1所述的基于多尺度的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S3具体为：
步骤S31：利用局部归一化算法在步骤S21中取得的放大两倍后的灰度图p上计算图像的亮度信息，计算公式如下所示：
Figure FDA0002335024320000054
其中，(i,j)表示像素在图像中的位置，p(i,j)表示图中位置(i,j)处像素的像素值，S′(i,j)表示图p中位置(i,j)处像素的像素值经过局部归一化后的值，图p中所有像素的S′(i,j)组成的S′是图p的亮度图，i∈{1,2,..,W}和j∈{1,2,..,Y}表示像素点的空间位置，W和Y分别表示图p的长度和宽度；C是一个常数，防止分母为0；μp(i,j)和σp(i,j)分别表示图p中每个像素点的局部加权平均值和局部加权标准差，它们的计算公式分别如下所示：
Figure FDA0002335024320000061
Figure FDA0002335024320000062
其中，ω(u,v)表示在图p中坐标(i+u,j+v)处像素值的权重，所有的ω(u,v)构成是一个2维权重矩阵ω＝{ω(u,v)|u＝-U,...,U；v＝-V,...,V}，U和V分别表示局部归一化过程中窗口长度和宽度；
步骤S32：沿着4个方向：水平、垂直、主对角线和副对角线，对步骤S31中得到的亮度图S′中的相邻像素点的亮度值进行相乘，相邻像素点的亮度值相乘运算公式如下所示：
MH(i,j)＝S′(i,j)S′(i,j+1)
MD1(i,j)＝S′(i,j)S′(i+1,j+1)
MV(i,j)＝S′(i,j)S′(i+1,j)
MD2(i,j)＝S′(i,j)S′(i+1,j-1)
其中，(i,j)表示像素点在图像中的位置，MH(i,j)表示图S′中位置(i,j)处像素点的亮度值与水平方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MH(i,j)值组成亮度图MH；MD1(i,j)表示图S′中位置(i,j)处像素点的亮度值与主对角线方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MD1(i,j)值组成亮度图MD1；MV(i,j)表示图S′中位置(i,j)处像素点的亮度值与垂直方向相邻像素点亮度值相乘后的结果，图S′中所有像素点的MV(i,j)值组成亮度图MV；MD2(i,j)表示图S′中位置(i,j)处像素点的亮度值与副对角线相邻像素点亮度值相乘后的结果，图S′中所有像素点的MV(i,j)值组成亮度图MD2；
步骤S33：利用频率分布直方图对步骤S31和步骤S32中得到的亮度图S′、MH、MD1、MV和MD2分别进行统计，直方图分组个数设置为10，分别用一个10维向量{z1,z2,...,z10}来表示每幅亮度图的亮度特征集，向量中第n(1≤n≤10)个元素的计算公式如下所示：
Figure FDA0002335024320000071
Figure FDA0002335024320000072
其中，M表示步骤S32和步骤S33中得到的亮度图S′、MH、MD1、MV和MD2的像素个数，B∈{S′,MH,MD1,MV,MD2}，Bi表示亮度图中第i个像素，R(n)表示直方图中第n个分组的取值范围；
步骤S34:将亮度图S′的亮度特征集记为zs，将亮度图MH的亮度特征集记为zh，将亮度图MD1的亮度特征集记为zd1，将亮度图MV的亮度特征集记为zv，将亮度图MD2的亮度特征集记为zd2，所述失真图像的亮度特征集Fl＝{zs,zh,zd1,zv,zd2}。
5.根据权利要求1所述的基于多尺度的无参考屏幕内容图像质量评估方法，其特征在于，所述步骤S4具体为：
步骤S41：将步骤S1、步骤S2和步骤S3中得到的边缘特征集Fe、结构特征集Fs和亮度特征集Fl组合起来，得到失真图的特征集F1＝{Fe,Fs,Fl}；
步骤S42：将输入的失真图像缩小为0.8倍，利用步骤S1-S3中的方法得到失真图的特征集F2＝{Fe′,Fs′,Fl′}；
步骤S43：将输入的失真图像缩小为0.64倍，利用步骤S1-S3中的方法得到失真图的特征集F3＝{Fe″,Fs″,Fl″}；
步骤S44：将输入的失真图像缩小为0.512倍，利用步骤S1-S3中的方法得到失真图的特征集F4＝{Fe″′,Fs″′,Fl″′}；
步骤S45：综合步骤S41-S44，得到输入的失真图像的最终特征集F＝{F1,F2,F3,F4}，然后将这个最终的特征集F放入随机森林回归中训练，得到图像质量预测模型。
步骤S5：根据步骤S1-S3，从4个尺度上提取待测图像的3种特征，利用训练好的模型预测待测图像的质量分数。
CN201911352695.9A 2019-12-25 2019-12-25 基于多尺度的无参考屏幕内容图像质量评估方法 Active CN111047618B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911352695.9A CN111047618B (zh) 2019-12-25 2019-12-25 基于多尺度的无参考屏幕内容图像质量评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911352695.9A CN111047618B (zh) 2019-12-25 2019-12-25 基于多尺度的无参考屏幕内容图像质量评估方法

Publications (2)

Publication Number Publication Date
CN111047618A true CN111047618A (zh) 2020-04-21
CN111047618B CN111047618B (zh) 2023-01-03

Family

ID=70239348

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911352695.9A Active CN111047618B (zh) 2019-12-25 2019-12-25 基于多尺度的无参考屏幕内容图像质量评估方法

Country Status (1)

Country Link
CN (1) CN111047618B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610862A (zh) * 2021-07-22 2021-11-05 东华理工大学 一种屏幕内容图像质量评估方法
CN113658130A (zh) * 2021-08-16 2021-11-16 福州大学 基于双重孪生网络的无参考屏幕内容图像质量评估方法
CN114067006A (zh) * 2022-01-17 2022-02-18 湖南工商大学 一种基于离散余弦变换的屏幕内容图像质量评价方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150145885A1 (en) * 2012-02-03 2015-05-28 Andrzej Krol Methods and systems for inverse problem reconstruction and application to ect reconstruction
CN107481236A (zh) * 2017-08-28 2017-12-15 方玉明 一种屏幕图像的质量评价方法
CN109685772A (zh) * 2018-12-10 2019-04-26 福州大学 一种基于配准失真表示的无参照立体图像质量评估方法
CN109978854A (zh) * 2019-03-25 2019-07-05 福州大学 一种基于边缘与结构特征的屏幕内容图像质量评估方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150145885A1 (en) * 2012-02-03 2015-05-28 Andrzej Krol Methods and systems for inverse problem reconstruction and application to ect reconstruction
CN107481236A (zh) * 2017-08-28 2017-12-15 方玉明 一种屏幕图像的质量评价方法
CN109685772A (zh) * 2018-12-10 2019-04-26 福州大学 一种基于配准失真表示的无参照立体图像质量评估方法
CN109978854A (zh) * 2019-03-25 2019-07-05 福州大学 一种基于边缘与结构特征的屏幕内容图像质量评估方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
PEDRO GARCIA FREITAS ET AL.: "Towards a Referenceless Visual Quality Assessment Model Using Binarized Statistical Image Features", 《2018 7TH BRAZILIAN CONFERENCE ON INTELLIGENT SYSTEMS (BRACIS)》 *
林冠妙 等: "基于多尺度特征的无参考屏幕内容图像质量评估", 《小型微型计算机系统》 *
魏乐松 等: "基于边缘和结构的无参考屏幕内容图像质量评估", 《北京航空航天大学学报》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610862A (zh) * 2021-07-22 2021-11-05 东华理工大学 一种屏幕内容图像质量评估方法
CN113610862B (zh) * 2021-07-22 2023-08-01 东华理工大学 一种屏幕内容图像质量评估方法
CN113658130A (zh) * 2021-08-16 2021-11-16 福州大学 基于双重孪生网络的无参考屏幕内容图像质量评估方法
CN113658130B (zh) * 2021-08-16 2023-07-28 福州大学 基于双重孪生网络的无参考屏幕内容图像质量评估方法
CN114067006A (zh) * 2022-01-17 2022-02-18 湖南工商大学 一种基于离散余弦变换的屏幕内容图像质量评价方法
CN114067006B (zh) * 2022-01-17 2022-04-08 湖南工商大学 一种基于离散余弦变换的屏幕内容图像质量评价方法

Also Published As

Publication number Publication date
CN111047618B (zh) 2023-01-03

Similar Documents

Publication Publication Date Title
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN108520504B (zh) 一种基于生成对抗网络端到端的模糊图像盲复原方法
CN108510485B (zh) 一种基于卷积神经网络的无参照图像质量评估方法
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
CN109325550B (zh) 基于图像熵的无参考图像质量评价方法
CN111047618B (zh) 基于多尺度的无参考屏幕内容图像质量评估方法
CN111401324A (zh) 图像质量评估方法、装置、存储介质及电子设备
Wang et al. Image quality assessment based on local linear information and distortion-specific compensation
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN111612741B (zh) 一种基于失真识别的精确无参考图像质量评价方法
Wang et al. Gradient-based no-reference image blur assessment using extreme learning machine
CN112184672A (zh) 一种无参考图像质量评价方法及系统
CN109685772B (zh) 一种基于配准失真表示的无参照立体图像质量评估方法
Zhang et al. Dual-channel multi-task CNN for no-reference screen content image quality assessment
CN110298829A (zh) 一种舌诊方法、装置、系统、计算机设备和存储介质
CN110910347B (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
Yang et al. Full-reference quality assessment for screen content images based on the concept of global-guidance and local-adjustment
CN110111347B (zh) 图像标志提取方法、装置及存储介质
Li et al. AEMS: an attention enhancement network of modules stacking for lowlight image enhancement
Yuan et al. Locally and multiply distorted image quality assessment via multi-stage CNNs
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
He et al. A night low‐illumination image enhancement model based on small probability area filtering and lossless mapping enhancement
CN104079934B (zh) 一种实时视频通信中的感兴趣区域提取方法
CN115100068A (zh) 一种红外图像校正方法
Uchigasaki et al. Deep image compression using scene text quality assessment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant