CN111768362A - 基于多特征融合的全参考高动态图像质量评价方法 - Google Patents

基于多特征融合的全参考高动态图像质量评价方法 Download PDF

Info

Publication number
CN111768362A
CN111768362A CN202010399881.4A CN202010399881A CN111768362A CN 111768362 A CN111768362 A CN 111768362A CN 202010399881 A CN202010399881 A CN 202010399881A CN 111768362 A CN111768362 A CN 111768362A
Authority
CN
China
Prior art keywords
image
channel
directions
formula
follows
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010399881.4A
Other languages
English (en)
Other versions
CN111768362B (zh
Inventor
沈礼权
卞辉
姜明星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202010399881.4A priority Critical patent/CN111768362B/zh
Publication of CN111768362A publication Critical patent/CN111768362A/zh
Application granted granted Critical
Publication of CN111768362B publication Critical patent/CN111768362B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明专利提供了一种基于多特征融合的全参考高动态图像质量评价方法。该方法主要分为特征提取阶段以及训练回归阶段。在特征提取阶段分三个方向提取图像的特征，使用颜色相似度方法提取方法在颜色方向分别提取了图像的两种颜色相似度特征；在视觉对比差异方向我们采用视觉差异预测方法来提取视觉对比差异特征；再针对多尺度综合特征方向我们使用log‑Gabor滤波器在不同频率尺度和方向上提取多尺度特征。在训练回归阶段运用机器学习的方法预测高动态图像的质量。本发明提出的算法能够准确有效地预测高动态图像的质量。

Description

基于多特征融合的全参考高动态图像质量评价方法
技术领域
本发明涉及高动态图像质量评价技术领域，是一种基于多个特征提取的高动态图像质量评价方法，具体地指，涉及一种基于多特征融合的全参考高动态图像质量评价方法。
背景技术
高动态范围(High Dynamic Range,HDR)图像能够准确地显示从昏暗背景到明亮阳光之间的亮度差异(10-3cd/m2到105cd/m2)，能带给观看者更真实丰富的视觉体验。然而，现有图像质量评价算法主要是针对传统的8位低动态范围(Low Dynamic Range,LDR)图像，由于动态范围的扩展，图像的色彩鲜艳度和亮度发生了显著的增长，导致传统的图像质量评价方法不再具有高有效性，为了顺应时代发展潮流，人们开始逐步提出了针对高动态范围图像的算法。现阶段已提出的针对高动态图像的全参考质量评价算法大多针对某单一特征。正因如此，现阶段亟需针对多特征融合的高动态图像质量评价算法，以判别高动态图像质量的优劣，也可以作为改进高动态视频质量的准则。
由于图像在网络传输中或者压缩打包的时候，不可避免的会引入噪声，为了衡量网络传输或压缩打包的质量，又因为高动态图像的逐渐普及，因此全参考高动态图像质量评价算法逐步变成关注的重点。全参考图像质量评价主要是提取原始图像和失真图像的特征，进而量化成客观质量分数，评价算法的主要目的就是使被预测的对象的客观质量尽量与人眼对图像的主观评价一致。目前全参考质量评价算法的发展主要分为两种：第一种是基于机器学习机制，通过学习训练来构建评价模型，再通过测试集评估其性能；第二种是直接提取特征将其映射，得到图像质量的评估值，不需要模型训练过程。本发明属于第一种类型，但是目前已提出的算法仍然存在如下缺陷：
1、目前算法仅考虑某些单一特征，没有从多特征出发，因此预测准确度较差；
2、目前算法无法有效的适用于不同格式的高动态范围图像。
发明内容
本发明的目的在于针对现有技术中存在的上述不足，提供一种基于多特征提取的高动态图像质量评价方法，包括颜色特征，视觉对比差异特征和多尺度综合特征，能够提高全参考高动态图像质量评价技术的性能及主观一致性，以及提高算法的效率，准确有效地预测高动态图像的质量。
为达到上述目的，本发明的构思是：本发明提供的基于多特征融合的全参考高动态图像质量评价方法主要分为特征提取阶段以及训练回归阶段。在特征提取阶段分三个方向提取图像的特征，使用颜色相似度方法提取方法在颜色方向分别提取了图像的两种颜色相似度特征；在视觉对比差异方向我们采用视觉差异预测方法HDR-VDP-2(HDR VisualDifference Predictor)来提取视觉对比差异特征；针对多尺度综合特征方向我们使用高动态视频评价方法HDR-VQM(HDR Video Quality Measure)方法，先使用视觉上均匀量化处理来拟合出人眼实际接受到的亮度值，log-Gabor滤波器在不同频率尺度和方向上提取多尺度特征。在训练回归阶段运用机器学习的方法预测高动态图像的质量。本发明提出的算法能够准确有效地预测高动态图像的质量。
本发明是通过以下技术方案实现的。
一种基于多特征融合的全参考高动态图像质量评价方法，其特征在于操作步骤如下：
(1)颜色方向特征计算，包括：
通过将失真的高动态图像转换到YIQ颜色域并单独提取出I和Q通道的图像，结合从原始图像提取出的I通道和Q通道的图像，运用计算相似度的方法计算出原始图像与失真图像在I通道上的相似度和Q通道上的相似度作为颜色方向的特征；
(2)视觉对比差异特征计算，包括：
采用视觉差异预测方法提取人眼对于高动态图像的视觉特性，先模拟光在人眼内部的散射过程，再通过多尺度分解来模拟视觉皮质中人眼对光照的不同空间频率和方向的选择过程，最后用对比度敏感函数来模拟独立噪声，对比度掩蔽函数来模拟依赖于信号的非独立噪声，模拟出人眼在某一频率和方向上可感知到的参考图像与失真的差异，综合后转换为视觉差异特征；
(3)多尺度综合特征提取，包括：
针对高动态图像使用高动态视频评价方法，先使用视觉上均匀量化编码来拟合出人眼实际接受到的亮度值，使用log-Gabor滤波器在不同频率尺度和方向上提取特征，综合多个尺度和方向转化为多尺度综合特征；
(4)训练模型并测试：
将上述步骤提取的各方向特征值及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，与数据库中的实际主观分数相比较验证预测准确度。
优选地，所述步骤(1)中颜色方向特征(SI和SQ)提取，包括如下操作步骤：
将高动态图像由RGB颜色空间领域转换到YIQ颜色空间领域，公式如下所示：
Figure BDA0002488999740000031
其中，R，G，B分别表示RGB颜色空间的红，绿，蓝三个颜色通道；Y，I，Q分别表示YIQ颜色空间的亮度通道，橙色到青色的颜色通道和紫色到黄绿的颜色通道；
分别对I和Q通道求颜色相似度。色度特征的相似度分别用SI，SQ表示，分别由式确定：
Figure BDA0002488999740000032
Figure BDA0002488999740000033
其中，Ix和Iy分别表示参考图像和失真图像的I通道值，Qx和Qy分别表示参考图像和失真图像的Q通道值，C1和C2是预防出现不稳定的极小正常数，在此取两者相等。
优选地，所述步骤(2)中视觉对比差异特征(Qm)提取，包括如下操作步骤：
模拟人眼内部光线传播的调制传递函数MTF：
Figure BDA0002488999740000034
其中ρ是空间频率，ak，bk为传递参数；
将其作用于输入光谱辐射强度图L[c]，公式如下：
F{L0}[c]＝F{L}[c]·MTF
其中F{·}表示傅里叶变换，经上式可得人眼接受到的光谱图f[c]；
计算人眼内部的三种光感受器对光谱图f[c]的感光量，公式如下：
Figure BDA0002488999740000035
其中σ是人眼内部的视锥细胞敏感度，L，M，R代表3种光感受器背后的视锥细胞，索引分隔符∣来表示几个类似的方程；
给定N个输入光强图，每种光感受器感受到的光谱图为RL|M|R，公式如下：
Figure BDA0002488999740000036
计算经亮度掩蔽效果后，每种光感受器接收的光谱图，公式如下：
PL|M|R＝tL|M|R(RL|M|R)
其中tL|M|R是非线性传感器函数，公式如下；
Figure BDA0002488999740000041
其中SL|M|R为三种光感受器的灵敏度；
人眼实际接受到的总光谱图为P，公式如下：
P＝PL+PM+PR
上述操作对原始图像与失真图像各进行一遍，可得人眼对失真图像的总光谱图T和人眼对原始图像的总光谱图R；
对光谱图T和光谱图R分别运用金字塔分解模型得BT[f,o]和BR[f,o]，并模拟引入的噪声，可得在频率为f，方向为o的子带上的归一化信号差D[f,o]，公式如下：
Figure BDA0002488999740000042
其中NnCSF表示信号相关噪声，Nmask表示信号无关噪声，公式如下：
Figure BDA0002488999740000043
其中CSF[f,o]是神经对比函数，ρ是峰值灵敏度La是调整亮度；
Figure BDA0002488999740000044
其中kself等表示权重，q控制掩蔽函数的斜率，BM[f,o]是在频率为f，方向为o的子带上的活动性；
再运用池化方法求得特征Qm，公式如下：
Figure BDA0002488999740000045
Figure BDA0002488999740000046
其中F是频带总个数，O是方向总个数，I是像素总数，wf是权重值，ε是预防出现负值的极小正数。
优选地，所述步骤(3)中多尺度综合特征(E)提取，包括如下操作步骤：
假设图片I的大小为M×N，I(i，j)代表图像第(i,j)个空域位置的亮度值，i∈{1，2，...M}，j∈{1，2，...N}，对每个像素点的亮度值进行视觉上均匀量化处理，即PU量化处理，可以将像素的亮度值转换成近似人眼实际接受的亮度值；
完成PU量化理过程后，使用log-Gabor滤波器在不同频率尺度和方向上提取特征。在极坐标下，频域的log-Gabor滤波器函数为：
Figure BDA0002488999740000051
式中：s是尺度指数，o是方向指数，fs为归一化中心频率，θo为滤波器的中心方向
σs用于确定径向带宽：
Figure BDA0002488999740000052
σo用于确定方向带宽：
Figure BDA0002488999740000053
利用上述滤波器对经过预处理后的原图像和失真图像进行滤波，对应得到不同尺度与方向上的原图像
Figure BDA0002488999740000054
与失真图像
Figure BDA0002488999740000055
对于尺度为s,方向为o的单一子带，特征值如下所示：
Figure BDA0002488999740000056
其中k是预防出现不稳定的极小正常数，Ns为尺度总个数，No为方向总个数。
综合多个尺度和方向得到的综合特征如下所示：
Figure BDA0002488999740000057
其中Ns为尺度总个数，No为方向总个数。
优选地，所述步骤(4)训练模型并测试，包括如下操作步骤：
选择epsilon-SVR进行回归，同时选择RBF函数作为核函数，将数据集中80％的数据作为训练数据用于训练支持向量回归器，其余20％的数据作为测试数据用于进行测试，训练数据和测试数据在内容上的不重叠；
将测试数据中每张高动态图像的特征值输入训练好的支持向量回归器，输出预测的图像客观质量分数。
与现有技术相比，本发明具有如下显而易见的突出实质性特点和显著技术进步：
1、本发明提出的方法考虑到多特征提取，更符合复杂脑神经控制人眼对高动态图像的视觉感知特性；
2、本发明提出的方法能够更准确、更有效地评价高动态图像的质量。
附图说明
图1是本发明提出的全参考高动态图像质量评价算法的总程序框图。
图2是支持向量机的训练和测试过程程序框图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
实施例一
参见图1-图2，一种基于多特征融合的全参考高动态图像质量评价方法，操作步骤如下：
(1)颜色特征计算：
通过将失真的高动态图像转换到YIQ颜色域并单独提取出I和Q通道的图像，结合从原始图像提取出的I通道和Q通道的图像，运用计算相似度的方法计算出原始图像与失真图像在I通道上的相似度和Q通道上的相似度作为颜色特征；
(2)视觉对比差异特征计算：
采用视觉差异预测方法模拟人眼对于高动态图像的视觉特性，先模拟光在人眼内部的散射过程，再通过多尺度分解来模拟视觉皮质中人眼对光照的不同空间频率和方向的选择过程，用对比度敏感函数来模拟独立噪声，最后使用对比度掩蔽函数来模拟依赖于信号的非独立噪声，模拟出人眼在某一频率和方向上可感知到的参考图像与失真图像的差异，综合后转换为视觉对比差异特征；
(3)多尺度综合特征计算：
针对高动态图像使用高动态视频评价方法，先使用视觉上均匀量化编码来拟合出人眼实际接受到的亮度值，使用log-Gabor滤波器在不同频率尺度和方向上提取特征，综合多个尺度和方向转化为多尺度综合特征；
(4)训练模型并测试：
将上述步骤提取的各方向特征值及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，与数据库中的实际主观分数相比较验证预测准确度。
实施例二
本基于多特征融合的全参考高动态图像质量评价方法，包括如下操作步骤：
颜色方向特征值计算：通过将失真的高动态图像转换到YIQ颜色域并单独提取出I和Q通道的图像，结合从原始图像提取出的I通道和Q通道的图像，运用计算相似度的方法计算出原始图像与失真图像在I通道上的相似度和Q通道上的相似度作为颜色方向的特征值；
视觉对比差异特征值计算：采用视觉差异预测方法HDR-VDP-2来提取视觉对比差异特征，先模拟光在人眼内部的散射过程，再通过多尺度分解来模拟视觉皮质中人眼对光照的不同空间频率和方向的选择过程，最后用对比度敏感函数(Contrast SensitivityFunction，CSF)来模拟独立噪声，对比度掩蔽(Masking)函数来模拟依赖于信号的非独立噪声，模拟出人眼在某一频率和方向上可感知到的参考图像与失真的差异，转换为视觉对比差异特征；
多尺度综合特征特征提取：针对高动态图像使用HDR-VQM方法，先使用视觉上均匀量化编码来拟合出人眼实际接受到的亮度值，使用log-Gabor滤波器在不同频率尺度和方向上提取特征，综合多个尺度和方向转化为多尺度综合特征；
训练模型并测试：将上述步骤提取的各个特征值及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，与数据库中的实际主观分数相比较验证预测准确度。
进一步地，所述颜色方向特征(SI和SQ)计算，包括如下步骤：
将高动态图像由RGB颜色空间领域转换到YIQ颜色空间领域，公式如下所示：
Figure BDA0002488999740000071
其中，R，G，B分别表示RGB颜色空间的红，绿，蓝三个颜色通道；Y，I，Q分别表示YIQ颜色空间的亮度通道，橙色到青色的颜色通道和紫色到黄绿的颜色通道；
分别对I和Q通道求颜色相似度。色度特征的相似度分别用SI，SQ表示，分别由式确定：
Figure BDA0002488999740000072
Figure BDA0002488999740000081
其中，Ix和Iy分别表示参考图像和失真图像的I通道值，Qx和Qy分别表示参考图像和失真图像的Q通道值，C1和C2是预防出现不稳定的极小正常数，在此取两者相等。
进一步地，所述视觉对比差异特征(Qm)计算，包括如下步骤：
模拟人眼内部光线传播的调制传递函数MTF：
Figure BDA0002488999740000082
其中ρ是空间频率，ak，bk为传递参数；
将其作用于输入光谱辐射强度图L[c]，公式如下：
F{L0}[c]＝F{L}[c]·MTF
其中F{·}表示傅里叶变换，经上式可得人眼接受到的光谱图f[c]；
计算人眼内部的三种光感受器对光谱图f[c]的感光量，公式如下：
Figure BDA0002488999740000083
其中σ是人眼内部的视锥细胞敏感度，L，M，R代表3种光感受器背后的视锥细胞，索引分隔符∣来表示几个类似的方程；
给定N个输入光强图，每种光感受器感受到的光谱图为RL|M|R，公式如下：
Figure BDA0002488999740000084
计算经亮度掩蔽效果后，每种光感受器接收的光谱图，公式如下：
PL|M|R＝tL|M|R(RL|M|R)
其中tL|M|R是非线性传感器函数，公式如下；
Figure BDA0002488999740000085
其中SL|M|R为三种光感受器的灵敏度；
人眼实际接受到的总光谱图为P，公式如下：
P＝PL+PM+PR
上述操作对原始图像与失真图像各进行一遍，可得人眼对失真图像的总光谱图T和人眼对原始图像的总光谱图R；
对光谱图T和光谱图R分别运用金字塔分解模型得BT[f,o]和BR[f,o]，并模拟引入的噪声，可得在频率为f，方向为o的子带上的归一化信号差D[f,o]，公式如下：
Figure BDA0002488999740000091
其中NnCSF表示信号相关噪声，Nmask表示信号无关噪声，公式如下：
Figure BDA0002488999740000092
其中CSF[f,o]是神经对比函数，ρ是峰值灵敏度La是调整亮度；
Figure BDA0002488999740000093
其中kself等表示权重，q控制掩蔽函数的斜率，BM[f,o]是在频率为f，方向为o的子带上的活动性；
再运用池化方法求得特征Qm，公式如下：
Figure BDA0002488999740000094
Figure BDA0002488999740000095
其中F是频带总个数，O是方向总个数，I是像素总数，wf是权重值，ε是预防出现负值的极小正数。
进一步地，所述多尺度综合特征(E)计算，包括如下步骤：
假设图片I的大小为M×N，I(i，j)代表图像第(i,j)个空域位置的亮度值，i∈{1，2，...M}，j∈{1，2，...N}，对每个像素点的亮度值进行视觉上均匀量化处理，即PU量化处理，可以将像素的亮度值转换成近似人眼实际接受的亮度值；
完成PU量化理过程后，使用log-Gabor滤波器在不同频率尺度和方向上提取特征。在极坐标下，频域的log-Gabor滤波器函数为：
Figure BDA0002488999740000096
式中：s是尺度指数，o是方向指数，fs为归一化中心频率，θo为滤波器的中心方向
σs用于确定径向带宽：
Figure BDA0002488999740000101
σo用于确定方向带宽：
Figure BDA0002488999740000102
利用上述滤波器对经过预处理后的原图像和失真图像进行滤波，对应得到不同尺度与方向上的原图像
Figure BDA0002488999740000103
与失真图像
Figure BDA0002488999740000104
对于尺度为s,方向为o的单一子带，特征值如下所示：
Figure BDA0002488999740000105
其中k是预防出现不稳定的极小正常数，Ns为尺度总个数，No为方向总个数。
综合多个尺度和方向得到的综合特征如下所示：
Figure BDA0002488999740000106
其中Ns为尺度总个数，No为方向总个数。
进一步地，所述训练模型并预测，包括如下步骤：
选择epsilon-SVR进行回归，同时选择RBF函数作为核函数，将数据集中80％的数据作为训练数据用于训练支持向量回归器，其余20％的数据作为测试数据用于进行测试，训练数据和测试数据在内容上的不重叠；
把测试集中每张高动态范围图像的统计特征输入训练好的SVR模型，输出预测的图像客观质量分数。
下面结合附图对本发明上述实施例进一步详细说明。
参见附图1，一种基于多特征融合的全参考高动态图像质量评价方法，本实施例在Matlab2016a以及Emin2017HDR数据库上进行了实施。
具体实施步骤如下：
步骤1.颜色方向特征值计算：通过将失真的高动态图像转换到YIQ颜色域并单独提取出I和Q通道的图像，结合从原始图像提取出的I通道和Q通道的图像，运用计算相似度的方法计算出原始图像与失真图像在I通道上的相似度和Q通道上的相似度作为颜色方向的特征值；
步骤2.视觉对比差异特征值计算：采用视觉差异预测方法提取人眼对于高动态图像的视觉特性，先模拟光在人眼内部的散射过程，再通过多尺度分解来模拟视觉皮质中人眼对光照的不同空间频率和方向的选择过程，最后用对比度敏感函数来模拟独立噪声，对比度掩蔽函数来模拟依赖于信号的非独立噪声，模拟出人眼在某一频率和方向上可感知到的参考图像与失真的差异，综合后转换为视觉对比差异特征；
步骤3.多尺度综合特征值提取：针对高动态图像使用HDR-VQM方法，先使用视觉上均匀量化编码来拟合出人眼实际接受到的亮度值，使用log-Gabor滤波器在不同频率尺度和方向上提取特征，综合多个尺度和方向转化为多尺度综合特征；
步骤4.训练模型并预测：将上述步骤提取的各个特征值及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，与数据库中的实际主观分数相比较验证预测准确度。
所述步骤1中，颜色方向特征(SI和SQ)计算，具体步骤为：
步骤1.将高动态图像由RGB颜色空间领域转换到YIQ颜色空间领域，公式如下所示：
Figure BDA0002488999740000111
其中，R，G，B分别表示RGB颜色空间的红，绿，蓝三个颜色通道；Y，I，Q分别表示YIQ颜色空间的亮度通道，橙色到青色的颜色通道和紫色到黄绿的颜色通道；
分别对I和Q通道求颜色相似度。色度特征的相似度分别用SI，SQ表示，分别由式确定：
Figure BDA0002488999740000112
Figure BDA0002488999740000113
其中，Ix和Iy分别表示参考图像和失真图像的I通道值，Qx和Qy分别表示参考图像和失真图像的Q通道值，C1和C2是预防出现不稳定的极小正常数，在此取两者相等。
所述步骤2中，视觉对比差异特征(Qm)计算，具体步骤为：
步骤2.模拟人眼内部光线传播的调制传递函数MTF：
Figure BDA0002488999740000121
其中ρ是空间频率，ak，bk为传递参数；
将其作用于输入光谱辐射强度图L[c]，公式如下：
F{L0}[c]＝F{L}[c]·MTF
其中F{·}表示傅里叶变换，经上式可得人眼接受到的光谱图f[c]；
计算人眼内部的三种光感受器对光谱图f[c]的感光量，公式如下：
Figure BDA0002488999740000122
其中σ是人眼内部的视锥细胞敏感度，L，M，R代表3种光感受器背后的视锥细胞，索引分隔符∣来表示几个类似的方程；
给定N个输入光强图，每种光感受器感受到的光谱图为RL|M|R，公式如下：
Figure BDA0002488999740000123
计算经亮度掩蔽效果后，每种光感受器接收的光谱图，公式如下：
PL|M|R＝tL|M|R(RL|M|R)
其中tL|M|R是非线性传感器函数，公式如下；
Figure BDA0002488999740000124
其中SL|M|R为三种光感受器的灵敏度；
人眼实际接受到的总光谱图为P，公式如下：
P＝PL+PM+PR
上述操作对原始图像与失真图像各进行一遍，可得人眼对失真图像的总光谱图T和人眼对原始图像的总光谱图R；
对光谱图T和光谱图R分别运用金字塔分解模型得BT[f,o]和BR[f,o]，并模拟引入的噪声，可得在频率为f，方向为o的子带上的归一化信号差D[f,o]，公式如下：
Figure BDA0002488999740000125
其中NnCSF表示信号相关噪声，Nmask表示信号无关噪声，公式如下：
Figure BDA0002488999740000131
其中CSF[f,o]是神经对比函数，ρ是峰值灵敏度La是调整亮度；
Figure BDA0002488999740000132
其中kself等表示权重，q控制掩蔽函数的斜率，BM[f,o]是在频率为f，方向为o的子带上的活动性；
再运用池化方法求得特征Qm，公式如下：
Figure BDA0002488999740000133
Figure BDA0002488999740000134
其中F是频带总个数，O是方向总个数，I是像素总数，wf是权重值，ε是预防出现负值的极小正数。
所述步骤3中，提取多尺度综合特征(E)，具体步骤为：
步骤3.假设图片I的大小为M×N，I(i，j)代表图像第(i,j)个空域位置的亮度值，i∈{1，2，...M}，j∈{1，2，...N}，对每个像素点的亮度值进行视觉上均匀量化处理，即PU量化处理，可以将像素的亮度值转换成近似人眼实际接受的亮度值；
完成PU量化理过程后，使用log-Gabor滤波器在不同频率尺度和方向上提取特征。在极坐标下，频域的log-Gabor滤波器函数为：
Figure BDA0002488999740000135
式中：s是尺度指数，o是方向指数，fs为归一化中心频率，θo为滤波器的中心方向
σs用于确定径向带宽：
Figure BDA0002488999740000136
σo用于确定方向带宽：
Figure BDA0002488999740000141
利用上述滤波器对经过预处理后的原图像和失真图像进行滤波，对应得到不同尺度与方向上的原图像
Figure BDA0002488999740000142
与失真图像
Figure BDA0002488999740000143
对于尺度为s,方向为o的单一子带，特征值如下所示：
Figure BDA0002488999740000144
其中k是预防出现不稳定的极小正常数，Ns为尺度总个数，No为方向总个数。
综合多个尺度和方向得到的综合特征如下所示：
Figure BDA0002488999740000145
其中Ns为尺度总个数，No为方向总个数。
所述步骤4中，训练模型并预测，具体步骤为：
步骤4.1.如附图2所示，选择epsilon-SVR进行回归，同时选择RBF函数作为核函数，将数据集中80％的数据作为训练数据用于训练支持向量回归器，其余20％的数据作为测试数据用于进行测试，训练数据和测试数据在内容上的不重叠；
步骤4.2.把测试集中每张高动态范围图像的统计特征输入训练好的SVR模型，输出预测的图像客观质量分数。
本发明上述实施例的算法在Emin2017HDR数据库进行了实施。实验中选择了几种优秀的自然图像和高动态图像质量评价算法作为对比算法。自然图像评价方法有：峰值信噪比(PSNR)，结构相似性算法(SSIM)，梯度结构相似度算法(GMSD)，信息保真度准则(IFC)。高动态评价算法有：视觉差异预测方法HDR-VDP2，高动态视频评价算法HDR-VQM。斜体的是自然图像评价算法。
本发明使用了两个常用的评价指标PLCC(Pearson Linear CorrelationCoefficient)、SROCC(Spearman’s Rank Order Correlation Coefficient)来衡量算法性能，PLCC和SROCC的值越大，表明客观图像质量评价算法结果与主观评价结果更相似，即算法结果更好。
为了提高算法的准确性，实验采取了将训练-测试过程在支持向量机上执行1000次，最后取这1000次结果的均值来表示算法的性能结果。表1给出了本发明与其它优秀算法在Emin2017HDR数据库的总体性能。可以看出本发明的算法的总体性能明显优于其他几种算法的性能。
表1本文的算法同几种主流的全参考算法在Emin2017HDR数据库上的总体性能比较
Figure BDA0002488999740000151
上面对本发明实施例结合附图进行了说明，但本发明不限于上述实施例，还可以根据本发明的发明创造的目的做出多种变化，凡依据本发明技术方案的精神实质和原理下做的改变、修饰、替代、组合或简化，均应为等效的置换方式，只要符合本发明的发明目的，只要不背离本发明基于多特征融合的全参考高动态图像质量评价方法的技术原理和发明构思，都属于本发明的保护范围。

Claims (5)

1.一种基于多特征融合的全参考高动态图像质量评价方法，其特征在于，操作步骤如下：
(1)颜色特征计算：
通过将失真的高动态图像转换到YIQ颜色域并单独提取出I和Q通道的图像，结合从原始图像提取出的I通道和Q通道的图像，运用计算相似度的方法计算出原始图像与失真图像在I通道上的相似度和Q通道上的相似度作为颜色特征；
(2)视觉对比差异特征计算：
采用视觉差异预测方法模拟人眼对于高动态图像的视觉特性，先模拟光在人眼内部的散射过程，再通过多尺度分解来模拟视觉皮质中人眼对光照的不同空间频率和方向的选择过程，用对比度敏感函数来模拟独立噪声，最后使用对比度掩蔽函数来模拟依赖于信号的非独立噪声，模拟出人眼在某一频率和方向上可感知到的参考图像与失真图像的差异，综合后转换为视觉对比差异特征；
(3)多尺度综合特征计算：
针对高动态图像使用高动态视频评价方法，先使用视觉上均匀量化编码来拟合出人眼实际接受到的亮度值，使用log-Gabor滤波器在不同频率尺度和方向上提取特征，综合多个尺度和方向转化为多尺度综合特征；
(4)训练模型并测试：
将上述步骤提取的各方向特征值及图像数据库中提供的相应主观质量分数构成数据集，使用数据集中的训练数据训练支持向量回归器；测试时，将数据集中的测试数据的特征值输入训练好的支持向量回归器，得到预测的图像客观质量分数，与数据库中的实际主观分数相比较验证预测准确度。
2.根据权利要求1所述的一种基于多特征融合的全参考高动态图像质量评价方法，其特征在于，所述步骤(1)中颜色相似度特征(SI和SQ)提取，包括如下具体操作步骤：
将高动态图像由RGB颜色空间领域转换到YIQ颜色空间领域，公式如下所示：
Figure FDA0002488999730000011
其中，R，G，B分别表示RGB颜色空间的红，绿，蓝三个颜色通道；Y，I，Q分别表示YIQ颜色空间的亮度通道，橙色到青色的颜色通道和紫色到黄绿的颜色通道；
分别对I和Q通道求颜色相似度；色度特征的相似度分别用SI，SQ表示，分别由式确定：
Figure FDA0002488999730000021
Figure FDA0002488999730000022
其中，Ix和Iy分别表示参考图像和失真图像的I通道值，Qx和Qy分别表示参考图像和失真图像的Q通道值，C1和C2是预防出现不稳定的极小正常数，在此取两者相等。
3.根据权利要求1所述的一种基于多特征融合的全参考高动态图像质量评价方法，其特征在于，所述步骤(2)中视觉对比差异特征(Qm)提取，包括如下操作步骤：
模拟人眼内部光线传播的调制传递函数MTF：
Figure FDA0002488999730000023
其中ρ是空间频率，ak，bk为传递参数；
将其作用于输入光谱辐射强度图L[c]，公式如下：
F{L0}[c]＝F{L}[c]·MTF
其中F{·}表示傅里叶变换，经上式可得人眼接受到的光谱图f[c]；
计算人眼内部的三种光感受器对光谱图f[c]的感光量，公式如下：
Figure FDA0002488999730000024
其中σ是人眼内部的视锥细胞敏感度，L，M，R代表3种光感受器背后的视锥细胞，索引分隔符∣来表示几个类似的方程；
给定N个输入光强图，每种光感受器感受到的光谱图为RL|M|R，公式如下：
Figure FDA0002488999730000025
计算经亮度掩蔽效果后，每种光感受器接收的光谱图，公式如下：
PL|M|R＝tL|M|R(RL|M|R)
其中tL|M|R是非线性传感器函数，公式如下；
Figure FDA0002488999730000026
其中SL|M|R为三种光感受器的灵敏度；
人眼实际接受到的总光谱图为P，公式如下：
P＝PL+PM+PR
上述操作对原始图像与失真图像各进行一遍，可得人眼对失真图像的总光谱图T和人眼对原始图像的总光谱图R；
对光谱图T和光谱图R分别运用金字塔分解模型得BT[f,o]和BR[f,o]，并模拟引入的噪声，可得在频率为f，方向为o的子带上的归一化信号差D[f,o]，公式如下：
Figure FDA0002488999730000031
其中NnCSF表示信号相关噪声，Nmask表示信号无关噪声，公式如下：
Figure FDA0002488999730000032
其中CSF[f,o]是神经对比函数，ρ是峰值灵敏度La是调整亮度；
Figure FDA0002488999730000033
其中kself等表示权重，q控制掩蔽函数的斜率，BM[f,o]是在频率为f，方向为o的子带上的活动性；
再运用池化方法求得特征Qm，公式如下：
Figure FDA0002488999730000034
Figure FDA0002488999730000035
其中F是频带总个数，O是方向总个数，I是像素总数，wf是权重值，ε是预防出现负值的极小正数。
4.根据权利要求1所述的一种基于多特征融合的全参考高动态图像质量评价方法，其特征在于，所述步骤(3)中多尺度综合特征(E)提取，包括如下操作步骤：
假设图片I的大小为M×N，I(i，j)代表图像第(i,j)个空域位置的亮度值，i∈{1，2，...M}，j∈{1，2，...N}，对每个像素点的亮度值进行视觉上均匀量化处理，即PU量化处理，可以将像素的亮度值转换成近似人眼实际接受的亮度值；
完成PU量化理过程后，使用log-Gabor滤波器在不同频率尺度和方向上提取特征；在极坐标下，频域的log-Gabor滤波器函数为：
Figure FDA0002488999730000041
式中：s是尺度指数，o是方向指数，fs为归一化中心频率，θo为滤波器的中心方向
σs用于确定径向带宽：
Figure FDA0002488999730000042
σo用于确定方向带宽：
Figure FDA0002488999730000043
利用上述滤波器对经过预处理后的原图像和失真图像进行滤波，对应得到不同尺度与方向上的原图像
Figure FDA0002488999730000044
与失真图像
Figure FDA0002488999730000045
对于尺度为s,方向为o的单一子带，特征值如下所示：
Figure FDA0002488999730000046
其中k是预防出现不稳定的极小正常数，Ns为尺度总个数，No为方向总个数；
综合多个尺度和方向得到的综合特征值如下所示：
Figure FDA0002488999730000047
其中Ns为尺度总个数，No为方向总个数。
5.根据权利要求1所述的一种基于多特征融合的全参考图像质量评价方法，其特征在于，所述步骤(4)中训练模型并测试，包括如下操作步骤：
选择epsilon-SVR进行回归，同时选择RBF函数作为核函数，将数据集中80％的数据作为训练数据用于训练支持向量回归器，其余20％的数据作为测试数据用于进行测试，训练数据和测试数据在内容上的不重叠；
将测试数据中每张高动态图像的特征值输入训练好的支持向量回归器，输出预测的图像客观质量分数。
CN202010399881.4A 2020-05-13 2020-05-13 基于多特征融合的全参考高动态图像质量评价方法 Active CN111768362B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010399881.4A CN111768362B (zh) 2020-05-13 2020-05-13 基于多特征融合的全参考高动态图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010399881.4A CN111768362B (zh) 2020-05-13 2020-05-13 基于多特征融合的全参考高动态图像质量评价方法

Publications (2)

Publication Number Publication Date
CN111768362A true CN111768362A (zh) 2020-10-13
CN111768362B CN111768362B (zh) 2023-05-23

Family

ID=72719159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010399881.4A Active CN111768362B (zh) 2020-05-13 2020-05-13 基于多特征融合的全参考高动态图像质量评价方法

Country Status (1)

Country Link
CN (1) CN111768362B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155488A1 (zh) * 2022-02-21 2023-08-24 浙江大学 基于多源多尺度特征融合的眼底图像质量评价方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473759A (zh) * 2013-06-24 2013-12-25 南京理工大学 一种WKPCA同质度校正nCRF抑制的微光图像显著轮廓提取方法
CN105741328A (zh) * 2016-01-22 2016-07-06 西安电子科技大学 基于视觉感知的拍摄图像质量评价方法
CN105744256A (zh) * 2016-03-31 2016-07-06 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
US20160239682A1 (en) * 2013-10-14 2016-08-18 Robert E. Templeman Method and system of enforcing privacy policies for mobile sensory devices
CN108109145A (zh) * 2018-01-02 2018-06-01 中兴通讯股份有限公司 图像质量检测方法、装置、存储介质和电子装置
CN108335289A (zh) * 2018-01-18 2018-07-27 天津大学 一种全参考融合的图像客观质量评价方法
CN109410164A (zh) * 2018-11-14 2019-03-01 西北工业大学 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN110046673A (zh) * 2019-04-25 2019-07-23 上海大学 基于多特征融合的无参考色调映射图像质量评价方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103473759A (zh) * 2013-06-24 2013-12-25 南京理工大学 一种WKPCA同质度校正nCRF抑制的微光图像显著轮廓提取方法
US20160239682A1 (en) * 2013-10-14 2016-08-18 Robert E. Templeman Method and system of enforcing privacy policies for mobile sensory devices
CN105741328A (zh) * 2016-01-22 2016-07-06 西安电子科技大学 基于视觉感知的拍摄图像质量评价方法
CN105744256A (zh) * 2016-03-31 2016-07-06 天津大学 基于图谱视觉显著的立体图像质量客观评价方法
CN108109145A (zh) * 2018-01-02 2018-06-01 中兴通讯股份有限公司 图像质量检测方法、装置、存储介质和电子装置
CN108335289A (zh) * 2018-01-18 2018-07-27 天津大学 一种全参考融合的图像客观质量评价方法
CN109410164A (zh) * 2018-11-14 2019-03-01 西北工业大学 多尺度卷积神经网络的卫星全色与多光谱图像融合方法
CN110046673A (zh) * 2019-04-25 2019-07-23 上海大学 基于多特征融合的无参考色调映射图像质量评价方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于淼淼 等: "基于视觉感知高度相关的图像质量评价", 《西安理工大学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023155488A1 (zh) * 2022-02-21 2023-08-24 浙江大学 基于多源多尺度特征融合的眼底图像质量评价方法和装置
US11842490B2 (en) 2022-02-21 2023-12-12 Zhejiang University Fundus image quality evaluation method and device based on multi-source and multi-scale feature fusion

Also Published As

Publication number Publication date
CN111768362B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110046673B (zh) 基于多特征融合的无参考色调映射图像质量评价方法
CN107172418B (zh) 一种基于曝光情况分析的色阶映射图像质量评价方法
CN101853504B (zh) 基于视觉特性与结构相似度的图像质量评测方法
CN106663313A (zh) 图像的显示中以及与之有关的改进
CN108010024B (zh) 一种盲参考色调映射图像质量评价方法
CN107105223B (zh) 一种基于全局特征的色调映射图像质量客观评价方法
CN108830823B (zh) 基于空域结合频域分析的全参考型图像质量评价方法
CN109218716B (zh) 基于色彩统计和信息熵无参考色调映射图像质量评价方法
Krasula et al. Preference of experience in image tone-mapping: Dataset and framework for objective measures comparison
CN110706196B (zh) 基于聚类感知的无参考色调映射图像质量评价算法
CN107146220A (zh) 一种通用型无参考图像质量评价方法
CN107040776B (zh) 一种基于高动态范围的视频质量评估方法
Jiang et al. Tone-mapped image quality assessment for electronics displays by combining luminance partition and colorfulness index
CN111768362B (zh) 基于多特征融合的全参考高动态图像质量评价方法
CN113344843B (zh) 一种图像质量测评方法、装置和系统
JP2003216942A (ja) 画像カラー校正の装置と方法
Song et al. Quality assessment method based on exposure condition analysis for tone-mapped high-dynamic-range images
Yang et al. EHNQ: Subjective and objective quality evaluation of enhanced night-time images
Rezagholizadeh et al. Maximum entropy spectral modeling approach to mesopic tone mapping
Wu Simulation of Automatic Color Adjustment of Landscape Image Based on Color Mapping Algorithm
Yi et al. Modeling Surround-aware Contrast Sensitivity.
Pedersen et al. Improving the robustness to image scale of the total variation of difference metric
Zhang et al. Dense Scale Invariant Feature Transform-Based Quality Assessment for Tone Mapping Image
Xu et al. Exploring the Effect of Color Distortion on the Quality of Subjective Visual Perception
Pyliavskyi et al. Software-Hardware Complex for Measuring the Sensitivity to Color Differences Based on the Generation of Random Sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant