CN108401150B - 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法 - Google Patents
一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法 Download PDFInfo
- Publication number
- CN108401150B CN108401150B CN201810241166.0A CN201810241166A CN108401150B CN 108401150 B CN108401150 B CN 108401150B CN 201810241166 A CN201810241166 A CN 201810241166A CN 108401150 B CN108401150 B CN 108401150B
- Authority
- CN
- China
- Prior art keywords
- algorithm
- compressed sensing
- subjective perception
- image
- sensing reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法。本发明公开了一种模拟视觉主观感知的压缩感知重建算法质量评价方法，包括：首先借助神经网络学习人眼视觉多通道对不同失真类型、不同失真程度图像在不同图像质量客观评价算法上的表现特性，将不同客观算法的视觉多通道评价结果转换为更符合人眼视觉特性的主观测试分值，并将神经网络的这种学习转换能力用于评价不同压缩感知重建算法的质量；其次，设计重建图像质量指标和重建图像稳定性指标来评价压缩感知重建算法的质量性能；最后，针对图像的不同观测率、不同失真类型、不同失真程度和不同客观评价算法等具体应用场景，设计了响应的主观感知评价算法及其融合算法。本发明针对具体应用场景，对各种压缩感知重建算法质量的评价结果更合理全面。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法。
背景技术
当今，随着物联网+信息技术的飞速发展和多媒体终端设备的日益普及，数字图像已经成为了应用极为广泛的一种信息源，渗透到各个应用领域以及人们的日常生活。海量的图像数据一方面使得人们获得了直观而丰富的信息资源，但另一方面也给人们带来了极大的挑战，这是由于图像信号的采集、传输、储存和处理等每个环节都需要大量资源设备和成本的投入。近十多年来，国际上出现的压缩感知理论(Compressed Sensing，CS)为缓解这些压力提供了解决方法，图像信号由于具有非常潜在的稀疏特性，因而，压缩感知理论在图像处理领域中的研究引起了人们极大的兴趣。目前，尤其是压缩感知理论在图像的压缩测量和恢复重建中的研究吸引了学术界的极大重视，并且已经获得了一些压缩感知图像重建算法，例如，正交匹配追踪(Orthogonal Matching Pursuit，OMP)，迭代加权算法(Iteratively Reweighted Algorithms，IRLS)，迭代硬阈值(Iterative HardThresholding，IHT)，压缩采用匹配追踪(compressivesampling matching pursuit，CoSaMP)，子空间追踪(Subspace Pursuit，SP)等。
在评价上述压缩感知重建算法重建图像质量时，人们普遍都采用了峰值信噪比(Peak Signal to Noise Ratio，PSNR)这一算法，并且大多都是针对几帧经典的无失真参考图像，这种评价结论显然缺乏足够的信服力，这是因为：1)实验的图像样本过少，难以真正揭示各种压缩感知重建算法在重构图像质量性能上的差异性；2)PSNR算法对于图像质量的评价结果和人眼主观感知有较大的差距；3)在实际应用中，图像易受噪声污染，因而总是存在各种不同类型失真和各种不同程度的失真，针对这些实际情况，需要掌握各种压缩感知重建算法重建图像时的质量性能。
较多的应用场合，人眼是图像的接受终端，因而，选择更符合人眼主观感受特性的图像质量客观评价方法具有更重要的研究意义和应用价值。当前，在图像质量客观评价研究领域中，出现了一些成熟的算法，这些算法的评价结果和人眼主观感知相比，对于不同的失真类型图像和不同的失真程度图像，尽管各有优缺点，但都较经典的PSNR算法有了长足的进步，从而揭示了人眼主观评价图像质量的一些规律。将图像质量客观评价领域中的研究成果用于压缩感知研究领域中图像重建算法质量的评价，结合人眼主观视觉特性发挥各种图像质量客观评价算法的优势，选择在实际应用中易受噪声污染的各类失真图像作为测试样本，扩大实验样本的统计数量，重新设计合理的评级指标及指标之间的融合关系，对于更合理的评价现有压缩感知重建图像算法的优劣性，更进一步，对于这些算法的改进，以及在实际应用中筛选适合的重建算法，都具有重要的意义。
发明内容
针对现有评价压缩感知重建算法质量的不足，本发明的目的是提供一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法。该方法模拟视觉主观感知特性来评价压缩感知重建算法质量的好坏，并且针对图像的不同失真类型、不同失真程度、不同客观评价算法和不同观测率等具体应用场景，对各种压缩感知重建算法质量的评价结果更合理全面，符合人眼视觉的主观感知，为现有压缩感知重建算法性能的评价、改进和应用提供合理的判断。
为实现上述发明目的，本发明提供以下技术方案：
一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法，包括以下步骤：
(1)选择一个图像数据库，将该图像数据库中所有彩色图像转换为灰度图像，在该图像数据库中选择一种图像失真类型；
(2)将当前所选图像失真类型中包含的所有灰度图像分成训练集和测试集；
(3)利用小波变换方法分别提取训练集和测试集中所有灰度图像的视觉多通道信息视图，选择一种现有图像质量客观评价算法；
(4)利用当前图像质量客观评价算法对训练集和测试集中所有灰度图像的各个视觉多通道信息视图进行全参考质量评价；
(5)构建BP神经网络训练模型，对训练集中所有失真图像的视觉多通道信息视图的全参考质量评价结果进行学习训练，获得BP神经网络权重和阈值参数；
(6)基于所获BP神经网络权重和阈值参数构建BP神经网络预测模型，并利用该BP神经网络预测模型对测试集中所有失真图像的视觉多通道信息视图的全参考质量评价结果进行预测，获得测试集中所有失真图像基于所选图像质量客观评价算法模拟主观感知的评价结果；
(7)测试步骤(6)所得评价结果的各性能评价指标水平，并对各性能评价指标水平进行融合，获得所选图像质量客观评价算法模拟主观感知的权重系数；
(8)选择所有待比较的压缩感知重建算法，设定一个观测率；
(9)在当前观测率下，运行所有待比较的压缩感知重建算法对训练集和测试集中的所有失真图像进行计算，获得所有失真图像基于不同压缩感知重建算法的重建图像；
(10)利用步骤(3)所用的小波变换方法提取所有重建图像的视觉多通道信息视图；
(11)利用步骤(4)所用的图像质量客观评价算法对步骤(10)获得所有视觉多通道信息视图进行全参考质量评价；
(12)利用步骤(6)获得的BP神经网络预测模型对步骤(11)的全参考质量评价进行预测，获得基于各个压缩感知重建算法的所有重建图像质量模拟主观感知的评价结果，并对该评价结果进行正相关处理；
(13)基于步骤(12)所得正相关处理结果，定义重建图像质量指标和重建图像稳定性指标，并计算各个压缩感知重建算法的重建图像质量指标水平和重建图像稳定性指标水平；
(14)分别对各个压缩感知重建算法的重建图像质量指标水平和重建图像稳定性指标水平进行融合，获得各个压缩感知重建算法基于选定观测率下重建图像质量的主观感知评价；
(15)改变不同的观测率，重复步骤(9)～步骤(14)获得各个压缩感知重建算法基于不同观测率下重建图像质量的主观感知评价；
(16)对步骤(14)的主观感知评价结果和对步骤(15)的主观感知评价结果进行融合，获得各个压缩感知重建算法基于观测率敏感性的主观感知评价；
(17)改变不同的图像质量客观评价算法，重复步骤(4)～步骤(14)，获得各个压缩感知重建算法重建图像质量基于不同图像质量客观评价算法的主观感知评价；
(18)将各个压缩感知重建算法重建图像质量基于不同图像质量客观评价算法的主观感知评价结果进行融合，获得各个压缩感知重建算法基于客观评价算法敏感性的主观感知评价；
(19)改变不同的图像失真类型，重复步骤(2)～步骤(14)，获得各个压缩感知重建算法基于不同失真类型下重建图像质量的主观感知评价；
(20)将各个压缩感知重建算法重建图像质量基于不同图像失真类型的主观感知评价结果进行融合，获得各个压缩感知重建算法基于图像失真类型敏感性的主观感知评价；
(21)选取不同的失真程度区间，重复步骤(2)～步骤(14)，获得各个压缩感知重建算法基于不同失真程度区间下重建图像质量的主观感知评价，
(22)对各个压缩感知重建算法重建图像质量基于不同失真程度区间的主观感知评价结果进行融合，获得各个压缩感知重建算法基于失真程度敏感性的主观感知评价；
(23)对步骤(16)、步骤(18)、步骤(20)和步骤(22)所得结果进行融合，获得各个压缩感知重建算法重建图像质量模拟主观感知的统计评价结果。
本发明提供的方法的核心是首先借助于神经网络学习人眼视觉多通道对于不同失真类型图像和不同失真程度图像在不同图像质量客观评价算法上的表现特性，将不同客观算法的评价结果转换为更符合人眼视觉特性的主观测试分值，并将这种借助于神经网络模拟人眼主观感知的转换方法用于评价不同压缩感知重建算法的质量；其次，设计了用于评价各种压缩感知图像重建算法的重建图像质量指标和重建图像稳定性指标，用于评价压缩感知重建算法在不同实际应用情况下的质量性能；最后，针对各种不同的实际应用，通过扩大测试样本空间，设计了各种压缩感知图像重建算法在不同观测率、不同图像失真类型、不同图像失真程度、不同图像质量客观评价算法的主观感知评价算法及其相互之间的融合算法。最终融合的主观感知结果数据更接近于人眼对于各种压缩感知图像重建算法质量优劣性的判断，从而针对不同图像失真类型、不同图像失真程度、不同图像质量客观评价算法和不同观测率等实际应用情况，为现有压缩感知重建算法性能的评价、改进和应用提供合理的判断。
图像数据库的选择不做限制，根据国际视频质量专家组VQGE建议，可供选择的较权威的数据库有LIVE、CSIQ、TID2013、TID2008、TOYAMA、IVC、A57以及WTQ，总共是8个，作为优选，选择LIVE数据库，LIVE图像数据库共有JPEG2000、JPEG、WN、gblur和fastfading五种图像失真类型，分别以符号V1、V2、V3、V4、V5标识。
图像失真类型的名称、失真类型的数量以及每种失真类型所包含失真图像的数量由所选择的图像数据库决定，不受限制。
优选地，步骤(2)中，训练集与测试集中失真图像的比例为1/3～1，采用随机选取的方式实现对失真图像的拆分。
优选地，在构建的BP神经网络训练模型中，BP神经网络输入层神经元的数量等于小波分解的通道数量，BP神经网络的输出层神经元数量只有一个，该输出代表所选图像质量客观评价算法的质量评价结果，在训练的过程中，以失真图像质量的多通道客观评价结果作为BP神经网络训练模型的输入，以失真图像质量的人眼主观测试结果分值DMOS作为BP神经网络训练模型的训练目标，以BP神经网络训练模型的输出与真值输出的误差e小于0.00001或以训练迭代次数达到500为训练终止条件。
BP神经网络所训练输入数据的长度等于训练集数据库中失真图像的数量。优选地，隐藏层取一层，进一步地，隐藏层的神经元数量取10～30。
BP神经网络预测模型和BP神经网络训练模型基本一样，差别在于，一是预测模型去掉了训练模型的训练目标输入，二是预测模型增加了参数输入，该参数就是训练模型学习结果的网络权重和阈值。该模型测试输入数据的长度等于测试集数据库中失真图像的数量，BP神经网络输出层神经元的预测输出就是所选图像质量客观算法模拟人眼的主观感知评价结果。
在步骤(4)中，以参考图像的每个视觉通道信息视图作为参考图像，与参考图像对应的失真图像的视觉通道信息视图作为失真图像，按照所选图像质量客观评价算法分别对失真图像的各个视觉通道信息视图进行全参考质量评价。
在步骤(7)中，采用曲线拟合方式测试步骤(6)所得评价结果的RMSE、PLCC以及SROCC指标水平，并利用如下公式对RMSE、PLCC以及SROCC指标水平进行融合，获得所选图像质量客观评价算法模拟主观感知的权重系数ω；
式中，dPLCC、dSROCC、dRMSE分别代表PLCC、SROCC、RMSE三个指标水平的测试结果数据，α1,α2,α3为经验调节系数，α1＝α2＝α3＝1.0。
在步骤(11)中，以失真图像的每个视觉通道信息视图作为参考图像，与失真图像对应的重建图像的视觉通道信息视图作为失真图像，按照所选图像质量客观评价算法分别对重建图像的各个视觉通道信息视图进行全参考质量评价。
本发明中，观测率选在(0，1)之间。
正相关处理仅仅针对基于误差准则的客观评价算法，例如PSNR、SVD、MSE等算法，而对基于相似度准则的客观评价算法，则无需做正相关处理。优选地，步骤(12)中，所述正相关处理公式如下：
式中，x(j)表示客观评价算法j的主观感知评价结果，y(j)表示正相关处理结果，Q为常数，对于PSNR客观评价算法，Q取值为Q＝50，对于SVD客观算法，Q取值为Q＝30。
本发明中，重建图像质量指标μ(Mm,Cc)定义为：
重建图像稳定性指标σ(Mm,Cc)定义为：
式中，t表示图像序号，T表示图像的数量，Mm表示第m种压缩感知重建算法，Cc表示第c种观测率，c＝1,2,3，y(·)表示正相关结果。
步骤(14)中，采用融合公式(I)分别对各个压缩感知重建算法的重建图像质量指标水平和重建图像稳定性指标水平进行融合：
s(Mm,Cc)＝[μ(Mm,Cc)]β1/[σ(Mm,Cc)]β2 (I)
式(I)中，s(Mm,Cc)表示主观感知评价结果，β1,β2表示调节系数，β1＝β2＝1.0；
优选地，步骤(15)中，观测率依次选为C1＝1/3，C2＝1/2，C3＝2/3。
步骤(16)中，采用融合公式(II)对步骤(14)的主观感知评价结果和对步骤(15)的主观感知评价结果进行融合：
式(II)中，γCc表示调节系数，γC1＝γC2＝γC3＝1.0；
优选地，步骤(17)中，选择PSNR、SVD、GSM和SSIM这四个图像质量客观评价算法，分别表示J1、J2、J3、J4。
步骤(18)中，采用融合公式(III)对各个压缩感知重建算法重建图像质量基于不同图像质量客观评价算法的主观感知评价结果进行融合：
式(III)中，J表示不同图像质量客观评价算法的数量，s(Mm,Jj)表示第m种压缩感知重建算法基于第j个图像质量客观评价算法的主观感知评价结果，ω(Jj)表示第j个图像质量客观评价算法主观感知评价的权重系数；
步骤(20)中，采用融合公式(IV)将各个压缩感知重建算法重建图像质量基于不同图像失真类型的主观感知评价结果进行融合：
式(IV)中，s(Mm,Vv)表示第m种压缩感知重建算法基于第v种图像失真类型的观感知评价结果，ω(Vv)是第v种图像失真类型的权重系数，V代表失真类型的数量；
步骤(21)中，根据所选图像数据库和图像数据库中图像的人眼主观测试结果分值MOS(p)来确定真程度区间range(Ll)，划分公式如下：
式中，l表示划分的失真程度区间序号，L表示划分的失真程度区间的数量，1≤l≤L，MOS(p)表示第P幅失真图像的人眼主观测试结果分值，min[·]表述求最小值，max[·]表示求最大值。
步骤(22)中，采用融合公式(V)对各个压缩感知重建算法重建图像质量基于不同失真程度区间的主观感知评价结果进行融合：
式(V)中，s(Mm,Ll)表示第m种压缩感知重建算法基于第l失真程度区间的主观感知评价结果，ω(Ll)是第l个失真程度区间的权重系数，L代表失真程度区间的数量。
步骤(23)中，采用融合公式(VI)对步骤(16)、步骤(18)、步骤(20)和步骤(22)所得结果进行融合：
其中，s(Mm)表示第m种压缩感知重建算法质量模拟人眼主观感知的统计评价结果，λ1，λ2，λ3，λ4为调节系数，λ1＝λ2＝λ3＝λ4＝1.0。
与现有技术相比，本发明具有以下有益效果：
该方法能够模拟视觉主观感知特性来评价压缩感知重建算法重建图像质量的好坏，且针对图像的不同失真类型、不同失真程度、不同客观评价算法和不同观测率等具体应用场景，对各种压缩感知重建算法质量的评价结果更合理全面，符合人眼视觉的主观感知，为现有压缩感知重建算法性能的评价、改进和应用提供合理的判断。
附图说明
图1是实施例提供的模拟视觉主观感知的压缩感知重建算法质量评价方法的流程图；
图2是实施例提供的对原始图像进行处理后的结果图像；
图3是实施例提供的对图2提取的视觉多通道信息视图；
图4是实施例提供的BP神经网络训练模型的结构示意图；
图5是实施例提供的BP神经网络预测模型的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
本实施参考国际视频专家组VQEG规范，选中LIVE图像数据库进行测试，上述数据库详见网站http://sse.tongji.edu.cn/linzhang/IQA/IQA.htm提供下载。LIVE数据库均存储有一些配对的标准案例(即参考图像和失真图像对)，每个案例中的失真图像均有对应的MOS值(主观评价分值)已知，该MOS值即为人眼的主观测试结果。
本实施例中，提供的一种模拟视觉主观感知的压缩感知重建算法质量评价方法的流程图如图1所示，具体包括以下步骤：
步骤1，按照如下公式对所有图像进行灰度变换，将其变换为灰度图像Gray：
Gray＝0.29900·R+0.58700·G+0.11400·B
其中，R、G、B分别为源图像(失真图像或参考图像)在R、G、B三个通道上的强度值。
本实施例中对原始图像图灰度转换理后的结果如图2所示。
步骤2，数据库LIVE中失真类型共有JPEG2000、JPEG、WN、gblur和fastfading五种，分别以符号V1、V2、V3、V4、V5标识。
本实施例首先选取JPEG2000类型失真图像说明实施方式。
步骤3，将JPEG2000失真类型图像随机划分为训练集数据库和测试集数据库，划分方法为随机选取失真图像，两个数据库中的失真图图像数量比例设定为1。
步骤4，利用小波变换，对图像进行视觉多通道信息提取，以Log-Gabor小波为例，提取公式如下：
v(s,o)(i,j)＝F-1[G(ω,θj)×F(f(i,j)]
式中，f(i,j)代表原始图像，v(s,o)(i,j)代表对原始图像f(i,j)提取的视觉通道(s,o)信息视图，s、o分别为log-Gabor尺度因子和方向因子，这里取S＝5，O＝4，F表示频域正变换，F-1表示频域逆变换，G(ω,θj)为log-Gabor的频率函数表达式。
本实施例中对图2进行基于Log-Gabor小波的多通道分解，结果如图3所示。
步骤5，选取PSNR作为图像质量客观评价算法。
步骤6，利用PSNR客观评价算法对所有失真图像的视觉多通道信息进行全参考图像质量评价。
步骤7，构建BP神经网络训练模型，利用训练集数据库中失真图像质量的多通道客观评价结果对模型进行学习训练，保存训练结果的权重和阈值参数，构建的训练模型如图4所示。
对模型训练的终止条件为：
(1)BP预测输出和DMOS之间的误差e＝0.00001。
(2)迭代次数取为500。
步骤8，BP神经网络预测模型对所选客观算法的视觉多通道评价结果数据进行预测，其预测输出作为客观算法的质量评价，BP神经网络预测模型如图5所示。
步骤9，性能评价指标的选择，采用国际视频质量专家组VQEG所建议的RMSE、PLCC和SROCC三个指标，测试算法采用VQEG建议的曲线拟合公式。权重系数ω的定义，根据RMSE、PLCC和SROCC指标水平的测试结果按照如下公式确定：
步骤10，本实施例选取OMP，SP，CoSaMP，IHT和IRLS五种压缩感知重建算法，分别以M1、M2、M3、M4和M5标识。首先取观测率C1＝1/3说明实施方式。
步骤11，针对JPEG2000失真类型的所有图像，运行M1、M2、M3、M4、M5五种压缩感知重建算法，获得各个重建算法基于观测率C1＝1/3的所有重建图像。
步骤12，基于Log-Gabor小波提取上述各个重建算法重建图像的视觉多通道信息视图。
步骤13，以JPEG2000失真类型图像的每个视觉通道信息视图作为参考图像，对应重建图像的对应视觉通道信息视图作为失真图像，运用PSNR客观评价算法对上述重建算法的所有重建图像的各个视觉通道信息视图进行全参考质量评价。
步骤14，利用步骤7的BP神经网络训练模型的网络权重和阈值系数和步骤8的BP神经网络预测模型，对步骤13所得结果进行预测，获得各个压缩感知重建算法所有重建图像质量模拟主观感知的评价结果。
步骤15，计算各个压缩感知重建算法的指标μ(Mm,C1)和指标σ(Mm,C1)合的数值，结果如表1所示。
步骤16，计算各个压缩感知重建算法的指标s(Mm,C1)的数值，结果如表1所示。
步骤17，分别取观测率C2＝1/2和C3＝2/3。
步骤18，重复步骤11～步骤16，获得各个压缩感知重建算法的指标s(Mm,C2)和的s(Mm,C3)数值，结果如表1所示。
步骤19，计算各个压缩感知重建算法基于观测率敏感性的主观感知评价的数值，结果如表1所示。
步骤20，选取PSNR、SVD、GSM、SSIM四个算法，分别以符号J1、J2、J3、J4标识。
步骤21，重复步骤6～步骤16，计算各个压缩感知重建算法基于J1、J2、J3、J4的主观感知评价s(Mm,J1)、s(Mm,J2)、s(Mm,J3)和s(Mm,J4)的数值，结果如表2所示。
步骤22，计算各个压缩感知重建算法的主观感知评价s(Mm,J)的数值，结果如表2所示。
步骤23，选取JPEG2000、JPEG、WN、gblur、fastfading五种失真类型，分别以V1、V2、V3、V4、V5标识。
步骤24，重复步骤3～步骤16，获得各个压缩感知重建算法的主观感知评价s(Mm,V1)、s(Mm,V2)、s(Mm,V3)、s(Mm,V4)、s(Mm,V5)和s(Mm,V6)的数值，结果如表3所示。
步骤25，计算各个压缩感知重建算法的主观感知评价s(Mm,V)的数值，结果如表3所示。
步骤26，LIVE数据库的max(MOS)＝84.4890,min(MOS)＝0，故三个失真程度区间分别为range1,2,1＝[0,28],range1,2,2＝(28,56],range1,2,3＝(56,85]，分别以L1、L2、L3标识。
步骤27，重复步骤3～步骤16，获得各个压缩感知重建算法的主观感知评价s(Mm,L1)、s(Mm,L2)和s(Mm,L3)的数值，结果如表4所示。
步骤28，计算各个压缩感知重建算法的主观感知评价s(Mm,L)的数值，结果如表4所示。
步骤29，计算各个压缩感知重建算法质量模拟主观感知的评价结果s(Mm)的数值，结果如表5所示。
表1
表1实施例的结果说明，各种观测率下IRLS的重建图像质量指标μ(M5,Cc)水平都是最高的，各种观测率下IHT的重建图像稳定性指标σ(M4,Cc)水平最好，各种观测率下IHT的融合质量指标s(M4,Cc)＝117.3333最好。将各种观测率融合起来，IHT的质量指标s(M4,C)＝114.8384最好。此外，随着观测率的不同，各种压缩感知重建算法的各项性能指标优劣排序也有变化。表1说明各种压缩感知重建算法在不同观测率下的性能有所不同，因此，需要根据实际情况下允许传输数据量的大小选择合适的压缩感知重建算法。
表2
表2实施例的结果说明，PSNR客观评价算法下，IRLS算法的重建图像质量评价μ(M5,J1)＝0.9990水平最高，IHT重建图像稳定性σ(M4,J1)＝0.0084水平最好，IHT的融合质量指标s(M4,J1)＝117.3333最好。SVD和GSM客观评价算法下，上述三个指标最好的压缩感知重建算法分别为OPM、IHT和IHT。SSIM客观评价算法下，上述三个指标最好的压缩感知重建算法分别为IHT、OMP和OMP。将各种图像质量客观评价算法融合起来，压缩感知重建算法IHT的质量指标s(M4,J)＝3.9699水平最高。此外，随着图像质量客观评价算法的不同，各种压缩感知重建算法的各项性能指标优劣排序也有变化。表2说明针对各种压缩感知重建算法，需要选择合适的图像质量客观评价算法，才能使得重建图像质量的评价结果更符合人眼的主观感知判断。
表3
表3实施例的结果说明，针对JPEG2000图像失真类型，IRLS的重建图像质量指标μ(M5,V1)＝0.9990最高，IHT的重建图像稳定性指标σ(M4,V1)＝0.0084最好，IHT的融合质量评价s(M4,V1)＝117.3333最高。在JPEG图像失真类型下，上述三个指标最好的压缩感知重建算法分别是IRLS、IHT、IHT。而在WN图像失真类型下，上述三个指标最好的压缩感知重建算法分别是OMP、IHT、IHT。在Gblur图像失真类型下，上述三个指标最好的压缩感知重建算法分别是IRLS、IHT、IHT。在fastfading图像失真类型下，上述三个指标最好的压缩感知重建算法分别是OMP、IHT、IHT。融合各种图像失真类型，IHT的质量性能最好。此外，随着图像失真类型的不同，各种压缩感知重建算法的各项性能指标优劣排序也有变化。因此，需要根据图像实际应用场合和失真机理不同，选择适合的压缩感知重建算法。
表4
表4实施例的结果说明，当图像失真程度较低时，IRLS的重建图像质量指标μ(M5,L1)＝2.08150最高，IHT的重建图像稳定性指标σ(M4,L1)＝0.0028最好，IHT的融合质量评价s(M4,L1)＝741.8214最高。当图像失真程度一般时，上述三个指标最好的压缩感知重建算法分别是OMP、IHT和SP。当图像失真程度严重时，上述三个指标最好的压缩感知重建算法都是IHT。融合图像的各种失真程度，IHT的质量性能最好。此外，随着图像失真程度的不同，各种压缩感知重建算法的各项性能指标优劣排序也有变化。因此，实际情况下，需要根据图像的失真程度，选择合适的压缩感知重建算法。
表5各个压缩感知重建算法质量模拟主观感知的评价结果s(Mm)比较
表5实施例的结果说明，融合不同失真类型图像、不同失真程度图像、不同图像质量客观评价算法和不同观测率的实际应用情况，IHT压缩感知重建算法具有最好的统计评价性能。
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法，包括以下步骤：
(1)选择一个图像数据库，将该图像数据库中所有彩色图像转换为灰度图像，在该图像数据库中选择一种图像失真类型；
(2)将当前所选图像失真类型中包含的所有灰度图像分成训练集和测试集；
(3)利用小波变换方法分别提取训练集和测试集中所有灰度图像的视觉多通道信息视图，选择一种现有图像质量客观评价算法；
(4)利用当前图像质量客观评价算法对训练集和测试集中所有灰度图像的各个视觉多通道信息视图进行全参考质量评价；
(5)构建BP神经网络训练模型，对训练集中所有失真图像的视觉多通道信息视图的全参考质量评价结果进行学习训练，获得BP神经网络权重和阈值参数；
(6)基于所获BP神经网络权重和阈值参数构建BP神经网络预测模型，并利用该BP神经网络预测模型对测试集中所有失真图像的视觉多通道信息视图的全参考质量评价结果进行预测，获得测试集中所有失真图像基于所选图像质量客观评价算法模拟主观感知的评价结果；
(7)测试步骤(6)所得评价结果的各性能评价指标水平，并对各性能评价指标水平进行融合，获得所选图像质量客观评价算法模拟主观感知的权重系数；
(8)选择所有待比较的压缩感知重建算法，设定一个观测率；
(9)在当前观测率下，运行所有待比较的压缩感知重建算法对训练集和测试集中的所有失真图像进行计算，获得所有失真图像基于不同压缩感知重建算法的重建图像；
(10)利用步骤(3)所用的小波变换方法提取所有重建图像的视觉多通道信息视图；
(11)利用步骤(4)所用的图像质量客观评价算法对步骤(10)获得的所有视觉多通道信息视图进行全参考质量评价；
(12)利用步骤(6)获得的BP神经网络预测模型对步骤(11)的全参考质量评价进行预测，获得基于各个压缩感知重建算法的所有重建图像质量模拟主观感知的评价结果，并对该评价结果进行正相关处理；
(13)基于步骤(12)所得正相关处理结果，定义重建图像质量指标和重建图像稳定性指标，并计算各个压缩感知重建算法的重建图像质量指标水平和重建图像稳定性指标水平；
(14)分别对各个压缩感知重建算法的重建图像质量指标水平和重建图像稳定性指标水平进行融合，获得各个压缩感知重建算法基于选定观测率下重建图像质量的主观感知评价；
(15)改变不同的观测率，重复步骤(9)～步骤(14)获得各个压缩感知重建算法基于不同观测率下重建图像质量的主观感知评价；
(16)对步骤(14)的主观感知评价结果和对步骤(15)的主观感知评价结果进行融合，获得各个压缩感知重建算法基于观测率敏感性的主观感知评价；
(17)改变不同的图像质量客观评价算法，重复步骤(4)～步骤(14)，获得各个压缩感知重建算法重建图像质量基于不同图像质量客观评价算法的主观感知评价；
(18)将各个压缩感知重建算法重建图像质量基于不同图像质量客观评价算法的主观感知评价结果进行融合，获得各个压缩感知重建算法基于客观评价算法敏感性的主观感知评价；
(19)改变不同的图像失真类型，重复步骤(2)～步骤(14)，获得各个压缩感知重建算法基于不同失真类型下重建图像质量的主观感知评价；
(20)将各个压缩感知重建算法重建图像质量基于不同图像失真类型的主观感知评价结果进行融合，获得各个压缩感知重建算法基于图像失真类型敏感性的主观感知评价；
(21)选取不同的失真程度区间，重复步骤(2)～步骤(14)，获得各个压缩感知重建算法基于不同失真程度区间下重建图像质量的主观感知评价，
(22)对各个压缩感知重建算法重建图像质量基于不同失真程度区间的主观感知评价结果进行融合，获得各个压缩感知重建算法基于失真程度敏感性的主观感知评价；
(23)对步骤(16)、步骤(18)、步骤(20)和步骤(22)所得结果进行融合，获得各个压缩感知重建算法重建图像质量模拟主观感知的统计评价结果。
2.如权利要求1所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，步骤(2)中，训练集与测试集中失真图像的比例为1/3～1。
3.如权利要求1所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，步骤(5)中，在构建的BP神经网络训练模型中，BP神经网络输入层神经元的数量等于小波分解的通道数量，BP神经网络的输出层神经元数量只有一个，该输出代表所选图像质量客观评价算法的质量评价结果，在训练的过程中，以失真图像质量的多通道客观评价结果作为BP神经网络训练模型的输入，以失真图像质量的人眼主观测试结果分值DMOS作为BP神经网络训练模型的训练目标，以BP神经网络训练模型的输出与真值输出的误差e小于0.00001或以训练迭代次数达到500为训练终止条件。
4.如权利要求1所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，步骤(7)中，采用曲线拟合方式测试步骤(6)所得评价结果的RMSE、PLCC以及SROCC指标水平，并利用如下公式对RMSE、PLCC以及SROCC指标水平进行融合，获得所选图像质量客观评价算法模拟主观感知的权重系数ω；
式中，dPLCC、dSROCC、dRMSE分别代表PLCC、SROCC、RMSE三个指标水平的测试结果数据，α1,α2,α3为经验调节系数，α1＝α2＝α3＝1.0。
5.如权利要求1所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，在步骤(4)中，以参考图像的每个视觉通道信息视图作为参考图像，与参考图像对应的失真图像的视觉通道信息视图作为失真图像，按照所选图像质量客观评价算法分别对失真图像的各个视觉通道信息视图进行全参考质量评价；
在步骤(11)中，以失真图像的每个视觉通道信息视图作为参考图像，与失真图像对应的重建图像的视觉通道信息视图作为失真图像，按照所选图像质量客观评价算法分别对重建图像的各个视觉通道信息视图进行全参考质量评价。
6.如权利要求1所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，步骤(12)中，所述正相关处理公式如下：
式中，x(j)表示客观评价算法j的主观感知评价结果，y(j)表示正相关处理结果，Q为常数，对于PSNR客观评价算法，Q取值为Q＝50，对于SVD客观算法，Q取值为Q＝30。
7.如权利要求6所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，重建图像质量指标μ(Mm,Cc)定义为：
重建图像稳定性指标σ(Mm,Cc)定义为：
式中，t表示图像序号，T表示图像的数量，Mm表示第m种压缩感知重建算法，Cc表示第c个观测率，c＝1,2,3，y(·)表示正相关结果。
8.如权利要求7所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，步骤(14)中，采用融合公式(I)分别对各个压缩感知重建算法的重建图像质量指标水平和重建图像稳定性指标水平进行融合：
s(Mm,Cc)＝[μ(Mm,Cc)]β1/[σ(Mm,Cc)]β2 (I)
式(I)中，s(Mm,Cc)表示主观感知评价结果，β1,β2表示调节系数，β1＝β2＝1.0；
步骤(16)中，采用融合公式(II)对步骤(14)的主观感知评价结果和对步骤(15)的主观感知评价结果进行融合：
式(II)中，γCc表示调节系数，γC1＝γC2＝γC3＝1.0；
步骤(18)中，采用融合公式(III)对各个压缩感知重建算法重建图像质量基于不同图像质量客观评价算法的主观感知评价结果进行融合：
式(III)中，J表示不同图像质量客观评价算法的数量，s(Mm,Jj)表示第m种压缩感知重建算法基于第j个图像质量客观评价算法的主观感知评价结果，ω(Jj)表示第j个图像质量客观评价算法主观感知评价的权重系数；
步骤(20)中，采用融合公式(IV)将各个压缩感知重建算法重建图像质量基于不同图像失真类型的主观感知评价结果进行融合：
式(IV)中，s(Mm,Vv)表示第m种压缩感知重建算法基于第v种图像失真类型的观感知评价结果，ω(Vv)是第v种图像失真类型的权重系数，V代表失真类型的数量；
步骤(22)中，采用融合公式(V)对各个压缩感知重建算法重建图像质量基于不同失真程度区间的主观感知评价结果进行融合：
式(V)中，s(Mm,Ll)表示第m种压缩感知重建算法基于第l失真程度区间的主观感知评价结果，ω(Ll)是第l个失真程度区间的权重系数，L代表失真程度区间的数量。
9.如权利要求1所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，步骤(21)中，根据所选图像数据库和图像数据库中图像的人眼主观测试结果分值MOS(p)来确定真程度区间range(Ll)，划分公式如下：
式中，l表示划分的失真程度区间序号，L表示划分的失真程度区间的数量，1≤l≤L，MOS(p)表示第P幅失真图像的人眼主观测试结果分值，min[·]表述求最小值，max[·]表示求最大值。
10.如权利要求8所述的模拟视觉主观感知的压缩感知重建算法质量统计评价方法，其特征在于，步骤(23)中，采用融合公式(VI)对步骤(16)、步骤(18)、步骤(20)和步骤(22)所得结果进行融合：
其中，s(Mm)表示第m种压缩感知重建算法质量模拟人眼主观感知的统计评价结果，λ1，λ2，λ3，λ4为调节系数，λ1＝λ2＝λ3＝λ4＝1.0。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810241166.0A CN108401150B (zh) | 2018-03-22 | 2018-03-22 | 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810241166.0A CN108401150B (zh) | 2018-03-22 | 2018-03-22 | 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108401150A CN108401150A (zh) | 2018-08-14 |
| CN108401150B true CN108401150B (zh) | 2019-08-27 |
Family
ID=63093066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810241166.0A Active CN108401150B (zh) | 2018-03-22 | 2018-03-22 | 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108401150B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109670485B (zh) * | 2019-01-23 | 2022-10-25 | 华南理工大学 | 基于多数据压缩追踪算法的旋转机械局部型故障远程诊断方法 |
| CN111711816B (zh) * | 2020-07-08 | 2022-11-11 | 福州大学 | 基于可察知编码效应强度的视频客观质量评价方法 |
| CN112233089B (zh) * | 2020-10-14 | 2022-10-25 | 西安交通大学 | 一种无参考立体混合失真图像质量评价方法 |
| CN112669289A (zh) * | 2020-12-30 | 2021-04-16 | 科大讯飞股份有限公司 | 影像质量评估方法、装置、电子设备及存储介质 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100559881C (zh) * | 2008-05-09 | 2009-11-11 | 中国传媒大学 | 一种基于人工神经网络的视频质量评价方法 |
| FR2944935B1 (fr) * | 2009-04-28 | 2012-10-05 | Thales Sa | Procede d'estimation du debit et de la distorsion de donnees d'images codees a posteriori de l'encodage |
| KR101035365B1 (ko) * | 2010-02-04 | 2011-05-20 | 서강대학교산학협력단 | Ｃｓ를 이용한 화질 평가 장치 및 방법 |
| US10007977B2 (en) * | 2015-05-11 | 2018-06-26 | Netflix, Inc. | Techniques for predicting perceptual video quality |
| CN104954778B (zh) * | 2015-06-04 | 2017-05-24 | 宁波大学 | 一种基于感知特征集的立体图像质量客观评价方法 |
| CN105118053B (zh) * | 2015-08-06 | 2018-02-23 | 浙江科技学院 | 一种基于压缩感知的全参考图像质量客观评价方法 |
| CN105956159A (zh) * | 2016-05-13 | 2016-09-21 | 浙江科技学院 | 一种评价图像质量客观方法综合效率的算法 |
-
2018
- 2018-03-22 CN CN201810241166.0A patent/CN108401150B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN108401150A (zh) | 2018-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108401150B (zh) | 一种模拟视觉主观感知的压缩感知重建算法质量统计评价方法 | |
| CN105208374B (zh) | 一种基于深度学习的无参考图像质量客观评价方法 | |
| CN107483920B (zh) | 一种基于多层级质量因子的全景视频评估方法及系统 | |
| CN102333233B (zh) | 一种基于视觉感知的立体图像质量客观评价方法 | |
| CN102209257B (zh) | 一种立体图像质量客观评价方法 | |
| CN110060236B (zh) | 基于深度卷积神经网络的立体图像质量评价方法 | |
| CN109167996B (zh) | 一种基于卷积神经网络的无参考立体图像质量评价方法 | |
| CN108428227A (zh) | 基于全卷积神经网络的无参考图像质量评价方法 | |
| CN104954778B (zh) | 一种基于感知特征集的立体图像质量客观评价方法 | |
| CN109272499A (zh) | 基于卷积自编码网络的无参考图像质量评价方法 | |
| Ma et al. | Reduced-reference stereoscopic image quality assessment using natural scene statistics and structural degradation | |
| Fang et al. | Stereoscopic image quality assessment by deep convolutional neural network | |
| Zhang et al. | Fine-grained quality assessment for compressed images | |
| CN102945552A (zh) | 基于自然场景统计中稀疏表示的无参考图像质量评价方法 | |
| Geng et al. | A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property | |
| CN108074239A (zh) | 一种基于先验感知质量特征图的无参考图像质量客观评价方法 | |
| CN104867138A (zh) | 基于pca和ga-elm的立体图像质量客观评价方法 | |
| CN103338379B (zh) | 一种基于机器学习的立体视频客观质量评价方法 | |
| CN109816646A (zh) | 一种基于退化决策逻辑的无参考图像质量评价方法 | |
| CN103945217A (zh) | 基于熵的复小波域半盲图像质量评测方法和系统 | |
| CN104866864A (zh) | 一种用于立体图像质量客观评价的极端学习机 | |
| CN107071423A (zh) | 视觉多通道模型在立体视频质量客观评价中的应用方法 | |
| CN109862350A (zh) | 基于时空域特征提取的无参考视频质量评价方法 | |
| CN105894507B (zh) | 基于图像信息量自然场景统计特征的图像质量评价方法 | |
| Yang et al. | No-reference quality assessment of stereoscopic videos with inter-frame cross on a content-rich database |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20210406 Address after: Room 423, 4 / F, 101, 4-5 / F, building 1, No. 175, Litang Road, Changping District, Beijing 102200 Patentee after: Hong Xing (Beijing) Intellectual Property Service Co.,Ltd. Address before: 310023 No. 318 stay Road, Xihu District, Zhejiang, Hangzhou Patentee before: ZHEJIANG University OF SCIENCE AND TECHNOLOGY Effective date of registration: 20210406 Address after: 102200 423, 4 / F, block a, Xinhua future city building, 175 Litang Road, Changping District, Beijing Patentee after: Li Qiannan Address before: Room 423, 4 / F, 101, 4-5 / F, building 1, No. 175, Litang Road, Changping District, Beijing 102200 Patentee before: Hong Xing (Beijing) Intellectual Property Service Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220119 Address after: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.) Patentee after: Shenzhen yisibo KUKE Technology Co.,Ltd. Address before: 102200 423, 4 / F, block a, Xinhua future city building, 175 Litang Road, Changping District, Beijing Patentee before: Li Qiannan |