CN111292323A - 部分参考的图像质量评价方法、控制装置及计算机可读存储介质 - Google Patents

部分参考的图像质量评价方法、控制装置及计算机可读存储介质 Download PDF

Info

Publication number
CN111292323A
CN111292323A CN202010183892.9A CN202010183892A CN111292323A CN 111292323 A CN111292323 A CN 111292323A CN 202010183892 A CN202010183892 A CN 202010183892A CN 111292323 A CN111292323 A CN 111292323A
Authority
CN
China
Prior art keywords
image
residual
distorted
original image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010183892.9A
Other languages
English (en)
Inventor
刘玉涛
李秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202010183892.9A priority Critical patent/CN111292323A/zh
Publication of CN111292323A publication Critical patent/CN111292323A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种部分参考的图像质量评价方法、控制装置及计算机可读存储介质，方法包括：对原始图像和失真图像分别进行稀疏表示得到对应的稀疏表示图像，计算所述原始图像和所述失真图像与各自所述稀疏表示图像的差异得到对应的残差图像；对所述原始图像和所述失真图像分别进行显著性检测得到对应的显著图；用所述显著图对所述残差图像进行加权得到对应的显著残差图像，分别计算所述显著残差图像的信息熵；计算所述原始图像和所述失真图像的所述显著残差图像的信息熵的差，用所述差的绝对值评价所述失真图像的质量。显著提高图像质量评价的准确率，性能高、需要参考的信息量极低。

Description

部分参考的图像质量评价方法、控制装置及计算机可读存储 介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种部分参考的图像质量评价方法、控制装置及计算机可读存储介质。
背景技术
图像质量评价技术在许多图像处理应用中具有非常重要的作用，如图像压缩、存储、传输和重构方法的开发和优化。广义上讲，图像质量评价方法可以分为主观质量评价和客观质量评价，主观评价是图像质量判断的“金标准”，但是主观质量评价耗时、耗力、而且无法应用于实时的系统中。相比主观质量评价，客观质量评价方法通过计算机完成，省时、省力，可以被实时应用。
均方误差(MSE)和峰值性噪比(PSNR)是目前被广泛采用的图像质量评价标准。近年来，受一些经典心理学认知范例的激发，许多研究者提出了一些基于认知的图像质量评价方法。Wang,Z.等人在《IEEE Trans.Image Process》第13卷第4期第600页至第612页发表的论文“Image quality assessment:from error visibility to structuralsimilarity”中提出的结构相似性方法(SSIM)，该方法从图像的结构信息出发对图像的质量进行估计。Wang,Z.等人在《IEEE Asilomar Conference on Signals,Systems andComputer》第2卷第1398页至第1402页发表的论文“Multi-scale structural similarityfor image quality assessment”中提出的多尺度结构相似性方法(MS-SSIM)将SSIM方法扩展到多尺度上，取得了更好的预测性能。Li,Q.等人在《IEEE Journal of SelectedTopics in Signal Processing》第3卷第2期第202页至211页发表的论文“Reduced-Reference Image Quality Assessment Using Divisive Normalization-Base d ImageRepresentation”中图像进行小波分解，然后针对每个子带归一化处理，提取系数的分布参数作为特征来估计图像的质量。Gao,X.等人在《IEEE Trans.Image Process》第18卷第7期第1409页至1423页发表的论文“Image Quality Assessment Based on MultiscaleGeometric Analysis,”中对图像进行多尺度分解，然后对分解系数用人眼对比度敏感函数进行加权，之后用最小可觉差(Just Noticeable Difference，JND)模型对系数进行惩罚，最后提取直方图特征来预测图像质量。Liu,H.等人在《IEEE Trans.Circuits Syst.VideoTechnol.》第21卷第7期第971页至第982页提出的Blind Image Quality Indices(BIQI)方法。该方法分为两个步骤，首先利用失真图像统计将图像根据失真类型进行分类，再根据不同失真类型进行质量评价。Zhai,G.等人在《IEEE Trans.Image Process》第21卷第1期第41页至52页发表的论文“A Psychovisual Quality Metric in Free-Energy Principle”中利用AR模型来模拟大脑内部的生成模型，对图像进行AR表示，提取表示统计信息来预测图像的质量。
现有技术中的图像质量评价方法的性能仍然不够理想；在评价图像质量时，需要参考原始图像的信息量较大；时间复杂度仍然较高。这三个因素导致现有方法在实际应用中受到较大的限制。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
发明内容
本发明为了解决现有的问题，提供一种部分参考的图像质量评价方法、控制装置及计算机可读存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种部分参考的图像质量评价方法，包括如下步骤：S1：对原始图像和失真图像分别进行稀疏表示得到对应的稀疏表示图像，计算所述原始图像和所述失真图像与各自所述稀疏表示图像的差异得到对应的残差图像；S2：对所述原始图像和所述失真图像分别进行显著性检测得到对应的显著图；S3：分别用所述显著图对所述残差图像进行加权得到对应的显著残差图像，分别计算所述显著残差图像的信息熵；S4：计算所述原始图像和所述失真图像的所述显著残差图像的信息熵的差，用所述差的绝对值评价所述失真图像的质量。
优选地，在所述步骤S1之前还包括：对所述原始图像和所述失真图像分别进行分块操作。
优选地，对于所述原始图像或所述失真图像I进行分块操作；提取其中的一个图像块为
Figure BDA0002413490720000021
其大小为
Figure BDA0002413490720000022
该过程表示为：
xk＝Rk(I)
其中，Rk(·)为图像块提取算子，提取在位置k的图像块，k＝1,2,3,....,n，n表示图像块的总数；Rk(·)的转置操作
Figure BDA0002413490720000031
是把所述图像块xk放回到所述原始图像或所述失真图像的k位置；对于所有的所述图像块，输入所述原始图像或所述失真图像I表示为：
Figure BDA0002413490720000032
其中，“./”表示两个矩阵对应元素相除，
Figure BDA0002413490720000033
表示所有值都为1的向量，其维度Bs＝64；
对于一个特定的图像块xk，在字典
Figure BDA0002413490720000034
上的稀疏表示实际是求一个稀疏向量
Figure BDA0002413490720000035
满足：
xk＝Dαk
或者近似满足：
xk≈Dαk,||xk-Dαk||p≤ξ
其中，||·||p表示lp范数，ξ为误差精度。所以，稀疏表示描述为：
Figure BDA0002413490720000036
上式进一步转化为无约束的优化问题，如：
Figure BDA0002413490720000037
其中，第一项为保真度项，第二项为稀疏约束项，λ为常数0.1，用来平衡两项的比重，p取值为0或1；
利用正交匹配追踪算法求解上式，得到图像块xk的稀疏表示系数
Figure BDA0002413490720000038
则xk稀疏表示为
Figure BDA0002413490720000039
整幅所述原始图像或所述失真图像I的稀疏表示为：
Figure BDA00024134907200000310
优选地，计算所述原始图像或所述失真图像与稀疏表示图像的残差图像：
R＝|I-I'|
其中，R表示残差图像。
优选地，采用GBVS方法进行显著性检测。
优选地，用所述显著图对所述残差图像分别进行加权得到显著残差图像：
Figure BDA0002413490720000041
Figure BDA0002413490720000042
其中，
Figure BDA0002413490720000043
表示原始图像的显著残差图，
Figure BDA0002413490720000044
表示失真图像的显著残差图，
Figure BDA0002413490720000045
为原始图像的显著图，
Figure BDA0002413490720000046
为原始图像的残差图，相应地，
Figure BDA0002413490720000047
和
Figure BDA0002413490720000048
分别表示失真图像的显著图和残差图，“.×”表示对应元素相乘操作。
优选地，分别计算所述显著残差图像的信息熵，具体的：
Figure BDA0002413490720000049
其中，E表示信息熵，pi表示第i级灰度级的概率密度，计算得到的所述原始图像和所述失真图像的显著残差图像的信息熵分别记为Eo和Ed。
优选地，计算所述原始图像和所述失真图像的所述显著残差图像的信息熵的差：
Q＝|Eo-Ed|
其中，Q是所述显著残差图像的信息熵的差的绝对值，表示所述失真图像的质量分数。
本发明还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质，其中，处理器用于执行所述计算机程序时至少执行如上任一所述的方法。
本发明再提高一种计算机可读存储介质，所述计算机存储介质中存储有计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如上任一所述的方法。
本发明的有益效果为：提供一种部分参考的图像质量评价方法、控制装置及计算机可读存储介质，通过基于稀疏表示的方式有效捕捉由于失真导致的图像质量的退化，其次考虑到人眼在观察图像过程中具有视觉显著的特性，进一步利用显著图来加权不同的表示残差，利用显著残差的信息熵来估计图像质量的变化程度。显著提高图像质量评价的准确率，性能高、需要参考的信息量极低。
更进一步的，可以对原始图像和失真图像进行分块操作，进一步提高运行速度，具有更大的实际应用价值。
附图说明
图1是本发明实施例中一种部分参考的图像质量评价方法的流程示意图。
图2是本发明实施例中一种部分参考的图像质量评价方法的原理示意图。
图3是本发明实施例中又一种部分参考的图像质量评价方法的流程示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所示，是本发明的一种部分参考的图像质量评价方法，包括如下步骤：
S1：对原始图像和失真图像分别进行稀疏表示得到对应的稀疏表示图像，计算所述原始图像和所述失真图像与各自所述稀疏表示图像的差异得到对应的残差图像；
S2：对所述原始图像和所述失真图像分别进行显著性检测得到对应的显著图；
S3：分别用所述显著图对所述残差图像进行加权得到对应的显著残差图像，分别计算所述显著残差图像的信息熵；
S4：计算所述原始图像和所述失真图像的所述显著残差图像的信息熵的差，用所述差的绝对值评价所述失真图像的质量。
如图2所示，在本发明的方法中，分别对输入的原始图像和失真图像进行稀疏表示，计算原始图像和失真图像与各自稀疏表示图像之间的差异，得到表示残差图像，对原始图像和失真图像分别进行显著性检测，得到对应的显著图，利用两幅显著图分别对原始图像和失真图像的残差图进行加权，得到原始图像和失真图像的显著残差图，计算两幅显著残差图的信息熵，计算信息熵之间的差作为图像质量的估计。
现有技术中的图像质量评价方法大多数基于图像变换，利用变换系数的变化评价图像质量，图像变换可以看成是将图像进行分解，而本发明利用稀疏表示的策略，可以看成是对图像的重建或者合成。本发明通过计算显著残差图像的信息熵来反映图像感知质量的变化，通过比较原始图像与失真图像的残差信息熵来估计失真图像的质量。能够高效地预测图像的视觉质量，应用前景广阔。
外部的失真将会改变图像的稀疏表示方式，本发明基于稀疏表示的方式能够有效捕捉由于失真导致的图像质量的退化，其次考虑到人眼在观察图像过程中具有视觉显著的特性，进一步利用显著图来加权不同的表示残差，利用显著残差的信息熵来估计图像质量的变化程度。所以本发明可以显著提高图像质量评价方法的准确率，与同类方法对比取得最优的预测性能。
进一步的，考虑到整体操作在矩阵运算中非常耗时，或者需要大量的计算资源，在计算资源有限的情况下有时无法实施，分块操作可以显著地降低算法的时间复杂度，也降低了对计算资源的要求，在计算资源有限的情况下同样可以实施。
如图3所示，在上述方法的步骤S1之前还包括：
对所述原始图像和所述失真图像分别进行分块操作。
对原始图像和失真图像进行分块操作，然后对每个图像块进行稀疏表示，然后将每个图像块的稀疏表示拼接到一起组成整幅图像的稀疏表示，然后分别计算原始图像和失真图像的稀疏表示残差图像。可以降低计算量，提高计算效率。
具体的，对于所述原始图像或所述失真图像I进行分块操作；
提取其中的一个图像块为
Figure BDA0002413490720000071
其大小为
Figure BDA0002413490720000072
该过程表示为：
xk＝Rk(I)
其中，Rk(·)为图像块提取算子，提取在位置k的图像块，k＝1,2,3,....,n，n表示图像块的总数；Rk(·)的转置操作
Figure BDA0002413490720000073
是把所述图像块xk放回到所述原始图像或所述失真图像的k位置；对于所有的所述图像块，输入所述原始图像或所述失真图像I表示为：
Figure BDA0002413490720000074
其中，“./”表示两个矩阵对应元素相除，
Figure BDA0002413490720000075
表示所有值都为1的向量，其维度Bs＝64；
对于一个特定的图像块xk，在字典
Figure BDA0002413490720000076
上的稀疏表示实际是求一个稀疏向量
Figure BDA0002413490720000077
(αk中大多数元素为0或者接近于0)满足：
xk＝Dαk
或者近似满足：
xk≈Dαk,||xk-Dαk||p≤ξ
其中，||·||p表示lp范数，ξ为误差精度。所以，稀疏表示描述为：
Figure BDA0002413490720000078
上式进一步转化为无约束的优化问题，如：
Figure BDA0002413490720000081
其中，第一项为保真度项，第二项为稀疏约束项，λ为常数0.1，用来平衡两项的比重，p取值为0或1；
利用正交匹配追踪算法求解上式，得到图像块xk的稀疏表示系数
Figure BDA0002413490720000082
则xk稀疏表示为
Figure BDA0002413490720000083
整幅所述原始图像或所述失真图像I的稀疏表示为：
Figure BDA0002413490720000084
稀疏表示过程完成之后，计算所述原始图像或所述失真图像与稀疏表示图像的残差图像：
R＝|I-I'|
其中，R表示残差图像。
然后分别对原始图像和失真图像进行显著性检测，具体利用GBVS方法对图像进行显著性检测，得到对应的显著图，显著图可以逐像素地指示图像中对人眼显著的区域。值越大表明越显著。还有其他的一些显著性检测方法，比如IS、Covsal、SWD、LRK、FES、RCSS等，经过测试GBVS方法能够取得最优的预测性能。
利用所述显著图对所述残差图像分别进行加权得到显著残差图像：
Figure BDA0002413490720000085
Figure BDA0002413490720000086
其中，
Figure BDA0002413490720000087
表示原始图像的显著残差图，
Figure BDA0002413490720000088
表示失真图像的显著残差图，
Figure BDA0002413490720000089
为原始图像的显著图，
Figure BDA00024134907200000810
为原始图像的残差图，相应地，
Figure BDA00024134907200000811
和
Figure BDA00024134907200000812
分别表示失真图像的显著图和残差图，“.×”表示对应元素相乘操作。
分别计算所述显著残差图像的信息熵，具体的：
Figure BDA00024134907200000813
其中，E表示信息熵，pi表示第i级灰度级的概率密度，计算得到的所述原始图像和所述失真图像的显著残差图像的信息熵分别记为Eo和Ed。
最后，计算所述原始图像和所述失真图像的所述显著残差图像的信息熵的差：
Q＝|Eo-Ed|
其中，Q是所述显著残差图像的信息熵的差的绝对值，表示所述失真图像的质量分数。Q值越小，表示失真图像的质量越高。
在本发明的一种具体的实施例中，在CSIQ库上测试本发明方法的准确性，利用斯皮尔曼等级相关系数(Spearman Rank order Correlation Coefficient，SRCC)、皮尔逊线性相关系数(Pearson Linear Correlation Coefficient，PLCC)、均方根误差(Root MeanSquare Error，RMSE)三个指标来衡量算法的性能。其中，SRCC衡量算法的一致性，PLCC衡量算法的准确性，RMSE衡量算法的稳定性。SRCC，PLCC计算图像主观质量分数与客观质量分数之间的相关性，RMSE计算主观分数与客观分数之间的误差。因此，SRCC，PLCC越接近于1，RMSE越接近于0表示客观评价算法的性能越高。实验结果如表1所示表1实验结果
Figure BDA0002413490720000091
表1对比了主流的质量评价方法，包括PSNR、SSIM、ILNIQE、FEDM和RRED，从表中可以观察到，本发明在所有的方法中取得了最优的预测性能，从而证明了本发明的有效性和优越性。
本申请实施例还提供一种控制装置，包括处理器和用于存储计算机程序的存储介质；其中，处理器用于执行所述计算机程序时至少执行如上所述的方法。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，ErasableProgrammable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，ElectricallyErasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，FerromagneticRandom Access Memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，SynchronousStatic Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random AccessMemory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic Random AccessMemory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种部分参考的图像质量评价方法，其特征在于，包括如下步骤：
S1：对原始图像和失真图像分别进行稀疏表示得到对应的稀疏表示图像，计算所述原始图像和所述失真图像与各自所述稀疏表示图像的差异得到对应的残差图像；
S2：对所述原始图像和所述失真图像分别进行显著性检测得到对应的显著图；
S3：分别用所述显著图对所述残差图像进行加权得到对应的显著残差图像，分别计算所述显著残差图像的信息熵；
S4：计算所述原始图像和所述失真图像的所述显著残差图像的信息熵的差，用所述差的绝对值评价所述失真图像的质量。
2.如权利要求1所述的部分参考的图像质量评价方法，其特征在于，在所述步骤S1之前还包括：
对所述原始图像和所述失真图像分别进行分块操作。
3.如权利要求2所述的部分参考的图像质量评价方法，其特征在于，对于所述原始图像或所述失真图像I进行分块操作；
提取其中的一个图像块为
Figure FDA0002413490710000011
其大小为
Figure FDA0002413490710000012
该过程表示为：
xk＝Rk(I)
其中，Rk(·)为图像块提取算子，提取在位置k的图像块，k＝1,2,3,....,n，n表示图像块的总数；Rk(·)的转置操作
Figure FDA0002413490710000013
是把所述图像块xk放回到所述原始图像或所述失真图像的k位置；对于所有的所述图像块，输入所述原始图像或所述失真图像I表示为：
Figure FDA0002413490710000014
其中，“./”表示两个矩阵对应元素相除，
Figure FDA0002413490710000015
表示所有值都为1的向量，其维度Bs＝64；
对于一个特定的图像块xk，在字典
Figure FDA0002413490710000016
上的稀疏表示实际是求一个稀疏向量
Figure FDA0002413490710000021
满足：
xk＝Dαk
或者近似满足：
xk≈Dαk,||xk-Dαk||p≤ξ
其中，||·||p表示lp范数，ξ为误差精度；所以，稀疏表示描述为：
Figure FDA0002413490710000022
上式进一步转化为无约束的优化问题，如：
Figure FDA0002413490710000023
其中，第一项为保真度项，第二项为稀疏约束项，λ为常数0.1，用来平衡两项的比重，p取值为0或1；
利用正交匹配追踪算法求解上式，得到图像块xk的稀疏表示系数
Figure FDA0002413490710000024
则xk稀疏表示为
Figure FDA0002413490710000025
整幅所述原始图像或所述失真图像I的稀疏表示为：
Figure FDA0002413490710000026
4.如权利要求3所述的部分参考的图像质量评价方法，其特征在于，计算所述原始图像或所述失真图像与稀疏表示图像的残差图像：
R＝|I-I'|
其中，R表示残差图像。
5.如权利要求1所述的部分参考的图像质量评价方法，其特征在于，采用GBVS方法进行显著性检测。
6.如权利要求5所述的部分参考的图像质量评价方法，其特征在于，用所述显著图对所述残差图像分别进行加权得到显著残差图像：
Figure FDA0002413490710000027
Figure FDA0002413490710000028
其中，
Figure FDA0002413490710000029
表示原始图像的显著残差图，
Figure FDA00024134907100000210
表示失真图像的显著残差图，
Figure FDA0002413490710000031
为原始图像的显著图，
Figure FDA0002413490710000032
为原始图像的残差图，相应地，
Figure FDA0002413490710000033
和
Figure FDA0002413490710000034
分别表示失真图像的显著图和残差图，“.×”表示对应元素相乘操作。
7.如权利要求6所述的部分参考的图像质量评价方法，其特征在于，分别计算所述显著残差图像的信息熵，具体的：
Figure FDA0002413490710000035
其中，E表示信息熵，pi表示第i级灰度级的概率密度，计算得到的所述原始图像和所述失真图像的显著残差图像的信息熵分别记为Eo和Ed。
8.如权利要求7所述的部分参考的图像质量评价方法，其特征在于，计算所述原始图像和所述失真图像的所述显著残差图像的信息熵的差：
Q＝|Eo-Ed|
其中，Q是所述显著残差图像的信息熵的差的绝对值，表示所述失真图像的质量分数。
9.一种控制装置，其特征在于，包括处理器和用于存储计算机程序的存储介质，其中，处理器用于执行所述计算机程序时至少执行如权利要求1-8任一所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机存储介质中存储有计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行如权利要求1-8任一所述的方法。
CN202010183892.9A 2020-03-16 2020-03-16 部分参考的图像质量评价方法、控制装置及计算机可读存储介质 Withdrawn CN111292323A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010183892.9A CN111292323A (zh) 2020-03-16 2020-03-16 部分参考的图像质量评价方法、控制装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010183892.9A CN111292323A (zh) 2020-03-16 2020-03-16 部分参考的图像质量评价方法、控制装置及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111292323A true CN111292323A (zh) 2020-06-16

Family

ID=71025884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010183892.9A Withdrawn CN111292323A (zh) 2020-03-16 2020-03-16 部分参考的图像质量评价方法、控制装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111292323A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149596A (zh) * 2020-09-29 2020-12-29 厦门理工学院 一种异常行为检测方法、终端设备及存储介质
CN112365418A (zh) * 2020-11-11 2021-02-12 北京字节跳动网络技术有限公司 一种图像失真评测的方法、装置及计算机设备
CN117152092A (zh) * 2023-09-01 2023-12-01 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112149596A (zh) * 2020-09-29 2020-12-29 厦门理工学院 一种异常行为检测方法、终端设备及存储介质
CN112365418A (zh) * 2020-11-11 2021-02-12 北京字节跳动网络技术有限公司 一种图像失真评测的方法、装置及计算机设备
CN112365418B (zh) * 2020-11-11 2024-05-03 抖音视界有限公司 一种图像失真评测的方法、装置及计算机设备
CN117152092A (zh) * 2023-09-01 2023-12-01 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质
CN117152092B (zh) * 2023-09-01 2024-05-28 国家广播电视总局广播电视规划院 全参考图像评价方法、装置、电子设备和计算机存储介质

Similar Documents

Publication Publication Date Title
CN111292323A (zh) 部分参考的图像质量评价方法、控制装置及计算机可读存储介质
CN110826684B (zh) 卷积神经网络的压缩方法、装置、电子设备和介质
CN110245132B (zh) 数据异常检测方法、装置、计算机可读存储介质和计算机设备
CN111311595B (zh) 图像质量的无参考质量评价方法及计算机可读存储介质
CN110110610B (zh) 一种用于短视频的事件检测方法
CN111415323B (zh) 图像的检测方法及装置，神经网络的训练方法及装置
CN111275686A (zh) 用于人工神经网络训练的医学图像数据的生成方法及装置
CN111311594A (zh) 一种无参考的图像质量评价方法
CN113077434A (zh) 基于多模态信息的肺癌识别方法、装置及存储介质
CN108830829B (zh) 联合多种边缘检测算子的无参考质量评价算法
CN113269256A (zh) 一种MiSrc-GAN模型的构建方法及应用
CN113158777A (zh) 质量评分方法、质量评分模型的训练方法及相关装置
CN114494973A (zh) 视频语义分割网络的训练方法、系统、设备及存储介质
CN111028940B (zh) 肺结节多尺度检测方法、装置、设备及介质
CN113111885B (zh) 一种动态分辨率实例分割方法及计算机可读存储介质
CN116843684B (zh) 一种基于动态视觉内容的端到端的全景图像质量评价方法
CN110852443B (zh) 特征稳定性检测方法、设备及计算机可读介质
CN109800820A (zh) 一种基于超声造影图像均匀程度的分类方法
Wu et al. Joint manipulation trace attention network and adaptive fusion mechanism for image splicing forgery localization
CN115239655A (zh) 一种甲状腺超声影像肿瘤分割分类方法及装置
CN115689981A (zh) 基于信息融合的肺部图像检测方法、装置及存储介质
CN114359815A (zh) 一种快速审核视频内容的处理方法
CN112418020A (zh) 一种基于注意力机制的YOLOv3违法广告牌智能检测方法
Li et al. Learning a blind quality evaluator for UGC videos in perceptually relevant domains
CN115689648B (zh) 应用于定向投放的用户信息处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200616

WW01 Invention patent application withdrawn after publication