CN107545570A

CN107545570A - 一种半参考图的重构图像质量评价方法

Info

Publication number: CN107545570A
Application number: CN201710772544.3A
Authority: CN
Inventors: 魏龙生; 孙加乐; 张传科; 刘峰; 刘小波
Original assignee: China University of Geosciences
Current assignee: China University of Geosciences
Priority date: 2017-08-31
Filing date: 2017-08-31
Publication date: 2018-01-05
Anticipated expiration: 2037-08-31
Also published as: CN107545570B

Abstract

本发明提供一种半参考图的重构图像质量评价方法，包括以下步骤：通过添加权重改进了传统的EMD算法，将其引入到重构图像的质量评价中，分别提出了基于SIFT特征的局部EMD图像质量评价，基于视觉显著性特征的全局部EMD图像质量评价，最后融合得到一种重构图像质量的整体评价。本发明可应用于视频传输中的数字水印验证、利用辅助通道进行视频质量监控与码流率控制等。

Description

一种半参考图的重构图像质量评价方法

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种半参考图的重构图像质量评价方法。

背景技术

随着多媒体技术的发展和普及，图像已经成为信息的一个重要来源，在图像的获取、存储、传输、显示等过程中不可避免地会引入一些干扰因素，如噪声、模糊、块状等。图像质量的好坏已经影响到人们的主观感受和信息的获取，因而迫切需要寻找一种能够度量图像损失量的方法，图像质量评价就是在此基础上发展起来的，主要通过对图像进行特性分析研究，然后评估出图像的失真程度。图像质量评价在图像处理系统中，对于算法分析比较、系统性能评估等方面有着重要的作用。最近，多媒体重构技术在图形和视觉的研究中引起了极大的关注，图像和视频的重构技术在不同显示屏幕上以不同的大小或长宽比来显示原始场景，因此评价重构图像的质量有重要意义。

图像质量评价方法主要分为三种：全参考图、半参考图和无参考图的质量评价方法。全参考图方法在评价失真图像时需要提供一个失真的原始图像，经过二者对比，得到一个对失真图像的评价结果，比如峰值信噪比(PSNR)和结构相似性(SSIM)方法，但在实际应用中往往很难得到无失真的参考图，限制了该方法的推广和应用。

相比较而言，半参考图不需要与原始的图像比较，而只需要将失真图像的某些特征与原始的相同特征进行比较，如视觉信息保真度法，半参考熵差法，半参考SSIM方法等。然而当图像被重构时，一些特征也可能随之改变，如何选择鲁棒性特征描述成了半参考图评价的关键。

无参考图评价方法则完全不需要原始的参考图像，根据失真图像自身特征来估计图像质量，有些方法是面向特定失真类型的，如针对模糊、噪声、块状效应的严重程度进行评价，有些方法先进行失真原因的分类，在进行定量的评价。这三种图像质量评价方法有各自的优缺点，可应用与不同的环境中，经过多年的研究，全参考图评价技术已日趋完善；无参考图的评价尚属于起步摸索的阶段，没有形成完整的体系；而半参考图由于不需要传输原始的参考图，仅仅需要通过辅助通道传输一些特征，有着广阔的应用前景。

发明内容

有鉴于此，本发明的实施例提供了一种完善的半参考图的重构图像质量评价方法。

本发明提供一种半参考图的重构图像质量评价方法，包括以下步骤：

S1，提取参考图像和重构图像中匹配的特征点，基于匹配的特征点获得参考图像的若干图像块和重构图像的若干图像块，对参考图像的图像块对应的直方图添加权重，得到若干参考图像的加权直方图，对重构图像的图像块对应的直方图添加权重，得到若干重构图像的加权直方图；

S2，利用改进的基于权重的EMD(推土机距离，Earth Mover’s Distance)对参考图像的加权直方图和重构图像的加权直方图进行计算，得到局部图像质量评价；

S3，根据视觉注意机制得到参考图像与重构图像的若干显著性特征，将参考图像的显著性特征图转换为参考特征直方图，将重构图像的显著性特征图转换为重构特征直方图，对参考特征直方图添加权重，得到加权参考特征直方图，对重构特征直方图添加权重，得到加权重构特征直方图；

S4，利用改进的基于权重的EMD对加权参考特征直方图和加权重构特征直方图进行计算，得到全局图像质量评价；

S5，融合局部图像质量评价和全局图像质量评价，得到重构图像的整体质量评价。

进一步地，步骤S1中，所述每一图像块对应的直方图中的每一像素点的权重定义为：

式中，d(i)是所述图像块中像素点i与中心点之间的真实距离，S为所述图像块中所有像素点。

进一步地，步骤S2中，所述改进的基于权重的EMD的计算公式为：

式中，IH¹和IH²分别是两个标准化所述含权重的直方图。

进一步地，步骤S2中，所述局部图像质量评价的计算公式为：

式中，M是所述匹配特征点的总数，和分别是第i个所述参考图像的加权直方图和重构图像的加权直方图。

进一步地，步骤S3中，所述视觉显著性特征包括：两种颜色对比(红-绿和蓝-黄)，两种强度对比(明-暗，暗-明)，四个取向特征(上、下、左、右)和两个纹理特征(原始和扩展LBP)。

进一步地，步骤S4中，所述全局图像质量评价的计算公式为：

式中，N是所述显著性特征的总数，和分别是第j个所述加权参考特征直方图和加权重构特征直方图。

进一步地，步骤S5中所述重构图像的整体质量评价的计算公式为：

式中，LEMD为所述局部图像质量评价，GEMD为所述全局图像质量评价。

本发明的实施例提供的技术方案带来的有益效果是：本发明可应用于视频传输中的数字水印验证、利用辅助通道进行视频质量监控与码流率控制等，具有广阔的市场前景。

附图说明

图1是本发明一种半参考图的重构图像质量评价方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。

参考图1，本发明的实施例提供一种半参考图的重构图像质量评价方法，包括以下步骤：

步骤S1，提取参考图像和重构图像中匹配的特征点，基于匹配的特征点获得参考图像的若干图像块和重构图像的若干图像块，对参考图像的图像块对应的直方图添加权重，得到若干参考图像的加权直方图，对重构图像的图像块对应的直方图添加权重，得到若干重构图像的加权直方图。

具体地，步骤S1中，分别提取参考图像中的第一SIFT特征点和重构图像中的第二SIFT特征点，通过特征匹配算法获得第一SIFT特征点与第二SIFT特征点匹配的特征点，然后在每个匹配的特征点周围取一个图像块，考虑到图像块中像素的空间信息，实际上，图像块中心附近的像素比其他像素计算相似度更重要，为了解决这个问题，本发明在不同位置的像素上添加权重，考虑到像素的重要性以及像素和中心点之间的距离成反比，本发明定义权重为图像块中每个像素与中心点之间距离的函数，权重的计算公式为：

式中，d(i)为图像块中像素点i与中心点之间的真实距离，S为图像块中所有像素点，通过权重值对图像直方图的贡献，可以构造加权直方图，然后通过将这些加权直方图应用于EMD，可以更精确地计算两个图像块之间的距离；

步骤S2，利用改进的基于权重的EMD(推土机距离，Earth Mover’s Distance)对参考图像的加权直方图和重构图像的加权直方图进行计算，得到局部图像质量评价。

具体地，得到改进的基于权重的EMD的过程为：

1.1通常，经典EMD是指两个图像直方图之间将一个图像直方图传输到另一个图像直方图的最低成本，给定第一图像直方图H¹和第二图像直方图H²，第一图像直方图H¹和第二图像直方图H²分别表示为：

式中，n为组距的总组数，i为第一图像直方图H¹的组距，j为第二图像直方图H²的组距，为第一图像直方图H¹中的图像块，为第二图像直方图H²中的图像块，对于第一图像直方图H¹和第二图像直方图H²中的每一对(i,j)，通过将图像块移动到使第一图像直方图H¹和第二图像直方图H²之间的差别最小，则第一图像直方图H¹被转移成与第二图像直方图H²一样的形状，假设另一个组距的总组数为n组的全零直方图T,将组距为i的第一图像直方图H¹中移动到组距为j的全零直方图T中的工作量记为数量流f_ij；

1.2定义第一图像直方图H¹与第二图像直方图H²之间的EMD是使全零直方图T与第二图像直方图H²一致性的最小数量流，则第一图像直方图H¹与第二图像直方图H²之间的EMD可以表示为：

式中，是组距i与组距j之间的真实距离，d_i,j＝|i-j|；

1.3改进的基于权重的EMD的计算公式为：

式中，IH¹和IH²分别是两个标准化含权重的图像直方图。

具体地，步骤S2中，利用改进的基于权重的EMD对参考图像的加权直方图和重构图像的加权直方图进行计算，局部图像质量评价的计算公式为：

式中，M是匹配的特征点的总数，和分别是第i个所述参考图像的加权直方图和重构图像的加权直方图。

步骤S3，根据视觉注意机制得到参考图像与重构图像的若干显著性特征，将参考图像的显著性特征图转换为参考特征直方图，将重构图像的显著性特征图转换为重构特征直方图，对参考特征直方图添加权重，得到加权参考特征直方图，对重构特征直方图添加权重，得到加权重构特征直方图。

具体地，步骤S3中，显著性特征包括两种颜色对比(红-绿和蓝-黄)，两种强度对比(明-暗，暗-明)，四个取向特征(上，下，左，右)和两个纹理特征(原始和扩展LBP)。

步骤S4，利用改进的基于权重的EMD对加权参考特征直方图和加权重构特征直方图进行计算，得到全局图像质量评价。

在Itti模型中，颜色对比度、亮度对比度和方位被提取作为视觉显著性特征，由于人类对纹理信息很敏感，所以本发明将纹理信息添加到显著性特征中，得出全局图像质量评价GEMD的计算公式为：

式中，N是显著性特征的总数，和分别是第j个所述加权参考特征直方图和加权重构特征直方图。

步骤S5，融合局部图像质量评价和全局图像质量评价，得到重构图像的整体质量评价。

具体地，局部图像质量评价LEMD提出了关于在相应图像块中保留多少结构信息的局部度量，并且全局图像质量评价GEMD提出了关于参考和重构图像之间的视觉显著特征的相似性的全局方法，根据局部图像质量评价LEMD和全局图像质量评价GEMD定义整体质量评价QS，整体质量评价QS的计算公式为：

上式中，QS的值越小，距离越近，两个图像之间越相似。

在不冲突的情况下，本文中上述实施例及实施例中的特征可以相互结合。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种半参考图的重构图像质量评价方法，其特征在于，所述方法包括以下步骤：

S1，提取参考图像和重构图像中匹配的特征点，基于所述匹配的特征点获得参考图像的若干图像块和重构图像的若干图像块，对所述参考图像的图像块对应的直方图添加权重，得到若干参考图像的加权直方图，对所述重构图像的图像块对应的直方图添加权重，得到若干重构图像的加权直方图；

S2，利用改进的基于权重的EMD对所述参考图像的加权直方图和所述重构图像的加权直方图进行计算，得到局部图像质量评价；

S3，根据视觉注意机制得到所述参考图像与所述重构图像的若干显著性特征，将所述参考图像的显著性特征图转换为参考特征直方图，将所述重构图像的显著性特征图转换为重构特征直方图，对所述参考特征直方图添加所述权重，得到加权参考特征直方图，对所述重构特征直方图添加所述权重，得到加权重构特征直方图；

S4，利用改进的基于权重的EMD对所述加权参考特征直方图和所述加权重构特征直方图进行计算，得到全局图像质量评价；

S5，融合所述局部图像质量评价和所述全局图像质量评价，得到重构图像的整体质量评价。

2.如权利要求1所述的一种半参考图的重构图像质量评价方法，其特征在于：步骤S1中，所述每一图像块对应的直方图中的每一像素点的权重定义为：

3.如权利要求1所述的一种半参考图的重构图像质量评价方法，其特征在于：步骤S2中，所述改进的基于权重的EMD的计算公式为：

<mrow> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mrow> <mo>(</mo> <msup> <mi>IH</mi> <mn>1</mn> </msup> <mo>,</mo> <msup> <mi>IH</mi> <mn>2</mn> </msup> <mo>)</mo> </mrow> <mo>=</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </munderover> <mo>|</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>i</mi> </munderover> <msup> <mi>IH</mi> <mn>1</mn> </msup> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>-</mo> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>i</mi> </munderover> <msup> <mi>IH</mi> <mn>2</mn> </msup> <mrow> <mo>(</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow>

式中，IH¹和IH²分别是两个标准化所述含权重的直方图。

4.如权利要求1所述的一种半参考图的重构图像质量评价方法，其特征在于，步骤S2中，所述局部图像质量评价的计算公式为：

<mrow> <mi>L</mi> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>M</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mrow> <mo>(</mo> <msubsup> <mi>IH</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mi>r</mi> <mi>e</mi> <mi>f</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>IH</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mi>r</mi> <mi>e</mi> <mi>t</mi> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow>

5.如权利要求4所述的一种半参考图的重构图像质量评价方法，其特征在于，步骤S3中，所述视觉显著性特征包括：两种颜色对比(红-绿和蓝-黄)，两种强度对比(明-暗，暗-明)，四个取向特征(上、下、左、右)和两个纹理特征(原始和扩展LBP)。

6.如权利要求5所述的一种半参考图的重构图像质量评价方法，其特征在于，步骤S4中，所述全局图像质量评价的计算公式为：

<mrow> <mi>G</mi> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mrow> <mo>(</mo> <msubsup> <mi>IH</mi> <mrow> <mi>f</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mi>r</mi> <mi>e</mi> <mi>f</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>IH</mi> <mrow> <mi>f</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mi>r</mi> <mi>e</mi> <mi>t</mi> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow>

7.如权利要求6所述的一种半参考图的重构图像质量评价方法，其特征在于，步骤S5中，所述重构图像的整体质量评价的计算公式为：

<mrow> <mi>Q</mi> <mi>S</mi> <mo>=</mo> <mi>L</mi> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mo>+</mo> <mi>G</mi> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mo>=</mo> <mfrac> <mn>1</mn> <mi>M</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>M</mi> </munderover> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mrow> <mo>(</mo> <msubsup> <mi>IH</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mi>r</mi> <mi>e</mi> <mi>f</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>IH</mi> <mrow> <mi>p</mi> <mo>,</mo> <mi>i</mi> </mrow> <mrow> <mi>r</mi> <mi>e</mi> <mi>t</mi> </mrow> </msubsup> <mo>)</mo> </mrow> <mo>+</mo> <mfrac> <mn>1</mn> <mi>N</mi> </mfrac> <munderover> <mo>&Sigma;</mo> <mrow> <mi>j</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <mi>E</mi> <mi>M</mi> <mi>D</mi> <mrow> <mo>(</mo> <msubsup> <mi>IH</mi> <mrow> <mi>f</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mi>r</mi> <mi>e</mi> <mi>f</mi> </mrow> </msubsup> <mo>,</mo> <msubsup> <mi>IH</mi> <mrow> <mi>f</mi> <mo>,</mo> <mi>j</mi> </mrow> <mrow> <mi>r</mi> <mi>e</mi> <mi>t</mi> </mrow> </msubsup> <mo>)</mo> </mrow> </mrow>