CN107545570B - 一种半参考图的重构图像质量评价方法 - Google Patents
一种半参考图的重构图像质量评价方法 Download PDFInfo
- Publication number
- CN107545570B CN107545570B CN201710772544.3A CN201710772544A CN107545570B CN 107545570 B CN107545570 B CN 107545570B CN 201710772544 A CN201710772544 A CN 201710772544A CN 107545570 B CN107545570 B CN 107545570B
- Authority
- CN
- China
- Prior art keywords
- histogram
- image
- quality evaluation
- image quality
- reconstructed image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明提供一种半参考图的重构图像质量评价方法,包括以下步骤:通过添加权重改进了传统的EMD算法,将其引入到重构图像的质量评价中,分别提出了基于SIFT特征的局部EMD图像质量评价,基于视觉显著性特征的全局部EMD图像质量评价,最后融合得到一种重构图像质量的整体评价。本发明可应用于视频传输中的数字水印验证、利用辅助通道进行视频质量监控与码流率控制等。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种半参考图的重构图像质量评价方法。
背景技术
随着多媒体技术的发展和普及,图像已经成为信息的一个重要来源,在图像的获取、存储、传输、显示等过程中不可避免地会引入一些干扰因素,如噪声、模糊、块状等。图像质量的好坏已经影响到人们的主观感受和信息的获取,因而迫切需要寻找一种能够度量图像损失量的方法,图像质量评价就是在此基础上发展起来的,主要通过对图像进行特性分析研究,然后评估出图像的失真程度。图像质量评价在图像处理系统中,对于算法分析比较、系统性能评估等方面有着重要的作用。最近,多媒体重构技术在图形和视觉的研究中引起了极大的关注,图像和视频的重构技术在不同显示屏幕上以不同的大小或长宽比来显示原始场景,因此评价重构图像的质量有重要意义。
图像质量评价方法主要分为三种:全参考图、半参考图和无参考图的质量评价方法。全参考图方法在评价失真图像时需要提供一个失真的原始图像,经过二者对比,得到一个对失真图像的评价结果,比如峰值信噪比(PSNR)和结构相似性(SSIM)方法,但在实际应用中往往很难得到无失真的参考图,限制了该方法的推广和应用。
相比较而言,半参考图不需要与原始的图像比较,而只需要将失真图像的某些特征与原始的相同特征进行比较,如视觉信息保真度法,半参考熵差法,半参考SSIM方法等。然而当图像被重构时,一些特征也可能随之改变,如何选择鲁棒性特征描述成了半参考图评价的关键。
无参考图评价方法则完全不需要原始的参考图像,根据失真图像自身特征来估计图像质量,有些方法是面向特定失真类型的,如针对模糊、噪声、块状效应的严重程度进行评价,有些方法先进行失真原因的分类,在进行定量的评价。这三种图像质量评价方法有各自的优缺点,可应用与不同的环境中,经过多年的研究,全参考图评价技术已日趋完善;无参考图的评价尚属于起步摸索的阶段,没有形成完整的体系;而半参考图由于不需要传输原始的参考图,仅仅需要通过辅助通道传输一些特征,有着广阔的应用前景。
发明内容
有鉴于此,本发明的实施例提供了一种完善的半参考图的重构图像质量评价方法。
本发明提供一种半参考图的重构图像质量评价方法,包括以下步骤:
S1,提取参考图像和重构图像中匹配的特征点,基于匹配的特征点获得参考图像的若干图像块和重构图像的若干图像块,对参考图像的图像块对应的直方图添加权重,得到若干参考图像的加权直方图,对重构图像的图像块对应的直方图添加权重,得到若干重构图像的加权直方图;
S2,利用改进的基于权重的EMD(推土机距离,Earth Mover’s Distance)对参考图像的加权直方图和重构图像的加权直方图进行计算,得到局部图像质量评价;
S3,根据视觉注意机制得到参考图像与重构图像的若干显著性特征,将参考图像的显著性特征图转换为参考特征直方图,将重构图像的显著性特征图转换为重构特征直方图,对参考特征直方图添加权重,得到加权参考特征直方图,对重构特征直方图添加权重,得到加权重构特征直方图;
S4,利用改进的基于权重的EMD对加权参考特征直方图和加权重构特征直方图进行计算,得到全局图像质量评价;
S5,融合局部图像质量评价和全局图像质量评价,得到重构图像的整体质量评价。
进一步地,步骤S1中,所述每一图像块对应的直方图中的每一像素点的权重定义为:
式中,d(i)是所述图像块中像素点i与中心点之间的真实距离,S为所述图像块中所有像素点。
进一步地,步骤S2中,所述改进的基于权重的EMD的计算公式为:
式中,IH1和IH2分别是两个标准化所述含权重的直方图。
进一步地,步骤S2中,所述局部图像质量评价的计算公式为:
式中,M是所述匹配特征点的总数,和分别是第i个所述参考图像的加权直方图和重构图像的加权直方图。
进一步地,步骤S3中,所述视觉显著性特征包括:两种颜色对比(红-绿和蓝-黄),两种强度对比(明-暗,暗-明),四个取向特征(上、下、左、右)和两个纹理特征(原始和扩展LBP)。
进一步地,步骤S4中,所述全局图像质量评价的计算公式为:
式中,N是所述显著性特征的总数,和分别是第j个所述加权参考特征直方图和加权重构特征直方图。
进一步地,步骤S5中所述重构图像的整体质量评价的计算公式为:
式中,LEMD为所述局部图像质量评价,GEMD为所述全局图像质量评价。
本发明的实施例提供的技术方案带来的有益效果是:本发明可应用于视频传输中的数字水印验证、利用辅助通道进行视频质量监控与码流率控制等,具有广阔的市场前景。
附图说明
图1是本发明一种半参考图的重构图像质量评价方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地描述。
参考图1,本发明的实施例提供一种半参考图的重构图像质量评价方法,包括以下步骤:
步骤S1,提取参考图像和重构图像中匹配的特征点,基于匹配的特征点获得参考图像的若干图像块和重构图像的若干图像块,对参考图像的图像块对应的直方图添加权重,得到若干参考图像的加权直方图,对重构图像的图像块对应的直方图添加权重,得到若干重构图像的加权直方图。
具体地,步骤S1中,分别提取参考图像中的第一SIFT特征点和重构图像中的第二SIFT特征点,通过特征匹配算法获得第一SIFT特征点与第二SIFT特征点匹配的特征点,然后在每个匹配的特征点周围取一个图像块,考虑到图像块中像素的空间信息,实际上,图像块中心附近的像素比其他像素计算相似度更重要,为了解决这个问题,本发明在不同位置的像素上添加权重,考虑到像素的重要性以及像素和中心点之间的距离成反比,本发明定义权重为图像块中每个像素与中心点之间距离的函数,权重的计算公式为:
式中,d(i)为图像块中像素点i与中心点之间的真实距离,S为图像块中所有像素点,通过权重值对图像直方图的贡献,可以构造加权直方图,然后通过将这些加权直方图应用于EMD,可以更精确地计算两个图像块之间的距离;
步骤S2,利用改进的基于权重的EMD(推土机距离,Earth Mover’s Distance)对参考图像的加权直方图和重构图像的加权直方图进行计算,得到局部图像质量评价。
具体地,得到改进的基于权重的EMD的过程为:
1.1通常,经典EMD是指两个图像直方图之间将一个图像直方图传输到另一个图像直方图的最低成本,给定第一图像直方图H1和第二图像直方图H2,第一图像直方图H1和第二图像直方图H2分别表示为:
式中,n为组距的总组数,i为第一图像直方图H1的组距,j为第二图像直方图H2的组距,为第一图像直方图H1中的图像块,为第二图像直方图H2中的图像块,对于第一图像直方图H1和第二图像直方图H2中的每一对(i,j),通过将图像块移动到使第一图像直方图H1和第二图像直方图H2之间的差别最小,则第一图像直方图H1被转移成与第二图像直方图H2一样的形状,假设另一个组距的总组数为n组的全零直方图T,将组距为i的第一图像直方图H1中移动到组距为j的全零直方图T中的工作量记为数量流fij;
1.2定义第一图像直方图H1与第二图像直方图H2之间的EMD是使全零直方图T与第二图像直方图H2一致性的最小数量流,则第一图像直方图H1与第二图像直方图H2之间的EMD可以表示为:
式中,是组距i与组距j之间的真实距离,di,j=|i-j|;
1.3改进的基于权重的EMD的计算公式为:
式中,IH1和IH2分别是两个标准化含权重的图像直方图。
具体地,步骤S2中,利用改进的基于权重的EMD对参考图像的加权直方图和重构图像的加权直方图进行计算,局部图像质量评价的计算公式为:
式中,M是匹配的特征点的总数,和分别是第i个所述参考图像的加权直方图和重构图像的加权直方图。
步骤S3,根据视觉注意机制得到参考图像与重构图像的若干显著性特征,将参考图像的显著性特征图转换为参考特征直方图,将重构图像的显著性特征图转换为重构特征直方图,对参考特征直方图添加权重,得到加权参考特征直方图,对重构特征直方图添加权重,得到加权重构特征直方图。
具体地,步骤S3中,显著性特征包括两种颜色对比(红-绿和蓝-黄),两种强度对比(明-暗,暗-明),四个取向特征(上,下,左,右)和两个纹理特征(原始和扩展LBP)。
步骤S4,利用改进的基于权重的EMD对加权参考特征直方图和加权重构特征直方图进行计算,得到全局图像质量评价。
在Itti模型中,颜色对比度、亮度对比度和方位被提取作为视觉显著性特征,由于人类对纹理信息很敏感,所以本发明将纹理信息添加到显著性特征中,得出全局图像质量评价GEMD的计算公式为:
式中,N是显著性特征的总数,和分别是第j个所述加权参考特征直方图和加权重构特征直方图。
步骤S5,融合局部图像质量评价和全局图像质量评价,得到重构图像的整体质量评价。
具体地,局部图像质量评价LEMD提出了关于在相应图像块中保留多少结构信息的局部度量,并且全局图像质量评价GEMD提出了关于参考和重构图像之间的视觉显著特征的相似性的全局方法,根据局部图像质量评价LEMD和全局图像质量评价GEMD定义整体质量评价QS,整体质量评价QS的计算公式为:
上式中,QS的值越小,距离越近,两个图像之间越相似。
本发明的实施例提供的技术方案带来的有益效果是:本发明可应用于视频传输中的数字水印验证、利用辅助通道进行视频质量监控与码流率控制等,具有广阔的市场前景。
在不冲突的情况下,本文中上述实施例及实施例中的特征可以相互结合。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种半参考图的重构图像质量评价方法,其特征在于,所述方法包括以下步骤:
S1,提取参考图像和重构图像中匹配的特征点,基于所述匹配的特征点获得参考图像的若干图像块和重构图像的若干图像块,对所述参考图像的图像块对应的直方图添加权重,得到若干参考图像的加权直方图,对所述重构图像的图像块对应的直方图添加权重,得到若干重构图像的加权直方图;
S2,利用改进的基于权重的EMD即推土机距离对所述参考图像的加权直方图和所述重构图像的加权直方图进行计算,得到局部图像质量评价;
S3,根据视觉注意机制得到所述参考图像与所述重构图像的若干显著性特征,将所述参考图像的显著性特征图转换为参考特征直方图,将所述重构图像的显著性特征图转换为重构特征直方图,对所述参考特征直方图添加所述权重,得到加权参考特征直方图,对所述重构特征直方图添加所述权重,得到加权重构特征直方图;
S4,利用改进的基于权重的EMD对所述加权参考特征直方图和所述加权重构特征直方图进行计算,得到全局图像质量评价;
S5,融合所述局部图像质量评价和所述全局图像质量评价,得到重构图像的整体质量评价;
步骤S1中,参考图像和重构图像的每一图像块对应的直方图中的每一像素点的权重定义为:
式中,d(i)是所述图像块中像素点i与中心点之间的真实距离,S为所述图像块中所有像素点;步骤S2中,所述改进的基于权重的EMD的计算公式为:
式中,i为第一图像加权直方图IH1的组距,j为第二图像加权直方图IH2的组距,n为组距的总组数;
步骤S2中,所述局部图像质量评价的计算公式为:
式中,M是所述匹配特征点的总数,和分别是第i个所述参考图像的加权直方图和重构图像的加权直方图;
步骤S4中,所述全局图像质量评价的计算公式为:
式中,N是所述显著性特征的总数,和分别是第j个所述加权参考特征直方图和加权重构特征直方图。
2.如权利要求1所述的一种半参考图的重构图像质量评价方法,其特征在于,步骤S3中,所述视觉显著性特征包括:两种颜色对比即红-绿颜色对比,蓝-黄颜色对比,两种强度对比即明-暗对比,暗-明对比,四个取向特征即上、下、左、右四个取向特征,和两个纹理特征即原始LBP和扩展LBP。
3.如权利要求1所述的一种半参考图的重构图像质量评价方法,其特征在于,步骤S5中,所述重构图像的整体质量评价的计算公式为:
式中,LEMD为所述局部图像质量评价,GEMD为所述全局图像质量评价。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710772544.3A CN107545570B (zh) | 2017-08-31 | 2017-08-31 | 一种半参考图的重构图像质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710772544.3A CN107545570B (zh) | 2017-08-31 | 2017-08-31 | 一种半参考图的重构图像质量评价方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107545570A CN107545570A (zh) | 2018-01-05 |
CN107545570B true CN107545570B (zh) | 2019-11-15 |
Family
ID=60959189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710772544.3A Expired - Fee Related CN107545570B (zh) | 2017-08-31 | 2017-08-31 | 一种半参考图的重构图像质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107545570B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108492289B (zh) * | 2018-03-19 | 2021-09-10 | 上海宝谊图片有限公司 | 一种数码影像质量评价系统 |
CN110827241B (zh) * | 2019-10-21 | 2022-08-12 | 国家广播电视总局广播电视规划院 | 基于颜色失真和对比度增强的低亮度增强图片全参考方法 |
CN111507941B (zh) * | 2020-03-24 | 2023-06-02 | 杭州电子科技大学 | 一种用于美学质量评价的构图表征学习方法 |
CN113139462A (zh) * | 2021-04-23 | 2021-07-20 | 杭州魔点科技有限公司 | 无监督的人脸图像质量评估方法、电子设备和存储介质 |
CN113240659B (zh) * | 2021-05-26 | 2022-02-25 | 广州天鹏计算机科技有限公司 | 一种基于深度学习的心脏核磁共振影像病变结构提取方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103325113B (zh) * | 2013-06-06 | 2016-03-09 | 深圳大学 | 部分参考型图像质量评价方法及装置 |
-
2017
- 2017-08-31 CN CN201710772544.3A patent/CN107545570B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN107545570A (zh) | 2018-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107545570B (zh) | 一种半参考图的重构图像质量评价方法 | |
Alexiou et al. | Towards a point cloud structural similarity metric | |
Liu et al. | Point cloud quality assessment: Dataset construction and learning-based no-reference metric | |
Li et al. | Low-light image and video enhancement using deep learning: A survey | |
Ying et al. | From patches to pictures (PaQ-2-PiQ): Mapping the perceptual space of picture quality | |
Ren et al. | Gated fusion network for single image dehazing | |
Yuan et al. | Image haze removal via reference retrieval and scene prior | |
Wang et al. | Novel spatio-temporal structural information based video quality metric | |
CN107578395B (zh) | 一种基于视觉感知的图像质量评价方法 | |
CN104994375A (zh) | 一种基于立体视觉显著性的立体图像质量客观评价方法 | |
CN105957124B (zh) | 具有重复场景元素的自然图像颜色编辑方法及装置 | |
CN109345502A (zh) | 一种基于视差图立体结构信息提取的立体图像质量评价方法 | |
CN110853027A (zh) | 一种基于局部变动和全局变化的三维合成图像无参考质量评价方法 | |
Li et al. | Predicting the quality of view synthesis with color-depth image fusion | |
CN111709914A (zh) | 一种基于hvs特性的无参考图像质量评价方法 | |
CN112950596A (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
Shi et al. | SISRSet: Single image super-resolution subjective evaluation test and objective quality assessment | |
Wang et al. | Quality assessment for color correction-based stitched images via bi-directional matching | |
Chen et al. | Face super resolution based on parent patch prior for VLQ scenarios | |
CN110415816B (zh) | 一种基于迁移学习的皮肤病临床图像多分类方法 | |
CN108447101A (zh) | 一种基于jnd模型的图像压缩感知方法 | |
Popowicz et al. | Overview of grayscale image colorization techniques | |
Shuang et al. | Algorithms for improving the quality of underwater optical images: A comprehensive review | |
Zhang et al. | Multi-scale attentive feature fusion network for single image dehazing | |
Chang et al. | Image Quality Evaluation Based on Gradient, Visual Saliency, and Color Information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20191115 Termination date: 20200831 |