CN107018410A - 一种基于预注意机制和空间依赖性的无参考图像质量评价方法 - Google Patents

一种基于预注意机制和空间依赖性的无参考图像质量评价方法 Download PDF

Info

Publication number
CN107018410A
CN107018410A CN201710323747.4A CN201710323747A CN107018410A CN 107018410 A CN107018410 A CN 107018410A CN 201710323747 A CN201710323747 A CN 201710323747A CN 107018410 A CN107018410 A CN 107018410A
Authority
CN
China
Prior art keywords
information
tone
gray
image
reference picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710323747.4A
Other languages
English (en)
Other versions
CN107018410B (zh
Inventor
刘利雄
王天舒
黄华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201710323747.4A priority Critical patent/CN107018410B/zh
Publication of CN107018410A publication Critical patent/CN107018410A/zh
Application granted granted Critical
Publication of CN107018410B publication Critical patent/CN107018410B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种图像质量评价方法，特别涉及一种基于预注意机制和空间依赖性的无参考图像质量评价方法，属于图像分析领域。本方法首先将输入图像分解为彩色信息和灰度信息，其中彩色信息通过SCIELAB颜色空间变换得到，同时应用尺度空间对灰度信息做进一步的处理。其次，应用灰度色调共生矩阵从这两部分信息中提取特征向量。然后，利用支持向量机和BP神经网络分别对特征进行训练，得到预测模型，应用预测模型和测试及对应的特征向量，进行质量预测和评估。本方法具有主观一致性高，数据库独立性高，稳定性高的特点，可以嵌入到图像/视频处理相关的应用系统中，具有很强的应用价值。

Description

一种基于预注意机制和空间依赖性的无参考图像质量评价 方法
技术领域
本发明涉及一种图像质量评价方法，特别涉及一种基于预注意机制和空间依赖性的无参考图像质量评价方法，属于图像分析领域。
背景技术
近些年来，随着科学技术的发展，图像产生和传播的成本变得越来越低，这使得图像作为一种优秀的信息传播的媒介，在我们的日常生活中变得越来越普遍，越来越不可缺少。然而，图像在场景采集、编码、网络传输、解码、后期处理、压缩存储和放映的各个阶段都会不可避免的引入失真，例如，在场景采集过程中由于设备参数设定、镜头晃动等因素引起的模糊失真；图像压缩存储引起的压缩失真等等。而失真的引入则会大大降低人们的视觉体验，严重的还会影响到人们的身心健康。如何遏制低质量图像的传播，保证人们的视觉体验，成为了一个亟待解决的问题。
使图像产生和传播的媒体具有自动评价图像质量高低的能力，从而改善媒体输出端图像的质量，对于解决这个问题具有重要意义。
综上所述，对于客观无参考图像质量评价模型的研究具有重要的理论价值和现实意义。本发明提出了一种基于预注意机制和空间依赖性的无参考图像质量评价方法，其参考的已有理论和技术为Treisman等人提出的特征融合理论以及Haralick等人提出的灰度色调共生矩阵。
(一)特征融合理论
Treisman等人提出了特征融合理论，对早期视觉感知过程醉了分析和总结。该理论将人的视觉感知过程分为两个阶段：预注意阶段和注意阶段。在预注意阶段，人眼的感知系统会首先生成当前感知场景的一幅模糊的概略图，这幅模糊图主要包含了感知场景的一些基本的信息，包括结构信息，颜色信息，灰度信息以及方向信息等。这副模糊图会为后续的感知过程提供一些先验知识。而更细节的，更复杂的感知活动会在注意阶段完成。
(二)灰度色调共生矩阵
Haralick等人在对图像分类等问题进行了研究的基础上，提出了灰度色调共生矩阵，用于捕捉图像中的各像素点之间的空间相关性以及统计特性。灰度色调共生矩阵的数学表示如下：
其中，Qθ，d(i,j)代表方向参数为θ，距离参数为d的灰度色调共生矩阵，代表与角度为θ，距离为d的点。
灰度色调共生矩阵实际上是对图像中具有特定空降关系的像素对个数的统计，为了将二维的矩阵转化为一维的特征表示，Haralick等人还提出了14个特征描述符，这里列出本发明中应用到的四个特征描述符的数学表示：
其中，R代表输入图像的值空间大小。CON代表对比度，是对点对之间相关性的表征，通常用于描述图像纹理的清晰程度；ASM代表角二阶矩，反映了图像的均匀程度和纹理的粗细程度；ENT代表熵，是对图像纹理强度的表征；IDM代表逆差矩，反映了图像中纹理的规则程度。
发明内容
本发明的目的是为了解决无参考图像质量评价中人眼视觉感知系统模拟方法不够完善，对图像中颜色信息的利用不充分，主观一致性差，数据库独立性差，算法稳定性差等问题。
本发明方法是通过以下技术方案实现的：
一种基于预注意机制和空间依赖性的无参考图像质量评价方法，其具体步骤如下：
步骤一、将输入的待测图像分解为颜色信息和灰度信息两部分，其中颜色信息采用SCIELAB颜色空间变换得到；
步骤二、应用尺度空间对灰度信息做处理，处理
方法如下：
其中，(x,y)为坐标，I(x,y)代表灰度图中的像素，g(x,y；σ)代表高斯核函数，σ是它的标准差，S(x,y；σ)代表尺度空间处理后的灰度图。原始灰度图以及尺度空间处理后的灰度图都将用于后续的特征提取。
步骤三、计算彩色信息图和灰度信息图的灰度色调共生矩阵，完成特征提取，灰度色调共生矩阵的计算方法如下：
其中，Qθ,d(i,j)代表方向参数为θ，距离参数为d的灰度色调共生矩阵，与均代表图中的点，代表与角度为θ，距离为d的点；
特征描述符的计算方法如下：
其中，R代表输入图像的值空间大小。CON代表对比度，是对点对之间相关性的表征，通常用于描述图像纹理的清晰程度；ASM代表角二阶矩，反映了图像的均匀程度和纹理的粗细程度；ENT代表熵，是对图像纹理强度的表征；IDM代表逆差矩，反映了图像中纹理的规则程度。
步骤四、采用步骤一，步骤二和步骤三的方法对数据库中的每一幅彩色图像进行处理，即可得到每一幅彩色图像对应的质量特征向量；在此基础上利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数，机器学习的方法包括采用支持向量机(SVR)，神经网络等机器学习方法；进而利用现有的算法性能指标(SRCC、KRCC等)对算法的优劣进行评估。
有益效果
本发明提出的基于预注意机制和空间依赖性的无参考图像质量评价方法，与已有技术相比具有主观一致性高，数据库独立性高，算法稳定性高等特点；可以与图像/视频处理相关应用系统协同使用，可以嵌入实际的应用系统(比如视频的放映系统、网络传输系统等)中，实时的监控图像/视频的质量；可以用于评价各种图像/视频处理算法、工具(比如立体图像的压缩编码、图像/视频采集工具等)的优劣；可以用于图像/视频作品的质量审核，防止劣质图像制品危害观众的身心健康。
附图说明
图1是本发明的基于预注意机制和空间依赖性的无参考图像质量评价方法的流程图；
图2是本发明以及其他2D质量评价方法在LIVE数据上进行测试的盒形图。
具体实施方式
下面结合附图和具体实施例对本发明方法的实施方式做详细的说明。
实施例
本方法的流程如图1所示，具体实施过程为：
根据步骤一、将输入的待测图像分解为颜色信息和灰度信息两部分，其中颜色信息采用SCIELAB颜色空间变换得到，经过变换之后会得到彩色信息图A和B。
根据步骤二、应用尺度空间对灰度信息做处理，计算方法如下：
其中，(x,y)为坐标，I(x,y)代表灰度图中的像素，g(x,y；σ)代表高斯核函数，σ是它的标准差，S(x,y；σ)代表尺度空间处理后的灰度图。原始灰度图以及尺度空间处理后的灰度图都将用于后续的特征提取。
根据步骤三、对步骤一和步骤二中得到的四张信息图，计算其灰度色调共生矩阵
灰度色调共生矩阵的计算方法如下：
其中，Qθ,d(i,j)代表方向参数为θ，距离参数为d的灰度色调共生矩阵，代表与角度为θ，距离为d的点。在本发明中，方向参数设置为θ＝(0°，45°，90°，135°)，距离参数设置为d＝1。
在计算得到灰度色调共生矩阵后，要从每个灰度色调共生矩阵提取特征描述符，完成特征提取。
特征描述符的计算方法如下：
其中，R代表输入图像的值空间大小。
根据步骤四、采用步骤一，步骤二和步骤三的方法对数据库中的每一幅彩色图像进行处理，计算得到每一幅彩色图像对应的质量特征向量；然后利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数，机器学习的方法包括采用支持向量机(SVR)，神经网络等机器学习方法；进而利用现有的算法性能指标(SRCC、KRCC等)对算法的优劣进行评估。
我们在四个图像质量评价数据库上实施了我们的算法，包括LIVE,TID2013,CSIQ,VLC。这些数据库的基本信息列举在了表一中。同时，我们选取了八种算法公开，性能优秀的质量评价算法与我们的方法进行比较，包括三种全参考算法：PSNR,SSIM,VIF。五种无参考算法：SSEQ,GWH-GLBP,DIIVINE,BRISQUE,BIQA。为了消除训练数据和随机性的影响，我们在数据库上进行了1000次80％训练-20％测试的重复试验，即80％的数据用于训练，剩下的20％的数据用于测试，训练数据和测试数据不存在内容的重叠。最后利用现有的算法性能指标(1000次重复试验SRCC,KRCC,PLCC,RMSE的中值)对算法的优劣进行评估，实验结果见表二。
表一数据库基本信息
结合附图2，可以看出，本发明提出的算法在四个数据库的测试中，不仅表现出了比其他无参考图像质量评价算法更优秀的主观一致性和稳定性，在LIVE和TID2013数据库上，甚至优于全参考的质量评价方法。
表二四个数据库上算法性能比较

Claims (3)

1.一种基于预注意机制和空间依赖性的无参考图像质量评价方法，其特征在于：
步骤一、将输入的待测图像分解为颜色信息和灰度信息两部分，其中颜色信息采用SCIELAB颜色空间变换得到；
步骤二、应用尺度空间对灰度信息做处理；
步骤三、计算彩色信息图和灰度信息图的灰度色调共生矩阵，完成特征提取；
步骤四、采用步骤一，步骤二和步骤三的方法对数据库中的每一幅彩色图像进行处理，即可得到每一幅彩色图像对应的质量特征向量；在此基础上利用基于学习的机器学习方法，在训练集上进行训练，在测试集上进行测试，把质量特征向量映射为对应的质量分数，进而利用现有的算法性能指标对算法的优劣进行评估。
2.如权利要求1所述的一种基于预注意机制和空间依赖性的无参考图像质量评价方法，其特征在于应用尺度空间对灰度信息做处理，处理方法为：
其中，为坐标，代表灰度图中的像素，代表高斯核函数，是它的标准差，代表尺度空间处理后的灰度图。
3.如权利要求1所述的一种基于预注意机制和空间依赖性的无参考图像质量评价方法，其特征在于计算彩色信息图和灰度信息图的灰度色调共生矩阵，完成特征提取，灰度色调共生矩阵的计算方法如下：
其中，Qθ,d(i,j)代表方向参数为θ，距离参数为d的灰度色调共生矩阵，与均代表图中的点，代表与角度为θ，距离为d的点。
CN201710323747.4A 2017-05-10 2017-05-10 一种基于预注意机制和空间依赖性的无参考图像质量评价方法 Active CN107018410B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710323747.4A CN107018410B (zh) 2017-05-10 2017-05-10 一种基于预注意机制和空间依赖性的无参考图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710323747.4A CN107018410B (zh) 2017-05-10 2017-05-10 一种基于预注意机制和空间依赖性的无参考图像质量评价方法

Publications (2)

Publication Number Publication Date
CN107018410A true CN107018410A (zh) 2017-08-04
CN107018410B CN107018410B (zh) 2019-02-15

Family

ID=59448877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710323747.4A Active CN107018410B (zh) 2017-05-10 2017-05-10 一种基于预注意机制和空间依赖性的无参考图像质量评价方法

Country Status (1)

Country Link
CN (1) CN107018410B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754390A (zh) * 2018-12-11 2019-05-14 西北大学 一种基于混合视觉特征的无参考图像质量评价方法
CN110070539A (zh) * 2019-04-28 2019-07-30 重庆大学 基于信息熵的图像质量评价方法
CN110097019A (zh) * 2019-05-10 2019-08-06 腾讯科技（深圳）有限公司 字符识别方法、装置、计算机设备以及存储介质
CN113435515A (zh) * 2021-06-29 2021-09-24 青岛海尔科技有限公司 图片识别方法和装置、存储介质及电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214298A (zh) * 2011-06-20 2011-10-12 复旦大学 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法
CN102421007A (zh) * 2011-11-28 2012-04-18 浙江大学 基于多尺度结构相似度加权综合的图像质量评价方法
CN103996192A (zh) * 2014-05-12 2014-08-20 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN104243973A (zh) * 2014-08-28 2014-12-24 北京邮电大学 基于感兴趣区域的视频感知质量无参考客观评价方法
CN104376529A (zh) * 2014-11-25 2015-02-25 深圳北航新兴产业技术研究院 一种基于glcm的灰度图像彩色化系统和方法
CN105007488A (zh) * 2015-07-06 2015-10-28 浙江理工大学 基于变换域和空间域的通用无参考图像质量评价方法
CN106303507A (zh) * 2015-06-05 2017-01-04 江苏惠纬讯信息科技有限公司 基于时空联合信息的无参考视频质量评估方法
CN106600597A (zh) * 2016-12-22 2017-04-26 华中科技大学 一种基于局部二值模式的无参考彩色图像质量评价方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102214298A (zh) * 2011-06-20 2011-10-12 复旦大学 基于选择性视觉注意机制的遥感图像机场目标检测与识别方法
CN102421007A (zh) * 2011-11-28 2012-04-18 浙江大学 基于多尺度结构相似度加权综合的图像质量评价方法
CN103996192A (zh) * 2014-05-12 2014-08-20 同济大学 基于高质量自然图像统计量模型的无参考图像质量评价方法
CN104243973A (zh) * 2014-08-28 2014-12-24 北京邮电大学 基于感兴趣区域的视频感知质量无参考客观评价方法
CN104376529A (zh) * 2014-11-25 2015-02-25 深圳北航新兴产业技术研究院 一种基于glcm的灰度图像彩色化系统和方法
CN106303507A (zh) * 2015-06-05 2017-01-04 江苏惠纬讯信息科技有限公司 基于时空联合信息的无参考视频质量评估方法
CN105007488A (zh) * 2015-07-06 2015-10-28 浙江理工大学 基于变换域和空间域的通用无参考图像质量评价方法
CN106600597A (zh) * 2016-12-22 2017-04-26 华中科技大学 一种基于局部二值模式的无参考彩色图像质量评价方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
周燕等: "基于二维压缩感知和分层特征的图像检索算法", 《电子学报》 *
桑庆兵等: "基于灰度共生矩阵的无参考模糊图像质量评价方法", 《模式识别与人工智能》 *
陈嘉威: "视觉注意计算模型的研究及其应用", 《中国博士学位论文全文数据库（信息科技辑）》 *
黄令允: "基于自适应阈值的SIFT算法研究及应用", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754390A (zh) * 2018-12-11 2019-05-14 西北大学 一种基于混合视觉特征的无参考图像质量评价方法
CN109754390B (zh) * 2018-12-11 2023-04-07 西北大学 一种基于混合视觉特征的无参考图像质量评价方法
CN110070539A (zh) * 2019-04-28 2019-07-30 重庆大学 基于信息熵的图像质量评价方法
CN110097019A (zh) * 2019-05-10 2019-08-06 腾讯科技（深圳）有限公司 字符识别方法、装置、计算机设备以及存储介质
CN110097019B (zh) * 2019-05-10 2023-01-10 腾讯科技（深圳）有限公司 字符识别方法、装置、计算机设备以及存储介质
CN113435515A (zh) * 2021-06-29 2021-09-24 青岛海尔科技有限公司 图片识别方法和装置、存储介质及电子设备
CN113435515B (zh) * 2021-06-29 2023-12-19 青岛海尔科技有限公司 图片识别方法和装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN107018410B (zh) 2019-02-15

Similar Documents

Publication Publication Date Title
CN108428227B (zh) 基于全卷积神经网络的无参考图像质量评价方法
CN103996192B (zh) 基于高质量自然图像统计量模型的无参考图像质量评价方法
He et al. Sparse representation for blind image quality assessment
CN101562675B (zh) 基于Contourlet变换的无参考型图像质量评测方法
CN104023230B (zh) 一种基于梯度关联性的无参考图像质量评价方法
CN104658001B (zh) 一种无参考非对称失真立体图像客观质量评价方法
CN105407349B (zh) 基于双目视觉感知的无参考立体图像质量客观评价方法
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
CN101950422B (zh) 一种基于奇异值分解的图像质量评价方法
CN107018410A (zh) 一种基于预注意机制和空间依赖性的无参考图像质量评价方法
CN104376565B (zh) 基于离散余弦变换和稀疏表示的无参考图像质量评价方法
CN106600597A (zh) 一种基于局部二值模式的无参考彩色图像质量评价方法
CN105744256A (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN102945552A (zh) 基于自然场景统计中稀疏表示的无参考图像质量评价方法
CN110516716A (zh) 基于多分支相似度网络的无参考图像质量评价方法
CN107635136A (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN104954778A (zh) 一种基于感知特征集的立体图像质量客观评价方法
Geng et al. A stereoscopic image quality assessment model based on independent component analysis and binocular fusion property
CN104036493A (zh) 一种基于多重分形谱的无参考图像质量评价方法
CN102722888A (zh) 基于生理与心理立体视觉的立体图像客观质量评价方法
CN106504230A (zh) 基于相位一致性的全参考彩色屏幕图像质量评估方法
CN108805825A (zh) 一种重定位图像质量评价方法
CN104902268A (zh) 基于局部三元模式的无参考立体图像客观质量评价方法
Lu et al. Point cloud quality assessment via 3D edge similarity measurement
CN114119560A (zh) 图像质量评价方法、系统、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant