CN106651835B - 基于熵的双视点无参考立体图像质量客观评价方法 - Google Patents

基于熵的双视点无参考立体图像质量客观评价方法 Download PDF

Info

Publication number
CN106651835B
CN106651835B CN201610915951.0A CN201610915951A CN106651835B CN 106651835 B CN106651835 B CN 106651835B CN 201610915951 A CN201610915951 A CN 201610915951A CN 106651835 B CN106651835 B CN 106651835B
Authority
CN
China
Prior art keywords
image
entropy
distorted
pair
image pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610915951.0A
Other languages
English (en)
Other versions
CN106651835A (zh
Inventor
杨嘉琛
林彦聪
姜斌
汪亚芳
沈教勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201610915951.0A priority Critical patent/CN106651835B/zh
Publication of CN106651835A publication Critical patent/CN106651835A/zh
Application granted granted Critical
Publication of CN106651835B publication Critical patent/CN106651835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Abstract

本发明涉及一种基于熵的双视点无参考立体图像质量客观评价方法，包括：对失真图像对分别进行二维Gabor滤波，得到左图和右图的加权因子；加权运算，得到失真图像对的视觉感知图；利用K‑SVD进行字典学习；利用OMP法进行稀疏表示，得到相应的系数矩阵C；对视觉感知图像稀疏表示后的系数矩阵C进行求熵操作；利用SVM对图像库中图像对的熵及相应的主观评价值DMOS进行训练，得到相应的熵‑DMOS模型。本发明能够充分考虑双视点特性。

Description

基于熵的双视点无参考立体图像质量客观评价方法
技术领域
本发明属图像处理领域，涉及基于熵的双视点无参考立体图像质量客观评价方法。
背景技术
近年来，三维技术逐渐普及，步入大众生活，为观众带来了更好的视觉体验和临场感，但同时也对立体图像的质量提出了更高的要求。由于立体图像的不恰当处理可能会引起观看者的视觉疲劳与不适，因此十分有必要提出一种统一、客观、有效的立体图像质量评价方法对立体图像质量进行准确的预测。
现有的立体图像质量评价方法主要包括基于平面图像质量参数的评价方法和基于人类视觉基本特性的评价方法两种。但是，基于平面图像质量参数的评价方法没有充分考虑人类视觉特性，缺少对立体信息有效利用，因而难以投入实践。现有的基于人类视觉基本特性的评价方法中最重要的一步是立体匹配，但是如何有效地提取立体信息，合理地进行匹配，仍然是立体图像领域关注的焦点。因此，很有必要建立一个以立体图像基本信息为基础，又充分考虑人类视觉特性的立体图像质量客观评价方法。
此外，鉴于现有的立体图像质量评价方法需要原始的参考图像作为评价依据，因此具有很大的局限性，所以无参考(即不需要原始的参考图像对做评价依据)立体图像质量评价方法应运而生。
发明内容
本发明的目的在于克服现有技术的上述不足，提供一种能够充分考虑双视点特性的无参考立体图像质量客观评价方法；本发明的技术方案如下：
一种基于熵的双视点无参考立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：模拟人类视觉特性，对失真图像对的左图和右图分别进行二维Gabor滤波，得到左图和右图的加权因子:WL(x,y)和WR((x+d),y)，其中，(x,y)为像素点坐标，d表示对右图进行视差补偿的像素点横坐标差值；
第二步：将失真图像对(tl,tr)进行加权运算，得到失真图像对的视觉感知图V(x,y)；
第三步：利用奇异值分解算法K-SVD进行字典学习；
第四步：利用正交匹配追踪算法OMP对V(x,y)进行稀疏表示，得到相应的系数矩阵C；
第五步：对视觉感知图像V(x,y)稀疏表示后的系数矩阵C进行求熵操作，得到其熵E；
第六步：对立体图像库中的每一组失真图像对进行第一步至第五步操作，设立体图像库中有Q组立体图像对，可以得到Q组图像对各自的熵E；
第七步：利用支持向量机SVM对图像库中图像对的熵及相应的主观评价值(DMOS)进行训练，具体如下，随机选择Q×80％幅图像对的熵和DMOS用于训练，得到相应的熵-DMOS模型；
第八步：对任意一组失真图像对，进行第一步至第五步操作，得到对应的熵；根据第七步中得到的熵-DMOS模型，利用SVM对该图像对的客观预测值进行预测，到最终的客观预测值。
本发明所提出的立体图像客观质量评价方法以视觉感知图像的熵为基础，通过稀疏表示的方式，把熵与视觉感知过程相结合，充分模拟了立体图像主观评价的过程，得到的立体图像质量客观评价结果与主观评价结果具有很高的一致性，能够较为准确的反映图像的质量。
附图说明
图1本发明的流程图。
具体实施方式
基于熵的双视点无参考立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：模拟人类视觉特性，对失真图像对(tl,tr)的左图和右图分别进行二维Gabor滤波，得到相应的能量响应，并进行卷积和处理，经归一化运算分别后得到左图和右图的加权因子:WL(x,y)和WR((x+d),y)，其中，(x,y)为像素点坐标，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；计算方法如下
(1)二维Gabor滤波器为：
Figure BDA0001135066570000031
其中，G(x,y,σx,σy,ζx,ζy,θ)是Gabor滤波器的响应值，x,y,σx,σy,ζx,ζy,θ分别代表Gabor滤波器的x方向、y方向、椭圆高斯包络沿x方向的标准差、椭圆高斯包络沿y方向的标准差、x方向的频率、y方向的频率和相位角，R1＝xcosθ+ysinθ，R1＝xcosθ+ysinθ；
(2)Gabor滤波器的能量响应是以3.67次/度的空间频率循环，叠加滤波器沿水平、竖直和两个对角线方向的幅度响应得到的；
(3)能量响应经卷积和计算后得到GEL(x,y)与GER(x,y)，并进行视差补偿得到GER((x+d),y)，其中，(x+d)表示视差补偿，d表示对右图进行视差补偿的像素点横坐标差值；
(4)经公式(2)和(3)所定义的归一化运算得到左图和右图的加权因子WL(x,y)和WR((x+d),y)。
Figure BDA0001135066570000032
Figure BDA0001135066570000033
第二步：将失真图像对为左右图(tl,tr)进行加权运算，得到失真图像对的视觉感知图V(x,y)，计算如公式(4)所示；
V(x,y)＝WL(x,y)×tl(x,y)+WR(x+d,y)×tr((x+d),y) (4)
第三步：字典学习。选取P幅m×n尺寸无失真的平面参考图像，每个图像分割为8×8的图像块M＝[m/8]×[n/8]个，其中[x]表示不大于x的最大整数。并将每个8×8的图像块按列排成一列，标记为xi(64×1)。这样每个无失真参考图像都可以转换为(64×1)×M的二维矩阵。P幅无失真平面参考图像通过上述处理，可以得到一个64×(M×P)的二维矩阵。随后，根据如下公式，可以求得相应的字典D。
Figure BDA0001135066570000034
在求解的过程中，字典的求解利用K-SVD(奇异值分解)算法，迭代次数设置为40次，字典稀疏基(原子)的数目为256。
第四步：对失真图像对的视觉感知图V(x,y)进行稀疏表示。假定V(x,y)大小为m×n。利用第三步中得到的字典D，对V(x,y)进行稀疏表示，求得相应的系数矩阵C。此过程中，采用的算法是OMP(正交匹配追踪)算法，迭代次数为14次。每组失真图相对的左(右)图系数矩阵的大小为256×([m/8]×[n/8])×14的三维矩阵。
第五步：对视觉感知图像V(x,y)稀疏表示后的系数矩阵C进行求熵操作，得到其熵E。具体操作如下：
用
Figure BDA0001135066570000041
代表稀疏表示第i(1≤i≤14)次迭代中，第j(1≤j≤256)个稀疏基中系数的具体值。
Figure BDA0001135066570000042
对应概率分布函数如下：
Figure BDA0001135066570000043
根据香农公式，其熵如下：
Figure BDA0001135066570000044
其中，k是稀疏基的个数，本发明中k＝256。按照上述操作，求得V(x,y)的熵E，E为1×14的行向量。
第六步：对立体图像库中的每一组失真图像对进行第一步至第五步操作。假定立体图像库中有Q组立体图像对，可以得到Q组图像对各自的熵。
第七步：利用支持向量机(SVM)对图像库中图像对的熵及相应的主观评价值(DMOS)进行训练。具体如下，随机选择Q×80％幅图像对的熵和DMOS用于训练，得到相应的熵-DMOS模型。
第八步：对任意一组失真图像对，进行第一步至第六步操作，得到对应的熵。根据第七步中得到的熵-DMOS模型，利用SVM对该图像对的客观值进行预测，到最终的客观预测值。

Claims (1)

1.一种基于熵的双视点无参考立体图像质量客观评价方法，每个失真立体图像对由左图和右图组成，设失真图像对为(tl,tr)，包括以下步骤：
第一步：模拟人类视觉特性，对失真图像对的左图和右图分别进行二维Gabor滤波，得到左图和右图的加权因子:WL(x,y)和WR((x+d),y)，其中，(x,y)为像素点坐标，d表示对右图进行视差补偿的像素点横坐标差值；
第二步：将失真图像对(tl,tr)进行加权运算，得到失真图像对的视觉感知图V(x,y)：
V(x,y)＝WL(x,y)×tl(x,y)+WR(x+d,y)×tr((x+d),y)
第三步：利用奇异值分解算法K-SVD进行字典学习；
第四步：利用正交匹配追踪算法OMP对V(x,y)进行稀疏表示，得到相应的系数矩阵C；
第五步：对视觉感知图像V(x,y)稀疏表示后的系数矩阵C进行求熵操作，得到其熵：
Figure FDA0002117710710000011
k是稀疏基的个数，
Figure FDA0002117710710000012
Figure FDA0002117710710000013
代表稀疏表示第i次迭代中，第j个稀疏基中系数的具体值；式中，
第六步：对立体图像库中的每一组失真图像对进行第一步至第五步操作，设立体图像库中有Q组立体图像对，可以得到Q组图像对各自的熵；
第七步：利用支持向量机SVM对图像库中图像对的熵及相应的主观评价值进行训练，具体如下，随机选择Q×80％幅图像对的熵和主观评价值用于训练，得到相应的熵-DMOS模型；
第八步：对任意一组失真图像对，进行第一步至第五步操作，得到对应的熵；根据第七步中得到的熵-DMOS模型，利用SVM对该图像对的客观预测值进行预测，到最终的客观预测值。
CN201610915951.0A 2016-10-20 2016-10-20 基于熵的双视点无参考立体图像质量客观评价方法 Active CN106651835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610915951.0A CN106651835B (zh) 2016-10-20 2016-10-20 基于熵的双视点无参考立体图像质量客观评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610915951.0A CN106651835B (zh) 2016-10-20 2016-10-20 基于熵的双视点无参考立体图像质量客观评价方法

Publications (2)

Publication Number Publication Date
CN106651835A CN106651835A (zh) 2017-05-10
CN106651835B true CN106651835B (zh) 2020-03-06

Family

ID=58856292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610915951.0A Active CN106651835B (zh) 2016-10-20 2016-10-20 基于熵的双视点无参考立体图像质量客观评价方法

Country Status (1)

Country Link
CN (1) CN106651835B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107371013B (zh) * 2017-07-12 2019-03-08 天津大学 基于色相角和差通道的立体图像质量评价方法
CN109272479B (zh) * 2017-07-12 2021-11-02 天津大学 基于立体感知特性的立体图像质量评价方法
CN107360416A (zh) * 2017-07-12 2017-11-17 天津大学 基于局部多元高斯描述子的立体图像质量评价方法
CN109257591A (zh) * 2017-07-12 2019-01-22 天津大学 基于稀疏表示的无参考立体视频质量客观评价方法
CN107371016A (zh) * 2017-07-25 2017-11-21 天津大学 基于非对称失真的无参考3d立体图像质量评价方法
CN114648482A (zh) * 2020-12-19 2022-06-21 中国科学院深圳先进技术研究院 立体全景图像的质量评价方法、系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945552A (zh) * 2012-10-22 2013-02-27 西安电子科技大学 基于自然场景统计中稀疏表示的无参考图像质量评价方法
CN104240248A (zh) * 2014-09-12 2014-12-24 宁波大学 一种无参考立体图像质量客观评价方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102945552A (zh) * 2012-10-22 2013-02-27 西安电子科技大学 基于自然场景统计中稀疏表示的无参考图像质量评价方法
CN104240248A (zh) * 2014-09-12 2014-12-24 宁波大学 一种无参考立体图像质量客观评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Full-referencequalityassessmentofstereopairsaccounting for rivalry;Ming-Jun Chen;《Signal Processing: Image Communication》;20130621;第1143-1155页 *
稀疏表示的无参考图像质量评价方法;桑庆兵;《Journal of Frontiers of Computer Science and Technology》;20160114;第144-154页 *

Also Published As

Publication number Publication date
CN106651835A (zh) 2017-05-10

Similar Documents

Publication Publication Date Title
CN106651835B (zh) 基于熵的双视点无参考立体图像质量客观评价方法
CN106530282B (zh) 基于空域特征的无参考立体图像质量客观评价方法
CN105744256B (zh) 基于图谱视觉显著的立体图像质量客观评价方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
TW202004679A (zh) 影像特徵提取方法及包含其顯著物體預測方法
CN109523513B (zh) 基于稀疏重建彩色融合图像的立体图像质量评价方法
CN105654465B (zh) 一种采用视差补偿视点间滤波的立体图像质量评价方法
CN106023230B (zh) 一种适合变形图像的稠密匹配方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
CN101610425A (zh) 一种评测立体图像质量的方法和装置
CN105282543A (zh) 一种基于立体视觉感知的全盲立体图像质量客观评价方法
CN104036502A (zh) 一种无参考模糊失真立体图像质量评价方法
CN108259893B (zh) 基于双流卷积神经网络的虚拟现实视频质量评价方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
CN104853182A (zh) 基于幅度和相位的立体图像质量客观评价方法
CN106504236B (zh) 基于稀疏表示的无参考立体图像质量客观评价方法
CN110691236B (zh) 一种全景视频质量评价方法
CN103914835A (zh) 一种针对模糊失真立体图像的无参考质量评价方法
CN103745457B (zh) 一种立体图像客观质量评价方法
CN111641822A (zh) 一种重定位立体图像质量评价方法
Li et al. Effective data-driven technology for efficient vision-based outdoor industrial systems
CN105898279A (zh) 一种立体图像质量客观评价方法
CN109257591A (zh) 基于稀疏表示的无参考立体视频质量客观评价方法
CN108648186B (zh) 基于初级视觉感知机制的无参考立体图像质量评价方法
Kim et al. Cnn-based blind quality prediction on stereoscopic images via patch to image feature pooling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant