CN108520510B - 一种基于整体和局部分析的无参考立体图像质量评价方法 - Google Patents

一种基于整体和局部分析的无参考立体图像质量评价方法 Download PDF

Info

Publication number
CN108520510B
CN108520510B CN201810223758.XA CN201810223758A CN108520510B CN 108520510 B CN108520510 B CN 108520510B CN 201810223758 A CN201810223758 A CN 201810223758A CN 108520510 B CN108520510 B CN 108520510B
Authority
CN
China
Prior art keywords
stereo image
quality evaluation
image
overall
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810223758.XA
Other languages
English (en)
Other versions
CN108520510A (zh
Inventor
刘昱
刘明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201810223758.XA priority Critical patent/CN108520510B/zh
Publication of CN108520510A publication Critical patent/CN108520510A/zh
Application granted granted Critical
Publication of CN108520510B publication Critical patent/CN108520510B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于整体和局部分析的无参考立体图像质量评价方法，步骤(1)、利用立体图像的左右视图的视差信息产生反映人眼对立体图像在脑海中成像的感官体验的独眼图；步骤(2)、以立体图像的原始左右视图和产生的独眼图作为整体信息输入，构建一个基于卷积神经网络的整体质量评价模型，得到立体图像的整体质量评价分数；步骤(3)、将立体图像的左右原始视图和产生的独眼图分别分割成重叠的小块作为局部信息输入，构建一个基于卷积神经网络的局部质量评价模型，得到立体图像的局部细节质量评价分数；步骤(4)、得到对失真图片最终的评价结果。与现有技术相比，本发明能够对立体图质量实现与人眼一致的评价效果。

Description

一种基于整体和局部分析的无参考立体图像质量评价方法
技术领域
本发明涉及图像处理、机器学习，图像质量评价等多种领域，特别是涉及一种立体图像质量的评价方法。
背景技术
近年来，得益于互联网、计算机和通信技术的高速发展，人类已经步入了信息化的时代。其中图像作为视觉信息的载体，已经成为人们日常的生活、工作和娱乐中最普遍的信息传播方式。图像相对于文字、声音等信息载体能够给人们提供更加清楚和真实的感官体验。特别是随着3维(Three-Dimensional，3D)显示技术的快速发展，3DTV、3D电影、虚拟现实游戏、远程教育、虚拟视点合成等等已经走进人们日常的生活和娱乐。这些传统视觉领域和3D技术的应用给人们提供了超越以往观看2D图像的体验，提供了更加真实的立体感觉。但是图像在传输和存储的过程中不可避免的会受到损失，从而影响图像的发展和应用。
3D立体图像区别于传统的2D平面图像，立体图像包含平面图像所不具有的视差深度信息。一般来说，3D立体图像是由两台相机模拟人眼的距离拍摄得到分别对应于人的左右眼观测到的两张略有差异的图像组成的。左右两幅视图视差的存在使得图像产生了深度立体信息。人的双眼具有双目视差原理，双目通过左右视点接受来自同一场景的信息，然后在大脑中融合成立体图像。在提供远超过平面图像的体验的同时，观看立体图像对图像的质量要求更高。在观看体验效果差的立体图像，有可能会产生晕眩、恶心难受等现象。所以如何准确的对立体图像的质量进行评估是立体图像应用发展中的一个重要课题。
近年来，深度学习技术逐渐兴起，并在机器视觉的相关领域取得不错的成绩。作为深度学习模型的一种，卷积神经网络(Convolutional Neural Network)是一种端对端的架构，它的输入直接就是原始图像，然后通过深度学习自动提取图像的高维特征信息，最后根据提取到的信息对结果给予准确的预测。将卷积神经网络(Convolutional NeuralNetwork)应用于立体图像的质量评价，避免了人工提取图像特征的难度和复杂度，转而让机器在大量的数据的训练下自动提取图像的特征并生成合适的模型，而提取图像特征恰恰是影响算法最终性能好坏的重要因素，这样不仅大大简化了模型，而且使得最终质量评价结果与主观评价具有更高的一致性。
发明内容
本发明的目的是提出一种基于整体和局部分析的无参考立体图像质量评价方法，利用原始左右视图生成可以反映人眼对立体图像的立体体验的独眼图，使用卷积神经网络分别从整体和局部对失真的立体图像进行评价，得到与人眼的主观评价具有更高的一致性。
本发明提出的一种基于整体和局部分析的无参考立体图像质量评价方法，该方法包括以下步骤：
步骤1、利用立体图像的左右视图的视差信息产生反映人眼对立体图像在脑海中成像的感官体验的独眼图，计算公式如下：
CI(x,y)＝WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y)
其中，CI(x,y)表示生成的独眼图在(x，y)处的像素值，IL和IR分别表示立体图像的左右视图，d表示立体图像的左视图相对于右视图的视差图在(x，y)处的数值，WL和WR则分别表示对左右视图取的权重，左右权重通过计算归一化Gabor滤波能量响应幅值得到，计算公式如下：
Figure GDA0003154228200000031
Figure GDA0003154228200000032
其中，GEL(x,y)和GER((x+d),y)分别表示左右视图在所有尺寸和方向上的能量响应值；
步骤2、以立体图像的原始左右视图和产生的独眼图作为整体信息输入，构建一个基于Wi的整体质量评价模型，对立体图像的整体体验做出质量评价，得到立体图像的整体质量评价分数，模型表达式如下；
Fi(x)＝max(0,Wi*x+bi)
Mg＝F5…F1(x)
其中，Wi表示卷积神经网络第i层的权重参数，bi表示卷积神经网络第i层的偏置项参数，x为输入，Fi(x)表示卷积神经网络第i层的输出，经过五层网络结构得到最终的输出：即整体感知质量分数Mg；
步骤3、将立体图像的左右原始视图和产生的独眼图分别分割成重叠的小块作为局部信息输入，构建一个基于卷积神经网络的局部质量评价模型，对立体图像的局部细节体验做出质量评价，将得到的各个小块的质量分数取平均得到立体图像的局部细节质量评价分数，表达式公式如下；
Fi(x)＝max(0,Wi*x+bi)
Mli＝F5…F1(xi)
Figure GDA0003154228200000033
其中，Wi表示卷积神经网络第i层的权重参数，bi表示卷积神经网络第i层的偏置项参数，x为输入，Fi(x)表示卷积神经网络第i层的输出，经过五层网络结构得到最终的输出：即800个重叠小块质量分数M1i取平均得到的最终局部感知质量分数Ml；
步骤(4)、根据步骤(2)和步骤(3)得到的整体质量评价分数和局部细节质量评价分数取平均，计算公式如下：
Figure GDA0003154228200000041
其中，M表示最终的客观质量评价分数，Mg表示整体感官评价分数，Ml表示局部细节感官评价分数；
得到对失真图片最终的评价结果。
与现有技术相比，本发明能够对立体图质量实现与人眼一致的评价效果。
附图说明
图1为本发明整体和局部分析的无参考立体图像质量评价方法流程图；
图2为立体图像质量评价的卷积神经网络结构图。
具体实施方式
下面将结合附图对本发明的实施方式作进一步的详细描述。
本发明的整体思路是利用立体图像的左右视图的视差信息产生可以反映人眼对立体图像在脑海中成像的感官体验的独眼图，然后分别从人眼对立体图像的整体感受和局部细节的感受两个角度建立深度学习网络模型对立体图像的质量做出评价，最后将整体和局部得到的质量评价分数取平均得到对失真立体图像最终的评价结果。具体流程通过以下几个主要步骤实现：
第一步，选择图像库LIVE3D_phase1和LIVE3D_phase2中的图像作为实验样本，首先利用原始的左右视图产生可以反映人眼对立体图像在脑海中成像的感官体验的独眼图，计算公式如下：
CI(x,y)＝WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y)
其中，CI(x,y)表示可以反映人眼对立体图像在脑海中成像的感官体验的独眼图，(CI是Cyclopean Image的缩写，表示最终生成的独眼图像，CI(x,y)表示生成的独眼图在(x,y)处的像素值)，IL和IR分别表示立体图像的左右视图，d表示立体图像的左视图相对于右视图的视差图在(x,y)处的数值，WL和WR则分别表示对左右视图取的权重，左右权重通过计算归一化Gabor滤波能量响应幅值得到，计算公式如下：
Figure GDA0003154228200000051
Figure GDA0003154228200000052
其中，GEL(x,y)和GER((x+d),y)分别表示左右视图在所有尺寸和方向上的能量响应值；
第二步，对原始的左右视图以及上述独眼图进行预处理：选择适当大小的归一化区域，求取该区域图像像素灰度值的均值以及方差，最后对该区域的像素灰度值进行去除均值以及除以方差的操作，使得该区域的像素灰度值
Figure GDA0003154228200000053
呈现出均值为零、方差为1的高斯分布特征：
Figure GDA0003154228200000054
Figure GDA0003154228200000055
Figure GDA0003154228200000061
其中，I(i,j)表示需要预处理图片(i,j)位置的像素值，p,q表示局部归一化操作时的归一化区域尺寸的大小(这里取值为3)，C表示一个整数，用来防止灰度值
Figure GDA0003154228200000063
计算公式的分母趋向于0；μ(i,j)表示归一化区域像素灰度值的均值，σ(i,j)表示归一化区域像素灰度值的方差；
第三步，将原始的左右视图以及独眼图作为整体信息输入如图2所示的3通道的卷积神经网络；因为对于立体图像来说，失真包括对称失真和非对称失真两大类，所以为了保证训练样本的完备性，使用LIVE3D_phase2(对称失真图片120对，非对称失真图片240对)中的80％失真图像作为训练样本，20％作为测试样本，得到对失真立体图片的整体感官评价；
第四步，在第三步的基础上，将图片分割成重叠的小块(小块的尺寸为32*32，分割的步长为16)，再次使用如图2所示的网络模型进行训练，得到对失真立体图片的局部细节的感官评价；
第五步，针对第三、四步得到的整体和局部细节评价结果，通过如下的公式综合得到最终的客观质量评价分数：
Figure GDA0003154228200000062
其中，M表示最终的客观质量评价分数，Mg代表整体感官评价分数，Ml表示局部细节感官评价分数；
第六步，对于测试失真立体图像，重复第一、二步的数据预处理过程，将预处理后的图像数据经过第三、四步得到的评价模型得到整体和局部质量评价分数，最后再经过第五步的综合整体和局部质量评价模型得出立体图像的客观评价分数。
对于本发明做以下几点说明：
(1)本发明由于采用深度学习的方法，所以大量的而完备的样本对模型最终的准确性以及泛化性都具有重大的影响；
(2)本方案没有详细说明的部分可以应用现有技术进行实现和优化。
本发明并不局限于前述的具体步骤。本发明扩展到任何本说明书中披露的新特征或任何新的组合，或新的步骤的组合。综上，本说明书内容不应理解为对本发明的限制。

Claims (1)

1.一种基于整体和局部分析的无参考立体图像质量评价方法，其特征在于，该方法包括以下步骤：
步骤(1)、利用立体图像的左右视图的视差信息产生反映人眼对立体图像在脑海中成像的感官体验的独眼图，计算公式如下：
CI(x,y)＝WL(x,y)×IL(x,y)+WR((x+d),y)×IR((x+d),y)
其中，CI(x,y)表示生成的独眼图在(x，y)处的像素值，IL和IR分别表示立体图像的左右视图，d表示立体图像的左视图相对于右视图的视差图在(x，y)处的数值，WL和WR则分别表示对左右视图取的权重，左右权重通过计算归一化Gabor滤波能量响应幅值得到，计算公式如下：
Figure FDA0003154228190000011
Figure FDA0003154228190000012
其中，GEL(x,y)和GER((x+d),y)分别表示左右视图在所有尺寸和方向上的能量响应值；
步骤(2)、以立体图像的原始左右视图和产生的独眼图作为整体信息输入，构建一个基于Wi的整体质量评价模型，对立体图像的整体体验做出质量评价，得到立体图像的整体质量评价分数，表达式如下；
Fi(x)＝max(0,Wi*x+bi)
Mg＝F5…F1(x)
其中，Wi表示卷积神经网络第i层的权重参数，bi表示卷积神经网络第i层的偏置项参数，x为输入，Fi(x)表示卷积神经网络第i层的输出，经过五层网络结构得到最终的输出：即整体感知质量分数Mg；
步骤(3)、将立体图像的左右原始视图和产生的独眼图分别分割成重叠的小块作为局部信息输入，构建一个基于卷积神经网络的局部质量评价模型，对立体图像的局部细节体验做出质量评价，将得到的各个小块的质量分数取平均得到立体图像的局部细节质量评价分数，表达式如下；
Fi(x)＝max(0,Wi*x+bi)
Mli＝F5…F1(xi)
Figure FDA0003154228190000021
其中，Wi表示卷积神经网络第i层的权重参数，bi表示卷积神经网络第i层的偏置项参数，x为输入，Fi(x)表示卷积神经网络第i层的输出，经过五层网络结构得到最终的输出：即800个重叠小块质量分数M1i取平均得到的最终局部感知质量分数Ml；
步骤(4)、根据步骤(2)和步骤(3)得到的整体质量评价分数和局部细节质量评价分数取平均，计算公式如下：
Figure FDA0003154228190000022
其中，M表示最终的客观质量评价分数，Mg表示整体感官评价分数，Ml表示局部细节感官评价分数；
得到对失真图片最终的评价结果。
CN201810223758.XA 2018-03-19 2018-03-19 一种基于整体和局部分析的无参考立体图像质量评价方法 Expired - Fee Related CN108520510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810223758.XA CN108520510B (zh) 2018-03-19 2018-03-19 一种基于整体和局部分析的无参考立体图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810223758.XA CN108520510B (zh) 2018-03-19 2018-03-19 一种基于整体和局部分析的无参考立体图像质量评价方法

Publications (2)

Publication Number Publication Date
CN108520510A CN108520510A (zh) 2018-09-11
CN108520510B true CN108520510B (zh) 2021-10-19

Family

ID=63433821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810223758.XA Expired - Fee Related CN108520510B (zh) 2018-03-19 2018-03-19 一种基于整体和局部分析的无参考立体图像质量评价方法

Country Status (1)

Country Link
CN (1) CN108520510B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108648223A (zh) * 2018-05-17 2018-10-12 苏州科技大学 基于中央眼的场景重构方法及重构系统
CN109360178B (zh) * 2018-10-17 2021-11-19 天津大学 基于融合图像的无参考立体图像质量评价方法
CN109859166B (zh) * 2018-12-26 2023-09-19 上海大学 一种基于多列卷积神经网络的无参3d图像质量评估方法
CN112330613B (zh) * 2020-10-27 2024-04-12 深思考人工智能科技(上海)有限公司 一种细胞病理数字图像质量的评价方法及系统
CN113506260B (zh) * 2021-07-05 2023-08-29 贝壳找房(北京)科技有限公司 一种人脸图像质量评估方法、装置、电子设备及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN105160678A (zh) * 2015-09-02 2015-12-16 山东大学 基于卷积神经网络的无参考立体图像质量评估方法
CN105338343A (zh) * 2015-10-20 2016-02-17 北京理工大学 一种基于双目感知的无参考立体图像质量评价方法
CN105828064A (zh) * 2015-01-07 2016-08-03 中国人民解放军理工大学 融合局部和全局时空特性的无参考视频质量评估方法
CN106934456A (zh) * 2017-03-16 2017-07-07 山东理工大学 一种深度卷积神经网络模型构建方法
CN107360416A (zh) * 2017-07-12 2017-11-17 天津大学 基于局部多元高斯描述子的立体图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法
CN107635136A (zh) * 2017-09-27 2018-01-26 北京理工大学 基于视觉感知和双目竞争的无参考立体图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9396531B2 (en) * 2013-12-23 2016-07-19 Tufts University Systems and methods for image and video signal measurement

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036501A (zh) * 2014-06-03 2014-09-10 宁波大学 一种基于稀疏表示的立体图像质量客观评价方法
CN105828064A (zh) * 2015-01-07 2016-08-03 中国人民解放军理工大学 融合局部和全局时空特性的无参考视频质量评估方法
CN105160678A (zh) * 2015-09-02 2015-12-16 山东大学 基于卷积神经网络的无参考立体图像质量评估方法
CN105338343A (zh) * 2015-10-20 2016-02-17 北京理工大学 一种基于双目感知的无参考立体图像质量评价方法
CN106934456A (zh) * 2017-03-16 2017-07-07 山东理工大学 一种深度卷积神经网络模型构建方法
CN107360416A (zh) * 2017-07-12 2017-11-17 天津大学 基于局部多元高斯描述子的立体图像质量评价方法
CN107578404A (zh) * 2017-08-22 2018-01-12 浙江大学 基于视觉显著特征提取的全参考立体图像质量客观评价方法
CN107635136A (zh) * 2017-09-27 2018-01-26 北京理工大学 基于视觉感知和双目竞争的无参考立体图像质量评价方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Blind Deep S3D Image Quality Evaluation via Local to Global Feature Aggregation;Heeseok Oh等;《IEEE Transactions on Image Processing》;20171031;第26卷(第10期);第4923-4936页 *
基于CNN的无参考立体图像质量评估算法的研究与实现;瞿晨非;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170115(第1期);I138-708 *
基于双目特征联合的无参考立体图像质量评价;李柯蒙;《光电子 激光》;20151130;第26卷(第11期);第2224-2230页 *
基于深度学习模型的图像质量评价方法;李琳 等;《华中科技大学学报（自然科学版）》;20161231;第44卷(第12期);第70-75页 *
基于稀疏表示的无参考立体图像质量评价方法;王珊珊;《中国优秀硕士学位论文全文数据库 信息科技辑》;20160315(第3期);I138-6268 *
结合双目视觉特性的立体图像质量客观评价方法研究;胡朝正;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150315(第3期);I138-2682 *

Also Published As

Publication number Publication date
CN108520510A (zh) 2018-09-11

Similar Documents

Publication Publication Date Title
CN108520510B (zh) 一种基于整体和局部分析的无参考立体图像质量评价方法
CN108495110B (zh) 一种基于生成式对抗网络的虚拟视点图像生成方法
Fang et al. Saliency detection for stereoscopic images
Wang et al. Computational model of stereoscopic 3D visual saliency
CN102750695B (zh) 一种基于机器学习的立体图像质量客观评价方法
CN101610425B (zh) 一种评测立体图像质量的方法和装置
CN104811693B (zh) 一种立体图像视觉舒适度客观评价方法
CN107635136B (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
CN109360178A (zh) 基于融合图像的无参考立体图像质量评价方法
Meshram et al. P-HRTF: Efficient personalized HRTF computation for high-fidelity spatial sound
KR100560464B1 (ko) 관찰자의 시점에 적응적인 다시점 영상 디스플레이 시스템을 구성하는 방법
Liu et al. Blind stereoscopic image quality assessment based on hierarchical learning
Wang et al. No-reference synthetic image quality assessment with convolutional neural network and local image saliency
CN104599317A (zh) 一种实现3d扫描建模功能的移动终端及方法
CN111402311A (zh) 一种基于知识蒸馏的轻量级立体视差估计方法
CN107360416A (zh) 基于局部多元高斯描述子的立体图像质量评价方法
Jiang et al. Quality assessment for virtual reality technology based on real scene
CN111882516A (zh) 一种基于视觉显著性和深度神经网络的图像质量评价方法
CN108492275B (zh) 基于深度神经网络的无参考立体图像质量评价方法
CN106682599B (zh) 一种基于稀疏表示的立体图像视觉显著提取方法
Kim et al. Visual comfort aware-reinforcement learning for depth adjustment of stereoscopic 3d images
Guo et al. Adaptive estimation of depth map for two-dimensional to three-dimensional stereoscopic conversion
Kim et al. Quality assessment of perceptual crosstalk on two-view auto-stereoscopic displays
CN116033279A (zh) 一种夜晚监控相机的近红外图像彩色化方法、系统及设备
CN111192305A (zh) 用于生成三维图像的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211019

CF01 Termination of patent right due to non-payment of annual fee