CN109523508A - 一种密集光场质量评价方法 - Google Patents

一种密集光场质量评价方法 Download PDF

Info

Publication number
CN109523508A
CN109523508A CN201811127973.6A CN201811127973A CN109523508A CN 109523508 A CN109523508 A CN 109523508A CN 201811127973 A CN201811127973 A CN 201811127973A CN 109523508 A CN109523508 A CN 109523508A
Authority
CN
China
Prior art keywords
denoted
distortion
view
light field
obtains
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811127973.6A
Other languages
English (en)
Other versions
CN109523508B (zh
Inventor
郁梅
黄至娇
姜浩
马华林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201811127973.6A priority Critical patent/CN109523508B/zh
Publication of CN109523508A publication Critical patent/CN109523508A/zh
Application granted granted Critical
Publication of CN109523508B publication Critical patent/CN109523508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种密集光场质量评价方法，该方法既提取角度域视图间的信息，又提取空间域的信息。首先，考虑到密集光场在角度域上的特征能较好评价重建算法产生的失真，绘制了角度域上的密集失真曲线，并用函数进行拟合，拟合参数反映视图间失真的变化情况，失真的程度和重建算法的插值周期；接着，为了避免只考虑角度域特征会使对个别失真类型和场景内容的评价性能不佳，因此结合空间域的信息，提取全局信息熵特征和局部梯度幅度特征，反映图像本身的细节纹理信息和失真情况；最后，用支持向量回归对所有特征进行池化。同时，本发明结合角度域和空间域的特征，对多种失真类型都能较好进行评价，且对不同场景类型也有较好的适应性。

Description

一种密集光场质量评价方法
技术领域
本发明涉及光场质量评价技术领域，尤其是涉及一种密集光场质量评价方法。
背景技术
传统光学成像只能获取二维平面上的光强度，丢失了其他维度的光学信息。光场成像，通过修改传统的光学设计，同时记录场景的光强度和光线的方向信息，从而获取包含丰富场景信息的高维数据集。早期光场采集需要昂贵且笨重的硬件设备，如多相机阵列和光场龙门架。近年来，商业和工业光场相机已经开创了该领域的新研究。然而全光相机只能采集窄带信息，对于一些需要光场不同视点之间的大视差的应用，使用多视点采集是更好的选择。
考虑到光场的庞大数据量，对其进行合理处理和压缩显得尤为重要。但是在光场成像的采集，处理，压缩，存储，传输和绘制等过程中，会产生各种各样的失真，任何一个过程都会影响最终的主观感知质量。为了比较不同中间过程算法的性能和失真的程度，需要对其进行评价。主观评价方法耗时耗力，不易操作，因此需要一种客观质量评价方法对光场成像的各种失真情况进行评价。
目前，针对光场空间域信息的评价，考虑现有2D指标，如典型的峰值信噪比(PSNR)，Wang等人提出的结构相似性指标(SSIM)以及改进的多尺度结构相似性指标(Muti-scale StructureSimilarityIndexMetric,MSSIM)，该类方法计算简单，结合了图像的结构、亮度和对比度信息进行评价。Xue等人提出的基于梯度幅度相似度的方法(GradientMagnitudeSimilarityDeviation,GMSD)，比较了参考图像和失真图像逐像素的梯度幅度图并使用标准偏差进行合并。Mantiuk等人提出的目前比较先进的HDR-VDP，该方法模拟人眼视觉模型并提取图像亮度和对比度特征进行评价。这些2D图像评价指标对光场空间域的失真评价较好，但是没有考虑光场的角度域信息。针对角度域信息的评价，考虑采用立体评价指标如基于左右视图双眼竞争模型的SIQM和基于小波子带统计特征的3DSwIM。立体评价指标虽然考虑了视图间的关系，但是密集光场是多视图的数据形式，与立体左右视图形式仍有较大区别，用立体评价指标来评价密集光场并不恰当。针对立体视频的可视化方法，还可以考虑视频的评价方法，如NTIA通用视频质量模型VQM和立体视频质量评价方法STSDLC。该类方法可以较好评价视图间的信息，但对于空间域的失真情况，没有2D指标的评价性能好。
上述提到的一些现有的针对2D图像的质量评价方法虽然能对光场的部分信息进行评价，但是其评价方法并不全面，因此需要结合角度域和空间域信息共同进行特征的提取，从而对不同光场失真内容都有良好的评价效果。
发明内容
本发明所要解决的技术问题是提供一种密集光场质量评价方法,该方法结合角度域和空间域信息共同进行特征提取，能够有效地提高客观评价和主观评价的一致性,对不同的光场失真内容具备良好的评价效果。
本发明所采用的技术方案是，一种密集光场质量评价方法,包括以下步骤：
(1)、令表示参考密集光场所有视图组成的图像数据集，表示失真密集光场所有视图组成的图像数据集，其中，N表示一个光场中视图的数量；
(2)、对中的第k个参考视图Iori (k)和中的第k个失真视图Idis (k)求平均差值，记为E(k)，其中，1≤k≤N，W表示图像的宽，H表示图像的高，Iori (k)(i,j)表示第k个参考视图在坐标为(i,j)的像素点的像素值，Idis (k)(i,j)表示第k个失真视图在坐标为(i,j)的像素点的像素值，然后将N个平均差值组成数据集，记为并画出的失真曲线图，记为C；
(3)、将失真曲线图C用函数进行拟合，得到失真曲线图C的斜率特征中值特征和峰值特征将和按序构成角度域特征，记为Fangular，
(4)、将转换成灰度化的图像集，记为计算中每个视图的信息熵，记为将取平均，得到的平均信息熵特征，记为FH，
(5)、将转换成梯度幅度集合，记为计算中每个视图的梯度幅度均值，记为将取平均，得到的平均梯度幅度特征，记为FG，
(6)、将步骤(4)中得到的平均信息熵特征和步骤(5)中得到的平均梯度幅度特征按序构成的空间域特征，记为Fspatial，Fspatial＝[FH,FG]；
(7)、将步骤(3)得到的角度域特征和步骤(6)得到的空间域特征按序构成的感知质量特征向量，记为F，F＝[Fangular,Fspatial]；
(8)、将F作为输入量，结合支持向量回归技术，计算得到的客观质量评价值。
在步骤(3)，用函数进行拟合的具体步骤为：取C的周期曲线集合，记为其中M表示周期的数量，用函数对每个周期曲线进行拟合，函数记为Y，Y＝b1(x+b2)a+b3，其中a取3，得到三个系数数据集，记为和取系数数据集的平均，得到三个特征，记为斜率特征中值特征和峰值特征
在步骤(5)中，将转换成梯度幅度集合的具体步骤为：将的每个失真视图Idis与Prewitt滤波器进行卷积，得到水平和垂直方向上的梯度，记为Gx和Gy，其中表示卷积运算，hx和hy分别表示水平和垂直方向上的Prewitt滤波器，求两个方向梯度的均方根，得到图像梯度幅度，记为Igradient，然后求出所有视图的梯度幅度，最终得到的梯度幅度集合。
本发明的有益效果是：第一、本发明方法考虑到密集光场在角度域上的特征能更好地评价重建算法产生的失真，因此绘制了角度域上的密集失真曲线，并用函数进行拟合，拟合参数能够反映视图间失真的变化情况，失真的程度和重建算法的插值周期；第二、本发明方法由于只提取角度域的特征对个别失真类型和场景内容的评价效果不理想，因此结合空间域的信息，提取全局信息熵特征和局部梯度幅度特征，反映图像本身的细节纹理信息和失真情况；第三、本发明方法结合角度域和空间域的特征，能够有效地提高客观评价和主观评价的一致性,对多种失真类型都能更好地进行评价，且对不同场景类型也有较好的适应性。
附图说明
图1为本发明方法的流程框图；
图2为本发明方法与现有方法的评价性能比较示意图；
图3为本发明方法与现有方法对不同失真类型的性能比较示意图；
图4为本发明方法与现有方法对合成和自然场景评价的性能比较示意图。
具体实施方式
以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。
本发明涉及一种密集光场质量评价新方法，包括以下步骤：
(1)、令表示参考密集光场所有视图组成的图像数据集，表示失真密集光场所有视图组成的图像数据集，N表示一个光场中视图的数量；
(2)、对中的第k个参考视图Iori (k)和中的第k个失真视图Idis (k)求平均差值，记为E(k)，其中，1≤k≤N，W表示图像的宽，H表示图像的高，Iori (k)(i,j)表示第k个参考视图在坐标为(i,j)的像素点的像素值，Idis (k)(i,j)表示第k个失真视图在坐标为(i,j)的像素点的像素值，将所有N个平均差值组成的数据集记为画出的失真曲线图，记为C；
(3)、取失真曲线图C的周期曲线集合，记为其中M表示周期的数量，用函数对每个周期曲线进行拟合，函数记为Y，Y＝b1(x+b2)a+b3，对a＝2,3,4分别进行函数拟合，发现a＝3时拟合效果最佳，因此a取3，得到三个系数数据集，记为和取系数数据集的平均，得到三个特征，记为斜率特征中值特征和峰值特征 将和按序构成角度域特征，记为Fangular，
(4)、将转换成灰度化的图像集，记为计算每个视图的信息熵，记为取平均，得到的平均信息熵特征，记为FH，
(5)、将的每个失真视图Idis与Prewitt滤波器进行卷积，得到水平和垂直方向上的梯度，记为Gx和Gy，其中表示卷积运算，hx和hy分别表示水平和垂直方向上的Prewitt滤波器，求两个方向梯度的均方根，得到图像梯度幅度，记为Igradient，求所有视图的梯度幅度得到的梯度幅度集合，记为计算每个视图的梯度幅度均值，记为取平均，得到的平均梯度幅度特征，记为FG，
(6)、将步骤(4)中得到的平均信息熵特征和步骤(5)中得到的平均梯度幅度特征按序构成的空间域特征，记为Fspatial，Fspatial＝[FH,FG]；
(7)、将以上步骤得到的角度域特征和空间域特征按序构成的感知质量特征向量，记为F，F＝[Fangular,Fspatial]；
(8)、将F作为输入量，随机取数据库中80％光场图像对应的特征向量Ftrain和主观打分，用支持向量回归技术训练得到模型，取待评价光场图像用训练的模型计算得到的客观质量评价值。
本发明方法既提取角度域视图间的信息，又提取空间域的信息。首先，考虑到密集光场在角度域上的特征能较好评价重建算法产生的失真，绘制了角度域上的密集失真曲线，并用函数进行拟合，拟合参数反映视图间失真的变化情况，失真的程度和重建算法的插值周期；接着，为了避免只考虑角度域特征会使对个别失真类型和场景内容的评价性能不佳，因此结合空间域的信息，提取全局信息熵特征和局部梯度幅度特征，反映图像本身的细节纹理信息和失真情况；最后，用支持向量回归对所有特征进行池化。同时，本发明结合角度域和空间域的特征，对多种失真类型都能较好进行评价，且对不同场景类型也有较好的适应性。
为进一步说明上述发明方法的可行性和有效性，进行如下实验。
在本实施例中，在公开可用的EPI密集光场数据库上进行实验，该数据库提供主观打分，设计了光场成像过程的多种失真，且具有丰富场景类型，适合用于密集光场质量评价方法的测试。表1中详细说明了EPI密集光场数据库的各项指标，包括场景类型、参考场景数目、失真场景数目、失真类型数目、主观测试人数和可视化方法。
表1权威EPI密集光场数据库的各项指标
接下来，分析利用本发明方法获取的每个失真场景的客观质量评价值与平均主观评分之间的相关性。这里，利用视频质量专家组(VideoQualityExpertsGroup，VQEG)提出的常用性能标准，皮尔森线性相关系数(PearsonLinearCorrelationCoefficient，PLCC)和均方根误差(RootMeanSquareError，RMSE)反映预测的准确性和一致性，其中PLCC越接近1表示性能越好，RMSE越接近0表示性能越好。
对于上述EPI密集光场数据库中的所有失真场景，分别按本发明方法的步骤(1)至步骤(8)的过程，采用相同的方式计算得到每个失真场景的客观质量评价值，然后将客观质量评价值做四参数Logistic函数非线性拟合，最后得到客观评价结果与平均主观评分之间的性能指标值。

Claims (3)

1.一种密集光场质量评价方法,其特征在于：包括以下步骤：
(1)、令表示参考密集光场所有视图组成的图像数据集，表示失真密集光场所有视图组成的图像数据集，其中，N表示一个光场中视图的数量；
(2)、对中的第k个参考视图Iori (k)和中的第k个失真视图Idis (k)求平均差值，记为E(k)，其中，1≤k≤N，W表示图像的宽，H表示图像的高，Iori (k)(i,j)表示第k个参考视图在坐标为(i,j)的像素点的像素值，Idis (k)(i,j)表示第k个失真视图在坐标为(i,j)的像素点的像素值，然后将N个平均差值组成数据集，记为并画出的失真曲线图，记为C；
(3)、将失真曲线图C用函数进行拟合，得到失真曲线图C的斜率特征中值特征和峰值特征将和按序构成角度域特征，记为Fangular，
(4)、将转换成灰度化的图像集，记为计算中每个视图的信息熵，记为将取平均，得到的平均信息熵特征，记为FH，
(5)、将转换成梯度幅度集合，记为计算中每个视图的梯度幅度均值，记为将取平均，得到的平均梯度幅度特征，记为FG，
(6)、将步骤(4)中得到的平均信息熵特征和步骤(5)中得到的平均梯度幅度特征按序构成的空间域特征，记为Fspatial，Fspatial＝[FH,FG]；
(7)、将步骤(3)得到的角度域特征和步骤(6)得到的空间域特征按序构成的感知质量特征向量，记为F，F＝[Fangular,Fspatial]；
(8)、将F作为输入量，结合支持向量回归技术，计算得到的客观质量评价值。
2.根据权利要求1所述的一种密集光场质量评价方法,其特征在于：在步骤(3)中，用函数进行拟合的具体步骤为：取C的周期曲线集合，记为其中M表示周期的数量，用函数对每个周期曲线进行拟合，函数记为Y，Y＝b1(x+b2)a+b3，其中a取3，得到三个系数数据集，记为和取系数数据集的平均，得到三个特征，记为斜率特征中值特征和峰值特征
3.根据权利要求1所述的一种密集光场质量评价方法,其特征在于：在步骤(5)中，将转换成梯度幅度集合的具体步骤为：将的每个失真视图Idis与Prewitt滤波器进行卷积，得到水平和垂直方向上的梯度，记为Gx和Gy，其中表示卷积运算，hx和hy分别表示水平和垂直方向上的Prewitt滤波器，求两个方向梯度的均方根，得到图像梯度幅度，记为Igradient，然后求出所有视图的梯度幅度，最终得到的梯度幅度集合。
CN201811127973.6A 2018-09-27 2018-09-27 一种密集光场质量评价方法 Active CN109523508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811127973.6A CN109523508B (zh) 2018-09-27 2018-09-27 一种密集光场质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811127973.6A CN109523508B (zh) 2018-09-27 2018-09-27 一种密集光场质量评价方法

Publications (2)

Publication Number Publication Date
CN109523508A true CN109523508A (zh) 2019-03-26
CN109523508B CN109523508B (zh) 2021-08-31

Family

ID=65769838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811127973.6A Active CN109523508B (zh) 2018-09-27 2018-09-27 一种密集光场质量评价方法

Country Status (1)

Country Link
CN (1) CN109523508B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310269A (zh) * 2019-06-27 2019-10-08 华侨大学 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN110796635A (zh) * 2019-09-12 2020-02-14 宁波大学 一种基于剪切波变换的光场图像质量评价方法
CN112967242A (zh) * 2021-02-26 2021-06-15 北京信息科技大学 一种基于视觉特征聚合的光场质量评价方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106447762A (zh) * 2015-08-07 2017-02-22 中国科学院深圳先进技术研究院 基于光场信息的三维重建方法及系统
EP3201562A1 (en) * 2014-09-29 2017-08-09 Sikorsky Aircraft Corporation Apparatus for detecting corrosion in an article
CN108447059A (zh) * 2018-04-09 2018-08-24 华侨大学 一种全参考光场图像质量评价方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3201562A1 (en) * 2014-09-29 2017-08-09 Sikorsky Aircraft Corporation Apparatus for detecting corrosion in an article
CN106447762A (zh) * 2015-08-07 2017-02-22 中国科学院深圳先进技术研究院 基于光场信息的三维重建方法及系统
CN108447059A (zh) * 2018-04-09 2018-08-24 华侨大学 一种全参考光场图像质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUANGFU ZHOU 等: "Object Recognition Based on Reconstruction of Light Field", 《2015 INTERNATIONAL CONFERENCE ON ESTIMATION, DETECTION AND INFORMATION FUSION (ICEDIF)》 *
郁梅 等: "基于视觉阈值及通道融合的立体图像质量评价", 《光学精密工程》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110310269A (zh) * 2019-06-27 2019-10-08 华侨大学 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN110310269B (zh) * 2019-06-27 2022-11-01 华侨大学 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN110796635A (zh) * 2019-09-12 2020-02-14 宁波大学 一种基于剪切波变换的光场图像质量评价方法
CN110796635B (zh) * 2019-09-12 2023-04-14 宁波大学 一种基于剪切波变换的光场图像质量评价方法
CN112967242A (zh) * 2021-02-26 2021-06-15 北京信息科技大学 一种基于视觉特征聚合的光场质量评价方法
CN112967242B (zh) * 2021-02-26 2023-07-04 北京信息科技大学 一种基于视觉特征聚合的光场质量评价方法

Also Published As

Publication number Publication date
CN109523508B (zh) 2021-08-31

Similar Documents

Publication Publication Date Title
CN109886870B (zh) 基于双通道神经网络的遥感图像融合方法
CN110046673A (zh) 基于多特征融合的无参考色调映射图像质量评价方法
Meng et al. Objective quality assessment of lenslet light field image based on focus stack
Liu et al. A high-definition diversity-scene database for image quality assessment
CN109523508A (zh) 一种密集光场质量评价方法
CN110517203A (zh) 一种基于参考图像重建的去雾方法
Huang et al. Reconstruction distortion oriented light field image dataset for visual communication
CN112819737A (zh) 基于3d卷积的多尺度注意力深度卷积网络的遥感图像融合方法
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
CN106709504A (zh) 细节保持的高保真色调映射方法
CN116033279B (zh) 一种夜晚监控相机的近红外图像彩色化方法、系统及设备
CN116091314B (zh) 一种基于多尺度深度单应性的红外图像拼接方法
CN112950596A (zh) 基于多区域多层次的色调映射全向图像质量评价方法
Xu et al. Remote-sensing image usability assessment based on ResNet by combining edge and texture maps
Martin et al. Nerf-qa: Neural radiance fields quality assessment database
CN113128517B (zh) 色调映射图像混合视觉特征提取模型建立及质量评价方法
Shafiee et al. Datasets for the quality assessment of light field imaging: Comparison and future directions
Huang et al. Light field image quality assessment using contourlet transform
CN117176983B (zh) 一种基于全景图像合成的视频生成评价系统
CN110796635B (zh) 一种基于剪切波变换的光场图像质量评价方法
CN107492085A (zh) 基于双树复小波变换的立体图像质量评价方法
CN117011181A (zh) 一种分类引导的无人机成像浓雾去除方法
Chu et al. Saliency structure stereoscopic image quality assessment method
CN116095291A (zh) 一种用于媒体流图像传输的图像预处理方法
Xu et al. ARID: A comprehensive study on recognizing actions in the dark and a new benchmark dataset

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant