CN112967242B - 一种基于视觉特征聚合的光场质量评价方法 - Google Patents

一种基于视觉特征聚合的光场质量评价方法 Download PDF

Info

Publication number
CN112967242B
CN112967242B CN202110218843.9A CN202110218843A CN112967242B CN 112967242 B CN112967242 B CN 112967242B CN 202110218843 A CN202110218843 A CN 202110218843A CN 112967242 B CN112967242 B CN 112967242B
Authority
CN
China
Prior art keywords
light field
formula
image
hom
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110218843.9A
Other languages
English (en)
Other versions
CN112967242A (zh
Inventor
刘畅
邱钧
邹卓成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202110218843.9A priority Critical patent/CN112967242B/zh
Publication of CN112967242A publication Critical patent/CN112967242A/zh
Application granted granted Critical
Publication of CN112967242B publication Critical patent/CN112967242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Studio Devices (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

本发明公开了一种基于视觉特征聚合的光场质量评价方法，该方法包括：步骤1，获取光场数据集；步骤2，提取每一四维光场的视觉特征，得到每个四维光场的视觉聚合特征；视觉特征为四维光场的中心子孔径图像的特征向量LFCV、宏像素图上的特征向量LFMLI、极平面图像上的灰度共生矩阵特征向量LFEPI、以及不同重聚焦面上重聚焦图的特征向量LFRI中的一种或一种以上的组合；LFCV用于描述光场在空间清晰度上质量变化情况，LFMLI用于描述光场在角度域一致性退化情况，LFEPI用于描述光场在空‑角耦合域上结构变化情况，LFRI用于描述光场在投影域上的质量变化情况；步骤3，根据所述视觉聚合特征，使用支持向量回归训练得到光场质量分数评测模型；步骤4，通过光场质量分数评测模型评价光场的质量分数。本发明计算得到的光场质量客观评价分数与主观评价分数有较高的一致性。

Description

一种基于视觉特征聚合的光场质量评价方法
技术领域
本发明涉及计算机视觉与数字图像处理技术领域，特别是关于一种基于视觉特征聚合的光场质量评价方法。
背景技术
光场能够同时记录场景中光线的强度信息和方向信息，渲染出多种视觉效果。光场结合近年发展起来的增强现实和虚拟现实技术，可提供人们沉浸式的视觉体验。相比于传统图像，光场最大区别在于，可以先拍摄光场数据，再进行对焦、曝光和景深调整。这使得光场在摄影、天文学、机器人学、医学成像和显微成像等许多应用中提供了新的机会，引起了各界研究者们的广泛关注。
随着光场的应用越来越广泛，对于光场数据处理的研究相应地越来越多，例如，光场数据的压缩、重建及渲染处理等。这些处理操作都会引入不同程度的失真，从而影响人们的视觉体验。目前，光场质量评价方法可以量化这些失真程度。准确的光场质量评价可以指导光场数据处理方法的研究，同时有助于分析光场成像系统的性能。现有的大多数质量评价方法都是对于二维图像，三维图像等设计的并不适用于四维的光场数据。且目前关于光场质量评价相关的研究都还在探索阶段，因此光场质量评价方法研究成为了迫切需求。
发明内容
本发明的目的在于提供一种基于视觉特征聚合的光场质量评价方法，其能够为四维光场提供可靠的质量评价分数。
为实现上述目的，本发明提供一种基于视觉特征聚合的光场质量评价方法，该方法包括：
步骤1，获取光场数据集，所述光场数据集包括多个四维光场的数据；
步骤2，提取每一个所述四维光场的视觉特征，得到每个所述四维光场的视觉聚合特征；其中，所述视觉特征为四维光场的中心子孔径图像的特征向量LFCV、宏像素图上的特征向量LFMLI、极平面图像上的灰度共生矩阵特征向量LFEPI、以及不同重聚焦面上重聚焦图的特征向量LFRI中的一种或一种以上的组合；LFCV用于描述光场在空间清晰度上质量变化情况，LFMLI用于描述光场在角度域一致性退化情况，LFEPI用于描述光场在空-角耦合域上结构变化情况，LFRI用于描述光场在投影域上的质量变化情况；
步骤3，根据所述视觉聚合特征，使用支持向量回归训练得到光场质量分数评测模型；
步骤4，通过光场质量分数评测模型评价光场的质量分数。
进一步地，LFCV描述为α,
Figure BDA0002953589390000021
η,skew,kurt中的一种特征或一种以上特征的组合，α为控制正态分布形状的参数，/>
Figure BDA0002953589390000022
为减均值归一化处理后的中心子孔径图像
Figure BDA0002953589390000023
的像素值xk的AGGD左方差，/>
Figure BDA0002953589390000024
为/>
Figure BDA0002953589390000025
的像素值xk的AGGD右方差，η为刻画α,σl,σr三者的关系的参数，skew为/>
Figure BDA0002953589390000026
的像素值xk的偏度值，kurt为/>
Figure BDA0002953589390000027
的像素值xk的峰度值；其中，xk通过式(4)计算获得：
Figure BDA0002953589390000028
式中，Γ(·)为伽马函数，βl和βr均表示用于简化公式的中间参数；
Figure BDA0002953589390000029
Figure BDA00029535893900000210
进一步地，α表示为式(7)，
Figure BDA00029535893900000211
描述为式(8)，/>
Figure BDA00029535893900000212
描述为式(9)，η描述为式(10)，skew描述为式(11)，kurt描述为式(12)：
α＝σl/σr (7)
Figure BDA00029535893900000213
Figure BDA00029535893900000214
Figure BDA0002953589390000031
Figure BDA0002953589390000032
Figure BDA0002953589390000033
式中，xk表示
Figure BDA0002953589390000034
的第k个像素值，n表示像素的总个数，/>
Figure BDA0002953589390000035
表示/>
Figure BDA0002953589390000036
的所有像素值的均值。
进一步地，
Figure BDA0002953589390000037
的获得方法具体包括：
步骤21a，提取四维光场的中心子孔径图像，其表示为
Figure BDA0002953589390000038
(u*,v*)表示中心子孔径图像的坐标，(s,t)表示中心子孔径图像中的像素坐标；
步骤22a，减均值归一化处理中心子孔径图像
Figure BDA0002953589390000039
获得处理后的图像
Figure BDA00029535893900000310
其表示为式(1)：
Figure BDA00029535893900000311
其中，
Figure BDA00029535893900000312
表示/>
Figure BDA00029535893900000313
中每个坐标点窗口内像素的均值，其可以通过下式(2)计算得到，但不限于该计算方法；/>
Figure BDA00029535893900000314
表示/>
Figure BDA00029535893900000315
中每个坐标点窗口内像素的方差，其可以通过下式(3)计算得到，但不限于该计算方法。
Figure BDA00029535893900000316
Figure BDA00029535893900000317
其中，
Figure BDA00029535893900000318
表示中心坐标为(s,t)的/>
Figure BDA00029535893900000319
中的窗口，k,l为窗口里像素的索引，ωk,l表示二维高斯窗口。
进一步地，LFMLI描述为mean2(HOM)和skew(HOM)的组合，mean2(ENT)和skew(ENT)的组合，或者mean2(HOM)、skew(HOM)、mean2(ENT)和skew(ENT)的组合；mean2(HOM)为所有宏像素图灰度共生矩阵上的一致性特征组成的特征量图像HOM(s,t)的均值，skew(HOM)为HOM(s,t)的偏度值，mean2(ENT)为所有宏像素图灰度共生矩阵上的熵值组成的特征量图像ENT(s,t)的均值，skew(ENT)为ENT(s,t)的偏度值；其中，HOM(s,t)描述为式(15)，ENT(s,t)描述为式(16)：
Figure BDA0002953589390000041
Figure BDA0002953589390000042
式中，
Figure BDA0002953589390000043
为每个宏像素图的灰度共生矩阵，其描述为式(14)，i，j表示两个不同的灰度共生矩阵的灰度等级,Δu，Δv为偏移量；s,t表示宏像素图坐标，u,v表示宏像素图中的像素坐标：
Figure BDA0002953589390000044
进一步地，根据四维光场中获得水平极平面图Lv,t(u,s)和垂直极平面图Lu,s(v,t)，LFEPI描述为m1,m2,m3,m4,m5,m6中的一种特征或一种以上特征的组合，m1表示水平方向极平面图灰度共生矩阵
Figure BDA0002953589390000045
的的一致性特征量图像HOMhor(v,t)的均值；m2表示
Figure BDA0002953589390000046
的能量特征量图像ENEhor(v,t)的均值；m3表示/>
Figure BDA0002953589390000047
的对比度特征量图像CONhor(v,t)的均值；m4表示垂直方向极平面图灰度共生矩阵/>
Figure BDA0002953589390000048
的一致性三种特征量图像HOMver(v,t)的均值；m5表示/>
Figure BDA0002953589390000049
的能量特征量图像ENEver(v,t)的均值；m6表示
Figure BDA00029535893900000410
的对比度特征量图像CONver(v,t)的均值；其中，HOMhor(v,t)描述为式(20)，ENEhor(v,t)描述为式(21)，CONhor(v,t)描述为式(22)，HOMver(v,t)描述为式(23)，ENEver(v,t)描述为式(24)，CONver(v,t)描述为式(25)，/>
Figure BDA00029535893900000411
描述为式(18)，/>
Figure BDA00029535893900000412
描述为式(19)：
Figure BDA00029535893900000413
Figure BDA00029535893900000414
Figure BDA00029535893900000415
Figure BDA00029535893900000416
Figure BDA00029535893900000417
Figure BDA00029535893900000418
Figure BDA0002953589390000051
Figure BDA0002953589390000052
进一步地，LFRI描述为ENa(k,l)的均值mean2(ENa)和偏度值skew(ENa)，ENa(k,l)为重聚焦面a上的重聚焦图分块熵特征图，其描述为式(28)：
Figure BDA0002953589390000053
其中，
Figure BDA0002953589390000054
表示聚焦面a上的重聚焦图Ea(s,t)上不同像素块中的像素出现的概率，上标k,l表示不同像素块，(q,w)表示像素块中像素的坐标，Ea(s,t)描述为式(27)：
Figure BDA0002953589390000055
本发明充分利用了四维光场数据高维度的特性，从光场得多种视觉形式下提取相关特征量描述光场在不同视觉下的降质情况，以此对光场进行了综合评价。通过采用本发明提供的方法，计算得到的光场质量客观评价分数与主观评价分数有较高的一致性。
附图说明
图1为本发明实施提供的基于视觉特征聚合的光场质量评价方法的流程图。
图2为本发明实施提供的四维光场排列成小透镜图像的示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
如图1所示，本发明实施例提供的基于视觉特征聚合的光场质量评价方法包括：
步骤1，获取光场数据集。光场数据集可以采用lytro光场相机获取得到，但不限于此。
所述光场数据集包括多个四维光场数据，四维光场表示为L(u,v,s,t)，(u,v)表示子孔径图像的坐标，(x,y)表示子孔径图像中像素的坐标。
步骤2，提取每一个所述四维光场的视觉特征，得到每个所述四维光场的视觉聚合特征。
其中，所述视觉特征可以是四维光场的中心子孔径图像的特征向量LFCV、宏像素图上的特征向量LFMLI、极平面图像上的灰度共生矩阵特征向量LFEPI、以及不同重聚焦面上重聚焦图的特征向量LFRI中的任一一种，也可以包括两种或两种以上的组合，甚至还可以根据实际需求，包括其它特征向量。
通过四维光场的中心子孔径图像的特征向量LFCV，可以用于描述光场在空间清晰度上质量变化情况。
作为获取四维光场的中心子孔径图像的特征向量LFCV的一种方式，其具体包括：
步骤21a，提取四维光场的中心子孔径图像，其表示为
Figure BDA0002953589390000061
(u*,v*)表示中心子孔径图像的坐标，(s,t)表示中心子孔径图像中的像素坐标，右上角标有*号的参数表示为固定值。
步骤22a，减均值归一化处理中心子孔径图像
Figure BDA0002953589390000062
获得处理后的图像
Figure BDA0002953589390000063
其表示为式(1)：
Figure BDA0002953589390000064
其中，
Figure BDA0002953589390000065
表示中心子孔径图像/>
Figure BDA0002953589390000066
中每个坐标点窗口内像素的均值，其可以通过下式(2)计算得到，但不限于该计算方法；/>
Figure BDA0002953589390000067
表示中心子孔径图像/>
Figure BDA0002953589390000068
中每个坐标点窗口内像素的方差，其可以通过下式(3)计算得到，但不限于该计算方法。
Figure BDA0002953589390000069
Figure BDA00029535893900000610
其中，
Figure BDA00029535893900000611
表示中心子孔径图像/>
Figure BDA00029535893900000612
中中心坐标为(s,t)的窗口，k,l为窗口里像素的索引，k＝-K,…,K，l＝-L,…,L，本实施例中，K＝L＝3；ωk,l表示二维高斯窗口。
步骤23a，利用式(4)统计图像
Figure BDA00029535893900000613
的像素值，再利用式(8)计算AGGD(英文全称为：asymmetric generalized gaussian distribution；中文全称为：非对称广义高斯分布)的左方差/>
Figure BDA00029535893900000614
以及利用式(9)计算AGGD的右方差/>
Figure BDA00029535893900000615
Figure BDA0002953589390000071
其中，
Figure BDA0002953589390000072
表示统计图像/>
Figure BDA0002953589390000073
的像素值的函数；Γ(·)为伽马函数；α为控制正态分布形状的参数，其表示为式(7)，但不限于该计算方法；xk表示图像
Figure BDA0002953589390000074
中的像素值，下标k表示像素的索引，以0值为界，Nl表示小于0值得像素个数，Nr表示大于等于零的像素个数；βl和βr均表示用于简化公式的中间参数，无实质性意义。
Figure BDA0002953589390000075
Figure BDA0002953589390000076
α＝σl/σr (7)
Figure BDA0002953589390000077
Figure BDA0002953589390000078
步骤24a，利用式(10)计算出刻画α,σl,σr三者的关系的参数η：
Figure BDA0002953589390000079
步骤25a，利用式(11)计算出图像
Figure BDA00029535893900000710
像素值的偏度值skew，利用式(12)计算出图像/>
Figure BDA00029535893900000711
像素值的峰度值kurt。
Figure BDA00029535893900000712
Figure BDA00029535893900000713
其中，下标k表示像素的索引，n表示像素的总数，
Figure BDA00029535893900000714
表示所有像素值的均值。
步骤26a，可以将四维光场的中心子孔径图像的特征向量LFCV描述为式(13)：
Figure BDA00029535893900000715
当然，也可以根据实际需要，将特征向量LFCV描述为α,
Figure BDA0002953589390000081
η,skew,kurt中的一种特征或一种以上特征的组合。
通过四维光场的宏像素图上的特征向量LFMLI，可以用于描述光场在角度域一致性退化情况。
在一个实施例中，四维光场的宏像素图上的特征向量LFMLI的获取方法具体包括：
步骤21b，将四维光场排列成小透镜图像Ls,t(u,v)，Ls,t(u,v)中，(s,t)表示宏像素图的坐标，(u,v)表示宏像素图中像素的坐标。如图2所示，图2中s轴和t轴示意的是小透镜图像中的坐标轴，每一个大的方块示意的是宏像素图，u轴和v轴示意的是宏像素图中的坐标轴，每个宏像素图中的小方块，例如小方块A1至小方块A9，分别示意的是宏像素图中的像素。
步骤22b，利用式(14)计算每个宏像素图的灰度共生矩阵
Figure BDA0002953589390000082
Figure BDA0002953589390000083
其中，i，j表示灰度共生矩阵的灰度等级，取值范围例如可以设置为i＝1,2,3,…,8，j＝1,2,3,…,8；Δu，Δv为偏移量，取值例如可以设置为Δu＝1,Δv＝0。
步骤22b，利用式(15)计算所有宏像素图灰度共生矩阵上的一致性特征组成的特征量图像HOM(s,t)，利用式(16)计算所有宏像素图灰度共生矩阵上的熵值组成的特征量图像ENT(s,t)。
Figure BDA0002953589390000084
Figure BDA0002953589390000085
步骤23b，计算HOM(s,t)的均值mean2(HOM)和偏度值skew(HOM)，计算ENT(s,t)的均值mean2(ENT)和偏度值skew(ENT)。其中，mean2(HOM)和mean2(ENT)的获取方式为现有计算方法，在此不再赘述。skew(HOM)和skew(ENT)可以采用式(11)的计算方法相同，在此不再赘述。
步骤24b，可以将四维光场的宏像素图上的特征向量LFMLI描述为式(17)：
LFMLI＝[mean2(HOM),mean2(ENT),skew(HOM),skew(ENT)] (17)
当然，也可以根据实际需要，将特征向量LFMLI描述为mean2(HOM)和skew(HOM)的组合或mean2(ENT)和skew(ENT)的组合。
通过四维光场的极平面图像上的灰度共生矩阵特征向量LFEPI，可以用于描述光场在空-角耦合域上结构变化情况。
在一个实施例中，四维光场的极平面图像上的灰度共生矩阵特征向量LFEPI的获取方法具体包括：
步骤21c，从四维光场中获得水平极平面图Lv,t(u,s)和垂直极平面图Lu,s(v,t)。下标v，t表示不同水平位置，下标u，s表示不同垂直位置。
步骤22c，利用式(18)计算水平极平面图Lv,t(u,s)的灰度共生矩阵
Figure BDA0002953589390000091
利用式(19)计算垂直极平面图Lu,s(v,t)的灰度共生矩阵/>
Figure BDA0002953589390000092
Δs和Δt表示偏移量，取值例如可以设置为Δs＝0,Δt＝0。
Figure BDA0002953589390000093
Figure BDA0002953589390000094
步骤23c，利用下式分别计算水平方向极平面图灰度共生矩阵
Figure BDA0002953589390000095
的一致性特征量图像HOMho(v,t)、能量特征量图像ENEho(v,t)和对比度特征量图像CONho(v,t)，以及垂直方向极平面图灰度共生矩阵/>
Figure BDA0002953589390000096
的一致性特征量图像HOMver(v,t)、能量特征量图像ENEver(v,t)和对比度特征量图像CONver(v,t)，并对所有特征量图像分别求均值m1,m2,m3,m4,m5,m6。
Figure BDA0002953589390000097
Figure BDA0002953589390000098
Figure BDA0002953589390000099
Figure BDA00029535893900000910
Figure BDA00029535893900000911
Figure BDA00029535893900000912
步骤24c，可以将四维光场的极平面图像上的灰度共生矩阵特征向量LFEPI描述为式(26)：
LFEPI＝[m1,m2,m3,m4,m5,m6] (26)
其中，m1表示水平方向极平面图灰度共生矩阵的一致性特征量图像HOMhor(v,t)的均值；m2表示水平方向极平面图灰度共生矩阵的能量特征量图像ENEho(v,t)的均值；m3表示水平方向极平面图灰度共生矩阵的对比度特征量图像CONhor(v,t)的均值；m4表示垂直方向极平面图灰度共生矩阵的一致性三种特征量图像HOMver(v,t)的均值；m5表示垂直方向极平面图灰度共生矩阵的能量特征量图像ENEver(v,t)的均值；m6表示垂直方向极平面图灰度共生矩阵的对比度特征量图像CONver(v,t)的均值。
当然，也可以根据实际需要，将灰度共生矩阵特征向量LFEPI描述为m1,m2,m3,m4,m5,m6中的一种特征或一种以上特征的组合。
可以通过四维光场的不同重聚焦面上重聚焦图的特征向量LFRI，描述光场在投影域上的质量变化情况。
在一个实施例中，四维光场的不同重聚焦面上重聚焦图的特征向量LFRI的获取方法具体包括：
步骤21d，根据四维光场，利用式(27)计算出在不同聚焦面上的重聚焦图Ea(s,t)：
Figure BDA0002953589390000101
其中，a表示不同聚焦面，a∈{0.6,0.8,1,1.2,1.4}；Ea(s,t)表示不同聚焦面上的重聚焦图。
步骤22d，利用式(28)计算出的重聚焦面a上的重聚焦图分块熵特征图ENa(k,l)：
Figure BDA0002953589390000102
其中，
Figure BDA0002953589390000103
表示聚焦面Ea(s,t)上不同像素块中的像素出现的概率，上标k,l表示不同像素块，(q,w)表示像素块中像素的坐标。
Figure BDA0002953589390000104
的获取方法包括：
首先，对ENa(k,l)进行分块；然后，k,l表示不同像素块的索引，例如：分成8*8的像素块，所以每一像素块有64个像素；最后，计算每个像素的概率，该概率值为每个像素除以其所在像素块中所有像素值的总和。
步骤23d，计算ENa(k,l)的均值mean2(ENa)和偏度值skew(ENa)。mean2(ENa)的获取方式为现有计算方法，在此不再赘述。skew(ENa)可以采用式(11)的计算方法相同，在此不再赘述。
步骤24d，可以将四维光场的不同重聚焦面上重聚焦图的特征向量LFRI描述为式(29)：
LFRI＝{mean2(ENa),skew(ENa)} (29)
步骤3，根据所述视觉聚合特征，使用支持向量回归训练得到光场质量分数评测模型。
例如：利用式(30)表示的光场质量分数评测模型描述光场的整体质量：
LF＝[LFCV,LFMLI,LFEPI,LFRI](21b)
除此之外，也可以使用四维光场的中心子孔径图像的特征向量LFCV、宏像素图上的特征向量LFMLI、极平面图像上的灰度共生矩阵特征向量LFEPI、以及不同重聚焦面上重聚焦图的特征向量LFRI中的任一一种或其它两种或两种以上的组合获得的光场质量分数评测模型，来描述光场的整体质量。
步骤4，利用光场质量分数评测模型，评价光场数据集中的每个光场的质量分数。每个光场的视觉聚合特征表示为LFp，其中p表示第p个光场。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于视觉特征聚合的光场质量评价方法，其特征在于，包括：
步骤1，获取光场数据集，所述光场数据集包括多个四维光场的数据；
步骤2，提取每一个所述四维光场的视觉特征，得到每个所述四维光场的视觉聚合特征；其中，所述视觉特征为四维光场的中心子孔径图像的特征向量LFCV、宏像素图上的特征向量LFMLI、极平面图像上的灰度共生矩阵特征向量LFEPI、以及不同重聚焦面上重聚焦图的特征向量LFRI中的一种或一种以上的组合；LFCV用于描述光场在空间清晰度上质量变化情况，LFMLI用于描述光场在角度域一致性退化情况，LFEPI用于描述光场在空-角耦合域上结构变化情况，LFRI用于描述光场在投影域上的质量变化情况；
步骤3，根据所述视觉聚合特征，使用支持向量回归训练得到光场质量分数评测模型；
步骤4，通过光场质量分数评测模型评价光场的质量分数。
2.如权利要求1所述的基于视觉特征聚合的光场质量评价方法，其特征在于，LFCV描述为α，
Figure QLYQS_1
η，skew，kurt中的一种特征或一种以上特征的组合，α为控制正态分布形状的参数，/>
Figure QLYQS_2
为减均值归一化处理后的中心子孔径图像/>
Figure QLYQS_3
的像素值xk的AGGD左方差，
Figure QLYQS_4
为/>
Figure QLYQS_5
的像素值xk的AGGD右方差，η为刻画α，σl，σr三者的关系的参数，skew为
Figure QLYQS_6
的像素值xk的偏度值，kurt为/>
Figure QLYQS_7
的像素值xk的峰度值；其中，xk通过式(4)计算获得：
Figure QLYQS_8
式中，Γ(·)为伽马函数，βl和βr均表示用于简化公式的中间参数；
Figure QLYQS_9
Figure QLYQS_10
3.如权利要求2所述的基于视觉特征聚合的光场质量评价方法，其特征在于，α表示为式(7)，
Figure QLYQS_11
描述为式(8)，/>
Figure QLYQS_12
描述为式(9)，η描述为式(10)，skew描述为式(11)，kurt描述为式(12)：
α＝σl/σr (7)
Figure QLYQS_13
Figure QLYQS_14
Figure QLYQS_15
Figure QLYQS_16
Figure QLYQS_17
式中，xk表示
Figure QLYQS_18
的第k个像素值，n表示像素的总个数，/>
Figure QLYQS_19
表示/>
Figure QLYQS_20
的所有像素值的均值。
4.如权利要求1或2所述的基于视觉特征聚合的光场质量评价方法，其特征在于，
Figure QLYQS_21
的获得方法具体包括：
步骤21a，提取四维光场的中心子孔径图像，其表示为
Figure QLYQS_22
(u*，v*)表示中心子孔径图像的坐标，(s，t)表示中心子孔径图像中的像素坐标；
步骤22a，减均值归一化处理中心子孔径图像
Figure QLYQS_23
获得处理后的图像
Figure QLYQS_24
其表示为式(1)：
Figure QLYQS_25
其中，
Figure QLYQS_26
表示/>
Figure QLYQS_27
中每个坐标点窗口内像素的均值，其可以通过下式(2)计算得到，但不限于该计算方法；/>
Figure QLYQS_28
表示/>
Figure QLYQS_29
中每个坐标点窗口内像素的方差，其通过下式(3)计算得到
Figure QLYQS_30
Figure QLYQS_31
其中，
Figure QLYQS_32
表示中心坐标为(s，t)的/>
Figure QLYQS_33
中的窗口，k，l为窗口里像素的索引，ωk，l表示二维高斯窗口。
5.如权利要求1至4中任一项所述的基于视觉特征聚合的光场质量评价方法，其特征在于，LFMLI描述为mean2(HOM)和skew(HOM)的组合，mean2(ENT)和skew(ENT)的组合，或者mean2(HOM)、skew(HOM)、mean2(ENT)和skew(ENT)的组合；mean2(HOM)为所有宏像素图灰度共生矩阵上的一致性特征组成的特征量图像HOM(s，t)的均值，skew(HOM)为HOM(s，t)的偏度值，mean2(ENT)为所有宏像素图灰度共生矩阵上的熵值组成的特征量图像ENT(s，t)的均值，skew(ENT)为ENT(s，t)的偏度值；其中，HOM(s，t)描述为式(15)，ENT(s，t)描述为式(16)：
Figure QLYQS_34
Figure QLYQS_35
式中，
Figure QLYQS_36
为每个宏像素图的灰度共生矩阵，其描述为式(14)，i，j表示两个不同的灰度共生矩阵的灰度等级，Δu，Δv为偏移量；s，t表示宏像素图坐标，u，v表示宏像素图中的像素坐标：
Figure QLYQS_37
6.如权利要求5所述的基于视觉特征聚合的光场质量评价方法，其特征在于，根据四维光场中获得水平极平面图Lv，t(u，s)和垂直极平面图Lu，s(v，t)，LFEPI描述为m1，m2，m3，m4，m5，m6中的一种特征或一种以上特征的组合，m1表示水平方向极平面图灰度共生矩阵
Figure QLYQS_39
的一致性特征量图像HOMhor(v，t)的均值；m2表示/>
Figure QLYQS_42
的能量特征量图像ENEhor(v，t)的均值；m3表示/>
Figure QLYQS_44
的对比度特征量图像CONhor(v，t)的均值；m4表示垂直方向极平面图灰度共生矩阵/>
Figure QLYQS_40
的一致性三种特征量图像HOMver(v，t)的均值；m5表示/>
Figure QLYQS_41
的能量特征量图像ENEver(v，t)的均值；m6表示/>
Figure QLYQS_43
的对比度特征量图像CONver(v，t)的均值；其中，HOMhor(v，t)描述为式(20)，ENEhor(v，t)描述为式(21)，CONhor(v，t)描述为式(22)，HOMver(v，t)描述为式(23)，ENEver(v，t)描述为式(24)，CONver(v，t)描述为式(25)，/>
Figure QLYQS_45
描述为式(18)，/>
Figure QLYQS_38
描述为式(19)：
Figure QLYQS_46
Figure QLYQS_47
Figure QLYQS_48
Figure QLYQS_49
Figure QLYQS_50
Figure QLYQS_51
Figure QLYQS_52
Figure QLYQS_53
7.如权利要求6所述的基于视觉特征聚合的光场质量评价方法，其特征在于，LFRI描述为ENa(k，l)的均值mean2(ENa)和偏度值skew(ENa)，ENa(k，l)为重聚焦面a上的重聚焦图分块熵特征图，其描述为式(28)：
Figure QLYQS_54
其中，
Figure QLYQS_55
表示聚焦面a上的重聚焦图Ea(s，t)上不同像素块中的像素出现的概率，上标k，l表示不同像素块，(q，w)表示像素块中像素的坐标，Ea(s，t)描述为式(27)：
Figure QLYQS_56
CN202110218843.9A 2021-02-26 2021-02-26 一种基于视觉特征聚合的光场质量评价方法 Active CN112967242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110218843.9A CN112967242B (zh) 2021-02-26 2021-02-26 一种基于视觉特征聚合的光场质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110218843.9A CN112967242B (zh) 2021-02-26 2021-02-26 一种基于视觉特征聚合的光场质量评价方法

Publications (2)

Publication Number Publication Date
CN112967242A CN112967242A (zh) 2021-06-15
CN112967242B true CN112967242B (zh) 2023-07-04

Family

ID=76276088

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110218843.9A Active CN112967242B (zh) 2021-02-26 2021-02-26 一种基于视觉特征聚合的光场质量评价方法

Country Status (1)

Country Link
CN (1) CN112967242B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079827A (zh) * 2014-06-27 2014-10-01 中国科学院自动化研究所 一种光场成像自动重对焦方法
CN106056559A (zh) * 2016-06-30 2016-10-26 河海大学常州校区 基于暗通道先验的非均匀光场水下目标探测图像增强方法
CN108696692A (zh) * 2017-04-06 2018-10-23 上海盟云移软网络科技股份有限公司 光场成像的数据预处理方法
CN109064505A (zh) * 2018-07-26 2018-12-21 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法
CN109089025A (zh) * 2018-08-24 2018-12-25 中国民航大学 一种基于光场成像技术的影像仪数字聚焦方法
CN109523508A (zh) * 2018-09-27 2019-03-26 宁波大学 一种密集光场质量评价方法
CN109801273A (zh) * 2019-01-08 2019-05-24 华侨大学 一种基于极平面线性相似度的光场图像质量评价方法
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN110246162A (zh) * 2019-06-20 2019-09-17 首都师范大学 一种全聚焦光场图像组成方法及系统
CN110310269A (zh) * 2019-06-27 2019-10-08 华侨大学 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN111145134A (zh) * 2019-12-24 2020-05-12 太原科技大学 基于块效应的微透镜光场相机全聚焦图像生成算法
CN111260707A (zh) * 2020-02-21 2020-06-09 合肥工业大学 一种基于光场epi图像的深度估计方法
CN111524104A (zh) * 2020-04-13 2020-08-11 华侨大学 基于多尺度轮廓波特征的全参考光场图像质量评价方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380221B2 (en) * 2013-02-27 2016-06-28 Massachusetts Institute Of Technology Methods and apparatus for light field photography
US10924727B2 (en) * 2018-10-10 2021-02-16 Avalon Holographics Inc. High-performance light field display simulator
US11363249B2 (en) * 2019-02-22 2022-06-14 Avalon Holographics Inc. Layered scene decomposition CODEC with transparency

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104079827A (zh) * 2014-06-27 2014-10-01 中国科学院自动化研究所 一种光场成像自动重对焦方法
CN106056559A (zh) * 2016-06-30 2016-10-26 河海大学常州校区 基于暗通道先验的非均匀光场水下目标探测图像增强方法
CN108696692A (zh) * 2017-04-06 2018-10-23 上海盟云移软网络科技股份有限公司 光场成像的数据预处理方法
CN109064505A (zh) * 2018-07-26 2018-12-21 清华大学深圳研究生院 一种基于滑动窗口张量提取的深度估计方法
CN109089025A (zh) * 2018-08-24 2018-12-25 中国民航大学 一种基于光场成像技术的影像仪数字聚焦方法
CN109523508A (zh) * 2018-09-27 2019-03-26 宁波大学 一种密集光场质量评价方法
CN109801273A (zh) * 2019-01-08 2019-05-24 华侨大学 一种基于极平面线性相似度的光场图像质量评价方法
CN110012196A (zh) * 2019-02-22 2019-07-12 华中光电技术研究所（中国船舶重工集团有限公司第七一七研究所） 一种光场相机重聚焦方法
CN110246162A (zh) * 2019-06-20 2019-09-17 首都师范大学 一种全聚焦光场图像组成方法及系统
CN110310269A (zh) * 2019-06-27 2019-10-08 华侨大学 基于极平面多尺度Gabor特征相似度的光场图像质量评价方法
CN111145134A (zh) * 2019-12-24 2020-05-12 太原科技大学 基于块效应的微透镜光场相机全聚焦图像生成算法
CN111260707A (zh) * 2020-02-21 2020-06-09 合肥工业大学 一种基于光场epi图像的深度估计方法
CN111524104A (zh) * 2020-04-13 2020-08-11 华侨大学 基于多尺度轮廓波特征的全参考光场图像质量评价方法

Non-Patent Citations (9)

* Cited by examiner, † Cited by third party
Title
A No-Reference Image Quality Assessment Metric by Multiple Characteristics of Light Field Images;Liang Shan 等;《IEEE Access》;第07卷;127217-127229 *
Light field quality assessment based on aggregation learning of multiple visual features;Chang Liu 等;《Optics Express》;第30卷(第21期);38298-38318 *
光场体验质量评价;关德鹏;《中国优秀硕士学位论文全文数据库基础科学辑》(第(2018)04期);A005-65 *
光场图像质量评价研究;史丽坤;《中国优秀硕士学位论文全文数据库信息科技辑》(第(2019)08期);I138-621 *
光场相机成像质量评价方法研究;杨凡 等;《现代电子技术》;第34卷(第06期);4-6 *
利用边缘相似度的光场图像质量评价;田钰 等;《信号处理》;第34卷(第10期);1197-1202 *
基于光场相机的四维光场图像水印及质量评价;陈琦 等;《光学学报》;第38卷(第04期);153-160 *
基于剪切波变换的光场图像质量评价方法;黄至娇 等;《光电子・激光》;第31卷(第02期);187-193 *
基于多视觉特征聚合的光场质量评价方法;邹卓成 等;《光学学报》;第41卷(第16期);62-73 *

Also Published As

Publication number Publication date
CN112967242A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
US20230075270A1 (en) Image processing method and apparatus, electronic device, and computer-readable storage medium
CN106846463B (zh) 基于深度学习神经网络的显微图像三维重建方法及系统
AU2017246470B2 (en) Generating intermediate views using optical flow
CN110827193B (zh) 基于多通道特征的全景视频显著性检测方法
WO2017107524A1 (zh) 虚拟现实头盔的成像畸变测试方法及装置
Ding et al. Efficient dark channel based image dehazing using quadtrees
CN112561978B (zh) 深度估计网络的训练方法、图像的深度估计方法、设备
Gao et al. Detail preserved single image dehazing algorithm based on airlight refinement
WO2018161883A1 (zh) 虚拟光线跟踪方法及光场动态重聚焦显示系统
CN110147816B (zh) 一种彩色深度图像的获取方法、设备、计算机存储介质
CN111914938B (zh) 一种基于全卷积二分支网络的图像属性分类识别方法
US20220270215A1 (en) Method for applying bokeh effect to video image and recording medium
JP2019204193A (ja) 画像処理装置、画像処理方法及びプログラム
CN109766896B (zh) 一种相似度度量方法、装置、设备和存储介质
WO2022116104A1 (zh) 图像处理方法、装置、设备及存储介质
CN110910319A (zh) 一种基于大气散射模型的手术视频实时去雾增强方法
Feng et al. Low-light image enhancement algorithm based on an atmospheric physical model
Guo et al. Real-time dense-view imaging for three-dimensional light-field display based on image color calibration and self-supervised view synthesis
Côté et al. The differentiable lens: Compound lens search over glass surfaces and materials for object detection
Zheng et al. Overwater image dehazing via cycle-consistent generative adversarial network
CN112967242B (zh) 一种基于视觉特征聚合的光场质量评价方法
CN113810683A (zh) 一种客观评估水下视频质量的无参考评价方法
CN111260712B (zh) 一种基于重聚焦极线图邻域分布的深度估计方法和装置
JP2014078799A (ja) 画像処理装置及び画像処理方法
CN111915735A (zh) 一种针对视频中三维结构轮廓的深度优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant