CN116630613A - 一种动态场景多曝光融合光场图像的质量评价方法 - Google Patents
一种动态场景多曝光融合光场图像的质量评价方法 Download PDFInfo
- Publication number
- CN116630613A CN116630613A CN202310391186.7A CN202310391186A CN116630613A CN 116630613 A CN116630613 A CN 116630613A CN 202310391186 A CN202310391186 A CN 202310391186A CN 116630613 A CN116630613 A CN 116630613A
- Authority
- CN
- China
- Prior art keywords
- fore
- model
- dimension
- scale
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 119
- 230000004927 fusion Effects 0.000 title claims abstract description 44
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 59
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 19
- 230000011218 segmentation Effects 0.000 claims abstract description 11
- 230000006870 function Effects 0.000 claims description 89
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 19
- 230000008569 process Effects 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000008447 perception Effects 0.000 abstract description 4
- 230000016776 visual perception Effects 0.000 abstract description 3
- 238000011176 pooling Methods 0.000 abstract description 2
- 238000001303 quality assessment method Methods 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000007430 reference method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种动态场景多曝光融合光场图像的质量评价方法,其从局部、全局和角度等方面来充分考虑失真多曝光融合光场图像的失真特点和内在的高维结构特性,首先对失真多曝光融合光场图像的角度维进行张量分解,这能有效保留其高维特性并在张量切片上提取到与主观感知更为相关的特征;然后在第一成分设计前背景分割方案以检测得到具有显著伪影的前景部分,并对前景部分进行边缘结构和亮度/色度的特征提取;接着,在第一成分亮度分割后,基于HSI模型提取低暗、正常和高亮区域的局部特征;之后,结合全局特征和其他成分提取的角度特征形成感知特征向量,池化预测得到客观质量分,因此预测的客观质量分与人眼的视觉感知有更好的一致性。
Description
技术领域
本发明涉及一种图像质量评价技术,尤其是涉及一种动态场景多曝光融合光场图像的质量评价方法。
背景技术
相比传统的二维图像,光场图像包含更丰富的场景信息,包括完整的视差、光线强度和方向信息,使其可用于渲染、目标检测和三维重建等领域。然而,自然场景的动态范围非常大(可高达9个数量级),由于成像传感器势阱容量的限制,因此会导致大照明范围环境中的成像产生曝光过度或曝光不足现象,而现有的商用光场相机难以通过单次曝光记录有关场景大亮度动态范围的完整信息。为了解决这个问题,多曝光光场成像技术可实现重建大动态范围的光场图像,但是多曝光光场成像中会不可避免地产生相应失真,特别是在动态场景成像的情况下。因此,多曝光融合光场图像质量评价在光场图像处理中具有一定的挑战性。
迄今为止,尽管有研究考虑将光场成像与多曝光融合技术相结合,但尚未有研究人员对多曝光融合光场图像的视觉质量评价开展相关工作。许多研究人员已经提出了许多较为成熟的光场图像质量评价方法,这些光场图像质量评价方法能够较为准确的预测光场图像质量。如:Shi等人提出的一种光场图像盲质量评估器,该方法结合了光场图像的空间特征和角度特征来估计光场图像质量。又如:Xiang等人提出的一种基于伪视频和重聚焦图像的无参考光场图像质量评价方法,该方法采用多尺度、多方向剪切波变换提取PV的结构、运动和视差信息,利用RIs的空间结构、深度和语义信息对可视化的LFI进行评估。还如:Pan等人提出的一种结合张量切片和奇异值的盲光场图像质量评估方法,该方法在张量第一成分提取了清晰度特征,并使用其他成分的信息分布和角度奇异值特征来衡量光场图像失真。还如:Liu等人提出的基于伪参考子孔径图像和微透镜图像的无参考光场图像质量评价方法,该方法利用子孔径之间的视差关系构造伪参考子孔径图像,基于伪参考子孔径图像和微透镜图像提取特征衡量光场图像质量。
虽然以上方法对于光场图像具有普遍适用性,但是对于多曝光融合光场图像质量评价的结果可能无法达到较好的效果。因为,多曝光融合光场图像视觉质量还包括多曝光融合以及色调映射等影响,例如多曝光融合算法融合动态场景过程中,动态对象会产生伪影、融合过程中亮度和色度会产生失真以及光场图像的角度一致性易遭受破坏,这都将导致多曝光融合光场图像的质量严重下降且失真情况不同于一般光场图像。因此,亟需开发一种针对多曝光融合光场图像的全新图像质量评价方法。
发明内容
本发明所要解决的技术问题是提供一种动态场景多曝光融合光场图像的质量评价方法,其充分利用多曝光融合光场图像的局部、全局和角度特征来预测客观质量分,且预测的客观质量分与人眼的视觉感知具有更好的一致性。
本发明解决上述技术问题所采用的技术方案为:一种动态场景多曝光融合光场图像的质量评价方法,其特征在于包括以下步骤:
步骤1:将待质量评价的失真多曝光融合光场图像记为其中,/>表示/>是五维的,U和V分别表示/>的角度维数,X和Y分别表示/>的空间维数,C表示/>的颜色维数;然后将/>视作2维的子孔径图像阵列,子孔径图像阵列由U×V幅子孔径图像构成,每幅子孔径图像的分辨率为X×Y,将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为Gu,v,其中,1≤u≤U,1≤v≤V;
步骤2:对的角度维进行Tucker张量分解,得到分解成分,记为/>其中,表示/>是五维的,U1和V1分别表示/>的角度维数,U1小于或等于U,V1小于或等于V,X和Y分别也是/>的空间维数,C也是/>的颜色维数;然后固定/>的前两维U1和V1,得到/>的所有张量切片,表示为:/>其中,/>L1,1表示固定U1和V1的值对应为1和1时的张量切片,Lu,v表示固定U1和V1的值对应为u和v时的张量切片,LU,V表示固定U1和V1的值对应为U和V时的张量切片;
步骤3:将子孔径图像阵列中视点坐标位置为的子孔径图像作为中心子孔径图像,记为Gcentre;然后计算Gcentre的深度图,记为Dcentre;接着使用最大类间算法在/>和/>之间求得Dcentre的最优阈值/>来对Dcentre进行前背景分割,得到二值图像,记为Dcentre,val;再将Dcentre,val作为权重与L1,1结合,即将Dcentre,val与L1,1相乘,得到L1,1的具有明显伪影的前景部分,记为L1,1,fore;之后将L1,1,fore从RGB空间转化到HSI模型,得到L1,1,fore的色调分量、饱和度分量和强度分量,对应记为H1,1,fore、S1,1,fore和I1,1,fore;最后使用8个尺度的高斯差分模型、直方图、广义高斯函数以及基于矩匹配的方法对I1,1,fore进行边缘结构特征提取,提取得到I1,1,fore的GGD拟合特征向量,记为/>使用直方图对H1,1,fore进行颜色分量特征提取,提取得到H1,1,fore的阶矩特征向量,记为使用直方图对I1,1,fore进行亮度特征提取,提取得到I1,1,fore的阶矩特征向量,记为联合/>和/>构成基于前背景分割提取的局部特征向量,记为F1,/>其中,/>为向下取整运算符号,min()为取最小值函数,max()为取最大值函数,/>表示Dcentre中的最小像素值,/>表示Dcentre中的最大像素值,/>的维数为1×16,/>的维数为1×4,/>的维数为1×4,“[]”为向量或矩阵表示符号,F1的维数为1×24;
步骤4:将L1,1的灰度图中灰度值的最小值、最大值、中间值对应记为pgraymin、pgraymax、pgraymed;然后使用最大类间算法在pgraymin和pgraymed之间求得L1,1的第一个最优阈值在pgraymed和pgraymax之间求得L1,1的第二个最优阈值/>以此将L1,1分割成三个不同亮度强度的区域,分别为低暗区域、正常曝光区域和高亮区域,对应记为L1,1,low、L1,1,nor和L1,1,high;接着将L1,1,low从RGB空间转化到HSI模型,得到L1,1,low的色调分量、饱和度分量和强度分量,对应记为H1,1,low、S1,1,low和I1,1,low;同样,将L1,1,nor从RGB空间转化到HSI模型,得到L1,1,nor的色调分量、饱和度分量和强度分量,对应记为H1,1,nor、S1,1,nor和I1,1,nor;将L1,1,high从RGB空间转化到HSI模型,得到L1,1,high的色调分量、饱和度分量和强度分量,对应记为H1,1,high、S1,1,high和I1,1,high;最后提取I1,1,low的特征向量来描述亮度和纹理信息,记为/> 提取I1,1,high的特征向量来描述纹理信息,记为/> 提取H1,1,high的特征向量来表征光晕的影响,记为/> 提取S1,1,high的特征向量来表征光晕的影响,记为/> 提取I1,1,nor的特征向量来描述纹理信息,记为/> 联合和/>构成基于亮度分割提取的局部特征向量,记为F2,其中,L1,1,low的灰度图中的灰度值在pgraymin和/>之间,L1,1,nor的灰度图中的灰度值在/>和/>之间,L1,1,high的灰度图中的灰度值在/>和pgraymax之间,/>表示I1,1,low中的所有像素点的像素值的均值,/>表示I1,1,low中的所有像素点的像素值的标准差,/>表示I1,1,low中的所有像素点的像素值的信息熵,/>表示I1,1,high中的所有像素点的像素值的信息熵,/>表示H1,1,high中的所有像素点的像素值的均值,/>表示H1,1,high中的所有像素点的像素值的标准差,/>表示S1,1,high中的所有像素点的像素值的均值,/>表示I1,1,nor中的所有像素点的像素值的信息熵,F2的维数为1×8;
步骤5:将L1,1从RGB空间转化到HSI模型,得到L1,1的色调分量、饱和度分量和强度分量,对应记为H1,1、S1,1和I1,1;再提取I1,1的对比度特征,记为 然后使用8个尺度的高斯差分模型、直方图、广义高斯函数以及基于矩匹配的方法,提取得到I1,1的GGD拟合特征向量,记为/>最后联合/>和/>构成基于全局提取的特征向量,记为F3,/>其中,R表示像素灰度级数目,R=256,γi,k表示灰度值i与灰度值k的绝对差值,Pi,k表示灰度值为i的像素和灰度值为k的像素相邻出现的概率,的维数为1×16,F3的维数为1×17;
步骤6:将中除L1,1之外的剩余所有张量切片从RGB空间转化到HSI模型,得到剩余所有张量切片各自的色调分量、饱和度分量和强度分量;然后采用基于5个尺度的GLBP算法对剩余每个张量切片的强度分量进行不同尺度的梯度纹理特征向量提取,每个尺度的梯度纹理特征向量的维数为1×10;再对剩余所有张量切片各自的强度分量的同尺度的梯度纹理特征向量求平均向量;最后将5个尺度的平均向量构成基于角度提取的特征向量,记为F4;其中,F4的维数为1×50;
步骤7:联合F1、F2、F3、F4构成的感知特征向量,记为FLGA,FLGA=[F1,F2,F3,F4];其中,FLGA的维数为1×99;
步骤8:将FLGA作为输入,结合LIBSVM包来对带有径向基函数内核的SVR进行回归训练,预测得到的客观质量分,记为Qpredict;其中,Qpredict越大,说明输入的FLGA对应的多曝光融合光场图像的质量越好;反之,说明输入的FLGA对应的多曝光融合光场图像的质量越差。
所述的步骤2中,将的Tucker张量分解表示为:其中,在Tucker张量分解过程中/>被看作为五阶张量,/>表示核心张量,/>D(1)表示第一维角度维的因子矩阵,/>D(2)表示第二维角度维的因子矩阵,/>D(3)表示第三维空间维的因子矩阵,D(4)表示第四维空间维的因子矩阵,/>D(5)表示第五维颜色维的因子矩阵,/>U1和V1分别也是/>的角度维数,X1和Y1分别表示/>的空间维数,X1小于或等于X,Y1小于或等于Y,C1表示/>的颜色维数,C1小于或等于C;然后将核心张量/>表示为:/>其中,上标“T”表示向量或矩阵的转置;再将对/>的角度维进行Tucker分解理解为/>与第一维角度维的因子矩阵D(1)和第二维角度维的因子矩阵D(2)沿模式积,得到分解成分/>之后根据和/>得到并使/>中的/>的空间维数X1等于X、Y1等于Y,颜色维数C1等于C,即实现角度维的降维。
所述的步骤3中,的获取过程为:使用8个尺度的高斯差分模型对I1,1,fore进行处理,得到I1,1,fore的8个不同尺度的边缘图;然后使用直方图求取I1,1,fore的每个尺度的边缘图的系数分布并使用广义高斯函数的形状参数和方差参数进行拟合,再使用基于矩匹配的方法对广义高斯函数的形状参数和方差参数进行估计,将针对I1,1,fore的第j个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数对应记为βj和σj;再针对I1,1,fore联合8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数,得到I1,1,fore的GGD拟合特征向量/>其中,1≤j≤J,J=8,βI,GGD表示针对I1,1,fore的8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数向量,βI,GGD=[β1,β2,…,βJ],β1,β2,…,βJ对应表示针对I1,1,fore的第1个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数,σI,GGD表示针对I1,1,fore的8个尺度的高斯差分模型下与之对应的广义高斯函数的的方差参数向量,σI,GGD=[σ1,σ2,…,σJ],σ1,σ2,…,σJ对应表示针对I1,1,fore的第1个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数;
的获取过程为:使用直方图对H1,1,fore进行处理,得到H1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩;然后将H1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩依次排列构成H1,1,fore的阶矩特征向量/>
的获取过程为:使用直方图对I1,1,fore进行处理,得到I1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩;然后将I1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩依次排列构成I1,1,fore的阶矩特征向量/>
所述的步骤5中,使用8个尺度的高斯差分模型对I1,1进行处理,得到I1,1的8个不同尺度的边缘图;然后使用直方图分别求取I1,1的每个尺度的边缘图的系数分布并使用广义高斯函数的形状参数和方差参数进行拟合,再使用基于矩匹配的方法对广义高斯函数的形状参数和方差参数进行估计,将针对I1,1的第j个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数对应记为β′j和σ'j;再针对I1,1联合8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数,得到I1,1的GGD拟合特征向量其中,1≤j≤J,J=8,/>表示针对I1,1的8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数向量,/>β′1,β′2,…,β'J对应表示针对I1,1的第1个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数,/>表示针对I1,1的8个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数向量,σI,GGD=[σ′1,σ'2,…,σ'J],σ′1,σ'2,…,σ'J对应表示针对I1,1的第1个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数。
与现有技术相比,本发明的优点在于:
(1)本发明方法从光场成像技术和已有的多曝光融合算法结合在动态场景中产生的失真出发,提出了一种针对动态场景多曝光融合光场图像的质量评价方法,填补了该领域的空白。
(2)与现有的光场图像质量评价方法相比,本发明方法从局部、全局和角度等多方面来充分考虑失真多曝光融合光场图像的失真特点和内在的高维结构特性。具体而言,首先对失真多曝光融合光场图像的角度维进行张量分解,这能够有效保留其高维特性并在张量切片上提取到与主观感知更为相关的特征;然后在第一成分即第1个张量切片设计前背景分割方案以检测得到具有显著伪影的前景部分,并对前景部分进行边缘结构和亮度/色度的特征提取;接着,在第一成分亮度分割后,基于HSI模型提取低暗、正常和高亮区域的局部特征;之后,结合全局特征和其他成分提取的角度特征形成感知特征向量,池化预测得到客观质量分。因此,本发明方法预测的客观质量分与人眼的视觉感知有更好的一致性。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种动态场景多曝光融合光场图像的质量评价方法,其总体实现框图如图1所示,其包括以下步骤:
步骤1:将待质量评价的失真多曝光融合光场图像记为其中,/>表示/>是五维的,U和V分别表示/>的角度维数,X和Y分别表示/>的空间维数,C表示/>的颜色维数;然后将/>视作2维的子孔径图像阵列,子孔径图像阵列由U×V幅子孔径图像构成,每幅子孔径图像的分辨率为X×Y,将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为Gu,v,其中,1≤u≤U,1≤v≤V。
步骤2:对的角度维进行Tucker张量分解(也被称为高阶奇异值分解),得到分解成分,记为/>其中,/>表示/>是五维的,U1和V1分别表示/>的角度维数,U1小于或等于U,V1小于或等于V,X和Y分别也是/>的空间维数,C也是/>的颜色维数,由于多曝光融合光场图像的高维特性难以处理,因此对失真多曝光融合光场图像进行高阶奇异值分解能够实现有效降维并保留光场图像原有的颜色信息;然后固定/>的前两维U1和V1,得到/>的所有张量切片,表示为:/>其中,L1,1表示固定U1和V1的值对应为1和1时的张量切片,Lu,v表示固定U1和V1的值对应为u和v时的张量切片,LU,V表示固定U1和V1的值对应为U和V时的张量切片。
在本实施例中,步骤2中,将的Tucker张量分解表示为:其中,在Tucker张量分解过程中/>被看作为五阶张量,/>表示核心张量,/>D(1)表示第一维角度维的因子矩阵,/>D(2)表示第二维角度维的因子矩阵,/>D(3)表示第三维空间维的因子矩阵,D(4)表示第四维空间维的因子矩阵,/>D(5)表示第五维颜色维的因子矩阵,/>U1和V1分别也是/>的角度维数,X1和Y1分别表示/>的空间维数,X1小于或等于X,Y1小于或等于Y,C1表示/>的颜色维数,C1小于或等于C;由于因子矩阵通常是正交的,当核心张量/>的维数U1和V1、X1和Y1、C1对应小于U和V、X和Y、C时,可以认为核心张量/>是光场图像的压缩版本,由此实现降维,因此然后将核心张量/>表示为:其中,上标“T”表示向量或矩阵的转置;再将对/>的角度维进行Tucker分解理解为/>与第一维角度维的因子矩阵D(1)和第二维角度维的因子矩阵D(2)沿模式积,得到分解成分/>之后根据和/>得到并使/>中的/>的空间维数X1等于X、Y1等于Y,颜色维数C1等于C,即实现角度维的降维。
步骤3:将子孔径图像阵列中视点坐标位置为的子孔径图像作为中心子孔径图像,记为Gcentre;然后采用现有技术计算Gcentre的深度图,记为Dcentre;接着使用最大类间算法在/>和/>之间求得Dcentre的最优阈值/>来对Dcentre进行前背景分割,得到二值图像,记为Dcentre,val;再将Dcentre,val作为权重与L1,1结合,即将Dcentre,val与L1,1相乘,得到L1,1的具有明显伪影的前景部分,记为L1,1,fore;之后将L1,1,fore从RGB空间转化到HSI模型(色调Hue、饱和度Saturation、强度Intensity),得到L1,1,fore的色调分量、饱和度分量和强度分量,对应记为H1,1,fore、S1,1,fore和I1,1,fore;最后使用8个尺度的高斯差分(DOG)模型、直方图、广义高斯函数(GGD)以及基于矩匹配的方法对I1,1,fore进行边缘结构特征提取,提取得到I1,1,fore的GGD拟合特征向量,记为/>使用直方图对H1,1,fore进行颜色分量特征提取,提取得到H1,1,fore的阶矩特征向量,记为/>使用直方图对I1,1,fore进行亮度特征提取,提取得到I1,1,fore的阶矩特征向量,记为/>联合和/>构成基于前背景分割提取的局部特征向量,记为F1,其中,/>为向下取整运算符号,min()为取最小值函数,max()为取最大值函数,/>表示Dcentre中的最小像素值,/>表示Dcentre中的最大像素值,/>的维数为1×16,/>的维数为1×4,/>的维数为1×4,/>为向量或矩阵表示符号,F1的维数为1×24,高斯差分模型的8个尺度是指高斯滤波器的标准差,其中每个尺度下的高斯核分别设置为(0.4,0.5),(0.5,0.6),(0.6,0.7),(0.7,0.8),(0.8,0.9),(1.0,1.6),(1.6,2.56),(2.56,4.096)。
在本实施例中,步骤3中,的获取过程为:使用8个尺度的高斯差分模型对I1,1,fore进行处理,得到I1,1,fore的8个不同尺度的边缘图;然后使用直方图求取I1,1,fore的每个尺度的边缘图的系数分布并使用广义高斯函数的形状参数和方差参数进行拟合,再使用基于矩匹配的方法对广义高斯函数的形状参数和方差参数进行估计,将针对I1,1,fore的第j个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数对应记为βj和σj;再针对I1,1,fore联合8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数,得到I1,1,fore的GGD拟合特征向量/> 其中,1≤j≤J,J=8,βI,GGD表示针对I1,1,fore的8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数向量,βI,GGD=[β1,β2,…,βJ],β1,β2,…,βJ对应表示针对I1,1,fore的第1个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数,σI,GGD表示针对I1,1,fore的8个尺度的高斯差分模型下与之对应的广义高斯函数的的方差参数向量,σI,GGD=[σ1,σ2,…,σJ],σ1,σ2,…,σJ对应表示针对I1,1,fore的第1个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数。/>的获取过程为:使用直方图对H1,1,fore进行处理,得到H1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩;然后将H1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩依次排列构成H1,1,fore的阶矩特征向量/> 的获取过程为:使用直方图对I1,1,fore进行处理,得到I1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩;然后将I1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩依次排列构成I1,1,fore的阶矩特征向量/>
步骤4:将L1,1的灰度图中灰度值的最小值、最大值、中间值对应记为pgraymin、pgraymax、pgraymed;然后使用最大类间算法在pgraymin和pgraymed之间求得L1,1的第一个最优阈值在pgraymed和pgraymax之间求得L1,1的第二个最优阈值/>以此将L1,1分割成三个不同亮度强度的区域,分别为低暗区域、正常曝光区域和高亮区域,对应记为L1,1,low、L1,1,nor和L1,1,high;接着将L1,1,low从RGB空间转化到HSI模型,得到L1,1,low的色调分量、饱和度分量和强度分量,对应记为H1,1,low、S1,1,low和I1,1,low;同样,将L1,1,nor从RGB空间转化到HSI模型,得到L1,1,nor的色调分量、饱和度分量和强度分量,对应记为H1,1,nor、S1,1,nor和I1,1,nor;将L1,1,high从RGB空间转化到HSI模型,得到L1,1,high的色调分量、饱和度分量和强度分量,对应记为H1,1,high、S1,1,high和I1,1,high;最后提取I1,1,low的特征向量来描述亮度和纹理信息,记为/> 提取I1,1,high的特征向量来描述纹理信息,记为/> 提取H1,1,high的特征向量来表征光晕的影响,记为/> 提取S1,1,high的特征向量来表征光晕的影响,记为/> 提取I1,1,nor的特征向量来描述纹理信息,记为/> 联合和/>构成基于亮度分割提取的局部特征向量,记为F2,其中,/>L1,1,low的灰度图中的灰度值在pgraymin和/>之间,L1,1,nor的灰度图中的灰度值在/>和/>之间,L1,1,high的灰度图中的灰度值在/>和pgraymax之间,/>表示I1,1,low中的所有像素点的像素值的均值,/>表示I1,1,low中的所有像素点的像素值的标准差,/>表示I1,1,low中的所有像素点的像素值的信息熵,/>表示I1,1,high中的所有像素点的像素值的信息熵,/>表示H1,1,high中的所有像素点的像素值的均值,/>表示H1,1,high中的所有像素点的像素值的标准差,/>表示S1,1,high中的所有像素点的像素值的均值,/>表示I1,1,nor中的所有像素点的像素值的信息熵,F2的维数为1×8。
步骤5:将L1,1从RGB空间转化到HSI模型,得到L1,1的色调分量、饱和度分量和强度分量,对应记为H1,1、S1,1和I1,1;再提取I1,1的对比度特征,记为 然后使用8个尺度的高斯差分(DOG)模型、直方图、广义高斯函数(GGD)以及基于矩匹配的方法,提取得到I1,1的GGD拟合特征向量,记为/>最后联合/>和/>构成基于全局提取的特征向量,记为F3,/>其中,R表示像素灰度级数目,R=256,γi,k表示灰度值i与灰度值k的绝对差值,Pi,k表示灰度值为i的像素和灰度值为k的像素相邻出现的概率,/>的维数为1×16,F3的维数为1×17,高斯差分模型的8个尺度是指高斯滤波器的标准差,其中每个尺度下的高斯核分别设置为(0.4,0.5),(0.5,0.6),(0.6,0.7),(0.7,0.8),(0.8,0.9),(1.0,1.6),(1.6,2.56),(2.56,4.096)。
在本实施例中,步骤5中,使用8个尺度的高斯差分模型对I1,1进行处理,得到I1,1的8个不同尺度的边缘图;然后使用直方图分别求取I1,1的每个尺度的边缘图的系数分布并使用广义高斯函数的形状参数和方差参数进行拟合,再使用基于矩匹配的方法对广义高斯函数的形状参数和方差参数进行估计,将针对I1,1的第j个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数对应记为β′j和σ'j;再针对I1,1联合8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数,得到I1,1的GGD拟合特征向量 其中,1≤j≤J,J=8,/>表示针对I1,1的8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数向量,/>β′1,β′2,…,β'J对应表示针对I1,1的第1个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数,/>表示针对I1,1的8个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数向量,σI,GGD=[σ′1,σ'2,…,σ'J],σ′1,σ'2,…,σ'J对应表示针对I1,1的第1个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数。
步骤6:将中除L1,1之外的剩余所有张量切片(共U×V-1个张量切片)从RGB空间转化到HSI模型,得到剩余所有张量切片各自的色调分量、饱和度分量和强度分量;然后采用基于5个尺度的GLBP(Gradient Local Binary Pattern,梯度局部二值模式)算法对剩余每个张量切片的强度分量进行不同尺度的梯度纹理特征向量提取,每个尺度的梯度纹理特征向量的维数为1×10;再对剩余所有张量切片各自的强度分量的同尺度的梯度纹理特征向量求平均向量;最后将5个尺度的平均向量构成基于角度提取的特征向量,记为F4;其中,F4的维数为1×50。
步骤7:联合F1、F2、F3、F4构成的感知特征向量,记为FLGA,FLGA=[F1,F2,F3,F4];其中,FLGA的维数为1×99。
步骤8:将FLGA作为输入,结合LIBSVM包来对带有径向基函数(RBF)内核的SVR(Support Vactor Regression,支持向量回归机)进行回归训练,预测得到的客观质量分,记为Qpredict;其中,Qpredict越大,说明输入的FLGA对应的多曝光融合光场图像的质量越好;反之,说明输入的FLGA对应的多曝光融合光场图像的质量越差。
以下对本发明方法进行实验,进一步说明本发明方法的有效性与可行性。
本发明方法与2种MEF-FRIQA方法和6种LF-NRIQA方法等8种经典的IQA(图像质量评估)方法进行比较。其中,MEF-FRIQA方法包括MEF-SSIM(K.Ma,K.Zeng and Z.Wang,“Perceptual quality assessment for multi-exposure image fusion,”IEEETrans.Image Process.,vol.24,no.11,pp.3345-3356,Nov.2015.(多曝光图像融合的感知质量评估))、MEF-SSIMd(Y.Fang,H.Zhu,K.Ma,Z.Wang and S.Li,“Perceptual evaluationfor multi-exposure image fusion of dynamic scenes,”IEEE Trans.Image Process.,vol.29,pp.1127-1138,Sept.2020.(动态场景多曝光图像融合的感知评价)),LF-NRIQA方法包括NR-LFQA(L.Shi,W.Zhou,Z.Chen and J.Zhang,“No-reference light field imagequality assessment based on spatial-angular measurement,”IEEE Trans.CircuitsSyst.Video Technol.,vol.30,no.11,pp.4114-4128,Nov.2020.(基于空间角度测量的无参考光场图像质量评估))、BELIF(L.Shi,S.Zhao and Z.Chen,“BELIF:Blind qualityevaluator of light field image with tensor structure variation index,”inProc.Int.Conf.Image Process.ICIP,pp.3781-3785,Aug.2019(基于张量结构变化指数的光场图像盲质量评价))、Tensor-NLFQ(W.Zhou,L.Shi,Z.Chen and J.Zhang,“Tensororiented no-reference light field image quality assessment,”IEEE Trans.ImageProcess.,vol.29,pp.4070-4084,Feb.2020.(面向张量的无参考光场图像质量评估))、TSSV-LFIQA(Z.Pan,M.Yu,G.Jiang,H.Xu and Y.-S.Ho,“Combining tensor slice andsingular value for blind light field image quality assessment,”IEEEJ.Sel.Top.Signal Process.,vol.15,no.3,pp.672-687,Apr.2021(张量切片与奇异值相结合的盲光场图像质量评估))、PVRIs-LFIQA(J.Xiang,M.Yu,G.Jiang,H.Xu,Y.Song andY.-S.Ho,“Pseudo video and refocused images-based blind light field imagequality assessment,”IEEE Trans.Circuits Syst.Video Technol.,vol.31,no.7,pp.2575-2590,July2021(基于伪视频和重聚焦图像的盲光场图像质量评估))和PM-BLFIQM(Y.Liu,G.Jiang,Z.Jiang,Z.Pan,M.Yu and Y.-S.Ho,“Pseudoreferencesubapertureimages and microlens image-based blind light field image qualitymeasurement,”IEEE Trans.Instrum.Meas.,vol.70,pp.1-15,July 2021(基于伪参考子孔径图像和微透镜图像的盲光场图像质量测量))。
用于训练和测试的多曝光融合光场图像数据库为NBU-MLFD数据库,然后通过比较客观质量评价方法预测得到的客观质量分与MOS值是否一致来评价该客观质量评价方法的预测性能。具体而言,本发明方法所提取的失真多曝光融合光场图像的感知特征向量通过支持向量回归机得到客观质量分;然后将失真多曝光融合光场图像的客观质量分与MOS值进行非线性拟合;接着采用3个根据视频质量评价专家组提供的标准指标来对不同的客观质量评价方法的预测性能进行量化。3个标准指标分别为Spearman秩相关系数(SpearmanRank Order Correlation Coefficient,SROCC)、Pearson线性相关系数(Pearson LinearCorrelation Coefficient,PLCC)和均方根误差(Root Mean Square Error,RMSE),其中,SROCC用于测量客观质量评价方法的预测单调性,PLCC和RMSE用于测量客观质量评价方法的预测准确性,SROCC的取值范围在[-1,1]之间,PLCC的取值范围在[0,1]之间,SROCC和PLCC的绝对值越接近于1,RMSE越接近于0,说明客观质量评价方法的预测性能越好。
表1给出了本发明方法与MEF-SSIM、MEF-SSIMd、NR-LFQA、BELIF、Tensor-NLFQ、TSSV-LFIQA、PM-BLFIQM、PVRIs-LFIQA共8种现有的客观质量评价方法在NBU-MLFD数据库上的性能指标SROCC、PLCC和RMSE的值。
表1本发明方法与MEF-SSIM、MEF-SSIMd、NR-LFQA、BELIF、Tensor-NLFQ、
TSSV-LFIQA、PM-BLFIQM、PVRIs-LFIQA共8种现有的客观质量评价方法在
NBU-MLFD数据库上的3个性能指标SROCC、PLCC和RMSE的结果
从表1中可以看出,本发明方法在NBU-MLFD数据库上具有较好的预测性能。值得一提的是,与全参考方法相比,本发明方法也依然占据优势。
Claims (4)
1.一种动态场景多曝光融合光场图像的质量评价方法,其特征在于包括以下步骤:
步骤1:将待质量评价的失真多曝光融合光场图像记为其中,/>表示/>是五维的,U和V分别表示/>的角度维数,X和Y分别表示/>的空间维数,C表示/>的颜色维数;然后将/>视作2维的子孔径图像阵列,子孔径图像阵列由U×V幅子孔径图像构成,每幅子孔径图像的分辨率为X×Y,将子孔径图像阵列中视点坐标位置为(u,v)的子孔径图像记为Gu,v,其中,1≤u≤U,1≤v≤V;
步骤2:对的角度维进行Tucker张量分解,得到分解成分,记为/>其中,表示/>是五维的,U1和V1分别表示/>的角度维数,U1小于或等于U,V1小于或等于V,X和Y分别也是/>的空间维数,C也是/>的颜色维数;然后固定/>的前两维U1和V1,得到/>的所有张量切片,表示为:/>其中,L1,1表示固定U1和V1的值对应为1和1时的张量切片,Lu,v表示固定U1和V1的值对应为u和v时的张量切片,LU,V表示固定U1和V1的值对应为U和V时的张量切片;
步骤3:将子孔径图像阵列中视点坐标位置为的子孔径图像作为中心子孔径图像,记为Gcentre;然后计算Gcentre的深度图,记为Dcentre;接着使用最大类间算法在/>和/>之间求得Dcentre的最优阈值thDcentre来对Dcentre进行前背景分割,得到二值图像,记为Dcentre,val;再将Dcentre,val作为权重与L1,1结合,即将Dcentre,val与L1,1相乘,得到L1,1的具有明显伪影的前景部分,记为L1,1,fore;之后将L1,1,fore从RGB空间转化到HSI模型,得到L1,1,fore的色调分量、饱和度分量和强度分量,对应记为H1,1,fore、S1,1,fore和I1,1,fore;最后使用8个尺度的高斯差分模型、直方图、广义高斯函数以及基于矩匹配的方法对I1,1,fore进行边缘结构特征提取,提取得到I1,1,fore的GGD拟合特征向量,记为FI1,1,fore,GGD;使用直方图对H1,1,fore进行颜色分量特征提取,提取得到H1,1,fore的阶矩特征向量,记为/>使用直方图对I1,1,fore进行亮度特征提取,提取得到I1,1,fore的阶矩特征向量,记为/>联合和/>构成基于前背景分割提取的局部特征向量,记为F1,其中,/>为向下取整运算符号,min()为取最小值函数,max()为取最大值函数,/>表示Dcentre中的最小像素值,/>表示Dcentre中的最大像素值,/>的维数为1×16,/>的维数为1×4,/>的维数为1×4,“[]”为向量或矩阵表示符号,F1的维数为1×24;
步骤4:将L1,1的灰度图中灰度值的最小值、最大值、中间值对应记为pgraymin、pgraymax、pgraymed;然后使用最大类间算法在pgraymin和pgraymed之间求得L1,1的第一个最优阈值在pgraymed和pgraymax之间求得L1,1的第二个最优阈值/>以此将L1,1分割成三个不同亮度强度的区域,分别为低暗区域、正常曝光区域和高亮区域,对应记为L1,1,low、L1,1,nor和L1,1,high;接着将L1,1,low从RGB空间转化到HSI模型,得到L1,1,low的色调分量、饱和度分量和强度分量,对应记为H1,1,low、S1,1,low和I1,1,low;同样,将L1,1,nor从RGB空间转化到HSI模型,得到L1,1,nor的色调分量、饱和度分量和强度分量,对应记为H1,1,nor、S1,1,nor和I1,1,nor;将L1,1,high从RGB空间转化到HSI模型,得到L1,1,high的色调分量、饱和度分量和强度分量,对应记为H1,1,high、S1,1,high和I1,1,high;最后提取I1,1,low的特征向量来描述亮度和纹理信息,记为提取I1,1,high的特征向量来描述纹理信息,记为提取H1,1,high的特征向量来表征光晕的影响,记为/> 提取S1,1,high的特征向量来表征光晕的影响,记为/> 提取I1,1,nor的特征向量来描述纹理信息,记为/>联合/>和/>构成基于亮度分割提取的局部特征向量,记为F2,其中,L1,1,low的灰度图中的灰度值在pgraymin和/>之间,L1,1,nor的灰度图中的灰度值在/>和/>之间,L1,1,high的灰度图中的灰度值在/>和pgraymax之间,/>表示I1,1,low中的所有像素点的像素值的均值,/>表示I1,1,low中的所有像素点的像素值的标准差,/>表示I1,1,low中的所有像素点的像素值的信息熵,/>表示I1,1,high中的所有像素点的像素值的信息熵,/>表示H1,1,high中的所有像素点的像素值的均值,/>表示H1,1,high中的所有像素点的像素值的标准差,/>表示S1,1,high中的所有像素点的像素值的均值,/>表示I1,1,nor中的所有像素点的像素值的信息熵,F2的维数为1×8;
步骤5:将L1,1从RGB空间转化到HSI模型,得到L1,1的色调分量、饱和度分量和强度分量,对应记为H1,1、S1,1和I1,1;再提取I1,1的对比度特征,记为然后使用8个尺度的高斯差分模型、直方图、广义高斯函数以及基于矩匹配的方法,提取得到I1,1的GGD拟合特征向量,记为/>最后联合/>和/>构成基于全局提取的特征向量,记为F3,/>其中,R表示像素灰度级数目,R=256,γi,k表示灰度值i与灰度值k的绝对差值,Pi,k表示灰度值为i的像素和灰度值为k的像素相邻出现的概率,/>的维数为1×16,F3的维数为1×17;
步骤6:将中除L1,1之外的剩余所有张量切片从RGB空间转化到HSI模型,得到剩余所有张量切片各自的色调分量、饱和度分量和强度分量;然后采用基于5个尺度的GLBP算法对剩余每个张量切片的强度分量进行不同尺度的梯度纹理特征向量提取,每个尺度的梯度纹理特征向量的维数为1×10;再对剩余所有张量切片各自的强度分量的同尺度的梯度纹理特征向量求平均向量;最后将5个尺度的平均向量构成基于角度提取的特征向量,记为F4;其中,F4的维数为1×50;
步骤7:联合F1、F2、F3、F4构成的感知特征向量,记为FLGA,FLGA=[F1,F2,F3,F4];其中,FLGA的维数为1×99;
步骤8:将FLGA作为输入,结合LIBSVM包来对带有径向基函数内核的SVR进行回归训练,预测得到的客观质量分,记为Qpredict;其中,Qpredict越大,说明输入的FLGA对应的多曝光融合光场图像的质量越好;反之,说明输入的FLGA对应的多曝光融合光场图像的质量越差。
2.根据权利要求1所述的一种动态场景多曝光融合光场图像的质量评价方法,其特征在于所述的步骤2中,将的Tucker张量分解表示为:/>其中,在Tucker张量分解过程中/>被看作为五阶张量,/>表示核心张量,/>D(1)表示第一维角度维的因子矩阵,/>D(2)表示第二维角度维的因子矩阵,D(3)表示第三维空间维的因子矩阵,/>D(4)表示第四维空间维的因子矩阵,/>D(5)表示第五维颜色维的因子矩阵,/>U1和V1分别也是/>的角度维数,X1和Y1分别表示/>的空间维数,X1小于或等于X,Y1小于或等于Y,C1表示/>的颜色维数,C1小于或等于C;然后将核心张量/>表示为:其中,上标“T”表示向量或矩阵的转置;再将对/>的角度维进行Tucker分解理解为/>与第一维角度维的因子矩阵D(1)和第二维角度维的因子矩阵D(2)沿模式积,得到分解成分/>之后根据和/>得到并使/>中的/>的空间维数X1等于X、Y1等于Y,颜色维数C1等于C,即实现角度维的降维。
3.根据权利要求1或2所述的一种动态场景多曝光融合光场图像的质量评价方法,其特征在于所述的步骤3中,的获取过程为:使用8个尺度的高斯差分模型对I1,1,fore进行处理,得到I1,1,fore的8个不同尺度的边缘图;然后使用直方图求取I1,1,fore的每个尺度的边缘图的系数分布并使用广义高斯函数的形状参数和方差参数进行拟合,再使用基于矩匹配的方法对广义高斯函数的形状参数和方差参数进行估计,将针对I1,1,fore的第j个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数对应记为βj和σj;再针对I1,1,fore联合8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数,得到I1,1,fore的GGD拟合特征向量/> 其中,1≤j≤J,J=8,βI,GGD表示针对I1,1,fore的8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数向量,βI,GGD=[β1,β2,…,βJ],β1,β2,…,βJ对应表示针对I1,1,fore的第1个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数,σI,GGD表示针对I1,1,fore的8个尺度的高斯差分模型下与之对应的广义高斯函数的的方差参数向量,σI,GGD=[σ1,σ2,…,σJ],σ1,σ2,…,σJ对应表示针对I1,1,fore的第1个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数;
的获取过程为:使用直方图对H1,1,fore进行处理,得到H1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩;然后将H1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩依次排列构成H1,1,fore的阶矩特征向量/>
的获取过程为:使用直方图对I1,1,fore进行处理,得到I1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩;然后将I1,1,fore的一阶矩、二阶矩、三阶矩和四阶矩依次排列构成I1,1,fore的阶矩特征向量/>
4.根据权利要求3所述的一种动态场景多曝光融合光场图像的质量评价方法,其特征在于所述的步骤5中,使用8个尺度的高斯差分模型对I1,1进行处理,得到I1,1的8个不同尺度的边缘图;然后使用直方图分别求取I1,1的每个尺度的边缘图的系数分布并使用广义高斯函数的形状参数和方差参数进行拟合,再使用基于矩匹配的方法对广义高斯函数的形状参数和方差参数进行估计,将针对I1,1的第j个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数对应记为β′j和σ′j;再针对I1,1联合8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数和方差参数,得到I1,1的GGD拟合特征向量其中,1≤j≤J,J=8,/>表示针对I1,1的8个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数向量,/>β′1,β′2,…,β′J对应表示针对I1,1的第1个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的形状参数,/>表示针对I1,1的8个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数向量,σI,GGD=[σ′1,σ′2,…,σ′J],σ′1,σ′2,…,σ′J对应表示针对I1,1的第1个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、第2个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数、……、第J个尺度的高斯差分模型下与之对应的广义高斯函数的方差参数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310391186.7A CN116630613A (zh) | 2023-04-13 | 2023-04-13 | 一种动态场景多曝光融合光场图像的质量评价方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310391186.7A CN116630613A (zh) | 2023-04-13 | 2023-04-13 | 一种动态场景多曝光融合光场图像的质量评价方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116630613A true CN116630613A (zh) | 2023-08-22 |
Family
ID=87596306
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310391186.7A Pending CN116630613A (zh) | 2023-04-13 | 2023-04-13 | 一种动态场景多曝光融合光场图像的质量评价方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630613A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117275130A (zh) * | 2023-11-17 | 2023-12-22 | 长春金融高等专科学校 | 基于人脸识别的智慧门禁验证系统 |
-
2023
- 2023-04-13 CN CN202310391186.7A patent/CN116630613A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117275130A (zh) * | 2023-11-17 | 2023-12-22 | 长春金融高等专科学校 | 基于人脸识别的智慧门禁验证系统 |
CN117275130B (zh) * | 2023-11-17 | 2024-01-26 | 长春金融高等专科学校 | 基于人脸识别的智慧门禁验证系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Park et al. | Single image dehazing with image entropy and information fidelity | |
CN104123705B (zh) | 一种超分辨率重建图像质量Contourlet域评价方法 | |
CN105550989B (zh) | 基于非局部高斯过程回归的图像超分辨方法 | |
Steffens et al. | Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing | |
Cui et al. | Blind light field image quality assessment by analyzing angular-spatial characteristics | |
CN105243385B (zh) | 一种基于非监督学习的图像质量评价方法 | |
CN113284061B (zh) | 一种基于梯度网络的水下图像增强方法 | |
CN104103064A (zh) | 基于梯度相似度的无参考噪声图像质量评价方法 | |
CN105513033A (zh) | 一种非局部联合稀疏表示的超分辨率重建方法 | |
Wang et al. | Low-light image enhancement based on virtual exposure | |
CN116630613A (zh) | 一种动态场景多曝光融合光场图像的质量评价方法 | |
CN108830829B (zh) | 联合多种边缘检测算子的无参考质量评价算法 | |
CN107944497A (zh) | 基于主成分分析的图像块相似性度量方法 | |
CN112950596A (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
CN110910347B (zh) | 一种基于图像分割的色调映射图像无参考质量评价方法 | |
Jiang et al. | A multi-focus image fusion method based on attention mechanism and supervised learning | |
Xu et al. | Remote-sensing image usability assessment based on ResNet by combining edge and texture maps | |
Tan et al. | Image haze removal based on superpixels and Markov random field | |
Mansouri et al. | SSVD: Structural SVD-based image quality assessment | |
Wang et al. | Quality assessment for color correction-based stitched images via bi-directional matching | |
Yu et al. | Two-stage image decomposition and color regulator for low-light image enhancement | |
Cui et al. | Progressive dual-branch network for low-light image enhancement | |
CN109064444B (zh) | 基于显著性分析的轨道板病害检测方法 | |
Zhao et al. | A multi-scale U-shaped attention network-based GAN method for single image dehazing | |
Dwivedi et al. | Single image dehazing using extended local dark channel prior |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |