CN113935967A - 一种无参考光场图像质量评价方法 - Google Patents

一种无参考光场图像质量评价方法 Download PDF

Info

Publication number
CN113935967A
CN113935967A CN202111194714.7A CN202111194714A CN113935967A CN 113935967 A CN113935967 A CN 113935967A CN 202111194714 A CN202111194714 A CN 202111194714A CN 113935967 A CN113935967 A CN 113935967A
Authority
CN
China
Prior art keywords
dimensional
light field
field image
component
pseudo video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111194714.7A
Other languages
English (en)
Inventor
项建军
张笑钦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Big Data And Information Technology Research Institute Of Wenzhou University
Original Assignee
Big Data And Information Technology Research Institute Of Wenzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Big Data And Information Technology Research Institute Of Wenzhou University filed Critical Big Data And Information Technology Research Institute Of Wenzhou University
Priority to CN202111194714.7A priority Critical patent/CN113935967A/zh
Publication of CN113935967A publication Critical patent/CN113935967A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种无参考光场图像质量评价方法，该方法包括：步骤Step1：获取待评价的彩色光场图像，并对所述彩色光场图像进行张量分解，得到三个4维成分，所述三个4维成分包括一个亮度成分和两个色度成分；步骤Step2：将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差；步骤Step3：采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取；步骤Step4：对步骤Step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数，本发明考虑了光场图像的高维性所带来的问题，可更准确地预测光场图像的质量。

Description

一种无参考光场图像质量评价方法
技术领域
本发明涉及图像质量评价技术领域，具体涉及到一种无参考光场图像质量评价方法。
背景技术
光场成像是计算成像领域中最有前途的技术之一。光场成像能够捕捉到现实世界自由空间中光线的强度和方向信息，因此受到越来越多的关注。随着光场被广泛地应用，光场成像的质量也成为影响人们观看光场图像的重要因素。光场图像在采集、传输、解码以及显示过程中，因为处理算法的差异从而引入失真。这些失真会导致光场图像质量的退化，一方面影响光场图像后处理的应用，例如重新对焦、去遮挡和深度估计等；另一方面，低质量的光场图像会提供给用户不适的视觉体验。为了指导并优化光场图像处理算法，并给用户提供更好的服务，对于光场图像质量进行客观和定量的评估具有重要研究意义。
传统的平面图像质量评价方法已经相对成熟，这些方法已经能够准确地评估平面图像的质量。光场图像不仅记录了场景的空间信息，还记录了场景的角度信息。光场图像质量主要受空间质量和角度一致性的制约。因此，平面图像质量评价方法无法准确地估计光场图像的质量。
为了准确地评估光场图像的质量，Tian等人设计了一个多导数特征模型(MDFM)来测量原始和失真的光场图像的每个视点之间的一阶和二阶结构的相似度。Min等人从全局空间、局部空间和角度质量三个方面衡量失真光场图像的质量。Shi等人基于独眼图阵列和极平面图像获取光场图像的空间质量和角度一致性。Zhou等人从光场图像的视点堆栈中提取了光场图像的空间质量和角度一致性。Xiang等人基于伪视频和重聚焦图像来量化光场图像的质量。但上述光场图像质量评价方法通常假设人眼对图像的亮度更为敏感，而忽视了光场图像色度信息的探究。光场图像是高维数据，彩色的光场图像可以被定义为5维函数。现有的颜色空间变换难以处理5维的彩色数据。另外，光场图像的高维特性使得在对光场图像进行质量评估时，需要综合考虑空间质量和角度一致性。大多数方法是采用多阶段分别提取特征来测量光场图像的空间质量和角度一致性的恶化。
综上所述，提供一种可有效的解决光场图像的高维性所带来的问题，并更准确地预测光场图像的质量的无参考光场图像质量评价方法，是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求，提出一种无参考光场图像质量评价方法，其由于采取了如下技术方案而能够解决上述技术问题。
为实现上述目的，本发明提供如下技术方案：一种无参考光场图像质量评价方法，包括：步骤Step1：获取待评价的彩色光场图像，并对所述彩色光场图像进行张量分解，得到三个4维成分，所述三个4维成分包括一个亮度成分和两个色度成分；
步骤Step2：将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差；
步骤Step3：采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取；
步骤Step4：对步骤Step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数。
进一步地，所述张量分解为采用Tucker分解方式沿着5维彩色光场图像的颜色维进行分解。
更进一步地，所述沿着5维彩色光场图像的颜色维进行分解包括：
将5维的彩色光场图像分解按照公式：
Figure BDA0003302582090000031
分解为一个核心张量和多个正交矩阵，其中，式中
Figure BDA0003302582090000032
表示彩色光场图像，
Figure BDA0003302582090000033
表示5维的核心张量，U(i),i＝1,2,...,5是正交因子矩阵，×i表示i-模式积；
再获取彩色维的分解成分：
Figure BDA0003302582090000034
其中，式中
Figure BDA0003302582090000035
表示沿着彩色光场图像颜色维的分解成分，T表示转置操作；
最后将
Figure BDA0003302582090000036
定义为彩色光场图像的亮度成分ΛF，
Figure BDA0003302582090000037
和
Figure BDA0003302582090000038
分别定义为彩色光场图像的色度成分ΛS和ΛH。
进一步地，所述将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差包括：
将每个成分中的每个视点视为一帧，按照设定的规则将光场图像的每个视点排列成3维伪视频的形式，每个成分的伪视频被定义为ΓF、ΓS和ΓH；
再根据公式：
Figure BDA0003302582090000039
计算各伪视频中相邻帧之间的差异的幅值，其中，
Figure BDA00033025820900000310
表示第ti帧的图像，表示绝对值运算，
Figure BDA00033025820900000311
表示第ti帧和第ti+1帧的差异的振幅；
各伪视频中所有相邻帧的差异的振幅构成了对应伪视频的连续差帧，将三个成分的伪视频的连续差帧分别定义为
Figure BDA00033025820900000312
和
Figure BDA00033025820900000313
更进一步地，所述采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取的步骤包括：
获取三个成分的伪视频连续差帧
Figure BDA0003302582090000041
和
Figure BDA0003302582090000042
中的三维块，并采用三维剪切波变换方法对
Figure BDA0003302582090000043
和
Figure BDA0003302582090000044
中获取的每个三维块进行三维剪切波变换；
变换后可得到每个三维块的不同方向和不同尺度的剪切波系数，共包含1个低频子带系数和26个高频子带系数，分别被标记为
Figure BDA0003302582090000045
Figure BDA0003302582090000046
和
Figure BDA0003302582090000047
其中，b表示第b个三维块，b的取值范围与具体分割的三维块的个数相关，l表示第l个子带系数,当l＝1时表示低频子带系数，l＝2,...，27表示高频子带系数；
最后提取三类统计特征，所述三类统计特征包括第一类特征、第二类特征和第三类特征。
更进一步地，使用Prewitt算子求取不同成分对应三维块的低频子带系数的空间维度
Figure BDA0003302582090000048
Figure BDA0003302582090000049
和
Figure BDA00033025820900000410
对应的梯度
Figure BDA00033025820900000411
Figure BDA00033025820900000412
和
Figure BDA00033025820900000413
然后计算
Figure BDA00033025820900000414
和
Figure BDA00033025820900000415
与
Figure BDA00033025820900000416
和
Figure BDA00033025820900000417
的每个像素点的相似度值，并求取平均值来量化低频子带系数的梯度与高频子带系数的相似度：
Figure BDA00033025820900000418
Figure BDA00033025820900000419
Figure BDA00033025820900000420
其中，(s1,t1,z1)表示三维块中的像素坐标，
Figure BDA0003302582090000051
和
Figure BDA0003302582090000052
表示三个成分在第b个块的相似度值；然后求取每个三维块的相似度值的平均值记作Tl F、Tl S和Tl H，并把所有特征值连接成一维向量得到第一类特征FY,
Figure BDA0003302582090000053
其中，[]表示将标量或向量级联。
更进一步地，将三个成分中每个块的26个高频子带系数分别展开成一维向量；采用公式：
Figure BDA0003302582090000054
对每个向量进行广义高斯分布拟合，其中，y表示高频子带系数向量化成一维向量
Figure BDA0003302582090000055
Γ()表示伽马函数；得到每个成分的每个三维块对应的高频子带系数的广义高斯分布拟合参数α和σ，并将每个成分的所有三维块的高频子带系数的广义高斯分布拟合参数α和σ分别进行平均处理作为每个成分的高频子带系数的广义高斯分布拟合参数，其中，亮度成分的高频子带系数的广义高斯分布拟合参数包括
Figure BDA0003302582090000056
和
Figure BDA0003302582090000057
两个色度成分的高频子带系数的广义高斯分布拟合参数分别包括
Figure BDA0003302582090000058
和
Figure BDA0003302582090000059
Figure BDA00033025820900000510
和
Figure BDA00033025820900000511
最后，将不同成分的同类广义高斯分布拟合参数级联成一维向量，即
Figure BDA00033025820900000512
和
Figure BDA00033025820900000513
得到第二类特征Fα和第三类特征Fβ。
进一步地，所述对步骤Step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数包括：对每个成分相同类的特征FY、Fα和Fσ进行主成分分析降维得到裁剪的特征F'Y、F'α和F'σ，它们的维度分别为32、24和16，并将它们连接成一维特征向量FLFIQA＝[F'Y,F'α,F'β」；然后将特征向量FLFIQA输入到已经训练好的以径向基函数为内核的支持向量回归中回归得到失真的光场图像质量分数Qpredict。
从上述的技术方案可以看出，本发明的有益效果是：
1、本发明所提出的方法是一种无参考光场图像质量评价方法，该方法无需原始光场图像，直接以失真图像作为输入即可得到图像的质量分数，在某些无法获取原始光场图像的条件下使用。
2、本发明提出的基于张量分解的颜色空间变换，基于张量分解的性质，它可以对任何高维彩色数据颜色维进行分解，并得到相应的亮度和色度成分。
3、本发明将4维的光场图像转变成3维伪视频，可以在不使用高维变换的情况下即可获取光场图像的空间和角度信息；并且设计了三种统计特征有效的表示光场图像的质量。
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明一种无参考光场图像质量评价方法的具体步骤示意图。
图2为本实施例中计算各伪视频的连续帧差的具体步骤示意图。
图3为本实施例中伪视频的连续帧差进行特征提取的具体步骤示意图。
图4为本实施例中对提取的连续帧差的特征进行池化、回归的具体步骤示意图。
图5为本实施例中将4维的光场图像数据重塑成3维伪视频数据的排列顺序示意图。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请先基于张量分解将5维的彩色光场图像沿着彩色维分解得到一个亮度成分和两个色度成分，它们均为4维数据；再将每个成分重塑成3维的伪视频，并计算相邻帧的差分以获取伪视频的连续差帧；随后利用三维剪切波变换将伪视频的连续差帧转换到剪切波域中提取了三类统计特征来表示光场图像的失真；最后将每个成分间的相同类别的特征经过主成分分析进行裁剪，并将裁剪后的特征连结成一维的特征向量，经过支持向量回归技术得到光场图像的质量分数。且考虑到传统的颜色空间变换无法直接对高维的彩色数据进行颜色转换，提出了基于张量分解对高维数据的颜色维进行分解来获取高维数据的亮度和色度信息。为了同时捕获光场图像的空间质量和角度一致性，光场图像还被排列成3维的伪视频形式，并使用三维剪切波变换提取光场图像的空间和角度信息。
如图1至图5所示，一种基于张量分解和三维剪切波变换的无参考光场图像质量评价方法具体包括以下步骤：步骤Step1：获取待评价的彩色光场图像，并对所述彩色光场图像进行张量分解，得到三个4维成分，所述三个4维成分包括一个亮度成分和两个色度成分，其中，所述张量分解为采用Tucker分解方式沿着5维彩色光场图像的颜色维进行分解。
具体地，所述沿着5维彩色光场图像的颜色维进行分解包括：
将5维的彩色光场图像分解按照公式：
Figure BDA0003302582090000081
分解为一个核心张量和多个正交矩阵，其中，式中
Figure BDA0003302582090000082
表示彩色光场图像，
Figure BDA0003302582090000083
表示5维的核心张量，U(i),i＝1,2,...,5是正交因子矩阵，×i表示i-模式积；
再获取彩色维的分解成分：
Figure BDA0003302582090000084
其中，式中
Figure BDA0003302582090000085
表示沿着彩色光场图像颜色维的分解成分，T表示转置操作；
最后将
Figure BDA0003302582090000086
定义为彩色光场图像的亮度成分ΛF，
Figure BDA0003302582090000087
和
Figure BDA0003302582090000088
分别定义为彩色光场图像的色度成分ΛS和ΛH，它们均为4维张量。
在本实施例中，对于给定的5维的彩色光场图像
Figure BDA0003302582090000089
利用张量分解，具体为张量分解中的Tucker分解，将彩色光场图像分解为一个核心张量和多个正交因子矩阵，其中，(u,v)表示光场图像中视点的角度坐标，(s,t)表示视点的空间坐标，c表示彩色三通道。
步骤Step2：将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差。
步骤Step2的具体步骤包括：
步骤Step2.1:将每个成分中的每个视点视为一帧，按照如图5所示的规则将光场图像的每个视点排列成3维伪视频的形式，每个成分的伪视频被定义为ΓF、ΓS和ΓH；如图5所示，彩色的光场图像被视为5维张量，在忽略颜色维度时，光场图像可以被视为4维张量，彩色的光场图像被视为5维张量，在忽略颜色维度时，光场图像可以被视为4维张量，记作Λ＝{Λ(u,v,s,t)}。光场图像可以被视为多视图阵列，其中(s,t)表示空间坐标，是一个图像中像素的空间位置，(u,v)是角度坐标，表示图像的角度位置。
步骤Step2.2:再根据公式：
Figure BDA0003302582090000091
计算各伪视频中相邻帧之间的差异的幅值，其中，
Figure BDA0003302582090000092
表示第ti帧的图像，表示绝对值运算，
Figure BDA0003302582090000093
表示第ti帧和第ti+1帧的差异的振幅；
步骤Step2.3:各伪视频中所有相邻帧的差异的振幅构成了对应伪视频的连续差帧，将三个成分的伪视频的连续差帧分别定义为
Figure BDA0003302582090000094
和
Figure BDA0003302582090000095
步骤Step3：采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取。
步骤Step3的具体步骤包括：
步骤Step3.1:获取三个成分的伪视频连续差帧
Figure BDA0003302582090000096
和
Figure BDA0003302582090000097
中的三维块，并采用三维剪切波变换方法对
Figure BDA0003302582090000098
和
Figure BDA0003302582090000099
中获取的每个三维块进行三维剪切波变换；
在本实施例中，三维块获取过程为将三个成分的伪视频的连续差帧
Figure BDA00033025820900000910
和
Figure BDA00033025820900000911
划分成80×80×80大小的三维块，块与块之间是否有重叠是根据
Figure BDA00033025820900000912
和
Figure BDA00033025820900000913
原始分辨率决定的。
步骤Step3.2:变换后可得到每个三维块的不同方向和不同尺度的剪切波系数，共包含1个低频子带系数和26个高频子带系数，分别被标记为
Figure BDA00033025820900000914
和
Figure BDA00033025820900000915
其中，b表示第b个三维块，b的取值范围与具体分割的三维块的个数相关，l表示第l个子带系数,当l＝1时表示低频子带系数，l＝2,...，27表示高频子带系数；
步骤Step3.3:最后提取三类统计特征，所述三类统计特征包括第一类特征、第二类特征和第三类特征。
第一类特征的获取过程包括：使用Prewitt算子求取不同成分对应三维块的低频子带系数的空间维度
Figure BDA0003302582090000101
和
Figure BDA0003302582090000102
对应的梯度
Figure BDA0003302582090000103
和
Figure BDA0003302582090000104
然后计算
Figure BDA0003302582090000105
和
Figure BDA0003302582090000106
与
Figure BDA0003302582090000107
和
Figure BDA0003302582090000108
的每个像素点的相似度值，并求取平均值来量化低频子带系数的梯度与高频子带系数的相似度：
Figure BDA0003302582090000109
Figure BDA00033025820900001010
Figure BDA00033025820900001011
其中，(s1,t1,z1)表示三维块中的像素坐标，
Figure BDA00033025820900001012
和
Figure BDA00033025820900001013
表示三个成分在第b个块的相似度值；然后求取每个三维块的相似度值的平均值记作Tl F、Tl S和Tl H，并把所有特征值连接成一维向量得到第一类特征FY,
Figure BDA00033025820900001014
其中，[]表示将标量或向量级联。
第二、三类特征的获取过程包括：将三个成分中每个块的26个高频子带系数分别展开成一维向量；采用公式：
Figure BDA00033025820900001015
对每个向量进行广义高斯分布拟合，其中，y表示高频子带系数向量化成一维向量
Figure BDA0003302582090000111
Γ()表示伽马函数；得到每个成分的每个三维块对应的高频子带系数的广义高斯分布拟合参数α和σ，并将每个成分的所有三维块的高频子带系数的广义高斯分布拟合参数α和σ分别进行平均处理作为每个成分的高频子带系数的广义高斯分布拟合参数，其中，亮度成分的高频子带系数的广义高斯分布拟合参数包括
Figure BDA0003302582090000112
和
Figure BDA0003302582090000113
两个色度成分的高频子带系数的广义高斯分布拟合参数分别包括
Figure BDA0003302582090000114
和
Figure BDA0003302582090000115
和
Figure BDA0003302582090000116
最后，将不同成分的同类广义高斯分布拟合参数级联成一维向量，即
Figure BDA0003302582090000117
和
Figure BDA0003302582090000118
得到第二类特征Fα和第三类特征Fβ。
步骤Step4：对步骤Step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数。
步骤Step4的具体步骤包括：
步骤Step4.1:对每个成分相同类的特征FY、Fα和Fσ进行主成分分析降维得到裁剪的特征F'Y、F'α和F'σ，它们的维度分别为32、24和16，并将它们连接成一维特征向量FLFIQA＝[F'Y,F'α,F'β」；步骤Step4.2:然后将特征向量FLFIQA输入到已经训练好的以径向基函数为内核的支持向量回归中回归得到失真的光场图像质量分数Qpredict。
在本实施例中，采用一台具有Intel Core-i5中央处理器和8G字节内存的计算机并用Matlab语言编制了基于张量分解和三维剪切波变换的无参考光场图像质量评价方法，实现了本发明的方法。
本申请的方法具体运行的硬件和编程语言并不限制，用任何语言编写都可以完成。
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。

Claims (8)

1.一种无参考光场图像质量评价方法，其特征在于，包括以下步骤：
步骤Step1：获取待评价的彩色光场图像，并对所述彩色光场图像进行张量分解，得到三个4维成分，所述三个4维成分包括一个亮度成分和两个色度成分；
步骤Step2：将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差；
步骤Step3：采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取；
步骤Step4：对步骤Step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数。
2.如权利要求1所述的无参考光场图像质量评价方法，其特征在于，所述张量分解为采用Tucker分解方式沿着5维彩色光场图像的颜色维进行分解。
3.如权利要求2所述的无参考光场图像质量评价方法，其特征在于，所述沿着5维彩色光场图像的颜色维进行分解包括：
将5维的彩色光场图像分解按照公式：
Figure FDA0003302582080000011
分解为一个核心张量和多个正交矩阵，其中，式中
Figure FDA0003302582080000012
表示彩色光场图像，
Figure FDA0003302582080000013
表示5维的核心张量，U(i),i＝1,2,...,5是正交矩阵，×i表示i-模式积；
再获取彩色维的分解成分：
Figure FDA0003302582080000014
其中，式中
Figure FDA0003302582080000015
表示沿着彩色光场图像颜色维的分解成分，T表示转置操作；
最后将
Figure FDA0003302582080000016
定义为彩色光场图像的亮度成分ΛF，
Figure FDA0003302582080000017
和
Figure FDA0003302582080000018
分别定义为彩色光场图像的色度成分ΛS和ΛH。
4.如权利要求1所述的无参考光场图像质量评价方法，其特征在于，所述将每个成分重新排列成3维的伪视频序列，并计算各伪视频的连续帧差包括：
将每个成分中的每个视点视为一帧，按照设定的规则将光场图像的每个视点排列成3维伪视频的形式，每个成分的伪视频被定义为ΓF、ΓS和ΓH；
再根据公式：
Figure FDA0003302582080000021
计算各伪视频中相邻帧之间的差异的幅值，其中，
Figure FDA0003302582080000022
表示第ti帧的图像，| |表示绝对值运算，
Figure FDA0003302582080000023
表示第ti帧和第ti+1帧的差异的振幅；
各伪视频中所有相邻帧的差异的振幅构成了对应伪视频的连续差帧，将三个成分的伪视频的连续差帧分别定义为
Figure FDA0003302582080000024
和
Figure FDA0003302582080000025
5.如权利要求4所述的无参考光场图像质量评价方法，其特征在于，所述采用基于三维剪切波变换的特征提取方法对所述伪视频的连续帧差进行特征提取包括：
获取三个成分的伪视频连续差帧
Figure FDA0003302582080000026
和
Figure FDA0003302582080000027
中的三维块，并采用三维剪切波变换方法对
Figure FDA0003302582080000028
和
Figure FDA0003302582080000029
中获取的每个三维块进行三维剪切波变换；
变换后可得到每个三维块的不同方向和不同尺度的剪切波系数，共包含1个低频子带系数和26个高频子带系数，分别被标记为
Figure FDA00033025820800000210
Figure FDA00033025820800000211
和
Figure FDA00033025820800000212
其中，b表示第b个三维块，b的取值范围与具体分割的三维块的个数相关，l表示第l个子带系数,当l＝1时表示低频子带系数，l＝2,...，27表示高频子带系数；
最后提取三类统计特征，所述三类统计特征包括第一类特征、第二类特征和第三类特征。
6.如权利要求5所述的无参考光场图像质量评价方法，其特征在于，使用Prewitt算子求取不同成分对应三维块的低频子带系数的空间维度
Figure FDA0003302582080000031
Figure FDA0003302582080000032
和
Figure FDA0003302582080000033
对应的梯度
Figure FDA0003302582080000034
Figure FDA0003302582080000035
和
Figure FDA0003302582080000036
然后计算
Figure FDA0003302582080000037
和
Figure FDA0003302582080000038
与
Figure FDA0003302582080000039
和
Figure FDA00033025820800000310
的每个像素点的相似度值，并求取平均值来量化低频子带系数的梯度与高频子带系数的相似度：
Figure FDA00033025820800000311
Figure FDA00033025820800000312
Figure FDA00033025820800000313
其中，(s1,t1,z1)表示三维块中的像素坐标，
Figure FDA00033025820800000314
和
Figure FDA00033025820800000315
表示三个成分在第b个块的相似度值；然后求取每个三维块的相似度值的平均值记作Tl F、Tl S和Tl H，并把所有特征值连接成一维向量得到第一类特征FY,
Figure FDA00033025820800000316
其中，[]表示将标量或向量级联。
7.如权利要求5所述的无参考光场图像质量评价方法，其特征在于，将三个成分中每个三维块的26个高频子带系数分别展开成一维向量；采用公式：
Figure FDA00033025820800000317
对每个向量进行广义高斯分布拟合，其中，y表示高频子带系数向量化成一维向量
Figure FDA0003302582080000041
Γ()表示伽马函数；得到每个成分的每个三维块对应的高频子带系数的广义高斯分布拟合参数α和σ，并将每个成分的所有三维块的高频子带系数的广义高斯分布拟合参数α和σ分别进行平均处理作为每个成分的高频子带系数的广义高斯分布拟合参数，其中，亮度成分的高频子带系数的广义高斯分布拟合参数包括
Figure FDA0003302582080000042
和
Figure FDA0003302582080000043
两个色度成分的高频子带系数的广义高斯分布拟合参数分别包括
Figure FDA0003302582080000044
和
Figure FDA0003302582080000045
和
Figure FDA0003302582080000046
最后，将不同成分的同类广义高斯分布拟合参数级联成一维向量，即
Figure FDA0003302582080000047
和
Figure FDA0003302582080000048
得到第二类特征Fα和第三类特征Fβ。
8.如权利要求1所述的无参考光场图像质量评价方法，其特征在于，所述对步骤Step3提取的特征进行池化、回归得到所述彩色光场图像的质量分数包括：对每个成分相同类的特征FY、Fα和Fσ进行主成分分析降维得到裁剪的特征F′Y、F′α和F′σ，它们的维度分别为32、24和16，并将它们连接成一维特征向量
Figure FDA0003302582080000049
然后将特征向量FLFIQA输入到已经训练好的以径向基函数为内核的支持向量回归中回归得到失真的光场图像质量分数Qpredict。
CN202111194714.7A 2021-10-13 2021-10-13 一种无参考光场图像质量评价方法 Pending CN113935967A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111194714.7A CN113935967A (zh) 2021-10-13 2021-10-13 一种无参考光场图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111194714.7A CN113935967A (zh) 2021-10-13 2021-10-13 一种无参考光场图像质量评价方法

Publications (1)

Publication Number Publication Date
CN113935967A true CN113935967A (zh) 2022-01-14

Family

ID=79279222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111194714.7A Pending CN113935967A (zh) 2021-10-13 2021-10-13 一种无参考光场图像质量评价方法

Country Status (1)

Country Link
CN (1) CN113935967A (zh)

Similar Documents

Publication Publication Date Title
Gu et al. Multiscale natural scene statistical analysis for no-reference quality evaluation of DIBR-synthesized views
Lebrun et al. A nonlocal Bayesian image denoising algorithm
Varghese et al. Video denoising based on a spatiotemporal Gaussian scale mixture model
Ma et al. A wavelet-based dual-stream network for underwater image enhancement
Lukac et al. Sharpening vector median filters
Liu et al. No-reference quality assessment for contrast-distorted images
Indhumadhi et al. Enhanced image fusion algorithm using laplacian pyramid and spatial frequency based wavelet algorithm
Zhang et al. Kernel Wiener filtering model with low-rank approximation for image denoising
Chen et al. Naturalization module in neural networks for screen content image quality assessment
CN109429051B (zh) 基于多视图特征学习的无参考立体视频质量客观评价方法
Bhateja et al. Fast SSIM index for color images employing reduced-reference evaluation
CN107635136A (zh) 基于视觉感知和双目竞争的无参考立体图像质量评价方法
Zhang et al. Image denoising via structure-constrained low-rank approximation
CN107292316B (zh) 一种基于稀疏表示的提升图像清晰度的方法
Moorthy et al. Visual perception and quality assessment
Liu et al. A multi-focus color image fusion algorithm based on low vision image reconstruction and focused feature extraction
Tang et al. A reduced-reference quality assessment metric for super-resolution reconstructed images with information gain and texture similarity
Anantrasirichai Atmospheric turbulence removal with complex-valued convolutional neural network
Zou et al. 3D filtering by block matching and convolutional neural network for image denoising
CN112927137A (zh) 一种用于获取盲超分辨率图像的方法、设备及存储介质
CN107018410B (zh) 一种基于预注意机制和空间依赖性的无参考图像质量评价方法
Hu et al. Hierarchical discrepancy learning for image restoration quality assessment
Karthick et al. Deep RegNet-150 Architecture for Single Image Super Resolution of Real-time Unpaired Image Data
Memon et al. Amsff-net: Attention-based multi-stream feature fusion network for single image dehazing
Khandelwal et al. W-VDSR: Wavelet-based secure image transmission using machine learning VDSR neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination