CN111292336A - 基于分段式球面投影格式的全向图像无参考质量评价方法 - Google Patents
基于分段式球面投影格式的全向图像无参考质量评价方法 Download PDFInfo
- Publication number
- CN111292336A CN111292336A CN202010070290.2A CN202010070290A CN111292336A CN 111292336 A CN111292336 A CN 111292336A CN 202010070290 A CN202010070290 A CN 202010070290A CN 111292336 A CN111292336 A CN 111292336A
- Authority
- CN
- China
- Prior art keywords
- pixel
- value
- image
- omnidirectional image
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000013441 quality evaluation Methods 0.000 title claims abstract description 33
- 239000013598 vector Substances 0.000 claims abstract description 46
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000013507 mapping Methods 0.000 claims abstract description 7
- 238000007637 random forest analysis Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 69
- 238000004364 calculation method Methods 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 8
- 239000004576 sand Substances 0.000 claims description 4
- 101150064205 ESR1 gene Proteins 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 230000014759 maintenance of location Effects 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims description 3
- QVRVXSZKCXFBTE-UHFFFAOYSA-N n-[4-(6,7-dimethoxy-3,4-dihydro-1h-isoquinolin-2-yl)butyl]-2-(2-fluoroethoxy)-5-methylbenzamide Chemical compound C1C=2C=C(OC)C(OC)=CC=2CCN1CCCCNC(=O)C1=CC(C)=CC=C1OCCF QVRVXSZKCXFBTE-UHFFFAOYSA-N 0.000 claims description 3
- 238000012360 testing method Methods 0.000 abstract description 8
- 238000011156 evaluation Methods 0.000 abstract description 4
- 230000008447 perception Effects 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 10
- 230000006835 compression Effects 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 101000822805 Naja atra Cytotoxin A5 Proteins 0.000 description 1
- 101000822803 Naja kaouthia Cytotoxin homolog Proteins 0.000 description 1
- 101000783567 Naja naja Cytotoxin 1 Proteins 0.000 description 1
- 101000822819 Naja naja Cytotoxin-like basic protein Proteins 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于分段式球面投影格式的全向图像无参考质量评价方法，其将全向图像的北极和南极区域映射成圆，得到分段式球面投影格式的北极区域和南极区域；获取圆形的北极、南极区域各自的局部特征、全局结构特征、全局纹理特征，获取赤道区域的全局纹理结构特征、局部对比度特征；将所有特征合并成全向图像的特征向量；在训练阶段，将训练集中的所有全向图像的特征向量作为样本输入，将对应的主观评分值作为标签输入，通过随机森林的池化，训练得到全向图像客观质量评价模型；在测试阶段，将测试图像的特征向量输入到全向图像客观质量评价模型中，预测得到客观质量评价值；优点是能有效地提高客观评价结果与人眼主观感知质量之间的相关性。
Description
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于分段式球面投影格式的全向图像无参考质量评价方法。
背景技术
随着虚拟现实技术的快速发展，全向视觉内容在社交媒体、体育赛事、医疗以及商业领域中都发挥着重要的作用。为了给用户营造更好的沉浸感，全向图像需要有更高的分辨率以及为用户提供更大的视野。而要在有限带宽的信道上提供高分辨率的全向图像，需要进行有效的编码压缩以节省码率，而压缩会导致全向图像的失真。因此，如何对全向图像进行有效地客观质量评价是一个急需解决的问题。
全向图像以球面形式捕获得到，无法直接进行存储和传输。为此，ISO/IEC MovingPicture Expert Group(MPEG)制定了面向全向媒体应用的全向媒体格式omnidirectionalmedia application format(OMAF)。投影变换作为OMAF中的重要内容之一，其用于将原始球形信号投影到二维(2D)平面，以便使用现有的图像视频编码标准进行压缩和传输，其中，等矩形投影(Equirectangular Projection，ERP)是全向图像在编码过程中的默认投影格式。
由于全向图像与普通2D图像在采集、传输和可视化过程等方面的不同，因此需要专门为全向图像设计相应的客观质量评价方法。现有大部分全向图像的客观质量评价方法都是基于ERP格式的，然而ERP格式的全向图像在其两极区域存在严重拉伸畸变，与人眼实际视觉感知差异很大，因而在ERP格式上对全向图像进行质量评价的准确度不高，这一点在没有参考图像进行对比的情况下问题尤为严重。
发明内容
本发明所要解决的技术问题是提供一种基于分段式球面投影格式的全向图像无参考质量评价方法，其能够有效地提高客观评价结果与人眼主观感知质量之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于分段式球面投影格式的全向图像无参考质量评价方法，其特征在于包括以下步骤：
步骤1：选取Num幅等矩形投影格式的失真全向图像及其主观评分值构成训练集；将训练集中当前待处理的失真全向图像定义为当前图像；其中，Num为正整数，Num＞1，训练集中的每幅失真全向图像的高度为h且宽度为2h；
步骤2：将当前图像记为IERP；然后将IERP在高度方向上自上而下分割成三部分，上面四分之一部分为北极区域，中间二分之一部分为赤道区域，下面四分之一部分为南极区域；再保留IERP的赤道区域，并将IERP的北极区域和南极区域均映射成圆，得到分段式球面投影格式的全向图像，记为ISSP，将ISSP的赤道区域记为IE，将ISSP的圆形的北极区域记为IN，将ISSP的圆形的南极区域记为IS；其中，IERP的北极区域的宽度为2h且高度为
IERP的赤道区域的宽度为2h且高度为
IERP的南极区域的宽度为2h且高度为
IN中的像素点在ISSP中的横坐标为
且
IN中的像素点在ISSP中的纵坐标为
且
IS中的像素点在ISSP中的横坐标为
且
IS中的像素点在ISSP中的纵坐标为
且
m表示IERP中的像素点的横坐标，1≤m≤2h，n表示IERP中的像素点的纵坐标，1≤n≤h；
步骤3：将IN和IS分别分割成多个不重叠的扇形图像块；然后通过计算IN中的每个扇形图像块中的所有像素点的像素值的标准差获取IN的局部特征，记为FN1；并通过计算IS中的每个扇形图像块中的所有像素点的像素值的标准差获取IS的局部特征，记为FS1；
步骤4：计算IN和IS各自的像素矩阵中的每个元素的相对梯度方向值；然后计算IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布；再利用零均值的广义高斯分布分别对IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合；之后根据IN对应的拟合参数获取IN的全局结构特征，记为FNg1；同样，根据IS对应的拟合参数获取IS的全局结构特征，记为FSg1；
步骤5：计算IN和IS各自中的每个像素点的旋转不变均匀局部二值模式值；然后通过计算IN中的所有像素点的旋转不变均匀局部二值模式值的直方图分布获取IN的全局纹理特征，记为FNg2；同样，通过计算IS中的所有像素点的旋转不变均匀局部二值模式值的直方图分布获取IS的全局纹理特征，记为FSg2；
步骤6：计算IE的二维相位一致性映射图；然后对IE的二维相位一致性映射图进行4次两倍下采样；再通过计算IE的二维相位一致性映射图及其4幅不同尺度的下采样图的信息熵获取IE的全局纹理结构特征，记为FEstr；
步骤7：采用尺寸为64×64的滑动窗口，将IE划分成
个不重叠的尺寸为64×64的图像块；然后从IE中随机选取M个图像块；接着统计随机选取的每个图像块中的所有像素点的像素值的直方图分布，将M个图像块对应的直方图分布构成一个矩阵，记为D，D中的每一列为一个图像块对应的直方图分布；之后构建D的零均值矩阵，记为D0；再计算D0的协方差矩阵；最后利用奇异值分解计算D0的协方差矩阵的所有特征值，将值最大的前N2个特征值构成的行向量作为IE的局部对比度特征，记为FEcon；其中，符号
为向下取整运算符号，M＞1，N2为正整数，N2∈[5,30]；
步骤8：将FN1、FS1、FNg1、FSg1、FNg2、FSg2、FEstr、FEcon合并形成一个行向量，作为IERP的特征向量；
步骤9：将训练集中下一幅待处理的失真全向图像作为当前图像，然后返回步骤2继续执行，直至训练集中的所有失真全向图像均处理完毕，得到训练集中的每幅失真全向图像的特征向量；
步骤10：将训练集中的每幅失真全向图像的特征向量作为样本输入，并将训练集中的每幅失真全向图像的主观评分值作为标签输入，通过随机森林的池化，训练得到全向图像客观质量评价模型；
步骤11：对于任一幅待质量评价的等矩形投影格式的失真全向图像，按照步骤2至步骤8的过程，以相同的方式获取该失真全向图像的特征向量；然后将该失真全向图像的特征向量输入到全向图像客观质量评价模型中，预测得到该失真全向图像的客观质量评价值。
所述的步骤3的具体过程为：
步骤3_1：将IN和IS分别分割成N1个不重叠的扇形图像块，扇形图像块在径向方向上的宽度为r，扇形图像块的圆心角为θ，其中，N1为正整数，N1＞1，
Rpolar表示IN和IS的半径，rnum表示在径向方向上分割的扇形图像块的个数，rnum为正整数，θ∈[1°,45°]；
步骤3_2：计算IN和IS各自中的每个扇形图像块中的所有像素点的像素值的标准差；
步骤3_3：计算IN中的所有扇形图像块对应的标准差的均值，并将该均值作为IN的局部特征FN1；同样，计算IS中的所有扇形图像块对应的标准差的均值，并将该均值作为IS的局部特征FS1。
所述的步骤4的具体过程为：
步骤4_1：以矩阵形式将IN和IS分别存储为像素矩阵；然后计算IN和IS各自的像素矩阵中的每个元素的相对梯度方向值，将IN或IS的像素矩阵中下标位置为(i',j')的元素的相对梯度方向值记为∠GRO(i',j')，
其中，1≤i'≤2h，
Iver(i',j')表示IN或IS的像素矩阵中下标位置为(i',j')的元素的值在垂直方向上的导数，Ihor(i',j')表示IN或IS的像素矩阵中下标位置为(i',j')的元素的值在水平方向上的导数，Imean_ver(i',j')表示以IN或IS的像素矩阵中下标位置为(i',j')的元素为中心的3邻域范围内的所有元素的值在垂直方向上的导数的均值，Imean_hor(i',j')表示以IN或IS的像素矩阵中下标位置为(i',j')的元素为中心的3邻域范围内的所有元素的值在水平方向上的导数的均值；
步骤4_2：计算IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布；然后利用零均值的广义高斯分布对IN的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合，拟合公式为：
拟合得到拟合参数μN、αN、βN；同样，利用零均值的广义高斯分布对IS的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合，拟合公式为：
拟合得到拟合参数μS、αS、βS；其中，G()为零均值的广义高斯分布函数，xN,μN,αN,βN为G()的输入，xS,μS,αS,βS也为G()的输入，xN表示IN的像素矩阵中的所有元素的相对梯度方向值的直方图分布，μN表示IN的像素矩阵中的所有元素的相对梯度方向值的均值，αN表示G(xN；μN,αN,βN)的形状参数，βN表示G(xN；μN,αN,βN)的尺度参数，Γ()为gamma函数，exp()表示以e为底的指数函数，符号“||”为取绝对值符号，xS表示IS的像素矩阵中的所有元素的相对梯度方向值的直方图分布，μS表示IS的像素矩阵中的所有元素的相对梯度方向值的均值，αS表示G(xS；μS,αS,βS)的形状参数，βS表示G(xS；μS,αS,βS)的尺度参数；
步骤4_3：获取IN的全局结构特征FNg1，FNg1＝[μN,αN,βN]；同样，获取IS的全局结构特征FSg1，FSg1＝[μS,αS,βS]。
所述的步骤5的具体过程为：
步骤5_1：计算IN和IS各自中的每个像素点的旋转不变均匀局部二值模式值，对于IN或IS中的任一个像素点，将该像素点的旋转不变均匀局部二值模式值记为CLBPriu2，
其中，riu2表示均匀性测量函数u()的函数值小于或等于2的旋转不变均匀模式，1≤q≤Q，q和Q均为正整数，Q表示该像素点邻域内的邻域像素点的总个数，R表示邻域半径，cc表示该像素点的像素值，cq表示该像素点邻域内的第q个邻域像素点的像素值，s()表示阈值函数，
符号“||”为取绝对值符号，cQ表示该像素点邻域内的第Q个邻域像素点的像素值，c1表示该像素点邻域内的第1个邻域像素点的像素值，cq-1表示该像素点邻域内的第q-1个邻域像素点的像素值，s(cQ-cc)、s(c1-cc)、s(cq-1-cc)均通过
计算得到；
步骤5_2：计算IN中的所有像素点的旋转不变均匀局部二值模式值的直方图分布，并将该直方图分布的结果构成的行向量作为IN的全局纹理特征FNg2；同样，计算IS中的所有像素点的旋转不变均匀局部二值模式值的直方图分布，并将该直方图分布的结果构成的行向量作为IS的全局纹理特征FSg2。
所述的步骤6的具体过程为：
步骤6_1：采用2D Log-Gabor滤波器对IE中的每个像素点进行滤波处理，得到IE中的每个像素点在不同尺度和不同方向角的偶对称频率响应和奇对称频率响应，将IE中坐标位置为(i”,j”)的像素点在尺度为ε和方向角为φk的偶对称频率响应和奇对称频率响应对应记为
和
其中，i”表示IE中的像素点在IE中的横坐标，j”表示IE中的像素点在IE中的纵坐标，1≤i”≤2h，
ε表示2D Log-Gabor滤波器的尺度因子，φk表示2D Log-Gabor滤波器的第k+1个方向角，
k和K均为正整数，0≤k≤K-1，K表示2D Log-Gabor滤波器的方向角的数量；
步骤6_2：计算IE中的每个像素点在不同尺度和不同方向角的局部响应幅度，将IE中坐标位置为(i”,j”)的像素点在尺度为ε和方向角为φk的局部响应幅度记为
并计算IE中的每个像素点在不同方向角的局部能量，将IE中坐标位置为(i”,j”)的像素点在方向角为φk的局部能量记为
步骤6_3：计算IE的二维相位一致性映射图，记为PC2D，将PC2D中坐标位置为(i”,j”)的像素点的像素值记为PC2D(i”,j”)，
其中，PC2D(i”,j”)也即为IE中坐标位置为(i”,j”)的像素点的二维相位一致性值，
为用于防止分母为0的常数；
步骤6_4：对PC2D进行4次两倍下采样，得到PC2D的4幅不同尺度的下采样图；然后将PC2D及其4幅不同尺度的下采样图均作为尺度特征图；再计算每幅尺度特征图的信息熵；
步骤6_5：将5幅尺度特征图的信息熵构成的行向量作为IE的全局纹理结构特征FEstr。
与现有技术相比，本发明的优点在于：
由于分段式球面投影格式能够很好地消除等矩形投影格式在两极区域被无限拉伸产生严重畸变的问题，因此本发明方法保留等矩形投影格式的赤道区域，而将等矩形投影格式的北极区域和南极区域映射成圆，对应得到圆形的北极区域和圆形的南极区域，即对全向图像进行了几何补偿；本发明方法考虑到不同区域几何形状不同，以及人眼对不同区域失真类型的认知程度不同这个特点，对不同区域提取不同的特征；本发明方法考虑到全向图像的分段式球面投影格式的两极区域为圆形，提出通过扇形图像块的分割来提取两极区域的局部细节特征，能更好地保留两极区域的边缘纹理信息，用改进的旋转不变局部二值模式提取特征，能更好地适应不同几何形状的图像；本发明方法利用随机森林回归的模型对全局及局部特征进行融合，训练得到全向图像客观质量评价模型，利用全向图像客观质量评价模型进行预测得到的客观质量评价值与人眼主观感知质量具有更好的一致性。
附图说明
图1为本发明方法的总体实现框图；
图2a为全向图像的等矩形投影格式的示意图；
图2b为全向图像的分段式球面投影格式的示意图；
图2c为一幅等矩形投影格式的全向图像；
图2d为图2c中矩形框内容的放大图；
图2e为图2c所示的全向图像对应的分段式球面投影格式的全向图像的北极区域；
图2f为图2c所示的全向图像对应的分段式球面投影格式的全向图像的南极区域；
图2g为图2c所示的全向图像对应的分段式球面投影格式的全向图像的赤道区域；
图2h为图2f中矩形框内容的放大图；
图3为IN和IS分割成扇形图像块的示例图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
分段式球面投影格式能够很好地消除等矩形投影格式在两极区域投影存在的拉伸畸变问题，因此提出了一种基于分段式球面投影格式的全向图像无参考质量评价方法，保留等矩形投影格式的赤道区域直观和边界连续的优点，同时，针对不同区域几何形状的不同，以及人眼对不同区域失真类型认知程度的不同，对不同区域提取不同的特征。
本发明提出的一种基于分段式球面投影格式的全向图像无参考质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤1：选取Num幅等矩形投影(Equirectangular Projection，ERP)格式的失真全向图像及其主观评分值构成训练集；将训练集中当前待处理的失真全向图像定义为当前图像；其中，Num为正整数，Num＞1，在本实施例中取Num＝240，训练集中的每幅失真全向图像的高度为h且宽度为2h。
步骤2：将当前图像记为IERP；然后将IERP在高度方向上自上而下分割成三部分，上面四分之一部分为北极区域，中间二分之一部分为赤道区域，下面四分之一部分为南极区域；再保留IERP的赤道区域，并将IERP的北极区域和南极区域均映射成圆，得到分段式球面投影格式的全向图像，记为ISSP，将ISSP的赤道区域记为IE，将ISSP的圆形的北极区域记为IN，将ISSP的圆形的南极区域记为IS；其中，IERP的北极区域的宽度为2h且高度为
IERP的赤道区域的宽度为2h且高度为
IERP的南极区域的宽度为2h且高度为
IN中的像素点在ISSP中的横坐标为
且
IN中的像素点在ISSP中的纵坐标为
且
IS中的像素点在ISSP中的横坐标为
且
IS中的像素点在ISSP中的纵坐标为
且
m表示IERP中的像素点的横坐标，1≤m≤2h，n表示IERP中的像素点的纵坐标，1≤n≤h。
图2a给出了全向图像的等矩形投影格式，图2b给出了全向图像的分段式球面投影格式，图2c给出了一幅等矩形投影格式的全向图像，图2d给出了图2c中矩形框内容的放大图，图2e给出了图2c所示的全向图像对应的分段式球面投影格式的全向图像的北极区域，图2f给出了图2c所示的全向图像对应的分段式球面投影格式的全向图像的南极区域，图2g给出了图2c所示的全向图像对应的分段式球面投影格式的全向图像的赤道区域，图2h给出了图2f中矩形框内容的放大图。从图2d中可以看出等矩形投影格式的两极区域(北极区域和南极区域)本身存在着严重的拉伸畸变失真，从图2e、图2f、图2h中可以看出分段式球面投影格式改进了等矩形投影格式的两极区域存在的拉伸畸变失真，更符合用户通过HMD(Head Mount Display，头戴式显示器)观看的真实感受。
步骤3：将IN和IS分别分割成多个不重叠的扇形图像块；然后通过计算IN中的每个扇形图像块中的所有像素点的像素值的标准差获取IN的局部特征，记为FN1；并通过计算IS中的每个扇形图像块中的所有像素点的像素值的标准差获取IS的局部特征，记为FS1。
在本实施例中，步骤3的具体过程为：
步骤3_1：由于IN和IS为大小相同的圆形区域，传统矩形滑窗会改变其原有的形状，无法很好地检测出圆形区域的边缘，因此本发明将IN和IS分别分割成N1个不重叠的扇形图像块，扇形图像块在径向方向上的宽度为r，扇形图像块的圆心角为θ，其中，N1为正整数，N1＞1，
Rpolar表示IN和IS的半径，rnum表示在径向方向上分割的扇形图像块的个数，rnum为正整数，θ∈[1°,45°]，在本实施例中取rnum＝10、θ＝10°，这两个数据均是通过大量实验考虑计算复杂度的情况下确定的，在取rnum＝10、θ＝10°时N1＝360，假设Rpolar＝100，那么分扇形图像块的过程相当于在径向方向上分割成了9个圆环和1个小圆，每个圆环的环宽和小圆的半径均为10，每个圆环和小圆再以圆心角为10°分成36个小块(即扇形图像块)。
图3给出了IN和IS分割成扇形图像块的示例图。
步骤3_2：计算IN和IS各自中的每个扇形图像块中的所有像素点的像素值的标准差。
步骤3_3：计算IN中的所有扇形图像块对应的标准差的均值，并将该均值作为IN的局部特征FN1；同样，计算IS中的所有扇形图像块对应的标准差的均值，并将该均值作为IS的局部特征FS1。
步骤4：计算IN和IS各自的像素矩阵中的每个元素的相对梯度方向值；然后计算IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布；再利用零均值的广义高斯分布分别对IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合；之后根据IN对应的拟合参数获取IN的全局结构特征，记为FNg1；同样，根据IS对应的拟合参数获取IS的全局结构特征，记为FSg1。
在本实施例中，步骤4的具体过程为：
步骤4_1：以矩阵形式将IN和IS分别存储为像素矩阵；然后计算IN和IS各自的像素矩阵中的每个元素的相对梯度方向(Relative Gradient Orientation，RGO)值，将IN或IS的像素矩阵中下标位置为(i',j')的元素的相对梯度方向值记为∠GRO(i',j')，
其中，1≤i'≤2h，
Iver(i',j')表示IN或IS的像素矩阵中下标位置为(i',j')的元素的值在垂直方向上的导数，Ihor(i',j')表示IN或IS的像素矩阵中下标位置为(i',j')的元素的值在水平方向上的导数，Imean_ver(i',j')表示以IN或IS的像素矩阵中下标位置为(i',j')的元素为中心的3邻域范围内的所有元素的值在垂直方向上的导数的均值，Imean_hor(i',j')表示以IN或IS的像素矩阵中下标位置为(i',j')的元素为中心的3邻域范围内的所有元素的值在水平方向上的导数的均值。
步骤4_2：计算IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布；然后利用零均值的广义高斯分布(Generalized Gaussian Distribution，GGD)对IN的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合，拟合公式为：
拟合得到拟合参数μN、αN、βN；同样，利用零均值的广义高斯分布对IS的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合，拟合公式为：
拟合得到拟合参数μS、αS、βS；其中，G()为零均值的广义高斯分布函数，xN,μN,αN,βN为G()的输入，xS,μS,αS,βS也为G()的输入，xN表示IN的像素矩阵中的所有元素的相对梯度方向值的直方图分布，μN表示IN的像素矩阵中的所有元素的相对梯度方向值的均值，αN表示G(xN；μN,αN,βN)的形状参数，βN表示G(xN；μN,αN,βN)的尺度参数，Γ()为gamma函数，exp()表示以e为底的指数函数，符号“||”为取绝对值符号，xS表示IS的像素矩阵中的所有元素的相对梯度方向值的直方图分布，μS表示IS的像素矩阵中的所有元素的相对梯度方向值的均值，αS表示G(xS；μS,αS,βS)的形状参数，βS表示G(xS；μS,αS,βS)的尺度参数。
步骤4_3：获取IN的全局结构特征FNg1，FNg1＝[μN,αN,βN]；同样，获取IS的全局结构特征FSg1，FSg1＝[μS,αS,βS]。
步骤5：计算IN和IS各自中的每个像素点的旋转不变均匀局部二值模式值；然后通过计算IN中的所有像素点的旋转不变均匀局部二值模式值的直方图分布获取IN的全局纹理特征，记为FNg2；同样，通过计算IS中的所有像素点的旋转不变均匀局部二值模式值的直方图分布获取IS的全局纹理特征，记为FSg2。
在本实施例中，步骤5的具体过程为：
步骤5_1：为了适应不同几何形状的图像，更好地在全向图像的北极区域和南极区域的边缘提取有效纹理信息，对传统局部二值模式算子进行了改进，用圆形邻域代替了正方形邻域，计算IN和IS各自中的每个像素点的旋转不变均匀局部二值模式(CLBP)值，对于IN或IS中的任一个像素点，将该像素点的旋转不变均匀局部二值模式值记为CLBPriu2，
其中，riu2表示均匀性测量函数u()的函数值小于或等于2的旋转不变均匀模式，1≤q≤Q，q和Q均为正整数，Q表示该像素点邻域内的邻域像素点的总个数，在本实施例中取Q＝8，R表示邻域半径，在本实施例中取R＝1，cc表示该像素点的像素值，cq表示该像素点邻域内的第q个邻域像素点的像素值，s()表示阈值函数，
符号“||”为取绝对值符号，cQ表示该像素点邻域内的第Q个邻域像素点的像素值，c1表示该像素点邻域内的第1个邻域像素点的像素值，cq-1表示该像素点邻域内的第q-1个邻域像素点的像素值，s(cQ-cc)、s(c1-cc)、s(cq-1-cc)均通过
计算得到。
步骤5_2：计算IN中的所有像素点的旋转不变均匀局部二值模式值的直方图分布，并将该直方图分布的结果构成的行向量作为IN的全局纹理特征FNg2；同样，计算IS中的所有像素点的旋转不变均匀局部二值模式值的直方图分布，并将该直方图分布的结果构成的行向量作为IS的全局纹理特征FSg2。在本实施例中取R＝1、Q＝8时FNg2和FSg2的维数均为1×10。
步骤6：计算IE的二维相位一致性映射图；然后对IE的二维相位一致性映射图进行4次两倍下采样；再通过计算IE的二维相位一致性映射图及其4幅不同尺度的下采样图的信息熵获取IE的全局纹理结构特征，记为FEstr。
在本实施例中，步骤6的具体过程为：
步骤6_1：采用现有的2D Log-Gabor滤波器对IE中的每个像素点进行滤波处理，得到IE中的每个像素点在不同尺度和不同方向角的偶对称频率响应和奇对称频率响应，将IE中坐标位置为(i”,j”)的像素点在尺度为ε和方向角为φk的偶对称频率响应和奇对称频率响应对应记为
和
其中，i”表示IE中的像素点在IE中的横坐标，j”表示IE中的像素点在IE中的纵坐标，1≤i”≤2h，
ε表示2D Log-Gabor滤波器的尺度因子，φk表示2D Log-Gabor滤波器的第k+1个方向角，
k和K均为正整数，0≤k≤K-1，K表示2D Log-Gabor滤波器的方向角的数量。
步骤6_2：计算IE中的每个像素点在不同尺度和不同方向角的局部响应幅度，将IE中坐标位置为(i”,j”)的像素点在尺度为ε和方向角为φk的局部响应幅度记为
并计算IE中的每个像素点在不同方向角的局部能量，将IE中坐标位置为(i”,j”)的像素点在方向角为φk的局部能量记为
步骤6_3：计算IE的二维相位一致性映射图，记为PC2D，将PC2D中坐标位置为(i”,j”)的像素点的像素值记为PC2D(i”,j”)，
其中，PC2D(i”,j”)也即为IE中坐标位置为(i”,j”)的像素点的二维相位一致性值，
为用于防止分母为0的常数，在本实施例中取
步骤6_4：对PC2D进行4次两倍下采样，得到PC2D的4幅不同尺度的下采样图；然后将PC2D及其4幅不同尺度的下采样图均作为尺度特征图；再计算每幅尺度特征图的信息熵。
步骤6_5：将5幅尺度特征图的信息熵构成的行向量作为IE的全局纹理结构特征FEstr。在本实施例中FEstr的维数为1×5维。
步骤7：采用尺寸为64×64的滑动窗口，将IE划分成
个不重叠的尺寸为64×64的图像块；然后从IE中随机选取M个图像块；接着统计随机选取的每个图像块中的所有像素点的像素值的直方图分布，将M个图像块对应的直方图分布构成一个矩阵，记为D，D中的每一列为一个图像块对应的直方图分布；之后构建D的零均值矩阵，记为D0；再计算D0的协方差矩阵；最后利用奇异值分解计算D0的协方差矩阵的所有特征值，将值最大的前N2个特征值构成的行向量作为IE的局部对比度特征，记为FEcon；其中，符号
为向下取整运算符号，M＞1，在本实施例中取M＝100，N2为正整数，N2∈[5,30]，在本实施例中取N2＝20。
步骤8：将FN1、FS1、FNg1、FSg1、FNg2、FSg2、FEstr、FEcon合并形成一个行向量，作为IERP的特征向量；在本实施例中IERP的特征向量的维数为1×53维。
步骤9：将训练集中下一幅待处理的失真全向图像作为当前图像，然后返回步骤2继续执行，直至训练集中的所有失真全向图像均处理完毕，得到训练集中的每幅失真全向图像的特征向量。
步骤10：将训练集中的每幅失真全向图像的特征向量作为样本输入，并将训练集中的每幅失真全向图像的主观评分值作为标签输入，通过随机森林的池化，训练得到全向图像客观质量评价模型。
步骤11：对于任一幅待质量评价的等矩形投影格式的失真全向图像作为测试图像，按照步骤2至步骤8的过程，以相同的方式获取该失真全向图像的特征向量；然后将该失真全向图像的特征向量输入到全向图像客观质量评价模型中，预测得到该失真全向图像的客观质量评价值。
为了进一步说明本发明方法的可行性和有效性，进行下列实验。
选取全向图像数据库MVAQD，该数据库包含有15幅参考全向图像，300幅失真全向图像，失真类型为5种，每种失真类型有4种不同的级别，如表1所示；除此之外，提供了每幅失真全向图像的主观评分值。在本实施例中，随机选取全向图像数据库MVAQD中80％的失真全向图像及其主观评分值构成训练集，将全向图像数据库MVAQD中剩余的20％的失真全向图像构成测试集。
表1全向图像数据库MVAQD
| 失真类型 | 级别1 | 级别2 | 级别3 | 级别4 |
| 高斯模糊(σ) | 0.5 | 1 | 2 | 5 |
| HEVC编码(QP) | 27 | 32 | 37 | 42 |
| JPEG压缩(Q) | 70 | 50 | 30 | 10 |
| JP2K压缩(Bpp) | 0.6 | 0.3 | 0.1 | 0.05 |
| 白噪声(σ<sup>2</sup>) | 0.001 | 0.005 | 0.01 | 0.02 |
用训练集按照本发明方法的步骤1至步骤10的过程获得全向图像客观质量评价模型，按照本发明方法的步骤2至步骤8的过程获取测试集中的每幅失真全向图像的特征向量，将测试集中的每幅失真全向图像的特征向量输入到全向图像客观质量评价模型中进行测试，得到测试集中的每幅失真全向图像的客观质量评价值。分析利用本发明方法获取的测试集中的每幅失真全向图像的客观质量评价值与主观评分值之间的相关性。这里，选取四个评价指标作为衡量所提出的方法的好坏，分别是Pearson线性相关系数(Pearsonlinear correlation coefficient，PLCC)、Spearman顺序相关系数(Spearman rank-ordercorrelation coefficient，SRCC)、Kendall秩相关系数(Kendall rank-ordercorrelation coefficient，KRCC)和均方根误差(Root Mean Squared Error，RMSE)，PLCC、SRCC和KRCC的值在(0,1)之间，且越接近于1越好，RMSE越小越好。
表2给出了利用仅将北极区域对应的FN1、FNg1、FNg2合并成的行向量作为失真全向图像的特征向量、仅将南极区域对应的FS1、FSg1、FSg2合并成的行向量作为失真全向图像的特征向量、仅将赤道区域对应的FEstr、FEcon合并成的行向量作为失真全向图像的特征向量、本发明方法给出的将FN1、FS1、FNg1、FSg1、FNg2、FSg2、FEstr、FEcon合并成的行向量作为失真全向图像的特征向量分别训练得到的全向图像客观质量评价模型预测的性能比较。
表2本发明方法中不同区域的特征对应的性能
从表2中可以看出，本发明方法所提取的特征向量同时考虑了全向图像的两极区域(北极区域和南极区域)信息和赤道区域信息，任何一个区域的特征都能达到较为理想的结果，而本发明方法最终融合结果的性能更是得到了大大的提高，其中，PLCC相关系数达到了0.8406，SRCC相关系数达到了0.7838，KRCC相关系数达到了0.6036，而RMSE达到了0.5864，该结果表明本发明方法的客观评价结果与人眼主观感知的结果较为一致，充分说明了本发明方法的有效性。
Claims (5)
1.一种基于分段式球面投影格式的全向图像无参考质量评价方法，其特征在于包括以下步骤：
步骤1：选取Num幅等矩形投影格式的失真全向图像及其主观评分值构成训练集；将训练集中当前待处理的失真全向图像定义为当前图像；其中，Num为正整数，Num＞1，训练集中的每幅失真全向图像的高度为h且宽度为2h；
步骤2：将当前图像记为IERP；然后将IERP在高度方向上自上而下分割成三部分，上面四分之一部分为北极区域，中间二分之一部分为赤道区域，下面四分之一部分为南极区域；再保留IERP的赤道区域，并将IERP的北极区域和南极区域均映射成圆，得到分段式球面投影格式的全向图像，记为ISSP，将ISSP的赤道区域记为IE，将ISSP的圆形的北极区域记为IN，将ISSP的圆形的南极区域记为IS；其中，IERP的北极区域的宽度为2h且高度为
IERP的赤道区域的宽度为2h且高度为
IERP的南极区域的宽度为2h且高度为
IN中的像素点在ISSP中的横坐标为
且
IN中的像素点在ISSP中的纵坐标为
且
IS中的像素点在ISSP中的横坐标为
且
IS中的像素点在ISSP中的纵坐标为
且
m表示IERP中的像素点的横坐标，1≤m≤2h，n表示IERP中的像素点的纵坐标，1≤n≤h；
步骤3：将IN和IS分别分割成多个不重叠的扇形图像块；然后通过计算IN中的每个扇形图像块中的所有像素点的像素值的标准差获取IN的局部特征，记为FN1；并通过计算IS中的每个扇形图像块中的所有像素点的像素值的标准差获取IS的局部特征，记为FS1；
步骤4：计算IN和IS各自的像素矩阵中的每个元素的相对梯度方向值；然后计算IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布；再利用零均值的广义高斯分布分别对IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合；之后根据IN对应的拟合参数获取IN的全局结构特征，记为FNg1；同样，根据IS对应的拟合参数获取IS的全局结构特征，记为FSg1；
步骤5：计算IN和IS各自中的每个像素点的旋转不变均匀局部二值模式值；然后通过计算IN中的所有像素点的旋转不变均匀局部二值模式值的直方图分布获取IN的全局纹理特征，记为FNg2；同样，通过计算IS中的所有像素点的旋转不变均匀局部二值模式值的直方图分布获取IS的全局纹理特征，记为FSg2；
步骤6：计算IE的二维相位一致性映射图；然后对IE的二维相位一致性映射图进行4次两倍下采样；再通过计算IE的二维相位一致性映射图及其4幅不同尺度的下采样图的信息熵获取IE的全局纹理结构特征，记为FEstr；
步骤7：采用尺寸为64×64的滑动窗口，将IE划分成
个不重叠的尺寸为64×64的图像块；然后从IE中随机选取M个图像块；接着统计随机选取的每个图像块中的所有像素点的像素值的直方图分布，将M个图像块对应的直方图分布构成一个矩阵，记为D，D中的每一列为一个图像块对应的直方图分布；之后构建D的零均值矩阵，记为D0；再计算D0的协方差矩阵；最后利用奇异值分解计算D0的协方差矩阵的所有特征值，将值最大的前N2个特征值构成的行向量作为IE的局部对比度特征，记为FEcon；其中，符号
为向下取整运算符号，M＞1，N2为正整数，N2∈[5,30]；
步骤8：将FN1、FS1、FNg1、FSg1、FNg2、FSg2、FEstr、FEcon合并形成一个行向量，作为IERP的特征向量；
步骤9：将训练集中下一幅待处理的失真全向图像作为当前图像，然后返回步骤2继续执行，直至训练集中的所有失真全向图像均处理完毕，得到训练集中的每幅失真全向图像的特征向量；
步骤10：将训练集中的每幅失真全向图像的特征向量作为样本输入，并将训练集中的每幅失真全向图像的主观评分值作为标签输入，通过随机森林的池化，训练得到全向图像客观质量评价模型；
步骤11：对于任一幅待质量评价的等矩形投影格式的失真全向图像，按照步骤2至步骤8的过程，以相同的方式获取该失真全向图像的特征向量；然后将该失真全向图像的特征向量输入到全向图像客观质量评价模型中，预测得到该失真全向图像的客观质量评价值。
2.根据权利要求1所述的基于分段式球面投影格式的全向图像无参考质量评价方法，其特征在于所述的步骤3的具体过程为：
步骤3_1：将IN和IS分别分割成N1个不重叠的扇形图像块，扇形图像块在径向方向上的宽度为r，扇形图像块的圆心角为θ，其中，N1为正整数，N1＞1，
Rpolar表示IN和IS的半径，rnum表示在径向方向上分割的扇形图像块的个数，rnum为正整数，θ∈[1°,45°]；
步骤3_2：计算IN和IS各自中的每个扇形图像块中的所有像素点的像素值的标准差；
步骤3_3：计算IN中的所有扇形图像块对应的标准差的均值，并将该均值作为IN的局部特征FN1；同样，计算IS中的所有扇形图像块对应的标准差的均值，并将该均值作为IS的局部特征FS1。
3.根据权利要求1或2所述的基于分段式球面投影格式的全向图像无参考质量评价方法，其特征在于所述的步骤4的具体过程为：
步骤4_1：以矩阵形式将IN和IS分别存储为像素矩阵；然后计算IN和IS各自的像素矩阵中的每个元素的相对梯度方向值，将IN或IS的像素矩阵中下标位置为(i',j')的元素的相对梯度方向值记为∠GRO(i',j')，
其中，1≤i'≤2h，
Iver(i',j')表示IN或IS的像素矩阵中下标位置为(i',j')的元素的值在垂直方向上的导数，Ihor(i',j')表示IN或IS的像素矩阵中下标位置为(i',j')的元素的值在水平方向上的导数，Imean_ver(i',j')表示以IN或IS的像素矩阵中下标位置为(i',j')的元素为中心的3邻域范围内的所有元素的值在垂直方向上的导数的均值，Imean_hor(i',j')表示以IN或IS的像素矩阵中下标位置为(i',j')的元素为中心的3邻域范围内的所有元素的值在水平方向上的导数的均值；
步骤4_2：计算IN和IS各自的像素矩阵中的所有元素的相对梯度方向值的直方图分布；然后利用零均值的广义高斯分布对IN的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合，拟合公式为：
拟合得到拟合参数μN、αN、βN；同样，利用零均值的广义高斯分布对IS的像素矩阵中的所有元素的相对梯度方向值的直方图分布进行拟合，拟合公式为：
拟合得到拟合参数μS、αS、βS；其中，G()为零均值的广义高斯分布函数，xN,μN,αN,βN为G()的输入，xS,μS,αS,βS也为G()的输入，xN表示IN的像素矩阵中的所有元素的相对梯度方向值的直方图分布，μN表示IN的像素矩阵中的所有元素的相对梯度方向值的均值，αN表示G(xN；μN,αN,βN)的形状参数，βN表示G(xN；μN,αN,βN)的尺度参数，Γ()为gamma函数，exp()表示以e为底的指数函数，符号“||”为取绝对值符号，xS表示IS的像素矩阵中的所有元素的相对梯度方向值的直方图分布，μS表示IS的像素矩阵中的所有元素的相对梯度方向值的均值，αS表示G(xS；μS,αS,βS)的形状参数，βS表示G(xS；μS,αS,βS)的尺度参数；
步骤4_3：获取IN的全局结构特征FNg1，FNg1＝[μN,αN,βN]；同样，获取IS的全局结构特征FSg1，FSg1＝[μS,αS,βS]。
4.根据权利要求3所述的基于分段式球面投影格式的全向图像无参考质量评价方法，其特征在于所述的步骤5的具体过程为：
步骤5_1：计算IN和IS各自中的每个像素点的旋转不变均匀局部二值模式值，对于IN或IS中的任一个像素点，将该像素点的旋转不变均匀局部二值模式值记为CLBPriu2，
其中，riu2表示均匀性测量函数u()的函数值小于或等于2的旋转不变均匀模式，1≤q≤Q，q和Q均为正整数，Q表示该像素点邻域内的邻域像素点的总个数，R表示邻域半径，cc表示该像素点的像素值，cq表示该像素点邻域内的第q个邻域像素点的像素值，s()表示阈值函数，
符号“||”为取绝对值符号，cQ表示该像素点邻域内的第Q个邻域像素点的像素值，c1表示该像素点邻域内的第1个邻域像素点的像素值，cq-1表示该像素点邻域内的第q-1个邻域像素点的像素值，s(cQ-cc)、s(c1-cc)、s(cq-1-cc)均通过
计算得到；
步骤5_2：计算IN中的所有像素点的旋转不变均匀局部二值模式值的直方图分布，并将该直方图分布的结果构成的行向量作为IN的全局纹理特征FNg2；同样，计算IS中的所有像素点的旋转不变均匀局部二值模式值的直方图分布，并将该直方图分布的结果构成的行向量作为IS的全局纹理特征FSg2。
5.根据权利要求4所述的基于分段式球面投影格式的全向图像无参考质量评价方法，其特征在于所述的步骤6的具体过程为：
步骤6_1：采用2D Log-Gabor滤波器对IE中的每个像素点进行滤波处理，得到IE中的每个像素点在不同尺度和不同方向角的偶对称频率响应和奇对称频率响应，将IE中坐标位置为(i″,j″)的像素点在尺度为ε和方向角为φk的偶对称频率响应和奇对称频率响应对应记为
和
其中，i″表示IE中的像素点在IE中的横坐标，j″表示IE中的像素点在IE中的纵坐标，1≤i″≤2h，
ε表示2D Log-Gabor滤波器的尺度因子，φk表示2D Log-Gabor滤波器的第k+1个方向角，
k和K均为正整数，0≤k≤K-1，K表示2DLog-Gabor滤波器的方向角的数量；
步骤6_2：计算IE中的每个像素点在不同尺度和不同方向角的局部响应幅度，将IE中坐标位置为(i″,j″)的像素点在尺度为ε和方向角为φk的局部响应幅度记为
并计算IE中的每个像素点在不同方向角的局部能量，将IE中坐标位置为(i″,j″)的像素点在方向角为φk的局部能量记为
步骤6_3：计算IE的二维相位一致性映射图，记为PC2D，将PC2D中坐标位置为(i″,j″)的像素点的像素值记为PC2D(i″,j″)，
其中，PC2D(i″,j″)也即为IE中坐标位置为(i″,j″)的像素点的二维相位一致性值，
为用于防止分母为0的常数；
步骤6_4：对PC2D进行4次两倍下采样，得到PC2D的4幅不同尺度的下采样图；然后将PC2D及其4幅不同尺度的下采样图均作为尺度特征图；再计算每幅尺度特征图的信息熵；
步骤6_5：将5幅尺度特征图的信息熵构成的行向量作为IE的全局纹理结构特征FEstr。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010070290.2A CN111292336B (zh) | 2020-01-21 | 2020-01-21 | 基于分段式球面投影格式的全向图像无参考质量评价方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010070290.2A CN111292336B (zh) | 2020-01-21 | 2020-01-21 | 基于分段式球面投影格式的全向图像无参考质量评价方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111292336A true CN111292336A (zh) | 2020-06-16 |
| CN111292336B CN111292336B (zh) | 2023-06-06 |
Family
ID=71023374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010070290.2A Active CN111292336B (zh) | 2020-01-21 | 2020-01-21 | 基于分段式球面投影格式的全向图像无参考质量评价方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111292336B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112683906A (zh) * | 2020-12-25 | 2021-04-20 | 红云红河烟草(集团)有限责任公司 | 一种滤棒中线胶检测系统及方法 |
| CN112950596A (zh) * | 2021-03-09 | 2021-06-11 | 宁波大学 | 基于多区域多层次的色调映射全向图像质量评价方法 |
| CN113038123A (zh) * | 2021-03-22 | 2021-06-25 | 上海大学 | 无参考全景视频质量评价方法、系统、终端及介质 |
| CN113099215A (zh) * | 2021-03-19 | 2021-07-09 | 宁波大学 | 一种卡通图像质量评价方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247024A (zh) * | 2012-02-03 | 2013-08-14 | 苏州科泽数字技术有限公司 | 一种基于同心圆算法的180度鱼眼图像展开方法和装置 |
| EP3136340A1 (en) * | 2015-08-27 | 2017-03-01 | Thomson Licensing | Method for estimating a unified projection model for a camera and apparatus performing the same |
| CN107431803A (zh) * | 2015-05-27 | 2017-12-01 | 谷歌公司 | 全景虚拟现实内容的捕捉和渲染 |
| WO2018010688A1 (en) * | 2016-07-15 | 2018-01-18 | Mediatek Inc. | Method and apparatus for filtering 360-degree video boundaries |
| WO2018121333A1 (zh) * | 2016-12-30 | 2018-07-05 | 艾迪普（北京）文化科技股份有限公司 | 一种360度vr全景图形图像及视频实时生成方法 |
| CN108322733A (zh) * | 2018-01-17 | 2018-07-24 | 宁波大学 | 一种无参考高动态范围图像客观质量评价方法 |
| WO2019139234A1 (ko) * | 2018-01-15 | 2019-07-18 | 주식회사 스트리스 | 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법 |
-
2020
- 2020-01-21 CN CN202010070290.2A patent/CN111292336B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103247024A (zh) * | 2012-02-03 | 2013-08-14 | 苏州科泽数字技术有限公司 | 一种基于同心圆算法的180度鱼眼图像展开方法和装置 |
| CN107431803A (zh) * | 2015-05-27 | 2017-12-01 | 谷歌公司 | 全景虚拟现实内容的捕捉和渲染 |
| EP3136340A1 (en) * | 2015-08-27 | 2017-03-01 | Thomson Licensing | Method for estimating a unified projection model for a camera and apparatus performing the same |
| WO2018010688A1 (en) * | 2016-07-15 | 2018-01-18 | Mediatek Inc. | Method and apparatus for filtering 360-degree video boundaries |
| WO2018121333A1 (zh) * | 2016-12-30 | 2018-07-05 | 艾迪普（北京）文化科技股份有限公司 | 一种360度vr全景图形图像及视频实时生成方法 |
| WO2019139234A1 (ko) * | 2018-01-15 | 2019-07-18 | 주식회사 스트리스 | 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법 |
| CN108322733A (zh) * | 2018-01-17 | 2018-07-24 | 宁波大学 | 一种无参考高动态范围图像客观质量评价方法 |
Non-Patent Citations (4)
| Title |
|---|
| CHEN LI等: "State-of-the-art in 360° Video/Image Processing: Perception, Assessment and Compression" * |
| ZHENZHONG CHEN等: "Recent advances in omnidirectional video coding for virtual reality: Projection and evaluation" * |
| 周瑜锋等: "基于球形加权结构相似度的全向视频编码率失真优化方法" * |
| 陈立栋等: "基于双向映射的非网格型全向图展开插值方法" * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112683906A (zh) * | 2020-12-25 | 2021-04-20 | 红云红河烟草(集团)有限责任公司 | 一种滤棒中线胶检测系统及方法 |
| CN112683906B (zh) * | 2020-12-25 | 2023-08-04 | 红云红河烟草(集团)有限责任公司 | 一种滤棒中线胶检测系统及方法 |
| CN112950596A (zh) * | 2021-03-09 | 2021-06-11 | 宁波大学 | 基于多区域多层次的色调映射全向图像质量评价方法 |
| CN112950596B (zh) * | 2021-03-09 | 2023-06-02 | 宁波大学 | 基于多区域多层次的色调映射全向图像质量评价方法 |
| CN113099215A (zh) * | 2021-03-19 | 2021-07-09 | 宁波大学 | 一种卡通图像质量评价方法 |
| CN113099215B (zh) * | 2021-03-19 | 2022-06-21 | 宁波大学 | 一种卡通图像质量评价方法 |
| CN113038123A (zh) * | 2021-03-22 | 2021-06-25 | 上海大学 | 无参考全景视频质量评价方法、系统、终端及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111292336B (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292336A (zh) | 基于分段式球面投影格式的全向图像无参考质量评价方法 | |
| Zheng et al. | Segmented spherical projection-based blind omnidirectional image quality assessment | |
| CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
| CN109978854B (zh) | 一种基于边缘与结构特征的屏幕内容图像质量评估方法 | |
| CN110827193A (zh) | 基于多通道特征的全景视频显著性检测方法 | |
| CN103824272A (zh) | 基于k近邻重识别的人脸超分辨率重建方法 | |
| CN103778616A (zh) | 基于区域的对比度金字塔图像融合方法 | |
| CN114742799B (zh) | 基于自监督异构网络的工业场景未知类型缺陷分割方法 | |
| CN112950596B (zh) | 基于多区域多层次的色调映射全向图像质量评价方法 | |
| CN111179193B (zh) | 基于DCNNs和GANs的皮肤镜图像增强和分类方法 | |
| CN106023214B (zh) | 基于中央凹视梯度结构相似性的图像质量评价方法及系统 | |
| CN107360416A (zh) | 基于局部多元高斯描述子的立体图像质量评价方法 | |
| Chai et al. | Monocular and binocular interactions oriented deformable convolutional networks for blind quality assessment of stereoscopic omnidirectional images | |
| CN110910365A (zh) | 一种同时对于动态场景和静态场景的多曝光融合图像的质量评价方法 | |
| CN110691236B (zh) | 一种全景视频质量评价方法 | |
| Azevedo et al. | A viewport-driven multi-metric fusion approach for 360-degree video quality assessment | |
| Liu et al. | Asflow: Unsupervised optical flow learning with adaptive pyramid sampling | |
| CN106210710B (zh) | 一种基于多尺度字典的立体图像视觉舒适度评价方法 | |
| CN105761207B (zh) | 基于最大线性块邻域嵌入的图像超分辨重建方法 | |
| CN114648562A (zh) | 基于深度学习网络的医学图像配准方法 | |
| Müller et al. | Simulating optical properties to access novel metrological parameter ranges and the impact of different model approximations | |
| CN109241932A (zh) | 一种基于运动方差图相位特征的热红外人体动作识别方法 | |
| CN107578406A (zh) | 基于网格与韦泊统计特性的无参考立体图像质量评价方法 | |
| CN112308887A (zh) | 一种多源图像序列实时配准方法 | |
| CN109978859B (zh) | 一种基于可见失真池化的图像显示适应质量评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |