CN112950596B - 基于多区域多层次的色调映射全向图像质量评价方法 - Google Patents

基于多区域多层次的色调映射全向图像质量评价方法 Download PDF

Info

Publication number
CN112950596B
CN112950596B CN202110255258.6A CN202110255258A CN112950596B CN 112950596 B CN112950596 B CN 112950596B CN 202110255258 A CN202110255258 A CN 202110255258A CN 112950596 B CN112950596 B CN 112950596B
Authority
CN
China
Prior art keywords
image
pixel
pixel point
value
erp
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110255258.6A
Other languages
English (en)
Other versions
CN112950596A (zh
Inventor
蒋刚毅
郑雪蕾
蒋志迪
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningbo University
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN202110255258.6A priority Critical patent/CN112950596B/zh
Publication of CN112950596A publication Critical patent/CN112950596A/zh
Application granted granted Critical
Publication of CN112950596B publication Critical patent/CN112950596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多区域多层次的色调映射全向图像质量评价方法，其对于任意一幅失真色调映射高动态范围全向图像，将该图像的每幅视口图像划分为纹理平坦区域和纹理复杂区域，进而获取该图像的每幅视口图像的纹理平坦区域和纹理复杂区域各自的局部特征向量，并将该图像的每幅视口图像划分为高亮区域、低暗区域以及中间亮度区域，进而获取该图像的每幅视口图像的高亮区域、低暗区域各自的局部特征及中间亮度区域的局部特征向量，进一步得到该图像的特征向量，接着通过随机森林的池化训练得到失真色调映射高动态范围全向图像客观质量评价模型，再预测测试图像的客观质量评价值；优点是能有效地提高客观评价结果与人眼主观感知质量之间的相关性。

Description

基于多区域多层次的色调映射全向图像质量评价方法
技术领域
本发明涉及一种图像质量评价方法，尤其是涉及一种基于多区域多层次的色调映射全向图像质量评价方法。
背景技术
全向相机可以捕获360°视场，其能够提供给用户身临其境的体验，但是，真实的光照在一个完整的场景中变化快且范围大，在大范围的光照条件下，普通的全向成像会产生像素曝光不足或过度曝光的区域。高动态范围全向图像的提出解决了普通的全向成像存在的技术问题，通过全向相机多次曝光合成的高动态范围全向图像具有更大的照度变化范围和更丰富的细节信息。要在有限带宽的信道上传输高动态范围全向图像，就需要采用JPEG-XT对高动态范围全向图像进行压缩来节省比特率。此外，为了兼容目前的头戴式显示器(Head-mounted Display，HMD)，还需要利用色调映射(TM)算子对编解码后的高动态范围全向图像进行动态范围的压缩，以供用户在现有的HMD上观看，然而，在色调映射全向图像(Tone Mapping Omnidirectional Image，TM-OI)的成像、处理、编码、显示等过程中，会不可避免地引入失真，导致图像质量下降。因此，如何有效地评估TM-OI的质量将会是一个挑战。
目前没有针对TM-OI提出的客观质量评价方法，并且现有的客观质量评价方法缺乏对TM-OI成像处理系统所引入的特有失真的考虑，也缺乏对JPEG-XT编码压缩产生的块效应失真和TM算子处理所导致的失真之间混合影响的考虑。此外，也没有考虑到用户通过HMD观看TM-OI时专注视口图像内容，使得其失真表现比在普通2D显示器中观看高动态范围图像更加明显。因此，研究一种色调映射高动态范围全向图像无参考质量评价方法是非常有必要的。
发明内容
本发明所要解决的技术问题是提供一种基于多区域多层次的色调映射全向图像质量评价方法，其能够有效地提高客观评价结果与人眼主观感知质量之间的相关性。
本发明解决上述技术问题所采用的技术方案为：一种基于多区域多层次的色调映射全向图像质量评价方法，其特征在于包括以下步骤：
步骤1：选取Num组等矩形投影格式的失真色调映射全向图像构成失真图像集，每组中的所有失真色调映射全向图像的场景内容相同，并获取每组中的每幅失真色调映射全向图像的主观评分值；其中，Num为正整数，Num＞1，每组中至少包含2幅失真色调映射全向图像；
步骤2：将失真图像集中当前待处理的失真色调映射全向图像定义为当前图像；
步骤3：将当前图像记为IERP；然后对IERP进行视口绘制，且绘制过程中D-2个视口以等间隔的角度均匀环绕在赤道区域，2个视口分别以球面的南极点和北极点作为视口中心点，共绘制得到IERP的D幅视口图像，将IERP的第d幅视口图像记为Vd；其中，D为正整数，D≥6，1≤d≤D，视口图像的宽度和高度对应为W和H；
步骤4：将IERP的每幅视口图像划分为纹理平坦区域和纹理复杂区域两个区域，将Vd的纹理平坦区域和纹理复杂区域对应记为
Figure BDA0002967984400000021
和/>
Figure BDA0002967984400000022
步骤5：对IERP的每幅视口图像的纹理平坦区域和纹理复杂区域分别进行位平面层分解，得到各自对应的8幅位平面图像；然后通过计算IERP的每幅视口图像的纹理平坦区域的前4幅位平面图像各自的局部特征，获取IERP的每幅视口图像的纹理平坦区域的局部特征向量，将
Figure BDA0002967984400000023
的局部特征向量记为/>
Figure BDA0002967984400000024
并通过计算IERP的每幅视口图像的纹理复杂区域的后4幅位平面图像各自的局部特征，获取IERP的每幅视口图像的纹理复杂区域的局部特征向量，将/>
Figure BDA0002967984400000025
的局部特征向量记为/>
Figure BDA0002967984400000026
其中，/>
Figure BDA0002967984400000027
和/>
Figure BDA0002967984400000028
的维数均为1×4；
步骤6：将IERP的每幅视口图像划分为高亮区域、低暗区域以及中间亮度区域三个区域，将Vd的高亮区域、低暗区域以及中间亮度区域对应记为
Figure BDA0002967984400000029
以及/>
Figure BDA00029679844000000210
步骤7：对IERP的每幅视口图像的高亮区域、低暗区域以及中间亮度区域分别进行基本层和细节层分解；然后通过IERP的每幅视口图像的高亮区域的细节层，获取IERP的每幅视口图像的高亮区域的局部特征，将
Figure BDA0002967984400000031
的局部特征记为/>
Figure BDA0002967984400000032
同样，通过IERP的每幅视口图像的低暗区域的细节层，获取IERP的每幅视口图像的低暗区域的局部特征，将/>
Figure BDA0002967984400000033
的局部特征记为/>
Figure BDA0002967984400000034
再通过计算IERP的每幅视口图像的中间亮度区域的基本层中的每个像素点的局部对比度归一化值，获取IERP的每幅视口图像的中间亮度区域的局部特征向量，将/>
Figure BDA0002967984400000035
的局部特征向量记为/>
Figure BDA0002967984400000036
其中，/>
Figure BDA0002967984400000037
的维数为1×3；
步骤8：将IERP的每幅视口图像的纹理平坦区域和纹理复杂区域各自的局部特征向量、高亮区域和低暗区域各自的局部特征、中间亮度区域的局部特征向量合并形成该幅视口图像的特征向量，对于Vd，将
Figure BDA0002967984400000038
合并形成一个行向量，作为Vd的特征向量，记为Fd，/>
Figure BDA0002967984400000039
然后将IERP的所有视口图像的特征向量合并形成IERP的特征向量，记为FERP，FERP＝[F1,F2,…,Fd,…,FD]；其中，F的维数为1×13，FERP的维数为1×13D，F1表示IERP的第1幅视口图像V1的特征向量，F2表示IERP的第2幅视口图像V2的特征向量，FD表示IERP的第D幅视口图像VD的特征向量；
步骤9：将失真图像集中下一幅待处理的失真色调映射全向图像作为当前图像，然后返回步骤步骤3继续执行，直至失真图像集中的所有失真色调映射全向图像处理完毕，得到失真图像集中的每幅失真色调映射全向图像的特征向量；
步骤10：从失真图像集中随机选取Num-1组失真色调映射全向图像，将选取的这些失真色调映射全向图像的特征向量和主观评分值构成训练数据；然后将训练数据中的特征向量作为样本输入，将训练数据中的主观评分值作为标签输入，通过随机森林的池化，训练得到失真色调映射全向图像客观质量评价模型；
步骤11：将剩余的1组中的每幅失真色调映射全向图像作为测试图像，将每幅测试图像的特征向量输入到失真色调映射全向图像客观质量评价模型中，预测得到该幅测试图像的客观质量评价值。
所述的步骤4中，
Figure BDA0002967984400000041
和/>
Figure BDA0002967984400000042
的获取过程为：
步骤4_1：对Vd进行灰度转换，得到Vd对应的灰度图；然后使用Canny算子对Vd对应的灰度图进行边缘提取，得到边缘提取后的图像，记为V1；
步骤4_2：对V1进行膨胀处理，得到膨胀后的图像，记为V2；
步骤4_3：用长度为8像素的线段对V2进行边缘填补，得到边缘填补后的图像，记为V3；
步骤4_4：使用孔洞填充算法对V3进行填充，得到孔洞填充好的图像，记为V4；
步骤4_5：使用去噪算法去除V4中面积小于1000像素的区域，得到去噪后的图像，记为V5；
步骤4_6：遍历V5中的所有像素点，标记出V5中像素值为255的所有像素点；然后将Vd中与V5中标记出的所有像素点对应位置的像素点构成的区域作为纹理复杂区域
Figure BDA0002967984400000043
将Vd中其余所有像素点构成的区域作为纹理平坦区域/>
Figure BDA0002967984400000044
所述的步骤5中，
Figure BDA0002967984400000045
和/>
Figure BDA0002967984400000046
的获取过程为：
步骤5_1：对
Figure BDA0002967984400000047
进行位平面层分解，得到/>
Figure BDA0002967984400000048
的8幅位平面图像，将/>
Figure BDA0002967984400000049
的第p幅位平面图像记为/>
Figure BDA00029679844000000410
将/>
Figure BDA00029679844000000411
中坐标位置为(i,j)的像素点的像素值记为/>
Figure BDA00029679844000000412
Figure BDA00029679844000000413
同样，对Vcd进行位平面层分解，得到Vcd的8幅位平面图像，将Vc d的第p幅位平面图像记为/>
Figure BDA00029679844000000414
将/>
Figure BDA00029679844000000415
中坐标位置为(i,j)的像素点的像素值记为/>
Figure BDA00029679844000000416
Figure BDA00029679844000000417
其中，1≤p≤8，1≤i≤W，1≤j≤H，/>
Figure BDA00029679844000000418
表示/>
Figure BDA00029679844000000419
中坐标位置为(i,j)的像素点的像素值，
Figure BDA00029679844000000420
表示Vd中属于/>
Figure BDA00029679844000000421
的所有像素点的坐标位置构成的集合，/>
Figure BDA00029679844000000422
表示Vc d中坐标位置为(i,j)的像素点的像素值，/>
Figure BDA00029679844000000423
表示Vd中属于Vc d的所有像素点的坐标位置构成的集合，mod为取余函数；
步骤5_2：计算
Figure BDA0002967984400000051
的前4幅位平面图像各自的局部特征，将/>
Figure BDA0002967984400000052
的第p'幅位平面图像
Figure BDA0002967984400000053
的局部特征记为/>
Figure BDA0002967984400000054
的获取过程为：计算以/>
Figure BDA0002967984400000055
中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵，共得到/>
Figure BDA0002967984400000056
个熵，然后计算/>
Figure BDA0002967984400000057
个熵的平均值，并将该平均值作为/>
Figure BDA0002967984400000058
的局部特征/>
Figure BDA0002967984400000059
再将/>
Figure BDA00029679844000000510
的前4幅位平面图像的局部特征按序构成/>
Figure BDA00029679844000000511
的局部特征向量/>
Figure BDA00029679844000000512
Figure BDA00029679844000000513
其中，1≤p'≤4，nwid的值为3或5或7或9或11，/>
Figure BDA00029679844000000514
表示/>
Figure BDA00029679844000000515
包含的像素点的总个数，/>
Figure BDA00029679844000000516
的维数为1×4，符号“[]”为向量表示符号，/>
Figure BDA00029679844000000517
对应表示/>
Figure BDA00029679844000000518
的第1幅位平面图像、第2幅位平面图像、第3幅位平面图像、第4幅位平面图像各自的局部特征，若nwid×nwid邻域内存在像素点不属于/>
Figure BDA00029679844000000519
则该像素点的像素值置为0；
步骤5_3：计算Vc d的后4幅位平面图像各自的局部特征，将Vc d的第p”幅位平面图像
Figure BDA00029679844000000520
的局部特征记为/>
Figure BDA00029679844000000521
的获取过程为：计算以/>
Figure BDA00029679844000000522
中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵，共得到/>
Figure BDA00029679844000000523
个熵，然后计算/>
Figure BDA00029679844000000524
个熵的平均值，并将该平均值作为/>
Figure BDA00029679844000000525
的局部特征/>
Figure BDA00029679844000000526
再将Vc d的后4幅位平面图像的局部特征按序构成Vc d的局部特征向量Fcd，/>
Figure BDA00029679844000000527
其中，5≤p”≤8，/>
Figure BDA00029679844000000528
表示Vc d包含的像素点的总个数，/>
Figure BDA00029679844000000529
的维数为1×4，/>
Figure BDA00029679844000000530
对应表示Vc d的第5幅位平面图像、第6幅位平面图像、第7幅位平面图像、第8幅位平面图像各自的局部特征，若nwid×nwid邻域内存在像素点不属于/>
Figure BDA00029679844000000531
则该像素点的像素值置为0。
所述的步骤6中，
Figure BDA00029679844000000532
以及/>
Figure BDA00029679844000000533
的获取过程为：
步骤6_1：计算Vd的图像亮度直方图的均值作为Vd的亮度中值，记为
Figure BDA00029679844000000534
然后将Vd中亮度值大于/>
Figure BDA00029679844000000535
的所有像素点构成的区域记为/>
Figure BDA00029679844000000536
将Vd中亮度值小于/>
Figure BDA00029679844000000537
的所有像素点构成的区域记为/>
Figure BDA00029679844000000538
步骤6_2：在
Figure BDA00029679844000000539
中，根据最大熵分割法计算/>
Figure BDA00029679844000000540
的亮度最大熵阈值，再将/>
Figure BDA00029679844000000541
中亮度值大于/>
Figure BDA00029679844000000542
的亮度最大熵阈值的所有像素点构成的区域作为高亮区域/>
Figure BDA00029679844000000543
同样，在/>
Figure BDA00029679844000000544
中，根据最大熵分割法计算/>
Figure BDA00029679844000000545
的亮度最大熵阈值，再将/>
Figure BDA00029679844000000546
中亮度值小于/>
Figure BDA00029679844000000547
的亮度最大熵阈值的所有像素点构成的区域作为低暗区域/>
Figure BDA0002967984400000061
步骤6_3：将Vd中除去
Figure BDA0002967984400000062
和/>
Figure BDA0002967984400000063
外的所有像素点构成的区域作为中间亮度区域/>
Figure BDA0002967984400000064
所述的步骤7中，
Figure BDA0002967984400000065
的获取过程为：
步骤7_1：通过分层优化模型
Figure BDA0002967984400000066
计算
Figure BDA0002967984400000067
的基本层/>
Figure BDA0002967984400000068
然后计算/>
Figure BDA0002967984400000069
的细节层，记为/>
Figure BDA00029679844000000610
将/>
Figure BDA00029679844000000611
中与/>
Figure BDA00029679844000000612
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为/>
Figure BDA00029679844000000613
Figure BDA00029679844000000614
其中，/>
Figure BDA00029679844000000615
表示求使得括号内的表达式取得最小值时/>
Figure BDA00029679844000000616
的值，1≤i≤W，1≤j≤H，/>
Figure BDA00029679844000000617
表示Vd中属于/>
Figure BDA00029679844000000618
的所有像素点的坐标位置构成的集合，/>
Figure BDA00029679844000000619
表示/>
Figure BDA00029679844000000620
中坐标位置为(i,j)的像素点的像素值，/>
Figure BDA00029679844000000621
表示/>
Figure BDA00029679844000000622
中与/>
Figure BDA00029679844000000623
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值，符号“|| ||”为取模操作符号，λ1和λ2均为常数，s的值为0或1，s的值为0时/>
Figure BDA00029679844000000624
表示沿水平方向的偏导数运算，s的值为1时/>
Figure BDA00029679844000000625
表示沿垂直方向的偏导数运算，Th()为阈值函数，/>
Figure BDA00029679844000000626
ξ为函数参数；
同样，通过分层优化模型
Figure BDA00029679844000000627
计算
Figure BDA00029679844000000628
的基本层/>
Figure BDA00029679844000000629
然后计算/>
Figure BDA00029679844000000630
的细节层，记为/>
Figure BDA00029679844000000631
将/>
Figure BDA00029679844000000632
中与/>
Figure BDA00029679844000000633
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为/>
Figure BDA00029679844000000634
Figure BDA00029679844000000635
其中，/>
Figure BDA00029679844000000636
表示求使得括号内的表达式取得最小值时/>
Figure BDA00029679844000000637
的值，/>
Figure BDA00029679844000000638
表示Vd中属于/>
Figure BDA00029679844000000639
的所有像素点的坐标位置构成的集合，/>
Figure BDA00029679844000000640
表示/>
Figure BDA00029679844000000641
中坐标位置为(i,j)的像素点的像素值，/>
Figure BDA00029679844000000642
表示/>
Figure BDA00029679844000000643
中与/>
Figure BDA00029679844000000644
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值；
通过分层优化模型
Figure BDA0002967984400000071
计算
Figure BDA0002967984400000072
的基本层/>
Figure BDA0002967984400000073
其中，/>
Figure BDA0002967984400000074
表示求使得括号内的表达式取得最小值时
Figure BDA0002967984400000075
的值，/>
Figure BDA0002967984400000076
表示Vd中属于/>
Figure BDA0002967984400000077
的所有像素点的坐标位置构成的集合，/>
Figure BDA0002967984400000078
表示/>
Figure BDA0002967984400000079
中坐标位置为(i,j)的像素点的像素值，/>
Figure BDA00029679844000000710
表示/>
Figure BDA00029679844000000711
中与/>
Figure BDA00029679844000000712
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值；
步骤7_2：计算以
Figure BDA00029679844000000713
中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差，共得到/>
Figure BDA00029679844000000714
个标准差；然后计算/>
Figure BDA00029679844000000715
个标准差的平均值，并将该平均值作为/>
Figure BDA00029679844000000716
的局部特征/>
Figure BDA00029679844000000717
其中，n'wid的值为3或5或7或9或11，/>
Figure BDA00029679844000000718
表示/>
Figure BDA00029679844000000719
包含的像素点的总个数，若n'wid×n'wid邻域内存在像素点不属于/>
Figure BDA00029679844000000720
则该像素点的像素值置为0；
同样，计算以
Figure BDA00029679844000000721
中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差，共得到/>
Figure BDA00029679844000000722
个标准差；然后计算/>
Figure BDA00029679844000000723
个标准差的平均值，并将该平均值作为/>
Figure BDA00029679844000000724
的局部特征/>
Figure BDA00029679844000000725
其中，/>
Figure BDA00029679844000000726
表示/>
Figure BDA00029679844000000727
包含的像素点的总个数，若n'wid×n'wid邻域内存在像素点不属于/>
Figure BDA00029679844000000728
则该像素点的像素值置为0；
步骤7_3：计算
Figure BDA00029679844000000729
中的每个像素点的局部对比度归一化值，将/>
Figure BDA00029679844000000730
中与/>
Figure BDA00029679844000000731
中坐标位置为(i,j)的像素点对应坐标位置的像素点的局部对比度归一化值记为/>
Figure BDA00029679844000000732
/>
Figure BDA00029679844000000733
然后计算/>
Figure BDA00029679844000000734
中的所有像素点的局部对比度归一化值的直方图分布；接着利用零均值的广义高斯分布对/>
Figure BDA00029679844000000735
中的所有像素点的局部对比度归一化值的直方图分布进行拟合，拟合公式为：
Figure BDA00029679844000000736
拟合得到拟合参数/>
Figure BDA00029679844000000737
再根据/>
Figure BDA00029679844000000738
得到/>
Figure BDA00029679844000000739
的局部特征向量/>
Figure BDA00029679844000000740
Figure BDA00029679844000000741
其中，/>
Figure BDA00029679844000000742
表示以/>
Figure BDA0002967984400000081
中与/>
Figure BDA0002967984400000082
中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的均值，/>
Figure BDA0002967984400000083
表示以/>
Figure BDA0002967984400000084
中与/>
Figure BDA0002967984400000085
中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的标准差，若8邻域范围内存在像素点不属于/>
Figure BDA0002967984400000086
则该像素点的像素值置为0，g()为零均值的广义高斯分布函数，/>
Figure BDA0002967984400000087
为g()的输入，/>
Figure BDA0002967984400000088
表示/>
Figure BDA0002967984400000089
中的所有像素点的局部对比度归一化值的直方图分布，/>
Figure BDA00029679844000000810
表示/>
Figure BDA00029679844000000811
中的所有像素点的局部对比度归一化值的直方图分布的均值，/>
Figure BDA00029679844000000812
为/>
Figure BDA00029679844000000813
的形状参数，/>
Figure BDA00029679844000000814
为/>
Figure BDA00029679844000000815
的尺度参数，Γ()为gamma函数，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，/>
Figure BDA00029679844000000816
的维数为1×3。
与现有技术相比，本发明的优点在于：
本发明方法考虑到用户通过HMD观看TM-OI(色调映射全向图像)时专注视口图像内容，使得其失真表现比在普通2D显示器中观看高动态范围图像更加明显，因此通过提取视口图像，在视口图像中进行特征提取，来模拟用户通过HMD观看TM-OI的行为；本发明方法对TM-OI进行纹理分割，并对图像的纹理分割区域(即纹理平坦区域和纹理复杂区域)进行了位平面层分解，进一步提取感知特征来表征这部分失真的特殊表现，并对TM-OI进行亮度分割，对亮度分割区域(即高亮区域、低暗区域以及中间亮度区域)进行了基本层和细节层分解，提取不同特征来表示TM-OI的失真；本发明方法利用随机森林的池化对特征进行融合，训练得到色调映射全向图像客观质量评价模型，利用该模型进行预测得到测试图像的客观质量评价值，与人眼主观感知质量具有更好的一致性。
附图说明
图1为本发明方法的总体实现框图；
图2为10个视口选取的示意图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
考虑到图像投影格式的转换和沉浸式环境中用户行为所导致的独特失真表现，以及色调映射高动态范围全向图像处理过程中引入的混叠失真在不同区域的不同表现，本发明提出了一种基于多区域多层次的色调映射全向图像质量评价方法，其挑选视口图像，同时，针对不同区域混叠失真的表现不同，对不同区域提取不同图像层进行特征提取。
本发明提出的一种基于多区域多层次的色调映射全向图像质量评价方法，其总体实现框图如图1所示，其包括以下步骤：
步骤1：选取Num组等矩形投影格式(Equirectangular Projection，ERP)的失真色调映射全向图像构成失真图像集，每组中的所有失真色调映射全向图像的场景内容相同，并获取每组中的每幅失真色调映射全向图像的主观评分值；其中，Num为正整数，Num＞1，在本实施例中取Num＝16，每组中至少包含2幅失真色调映射全向图像。
步骤2：将失真图像集中当前待处理的失真色调映射全向图像定义为当前图像。
步骤3：将当前图像记为IERP；然后采用现有技术对IERP进行视口绘制，且绘制过程中D-2个视口以等间隔的角度均匀环绕在赤道区域，2个视口分别以球面的南极点和北极点作为视口中心点，共绘制得到IERP的D幅视口图像，将IERP的第d幅视口图像记为Vd；其中，D为正整数，D≥6，在本实施例中取D＝10，1≤d≤D，视口图像的宽度和高度对应为W和H。
图2给出了10个视口选取的示意图，从图2中可以看出选取了南极点和北极点以及赤道上等间隔的点作为视口中心点。
步骤4：将IERP的每幅视口图像划分为纹理平坦区域和纹理复杂区域两个区域，将Vd的纹理平坦区域和纹理复杂区域对应记为
Figure BDA0002967984400000091
和Vcd。
在本实施例中，所述的步骤4中，
Figure BDA0002967984400000092
和Vcd的获取过程为：
步骤4_1：对Vd进行灰度转换，得到Vd对应的灰度图；然后使用现有的Canny算子对Vd对应的灰度图进行边缘提取，得到边缘提取后的图像，记为V1。
步骤4_2：对V1进行膨胀处理，得到膨胀后的图像，记为V2；膨胀处理可使得图像尽量构成一个联通区域。
步骤4_3：用长度为8像素的线段对V2进行边缘填补，得到边缘填补后的图像，记为V3。
步骤4_4：使用现有的孔洞填充算法对V3进行填充，得到孔洞填充好的图像，记为V4。
步骤4_5：使用现有的去噪算法去除V4中面积小于1000像素的区域，得到去噪后的图像，记为V5；在此，去噪直接选用matlab自带的函数bwareaopen来实现。
步骤4_6：遍历V5中的所有像素点，标记出V5中像素值为255的所有像素点；然后将Vd中与V5中标记出的所有像素点对应位置的像素点构成的区域作为纹理复杂区域Vcd，将Vd中其余所有像素点构成的区域作为纹理平坦区域
Figure BDA0002967984400000101
步骤5：对IERP的每幅视口图像的纹理平坦区域和纹理复杂区域分别进行位平面层分解，得到各自对应的8幅位平面图像；然后通过计算IERP的每幅视口图像的纹理平坦区域的前4幅位平面图像各自的局部特征，获取IERP的每幅视口图像的纹理平坦区域的局部特征向量，将
Figure BDA0002967984400000102
的局部特征向量记为/>
Figure BDA0002967984400000103
并通过计算IERP的每幅视口图像的纹理复杂区域的后4幅位平面图像各自的局部特征，获取IERP的每幅视口图像的纹理复杂区域的局部特征向量，将Vc d的局部特征向量记为Fc d；其中，/>
Figure BDA0002967984400000104
和Fc d的维数均为1×4。
在本实施例中，所述的步骤5中，
Figure BDA0002967984400000105
和Fc d的获取过程为：
步骤5_1：对
Figure BDA0002967984400000106
进行位平面层分解，得到/>
Figure BDA0002967984400000107
的8幅位平面图像，将/>
Figure BDA0002967984400000108
的第p幅位平面图像记为/>
Figure BDA0002967984400000109
将/>
Figure BDA00029679844000001010
中坐标位置为(i,j)的像素点的像素值记为/>
Figure BDA00029679844000001011
Figure BDA00029679844000001012
同样，对Vc d进行位平面层分解，得到Vc d的8幅位平面图像，将Vc d的第p幅位平面图像记为/>
Figure BDA00029679844000001013
将/>
Figure BDA00029679844000001014
中坐标位置为(i,j)的像素点的像素值记为/>
Figure BDA00029679844000001015
Figure BDA0002967984400000111
其中，1≤p≤8，1≤i≤W，1≤j≤H，/>
Figure BDA0002967984400000112
表示/>
Figure BDA0002967984400000113
中坐标位置为(i,j)的像素点的像素值，
Figure BDA0002967984400000114
表示Vd中属于/>
Figure BDA0002967984400000115
的所有像素点的坐标位置构成的集合，/>
Figure BDA0002967984400000116
表示Vc d中坐标位置为(i,j)的像素点的像素值，/>
Figure BDA0002967984400000117
表示Vd中属于Vc d的所有像素点的坐标位置构成的集合，mod为取余函数。
步骤5_2：计算
Figure BDA0002967984400000118
的前4幅位平面图像各自的局部特征，将/>
Figure BDA0002967984400000119
的第p'幅位平面图像
Figure BDA00029679844000001110
的局部特征记为/>
Figure BDA00029679844000001111
的获取过程为：计算以/>
Figure BDA00029679844000001112
中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵，共得到/>
Figure BDA00029679844000001113
个熵，然后计算/>
Figure BDA00029679844000001114
个熵的平均值，并将该平均值作为/>
Figure BDA00029679844000001115
的局部特征/>
Figure BDA00029679844000001116
再将/>
Figure BDA00029679844000001117
的前4幅位平面图像的局部特征按序构成/>
Figure BDA00029679844000001118
的局部特征向量/>
Figure BDA00029679844000001119
Figure BDA00029679844000001120
其中，1≤p'≤4，nwid的值为3或5或7或9或11，在本实施例中取nwid的值为5，/>
Figure BDA00029679844000001121
表示/>
Figure BDA00029679844000001122
包含的像素点的总个数，/>
Figure BDA00029679844000001123
的维数为1×4，符号“[]”为向量表示符号，/>
Figure BDA00029679844000001124
对应表示/>
Figure BDA00029679844000001125
的第1幅位平面图像、第2幅位平面图像、第3幅位平面图像、第4幅位平面图像各自的局部特征，若nwid×nwid邻域内存在像素点不属于/>
Figure BDA00029679844000001126
则该像素点的像素值置为0。
步骤5_3：计算Vc d的后4幅位平面图像各自的局部特征，将Vc d的第p”幅位平面图像
Figure BDA00029679844000001127
的局部特征记为/>
Figure BDA00029679844000001128
的获取过程为：计算以/>
Figure BDA00029679844000001129
中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵，共得到/>
Figure BDA00029679844000001130
个熵，然后计算/>
Figure BDA00029679844000001131
个熵的平均值，并将该平均值作为/>
Figure BDA00029679844000001132
的局部特征/>
Figure BDA00029679844000001133
再将Vc d的后4幅位平面图像的局部特征按序构成Vc d的局部特征向量/>
Figure BDA00029679844000001134
Figure BDA00029679844000001135
其中，5≤p”≤8，/>
Figure BDA00029679844000001136
表示Vc d包含的像素点的总个数，Fc d的维数为1×4，/>
Figure BDA00029679844000001137
对应表示Vc d的第5幅位平面图像、第6幅位平面图像、第7幅位平面图像、第8幅位平面图像各自的局部特征，若nwid×nwid邻域内存在像素点不属于/>
Figure BDA00029679844000001138
则该像素点的像素值置为0。
步骤6：将IERP的每幅视口图像划分为高亮区域、低暗区域以及中间亮度区域三个区域，将Vd的高亮区域、低暗区域以及中间亮度区域对应记为
Figure BDA0002967984400000121
以及/>
Figure BDA0002967984400000122
在本实施例中，所述的步骤6中，
Figure BDA0002967984400000123
以及/>
Figure BDA0002967984400000124
的获取过程为：
步骤6_1：计算Vd的图像亮度直方图的均值作为Vd的亮度中值，记为
Figure BDA0002967984400000125
然后将Vd中亮度值大于/>
Figure BDA0002967984400000126
的所有像素点构成的区域记为/>
Figure BDA0002967984400000127
将Vd中亮度值小于/>
Figure BDA0002967984400000128
的所有像素点构成的区域记为/>
Figure BDA0002967984400000129
步骤6_2：在
Figure BDA00029679844000001210
中，根据现有的最大熵分割法计算/>
Figure BDA00029679844000001211
的亮度最大熵阈值，再将/>
Figure BDA00029679844000001212
中亮度值大于/>
Figure BDA00029679844000001213
的亮度最大熵阈值的所有像素点构成的区域作为高亮区域/>
Figure BDA00029679844000001214
同样，在/>
Figure BDA00029679844000001215
中，根据现有的最大熵分割法计算/>
Figure BDA00029679844000001216
的亮度最大熵阈值，再将/>
Figure BDA00029679844000001217
中亮度值小于/>
Figure BDA00029679844000001218
的亮度最大熵阈值的所有像素点构成的区域作为低暗区域/>
Figure BDA00029679844000001219
步骤6_3：将Vd中除去
Figure BDA00029679844000001220
和/>
Figure BDA00029679844000001221
外的所有像素点构成的区域作为中间亮度区域/>
Figure BDA00029679844000001222
步骤7：对IERP的每幅视口图像的高亮区域、低暗区域以及中间亮度区域分别进行基本层和细节层分解；然后通过IERP的每幅视口图像的高亮区域的细节层，获取IERP的每幅视口图像的高亮区域的局部特征，将
Figure BDA00029679844000001223
的局部特征记为/>
Figure BDA00029679844000001224
同样，通过IERP的每幅视口图像的低暗区域的细节层，获取IERP的每幅视口图像的低暗区域的局部特征，将/>
Figure BDA00029679844000001225
的局部特征记为/>
Figure BDA00029679844000001226
再通过计算IERP的每幅视口图像的中间亮度区域的基本层中的每个像素点的局部对比度归一化值，获取IERP的每幅视口图像的中间亮度区域的局部特征向量，将/>
Figure BDA00029679844000001227
的局部特征向量记为/>
Figure BDA00029679844000001228
其中，/>
Figure BDA00029679844000001229
的维数为1×3。
在本实施例中，所述的步骤7中，
Figure BDA00029679844000001230
的获取过程为：
步骤7_1：通过分层优化模型
Figure BDA00029679844000001231
计算
Figure BDA00029679844000001232
的基本层/>
Figure BDA00029679844000001233
然后计算/>
Figure BDA00029679844000001234
的细节层，记为/>
Figure BDA00029679844000001235
将/>
Figure BDA00029679844000001236
中与/>
Figure BDA00029679844000001237
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为/>
Figure BDA00029679844000001238
Figure BDA00029679844000001239
其中，/>
Figure BDA00029679844000001240
表示求使得括号内的表达式取得最小值时/>
Figure BDA0002967984400000131
的值，1≤i≤W，1≤j≤H，/>
Figure BDA0002967984400000132
表示Vd中属于/>
Figure BDA0002967984400000133
的所有像素点的坐标位置构成的集合，/>
Figure BDA0002967984400000134
表示/>
Figure BDA0002967984400000135
中坐标位置为(i,j)的像素点的像素值，/>
Figure BDA0002967984400000136
表示/>
Figure BDA0002967984400000137
中与/>
Figure BDA0002967984400000138
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值，符号“|| ||”为取模操作符号，λ1和λ2均为常数，在本实施例中取λ1＝0.3、λ2＝0.01λ1，s的值为0或1，s的值为0时/>
Figure BDA0002967984400000139
表示沿水平方向的偏导数运算，s的值为1时/>
Figure BDA00029679844000001310
表示沿垂直方向的偏导数运算，Th()为阈值函数，/>
Figure BDA00029679844000001311
ξ为函数参数。
同样，通过分层优化模型
Figure BDA00029679844000001312
计算
Figure BDA00029679844000001313
的基本层/>
Figure BDA00029679844000001314
然后计算/>
Figure BDA00029679844000001315
的细节层，记为/>
Figure BDA00029679844000001316
将/>
Figure BDA00029679844000001317
中与/>
Figure BDA00029679844000001318
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为/>
Figure BDA00029679844000001319
Figure BDA00029679844000001320
其中，/>
Figure BDA00029679844000001321
表示求使得括号内的表达式取得最小值时/>
Figure BDA00029679844000001322
的值，/>
Figure BDA00029679844000001323
表示Vd中属于/>
Figure BDA00029679844000001324
的所有像素点的坐标位置构成的集合，/>
Figure BDA00029679844000001325
表示/>
Figure BDA00029679844000001326
中坐标位置为(i,j)的像素点的像素值，/>
Figure BDA00029679844000001327
表示/>
Figure BDA00029679844000001328
中与/>
Figure BDA00029679844000001329
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值。
通过分层优化模型
Figure BDA00029679844000001330
计算
Figure BDA00029679844000001331
的基本层/>
Figure BDA00029679844000001332
其中，/>
Figure BDA00029679844000001333
表示求使得括号内的表达式取得最小值时
Figure BDA00029679844000001334
的值，/>
Figure BDA00029679844000001335
表示Vd中属于/>
Figure BDA00029679844000001336
的所有像素点的坐标位置构成的集合，/>
Figure BDA00029679844000001337
表示/>
Figure BDA00029679844000001338
中坐标位置为(i,j)的像素点的像素值，/>
Figure BDA00029679844000001339
表示/>
Figure BDA00029679844000001340
中与/>
Figure BDA00029679844000001341
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值。
步骤7_2：计算以
Figure BDA00029679844000001342
中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差，共得到/>
Figure BDA00029679844000001343
个标准差；然后计算/>
Figure BDA00029679844000001344
个标准差的平均值，并将该平均值作为/>
Figure BDA00029679844000001345
的局部特征/>
Figure BDA00029679844000001346
其中，n'wid的值为3或5或7或9或11，在本实施例中取n'wid的值为5，/>
Figure BDA0002967984400000141
表示/>
Figure BDA0002967984400000142
包含的像素点的总个数，若n'wid×n'wid邻域内存在像素点不属于/>
Figure BDA0002967984400000143
则该像素点的像素值置为0。
同样，计算以
Figure BDA0002967984400000144
中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差，共得到/>
Figure BDA0002967984400000145
个标准差；然后计算/>
Figure BDA0002967984400000146
个标准差的平均值，并将该平均值作为/>
Figure BDA0002967984400000147
的局部特征/>
Figure BDA0002967984400000148
其中，/>
Figure BDA0002967984400000149
表示/>
Figure BDA00029679844000001410
包含的像素点的总个数，若n'wid×n'wid邻域内存在像素点不属于/>
Figure BDA00029679844000001411
则该像素点的像素值置为0。/>
步骤7_3：计算
Figure BDA00029679844000001412
中的每个像素点的局部对比度归一化值，将/>
Figure BDA00029679844000001413
中与/>
Figure BDA00029679844000001414
中坐标位置为(i,j)的像素点对应坐标位置的像素点的局部对比度归一化值记为/>
Figure BDA00029679844000001415
Figure BDA00029679844000001416
然后计算/>
Figure BDA00029679844000001417
中的所有像素点的局部对比度归一化值的直方图分布；接着利用零均值的广义高斯分布对/>
Figure BDA00029679844000001418
中的所有像素点的局部对比度归一化值的直方图分布进行拟合，拟合公式为：/>
Figure BDA00029679844000001419
拟合得到拟合参数/>
Figure BDA00029679844000001420
再根据/>
Figure BDA00029679844000001421
得到/>
Figure BDA00029679844000001422
的局部特征向量/>
Figure BDA00029679844000001423
Figure BDA00029679844000001424
其中，/>
Figure BDA00029679844000001425
表示以/>
Figure BDA00029679844000001426
中与/>
Figure BDA00029679844000001427
中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的均值，
Figure BDA00029679844000001428
表示以/>
Figure BDA00029679844000001429
中与/>
Figure BDA00029679844000001430
中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的标准差，若8邻域范围内存在像素点不属于/>
Figure BDA00029679844000001431
则该像素点的像素值置为0，g()为零均值的广义高斯分布函数，
Figure BDA00029679844000001432
为g()的输入，/>
Figure BDA00029679844000001433
表示/>
Figure BDA00029679844000001434
中的所有像素点的局部对比度归一化值的直方图分布，/>
Figure BDA00029679844000001435
表示/>
Figure BDA00029679844000001436
中的所有像素点的局部对比度归一化值的直方图分布的均值，
Figure BDA00029679844000001437
为/>
Figure BDA00029679844000001438
的形状参数，/>
Figure BDA0002967984400000151
为/>
Figure BDA0002967984400000152
的尺度参数，Γ()为gamma函数，exp()表示以自然基数e为底的指数函数，e＝2.17…，符号“| |”为取绝对值符号，/>
Figure BDA0002967984400000153
的维数为1×3。
步骤8：将IERP的每幅视口图像的纹理平坦区域和纹理复杂区域各自的局部特征向量、高亮区域和低暗区域各自的局部特征、中间亮度区域的局部特征向量合并形成该幅视口图像的特征向量，对于Vd，将
Figure BDA0002967984400000154
合并形成一个行向量，作为Vd的特征向量，记为Fd，/>
Figure BDA0002967984400000155
然后将IERP的所有视口图像的特征向量合并形成IERP的特征向量，记为FERP，FERP＝[F1,F2,…,Fd,…,FD]；其中，F的维数为1×13，FERP的维数为1×13D，F1表示IERP的第1幅视口图像V1的特征向量，F2表示IERP的第2幅视口图像V2的特征向量，FD表示IERP的第D幅视口图像VD的特征向量。
步骤9：将失真图像集中下一幅待处理的失真色调映射全向图像作为当前图像，然后返回步骤步骤3继续执行，直至失真图像集中的所有失真色调映射全向图像处理完毕，得到失真图像集中的每幅失真色调映射全向图像的特征向量。
步骤10：从失真图像集中随机选取Num-1组失真色调映射全向图像，将选取的这些失真色调映射全向图像的特征向量和主观评分值构成训练数据；然后将训练数据中的特征向量作为样本输入，将训练数据中的主观评分值作为标签输入，通过随机森林的池化，训练得到失真色调映射全向图像客观质量评价模型。
步骤11：将剩余的1组中的每幅失真色调映射全向图像作为测试图像，将每幅测试图像的特征向量输入到失真色调映射全向图像客观质量评价模型中，预测得到该幅测试图像的客观质量评价值。
为了进一步说明本发明方法的可行性和有效性，进行下列实验。
选取色调映射全向图像数据库，该数据库包含16组不同场景内容的失真色调映射高动态范围全向图像，包含4种不同等级的JPEG-XT编码失真(即将参数(q,Q)分别设置为(5,10)、(60,25)、(14,40)、(95,95))、5种不同的色调映射失真，共320幅失真色调映射全向图像；除此之外，提供了每幅失真色调映射全向图像的主观评分值。在此，随机选取该数据库中的15组不同场景内容的失真色调映射全向图像的特征向量及主观评分值构成训练数据，将该数据库中剩余的1组的失真色调映射全向图像作为测试图像。
上述5种不同的色调映射失真分别来源于R.Fattal,R.Lischinski,M.Werman,“Gradient domain high dynamic range compression,”ACM Transactions onGraphics,vol.21,no.3,pp.249-256,2002.(基于梯度域的高动态范围压缩算法)、I.R.Khan,S.Rahardja,M.M.Khan,“A tone-mapping technique based on histogramusing a sensitivity model of the human visual system,”IEEE Transactions onIndustrial Electronics,vol.65,no.4,pp.3469-3479,2017.(一种基于直方图且使用人类视觉系统灵敏度模型的色调映射技术)、Z.Liang,J.Xu,D.Zhang,Z.Cao and L.Zhang,"AHybrid l1-l0 Layer Decomposition Model for Tone Mapping,"2018IEEE/CVFConference on Computer Vision and Pattern Recognition,Salt Lake City,UT,2018,pp.4758-4766.(一种用于色调映射的l1-l0层分解模型)、R.Mantiuk,K.Myszkowski,H.P.Seidel,“A perceptual framework for contrast processing of high dynamicrange images,”ACM Transactions on Applied Perception,2006,3(3):286-308.(高动态范围图像对比度处理的感知框架)、E.Reinhard,M.Stark,P.Shirley,“Photographictone reproduction for digital images,"ACM Transactions on Graphics,vol.21,no.3,pp.267-276,2002.(数字图像的摄影色调再现技术)。
按本发明方法的过程得到每幅测试图像的客观质量评价值，分析利用本发明方法获取的每幅测试图像的客观质量评价值与主观评分值之间的相关性。这里，选取3个评价指标用于衡量本发明方法的好坏，分别是Pearson线性相关系数(Pearson linearcorrelation coefficient，PLCC)、Spearman顺序相关系数(Spearman rank-ordercorrelation coefficient，SROCC)和均方根误差(Root Mean Squared Error，RMSE)这三个值分别表示所预测的客观质量评价值和实际分数的相关性。PLCC和SROCC其值在(0,1)之间，且越接近于1越好，RMSE越小越好。
表1给出了利用本发明方法预测得到的测试图像的客观质量评价值的性能指标。
表1测试图像的客观质量评价值与主观评分值之间的相关性的性能指标
指标类型 PLCC SROCC RMSE
本发明方法 0.825 0.812 1.231
从表1中可以看出，本发明方法所提取的失真色调映射高动态范围全向图像的特征向量考虑了用户通过HMD观看图像的感知特性以及JPEG-XT编码压缩和色调映射算法导致的混叠失真现象，使得最终结果取得较好的表现，其中PLCC相关系数达到了0.825，SROCC相关系数达到了0.812，而RMSE达到了1.231，该结果表明本发明方法的客观评价结果与人眼主观感知的结果较为一致，充分说明了本发明方法的有效性。

Claims (5)

1.一种基于多区域多层次的色调映射全向图像质量评价方法，其特征在于包括以下步骤：
步骤1：选取Num组等矩形投影格式的失真色调映射全向图像构成失真图像集，每组中的所有失真色调映射全向图像的场景内容相同，并获取每组中的每幅失真色调映射全向图像的主观评分值；其中，Num为正整数，Num＞1，每组中至少包含2幅失真色调映射全向图像；
步骤2：将失真图像集中当前待处理的失真色调映射全向图像定义为当前图像；
步骤3：将当前图像记为IERP；然后对IERP进行视口绘制，且绘制过程中D-2个视口以等间隔的角度均匀环绕在赤道区域，2个视口分别以球面的南极点和北极点作为视口中心点，共绘制得到IERP的D幅视口图像，将IERP的第d幅视口图像记为Vd；其中，D为正整数，D≥6，1≤d≤D，视口图像的宽度和高度对应为W和H；
步骤4：将IERP的每幅视口图像划分为纹理平坦区域和纹理复杂区域两个区域，将Vd的纹理平坦区域和纹理复杂区域对应记为
Figure FDA0002967984390000011
和/>
Figure FDA0002967984390000017
步骤5：对IERP的每幅视口图像的纹理平坦区域和纹理复杂区域分别进行位平面层分解，得到各自对应的8幅位平面图像；然后通过计算IERP的每幅视口图像的纹理平坦区域的前4幅位平面图像各自的局部特征，获取IERP的每幅视口图像的纹理平坦区域的局部特征向量，将
Figure FDA0002967984390000012
的局部特征向量记为/>
Figure FDA0002967984390000013
并通过计算IERP的每幅视口图像的纹理复杂区域的后4幅位平面图像各自的局部特征，获取IERP的每幅视口图像的纹理复杂区域的局部特征向量，将
Figure FDA0002967984390000018
的局部特征向量记为/>
Figure FDA0002967984390000019
其中，/>
Figure FDA0002967984390000014
和/>
Figure FDA00029679843900000110
的维数均为1×4；
步骤6：将IERP的每幅视口图像划分为高亮区域、低暗区域以及中间亮度区域三个区域，将Vd的高亮区域、低暗区域以及中间亮度区域对应记为
Figure FDA0002967984390000015
以及/>
Figure FDA0002967984390000016
步骤7：对IERP的每幅视口图像的高亮区域、低暗区域以及中间亮度区域分别进行基本层和细节层分解；然后通过IERP的每幅视口图像的高亮区域的细节层，获取IERP的每幅视口图像的高亮区域的局部特征，将
Figure FDA0002967984390000021
的局部特征记为/>
Figure FDA0002967984390000022
同样，通过IERP的每幅视口图像的低暗区域的细节层，获取IERP的每幅视口图像的低暗区域的局部特征，将/>
Figure FDA0002967984390000023
的局部特征记为
Figure FDA0002967984390000024
再通过计算IERP的每幅视口图像的中间亮度区域的基本层中的每个像素点的局部对比度归一化值，获取IERP的每幅视口图像的中间亮度区域的局部特征向量，将/>
Figure FDA0002967984390000025
的局部特征向量记为/>
Figure FDA0002967984390000026
其中，/>
Figure FDA0002967984390000027
的维数为1×3；
步骤8：将IERP的每幅视口图像的纹理平坦区域和纹理复杂区域各自的局部特征向量、高亮区域和低暗区域各自的局部特征、中间亮度区域的局部特征向量合并形成该幅视口图像的特征向量，对于Vd，将
Figure FDA00029679843900000211
合并形成一个行向量，作为Vd的特征向量，记为Fd，/>
Figure FDA0002967984390000029
然后将IERP的所有视口图像的特征向量合并形成IERP的特征向量，记为FERP，FERP＝[F1,F2,…,Fd,…,FD]；其中，F的维数为1×13，FERP的维数为1×13D，F1表示IERP的第1幅视口图像V1的特征向量，F2表示IERP的第2幅视口图像V2的特征向量，FD表示IERP的第D幅视口图像VD的特征向量；/>
步骤9：将失真图像集中下一幅待处理的失真色调映射全向图像作为当前图像，然后返回步骤步骤3继续执行，直至失真图像集中的所有失真色调映射全向图像处理完毕，得到失真图像集中的每幅失真色调映射全向图像的特征向量；
步骤10：从失真图像集中随机选取Num-1组失真色调映射全向图像，将选取的这些失真色调映射全向图像的特征向量和主观评分值构成训练数据；然后将训练数据中的特征向量作为样本输入，将训练数据中的主观评分值作为标签输入，通过随机森林的池化，训练得到失真色调映射全向图像客观质量评价模型；
步骤11：将剩余的1组中的每幅失真色调映射全向图像作为测试图像，将每幅测试图像的特征向量输入到失真色调映射全向图像客观质量评价模型中，预测得到该幅测试图像的客观质量评价值。
2.根据权利要求1所述的基于多区域多层次的色调映射全向图像质量评价方法，其特征在于所述的步骤4中，
Figure FDA00029679843900000210
和/>
Figure FDA00029679843900000212
的获取过程为：
步骤4_1：对Vd进行灰度转换，得到Vd对应的灰度图；然后使用Canny算子对Vd对应的灰度图进行边缘提取，得到边缘提取后的图像，记为V1；
步骤4_2：对V1进行膨胀处理，得到膨胀后的图像，记为V2；
步骤4_3：用长度为8像素的线段对V2进行边缘填补，得到边缘填补后的图像，记为V3；
步骤4_4：使用孔洞填充算法对V3进行填充，得到孔洞填充好的图像，记为V4；
步骤4_5：使用去噪算法去除V4中面积小于1000像素的区域，得到去噪后的图像，记为V5；
步骤4_6：遍历V5中的所有像素点，标记出V5中像素值为255的所有像素点；然后将Vd中与V5中标记出的所有像素点对应位置的像素点构成的区域作为纹理复杂区域
Figure FDA00029679843900000322
将Vd中其余所有像素点构成的区域作为纹理平坦区域/>
Figure FDA0002967984390000031
3.根据权利要求1或2所述的基于多区域多层次的色调映射全向图像质量评价方法，其特征在于所述的步骤5中，
Figure FDA0002967984390000032
和/>
Figure FDA00029679843900000323
的获取过程为：
步骤5_1：对
Figure FDA0002967984390000033
进行位平面层分解，得到/>
Figure FDA0002967984390000034
的8幅位平面图像，将/>
Figure FDA0002967984390000035
的第p幅位平面图像记为/>
Figure FDA0002967984390000036
将/>
Figure FDA0002967984390000037
中坐标位置为(i,j)的像素点的像素值记为/>
Figure FDA0002967984390000038
Figure FDA0002967984390000039
同样，对/>
Figure FDA00029679843900000324
进行位平面层分解，得到
Figure FDA00029679843900000325
的8幅位平面图像，将/>
Figure FDA00029679843900000326
的第p幅位平面图像记为/>
Figure FDA00029679843900000310
将/>
Figure FDA00029679843900000311
中坐标位置为(i,j)的像素点的像素值记为/>
Figure FDA00029679843900000312
Figure FDA00029679843900000313
其中，1≤p≤8，1≤i≤W，1≤j≤H，/>
Figure FDA00029679843900000314
表示/>
Figure FDA00029679843900000315
中坐标位置为(i,j)的像素点的像素值，
Figure FDA00029679843900000316
表示Vd中属于/>
Figure FDA00029679843900000317
的所有像素点的坐标位置构成的集合，/>
Figure FDA00029679843900000318
表示/>
Figure FDA00029679843900000327
中坐标位置为(i,j)的像素点的像素值，/>
Figure FDA00029679843900000319
表示Vd中属于/>
Figure FDA00029679843900000328
的所有像素点的坐标位置构成的集合，mod为取余函数；
步骤5_2：计算
Figure FDA00029679843900000320
的前4幅位平面图像各自的局部特征，将/>
Figure FDA00029679843900000321
的第p'幅位平面图像/>
Figure FDA0002967984390000041
的局部特征记为/>
Figure FDA0002967984390000042
的获取过程为：计算以/>
Figure FDA0002967984390000043
中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵，共得到/>
Figure FDA0002967984390000044
个熵，然后计算/>
Figure FDA0002967984390000045
个熵的平均值，并将该平均值作为/>
Figure FDA0002967984390000046
的局部特征/>
Figure FDA0002967984390000047
再将/>
Figure FDA0002967984390000048
的前4幅位平面图像的局部特征按序构成/>
Figure FDA0002967984390000049
的局部特征向量/>
Figure FDA00029679843900000410
Figure FDA00029679843900000411
其中，1≤p'≤4，nwid的值为3或5或7或9或11，
Figure FDA00029679843900000412
表示/>
Figure FDA00029679843900000413
包含的像素点的总个数，/>
Figure FDA00029679843900000414
的维数为1×4，符号“[]”为向量表示符号，
Figure FDA00029679843900000415
对应表示/>
Figure FDA00029679843900000416
的第1幅位平面图像、第2幅位平面图像、第3幅位平面图像、第4幅位平面图像各自的局部特征，若nwid×nwid邻域内存在像素点不属于/>
Figure FDA00029679843900000417
则该像素点的像素值置为0；
步骤5_3：计算
Figure FDA00029679843900000446
的后4幅位平面图像各自的局部特征，将/>
Figure FDA00029679843900000447
的第p”幅位平面图像/>
Figure FDA00029679843900000418
的局部特征记为/>
Figure FDA00029679843900000419
的获取过程为：计算以/>
Figure FDA00029679843900000420
中的每个像素点为中心像素点的nwid×nwid邻域内的所有像素点的像素值的熵，共得到/>
Figure FDA00029679843900000421
个熵，然后计算/>
Figure FDA00029679843900000422
个熵的平均值，并将该平均值作为/>
Figure FDA00029679843900000423
的局部特征/>
Figure FDA00029679843900000424
再将/>
Figure FDA00029679843900000425
的后4幅位平面图像的局部特征按序构成/>
Figure FDA00029679843900000448
的局部特征向量/>
Figure FDA00029679843900000449
Figure FDA00029679843900000426
其中，5≤p”≤8，/>
Figure FDA00029679843900000427
表示/>
Figure FDA00029679843900000450
包含的像素点的总个数，/>
Figure FDA00029679843900000451
的维数为1×4，/>
Figure FDA00029679843900000428
对应表示/>
Figure FDA00029679843900000452
的第5幅位平面图像、第6幅位平面图像、第7幅位平面图像、第8幅位平面图像各自的局部特征，若nwid×nwid邻域内存在像素点不属于/>
Figure FDA00029679843900000429
则该像素点的像素值置为0。
4.根据权利要求3所述的基于多区域多层次的色调映射全向图像质量评价方法，其特征在于所述的步骤6中，
Figure FDA00029679843900000430
以及/>
Figure FDA00029679843900000431
的获取过程为：
步骤6_1：计算Vd的图像亮度直方图的均值作为Vd的亮度中值，记为
Figure FDA00029679843900000432
然后将Vd中亮度值大于/>
Figure FDA00029679843900000433
的所有像素点构成的区域记为/>
Figure FDA00029679843900000434
将Vd中亮度值小于/>
Figure FDA00029679843900000435
的所有像素点构成的区域记为/>
Figure FDA00029679843900000436
步骤6_2：在
Figure FDA00029679843900000437
中，根据最大熵分割法计算/>
Figure FDA00029679843900000438
的亮度最大熵阈值，再将/>
Figure FDA00029679843900000439
中亮度值大于
Figure FDA00029679843900000440
的亮度最大熵阈值的所有像素点构成的区域作为高亮区域/>
Figure FDA00029679843900000441
同样，在/>
Figure FDA00029679843900000442
中，根据最大熵分割法计算/>
Figure FDA00029679843900000443
的亮度最大熵阈值，再将/>
Figure FDA00029679843900000444
中亮度值小于/>
Figure FDA00029679843900000445
的亮度最大熵阈值的所有像素点构成的区域作为低暗区域/>
Figure FDA0002967984390000051
步骤6_3：将Vd中除去
Figure FDA0002967984390000052
和/>
Figure FDA0002967984390000053
外的所有像素点构成的区域作为中间亮度区域/>
Figure FDA0002967984390000054
/>
5.根据权利要求4所述的基于多区域多层次的色调映射全向图像质量评价方法，其特征在于所述的步骤7中，
Figure FDA0002967984390000055
的获取过程为：
步骤7_1：通过分层优化模型
Figure FDA0002967984390000056
计算/>
Figure FDA0002967984390000057
的基本层/>
Figure FDA0002967984390000058
然后计算/>
Figure FDA0002967984390000059
的细节层，记为/>
Figure FDA00029679843900000510
将/>
Figure FDA00029679843900000511
中与/>
Figure FDA00029679843900000512
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为/>
Figure FDA00029679843900000513
Figure FDA00029679843900000514
其中，/>
Figure FDA00029679843900000515
表示求使得括号内的表达式取得最小值时/>
Figure FDA00029679843900000516
的值，1≤i≤W，1≤j≤H，
Figure FDA00029679843900000517
表示Vd中属于/>
Figure FDA00029679843900000518
的所有像素点的坐标位置构成的集合，/>
Figure FDA00029679843900000519
表示/>
Figure FDA00029679843900000520
中坐标位置为(i,j)的像素点的像素值，/>
Figure FDA00029679843900000521
表示/>
Figure FDA00029679843900000522
中与/>
Figure FDA00029679843900000523
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值，符号“|| ||”为取模操作符号，λ1和λ2均为常数，s的值为0或1，s的值为0时/>
Figure FDA00029679843900000524
表示沿水平方向的偏导数运算，s的值为1时/>
Figure FDA00029679843900000525
表示沿垂直方向的偏导数运算，Th()为阈值函数，/>
Figure FDA00029679843900000526
ξ为函数参数；
同样，通过分层优化模型
Figure FDA00029679843900000527
计算/>
Figure FDA00029679843900000528
的基本层/>
Figure FDA00029679843900000529
然后计算/>
Figure FDA00029679843900000530
的细节层，记为/>
Figure FDA00029679843900000531
将/>
Figure FDA00029679843900000532
中与/>
Figure FDA00029679843900000533
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值记为/>
Figure FDA00029679843900000534
Figure FDA00029679843900000535
其中，/>
Figure FDA00029679843900000536
表示求使得括号内的表达式取得最小值时/>
Figure FDA00029679843900000537
的值，/>
Figure FDA00029679843900000538
表示Vd中属于/>
Figure FDA00029679843900000539
的所有像素点的坐标位置构成的集合，/>
Figure FDA00029679843900000540
表示/>
Figure FDA00029679843900000541
中坐标位置为(i,j)的像素点的像素值，/>
Figure FDA00029679843900000542
表示/>
Figure FDA00029679843900000543
中与/>
Figure FDA00029679843900000544
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值；
通过分层优化模型
Figure FDA0002967984390000061
计算/>
Figure FDA0002967984390000062
的基本层/>
Figure FDA0002967984390000063
其中，/>
Figure FDA0002967984390000064
表示求使得括号内的表达式取得最小值时/>
Figure FDA0002967984390000065
的值，
Figure FDA0002967984390000066
表示Vd中属于/>
Figure FDA0002967984390000067
的所有像素点的坐标位置构成的集合，/>
Figure FDA0002967984390000068
表示/>
Figure FDA0002967984390000069
中坐标位置为(i,j)的像素点的像素值，/>
Figure FDA00029679843900000610
表示/>
Figure FDA00029679843900000611
中与/>
Figure FDA00029679843900000612
中坐标位置为(i,j)的像素点对应坐标位置的像素点的像素值；
步骤7_2：计算以
Figure FDA00029679843900000613
中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差，共得到/>
Figure FDA00029679843900000614
个标准差；然后计算/>
Figure FDA00029679843900000615
个标准差的平均值，并将该平均值作为/>
Figure FDA00029679843900000616
的局部特征/>
Figure FDA00029679843900000617
其中，n'wid的值为3或5或7或9或11，/>
Figure FDA00029679843900000618
表示/>
Figure FDA00029679843900000619
包含的像素点的总个数，若n'wid×n'wid邻域内存在像素点不属于/>
Figure FDA00029679843900000620
则该像素点的像素值置为0；/>
同样，计算以
Figure FDA00029679843900000621
中的每个像素点为中心像素点的n'wid×n'wid邻域内的所有像素点的像素值的标准差，共得到/>
Figure FDA00029679843900000622
个标准差；然后计算/>
Figure FDA00029679843900000623
个标准差的平均值，并将该平均值作为/>
Figure FDA00029679843900000624
的局部特征/>
Figure FDA00029679843900000625
其中，/>
Figure FDA00029679843900000626
表示/>
Figure FDA00029679843900000627
包含的像素点的总个数，若n'wid×n'wid邻域内存在像素点不属于/>
Figure FDA00029679843900000628
则该像素点的像素值置为0；
步骤7_3：计算
Figure FDA00029679843900000629
中的每个像素点的局部对比度归一化值，将/>
Figure FDA00029679843900000630
中与/>
Figure FDA00029679843900000631
中坐标位置为(i,j)的像素点对应坐标位置的像素点的局部对比度归一化值记为/>
Figure FDA00029679843900000632
Figure FDA00029679843900000633
然后计算/>
Figure FDA00029679843900000634
中的所有像素点的局部对比度归一化值的直方图分布；接着利用零均值的广义高斯分布对/>
Figure FDA00029679843900000635
中的所有像素点的局部对比度归一化值的直方图分布进行拟合，拟合公式为：/>
Figure FDA00029679843900000636
拟合得到拟合参数/>
Figure FDA00029679843900000637
再根据/>
Figure FDA00029679843900000638
得到/>
Figure FDA00029679843900000639
的局部特征向量/>
Figure FDA00029679843900000640
Figure FDA00029679843900000641
其中，/>
Figure FDA00029679843900000642
表示以/>
Figure FDA0002967984390000071
中与/>
Figure FDA0002967984390000072
中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的均值，
Figure FDA0002967984390000073
表示以/>
Figure FDA0002967984390000074
中与/>
Figure FDA0002967984390000075
中坐标位置为(i,j)的像素点对应坐标位置的像素点为中心像素点的8邻域范围内的所有像素点的像素值的标准差，若8邻域范围内存在像素点不属于/>
Figure FDA0002967984390000076
则该像素点的像素值置为0，g()为零均值的广义高斯分布函数，
Figure FDA0002967984390000077
为g()的输入，/>
Figure FDA0002967984390000078
表示/>
Figure FDA0002967984390000079
中的所有像素点的局部对比度归一化值的直方图分布，/>
Figure FDA00029679843900000710
表示/>
Figure FDA00029679843900000711
中的所有像素点的局部对比度归一化值的直方图分布的均值，
Figure FDA00029679843900000712
为/>
Figure FDA00029679843900000713
的形状参数，/>
Figure FDA00029679843900000714
为/>
Figure FDA00029679843900000715
的尺度参数，Γ()为gamma函数，exp()表示以自然基数e为底的指数函数，符号“||”为取绝对值符号，/>
Figure FDA00029679843900000716
的维数为1×3。/>
CN202110255258.6A 2021-03-09 2021-03-09 基于多区域多层次的色调映射全向图像质量评价方法 Active CN112950596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110255258.6A CN112950596B (zh) 2021-03-09 2021-03-09 基于多区域多层次的色调映射全向图像质量评价方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110255258.6A CN112950596B (zh) 2021-03-09 2021-03-09 基于多区域多层次的色调映射全向图像质量评价方法

Publications (2)

Publication Number Publication Date
CN112950596A CN112950596A (zh) 2021-06-11
CN112950596B true CN112950596B (zh) 2023-06-02

Family

ID=76229020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110255258.6A Active CN112950596B (zh) 2021-03-09 2021-03-09 基于多区域多层次的色调映射全向图像质量评价方法

Country Status (1)

Country Link
CN (1) CN112950596B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241534B (zh) * 2021-12-01 2022-10-18 佛山市红狐物联网科技有限公司 一种全掌脉络数据的快速匹配方法及系统
CN114429426B (zh) * 2021-12-20 2022-08-16 哈尔滨理工大学 一种基于Retinex模型的低照度图像质量改善方法
CN114359083B (zh) * 2021-12-24 2022-11-29 北京航空航天大学 一种面向干扰环境的高动态热红外图像自适应预处理方法
CN116363017B (zh) * 2023-05-26 2023-10-24 荣耀终端有限公司 图像处理方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717892A (zh) * 2019-09-18 2020-01-21 宁波大学 一种色调映射图像质量评价方法
CN111292336A (zh) * 2020-01-21 2020-06-16 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127760B1 (ko) * 2018-11-30 2020-06-29 고려대학교 산학협력단 단일 영상을 기반으로 한 인버스 톤 매핑의 최적화 장치 및 방법, 상기 방법을 수행하기 위한 기록 매체

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110717892A (zh) * 2019-09-18 2020-01-21 宁波大学 一种色调映射图像质量评价方法
CN111292336A (zh) * 2020-01-21 2020-06-16 宁波大学 基于分段式球面投影格式的全向图像无参考质量评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于娇文 ; 郁梅 ; 邵华 ; 蒋刚毅 ; .基于流形学习的高动态范围图像质量评价.激光杂志.2017,(04),全文. *
马华林 ; 张立燕 ; .基于人眼感知的无参考色调映射图像质量评价.计算机应用与软件.2020,(07),全文. *

Also Published As

Publication number Publication date
CN112950596A (zh) 2021-06-11

Similar Documents

Publication Publication Date Title
CN112950596B (zh) 基于多区域多层次的色调映射全向图像质量评价方法
Sun et al. MC360IQA: A multi-channel CNN for blind 360-degree image quality assessment
Zhang et al. Underwater image enhancement by attenuated color channel correction and detail preserved contrast enhancement
Gu et al. Hybrid no-reference quality metric for singly and multiply distorted images
Qureshi et al. Towards the design of a consistent image contrast enhancement evaluation measure
CN107483920B (zh) 一种基于多层级质量因子的全景视频评估方法及系统
Li et al. No-reference quality assessment of deblocked images
Wang et al. Reduced-reference image quality assessment using a wavelet-domain natural image statistic model
CN109978854B (zh) 一种基于边缘与结构特征的屏幕内容图像质量评估方法
Zheng et al. No-reference quality assessment for screen content images based on hybrid region features fusion
Yue et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry
CN111105376B (zh) 基于双分支神经网络的单曝光高动态范围图像生成方法
CN111667410B (zh) 图像分辨率提升方法、装置及电子设备
Chen et al. Perceptual quality assessment of cartoon images
Krasula et al. Preference of experience in image tone-mapping: Dataset and framework for objective measures comparison
Chen et al. Blind quality index for tone-mapped images based on luminance partition
CN110706196B (zh) 基于聚类感知的无参考色调映射图像质量评价算法
CN110910347B (zh) 一种基于图像分割的色调映射图像无参考质量评价方法
CN113038123A (zh) 无参考全景视频质量评价方法、系统、终端及介质
CN104346809A (zh) 采用高动态范围的图像质量数据集的图像质量评价方法
Cao et al. Quality measurement for high dynamic range omnidirectional image systems
Wang et al. Learning a self‐supervised tone mapping operator via feature contrast masking loss
CN117078574A (zh) 一种图像去雨方法及装置
CN116245861A (zh) 基于交叉多尺度的无参考图像质量评价方法
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant