CN111105387B - 基于统计特征视角合成质量预测方法、信息数据处理终端 - Google Patents
基于统计特征视角合成质量预测方法、信息数据处理终端 Download PDFInfo
- Publication number
- CN111105387B CN111105387B CN201911085501.3A CN201911085501A CN111105387B CN 111105387 B CN111105387 B CN 111105387B CN 201911085501 A CN201911085501 A CN 201911085501A CN 111105387 B CN111105387 B CN 111105387B
- Authority
- CN
- China
- Prior art keywords
- image
- quality
- texture
- coefficient
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 67
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 67
- 230000000007 visual effect Effects 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 title claims abstract description 9
- 230000003993 interaction Effects 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 4
- 238000009826 distribution Methods 0.000 claims description 40
- 238000000354 decomposition reaction Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 18
- 238000012706 support-vector machine Methods 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 238000005315 distribution function Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 238000009792 diffusion process Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims description 2
- 239000003086 colorant Substances 0.000 claims description 2
- 230000007246 mechanism Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 14
- 238000013441 quality evaluation Methods 0.000 abstract description 10
- 238000003646 Spearman's rank correlation coefficient Methods 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明属于图像质量评价技术领域，公开了一种基于统计特征视角合成质量预测方法、信息数据处理终端，首先，基于高质量的深度图像的细节信息应该被纹理图像的细节信息所包含的事实，为了表征纹理图像和深度图像的相互作用对视角合成质量的影响，提出了基于物体边缘区域的小波域高频系数的融合方法；然后，用纹理图像的低频系数和融合后的高频系数进行图像重构得到融合后的图像；最后，分别从融合图像的自然场景区域和相互作用区域分别提取统计特征来预测视角合成图像的质量。本发明不需要实际的视角合成的过程，利用合成前的纹理图像和深度图像即可实现对视角合成图像的质量预测。
Description
技术领域
本发明属于图像质量评价技术领域，尤其涉及一种基于统计特征视角合成质量预测方法、信息数据处理终端。
背景技术
目前，最接近的现有技术：随着视觉媒体的发展，多视角和自由视角合成技术已经成为可视媒体的重要前沿性研究领域，具有非常广阔的应用前景。通常，多视角和自由视角视频的实现需要大量的视角图像，然而由于传输带宽和拍摄成本的限制，往往利用虚拟视角合成技术借助较少的已知视角来合成新的视角图像。其中，基于深度图的绘制方法(Depth Image Based Rendering,DIBR) 是目前视角合成的最常用的方法。该方法是通过利用已有视角的纹理图像和对应的深度图像来合成新的视角图像。然而，由于获取到的纹理图像或者深度图像的质量有限，利用现有的DIBR技术合成的新视角图像通常会出现两个方面的失真。一方面，纹理图像的失真直接作用于视角合成图像。另一方面，深度图像在指导视角合成时，与纹理图像相互作用而产生的失真。然而，现有的图像质量评价方法往往仅针对纹理图像进行设计，因此不能很好地描述深度图像在视角合成过程中对合成视角质量的影响。此外，视角合成的过程往往代价较高，因此如果能在合成之前就预测出合成后图像的质量，对指导视角合成来说具有非常重要的意义。
现有的针对视角合成图像的质量评价方法主要分为主观评价方法和客观评价方法。主观评价方法在评价结果上最为准确，但是费时费力，很难在实际中采用。因此，设计一种准确的客观质量评价方法具有重要的意义。目前，针对视角合成图像的质量评价算法有很多：Bosc等人在SSIM算法的基础上提出了一种改进型质量评价方法；在质量评价时对原始视角的纹理图像和合成图像中对应的边缘区域利用SSIM评价，最后将SSIM均值最为最终的质量分数；Conze 等人首先利用SSIM算法计算合成后的图像与合成前的纹理图像之间的失真图，然后分别计算纹理复杂度、梯度方向和对比度的加权图，并利用加权图对失真图进行加权，最终得到质量分数。Battisti等人首先对参考图像和合成图像进行分块处理，运用运动估计算法进行匹配。然后，对匹配后的图像块进行小波变换并计算系数直方图。最后，利用Kolmogorov-Smirnov距离计算得到质量分数。 Gu等人首先计算出视角合成图像的自回归图像，然后根据合成图像和自回归图像的差异来提取几何失真区域。再根据阈值将两幅图像的差值图像变换为二值图像。最后由二值图像和预测出来的自然图像之间的相似性数值作为合成图像的质量分数。这些方法虽然在评价视角合成图像质量取得了不错的效果，但是存在如下不足：(1)现有方法主要是针对视角合成后的图像设计的，而视角合成过程比较复杂，需要消耗较高的时间代价。(2)现有的方法忽略了深度图像在指导视角合成过程中的作用，不能全面的描述纹理图像和深度图像的相互作用对视角合成质量的影响。
综上所述，现有技术存在的问题是：
(1)现有方法主要是针对视角合成后的图像设计的，而视角合成过程比较复杂，需要消耗较高的时间代价。
(2)现有的方法忽略了深度图像在指导视角合成过程中的作用，不能全面的描述纹理图像和深度图像的相互作用对视角合成质量的影响。
解决上述技术问题的难度：上述技术问题的主要难点在于探究在视角合成过程中，纹理图像和深度图像之间的关系，以及如何量化由于纹理图像和深度图像的失真对合成后图像质量的影响，从而在不进行实际视角合成的前提下，预测出视角合成图像的质量。
解决上述技术问题的意义：上述技术方法只能用来评价视角合成后图像的质量，这不利于现实生活中的应用，因为视角合成的过程需要消耗很高的时间成本。如果能够在视角合成之前，利用纹理图像和深度图像之间的关系准确预测出合成后图像的质量，对于整个视角合成过程具有很重要的现实意义。
发明内容
针对现有技术存在的问题，本发明提供了一种基于统计特征视角合成质量预测方法、信息数据处理终端。
本发明是这样实现的，一种基于统计特征视角合成质量预测方法，所述基于统计特征视角合成质量预测方法首先，基于高质量的深度图像的细节信息应该被纹理图像的细节信息所包含的事实，为了表征纹理图像和深度图像的相互作用对视角合成质量的影响，提出基于物体边缘区域的小波域高频系数的融合方法；然后，用纹理图像的低频系数和融合后的高频系数进行图像重构得到融合后的图像；最后，分别从融合图像的自然场景区域和相互作用区域分别提取统计特征来预测视角合成图像的质量。
进一步，所述基于统计特征视角合成质量预测方法包括以下步骤：
第一步，搜集针对视角合成的包含深度图像、纹理图像和合成后图像质量分数的数据集；
第二步，把纹理图像和深度图像进行小波分解，并对纹理图像进行物体边缘区域检测；
第三步，在物体边缘区域信息的指导下，利用纹理图像和深度图像小波分解后的高频子带进行系数融合并重构出融合图像；
第四步，从自然场景区域和相互作用区域对重构图像分别统计去均值对比度归一化系数和切比雪夫矩系数分布；
第五步，用分布函数对第四步中的两个区域的统计分布进行拟合，用拟合的参数作为特征值送入支持向量机回归模型进行训练，建立合成后图像质量的预测装置；
第六步，对于待预测的纹理图像和深度图像，利用已建立的视角合成质量预测模型，实现视角合成后质量的预测。
进一步，所述第一步中搜集针对视角合成的包含深度图像、纹理图像和合成图像质量分数的数据集方法包括：
(1)获取用于视角合成图像质量评价的数据集，获取纹理图像和对应的深度图像以及相应的合成后图像的质量分数；
(2)将合成前的纹理图像和深度图像作为研究对象，把相应的合成后图像的质量分数作为研究对象的标签。
进一步，所述第二步中把纹理图像和深度图像进行小波分解，并对纹理图像进行物体边缘区域检测方法包括：
(1)将纹理图像和深度图像分别进行两层小波分解，分别得到一个低频子带和六个高频子带；
(2)对纹理图像进行物体边缘区域检测，得到图像中所有物体边缘对应的区域，并将物体边缘区域和非边缘区域用不同的颜色标记。
进一步，所述第三步中在物体边缘区域信息的指导下，利用纹理图像和深度图像小波分解后的高频子带进行系数融合并重构出融合图像方法包括：
(1)纹理图像和深度图像的相互作用引起的视角绘制失真主要分布在物体边缘区域，将第二步中得到的物体边缘对应的区域作为融合区域；
(2)将第二步中的纹理图像和深度图像分别小波分解后的六个高频子带进行系数加权融合，得到六个融合后的高频子带；
(3)对融合后的高频子带和纹理图像的低频子带利用小波反变换函数重构出融合图像。
进一步，基于高质量的深度图像的细节信息应该被纹理图像的细节所包含的事实，首先采取对纹理图像和深度图像的物体边缘区域融合的策略；选取了目前性能最好的HED预训练模型；然后对纹理图像和深度图像分别进行两层 Haar小波分解，用
表示纹理图像的小波分解后的LH，HL和HH 子带系数；/>
表示深度图像的小波分解后的LH，HL和HH子带系数；另外，/>
表示纹理图像小波分解后的LL子带；其中，n∈[1,2]表示小波分解的层数，根据物体的边缘区域图IE，对高频子带的边缘区域进行系数融合：
其中，
表示融合后的高频系数；用纹理图像的低频系数/>
和融合后高频系数的/>
和/>
进行图像重构，得到融合图像。
进一步，所述第四步从自然场景区域和相互作用区域对重构图像分别统计去均值对比度归一化系数和切比雪夫矩系数分布方法包括：
(1)根据纹理图像和深度图像对视角合成的影响机理，将融合图像分成自然场景区域和相互作用区域；
(2)自然场景区域的失真特性类似于一般自然场景图像的失真，利用去均值对比度归一化系数进行统计；
(3)相互作用区域表现为物体轮廓的局部几何失真，切比雪夫矩具有很强的轮廓表征能力，利用切比雪夫矩系数进行统计。
进一步，MSCN系数计算，将图像I(i,j)像素处的图像变换为图像的亮度
其中，i∈1,2,3…M,j∈1,2,3…N，M和N分别表示图像的高度和宽度，μ(i,j) 和σ(i,j)分别表示局部平均和局部方差；
用广义高斯分布拟合MSCN系数分布，其中，广义高斯分布定义为：
其中，
Γ(·)为伽马函数，定义如下：
选取α和σ2两个拟合参数作为评价自然场景区域质量的特征值；
采用离散正交矩描述相互作用区域的局部几何失真，通过统计切比雪夫离散正交矩系数来提取特征；具体方法为：首先，把相互作用区域对应的融合图像进行8*8分块，然后计算14阶矩(7+7)，记为：
之后，将相互作用区域的所有图像块的切比雪夫矩系数进行统计，然后用使用了非对称广义高斯分布拟合切比雪夫矩系数直方图；其中，非对称广义高斯分布定义为：
Γ(·)为伽马函数，定义如下：
其中；
v控制分布的形状，
和/>
控制左右两边的扩散程度；另外，计算了分布的均值：
用v,
和μ这四个参数作为相互作用区域的统计质量特征；
对融合图像进行了五个不同尺度的变化重复特征提取过程，一共得到30个用于预测视角合成质量的特征值。
进一步，所述第五步中用分布函数分别对第四步中两个区域的统计分布进行拟合，用拟合的参数作为特征值送入支持向量机回归模型进行训练，建立合成后图像质量的预测模型方法包括：
(1)把去均值对比度归一化系数分布拟合到广义高斯分布，用代表形状和方差的两个参数作为自然场景区域的特征值；
(2)把切比雪夫矩系数拟合到非对称广义高斯分布，用代表形状、均值、左方差和右方差的四个参数作为相互作用区域的特征值；
(3)将提取到的特征送入支持向量机回归模型用合成后图像的质量分数作为标签进行训练，最终建立合成后图像质量的预测模型。
本发明的另一目的在于提供一种应用所述基于统计特征视角合成质量预测方法的信息数据处理终端。
综上所述，本发明的优点及积极效果为：本发明利用融合的思想将视角合成前的纹理图像和深度图像在小波域进行融合，能够有效的表征纹理图像和深度图像对视角合成后图像质量的影响；根据影响视角合成后图像质量的两个方面，将融合图像分成自然场景区域和相互作用区域，能够有效地表征纹理图像和深度图像对合成图像质量的影响，从而达到预测视角合成后图像质量的目的。
附图说明
图1是本发明实施例提供的基于统计特征视角合成质量预测方法流程图。
图2是本发明实施例提供的基于统计特征视角合成质量预测方法的结构图。
图3是本发明实施例提供的MCL_3D数据库中的不同场景的9组图像以及利用本发明的预测结果示意图；
图中：(a)主观分数11.91，预测分数12；(b)主观分数8.53，预测分数8.50； (c)主观分数4.33，预测分数4.25；(d)主观分数7.66，预测分数7.75；(e) 主观分数5.71，预测分数5.67；(f)主观分数5.54，预测分数5.55；(g)主观分数8.9，预测分数9；(h)主观分数7.19，预测分数7.25；(i)主观分数7.61，预测分数7.58。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
针对现有技术存在的问题，本发明提供了一种基于统计特征视角合成质量预测方法、数据处理终端，下面结合附图对本发明作详细的描述。
如图1所示，本发明实施例提供的基于统计特征视角合成质量预测方法包括以下步骤：
S101：搜集针对视角合成的包含深度图像、纹理图像和合成后图像质量分数的数据集；
S102：把纹理图像和深度图像进行小波分解，并对纹理图像进行物体边缘区域检测；
S103：在物体边缘区域信息的指导下，利用纹理图像和深度图像小波分解后的高频子带进行系数融合并重构出融合图像；
S104：从自然场景区域和相互作用区域对重构图像分别统计去均值对比度归一化系数和切比雪夫矩系数分布；
S105：用分布函数对第四步中的两个区域的统计分布进行拟合，用拟合的参数作为特征值送入支持向量机回归模型进行训练，建立合成后图像质量的预测装置。
S106：对于待预测的纹理图像和深度图像，利用已建立的视角合成质量预测模型，实现视角合成后质量的预测。
下面结合附图对本发明的技术方案作进一步的描述。
本发明针对视角合成前的纹理图像和深度图像，通过对物体边缘区域的融合设计了一种基于统计特征视角合成质量预测方法。本发明的目的是在不进行真实的视角合成过程的前提下，利用合成前的纹理图像和深度图像完成对视角合成图像质量的预测。基于高质量的深度图像的细节信息应该被纹理图像的细节所包含的事实，为了表征纹理图像和深度图像对视角合成的共同影响，本发明首先提出了一种基于物体边缘区域的小波域高频系数的融合方法。然后从引起视角合成图像失真的两个方面，将融合后的图像分成自然场景区域和相互作用区域分别提取统计特征；最后，通过训练支持向量机回归模型完成对视角合成图像的质量预测。具体实施方法如图2所示，本实施例主要包含了融合策略模块、特征提取模块和质量预测模块。融合策略模块包含了利用物体的边缘区域对纹理图像和深度图像的小波域高频子带进行系数融合，然后用融合后的高频子带和纹理图像的低频子带重构出融合图像；特征提取模块包含了将融合图像分成自然场景区域和相互作用区域，在自然场景区域直接利用自然场景统计模型提取质量特征；在相互作用区域，本发明提出了一种基于切比雪夫矩系数分布的统计特征提取方法；在质量预测模块，利用提取到的特征对支持向量机回归模型进行训练，建立合成后图像质量的预测模型。
(1)融合策略模块
基于高质量的深度图像的细节信息应该被纹理图像的细节所包含的事实，为了表征纹理图像和深度图像对视角合成的共同影响，首先采取对纹理图像和深度图像的物体边缘区域融合的策略。本发明为了实现物体的边缘区域检测，选取了目前性能最好的HED预训练模型。然后对纹理图像和深度图像分别进行两层Haar小波分解。用
表示纹理图像的小波分解后的LH，HL和 HH子带系数。/>
表示深度图像的小波分解后的LH，HL和HH子带系数。另外，/>
表示纹理图像小波分解后的LL子带。其中，n∈[1,2]表示小波分解的层数。根据物体的边缘区域图IE，对高频子带的边缘区域进行系数融合：
其中，
表示融合后的高频系数。最后，本发明用纹理图像的低频系数/>
和融合后高频系数的/>
和/>
进行图像重构，得到融合图像。
(2)特征提取模块
自然场景区域：由于视角合成过程中，纹理图像的失真直接传递到合成后的图像，而且这一类的失真特性类似于一般的自然场景图像质量失真。因此，将这部分直接来源于纹理图像的区域称为自然场景区域。由于去均值对比度归一化(MSCN)系数被广泛应用于自然场景统计中，且具有很好的效果。因此，首先统计自然场景区域的MSCN系数分布。
为了计算MSCN系数，首先将图像I(i,j)像素处的图像变换为图像的亮度
即：
其中，i∈1,2,3…M,j∈1,2,3…N。M和N分别表示图像的高度和宽度。μ(i,j) 和σ(i,j)分别表示局部平均和局部方差。
然后，用广义高斯分布拟合MSCN系数分布。其中，广义高斯分布定义为：
其中；
这里Γ(·)为伽马函数，定义如下：
最后，选取α和σ2两个拟合参数作为评价自然场景区域质量的特征值。
相互作用区域：考虑到几何失真主要表现为形状的变化，而离散正交矩是有效的形状描述算子，所以本发明采用离散正交矩来描述相互作用区域的局部几何失真。本发明通过统计切比雪夫离散正交矩系数提取特征。具体方法为：首先，把相互作用区域对应的融合图像进行8*8分块，然后计算14阶矩(7+7)，记为：
之后，将相互作用区域的所有图像块的切比雪夫矩系数进行统计，然后用使用了非对称广义高斯分布(Asymmetric Generalized Gaussian Distribution)来拟合切比雪夫矩系数直方图。其中，非对称广义高斯分布定义为：
这里Γ(·)为伽马函数，定义如下：
其中，
这里，v控制分布的形状，
和/>
控制左右两边的扩散程度。另外，进一步计算了分布的均值：
然后，用v,
和μ这四个参数作为相互作用区域的统计质量特征。
最后，本发明专利对融合图像进行了五个不同尺度的变化重复特征提取过程，一共得到30个用于预测视角合成质量的特征值。
(3)质量预测模块
为了预测视角合成图像的质量，本模块通过训练支持向量机回归模型来实现合成图像质量分数的预测。本发明选择了基于径向基核函数的支持向量机回归模型，然后大量的特征值和对应的标签用于训练支持向量机回归模型。训练过程中采用了网格搜索法对径向基核函数的参数和惩罚因子进行优化处理，得到训练结果最优的支持向量机回归模型。
最后，将待预测图像的特征值送入训练好的支持向量机回归模型中进行合成图像质量分数的预测。
下面结合性能测试和实验分析对本发明的技术效果作详细的描述。
为了证明本发明的性能，在MCL_3D数据可上进行了训练和测试。并将本发明的方法与现有的其他方法进行了对比。在实验中，本发明选用了在质量评价领域常用于评价性能好坏的四个指标。其中，皮尔逊线性相关系数(PLCC) 和均方根误差(RMSE)用来测量预测结果的准确性，Spearman秩相关系数(SRCC) 和Kendall秩相关系数(KRCC)用于测量预测结果的单调性。
具体的实验方法是：首先，将MCL_3D数据库提供的648对用于视角合成的不同失真类型的纹理图像和深度图像，随机选取80％用于训练，剩下的20％用于测试。为了让性能指标更加可靠，重复了上述过程1000次。最后，取所有重复试验性能指标的中位数，作为最终的实验结果。结果如表1所示。其中， PLCC，SRCC和KRCC数值越高，说明相应的算法性能就越好，而RMSE的数值越低，说明相应算法的性能越好。
表1质量评价算法性能对比
| 序号 | 算法 | PLCC | SRCC | KRCC | RMSE |
| 1 | MW-PSNR | 0.7720 | 0.7739 | 0.5774 | 1.6453 |
| 2 | RMW-PSNR | 0.7817 | 0.7835 | 0.5897 | 1.6087 |
| 3 | MP-PSNR | 0.7897 | 0.7930 | 0.5936 | 1.5916 |
| 4 | RMP-PSNR | 0.7774 | 0.7813 | 0.5862 | 1.6253 |
| 5 | 3DSwIM | 0.6529 | 0.5680 | 0.4101 | 1.9658 |
| 6 | LOGS | 0.7614 | 0.7579 | 0.5630 | 1.6873 |
| 7 | Bosc | 0.4536 | 0.4330 | 0.3236 | 2.2980 |
| 8 | APT | 0.6433 | 0.6200 | 0.4310 | 1.9870 |
| 9 | NIQSV | 0.6460 | 0.5792 | 0.4068 | 1.9820 |
| 10 | NIQSV+ | 0.6138 | 0.6213 | 0.4372 | 2.0375 |
| 11 | 本发明 | 0.9401 | 0.9301 | 0.7813 | 0.8812 |
由上表可知，本发明在MCL_3D数据库上的性能明显高于所有的其他算法。另外，本发明并不是直接对视角合成图像进行评价，而是利用合成前的纹理图像和深度图像对视角合成图像质量进行预测的结果。这说明了本算法在不进行实际DIBR过程的前提下对视角合成质量的预测结果与主观上对视角合成图像质量的感知结果具有较高的一致性。
为了进一步验证本发明的正确性，从MCL_3D数据库的随机选出9种不同场景不同失真类型的纹理图像和深度图像进行验证。图3中展示了这些图像和他们对应主观分数以及用本发明算法的预测结果。从测试结果可以看出，本发明方法的预测分数与主观分数相比具有较小的误差值，能够准确地预测出视角合成图像的质量分数。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于统计特征视角合成质量预测方法，其特征在于，所述基于统计特征视角合成质量预测方法，首先基于高质量的深度图像的细节信息应该被纹理图像的细节信息所包含的事实，为了表征纹理图像和深度图像的相互作用对视角合成质量的影响，提出基于物体边缘区域的小波域高频系数的融合方法；然后，用纹理图像的低频系数和融合后的高频系数进行图像重构得到融合后的图像；最后，分别从融合图像的自然场景区域和相互作用区域分别提取统计特征来预测视角合成图像的质量；
所述基于统计特征视角合成质量预测方法包括以下步骤：
第一步，搜集针对视角合成的包含深度图像、纹理图像和合成后图像质量分数的数据集；
第二步，把纹理图像和深度图像进行小波分解，并对纹理图像进行物体边缘区域检测；
第三步，在物体边缘区域信息的指导下，利用纹理图像和深度图像小波分解后的高频子带进行系数融合并重构出融合图像；
第四步，从自然场景区域和相互作用区域对重构图像分别统计去均值对比度归一化系数和切比雪夫矩系数分布；
第五步，用分布函数对第四步中的两个区域的统计分布进行拟合，用拟合的参数作为特征值送入支持向量机回归模型进行训练，建立合成后图像质量的预测装置；
第六步，对于待预测的纹理图像和深度图像，利用已建立的视角合成质量预测模型，实现视角合成后质量的预测。
2.如权利要求1所述的基于统计特征视角合成质量预测方法，其特征在于，所述第一步中搜集针对视角合成的包含深度图像、纹理图像和合成图像质量分数的数据集方法包括：
(1)获取用于视角合成图像质量评价的数据集，获取纹理图像和对应的深度图像以及相应的合成后图像的质量分数；
(2)将合成前的纹理图像和深度图像作为研究对象，把相应的合成后图像的质量分数作为研究对象的标签。
3.如权利要求1所述的基于统计特征视角合成质量预测方法，其特征在于，所述第二步中把纹理图像和深度图像进行小波分解，并对纹理图像进行物体边缘区域检测方法包括：
(1)将纹理图像和深度图像分别进行两层小波分解，分别得到一个低频子带和六个高频子带；
(2)对纹理图像进行物体边缘区域检测，得到图像中所有物体边缘对应的区域，并将物体边缘区域和非边缘区域用不同的颜色标记。
4.如权利要求1所述的基于统计特征视角合成质量预测方法，其特征在于，所述第三步中在物体边缘区域信息的指导下，利用纹理图像和深度图像小波分解后的高频子带进行系数融合并重构出融合图像方法包括：
(1)纹理图像和深度图像的相互作用引起的视角绘制失真主要分布在物体边缘区域，将第二步中得到的物体边缘对应的区域作为融合区域；
(2)将第二步中的纹理图像和深度图像分别小波分解后的六个高频子带进行系数加权融合，得到六个融合后的高频子带；
(3)对融合后的高频子带和纹理图像的低频子带利用小波反变换函数重构出融合图像。
5.如权利要求4所述的基于统计特征视角合成质量预测方法，其特征在于，基于高质量的深度图像的细节信息应该被纹理图像的细节所包含的事实，首先采取对纹理图像和深度图像的物体边缘区域融合的策略；选取了目前性能最好的HED预训练模型；然后对纹理图像和深度图像分别进行两层Haar小波分解，用
表示纹理图像的小波分解后的LH，HL和HH子带系数；/>
表示深度图像的小波分解后的LH，HL和HH子带系数；另外，/>
表示纹理图像小波分解后的LL子带；其中，n∈[1,2]表示小波分解的层数，根据物体的边缘区域图IE，对高频子带的边缘区域进行系数融合：
其中，
表示融合后的高频系数；用纹理图像的低频系数/>
和融合后高频系数的
和/>
进行图像重构，得到融合图像。
6.如权利要求1所述的基于统计特征视角合成质量预测方法，其特征在于，所述第四步从自然场景区域和相互作用区域对重构图像分别统计去均值对比度归一化系数和切比雪夫矩系数分布方法包括：
(1)根据纹理图像和深度图像对视角合成的影响机理，将融合图像分成自然场景区域和相互作用区域；
(2)自然场景区域的失真特性类似于一般自然场景图像的失真，利用去均值对比度归一化系数进行统计；
(3)相互作用区域表现为物体轮廓的局部几何失真，切比雪夫矩具有很强的轮廓表征能力，利用切比雪夫矩系数进行统计。
7.如权利要求6所述的基于统计特征视角合成质量预测方法，其特征在于，MSCN系数计算，将图像I(i,j)像素处的图像变换为图像的亮度
其中，i∈1,2,3…M,j∈1,2,3…N，M和N分别表示图像的高度和宽度，μ(i,j)和σ(i,j)分别表示局部平均和局部方差；
用广义高斯分布拟合MSCN系数分布，其中，广义高斯分布定义为：
其中，
Γ(·)为伽马函数，定义如下：
选取α和σ2两个拟合参数作为评价自然场景区域质量的特征值；
采用离散正交矩描述相互作用区域的局部几何失真，通过统计切比雪夫离散正交矩系数来提取特征；具体方法为：首先，把相互作用区域对应的融合图像进行8*8分块，然后计算14阶矩(7+7)，记为：
之后，将相互作用区域的所有图像块的切比雪夫矩系数进行统计，然后用使用了非对称广义高斯分布拟合切比雪夫矩系数直方图；其中，非对称广义高斯分布定义为：
Γ(·)为伽马函数，定义如下：
其中；
v控制分布的形状，
和/>
控制左右两边的扩散程度；另外，计算了分布的均值：
用
和μ这四个参数作为相互作用区域的统计质量特征；
对融合图像进行了五个不同尺度的变化重复特征提取过程，一共得到30个用于预测视角合成质量的特征值。
8.如权利要求1所述的基于统计特征视角合成质量预测方法，其特征在于，所述第五步中用分布函数分别对第四步中两个区域的统计分布进行拟合，用拟合的参数作为特征值送入支持向量机回归模型进行训练，建立合成后图像质量的预测模型方法包括：
(1)把去均值对比度归一化系数分布拟合到广义高斯分布，用代表形状和方差的两个参数作为自然场景区域的特征值；
(2)把切比雪夫矩系数拟合到非对称广义高斯分布，用代表形状、均值、左方差和右方差的四个参数作为相互作用区域的特征值；
(3)将提取到的特征送入支持向量机回归模型用合成后图像的质量分数作为标签进行训练，最终建立合成后图像质量的预测模型。
9.一种应用权利要求1～8任意一项所述基于统计特征视角合成质量预测方法的信息数据处理终端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911085501.3A CN111105387B (zh) | 2019-11-08 | 2019-11-08 | 基于统计特征视角合成质量预测方法、信息数据处理终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911085501.3A CN111105387B (zh) | 2019-11-08 | 2019-11-08 | 基于统计特征视角合成质量预测方法、信息数据处理终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111105387A CN111105387A (zh) | 2020-05-05 |
| CN111105387B true CN111105387B (zh) | 2023-05-26 |
Family
ID=70420595
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911085501.3A Active CN111105387B (zh) | 2019-11-08 | 2019-11-08 | 基于统计特征视角合成质量预测方法、信息数据处理终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111105387B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112488974A (zh) * | 2020-12-09 | 2021-03-12 | 广州品唯软件有限公司 | 图像合成方法、装置、计算机设备和存储介质 |
| WO2023178662A1 (en) * | 2022-03-25 | 2023-09-28 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Image and video coding using multi-sensor collaboration and frequency adaptive processing |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108600730A (zh) * | 2018-03-26 | 2018-09-28 | 杭州同绘科技有限公司 | 一种基于合成图像质量度量的远程绘制方法 |
| CN110046673A (zh) * | 2019-04-25 | 2019-07-23 | 上海大学 | 基于多特征融合的无参考色调映射图像质量评价方法 |
| WO2019174378A1 (zh) * | 2018-03-14 | 2019-09-19 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
-
2019
- 2019-11-08 CN CN201911085501.3A patent/CN111105387B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019174378A1 (zh) * | 2018-03-14 | 2019-09-19 | 大连理工大学 | 一种基于深度预测和增强子网络的高质量深度估计方法 |
| CN108600730A (zh) * | 2018-03-26 | 2018-09-28 | 杭州同绘科技有限公司 | 一种基于合成图像质量度量的远程绘制方法 |
| CN110046673A (zh) * | 2019-04-25 | 2019-07-23 | 上海大学 | 基于多特征融合的无参考色调映射图像质量评价方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张晶晶 ; 方勇华 ; .基于可见光的多波段偏振图像融合新算法.光学学报.2008,(06),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111105387A (zh) | 2020-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104023230B (zh) | 一种基于梯度关联性的无参考图像质量评价方法 | |
| CN106462771A (zh) | 一种3d图像的显著性检测方法 | |
| Saha et al. | Utilizing image scales towards totally training free blind image quality assessment | |
| CN108765414B (zh) | 基于小波分解和自然场景统计的无参考立体图像质量评价方法 | |
| CN109872305B (zh) | 一种基于质量图生成网络的无参考立体图像质量评价方法 | |
| CN105447884A (zh) | 一种基于流形特征相似度的图像质量客观评价方法 | |
| Yue et al. | Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry | |
| Zheng et al. | No-reference quality assessment for screen content images based on hybrid region features fusion | |
| CN109255358B (zh) | 一种基于视觉显著性和深度图的3d图像质量评价方法 | |
| CN112288668B (zh) | 基于深度无监督密集卷积网络的红外和可见光图像融合方法 | |
| CN105260998A (zh) | 基于mcmc采样和阈值低秩逼近的图像去噪方法 | |
| CN107318014B (zh) | 基于视觉显著区域和时空特性的视频质量评估方法 | |
| CN108053396B (zh) | 一种多失真图像质量的无参考评价方法 | |
| CN109831664B (zh) | 基于深度学习的快速压缩立体视频质量评价方法 | |
| CN110751612A (zh) | 多通道多尺度卷积神经网络的单幅图像去雨方法 | |
| CN110782413B (zh) | 一种图像处理方法、装置、设备及存储介质 | |
| CN111709914B (zh) | 一种基于hvs特性的无参考图像质量评价方法 | |
| CN103945217B (zh) | 基于熵的复小波域半盲图像质量评测方法和系统 | |
| CN111105387B (zh) | 基于统计特征视角合成质量预测方法、信息数据处理终端 | |
| CN109740592B (zh) | 基于记忆的图像质量无参评估方法 | |
| CN111507426A (zh) | 基于视觉融合特征的无参考图像质量分级评价方法及装置 | |
| CN111612741A (zh) | 一种基于失真识别的精确无参考图像质量评价方法 | |
| CN109754390B (zh) | 一种基于混合视觉特征的无参考图像质量评价方法 | |
| CN108259893B (zh) | 基于双流卷积神经网络的虚拟现实视频质量评价方法 | |
| CN110796635B (zh) | 一种基于剪切波变换的光场图像质量评价方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |