CN111696076B - 一种新型立体图像舒适度预测方法 - Google Patents

一种新型立体图像舒适度预测方法 Download PDF

Info

Publication number
CN111696076B
CN111696076B CN202010377994.4A CN202010377994A CN111696076B CN 111696076 B CN111696076 B CN 111696076B CN 202010377994 A CN202010377994 A CN 202010377994A CN 111696076 B CN111696076 B CN 111696076B
Authority
CN
China
Prior art keywords
moment
layer
image
horizontal
high frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010377994.4A
Other languages
English (en)
Other versions
CN111696076A (zh
Inventor
梁文青
周洋
崔金鹏
张博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010377994.4A priority Critical patent/CN111696076B/zh
Publication of CN111696076A publication Critical patent/CN111696076A/zh
Application granted granted Critical
Publication of CN111696076B publication Critical patent/CN111696076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20064—Wavelet transform [DWT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种新型立体图像舒适度预测方法，包括以下步骤：从彩色图提取亮度矩特征和色度矩特征；对彩色图进行小波变换，提取结构复杂度特征；对视差图进行小波变换，提取多层视差幅值和多方向视差纹理特征；利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分。上述技术方案通过将彩色图和视差图进行小波变换，从两层小波系数中获得更丰富的图像信息，并且具有良好的空间性，从不同方向的细节信息提取不适特征，更详细地描述不适特征并进行舒适度预测。

Description

一种新型立体图像舒适度预测方法
技术领域
本发明涉及立体图像舒适度预测领域，尤其涉及一种新型立体图像舒适度预测方法。
背景技术
相较于二维图像，立体图像能给用户带来更多的视觉信息和更逼真的视觉体验，但同时由于双目竞争与视差等因素，会给观众带来视觉不适，降低视觉体验。有资料显示，观看者观看立体视频时容易产生头晕、眼疲劳、恶心、肩颈疼痛等不适感。为给用户带来更多有益的视觉信息，需要探索立体图像舒适度预测方法。
通常情况下通过左右视图合成来获得立体图像，有的研究利用左右视图提取彩色信息作为预测特征进行舒适度预测。有的研究在显著性的基础上对立体图像进行提取不适因子。还有部分研究结合人类神经活动机制，与视觉皮层相结合进行舒适度预测。视差信息会给观看者带来距离感，产生立体感。但是不合理的视差信息会影响立体视觉，当视差过小时，人类的立体感知会降低，视差过大时会给观看者带来不舒适。因此有学者将人类神经元模型与视差信息节后进行不适预测，也有直接利用水平视差与垂直视差进行视觉舒适度预测。
中国专利文献CN103581661B公开了一种“立体图像视觉舒适度评价方法”。首先通过提取右视点图像的图像显著图和右视差图像的深度显著图，得到右视点图像的立体显著图，然后根据立体显著图加权提取出视差幅度、视差梯度和空间频率特征，得到立体图像的特征矢量，再利用支持向量回归对立体图像集合中的所有立体图像的特征矢量进行训练，最后利用训练得到的支持向量回归训练模型对立体图像集合中的每幅立体图像进行测试，得到每幅立体图像的客观视觉舒适度评价预测值。上述技术方案在原始彩色图与视差图中提取特征后进行立体图像舒适度预测，所提特征描述简单，获取图像信息量少，预测结果适用性不足。
发明内容
本发明主要解决原有的提取特征描述简单，用于分析的图像信息少的技术问题，提供一种新型立体图像舒适度预测方法，通过将彩色图和视差图进行小波变换，从两层小波系数中获得更丰富的图像信息，并且具有良好的空间性，从不同方向的细节信息提取不适特征，更详细地描述不适特征并进行舒适度预测。
本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤：
(1)从彩色图提取亮度矩特征和色度矩特征；低阶矩可以描述图像的主要信息，因此采用一阶矩、二阶矩和三阶矩描述亮度分量与色度分量的主要信息。
(2)对彩色图进行小波变换，提取结构复杂度特征；通过对彩色图进行小波变换后进行重构提取结构复杂度。
(3)对视差图进行小波变换，提取多层视差幅值和多方向视差纹理特征；在视差图的两层小波变换的相似图像中提取多层视差幅值特征和多方向视差纹理特征。
(4)利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分。
因为图像边缘细节主要体现在高频信息中，当边缘细节越丰富，图像存在的剧烈变化越多，结构与纹理越复杂。观察者在观看立体图像时，双目越难合成立体感，增加视觉不适。彩色图像进行小波变换后，在频域内除去低频信息后，获得高频与原始图像的关系，可以表示影响舒适度的结构复杂度。视差图进行小波变换后，使用小波系数对图像进行描述，可以获得水平、垂直、对角不同方向的信息，从中提取水平、垂直、对角三个方向的纹理特征，详细描述影响舒适度的多方向视差纹理特征。
作为优选，所述的步骤1首先将RGB颜色空间的左右视点彩色图转化到HSV颜色空间，然后在HSV颜色空间中提取亮度矩和色度矩，采用一阶矩、二阶矩和三阶矩描述亮度分量与色度分量的主要信息，其中亮度矩为左右视图的亮度分量所对应的三阶矩，色度矩为左右视图的亮度分量所对应的三阶矩。
作为优选，所述的步骤1中亮度矩和色度矩提取的具体过程为：
提取亮度矩，即
亮度一阶矩：
μV＝(Iv)mean
亮度二阶矩：
Figure BDA0002480766060000031
亮度三阶矩：
Figure BDA0002480766060000032
其中，IH为亮度感知图像，μH为亮度一阶矩，σH为亮度二阶矩，sH为亮度三阶矩，P为图像像素总个数，故包含左右彩色图的亮度矩表示为：
Figure BDA0002480766060000033
其中，l代表左视图，r代表右视图；
提取色度矩，即
色度一阶矩：
μH＝(IH)mean
色度二阶矩：
Figure BDA0002480766060000041
色度三阶矩：
Figure BDA0002480766060000042
其中，IH为色度感知图像，μH为色度一阶矩，σH为色度二阶矩，sH为色度三阶矩，P为图像像素总个数，故包含左右彩色图的色度矩表示为：
Figure BDA0002480766060000043
其中，l代表左视图，r代表右视图。
作为优选，所述的步骤2将左视图IC进行小波变换，其中小波基选择bior4.4，变换层数为两级，经小波变换获得第一层水平低频垂直高频分量CLH1、水平高频垂直低频分量CHL1、水平高频垂直高频分量CHH1，第二层水平低频垂直高频分量CLH2、水平高频垂直低频分量CHL2、水平高频垂直高频分量CHH2和原始图像的相似图像CLL2。
作为优选，所述的步骤2利用小波重构，通过比较高频图像与原始图像的关系表示结构复杂度，具体过程如下，首先取第一层小波变换系数的均值M1与第二层小波变换系数的均值M2，使每层小波系数低于此层均值的设置为0，即
Figure BDA0002480766060000044
Figure BDA0002480766060000045
Figure BDA0002480766060000051
Figure BDA0002480766060000052
Figure BDA0002480766060000053
Figure BDA0002480766060000054
Figure BDA0002480766060000055
然后对保留下来的系数进行重构获得只包含低频信息的彩色图
Figure BDA00024807660600000511
将原始图像与重构后的图像相减，获得只包含高频信息的图像，故结构复杂度表示为：
Figure BDA0002480766060000056
作为优选，所述的步骤3将视差图进行小波变换，其中小波基选择bior4.4，变换层数为两级，获得第一层水平低频垂直高频分量DLH1、水平高频垂直低频分量DHL1、水平高频垂直高频分量DHH1，第二层水平低频垂直高频分量DLH2、水平高频垂直低频分量DHL2、水平高频垂直高频分量DHH2和原始图像的相似图像DLL2。
作为优选，所述的步骤3从变换后的相似图像提取多层视差幅值，其中通过还原获得第一层的相似图像DLL1，即
Figure BDA0002480766060000057
Figure BDA0002480766060000058
其中，
Figure BDA00024807660600000512
为第一层视差幅值，/>
Figure BDA00024807660600000510
为第二层视差幅值，多层视差幅值表示为：
Figure BDA0002480766060000061
在水平低频垂直高频分量与水平高频垂直低频分量采用阈值法提取纹理特征，在不同层小波分解选择合适的阈值，设置大于T的值为零，保留三个方向的高频信息，即多方向视差纹理，计算过程如下：
Figure BDA0002480766060000062
Figure BDA0002480766060000063
Figure BDA0002480766060000064
Figure BDA0002480766060000065
其中，T1和T2为在一层和二层小波分解下取的合适阈值，
Figure BDA00024807660600000610
表示第一层水平纹理分量，/>
Figure BDA00024807660600000611
表示第一层垂直纹理分量，/>
Figure BDA00024807660600000612
表示第二层水平纹理分量，/>
Figure BDA00024807660600000613
表示第二层垂直纹理分量。接下来将三个方向的纹理分量进行特征提取：
Figure BDA0002480766060000066
Figure BDA0002480766060000067
Figure BDA00024807660600000614
Figure BDA0002480766060000068
Figure BDA0002480766060000069
Figure BDA0002480766060000071
其中，
Figure BDA0002480766060000076
为第一层水平纹理特征，/>
Figure BDA0002480766060000077
为第一层垂直纹理特征，/>
Figure BDA0002480766060000078
为第一层对角纹理特征，/>
Figure BDA0002480766060000073
为第二层水平纹理特征，/>
Figure BDA0002480766060000074
为第二层垂直纹理特征，/>
Figure BDA0002480766060000075
为第二层对角纹理特征，最终视差纹理表示为：
Figure BDA0002480766060000072
最后所提取特征为：
f＝[fV，fH，fSC，fDM，fDT]。
作为优选，所述的步骤4将特征输入GBRT渐进梯度回归树获得舒适度预测值，采用GBRT渐进梯度回归树，将提取的特征作为输入值，对应的MOS值作为输出值进行训练和测试，训练集与测试集比例为9:1，将进行800次训练测试结果的平均值作为立体图像的舒适度预测值；选择最小二乘法作为损失函数，并通过改变决策树的数量获得最优数量，在最优决策树数量下进行立体图像舒适度预测并得到舒适度得分。
本发明的有益效果是：通过将彩色图和视差图进行小波变换，从两层小波系数中获得更丰富的图像信息，并且具有良好的空间性，从不同方向的细节信息提取不适特征，更详细地描述不适特征并进行舒适度预测。
附图说明
图1是本发明的一种算法流程图。
具体实施方式
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。实施例：本实施例的一种新型立体图像舒适度预测方法，如图1所示，包括以下步骤：
(1)首先将RGB颜色空间的左右视点彩色图转化到HSV颜色空间，然后在HSV颜色空间中提取亮度矩和色度矩。低阶矩可以描述图像的主要信息，因此采用一阶矩、二阶矩和三阶矩描述亮度分量与色度分量的主要信息。采用一阶矩、二阶矩和三阶矩描述亮度分量与色度分量的主要信息，其中亮度矩为左右视图的亮度分量所对应的三阶矩，色度矩为左右视图的亮度分量所对应的三阶矩。亮度矩和色度矩提取的具体过程为：
提取亮度矩，即
亮度一阶矩：
μV＝(Iv)，mean
亮度二阶矩：
Figure BDA0002480766060000081
亮度三阶矩：
Figure BDA0002480766060000082
其中，IH为亮度感知图像，μH为亮度一阶矩，σH为亮度二阶矩，sH为亮度三阶矩，P为图像像素总个数，故包含左右彩色图的亮度矩表示为：
Figure BDA0002480766060000083
其中，l代表左视图，r代表右视图；
提取色度矩，即
色度一阶矩：
μH＝(IH)mean
色度二阶矩：
Figure BDA0002480766060000091
色度三阶矩：
Figure BDA0002480766060000092
其中，IH为色度感知图像，μH为色度一阶矩，σH为色度二阶矩，sH为色度三阶矩，P为图像像素总个数，故包含左右彩色图的色度矩表示为：
Figure BDA0002480766060000093
其中，l代表左视图，r代表右视图。
(2)对彩色图进行小波变换，其中小波基选择bior4.4，变换层数为两级，经小波变换获得第一层水平低频垂直高频分量CLH1、水平高频垂直低频分量CHL1、水平高频垂直高频分量CHH1，第二层水平低频垂直高频分量CLH2、水平高频垂直低频分量CHL2、水平高频垂直高频分量CHH2和原始图像的相似图像CLL2。
然后利用小波重构，通过比较高频图像与原始图像的关系表示结构复杂度，提取结构复杂度特征，具体过程如下：
首先取第一层小波变换系数的均值M1与第二层小波变换系数的均值M2，使每层小波系数低于此层均值的设置为0，即
Figure BDA0002480766060000094
Figure BDA0002480766060000095
Figure BDA0002480766060000096
Figure BDA0002480766060000101
Figure BDA0002480766060000102
Figure BDA0002480766060000103
Figure BDA0002480766060000104
然后对保留下来的系数进行重构获得只包含低频信息的彩色图
Figure BDA00024807660600001010
将原始图像与重构后的图像相减，获得只包含高频信息的图像，故结构复杂度表示为：
Figure BDA0002480766060000105
(3)对视差图进行小波变换，其中小波基选择blor4.4，变换层数为两级，获得第一层水平低频垂直高频分量DLH1、水平高频垂直低频分量DHL1、水平高频垂直高频分量DHH1，第二层水平低频垂直高频分量DLH2、水平高频垂直低频分量DHL2、水平高频垂直高频分量DHH2和原始图像的相似图像DLL2。
提取多层视差幅值和多方向视差纹理特征，具体步骤包括：
从变换后的相似图像提取多层视差幅值，其中通过还原获得第一层的相似图像DLL1，即
Figure BDA00024807660600001011
Figure BDA0002480766060000106
其中，
Figure BDA00024807660600001012
为第一层视差幅值，/>
Figure BDA0002480766060000109
为第二层视差幅值，多层视差幅值表示为：
Figure BDA0002480766060000107
在水平低频垂直高频分量与水平高频垂直低频分量采用阈值法提取纹理特征，在不同层小波分解选择合适的阈值，设置大于T的值为零，保留三个方向的高频信息，即多方向视差纹理，计算过程如下：
Figure BDA0002480766060000111
Figure BDA0002480766060000112
Figure BDA0002480766060000113
Figure BDA0002480766060000114
其中，T1和T2为在一层和二层小波分解下取的合适阈值，
Figure BDA00024807660600001110
表示第一层水平纹理分量，/>
Figure BDA00024807660600001111
表示第一层垂直纹理分量，/>
Figure BDA00024807660600001112
表示第二层水平纹理分量，/>
Figure BDA00024807660600001113
表示第二层垂直纹理分量。接下来将三个方向的纹理分量进行特征提取：
Figure BDA0002480766060000115
Figure BDA0002480766060000116
Figure BDA00024807660600001114
Figure BDA0002480766060000117
Figure BDA0002480766060000118
Figure BDA0002480766060000119
其中，
Figure BDA00024807660600001115
为第一层水平纹理特征，/>
Figure BDA00024807660600001116
为第一层垂直纹理特征，/>
Figure BDA00024807660600001117
为第一层对角纹理特征，/>
Figure BDA0002480766060000122
为第二层水平纹理特征，/>
Figure BDA0002480766060000123
为第二层垂直纹理特征，/>
Figure BDA0002480766060000124
为第二层对角纹理特征，最终视差纹理表示为：
Figure BDA0002480766060000121
最后所提取特征为：
f＝[fV，fH，fSC，fDM，fDT]。
(4)利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分，具体步骤包括：
①采用GBRT渐进梯度回归树将提取的特征作为输入值，对应的MOS值作为输出值进行训练和测试，训练集与测试集比例为9:1，将进行800次训练测试结果的平均值作为立体图像的舒适度预测值。
②选择最小二乘法作为损失函数，并通过改变决策树的数量获得最优数量。在最优决策树数量下进行立体图像舒适度预测。
因为图像边缘细节主要体现在高频信息中，当边缘细节越丰富，图像存在的剧烈变化越多，结构与纹理越复杂。观察者在观看立体图像时，双目越难合成立体感，增加视觉不适。彩色图像进行小波变换后，在频域内除去低频信息后，获得高频与原始图像的关系，可以表示影响舒适度的结构复杂度。视差图进行小波变换后，使用小波系数对图像进行描述，可以获得水平、垂直、对角不同方向的信息，从中提取水平、垂直、对角三个方向的纹理特征，详细描述影响舒适度的多方向视差纹理特征。

Claims (6)

1.一种新型立体图像舒适度预测方法，其特征在于，包括以下步骤：
(1)从彩色图提取亮度矩特征和色度矩特征；
(2)对彩色图进行小波变换，提取结构复杂度特征；
(3)对视差图进行小波变换，提取多层视差幅值和多方向视差纹理特征，所述步骤3将视差图进行小波变换，其中小波基选择bior4.4，变换层数为两级，获得第一层水平低频垂直高频分量DLH1、水平高频垂直低频分量DHL1、水平高频垂直高频分量DHH1，第二层水平低频垂直高频分量DLH2、水平高频垂直低频分量DHL2、水平高频垂直高频分量DHH2和原始图像的相似图像DLL2，
从变换后的相似图像提取多层视差幅值，其中通过还原获得第一层的相似图像DLL1，即
Figure FDA0004133681660000011
Figure FDA0004133681660000012
其中，
Figure FDA0004133681660000013
为第一层视差幅值，/>
Figure FDA0004133681660000014
为第二层视差幅值，多层视差幅值表示为：
Figure FDA0004133681660000015
在水平低频垂直高频分量与水平高频垂直低频分量采用阈值法提取纹理特征，在不同层小波分解选择合适的阈值，设置大于T的值为零，保留三个方向的高频信息，即多方向视差纹理，计算过程如下：
Figure FDA0004133681660000016
Figure FDA0004133681660000017
Figure FDA0004133681660000018
Figure FDA0004133681660000021
其中，T1和T2为在一层和二层小波分解下取的合适阈值，
Figure FDA0004133681660000022
表示第一层水平纹理分量，/>
Figure FDA00041336816600000218
表示第一层垂直纹理分量，/>
Figure FDA0004133681660000023
表示第二层水平纹理分量，/>
Figure FDA0004133681660000024
表示第二层垂直纹理分量，接下来将三个方向的纹理分量进行特征提取：
Figure FDA0004133681660000025
Figure FDA0004133681660000026
Figure FDA0004133681660000027
Figure FDA0004133681660000028
Figure FDA0004133681660000029
Figure FDA00041336816600000210
其中，
Figure FDA00041336816600000211
为第一层水平纹理特征，/>
Figure FDA00041336816600000212
为第一层垂直纹理特征，/>
Figure FDA00041336816600000213
为第一层对角纹理特征，/>
Figure FDA00041336816600000214
为第二层水平纹理特征，/>
Figure FDA00041336816600000215
为第二层垂直纹理特征，/>
Figure FDA00041336816600000216
为第二层对角纹理特征，最终视差纹理表示为：
Figure FDA00041336816600000217
最后所提取特征为：
f＝[fV,fH,fSC,fDM,fDT]；
(4)利用GBRT渐进梯度回归树进行舒适度预测获得立体图像舒适度得分。
2.根据权利要求1所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤1首先将RGB颜色空间的左右视点彩色图转化到HSV颜色空间，然后在HSV颜色空间中提取亮度矩和色度矩，采用一阶矩、二阶矩和三阶矩描述亮度分量与色度分量的主要信息，其中亮度矩为左右视图的亮度分量所对应的三阶矩，色度矩为左右视图的亮度分量所对应的三阶矩。
3.根据权利要求2所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤1中亮度矩和色度矩提取的具体过程为：
提取亮度矩，即
亮度一阶矩：
μV＝(IV)mean
亮度二阶矩：
Figure FDA0004133681660000031
亮度三阶矩：
Figure FDA0004133681660000032
其中，IV为亮度感知图像，μV为亮度一阶矩，σV为亮度二阶矩，sV为亮度三阶矩，P为图像像素总个数，故包含左右彩色图的亮度矩表示为：
Figure FDA0004133681660000033
其中，l代表左视图，r代表右视图；
提取色度矩，即
色度一阶矩：
μH＝(IH)mean
色度二阶矩：
Figure FDA0004133681660000034
色度三阶矩：
Figure FDA0004133681660000035
其中，IH为色度感知图像，μH为色度一阶矩，σH为色度二阶矩，sH为色度三阶矩，P为图像像素总个数，故包含左右彩色图的色度矩表示为：
Figure FDA0004133681660000041
其中，l代表左视图，r代表右视图。
4.根据权利要求1所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤2将左视图IC进行小波变换，其中小波基选择bior4.4，变换层数为两级，经小波变换获得第一层水平低频垂直高频分量CLH1、水平高频垂直低频分量CHL1、水平高频垂直高频分量CHH1，第二层水平低频垂直高频分量CLH2、水平高频垂直低频分量CHL2、水平高频垂直高频分量CHH2和原始图像的相似图像CLL2。
5.根据权利要求4所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤2利用小波重构，通过比较高频图像与原始图像的关系表示结构复杂度，具体过程如下，首先取第一层小波变换系数的均值M1与第二层小波变换系数的均值M2，使每层小波系数低于此层均值的设置为0，即
Figure FDA0004133681660000042
Figure FDA0004133681660000043
Figure FDA0004133681660000044
Figure FDA0004133681660000045
Figure FDA0004133681660000046
Figure FDA0004133681660000047
Figure FDA0004133681660000048
然后对保留下来的系数进行重构获得只包含低频信息的彩色图
Figure FDA0004133681660000051
将原始的左视图IC与重构后的图像/>
Figure FDA0004133681660000052
相减，获得只包含高频信息的图像，故结构复杂度表示为：
Figure FDA0004133681660000053
6.根据权利要求1所述的一种新型立体图像舒适度预测方法，其特征在于，所述步骤4将特征输入GBRT渐进梯度回归树获得舒适度预测值，采用GBRT渐进梯度回归树，将提取的特征作为输入值，对应的MOS值作为输出值进行训练和测试，训练集与测试集比例为9:1，将进行800次训练测试结果的平均值作为立体图像的舒适度预测值；选择最小二乘法作为损失函数，并通过改变决策树的数量获得最优数量，在最优决策树数量下进行立体图像舒适度预测并得到舒适度得分。
CN202010377994.4A 2020-05-07 2020-05-07 一种新型立体图像舒适度预测方法 Active CN111696076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010377994.4A CN111696076B (zh) 2020-05-07 2020-05-07 一种新型立体图像舒适度预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010377994.4A CN111696076B (zh) 2020-05-07 2020-05-07 一种新型立体图像舒适度预测方法

Publications (2)

Publication Number Publication Date
CN111696076A CN111696076A (zh) 2020-09-22
CN111696076B true CN111696076B (zh) 2023-07-07

Family

ID=72476485

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010377994.4A Active CN111696076B (zh) 2020-05-07 2020-05-07 一种新型立体图像舒适度预测方法

Country Status (1)

Country Link
CN (1) CN111696076B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112738501B (zh) * 2020-12-29 2022-05-17 杭州电子科技大学 一种立体图像舒适度测试方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015067186A1 (zh) * 2013-11-08 2015-05-14 华为终端有限公司 一种用于图像降噪的方法及终端
CN108269253A (zh) * 2018-01-11 2018-07-10 天津大学 基于小波变换和局部结构特征的立体图像质量评价方法
CN108520506A (zh) * 2018-03-26 2018-09-11 天津大学 基于显著区域的立体图像饱和度舒适范围的测量方法
CN109255358A (zh) * 2018-08-06 2019-01-22 浙江大学 一种基于视觉显著性和深度图的3d图像质量评价方法
CN109510981A (zh) * 2019-01-23 2019-03-22 杭州电子科技大学 一种基于多尺度dct变换的立体图像舒适度预测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015162718A (ja) * 2014-02-26 2015-09-07 ソニー株式会社 画像処理方法、画像処理装置及び電子機器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015067186A1 (zh) * 2013-11-08 2015-05-14 华为终端有限公司 一种用于图像降噪的方法及终端
CN108269253A (zh) * 2018-01-11 2018-07-10 天津大学 基于小波变换和局部结构特征的立体图像质量评价方法
CN108520506A (zh) * 2018-03-26 2018-09-11 天津大学 基于显著区域的立体图像饱和度舒适范围的测量方法
CN109255358A (zh) * 2018-08-06 2019-01-22 浙江大学 一种基于视觉显著性和深度图的3d图像质量评价方法
CN109510981A (zh) * 2019-01-23 2019-03-22 杭州电子科技大学 一种基于多尺度dct变换的立体图像舒适度预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何永健等.基于立体视觉显著性的立体视频视觉舒适度研究.《中国优秀硕士学位论文全文数据库 信息科技辑》.2018,I138-1362. *

Also Published As

Publication number Publication date
CN111696076A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
CN101651772B (zh) 一种基于视觉注意的视频感兴趣区域的提取方法
CN106097327B (zh) 结合流形特征及双目特性的立体图像质量客观评价方法
CN108122206A (zh) 一种低照度图像降噪方法及装置
CN109671023A (zh) 一种人脸图像超分辨率二次重建方法
CN112543317B (zh) 高分辨率单目2d视频到双目3d视频的转制方法
CN108134937B (zh) 一种基于hevc的压缩域显著性检测方法
Yue et al. Blind stereoscopic 3D image quality assessment via analysis of naturalness, structure, and binocular asymmetry
CN105550989B (zh) 基于非局部高斯过程回归的图像超分辨方法
CN106971379A (zh) 一种基于分层加权融合的水下图像增强方法
US10277877B2 (en) 3D system including a neural network
US20230128106A1 (en) Image processing apparatus and server
CN111696076B (zh) 一种新型立体图像舒适度预测方法
CN106709504A (zh) 细节保持的高保真色调映射方法
Fan et al. Picture-level just noticeable difference for symmetrically and asymmetrically compressed stereoscopic images: Subjective quality assessment study and datasets
CN111462002B (zh) 一种基于卷积神经网络的水下图像增强与复原方法
CN115457249A (zh) 红外图像与可见光图像融合匹配的方法及系统
CN114897742A (zh) 一种纹理和结构特征两次融合的图像修复方法
Wang et al. No-reference stereoscopic image quality assessment using quaternion wavelet transform and heterogeneous ensemble learning
US20040085315A1 (en) Texture partition and transmission method for network progressive transmission and real-time rendering by using the wavelet coding algorithm
CN109859157B (zh) 基于视觉注意特征的全参考图像质量评价方法
CN114067018A (zh) 一种基于扩张残差生成对抗网络的红外图像彩色化方法
Chamaret et al. No-reference harmony-guided quality assessment
CN105844640A (zh) 基于梯度的彩色图像质量评价方法
CN115082296B (zh) 一种基于小波域图像生成框架的图像生成方法
CN111526354B (zh) 一种基于多尺度空间视差信息的立体视频舒适度预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant