CN110958449B - 三维视频主观感知质量预测方法 - Google Patents

三维视频主观感知质量预测方法 Download PDF

Info

Publication number
CN110958449B
CN110958449B CN201911314441.8A CN201911314441A CN110958449B CN 110958449 B CN110958449 B CN 110958449B CN 201911314441 A CN201911314441 A CN 201911314441A CN 110958449 B CN110958449 B CN 110958449B
Authority
CN
China
Prior art keywords
dimensional video
visual
quality
perception
color space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201911314441.8A
Other languages
English (en)
Other versions
CN110958449A (zh
Inventor
崔力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201911314441.8A priority Critical patent/CN110958449B/zh
Publication of CN110958449A publication Critical patent/CN110958449A/zh
Application granted granted Critical
Publication of CN110958449B publication Critical patent/CN110958449B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种三维视频主观感知质量预测方法，该方法为：对三维视频的预处理；对预处理后的三维视频分别进行三维视频数据张量的视觉特征提取和原始视频单帧图像的视觉特征提取；通过全连接和循环神经网络完成视觉感知特征的有效处理和进一步融合，最终获得对三维视频总体感知质量的有效预测。本发明基于深度学习网络能够显著提高GPU计算能力，视觉任务的训练和分布的难度，随着数据的提高，性能将会有比较大的提升，实现快速的特征提取和视觉感知计算。

Description

三维视频主观感知质量预测方法
技术领域
本发明属于视觉感知技术领域，具体涉及一种三维视频主观感知质量预测方法。
背景技术
视觉感知计算属于一种高级的计算机视觉任务，利用计算机手段模拟人类的视觉感知过程；考虑到视频在采集，处理采集存储中都需要保持较高的视觉感知质量，视觉感知质量的计算和监测显得尤其重要。
发明内容
有鉴于此，本发明的主要目的在于提供一种三维视频主观感知质量预测方法。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种三维视频主观感知质量预测方法，该方法为：
对三维视频的预处理；
对预处理后的三维视频分别进行三维视频数据张量的视觉特征提取和原始视频单帧图像的视觉特征提取；
通过全连接和循环神经网络完成视觉感知特征的有效处理和进一步融合，最终获得对三维视频总体感知质量的有效预测。
上述方案中，所述对三维视频的预处理，具体为：将三维视频从原始RGB颜色空间转换为LMS颜色空间，之后，对不同空间频率分量所对应的亮度和色彩分量分别进行处理，最后，通过对比敏感函数进行处理。
上述方案中，所述将三维视频从原始RGB颜色空间转换为LMS颜色空间，具体为：从三维视频的RGB颜色空间出发，需要转为LMS颜色空间，
Figure BDA0002325450520000021
其中L代表亮度分量，M、S分别代表色彩分量。
上述方案中，所述对不同空间频率分量所对应的亮度和色彩分量分别进行处理，具体为：通过Gabor滤波将对色彩和亮度信号分别进行自带分解。
上述方案中，所述对预处理后的三维视频分别进行三维视频数据张量的视觉特征提取和原始视频单帧图像的视觉特征提取，具体为：基于端到端深度学习网络的视觉质量感知特征对预处理后的三维视频进行三维视频数据张量的视觉特征提取；基于端到端深度学习网络的视觉质量感知特征对预处理后的三维视频进行原始视频单帧图像的视觉特征提取。
上述方案中，所述通过全连接和循环神经网络完成视觉感知特征的有效处理和进一步融合，最终获得对三维视频总体感知质量的有效预测，具体为：对提取的三维视频数据张量的视觉特征和原始视频单帧图像的视觉特征进行有效融合，根据融合后的多维度视觉特征确定视频质量预测的数值并且输出。
与现有技术相比，本发明基于深度学习网络能够显著提高GPU计算能力，视觉任务的训练和分布的难度，随着数据的提高，性能将会有比较大的提升，实现快速的特征提取和视觉感知计算。
附图说明
图1为本发明实施例提供一种三维视频主观感知质量预测方法的流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供一种三维视频主观感知质量预测方法，如图1所示，该通过以下步骤实现：
步骤101：对三维视频的预处理；
从三维视频的RGB颜色空间出发，需要转为LMS颜色空间，
Figure BDA0002325450520000031
其中L代表亮度分量，M、S分别代表色彩分量。
通过Gabor滤波将对色彩和亮度信号分别进行自带分解。
步骤102：对预处理后的三维视频分别进行三维视频数据张量的视觉特征提取和原始视频单帧图像的视觉特征提取；
具体地，基于端到端深度学习网络的视觉质量感知特征对预处理后的三维视频进行三维视频数据张量的视觉特征提取；基于端到端深度学习网络的视觉质量感知特征对预处理后的三维视频进行原始视频单帧图像的视觉特征提取。
考虑到深度卷积网络与人眼视觉系统V1区域的功能吻合，利用一个端到端深度学习网络计算视觉质量感知特征。考虑到深度学习网络输入的数据本质上是一个四维张量，深度学习网络卷积层采用三维滤波器构建。通过构建一个三维视频总体立体质量标注的平台，可以获得深度学习网络训练所需海量三维视频数据的高质量标注。
构建一个三维视频总体立体质量标注的平台：从原始视频单帧图像种获得视觉特征；构建端到端的深度学习网络完成视频单帧立体质量感知特征的计算；采集用于深度学习网络训练所用的数据。
值得注意的是，深度学习网络训练和验证所有用的数据必须具有内在一致性。
步骤103：通过全连接和循环神经网络完成视觉感知特征的有效处理和进一步融合，最终获得对三维视频总体感知质量的有效预测。
具体地，对提取的三维视频数据张量的视觉特征和原始视频单帧图像的视觉特征进行有效融合，根据融合后的多维度视觉特征确定视频质量预测的数值并且输出。
利用全连接和循环神经网络完成视觉感知特征的有效处理和进一步融合，最终获得对三维视频总体感知质量的有效预测。其中，RNN负责将单帧图像视觉特征融合，全连接层将异种特征处理合并为一个全局特征。
值得注意的是，需要加入一定约束防止网络过度拟合。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (2)

1.一种三维视频主观感知质量预测方法，其特征在于，该方法为：
对三维视频的预处理；
基于端到端深度学习网络的视觉质量感知特征对预处理后的三维视频进行三维视频数据张量的视觉特征提取；基于端到端深度学习网络的视觉质量感知特征对预处理后的三维视频进行原始视频单帧图像的视觉特征提取；
通过全连接和循环神经网络完成视觉感知特征的有效处理和进一步融合，最终获得对三维视频总体感知质量的有效预测,具体为：对提取的三维视频数据张量的视觉特征和原始视频单帧图像的视觉特征进行有效融合，根据融合后的多维度视觉特征确定视频质量预测的数值并且输出;
所述对三维视频的预处理，具体为：将三维视频从原始RGB颜色空间转换为LMS颜色空间，之后，对不同空间频率分量所对应的亮度和色彩分量分别进行处理，最后，通过对比敏感函数进行处理；
所述将三维视频从原始RGB颜色空间转换为LMS颜色空间，具体为：从三维视频的RGB颜色空间出发，需要转为LMS颜色空间，
Figure DEST_PATH_IMAGE001
，其中L代表亮度分量，M、S分别代表色彩分量。
2.根据权利要求1所述的三维视频主观感知质量预测方法，其特征在于，所述对不同空间频率分量所对应的亮度和色彩分量分别进行处理，具体为：通过Gabor滤波将对色彩和亮度信号分别进行子带分解。
CN201911314441.8A 2019-12-19 2019-12-19 三维视频主观感知质量预测方法 Expired - Fee Related CN110958449B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911314441.8A CN110958449B (zh) 2019-12-19 2019-12-19 三维视频主观感知质量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911314441.8A CN110958449B (zh) 2019-12-19 2019-12-19 三维视频主观感知质量预测方法

Publications (2)

Publication Number Publication Date
CN110958449A CN110958449A (zh) 2020-04-03
CN110958449B true CN110958449B (zh) 2021-07-06

Family

ID=69982669

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911314441.8A Expired - Fee Related CN110958449B (zh) 2019-12-19 2019-12-19 三维视频主观感知质量预测方法

Country Status (1)

Country Link
CN (1) CN110958449B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111988613B (zh) * 2020-08-05 2022-11-01 华侨大学 一种基于张量分解的屏幕内容视频质量分析方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230224A (zh) * 2017-12-29 2018-06-29 湖北工业大学 一种针对校正后色盲图像的图像水印嵌入方法和提取方法
CN109360178A (zh) * 2018-10-17 2019-02-19 天津大学 基于融合图像的无参考立体图像质量评价方法
CN109523513A (zh) * 2018-10-18 2019-03-26 天津大学 基于稀疏重建彩色融合图像的立体图像质量评价方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924289B2 (ja) * 2013-02-20 2016-05-25 富士ゼロックス株式会社 色変換係数生成装置、色処理装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230224A (zh) * 2017-12-29 2018-06-29 湖北工业大学 一种针对校正后色盲图像的图像水印嵌入方法和提取方法
CN109360178A (zh) * 2018-10-17 2019-02-19 天津大学 基于融合图像的无参考立体图像质量评价方法
CN109523513A (zh) * 2018-10-18 2019-03-26 天津大学 基于稀疏重建彩色融合图像的立体图像质量评价方法

Also Published As

Publication number Publication date
CN110958449A (zh) 2020-04-03

Similar Documents

Publication Publication Date Title
EP4109392A1 (en) Image processing method and image processing device
CN110807757B (zh) 基于人工智能的图像质量评估方法、装置及计算机设备
Panetta et al. Tmo-net: A parameter-free tone mapping operator using generative adversarial network, and performance benchmarking on large scale hdr dataset
CN113762138B (zh) 伪造人脸图片的识别方法、装置、计算机设备及存储介质
Xiao et al. Single image dehazing based on learning of haze layers
Liu et al. Image de-hazing from the perspective of noise filtering
CN110852199A (zh) 一种基于双帧编码解码模型的前景提取方法
CN113129236A (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
CN109214996A (zh) 一种图像处理方法及装置
CN116757986A (zh) 一种红外与可见光图像融合方法及装置
CN105580050A (zh) 提供图像中的控制点
CN110689478B (zh) 图像风格化处理方法、装置、电子设备及可读介质
CN116543433A (zh) 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置
CN110958449B (zh) 三维视频主观感知质量预测方法
CN113962878B (zh) 一种低能见度图像去雾模型方法
CN115131229A (zh) 图像降噪、滤波数据处理方法、装置和计算机设备
Liu et al. Toward visual quality enhancement of dehazing effect with improved Cycle-GAN
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN116883303A (zh) 基于特征差分补偿与融合的红外与可见光图像融合方法
CN110163049B (zh) 一种人脸属性预测方法、装置及存储介质
CN116309213A (zh) 一种基于生成对抗网络的高实时多源图像融合方法
Zhang et al. A compensation textures dehazing method for water alike area
Zhou et al. ASFusion: Adaptive visual enhancement and structural patch decomposition for infrared and visible image fusion
CN116612371B (zh) 基于边云解耦的神经网络推理方法、装置及设备和介质
Sun et al. Image inpainting with learnable edge-attention maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210706

Termination date: 20211219

CF01 Termination of patent right due to non-payment of annual fee