CN107197235B - 一种hdr视频预处理方法 - Google Patents

一种hdr视频预处理方法 Download PDF

Info

Publication number
CN107197235B
CN107197235B CN201710497030.1A CN201710497030A CN107197235B CN 107197235 B CN107197235 B CN 107197235B CN 201710497030 A CN201710497030 A CN 201710497030A CN 107197235 B CN107197235 B CN 107197235B
Authority
CN
China
Prior art keywords
sal
value
brightness
region
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710497030.1A
Other languages
English (en)
Other versions
CN107197235A (zh
Inventor
廖义
黄进
王建伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dang Hong Polytron Technologies Inc
Original Assignee
Hangzhou Dang Hong Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dang Hong Polytron Technologies Inc filed Critical Hangzhou Dang Hong Polytron Technologies Inc
Priority to CN201710497030.1A priority Critical patent/CN107197235B/zh
Publication of CN107197235A publication Critical patent/CN107197235A/zh
Application granted granted Critical
Publication of CN107197235B publication Critical patent/CN107197235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Abstract

本发明公开了一种HDR视频预处理方法。它包括如下步骤：(1)在YUV域，针对HDR的宽亮度和广色域的视频特性进行快速的显著性检测，使高亮的区域和颜色明显的区域得到进一步区分；(2)构建显著性‑感知量化函数，将显著性特征与现有的感知量化模型进行融合，使视频中较为显著的区域在量化时的量化步长越小，图像细节保留的更加丰富。本发明的有益效果是：使得HDR视频中亮度和颜色较为显著的区域在量化时使用的量化步长更小，失真较小，主观质量更好，图像细节保留的更加完整，从而使整体的视频质量更加符合人眼感知特性。

Description

一种HDR视频预处理方法
技术领域
本发明涉及视频编码相关技术领域，尤其是指一种HDR视频预处理方法。
背景技术
随着视频图像技术的快速发展，人们对视频观看体验的要求也越来越高。3D、4K、广视角和HDR(High Dynamic Range，高动态范围)等关键词已经成为电视机市场的热点。相比于传统SDR(Standard Dynamic Range，标准动态范围)电视机，HDR电视机能够呈现出更广的亮度和更多的颜色，更丰富地展现出视频的真实内容，对人眼极具震撼效果。
传统的SDR视频采用的色域标准是BT.709，该标准会出现高光溢出(高光部分细节丢失，以保证暗部曝光正常))或暗部裁切(暗部细节丢失，以保证高亮度场景曝光正常)，而HDR中的色域标准ST.2084则可以避免这一问题，它能够表示更高的亮度动态范围，高光的时候不会过曝，暗调的时候不会欠曝，让亮处的效果更清晰，暗处依然能分辨物体的轮廓和深度。
HDR视频从拍摄到呈现给观众主要经过以下四个步骤：
(1)拍摄采集：用HDR摄像机拍摄采集成具有若干帧图像的HDR视频，这个步骤的有一个重要环节便是利用OETF(Optical-Electrical Transfer Function光信号转电信号曲线)进行光电转换，获取视频数据；
(2)预处理：该阶段可以对视频数据进行去噪、调整尺寸等，而对HDR视频则有一个重要的步骤，便是Tone Mapping(色度映射)，利用EOTF(Electrical-Optical TransferFunction电信号转光信号曲线)对视频数据进行电光转换，使输出的信号能够适配人眼的感知；
(3)编码压缩：对视频数据进行编码压缩，生成压缩视频流，以节省数据带宽；
(4)解码观看：用户利用HDR显示设备的解码芯片将视频流解码成若干帧图像，进行观看。
在众多EOTF方案中，Dolby Vision提出的感知量化(Perceptual Quantizer，PQ)模型已经成为SMPTE ST2084标准，其理论依据是人类视觉系统存在掩蔽效应，当某一个信号的失真不超过某一阈值时，不会被人眼所察觉，该阈值称之为恰可察觉失真(JustNoticeable Distortion，JND)阈值。感知量化模型认为JND阈值随着亮度的变化呈一定的关系，低亮度区域该阈值较大，高亮度区域该阈值则较小。利用人眼视觉的这一特性，感知量化模型描述了输入电信号和输出光信号的关系曲线，该曲线是一个单调递减且斜率减小的Log曲线，随着编码亮度值(电信号)增大时，量化为显示亮度值(光信号)的量化步长便越小，该曲线能够使输出最大显示亮度达到10000尼特，而SDR可实现的最大亮度仅仅为100尼特，这样，PQ曲线能够大大提升HDR的显示亮度范围，但是PQ曲线只考虑了绝对亮度对感知冗余的影响，不考虑人眼视觉注意的区域，如果人眼视觉注意的区域一旦出现绝对亮度很小时，使用的量化步长也很大，使细节丢失较为严重。
视频中每帧图像通常用YUV数据格式表示，其中Y表示亮度，U和V表示色度，人眼从YUV数据表示的图像中可以较直观地感受到该图像所包含的自然特征，如亮度、色度、边缘、纹理、方向等，显著性检测便是利用人眼感知特性对一帧图像中的某些特征进行量化，使这些最易被人眼所注意的区域能够更加直观地表现出来。传统显著性检测通常是基于图像的R、G、B分量进行处理，而且复杂度较高，不适合高效的视频实时处理，因此，如何进行快速的显著性检测是感知视频编码的一个必要手段。
现有PQ模型只考虑了绝对亮度对感知冗余的影响，没有考虑人眼视觉注意的区域，如果人眼视觉注意的区域一旦出现绝对亮度很小时，使用的量化步长也很大，使细节丢失较为严重。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种图像细节保留更为完整的HDR视频预处理方法。
为了实现上述目的，本发明采用以下技术方案：
一种HDR视频预处理方法，包括如下步骤：
步骤一：在YUV域，针对HDR的宽亮度和广色域的视频特性进行快速的显著性检测，使高亮的区域和颜色明显的区域得到进一步区分；
步骤二：构建显著性-感知量化函数，将显著性特征与现有的感知量化模型进行融合，使视频中较为显著的区域在量化时的量化步长越小，图像细节保留的更加丰富。
本发明通过对HDR视频进行显著性检测，提取在YUV域中亮度和色域较为明显的区域，构建显著性调整因子，并利用该因子与现有感知量化(PQ)模型构建显著性-感知量化函数，使得HDR视频中亮度和颜色较为显著的区域在量化时使用的量化步长更小，失真较小，图像细节保留的更加完整，从而使整体的视频质量更加符合人眼感知特性。
作为优选，在步骤一中，具体采用如下步骤：
(1)对亮度分量Y提取亮度显著值LSal(i)：
LSal(i)＝|Y(i)-YAvg|
其中：i表示当前帧中的第i个像素，Y(i)表示当前帧中第i个像素的亮度值，YAvg表示当前帧中所有像素的亮度平均值；
(2)对色度度分量U和V提取色度显著值CSal(i)：
CSal(i)＝|U(i)-UAvg|+|V(i)-VAvg|
其中：U(i)表示当前帧中第i个像素的U分量值，V(i)表示当前帧中第i个像素的V分量值，UAvg表示当前帧中所有像素的U分量平均值，VAvg表示当前帧中所有像素的V分量平均值；
(3)将亮度显著值LSal(i)和色度显著值CSal(i)进行融合：
TSal(i)＝0.5*LSal(i)+0.5*CSal(i)
(4)当TSal(i)小于规定阈值TH时，判定为非显著区域，设定其显著值MSal(i)为0；当TSal(i)大于等于规定阈值TH时，判定为较显著区域，其显著值MSal(i)为TSal(i)：
其中阈值TH的计算方式为：
其中：δ为范围在[1，5]内的常数，表示一帧中各个像素显著值的平均值；
(5)将MSal(i)归一化，使MSal(i)范围放缩到[0，1]范围内：
作为优选，在步骤二中，具体采用如下步骤：
(a)利用显著值构建显著性调整因子，当显著值越大时，该调整因子越小，当显著值越小时，该调整因子越大：
其中：α为范围在[0，1]内的常数，β为范围在[1，1.5]内的常数；
(b)现有感知量化模型所描述的编码亮度到显示亮度的Log曲线：
其中，L(i)是第i个像素的显示亮度值，V(i)是第i个像素的编码亮度值，c1、c2、c3的值分别为0.835、18.851、18.687，m和n的值分别为78.843和0.159；
(c)构建显著性-感知量化模型，使视觉越显著的区域在量化为L′(i)时的量化步长越小：
本发明的有益效果是：使得HDR视频中亮度和颜色较为显著的区域在量化时使用的量化步长更小，失真较小，主观质量更好，图像细节保留的更加完整，从而使整体的视频质量更加符合人眼感知特性。
具体实施方式
下面结合具体实施方式对本发明做进一步的描述。
一种HDR视频预处理方法，包括如下步骤：
步骤一：在YUV域，针对HDR的宽亮度和广色域的视频特性进行快速的显著性检测，使高亮的区域和颜色明显的区域得到进一步区分；
具体采用如下步骤：
(1)对亮度分量Y提取亮度显著值LSal(i)：
LSal(i)＝|Y(i)-YAvg|
其中：i表示当前帧中的第i个像素，Y(i)表示当前帧中第i个像素的亮度值，YAvg表示当前帧中所有像素的亮度平均值；
(2)对色度度分量U和V提取色度显著值CSal(i)：
CSal(i)＝|U(i)-UAvg|+|V(i)-VAvg|
其中：U(i)表示当前帧中第i个像素的U分量值，V(i)表示当前帧中第i个像素的V分量值，UAvg表示当前帧中所有像素的U分量平均值，VAvg表示当前帧中所有像素的V分量平均值；
(3)将亮度显著值LSal(i)和色度显著值CSal(i)进行融合：
TSal(i)＝0.5*LSal(i)+0.5*CSal(i)
(4)当TSal(i)小于规定阈值TH时，判定为非显著区域，设定其显著值MSal(i)为0；当TSal(i)大于规定阈值TH时，判定为较显著区域，其显著值MSal(i)为TSal(i)：
其中阈值TH的计算方式为：
其中：δ为范围在[1，5]内的常数，表示一帧中各个像素显著值的平均值；
(5)将MSal(i)归一化，使MSal(i)范围放缩到[0，1]范围内：
步骤二：构建显著性-感知量化函数，将显著性特征与现有的感知量化模型进行融合，使视频中较为显著的区域在量化时的量化步长越小，图像细节保留的更加丰富；
具体采用如下步骤：
(a)利用显著值构建显著性调整因子，当显著值越大时，该调整因子越小，当显著值越小时，该调整因子越大：
其中：α为范围在[0，1]内的常数，β为范围在[1，1.5]内的常数；
(b)现有感知量化模型所描述的编码亮度到显示亮度的Log曲线：
其中，L(i)是第i个像素的显示亮度值，V(i)是第i个像素的编码亮度值，c1、c2、c3的值分别为0.835、18.851、18.687，m和n的值分别为78.843和0.159；
(c)构建显著性-感知量化模型，使视觉越显著的区域在量化为L′(i)时的量化步长越小：
本发明通过对HDR视频进行显著性检测，提取在YUV域中亮度和色域较为明显的区域，构建显著性调整因子，并利用该因子与现有感知量化(PQ)模型构建显著性-感知量化函数，使得HDR视频中亮度和颜色较为显著的区域在量化时使用的量化步长更小，失真较小，主观质量更好，图像细节保留的更加完整，从而使整体的视频质量更加符合人眼感知特性。

Claims (1)

1.一种HDR视频预处理方法，其特征是，包括如下步骤：
步骤一：在YUV域，针对HDR的宽亮度和广色域的视频特性进行快速的显著性检测，使高亮的区域和颜色明显的区域得到进一步区分；具体采用如下步骤：
(1)对亮度分量Y提取亮度显著值LSal(i)：
LSal(i)＝|Y(i)-YAvg|
其中：i表示当前帧中的第i个像素，Y(i)表示当前帧中第i个像素的亮度值，YAvg表示当前帧中所有像素的亮度平均值；
(2)对色度度分量U和V提取色度显著值CSal(i)：
CSal(i)＝|U(i)-UAvg|+|V(i)-VAvg|
其中：U(i)表示当前帧中第i个像素的U分量值，V(i)表示当前帧中第i个像素的V分量值，UAvg表示当前帧中所有像素的U分量平均值，VAvg表示当前帧中所有像素的V分量平均值；
(3)将亮度显著值LSal(i)和色度显著值CSal(i)进行融合：
TSal(i)＝0.5*LSal(i)+0.5*CSal(i)
(4)当TSal(i)小于规定阈值TH时，判定为非显著区域，设定其显著值MSal(i)为0；当TSal(i)大于等于规定阈值TH时，判定为较显著区域，其显著值MSal(i)为TSal(i)：
其中阈值TH的计算方式为：
其中：δ为范围在[1，5]内的常数，表示一帧中各个像素显著值的平均值；
(5)将MSal(i)归一化，使MSal(i)范围放缩到[0，1]范围内：
步骤二：构建显著性-感知量化函数，将显著性特征与现有的感知量化模型进行融合，使视频中较为显著的区域在量化时的量化步长越小，图像细节保留的更加丰富；具体采用如下步骤：
(a)利用显著值构建显著性调整因子，当显著值越大时，该调整因子越小，当显著值越小时，该调整因子越大：
其中：α为范围在[0，1]内的常数，β为范围在[1，1.5]内的常数；
(b)现有感知量化模型所描述的编码亮度到显示亮度的Log曲线：
其中，L(i)是第i个像素的显示亮度值，V(i)是第i个像素的编码亮度值，c1、c2、c3的值分别为0.835、18.851、18.687，m和n的值分别为78.843和0.159；
(c)构建显著性-感知量化模型，使视觉越显著的区域在量化为L′(i)时的量化步长越小：
CN201710497030.1A 2017-06-26 2017-06-26 一种hdr视频预处理方法 Active CN107197235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710497030.1A CN107197235B (zh) 2017-06-26 2017-06-26 一种hdr视频预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710497030.1A CN107197235B (zh) 2017-06-26 2017-06-26 一种hdr视频预处理方法

Publications (2)

Publication Number Publication Date
CN107197235A CN107197235A (zh) 2017-09-22
CN107197235B true CN107197235B (zh) 2018-10-12

Family

ID=59880117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710497030.1A Active CN107197235B (zh) 2017-06-26 2017-06-26 一种hdr视频预处理方法

Country Status (1)

Country Link
CN (1) CN107197235B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108337516B (zh) * 2018-01-31 2022-01-18 宁波大学 一种面向多用户的hdr视频动态范围可分级编码方法
CN110545416B (zh) * 2019-09-03 2020-10-16 国家广播电视总局广播电视科学研究院 一种基于深度学习的超高清片源检测方法
CN112291564B (zh) * 2020-11-20 2021-09-14 西安邮电大学 优化监控视频感知质量的hevc帧内码率控制方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854536A (zh) * 2009-04-01 2010-10-06 深圳市融创天下科技发展有限公司 一种视频编解码的图像视觉效果提升方法
CN102497490A (zh) * 2011-12-16 2012-06-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN103313047A (zh) * 2012-03-13 2013-09-18 中国移动通信集团公司 一种视频编码方法及装置
CN103391437A (zh) * 2013-07-16 2013-11-13 上海富瀚微电子有限公司 一种高动态图像视觉无损压缩的方法及装置
CN103563376A (zh) * 2011-04-08 2014-02-05 皇家飞利浦有限公司 视频编码和解码
CN104219525A (zh) * 2014-09-01 2014-12-17 国家广播电影电视总局广播科学研究院 基于显著性和最小可察觉失真的感知视频编码方法
CN104995903A (zh) * 2013-02-21 2015-10-21 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
CN105379260A (zh) * 2013-07-16 2016-03-02 皇家飞利浦有限公司 创建用于针对hdr图像的通用代码映射的eotf函数的方法和装置以及使用这些图像的方法和过程
WO2016049327A1 (en) * 2014-09-26 2016-03-31 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
CN105828089A (zh) * 2016-01-31 2016-08-03 西安电子科技大学 一种基于自适应感知量化的视频编码方法和系统
CN106131670A (zh) * 2016-07-12 2016-11-16 块互动（北京）科技有限公司 一种自适应视频编码方法及终端
WO2016186551A1 (en) * 2015-05-20 2016-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Pixel processing and encoding

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101854536A (zh) * 2009-04-01 2010-10-06 深圳市融创天下科技发展有限公司 一种视频编解码的图像视觉效果提升方法
CN103563376A (zh) * 2011-04-08 2014-02-05 皇家飞利浦有限公司 视频编码和解码
CN102497490A (zh) * 2011-12-16 2012-06-13 上海富瀚微电子有限公司 实现图像高动态范围压缩的系统及其方法
CN103313047A (zh) * 2012-03-13 2013-09-18 中国移动通信集团公司 一种视频编码方法及装置
CN104995903A (zh) * 2013-02-21 2015-10-21 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
CN103391437A (zh) * 2013-07-16 2013-11-13 上海富瀚微电子有限公司 一种高动态图像视觉无损压缩的方法及装置
CN105379260A (zh) * 2013-07-16 2016-03-02 皇家飞利浦有限公司 创建用于针对hdr图像的通用代码映射的eotf函数的方法和装置以及使用这些图像的方法和过程
CN104219525A (zh) * 2014-09-01 2014-12-17 国家广播电影电视总局广播科学研究院 基于显著性和最小可察觉失真的感知视频编码方法
WO2016049327A1 (en) * 2014-09-26 2016-03-31 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
WO2016186551A1 (en) * 2015-05-20 2016-11-24 Telefonaktiebolaget Lm Ericsson (Publ) Pixel processing and encoding
CN105828089A (zh) * 2016-01-31 2016-08-03 西安电子科技大学 一种基于自适应感知量化的视频编码方法和系统
CN106131670A (zh) * 2016-07-12 2016-11-16 块互动（北京）科技有限公司 一种自适应视频编码方法及终端

Also Published As

Publication number Publication date
CN107197235A (zh) 2017-09-22

Similar Documents

Publication Publication Date Title
CN108769804B (zh) 一种高动态范围视频的格式转换方法
CN107154059B (zh) 一种高动态范围视频处理方法
JP7422832B2 (ja) 様々なレベルのメタデータを含む色管理を制御するスケーラブルシステム
US11183143B2 (en) Transitioning between video priority and graphics priority
CN107038680B (zh) 自适应光照的美颜方法及系统
KR101170408B1 (ko) 렌더링되지 않은 컬러 공간을 통해 맵핑된 비디오 콘텐츠로부터 유도된 주변 광에 관한 지배적인 컬러 추출
CN103593830B (zh) 一种低照度视频图像增强方法
CN107197235B (zh) 一种hdr视频预处理方法
CN111105359B (zh) 一种高动态范围图像的色调映射方法
CN108337516B (zh) 一种面向多用户的hdr视频动态范围可分级编码方法
JP2014517556A (ja) ビデオ符号化及び復号化
CN104618700A (zh) 一种彩色高动态范围图像增强显示的方法
CN114866809B (zh) 视频转换方法、装置、设备、存储介质及程序产品
CN104778674B (zh) 一种基于时间序列的顺逆光交通图像自适应增强方法
CN107087163A (zh) 一种提升hdr视频主观质量的编码方法
TWI790596B (zh) 動態範圍映射的方法和裝置
CN107197266B (zh) 一种hdr视频编码方法
TWI438718B (zh) 適應性反雙曲線影像處理方法及其系統
JP2005080289A (ja) クロミナンスのスムージング
Lakshmi et al. Analysis of tone mapping operators on high dynamic range images
CN116167950B (zh) 图像处理方法、装置、电子设备及存储介质
CN111031301A (zh) 一种色域空间调整的方法、存储设备及显示终端
CN117082222B (zh) 一种用于转播车的图像视频优化调色方法
Hui Real-Time Color Enhancement Method Used for Intelligent Mobile Terminals
Léonce et al. High dynamic range video transmission and display using standard dynamic range technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 310000 E, 16 floor, A block, Paradise software garden, 3 West Gate Road, Xihu District, Hangzhou, Zhejiang.

Applicant after: Hangzhou Dang Hong Polytron Technologies Inc

Address before: 310012 E, 16 floor, A block, Paradise software garden, 3 West Gate Road, Xihu District, Hangzhou, Zhejiang.

Applicant before: HANGZHOU DANGHONG TECHNOLOGY CO., LTD.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant