CN110933416B - 高动态范围视频自适应预处理方法 - Google Patents

高动态范围视频自适应预处理方法 Download PDF

Info

Publication number
CN110933416B
CN110933416B CN201911099679.3A CN201911099679A CN110933416B CN 110933416 B CN110933416 B CN 110933416B CN 201911099679 A CN201911099679 A CN 201911099679A CN 110933416 B CN110933416 B CN 110933416B
Authority
CN
China
Prior art keywords
actual brightness
current channel
interval
actual
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911099679.3A
Other languages
English (en)
Other versions
CN110933416A (zh
Inventor
佘航飞
郁梅
赵旭辉
宋洋
徐海勇
蒋刚毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huzhou Chuangguan Technology Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201911099679.3A priority Critical patent/CN110933416B/zh
Publication of CN110933416A publication Critical patent/CN110933416A/zh
Application granted granted Critical
Publication of CN110933416B publication Critical patent/CN110933416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Abstract

本发明公开了一种高动态范围视频自适应预处理方法，首先计算每帧的各通道的最大、最小实际亮度值各自对应的量化亮度值，得到未使用的整型量化数据个数；接着去重统计各通道中落于所划分的32个各实际亮度间隔内的实际亮度值个数，以此为依据将未使用的整型量化数据优先分配给容易造成视觉产生对比度失真区域所在的实际亮度间隔；然后在确定最终分配给各实际亮度间隔的整型量化数据个数后计算各实际亮度间隔的最大、最小实际亮度值，进而对各通道中的每个像素点进行映射完成预处理；优点是能解决HDR视频非向后兼容编码框架中采用PQ曲线从16bit浮点型数据到10bit整型数据的转换过程中造成的HDR视频编码性能下降的问题。

Description

高动态范围视频自适应预处理方法
技术领域
本发明涉及一种高动态范围视频信号处理技术，尤其是涉及一种高动态范围视频自适应预处理方法。
背景技术
随着高动态范围(High Dynamic Range，HDR)视频/图像技术的不断发展，显示设备能够呈现出更加丰富的对比度以及更高动态范围的亮度和色度信息，给人们带来了更加逼近真实的光影效果的视觉体验。高动态范围视频/图像的采集、存储、压缩、传输等方面的问题已成为了研究热点，不同于低动态范围(Low Dynamic Range，LDR)视频/图像采用8bit整型数据来表示单个通道的每个像素，高动态范围视频/图像采用16bit或32bit浮点型数据来表示单个通道的每个像素，所表示的亮度值能够以较高的精度覆盖人类视觉所能感知的动态范围，然而更高位深的数据造成了视频数据量的成倍增加。动态图像专家组(MovingPicture Experts Group，MPEG)通过对HEVC(High Efficiency Video Coding)扩展实现了对更高位深的视频信号的压缩，但改进的HEVC平台并不兼容对浮点型数据格式的视频信号进行压缩，所以必须对浮点型数据格式的高动态范围视频信号进行预处理，将浮点型数据量化为满足HEVC平台所兼容位深的整型数据。
位深是限制整型数据格式的视频信号的动态范围的主要因素，用于HEVC编码的整型数据所表示的量化亮度值，需要满足相邻量化亮度值的间隔不能高于视觉的感知阈值。Miller等人采用追踪各条曲线峰值的方法建立了恰可察觉失真(Just NoticeableDifference，JND)模型，并进一步改进得到了感知量化(Perceptual Quantizer，PQ)曲线作为高动态范围视频信号的光电转换函数(EOTF)，PQ曲线能够实现将10-6～104nit范围的实际亮度值量化到10bit位深的量化亮度值(“实际亮度值”表示10-6～104nit范围的以浮点型数据存储的亮度值，“量化亮度值”表示以0、1、2、……、1024整型数据存储的亮度值)。PQ曲线因为量化精度的限制所呈现的对比度阈值较高，2014年，国际电影和电视工程师协会(SMPTE)把PQ曲线作为感知量化的标准，从而实现了对高动态范围视频信号的编码并进行端到端的传输。2015年，MPEG针对扩展的HEVC标准使之兼容对高动态范围和宽色域(WideColor Gamut，WCG)视频信号的编码发出了征集草案，草案中提出的基于感知转换函数(Perceptual Transformation Function，PTF)的非向后兼容的高动态范围视频编码框架，同样把PQ曲线作为高动态范围视频感知量化的转换函数。随着显示技术的不断发展，现有的高动态范围显示器的实际亮度峰值已接近104nit，即PQ曲线所能支持的最大实际亮度值。
但是，并不是每个高动态范围视频场景的实际亮度值都能覆盖如此大的动态范围，从10-6nit～104nit。量化的过程必然会造成一部分整型数据的浪费；而且，从浮点型数据到整型数据的转换也会造成HDR视频帧空域量化失真，导致高动态范围视频信号在压缩传输过程中带来非编码器引起的质量下降。因此，有必要研究一种先对高动态范围视频信号进行处理使之更加符合PQ曲线的量化性能，进而在高动态范围视频信号编码中提高性能的方法。
发明内容
本发明所要解决的技术问题是提供一种高动态范围视频自适应预处理方法，其能够解决HDR视频非向后兼容编码框架中采用PQ曲线从16bit浮点型数据到10bit整型数据的转换过程中造成的HDR视频编码性能下降的问题。
本发明解决上述技术问题所采用的技术方案为：一种高动态范围视频自适应预处理方法，其特征在于包括以下步骤：
步骤一：在二维坐标系中，将位深为10bit的PQ曲线所覆盖的实际亮度范围非线性地划分为32个实际亮度间隔，使每个实际亮度间隔对应的量化亮度间隔初始拥有的整型量化数据为32个；
步骤二：将待预处理的高动态范围视频中的每帧分为Red、Green、Blue三个通道；然后将待预处理的高动态范围视频中当前待处理的第i帧定义为当前帧；其中，i为正整数，i的初始值为1，1≤i≤Frame，Frame表示待预处理的高动态范围视频中包含的帧的总帧数；
步骤三：将当前帧的当前待处理的第m个通道定义为当前通道；其中，m＝1,2,3，m＝1表示Red通道，m＝2表示Green通道，m＝3表示Blue通道；
步骤四：获取当前通道的最大实际亮度值和最小实际亮度值；然后计算当前通道的最大实际亮度值对应的量化亮度值，记为
Figure BDA0002269452100000031
并计算当前通道的最小实际亮度值对应的量化亮度值，记为
Figure BDA0002269452100000032
再根据
Figure BDA0002269452100000033
和
Figure BDA0002269452100000034
计算当前通道对应的未使用的整型量化数据的个数，记为
Figure BDA0002269452100000035
步骤五：去重统计当前通道中落于位深为10bit的PQ曲线所覆盖的各个实际亮度间隔内的实际亮度值的个数，将当前通道中落于位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔内的实际亮度值的个数记为
Figure BDA0002269452100000041
其中，去重统计是指相同的实际亮度值仅计数1个，j为正整数，j的初始值为1，1≤j≤32；
步骤六：对当前通道进行双边滤波处理；然后对当前通道经双边滤波处理后得到的图像进行K-means聚类操作，聚类目标设置为聚为两类，得到当前通道的掩膜图，将当前通道中与其掩膜图中的白色区域所对应的一块区域作为容易造成视觉产生对比度失真的区域，记为
Figure BDA0002269452100000042
步骤七：根据
Figure BDA0002269452100000043
确定当前通道下位深为10bit的PQ曲线所覆盖的所有实际亮度间隔中需要调整优化的实际亮度间隔，并将这些需要调整优化的实际亮度间隔构成的集合记为Ω，而将剩余的实际亮度间隔构成的集合记为Ω'；
步骤八：将当前通道对应的未使用的整型量化数据分配给Ω中的每个实际亮度间隔，以实现Ω中的每个实际亮度间隔的调整优化；然后计算当前通道下最终分配给Ω中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给Ω中的第k个实际亮度间隔的整型量化数据的个数记为
Figure BDA0002269452100000044
Figure BDA0002269452100000045
其中，k为正整数，k的初始值为1，1≤k≤K，K表示Ω中的实际亮度间隔的总个数，round()表示四舍五入取整函数，
Figure BDA0002269452100000046
表示当前通道中落于Ω中的第k个实际亮度间隔内的实际亮度值的个数；
步骤九：在步骤八的基础上，计算当前通道对应的剩余还未使用的整型量化数据的个数，记为
Figure BDA0002269452100000047
若
Figure BDA0002269452100000048
则不进行继续分配，直接执行步骤十；若
Figure BDA0002269452100000051
则将当前通道对应的剩余还未使用的整型量化数据分配给Ω'中的每个实际亮度间隔，计算当前通道下最终分配给Ω'中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给Ω'中的第k'个实际亮度间隔的整型量化数据的个数记为
Figure BDA0002269452100000052
再执行步骤十；其中，k'为正整数，k'的初始值为1，1≤k'≤K'，K'表示Ω'中的实际亮度间隔的总个数，K+K'＝32，
Figure BDA0002269452100000053
表示当前通道中落于Ω'中的第k'个实际亮度间隔内的实际亮度值的个数；
步骤十：根据当前通道下最终分配给位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的整型量化数据的个数，计算当前通道下位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的最大实际亮度值和最小实际亮度值，将当前通道下位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔的最大实际亮度值和最小实际亮度值对应记为
Figure BDA0002269452100000054
和
Figure BDA0002269452100000055
Figure BDA0002269452100000056
其中，g为正整数，g的初始值为1，1≤g≤j，
Figure BDA0002269452100000057
表示当前通道下最终分配给位深为10bit的PQ曲线所覆盖的第g个实际亮度间隔的整型量化数据的个数，
Figure BDA0002269452100000058
表示当前通道下位深为10bit的PQ曲线所覆盖的第j-1个实际亮度间隔的最大实际亮度值，
Figure BDA00022694521000000511
为
Figure BDA00022694521000000512
的反函数，
Figure BDA0002269452100000059
c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，
Figure BDA00022694521000000513
为引入的变量，此处
Figure BDA00022694521000000514
用于代表
Figure BDA00022694521000000510
步骤十一：对当前通道中的每个像素点进行映射，得到映射后的图像，即为预处理后的图像，将预处理后的图像中坐标位置为(x,y)的像素点的实际亮度值记为
Figure BDA0002269452100000061
Figure BDA0002269452100000062
的获取过程为：当当前通道中坐标位置为(x,y)的像素点的实际亮度值大于或等于
Figure BDA0002269452100000063
且小于或等于
Figure BDA0002269452100000064
时，令
Figure BDA0002269452100000065
其中，1≤x≤Width，1≤y≤High，Width表示当前通道的宽度，High表示当前通道的高度，j*∈[1,32]，
Figure BDA0002269452100000066
表示通过步骤十得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最大实际亮度值，
Figure BDA0002269452100000067
表示通过步骤十得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最小实际亮度值，
Figure BDA0002269452100000068
表示当前通道中坐标位置为(x,y)的像素点的实际亮度值对应的量化亮度值，
Figure BDA0002269452100000069
表示当前通道中坐标位置为(x,y)的像素点的实际亮度值，
Figure BDA00022694521000000610
表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最小量化亮度值，也即为
Figure BDA00022694521000000611
所在的第j*个量化亮度间隔的最小量化亮度值，
Figure BDA00022694521000000612
表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最大量化亮度值，也即为
Figure BDA00022694521000000613
所在的第j*个量化亮度间隔的最大量化亮度值；
步骤十二：令m＝m+1；然后将当前帧的下一个待处理的通道作为当前通道；再返回步骤四继续执行，直至当前帧的三个通道处理完毕；其中，m＝m+1中的“＝”为赋值符号；
步骤十三：令i＝i+1；然后将待预处理的高动态范围视频中下一帧待处理的帧作为当前帧；再返回步骤三继续执行，直至待预处理的高动态范围视频中的所有帧处理完毕；其中，i＝i+1中的“＝”为赋值符号。
所述的步骤四中，
Figure BDA0002269452100000071
Figure BDA0002269452100000072
其中，符号
Figure BDA0002269452100000073
为向上取整符号，符号
Figure BDA0002269452100000074
为向下取整符号，max()为取最大值函数，min()为取最小值函数，
Figure BDA0002269452100000075
表示当前通道的最大实际亮度值，
Figure BDA0002269452100000076
表示当前通道的最小实际亮度值，
Figure BDA0002269452100000077
c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，
Figure BDA00022694521000000719
为引入的变量，计算
Figure BDA0002269452100000078
时
Figure BDA00022694521000000720
用于代表
Figure BDA0002269452100000079
计算
Figure BDA00022694521000000710
时
Figure BDA00022694521000000721
用于代表
Figure BDA00022694521000000711
所述的步骤七中，Ω的获取过程为：
1)将
Figure BDA00022694521000000712
中的最大实际亮度值所落于的实际亮度间隔的间隔标号记为
Figure BDA00022694521000000713
将
Figure BDA00022694521000000714
中的最小实际亮度值所落于的实际亮度间隔的间隔标号记为
Figure BDA00022694521000000715
2)将值为298的实际亮度值所在的实际亮度间隔的间隔标号记为J1；
3)令
Figure BDA00022694521000000716
并令
Figure BDA00022694521000000717
然后将间隔标号在区间
Figure BDA00022694521000000718
内的所有实际亮度间隔构成的集合作为Ω；其中，min()为取最小值函数，max()为取最大值函数。
与现有技术相比，本发明的优点在于：
1)本发明方法能够根据不同高动态范围视频场景，获取高动态范围视频中的每帧的各个通道的最大实际亮度值和最小实际亮度值各自对应的量化亮度值，进而计算得到各个通道对应的浪费的整型量化数据的个数，避免了现有技术未考虑到整型量化数据有浪费或者简单笼统确定浪费的整型量化数据问题。
2)本发明方法通过计算浪费的整型量化数据的个数从而实现优化分配的过程中，不是以一个通道来代表三个通道，而是分为三个通道分别来计算，对整型量化数据的分配进行优化时采用三个通道分别处理的方法可以避免由于不同通道下实际亮度值概率密度分布不同而造成分配不合理的影响。
3)本发明方法在得到浪费的整型量化数据的个数后，首先将当前通道对应的未使用的整型量化数据分配给容易造成视觉产生对比度失真的区域对应的实际亮度间隔构成的集合，以实现该集合中的每个实际亮度间隔的调整优化；然后仍有多余的再分配给其他实际亮度间隔，在这个过程中，有考虑到编码后HDR视频的感知质量，由于在对编码后HDR视频的感知质量评分中，对比度存在一定影响，因此在优化分配多余整型量化数据时优先考虑容易造成视觉产生对比度失真的区域，这样可在一定程度上提升编码后HDR视频的感知质量得分。
4)本发明方法在统计当前通道中落于位深为10bit的PQ曲线所覆盖的各个实际亮度间隔内的像素值的个数时，考虑到一个通道内存在许多相同的实际亮度值而采用去重统计方式，去重统计是指相同的实际亮度值仅计数1个，这样避免了非去重统计下相同实际亮度值重复计数而造成的整型量化数据分配过多，以至于对优化后提升编码性能意义不大。
5)本发明方法通过对HDR视频信号的自适应映射预处理，改进了16bit浮点型数据到10bit整型数据转换过程中的整型量化数据浪费与视频帧空域量化失真问题，从而提升了HDR视频的编码性能。
附图说明
图1为本发明方法的总体实现框图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种高动态范围视频自适应预处理方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：在二维坐标系中，将位深为10bit的PQ曲线所覆盖的实际亮度范围非线性地划分为32个实际亮度间隔，使每个实际亮度间隔对应的量化亮度间隔初始拥有的整型量化数据为
Figure BDA0002269452100000091
个；在二维坐标系中若X轴表示实际亮度间隔则Y轴表示量化亮度间隔，若Y轴表示实际亮度间隔则X轴表示量化亮度间隔。
步骤二：将待预处理的高动态范围视频中的每帧分为Red、Green、Blue三个通道；然后将待预处理的高动态范围视频中当前待处理的第i帧定义为当前帧；其中，i为正整数，i的初始值为1，1≤i≤Frame，Frame表示待预处理的高动态范围视频中包含的帧的总帧数。
步骤三：将当前帧的当前待处理的第m个通道定义为当前通道；其中，m＝1,2,3，m＝1表示Red通道，m＝2表示Green通道，m＝3表示Blue通道。
步骤四：获取当前通道的最大实际亮度值和最小实际亮度值；然后计算当前通道的最大实际亮度值对应的量化亮度值，记为
Figure BDA0002269452100000092
并计算当前通道的最小实际亮度值对应的量化亮度值，记为
Figure BDA0002269452100000093
再根据
Figure BDA0002269452100000094
和
Figure BDA0002269452100000095
计算当前通道对应的未使用的整型量化数据的个数，记为
Figure BDA0002269452100000096
在此具体实施例中，步骤四中，
Figure BDA0002269452100000101
Figure BDA0002269452100000102
其中，符号
Figure BDA0002269452100000103
为向上取整符号，符号
Figure BDA0002269452100000104
为向下取整符号，max()为取最大值函数，min()为取最小值函数，
Figure BDA0002269452100000105
表示当前通道的最大实际亮度值，
Figure BDA0002269452100000106
表示当前通道的最小实际亮度值，
Figure BDA0002269452100000107
c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，
Figure BDA00022694521000001019
为引入的变量，计算
Figure BDA0002269452100000108
时
Figure BDA00022694521000001020
用于代表
Figure BDA0002269452100000109
计算
Figure BDA00022694521000001010
时
Figure BDA00022694521000001021
用于代表
Figure BDA00022694521000001011
步骤五：去重统计当前通道中落于位深为10bit的PQ曲线所覆盖的各个实际亮度间隔内的实际亮度值的个数，将当前通道中落于位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔内的实际亮度值的个数记为
Figure BDA00022694521000001012
其中，去重统计是指相同的实际亮度值仅计数1个，j为正整数，j的初始值为1，1≤j≤32。
步骤六：对当前通道进行双边滤波处理；然后对当前通道经双边滤波处理后得到的图像进行K-means聚类操作，聚类目标设置为聚为两类，得到当前通道的掩膜图，将当前通道中与其掩膜图中的白色区域所对应的一块区域作为容易造成视觉产生对比度失真的区域，记为
Figure BDA00022694521000001013
步骤七：根据
Figure BDA00022694521000001014
确定当前通道下位深为10bit的PQ曲线所覆盖的所有实际亮度间隔中需要调整优化的实际亮度间隔，并将这些需要调整优化的实际亮度间隔构成的集合记为Ω，而将剩余的实际亮度间隔构成的集合记为Ω'。
在此具体实施例中，步骤七中，Ω的获取过程为：
1)将
Figure BDA00022694521000001015
中的最大实际亮度值所落于的实际亮度间隔的间隔标号记为
Figure BDA00022694521000001016
将
Figure BDA00022694521000001017
中的最小实际亮度值所落于的实际亮度间隔的间隔标号记为
Figure BDA00022694521000001018
2)将值为298的实际亮度值所在的实际亮度间隔的间隔标号记为J1。
3)令
Figure BDA0002269452100000111
并令
Figure BDA0002269452100000112
然后将间隔标号在区间
Figure BDA0002269452100000113
内的所有实际亮度间隔构成的集合作为Ω；其中，min()为取最小值函数，max()为取最大值函数。
步骤八：将当前通道对应的未使用的整型量化数据分配给Ω中的每个实际亮度间隔，以实现Ω中的每个实际亮度间隔的调整优化；然后计算当前通道下最终分配给Ω中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给Ω中的第k个实际亮度间隔的整型量化数据的个数记为
Figure BDA0002269452100000114
Figure BDA0002269452100000115
其中，k为正整数，k的初始值为1，1≤k≤K，K表示Ω中的实际亮度间隔的总个数，round()表示四舍五入取整函数，
Figure BDA0002269452100000116
表示当前通道中落于Ω中的第k个实际亮度间隔内的实际亮度值的个数。
步骤九：在步骤八的基础上，计算当前通道对应的剩余还未使用的整型量化数据的个数，记为
Figure BDA0002269452100000117
若
Figure BDA0002269452100000118
则不进行继续分配，直接执行步骤十；若
Figure BDA0002269452100000119
则将当前通道对应的剩余还未使用的整型量化数据分配给Ω'中的每个实际亮度间隔，计算当前通道下最终分配给Ω'中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给Ω'中的第k'个实际亮度间隔的整型量化数据的个数记为
Figure BDA00022694521000001110
再执行步骤十；其中，k'为正整数，k'的初始值为1，1≤k'≤K'，K'表示Ω'中的实际亮度间隔的总个数，K+K'＝32，
Figure BDA0002269452100000121
表示当前通道中落于Ω'中的第k'个实际亮度间隔内的实际亮度值的个数。
步骤十：根据当前通道下最终分配给位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的整型量化数据的个数，计算当前通道下位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的最大实际亮度值和最小实际亮度值，将当前通道下位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔的最大实际亮度值和最小实际亮度值对应记为
Figure BDA0002269452100000122
和
Figure BDA0002269452100000123
Figure BDA0002269452100000124
其中，g为正整数，g的初始值为1，1≤g≤j，
Figure BDA0002269452100000125
表示当前通道下最终分配给位深为10bit的PQ曲线所覆盖的第g个实际亮度间隔的整型量化数据的个数，
Figure BDA0002269452100000126
表示当前通道下位深为10bit的PQ曲线所覆盖的第j-1个实际亮度间隔的最大实际亮度值，
Figure BDA00022694521000001214
为
Figure BDA00022694521000001215
的反函数，
Figure BDA0002269452100000127
c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，
Figure BDA00022694521000001216
为引入的变量，此处
Figure BDA00022694521000001217
用于代表
Figure BDA0002269452100000128
步骤十一：对当前通道中的每个像素点进行映射，得到映射后的图像，即为预处理后的图像，将预处理后的图像中坐标位置为(x,y)的像素点的实际亮度值记为
Figure BDA0002269452100000129
Figure BDA00022694521000001210
的获取过程为：当当前通道中坐标位置为(x,y)的像素点的实际亮度值大于或等于
Figure BDA00022694521000001211
且小于或等于
Figure BDA00022694521000001212
时，令
Figure BDA00022694521000001213
其中，1≤x≤Width，1≤y≤High，Width表示当前通道的宽度，High表示当前通道的高度，j*∈[1,32]，
Figure BDA0002269452100000131
表示通过步骤十可以得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最大实际亮度值，
Figure BDA0002269452100000132
表示通过步骤十可以得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最小实际亮度值，
Figure BDA0002269452100000133
表示当前通道中坐标位置为(x,y)的像素点的实际亮度值对应的量化亮度值，
Figure BDA0002269452100000134
表示当前通道中坐标位置为(x,y)的像素点的实际亮度值，
Figure BDA0002269452100000135
表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最小量化亮度值，也即为
Figure BDA0002269452100000136
所在的第j*个量化亮度间隔的最小量化亮度值，
Figure BDA0002269452100000137
表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最大量化亮度值，也即为
Figure BDA0002269452100000138
所在的第j*个量化亮度间隔的最大量化亮度值。
步骤十二：令m＝m+1；然后将当前帧的下一个待处理的通道作为当前通道；再返回步骤四继续执行，直至当前帧的三个通道处理完毕；其中，m＝m+1中的“＝”为赋值符号。
步骤十三：令i＝i+1；然后将待预处理的高动态范围视频中下一帧待处理的帧作为当前帧；再返回步骤三继续执行，直至待预处理的高动态范围视频中的所有帧处理完毕；其中，i＝i+1中的“＝”为赋值符号。
对本发明方法进行测试，以验证本发明方法的有效性和可行性。
本发明方法针对的是HDR视频非向后兼容编码框架中采用PQ曲线完成从16bit浮点型数据到10bit整型数据的转换过程中造成HDR视频非向后兼容编码性能下降的问题。编码性能下降意味着相同码率前提下编码后HDR视频质量下降或者相同编码后HDR视频质量前提下编码码率需要更多。在此依据相同编码后HDR视频质量前提下经本发明方法预处理与未经本发明方法预处理的HDR视频进行编码所消耗的码率进行测试。测试所采用的高动态范围视频序列为Market3序列和BalloonFestival序列，来自于MPEG，分辨率大小为1920×1080。
利用本发明方法分别对Market3序列和BalloonFestival序列进行自适应预处理，将利用本发明方法预处理后的高动态范围视频序列与原始的高动态范围视频序列按照高动态范围视频非向后兼容编码框架同时输入到HM编码仿真平台中，且保持编码配置相同。选用PSNR_DE、HDR-VDP-2两个客观质量评价方法来计算重建的高动态范围视频的质量，依据编码多产生的码率以及解码端重建的高动态范围视频的质量结合BD-rate来衡量。如表1所示，在相同的PSNR_DE、HDR-VDP-2分值下，负值表示相同质量评价准则下对经本发明方法预处理后的高动态范围视频进行编码相对对原始的高动态范围视频进行编码可以节省的码率。
表1经本发明方法预处理后编码相对未经本发明方法预处理后编码在不同质量评价准则下可节省的码率情况
Market3序列 BalloonFestival序列
PSNR_DE -12.31％ -13.20％
HDR-VDP-2 -26.66％ -18.31％
平均 -19.49％ -15.76％
从表1中可以看出，针对Market3序列利用本发明方法预处理后能够平均节省19.49％的码率，针对BalloonFestival序列利用本发明方法预处理后能够平均节省15.76％的码率，充分说明了本发明方法对HDR视频预处理可有效解决HDR视频非向后兼容编码框架中采用PQ曲线完成从16bit浮点型数据到10bit整型数据的转换过程中造成HDR视频非向后兼容编码性能下降问题。

Claims (3)

1.一种高动态范围视频自适应预处理方法，其特征在于包括以下步骤：
步骤一：在二维坐标系中，将位深为10bit的PQ曲线所覆盖的实际亮度范围非线性地划分为32个实际亮度间隔，使每个实际亮度间隔对应的量化亮度间隔初始拥有的整型量化数据为32个；
步骤二：将待预处理的高动态范围视频中的每帧分为Red、Green、Blue三个通道；然后将待预处理的高动态范围视频中当前待处理的第i帧定义为当前帧；其中，i为正整数，i的初始值为1，1≤i≤Frame，Frame表示待预处理的高动态范围视频中包含的帧的总帧数；
步骤三：将当前帧的当前待处理的第m个通道定义为当前通道；其中，m＝1,2,3，m＝1表示Red通道，m＝2表示Green通道，m＝3表示Blue通道；
步骤四：获取当前通道的最大实际亮度值和最小实际亮度值；然后计算当前通道的最大实际亮度值对应的量化亮度值，记为
Figure FDA0002269452090000011
并计算当前通道的最小实际亮度值对应的量化亮度值，记为
Figure FDA0002269452090000012
再根据
Figure FDA0002269452090000013
和
Figure FDA0002269452090000014
计算当前通道对应的未使用的整型量化数据的个数，记为
Figure FDA0002269452090000015
步骤五：去重统计当前通道中落于位深为10bit的PQ曲线所覆盖的各个实际亮度间隔内的实际亮度值的个数，将当前通道中落于位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔内的实际亮度值的个数记为
Figure FDA0002269452090000016
其中，去重统计是指相同的实际亮度值仅计数1个，j为正整数，j的初始值为1，1≤j≤32；
步骤六：对当前通道进行双边滤波处理；然后对当前通道经双边滤波处理后得到的图像进行K-means聚类操作，聚类目标设置为聚为两类，得到当前通道的掩膜图，将当前通道中与其掩膜图中的白色区域所对应的一块区域作为容易造成视觉产生对比度失真的区域，记为
Figure FDA0002269452090000021
步骤七：根据
Figure FDA0002269452090000022
确定当前通道下位深为10bit的PQ曲线所覆盖的所有实际亮度间隔中需要调整优化的实际亮度间隔，并将这些需要调整优化的实际亮度间隔构成的集合记为Ω，而将剩余的实际亮度间隔构成的集合记为Ω'；
步骤八：将当前通道对应的未使用的整型量化数据分配给Ω中的每个实际亮度间隔，以实现Ω中的每个实际亮度间隔的调整优化；然后计算当前通道下最终分配给Ω中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给Ω中的第k个实际亮度间隔的整型量化数据的个数记为
Figure FDA0002269452090000023
Figure FDA0002269452090000024
其中，k为正整数，k的初始值为1，1≤k≤K，K表示Ω中的实际亮度间隔的总个数，round()表示四舍五入取整函数，
Figure FDA0002269452090000025
Figure FDA0002269452090000026
表示当前通道中落于Ω中的第k个实际亮度间隔内的实际亮度值的个数；
步骤九：在步骤八的基础上，计算当前通道对应的剩余还未使用的整型量化数据的个数，记为
Figure FDA0002269452090000027
若
Figure FDA0002269452090000028
则不进行继续分配，直接执行步骤十；若
Figure FDA0002269452090000029
则将当前通道对应的剩余还未使用的整型量化数据分配给Ω'中的每个实际亮度间隔，计算当前通道下最终分配给Ω'中的每个实际亮度间隔的整型量化数据的个数，将当前通道下最终分配给Ω'中的第k'个实际亮度间隔的整型量化数据的个数记为
Figure FDA0002269452090000031
再执行步骤十；其中，k'为正整数，k'的初始值为1，1≤k'≤K'，K'表示Ω'中的实际亮度间隔的总个数，K+K'＝32，
Figure FDA0002269452090000032
表示当前通道中落于Ω'中的第k'个实际亮度间隔内的实际亮度值的个数；
步骤十：根据当前通道下最终分配给位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的整型量化数据的个数，计算当前通道下位深为10bit的PQ曲线所覆盖的每个实际亮度间隔的最大实际亮度值和最小实际亮度值，将当前通道下位深为10bit的PQ曲线所覆盖的第j个实际亮度间隔的最大实际亮度值和最小实际亮度值对应记为
Figure FDA0002269452090000033
和
Figure FDA0002269452090000034
Figure FDA0002269452090000035
其中，g为正整数，g的初始值为1，1≤g≤j，
Figure FDA0002269452090000036
表示当前通道下最终分配给位深为10bit的PQ曲线所覆盖的第g个实际亮度间隔的整型量化数据的个数，
Figure FDA0002269452090000037
表示当前通道下位深为10bit的PQ曲线所覆盖的第j-1个实际亮度间隔的最大实际亮度值，
Figure FDA0002269452090000038
为
Figure FDA0002269452090000039
的反函数，
Figure FDA00022694520900000310
c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、
c3＝18.6875、p1＝0.1593、p2＝78.8437，
Figure FDA00022694520900000311
为引入的变量，此处
Figure FDA00022694520900000312
用于代表
Figure FDA00022694520900000313
步骤十一：对当前通道中的每个像素点进行映射，得到映射后的图像，即为预处理后的图像，将预处理后的图像中坐标位置为(x,y)的像素点的实际亮度值记为
Figure FDA00022694520900000314
Figure FDA00022694520900000315
的获取过程为：当当前通道中坐标位置为(x,y)的像素点的实际亮度值大于或等于
Figure FDA00022694520900000316
且小于或等于
Figure FDA00022694520900000317
时，令
Figure FDA0002269452090000041
其中，1≤x≤Width，1≤y≤High，Width表示当前通道的宽度，High表示当前通道的高度，j*∈[1,32]，
Figure FDA0002269452090000042
表示通过步骤十得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最大实际亮度值，
Figure FDA0002269452090000043
表示通过步骤十得到的当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔的最小实际亮度值，
Figure FDA0002269452090000044
表示当前通道中坐标位置为(x,y)的像素点的实际亮度值对应的量化亮度值，
Figure FDA0002269452090000045
Yi m(x,y)表示当前通道中坐标位置为(x,y)的像素点的实际亮度值，
Figure FDA0002269452090000046
Figure FDA0002269452090000047
表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最小量化亮度值，也即为
Figure FDA0002269452090000048
所在的第j*个量化亮度间隔的最小量化亮度值，
Figure FDA0002269452090000049
表示当前通道下位深为10bit的PQ曲线所覆盖的第j*个实际亮度间隔对应的量化亮度间隔的最大量化亮度值，也即为
Figure FDA00022694520900000410
所在的第j*个量化亮度间隔的最大量化亮度值；
步骤十二：令m＝m+1；然后将当前帧的下一个待处理的通道作为当前通道；再返回步骤四继续执行，直至当前帧的三个通道处理完毕；其中，m＝m+1中的“＝”为赋值符号；
步骤十三：令i＝i+1；然后将待预处理的高动态范围视频中下一帧待处理的帧作为当前帧；再返回步骤三继续执行，直至待预处理的高动态范围视频中的所有帧处理完毕；其中，i＝i+1中的“＝”为赋值符号。
2.根据权利要求1所述的高动态范围视频自适应预处理方法，其特征在于所述的步骤四中，
Figure FDA0002269452090000051
Figure FDA0002269452090000052
其中，符号
Figure FDA0002269452090000053
为向上取整符号，符号
Figure FDA0002269452090000054
为向下取整符号，max()为取最大值函数，min()为取最小值函数，
Figure FDA0002269452090000055
表示当前通道的最大实际亮度值，
Figure FDA0002269452090000056
表示当前通道的最小实际亮度值，
Figure FDA0002269452090000057
c1、c2、c3、p1、p2均为常数，c1＝0.8359、c2＝18.8515、c3＝18.6875、p1＝0.1593、p2＝78.8437，
Figure FDA0002269452090000058
为引入的变量，计算
Figure FDA0002269452090000059
时
Figure FDA00022694520900000510
用于代表
Figure FDA00022694520900000511
计算
Figure FDA00022694520900000512
时
Figure FDA00022694520900000513
用于代表
Figure FDA00022694520900000514
3.根据权利要求1或2所述的高动态范围视频自适应预处理方法，其特征在于所述的步骤七中，Ω的获取过程为：
1)将
Figure FDA00022694520900000515
中的最大实际亮度值所落于的实际亮度间隔的间隔标号记为
Figure FDA00022694520900000516
将
Figure FDA00022694520900000517
中的最小实际亮度值所落于的实际亮度间隔的间隔标号记为
Figure FDA00022694520900000518
2)将值为298的实际亮度值所在的实际亮度间隔的间隔标号记为J1；
3)令
Figure FDA00022694520900000519
并令
Figure FDA00022694520900000520
然后将间隔标号在区间
Figure FDA00022694520900000521
内的所有实际亮度间隔构成的集合作为Ω；其中，min()为取最小值函数，max()为取最大值函数。
CN201911099679.3A 2019-11-12 2019-11-12 高动态范围视频自适应预处理方法 Active CN110933416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911099679.3A CN110933416B (zh) 2019-11-12 2019-11-12 高动态范围视频自适应预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911099679.3A CN110933416B (zh) 2019-11-12 2019-11-12 高动态范围视频自适应预处理方法

Publications (2)

Publication Number Publication Date
CN110933416A CN110933416A (zh) 2020-03-27
CN110933416B true CN110933416B (zh) 2021-07-20

Family

ID=69853813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911099679.3A Active CN110933416B (zh) 2019-11-12 2019-11-12 高动态范围视频自适应预处理方法

Country Status (1)

Country Link
CN (1) CN110933416B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114173189B (zh) * 2021-10-29 2023-02-07 荣耀终端有限公司 视频编辑方法、电子设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371583A (zh) * 2006-01-23 2009-02-18 马普科技促进协会 高动态范围编解码器
CN105828089A (zh) * 2016-01-31 2016-08-03 西安电子科技大学 一种基于自适应感知量化的视频编码方法和系统
CN108337516A (zh) * 2018-01-31 2018-07-27 宁波大学 一种面向多用户的hdr视频动态范围可分级编码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270710B2 (en) * 2007-10-11 2012-09-18 Unified Color Technologies, Llc Representation and quantization of digital images and evaluation of color differences
WO2016049327A1 (en) * 2014-09-26 2016-03-31 Dolby Laboratories Licensing Corporation Encoding and decoding perceptually-quantized video content
JP6362793B2 (ja) * 2015-01-19 2018-07-25 ドルビー ラボラトリーズ ライセンシング コーポレイション ハイダイナミックレンジ映像のためのディスプレイマネジメント
US11259023B2 (en) * 2018-04-12 2022-02-22 Qualcomm Incorporated Harmonization of transform-based quantization and dynamic range adjustment scale derivation in video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371583A (zh) * 2006-01-23 2009-02-18 马普科技促进协会 高动态范围编解码器
CN105828089A (zh) * 2016-01-31 2016-08-03 西安电子科技大学 一种基于自适应感知量化的视频编码方法和系统
CN108337516A (zh) * 2018-01-31 2018-07-27 宁波大学 一种面向多用户的hdr视频动态范围可分级编码方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
An Adaptive Quantizer for High Dynamic Range Content: Application to Video Coding;Yi Liu等;《IEEE Transactions on Circuits and Systems for Video Technology》;20171225;全文 *
Perceptual Signal Coding for More Efficient Usage of Bit Codes;Scott Miller等;《SMPTE Motion Imaging Journal》;20131231;全文 *
基于对比敏感度函数的高动态范围视频编码;佘航飞等;《光电子·激光》;20181031;全文 *
基于视觉感知的深度图超分辨和高动态范围视频压缩;于胜韬;《中国博士学位论文全文数据库》;20190731;全文 *

Also Published As

Publication number Publication date
CN110933416A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN108063944B (zh) 一种基于视觉显著性的感知码率控制方法
KR101794817B1 (ko) 지각적으로 양자화된 비디오 콘텐츠를 인코딩 및 디코딩하는 방법
CN105324997B (zh) 用于增强动态范围信号的分层编码的自适应整形
CN108924554B (zh) 一种球形加权结构相似度的全景视频编码率失真优化方法
CN1110962C (zh) 用于视频信号编码系统的自适应量化器
CN1419787A (zh) 基于质量的图像压缩
JP2020536283A (ja) Ｏｌｅｄ表示パネルのグレースケール補正表の圧縮方法
CN106358040B (zh) 一种基于显著性的码率控制比特分配方法
CN110401833B (zh) 图像传输方法及装置
CN1081052A (zh) 高清晰度电视信号的编码技术
CN106937116A (zh) 基于随机训练集自适应学习的低复杂度视频编码方法
WO2019092463A1 (en) Video image processing
EP3200457B1 (en) Content-adaptive reshaping for high dynamic range images
CN108900838B (zh) 一种基于hdr-vdp-2失真准则的率失真优化方法
CN105120295A (zh) 一种基于四叉树编码分割的hevc复杂度控制方法
CN110933416B (zh) 高动态范围视频自适应预处理方法
CN113068034A (zh) 视频编码方法及装置、编码器、设备、存储介质
CN107197266B (zh) 一种hdr视频编码方法
CN112887725A (zh) 参考帧缓存数据压缩方法、计算机装置及计算机可读存储介质
JP3289712B2 (ja) ディジタル画像データの圧縮方法及びその装置
CN115474044B (zh) 一种Bayer域图像有损压缩方法
CN114189688B (zh) 基于亮度模板匹配的色度分量预测方法
CN107948643B (zh) 一种降低jpeg图像方块效应的方法
CN113591878A (zh) 动态hdr图像特征提取方法
CN110381315B (zh) 码率控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240124

Address after: 313200 Room 337, Building 3, No. 266, Zhenxing Road, Yuyue Town, Deqing County, Huzhou City, Zhejiang Province

Patentee after: Huzhou Chuangguan Technology Co.,Ltd.

Country or region after: China

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

Country or region before: China

TR01 Transfer of patent right