CN108769677B - 一种基于感知的高动态范围视频动态范围可分级编码方法 - Google Patents

一种基于感知的高动态范围视频动态范围可分级编码方法 Download PDF

Info

Publication number
CN108769677B
CN108769677B CN201810547533.XA CN201810547533A CN108769677B CN 108769677 B CN108769677 B CN 108769677B CN 201810547533 A CN201810547533 A CN 201810547533A CN 108769677 B CN108769677 B CN 108769677B
Authority
CN
China
Prior art keywords
video
dynamic range
hdr10
entropy
sdr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810547533.XA
Other languages
English (en)
Other versions
CN108769677A (zh
Inventor
蒋刚毅
陈璐俊
郁梅
彭宗举
陈芬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Blue Diamond Culture Media Co ltd
Dragon Totem Technology Hefei Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN201810547533.XA priority Critical patent/CN108769677B/zh
Publication of CN108769677A publication Critical patent/CN108769677A/zh
Application granted granted Critical
Publication of CN108769677B publication Critical patent/CN108769677B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于感知的高动态范围视频动态范围可分级编码方法，并利用视觉感知去除编码冗余，提高了动态范围可分级编码的效率。首先，提出了基于色调映射的动态范围可分级模型，将HDR视频分解成为一个SDR视频和多个RSFs序列；然后，考虑感知特性分别提出基于信息熵分析和内容分割两种方案，根据SDR视频帧内容对RSFs进行感知滤波处理；最后，在解码端重建在MDR显示设备上显示的SDR视频和HDR视频。本方法与此前的研究工作相比，考虑了色调映射操作在视频编码中的影响，并结合感知特性更好地处理了RSFs。实验结果表明，所提出方法能有效提高编码性能。

Description

一种基于感知的高动态范围视频动态范围可分级编码方法
技术领域
本发明涉及视频编解码技术领域，尤其是涉及一种基于感知的高动态范围视频动态范围可分级编码方法。
背景技术
高动态范围(High Dynamic Range,HDR)视频能更真实地反映现实场景，为用户带来更真实的视觉体验，是数字媒体领域的新研究热点。传统视频系统中的显示设备主要采用8bit 标准动态范围(Standard Dynamic Rang,SDR)显示器，不能直接显示HDR视频，需要通过色调映射(Tone Mapping,TM)技术在SDR显示设备上呈现HDR效果。虽然现有少数HDR显示设备可显示HDR效果，但它们的动态范围参差不齐，有10bit、12bit等。在现有HDR 视频编码传输中，同一HDR视频流难以同时满足多动态范围(Multiple Dynamic Range,MDR) 显示终端的需求，这就要求视频系统服务端要在HDR视频编码过程中，充分考虑终端用户 MDR特性，并结合TM基于感知来实现HDR视频的动态范围可分级编码。
SDR视频一般以8bit量化深度存储，动态范围固定不变。现有的视频可分级编码技术主要考虑了时间、空间和质量上的可分级性，以满足用户对不同帧率、图像分辨率和图像质量等级调整的需求。2014年10月，视频编码联合协作小组(Joint Collaborative Teamon Video Coding,JCT-VC)在高性能视频编码(High Efficiency Video Coding,HEVC)标准基础上，发布了可分级视频编码(Scalable High Efficiency Video Coding,SHVC)标准。主要对可分级编码特有编码工具、解码过程进行了改进，其中“Scalable Main”和“Scalable Main10”档次分别实现了SDR视频和HDR视频在时空及质量上的可分级编码。2015年2月，为了提高SHVC对HDR 视频的压缩性能，动态图像专家组(Moving PictureExperts Group,MPEG)发起了技术征求稿 (Call for Evidence,CfE)，希望通过扩展HEVC标准、添加新技术以实现HDR和宽色域(Wide Color Gamut,WCG)视频的高效编码。在HDR视频发展和推广过程中，相关标准制定方近年来也对HDR视频相关技术做了诸多优化性研究。
尽管现有HEVC的扩展版本能对HDR视频进行编码，但其只能单一地编码固定动态范围的视频，在动态范围可分级性方面具有很大的局限性，且没有考虑到显示终端的TM过程在编码过程中的影响。为此，一些学者也提出了HDR视频编码的新方案。Rusanovskyy等提出了采用动态范围调整(Dynamic Range Adjustment,DRA)后向兼容编码方式对HDR视频进行编码，与非后向兼容编码方式相比，其性能有所提升；Mir等提出了双层后向兼容HDR视频编码的改进方案，并与单层HLG性能进行比较。但现有的后向兼容编码方式仍存在不足，它们只能满足高低两种动态范围用户的需求，未能实现不同动态范围级视频的联合编码。考虑到MDR用户显示设备特性和视觉感知特性，还需要结合TM和人眼感知来实现用户端显示设备友好兼容HEVC标准的高效HDR视频编码。此外，现在市场上已有8bit、10bit、12 bit不同动态范围的显示设备，未来还会出现更高动态范围的HDR显示设备。因此，为了实现面向MDR用户显示终端的HDR视频编码传输，并兼容HEVC标准，研究结合TM的HDR 视频动态范围可分级编码方法是一个满足MDR用户HDR视频流服务需求的有效途径。
发明内容
本发明所要解决的技术问题是提供一种基于感知的高动态范围视频动态范围可分级编码方法，该方法在考虑了MDR用户显示设备特性和视觉感知特性的同时，结合了TM和人眼感知，并兼容HEVC标准，从而实现HDR视频不同动态范围级的联合编码。
本发明所采用的技术方案是，一种基于感知的高动态范围视频动态范围可分级编码方法，该方法包括以下步骤：
①、将输入的HDR视频经过基于感知量化(PQ)的转换处理，获得12bit量化深度的HDR 视频序列；
②、通过建立一种基于色调映射的动态范围可分级的模型(TM-DRSM)，将一个HDR视频帧分解为一个SDR基本帧和多个残差信号帧(RSFs)，残差信号帧能表示相邻两个动态范围级之间的差异信息，同时记录原始残差信号帧的最大、最小值；
③、结合HDR视频内容特性和人眼感知特性，对HDR视频内容进行提取；
④、结合提取的视频内容对残差信号帧进行感知滤波处理，去除残差信号帧中的不可感知冗余；
⑤、将处理后的残差信号帧序列与SDR序列分别通过统一的HEVC编码器，编码成动态范围分级的视频码流，同时编码传输RSFs的最大、最小值，以辅助解码端HDR视频重建；
⑥、在解码端通过TM-DRSM的逆过程，解码重建得到不同动态范围量化深度的SDR和 HDR视频，以实现HDR视频内容能适应在多用户端MDR显示设备上显示。
本发明的有益效果是：提出了一种基于感知的高动态范围视频动态范围可分级编码方法，该方法通过提出一种基于色调映射的动态范围可分集模型TM-DRSM，将HDR视频流分解成为一个标准动态范围SDR视频和多个残差信号帧RSFs序列，形成动态范围分级的码流，从而满足多用户MDR显示终端的需求；同时，结合SDR帧进行信息熵分析和内容分割两种方案对 RSFs进行感知滤波处理，提高RSFs的编码效率，进一步提高编码方法的效率。
作为优先，在步骤①中，基于感知量化(PQ)的转换处理的具体过程为：
①-1、将原始OpenEXR格式的HDR-RGB图像数据通过感知量化(PQ)的非线性函数转换到感知域的R’G’B’；
①-2、经由一个3×3的转换矩阵实现从R’G’B’到Y’CbCr的颜色空间转换；
①-3、将转换后得到的数据量化到比特深度12bit的整型数据，即：
Figure RE-GDA0001788199430000031
其中，(Y’,Cb,Cr)表示经颜色空间转换得到的4:4:4浮点型数据，(DY’,DCb,DCr)表示量化后的整型数据，Clip3(·)表示两个方向限制(即0～2b-1)的裁剪函数，219*2b-8表示亮度尺度，2b-4表示亮度信号偏移量，224*2b-8表示色度尺度，2b-1表示色差信号偏移量，b表示量化深度，Round(·)表示舍入取整函数；
①-4、将4:4:4的色度格式采样为4:2:0的色度格式，并转换得到4:2:0色度格式的12bit 的Y’CbCr视频序列，以匹配后续的HEVC编码系统。
作为优先，在步骤②中，建立一种基于色调映射的动态范围可分级的模型(TM-DRSM) 的具体步骤为：
②-1、将动态范围表示为12bit的视频序列VHDR12经过一次色调映射操作，得到动态范围表示为10bit的视频序列VHDR10，该过程可以表示为：VHDR10(x,y)＝TM(VHDR12(x,y))，继而再经过一次色调映射操作，可到标准动态范围8bit的视频序列VSDR8，该过程可以表示为：VSDR8(x,y)＝TM(VHDR10(x,y))，其中，VSDR8(x,y)和VHDR10(x,y)分别表示8bit和10bit视频帧中坐标位置(x,y)处的像素值，TM(·)表示色调映射操作；
②-2、取VHDR10，在编码端采用HEVC Main10扩展的配置对VHDR10进行编码和解码，再经过一次逆色调映射操作，获得与VHDR12相同动态范围级的VHDR12’，即： VHDR12'(x,y)＝iTM(VHDR10(x,y))，其中，VHDR12’(x,y)表示VHDR10(x,y)经过逆色调映射后在 (x,y)处的像素值，iTM(·)表示逆色调映射操作，将VHDR12与VHDR12’作差得到RSF2o，即： SRSF2o＝VHDR12(x,y)-VHDR12'(x,y)；
②-3、取VSDR8，在编码端采用HEVC基本配置对VSDR8进行编码和解码，再经过一次逆色调映射操作，获得与VHDR10相同动态范围级的VHDR10’，即：VHDR10'(x,y)＝iTM(VSDR8(x,y))，其中，VHDR10’(x,y)表示VSDR8(x,y)经过逆色调映射后在(x,y)处的像素值，iTM(·)表示逆色调映射操作，将VHDR10与VHDR10’作差得到RSF1o，即：SRSF1o＝VHDR10(x,y)-VHDR10'(x,y)；
②-4、对RSF1o和RSF2o进行均匀量化处理，量化深度与SDR视频保持一致，从而得到2个残差信号帧，即RSF1和RSF2，SRSF1＝Quant(Norm(SRSF1o))， SRSF2＝Quant(Norm(SRSF2o))，其中，SRSF1、SRSF2分别表示8bit到10bit的RSF1和10bit 到12bit的RSF2，Norm(·)表示归一化处理，即将初始残差信号帧RSFso中的任意数值转化为[0,1]之间的归一化数据，Quant(·)表示均匀量化过程，即对归一化的残差数据进一步量化到可进行普通编码的数据范围，即8bit位深。
作为优先，在步骤③中，对HDR视频内容进行提取的方法为：基于信息熵计算的细节内容提取法，或者基于K-means聚类的内容分割法。
作为优先，在步骤③中，采用基于信息熵计算的细节内容提取法对HDR视频内容进行提取的具体方法为：通过对整个视频帧分块的方式，计算各图像块的信息量，用熵值替代该图像块的中心像素值，并依次滑动图像块窗口，可形成该视频帧的信息熵图。在N*N (测试实验中取N＝65，因最大编码单元LCU＝64*64)的图像块中，有k个灰度级，其中第i(i∈0,…,k-1)级灰度出现的概率为Pi，则它所含的熵(信息量)为 I(i)＝Pilog(1/Pi)＝-Pilog(Pi)，整个图像块熵的计算为
Figure RE-GDA0001788199430000041
在计算过程中，首行首列像素点为起始点的N*N图像块中，中心像素点位置存放该图像块的熵值，通过固定步长为p的窗口滑动，动态计算当前N*N图像块的熵，并存储生成 SDR视频内容的信息熵图模板。
作为优先，在步骤③中，采用基于K-means聚类的内容分割法对HDR视频内容进行提取的具体方法为：用K-means聚类的方法对SDR视频内容进行分簇，选取迭代5次以实现聚类稳定性，再通过形态学原理用圆盘型结构元素对聚类结果图进行膨胀，从而减少零碎图像块实现对SDR视频内容进行分割。
作为优先，步骤④中，结合视频内容对RSFs进行感知滤波处理的方法为：基于信息熵分析的自适应滤波处理法，或者基于内容分割的自适应滤波处理法。
作为优先，步骤④中，基于信息熵分析的自适应滤波处理法具体为：在设计自适应中值滤波器时，考虑上信息熵在视频内容各区域的数值大小，自适应调节滤波窗口，在平滑冗余噪声的同时保留动态范围级间差异信息，在图像块中将初始滤波窗口设置为3*3，即Wmin＝3，其实际大小根据所在图像区域内的熵值大小自适应调整，即：
Figure RE-GDA0001788199430000051
其中，Wmin＝3表示初始窗口设置为3*3， Wmax设置为19，H(i,j)表示以该像素点为中心的图像块的熵值，Hmax表示该图像块邻域为N内的熵值最大值，Hmin表示该图像块邻域为N内的熵值最小值。
作为优先，步骤④中，基于内容分割的自适应滤波处理法具体步骤为：(a)、设pij为(i, j)处的像素值，Wij为当前滤波窗口半径大小，pmax、pmin和pmed分别为Wij窗口中的灰度最大值、最小值和中值，Wmax为预设的最大窗口半径，若pmin＜pmed＜pmax，则执行步骤(b)，否则增大窗口Wij+＝2；若Wij<Wmax，则重复步骤(a)，否则输出pij；(b)、若 pmin＜pij＜pmax，则输出pij，否则输出pmed，其中，Wij的初始值设为3。
作为优先，步骤⑥中，通过基于色调映射的动态范围可分级的模型(TM-DRSM)的逆过程进行HDR视频重建的具体步骤为：
⑥-1、面向8bit显示设备的SDR视频VRSDR8，其由SDR视频码流HEVC解码器直接解码得到；
⑥-2、面向10bit和12bit显示设备的HDR视频VRHDR10和VRHDR12，VRHDR10和VRHDR12可由DRSM的逆过程重建得到，即
Figure RE-GDA0001788199430000052
Figure RE-GDA0001788199430000053
其中，VRHDR10(x,y)和VRHDR12(x,y)分别表示重建的10bit和12bit 视频帧中坐标位置(x,y)处的像素值，VRSDR8(x,y)表示8bit的SDR解码视频帧在坐标位置(x,y) 处的像素值，若视频帧的分辨率为L*W，则{(x,y)|x＝0,1,2,…,L-1,y＝0,1,2,…,W-1}；Qinv(p) 表示像素值p的反量化过程，b取8，pmax和pmin从SEI信息中获得。
附图说明
图1为本发明方法的实现框图；
图2为基于色调映射的动态范围可分级模型TM-DRSM示意图(以BalloonFestival序列第1帧为例)；
图3为解码重建过程示意图；
图4为实验采用的HDR视频测试序列图；
图5为SDR视频内容及其对应的信息熵模板图(以BalloonFestival序列第1帧为例)；
图5(a)为SDR视频内容图；
图5(b)为SDR视频的的信息熵图；
图6为基于K-means聚类的内容分割图；
图6(a)为序列BalloonFestival的SDR视频帧图；
图6(b)为序列BalloonFestival的聚类效果图；
图6(c)为序列BalloonFestival的内容分割图；
图6(d)为序列SunRise的SDR视频帧图；
图6(e)为序列SunRise的聚类效果图；
图6(f)为序列SunRise的内容分割图；
图6(g)为序列Market3的SDR视频帧图；
图6(h)为序列Market3的聚类效果图；
图6(i)为序列Market3的内容分割图；
图7为基于内容分割的自适应滤波处理示意图(以BalloonFestival序列第1帧为的RSF1例)；
图7(a)为序列BalloonFestival视频内容的内容分割掩模图；
图7(b)为序列BalloonFestival的第一帧的RSF1内容；
图7(c)为序列BalloonFestival的纹理复杂区域的自适应滤波处理图；
图7(d)为序列BalloonFestival的纹理平坦区域的自适应滤波处理图；
图8为两种感知滤波方案与HM-16.9平台相比HDR视频的率失真(R-D)曲线图；
图8(a)为序列BalloonFestival 10bit的率失真性能曲线对比图；
图8(b)为序列BalloonFestival 12bit的率失真性能曲线对比图；
图8(c)为序列SunRise 10bit的率失真性能曲线对比图；
图8(d)为序列SunRise 12bit的率失真性能曲线对比图；
图8(e)为序列Market3 10bit的率失真性能曲线对比图；
图8(f)为序列Market3 12bit的率失真性能曲线对比图。
具体实施方式
以下参照附图并结合具体实施方式来进一步描述发明，以令本领域技术人员参照说明书文字能够据以实施，本发明保护范围并不受限于该具体实施方式。
本发明涉及一种基于感知的高动态范围视频动态范围可分级编码方法，其将输入的HDR 视频经过基于感知量化(PQ)的转换处理，获得12bit量化深度的HDR视频序列，该格式与HEVC所能兼容的编码格式一致；然后，为了更好地满足MDR用户的需求，更贴近显示终端的特性，发挥多个RSFs的增强性，提出了一种基于色调映射的动态范围可分级的模型(TM-DRSM)，该模型可通过色调映射操作，将一个HDR视频帧分解成为一个SDR视频帧和多个RSFs；此外，为了提高RSFs的编码性能，结合HDR视频内容特性和人眼感知特性，根据SDR视频帧内容对RSFs进行了感知滤波处理，去除RSFs中的不可感知冗余，同时，将RSFs量化前的最大、最小值作为SEI进行编码传输，以辅助解码端HDR视频的重建；最后，在解码端解码动态范围分级的码流，再通过TM-DRSM 的逆过程，重建得到不同量化深度、且适应在多动态范围显示设备上显示的SDR视频和HDR视频。
图1为本发明的一种基于感知的高动态范围视频动态范围可分级编码方法总体实现框图，其具体实现步骤如下：
①、将输入的HDR视频经过基于PQ的转换处理，获得12bit量化深度的HDR视频序列，具体为：
①-1、将原始OpenEXR格式的HDR-RGB图像数据通过PQ的非线性函数转换到感知域的R’G’B’；
①-2、经由一个3×3的转换矩阵实现从R’G’B’到Y’CbCr的颜色空间转换；
①-3、将转换后的数据量化到比特深度12bit的整型数据，
Figure RE-GDA0001788199430000071
其中，(Y’,Cb,Cr)表示经颜色空间转换得到的4:4:4浮点型数据，(DY’,DCb,DCr)表示量化后的整型数据，Clip3(·)表示两个方向限制(即0～2b-1)的裁剪函数，219*2b-8表示亮度尺度，2b-4表示亮度信号偏移量，224*2b-8表示色度尺度，2b-1表示色差信号偏移量，b表示量化深度，Round(·)表示舍入取整函数；
①-4、将4:4:4的色度格式下采样为4:2:0的色度格式，并转换得到4:2:0色度格式的12bit 的Y’CbCr视频序列，以匹配后续的HEVC编码系统。
②、通过建立一种基于色调映射的动态范围可分级的模型(TM-DRSM)，如图2所示，将一个HDR视频帧分解为一个SDR基本帧和多个残差信号帧(RSFs)，RSFs能表示相邻两个动态范围级之间的差异信息，同时记录原始RSFs的最大、最小值；建立TM-DRSM的具体步骤：
②-1、将动态范围表示为12bit的视频序列(VHDR12)经过一次色调映射操作， VHDR10(x,y)＝TM(VHDR12(x,y))，得到动态范围表示为10bit的视频序列(VHDR10)，继而再经过一次色调映射操作，VSDR8(x,y)＝TM(VHDR10(x,y))，可到标准动态范围8bit的视频序列 (VSDR)，其中，VSDR8(x,y)和VHDR10(x,y)分别表示8bit和10bit视频帧中坐标位置(x,y) 处的像素值，TM(·)表示色调映射操作。；
②-2、取VHDR10在编码端采用HEVC Main10扩展的配置进行编码和解码，再经过一次逆色调映射操作，VHDR12'(x,y)＝iTM(VHDR10(x,y))，获得与VHDR12相同动态范围级的VHDR12’，两者作差得到RSF2o，SRSF2o＝VHDR12(x,y)-VHDR12'(x,y)，其中，VHDR12’(x,y)表示VHDR10(x,y) 经过逆色调映射后在(x,y)处的像素值，iTM(·)表示逆色调映射操作；
②-3、取VSDR在编码端采用HEVC基本配置进行编码和解码，再经过一次逆色调映射操作，VHDR10'(x,y)＝iTM(VSDR8(x,y))，获得与VHDR10相同动态范围级的VHDR10’，两者作差得到RSF1o，SRSF1o＝VHDR10(x,y)-VHDR10'(x,y)，其中，VHDR10’(x,y)表示VSDR8(x,y)经过逆色调映射后在(x,y)处的像素值，iTM(·)表示逆色调映射操作；
②-4、对RSF1o和RSF2o进行均匀量化处理，量化深度与SDR视频保持一致，从而得到2个残差信号帧，即RSF1和RSF2，SRSF1＝Quant(Norm(SRSF1o))， SRSF2＝Quant(Norm(SRSF2o))，其中，SRSF1、SRSF2分别表示8bit到10bit的RSF1和10bit 到12bit的RSF2，Norm(·)表示归一化处理，即将初始残差信号帧RSFso中的任意数值转化为[0,1]之间的归一化数据；Quant(·)表示均匀量化过程，即对归一化的残差数据进一步量化到可进行普通编码的数据范围，即8bit位深。
③、结合HDR视频内容特性和人眼感知特性，提出了两种方案能够对HDR视频内容进行提取，方案一为：基于信息熵计算的细节内容提取法，通过对整个视频帧分块的方式，计算各图像块的信息量，用熵值替代该图像块的中心像素值，并依次滑动图像块窗口，可形成该视频帧的信息熵图。在N*N(测试实验中取N＝65，因最大编码单元 LCU＝64*64)的图像块中，有k个灰度级，其中第i(i∈0,…,k-1)级灰度出现的概率为Pi，则它所含的熵(信息量)为I(i)＝Pilog(1/Pi)＝-Pilog(Pi)，整个图像块熵的计算为
Figure RE-GDA0001788199430000081
在计算过程中，首行首列像素点为起始点的N*N图像块中，中心像素点位置存放该图像块的熵值，通过固定步长为p的窗口滑动，动态计算当前N*N图像块的熵，并存储生成SDR视频内容的信息熵图模板；方案二为：基于 K-means聚类的内容分割，用K-means聚类的方法对SDR视频内容进行分簇，选取迭代5次以实现聚类稳定性，再通过形态学原理用圆盘型结构元素对聚类结果图进行膨胀，从而减少零碎图像块实现对SDR视频内容进行分割；
④、结合视频内容对RSFs进行感知滤波处理，提出了两种方案能够去除RSFs中的不可感知冗余，方案一为：基于信息熵分析的自适应滤波处理，自适应中值滤波器在设计时考虑了信息熵在视频内容各区域的数值大小，自适应调节滤波窗口，在平滑冗余噪声的同时保留动态范围级间差异信息。在图像块中将初始滤波窗口设置为3*3，即Wmin＝3，其实际大小根据所在图像区域内的熵值大小自适应调整，
Figure RE-GDA0001788199430000091
其中， Wmin＝3表示初始窗口设置为3*3，Wmax设置为19，H(i,j)表示以该像素点为中心的图像块的熵值，Hmax表示该图像块邻域为N内的熵值最大值，Hmin表示该图像块邻域为N 内的熵值最小值；方案二为：基于内容分割的自适应滤波处理，设pij为(i,j)处的像素值， Wij为当前滤波窗口半径大小，pmax、pmin和pmed分别为Wij窗口中的灰度最大值、最小值和中值，Wmax为预设的最大窗口半径。其算法基本步骤如下：(a)若pmin＜pmed＜pmax，则执行(b)，否则增大窗口Wij+＝2；若Wij<Wmax，则重复(a)，否则输出pij；(b)若 pmin＜pij＜pmax，则输出pij，否则输出pmed，其中，Wij的初始值设为3；
⑤、将处理后的RSFs序列与SDR序列分别通过统一的HEVC编码器，编码成动态范围分级的视频码流，同时编码传输RSFs的最大、最小值，以辅助解码端HDR视频重建；
⑥、如图3所示，在解码端通过TM-DRSM的逆过程，解码重建得到不同动态范围量化深度的SDR和HDR视频，以实现HDR视频内容能适应在多用户端MDR显示设备上显示；
⑥-1、面向8bit显示设备的SDR视频VRSDR8，由SDR视频码流HEVC解码器直接解码得到；
⑥-2、面向10bit和12bit显示设备的HDR视频VRHDR10和VRHDR12，可由DRSM的逆过程重建得到，即：
Figure RE-GDA0001788199430000092
其中，VRHDR10(x,y)和VRHDR12(x,y)分别表示重建的10bit和12bit视频帧中坐标位置(x,y)处的像素值，VRSDR8(x,y)表示8bit的SDR解码视频帧在坐标位置(x,y)处的像素值，若视频帧的分辨率为L*W，则{(x,y)|x＝0,1,2,…,L-1,y＝0,1,2,…,W-1}；Qinv(p)表示像素值p的反量化过程，b取8，pmax和pmin从SEI信息中获得。
图2中，TM-DRSM中涉及到的动态范围压缩与扩展方法，均采用由JCT-VC提供，并已编入HDRTools v0.13工具包的色调映射与逆色调映射曲线gamma2.6。
以下为对本发明的编码方法进行测试，以证明本发明的编码方法的有效性和可行性。测试所采用的HDR视频测试序列均来自于公认的测试数据库，由MPEG提供，分别是BalloonFestival、SunRise和Market3，分辨率大小为1920×1080，原始帧图像格式为OpenEXR，其首帧内容如图4所示。
图5为SDR视频内容及其对应的信息熵模板图(以BalloonFestival序列第1帧为例)。在计算过程中，首行首列像素点为起始点的N*N图像块中，中心像素点位置存放该图像块的熵值，通过固定步长为p的窗口滑动，动态计算当前N*N图像块的熵，并存储，生成SDR视频内容的信息熵图模板。在模板图中，可清晰记录视频内容中的结构、纹理等细节信息，信息熵越大表示纹理越丰富，即在滤波处理时的窗口设置需更小。
图6(a)～(i)为基于K-means聚类的内容分割图。图(a)(d)(g)分别为BalloonFestival序列、 SunRise序列和Market3序列的SDR视频内容，图(b)(e)(h)分别为图(a)(d)(g)的聚类分割标签图，其中白色区域表示纹理复杂区域，黑色区域表示纹理相对平坦区域，图(c)(f)(i) 分别为图(b)(e)(h)经形态学处理后的分区掩模图，用于后续RSFs感知滤波处理。
图7为基于内容分割的自适应滤波处理示意图(以BalloonFestival序列第1帧的RSF1为例)。图(a)为SDR视频内容的内容分割掩模图，图(b)为BalloonFestival序列第一帧的RSF1内容，图(c)为纹理复杂区域的滤波处理图，图(d)为纹理平坦区域的滤波处理图。
表1为所提出方法与原始参考平台比较的BD-rate结果。其中，Proposedenp表示基于信息熵自适应滤波处理的方法所重建10bit和12bit HDR视频的结果，Proposedkm表示基于内容分割自适应滤波处理方法的结果。Proposedenp方案中，编码重建10bit和12bit HDR视频的编码性能与原始参考平台相比，分别节省了22.70％和26.70％，平均节省 24.70％；Proposedkm方案中，编码重建10bit和12bit HDR视频的编码性能与原始参考平台相比，分别节省了31.17％和33.77％，平均节省32.47％。
表1
Figure RE-GDA0001788199430000101
Figure RE-GDA0001788199430000111
图8(a)～(f)为根据HDR-VDP-2.2质量指标和码率消耗绘制的率失真曲线。这里，将 HM-16.9直接按不同级别配置编码的方法记为Pro1，对TM-DRSM分级产生的所有序列直接编码的方法记为Pro2，基于信息熵计算的自适应滤波处理方法记为Pro3，基于图像分割的自适应滤波处理方法记为Pro4。虽然Pro1的总体码率消耗少，但其重建HDR视频的质量较低，总体率失真性能劣于其他方案，且其操作繁琐，不能实现MDR用户显示设备的友好兼容性；虽然Pro2的重建结果更接近原始HDR视频，但其码率消耗较大，在编码过程中存在较大的冗余；Pro3与Pro4两种方案的率失真性能差不多，Pro4相对更优。

Claims (4)

1.一种基于感知的高动态范围视频动态范围可分级编码方法，其特征在于，该方法包括以下步骤：
①、将输入的HDR视频经过基于感知量化的转换处理，获得12bit量化深度的HDR视频序列；
②、通过建立一种基于色调映射的动态范围可分级的模型TM-DRSM，将一个HDR视频帧分解为一个SDR基本帧和多个残差信号帧RSFs，RSFs能表示相邻两个动态范围级之间的差异信息，同时记录原始残差信号帧的最大、最小值；
建立TM-DRSM的具体步骤为：
②-1、将动态范围表示为12bit的视频序列VHDR12经过一次色调映射操作，得到动态范围表示为10bit的视频序列VHDR10，该过程可以表示为：VHDR10(x,y)＝TM(VHDR12(x,y))，继而再经过一次色调映射操作，可到标准动态范围8bit的视频序列VSDR8，该过程可以表示为：VSDR8(x,y)＝TM(VHDR10(x,y))，其中，VSDR8(x,y)和VHDR10(x,y)分别表示8bit和10bit视频帧中坐标位置(x,y)处的像素值，TM(·)表示色调映射操作；
②-2、取VHDR10，在编码端采用HEVC Main10扩展的配置对VHDR10进行编码和解码，再经过一次逆色调映射操作，获得与VHDR12相同动态范围级的VHDR12’，即：VHDR12'(x,y)＝iTM(VHDR10(x,y))，其中，VHDR12’(x,y)表示VHDR10(x,y)经过逆色调映射后在(x,y)处的像素值，iTM(·)表示逆色调映射操作，将VHDR12与VHDR12’作差得到RSF2o，即：SRSF2o＝VHDR12(x,y)-VHDR12'(x,y)；
②-3、取VSDR8，在编码端采用HEVC基本配置对VSDR8进行编码和解码，再经过一次逆色调映射操作，获得与VHDR10相同动态范围级的VHDR10’，即：VHDR10'(x,y)＝iTM(VSDR8(x,y))，其中，VHDR10’(x,y)表示VSDR8(x,y)经过逆色调映射后在(x,y)处的像素值，iTM(·)表示逆色调映射操作，将VHDR10与VHDR10’作差得到RSF1o，即：SRSF1o＝VHDR10(x,y)-VHDR10'(x,y)；
②-4、对RSF1o和RSF2o进行均匀量化处理，量化深度与SDR视频保持一致，从而得到2个残差信号帧，即RSF1和RSF2，SRSF1＝Quant(Norm(SRSF1o))，SRSF2＝Quant(Norm(SRSF2o))，其中，SRSF1、SRSF2分别表示8bit到10bit的RSF1和10bit到12bit的RSF2，Norm(·)表示归一化处理，即将初始残差信号帧RSFso中的任意数值转化为[0,1]之间的归一化数据，Quant(·)表示均匀量化过程，即对归一化的残差数据进一步量化到可进行普通编码的数据范围，即8bit位深；
③、结合HDR视频内容特性和人眼感知特性，对HDR视频内容进行提取，对HDR视频内容进行提取的方法包括基于信息熵计算的细节内容提取法，或者基于K-means聚类的内容分割法，采用基于信息熵计算的细节内容提取法对HDR视频内容进行提取的具体方法为：通过对整个视频帧分块的方式，计算各图像块的信息量，用熵值替代该图像块的中心像素值，并依次滑动图像块窗口，可形成该视频帧的信息熵图。在N*N的图像块中，有k个灰度级，其中第i(i∈0,…,k-1)级灰度出现的概率为Pi，则它所含的熵为I(i)＝Pilog(1/Pi)＝-Pilog(Pi)，整个图像块熵的计算为
Figure FDA0002975544710000021
在计算过程中，首行首列像素点为起始点的N*N图像块中，中心像素点位置存放该图像块的熵值，通过固定步长为p的窗口滑动，动态计算当前N*N图像块的熵，并存储生成SDR视频内容的信息熵图模板；
④、结合提取的视频内容对RSFs进行感知滤波处理，去除RSFs中的不可感知冗余；结合视频内容对RSFs进行感知滤波处理的方法为：基于信息熵分析的自适应滤波处理法，或者基于内容分割的自适应滤波处理法；所述的基于信息熵分析的自适应滤波处理法具体为：在设计自适应中值滤波器时，考虑上信息熵在视频内容各区域的数值大小，自适应调节滤波窗口，在平滑冗余噪声的同时保留动态范围级间差异信息，在图像块中将初始滤波窗口设置为3*3，即Wmin＝3，其实际大小根据所在图像区域内的熵值大小自适应调整，
Figure FDA0002975544710000022
其中，Wmin＝3表示初始窗口设置为3*3，Wmax设置为19，H(i,j)表示以(i,j)处的像素点为中心的图像块的熵值，Hmax表示该图像块邻域为N内的熵值最大值，Hmin表示该图像块邻域为N内的熵值最小值；所述的基于内容分割的自适应滤波处理法具体步骤为：(a)、设pij为(i,j)处的像素值，Wij为当前滤波窗口半径大小，pmax、pmin和pmed分别为Wij窗口中的灰度最大值、最小值和中值，Wmax为预设的最大窗口半径，若pmin＜pmed＜pmax，则执行步骤(b)，否则增大窗口Wij+＝2；若Wij<Wmax，则重复步骤(a)，否则输出pij；(b)、若pmin＜pij＜pmax，则输出pij，否则输出pmed，其中，Wij的初始值设为3。
⑤、将处理后的RSFs序列与SDR序列分别通过统一的HEVC编码器，编码成动态范围分级的视频码流，同时编码传输残差信号帧的最大、最小值，以辅助解码端HDR视频重建；
⑥、在解码端通过TM-DRSM的逆过程，解码重建得到不同动态范围量化深度的SDR和HDR视频，以实现HDR视频内容能适应在多用户端MDR显示设备上显示。
2.根据权利要求1所述的一种基于感知的高动态范围视频动态范围可分级编码方法，其特征在于，在步骤①中，基于感知量化的转换处理的具体过程为：
①-1、将原始OpenEXR格式的HDR-RGB图像数据通过感知量化的非线性函数转换到感知域的R’G’B’；
①-2、经由一个3×3的转换矩阵实现从R’G’B’到Y’CbCr的颜色空间转换；
①-3、将转换后得到的数据量化到比特深度12bit的整型数据，即：
Figure FDA0002975544710000031
其中，(Y’,Cb,Cr)表示经颜色空间转换得到的4:4:4浮点型数据，(DY’,DCb,DCr)表示量化后的整型数据，Clip3(·)表示两个方向限制(即0～2b-1)的裁剪函数，219*2b-8表示亮度尺度，2b-4表示亮度信号偏移量，224*2b-8表示色度尺度，2b-1表示色差信号偏移量，b表示量化深度，Round(·)表示舍入取整函数；
①-4、将4:4:4的色度格式采样为4:2:0的色度格式，并转换得到4:2:0色度格式的12bit的Y’CbCr视频序列，以匹配后续的HEVC编码系统。
3.根据权利要求1所述的一种基于感知的高动态范围视频动态范围可分级编码方法，其特征在于，所述的采用基于K-means聚类的内容分割法对HDR视频内容进行提取的具体方法为：用K-means聚类的方法对SDR视频内容进行分簇，选取迭代5次以实现聚类稳定性，再通过形态学原理用圆盘型结构元素对聚类结果图进行膨胀，从而减少零碎图像块实现对SDR视频内容进行分割。
4.根据权利要求1所述的一种基于感知的高动态范围视频动态范围可分级编码方法，其特征在于，步骤⑥中，通过TM-DRSM的逆过程进行HDR视频重建的具体步骤为：
⑥-1、面向8bit显示设备的SDR视频VRSDR8，其由SDR视频码流HEVC解码器直接解码得到；
⑥-2、面向10bit和12bit显示设备的HDR视频VRHDR10和VRHDR12，VRHDR10和VRHDR12可由DRSM的逆过程重建得到，即
Figure FDA0002975544710000032
Figure FDA0002975544710000041
其中，VRHDR10(x,y)和VRHDR12(x,y)分别表示重建的10bit和12bit视频帧中坐标位置(x,y)处的像素值，VRSDR8(x,y)表示8bit的SDR解码视频帧在坐标位置(x,y)处的像素值，若视频帧的分辨率为L*W，则{(x,y)|x＝0,1,2,…,L-1,y＝0,1,2,…,W-1}；Qinv(p)表示像素值p的反量化过程，b取8，pmax和pmin从SEI信息中获得。
CN201810547533.XA 2018-05-31 2018-05-31 一种基于感知的高动态范围视频动态范围可分级编码方法 Active CN108769677B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810547533.XA CN108769677B (zh) 2018-05-31 2018-05-31 一种基于感知的高动态范围视频动态范围可分级编码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810547533.XA CN108769677B (zh) 2018-05-31 2018-05-31 一种基于感知的高动态范围视频动态范围可分级编码方法

Publications (2)

Publication Number Publication Date
CN108769677A CN108769677A (zh) 2018-11-06
CN108769677B true CN108769677B (zh) 2021-07-30

Family

ID=64000881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810547533.XA Active CN108769677B (zh) 2018-05-31 2018-05-31 一种基于感知的高动态范围视频动态范围可分级编码方法

Country Status (1)

Country Link
CN (1) CN108769677B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110264412B (zh) * 2019-05-16 2021-05-25 北京奇艺世纪科技有限公司 图像处理方法、装置、终端设备以及存储介质
WO2021178027A1 (en) * 2020-03-03 2021-09-10 Hrl Laboratories, Llc Contrast and entropy based perception adaptation using probabilistic signal temporal logic based optimization
CN111508424A (zh) * 2020-05-22 2020-08-07 东莞阿尔泰显示技术有限公司 Led显示屏色调映射的方法及控制系统
CN113225553B (zh) * 2021-04-18 2022-09-06 南京理工大学 预测高动态视频双层向后兼容编码系统中最佳阈值点的方法
CN114222187B (zh) * 2021-08-12 2023-08-29 荣耀终端有限公司 视频编辑方法和电子设备
CN114173189B (zh) * 2021-10-29 2023-02-07 荣耀终端有限公司 视频编辑方法、电子设备和存储介质
CN114708180B (zh) * 2022-04-15 2023-05-30 电子科技大学 具有动态范围保持的预失真图像比特深度量化和增强方法
CN115293994B (zh) * 2022-09-30 2022-12-16 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机设备和存储介质
CN116743670B (zh) * 2023-08-14 2023-10-27 中国标准化研究院 一种基于编码预制的同类信息快速自检查方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493490A (zh) * 2011-04-25 2014-01-01 杜比实验室特许公司 非线性视觉动态范围残留量化器
EP3107301A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
CN108337516A (zh) * 2018-01-31 2018-07-27 宁波大学 一种面向多用户的hdr视频动态范围可分级编码方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440401B2 (en) * 2016-04-07 2019-10-08 Dolby Laboratories Licensing Corporation Backward-compatible HDR codecs with temporal scalability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103493490A (zh) * 2011-04-25 2014-01-01 杜比实验室特许公司 非线性视觉动态范围残留量化器
EP3107301A1 (en) * 2015-06-15 2016-12-21 Thomson Licensing Method and device for encoding both a high-dynamic range frame and an imposed low-dynamic range frame
CN108337516A (zh) * 2018-01-31 2018-07-27 宁波大学 一种面向多用户的hdr视频动态范围可分级编码方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A BIT-DEPTH SCALABLE VIDEO CODING APPROACH CONSIDERING;Masaru TAKEUCHI等;《 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)》;20120831;全文 *
Improved Two-Layer backward-compatible HDR video coding: A performance comparison with Single-Layer HLG;Junaid Mir 等;《2017 IEEE International Conference on Consumer Electronics (ICCE)》;20170330;全文 *
SCALABLE CODING OF HIGH DYNAMIC RANGE VIDEO;Andrew Segall;《2007 IEEE International Conference on Image Processing》;20071019;全文 *
一种改进图像色貌模型的高动态范围视频色调映射新方法;陈璐俊等;《激光杂志》;20170630;全文 *

Also Published As

Publication number Publication date
CN108769677A (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
CN108769677B (zh) 一种基于感知的高动态范围视频动态范围可分级编码方法
US11375193B2 (en) System for coding high dynamic range and wide color gamut sequences
CN108337516B (zh) 一种面向多用户的hdr视频动态范围可分级编码方法
CN113228660B (zh) 增强的标准动态范围视频（sdr+）中的基于机器学习的动态合成
TWI431948B (zh) 轉換區塊之效率編碼和解碼
KR100880039B1 (ko) 웨이블릿 기반 이미지 코덱에서의 부호화 이득을 달성하는방법 및 시스템
US8457425B2 (en) Embedded graphics coding for images with sparse histograms
CN103458242B (zh) 基于颜色分类与聚类的图像压缩方法
AU2006230691B2 (en) Video Source Coding with Decoder Side Information
US8285062B2 (en) Method for improving the performance of embedded graphics coding
CN107864379B (zh) 一种应用于视频编解码的压缩方法
MXPA06002154A (es) Metodo de codificacion y decodificacion escalable de video de espacio de color y aparato para el mismo.
CN108900838B (zh) 一种基于hdr-vdp-2失真准则的率失真优化方法
JP2003198854A (ja) レート帰還を使用したシングルパスフィット保証データ圧縮方法
CN111726614A (zh) 一种基于空域下采样与深度学习重建的hevc编码优化方法
JP2022536512A (ja) 符号化器及び一連のフレームを符号化する方法
CN111726638A (zh) 一种结合去压缩效应与超分辨率的hevc编码优化方法
Lauga et al. Segmentation-based optimized tone mapping for high dynamic range image and video coding
CN114556940A (zh) 视频编解码器中的质量与计算复杂度之间的可调整的折衷
Abeda et al. Pixel based techniques for gray image compression: A review
Kumar et al. Prediction error based compression of color images using WDR coding
Lauga et al. Region-based tone mapping for efficient High Dynamic Range video coding
EP3308541A1 (en) System for coding high dynamic range and wide color gamut sequences
KR20070111111A (ko) 영상 압축방법과 신장방법 및 그 장치
CN114882133B (zh) 一种图像编解码方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230703

Address after: Room 201, Unit 5, Building 8, Yard 1, Shuangliu North Street, Chaoyang District, Beijing, 100000

Patentee after: Beijing Blue Diamond Culture Media Co.,Ltd.

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Effective date of registration: 20230703

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 315211, Fenghua Road, Jiangbei District, Zhejiang, Ningbo 818

Patentee before: Ningbo University

TR01 Transfer of patent right