CN113706412A - 一种sdr到hdr转换方法 - Google Patents
一种sdr到hdr转换方法 Download PDFInfo
- Publication number
- CN113706412A CN113706412A CN202110976983.2A CN202110976983A CN113706412A CN 113706412 A CN113706412 A CN 113706412A CN 202110976983 A CN202110976983 A CN 202110976983A CN 113706412 A CN113706412 A CN 113706412A
- Authority
- CN
- China
- Prior art keywords
- brightness
- image
- sdr
- hdr
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 42
- 238000013507 mapping Methods 0.000 claims abstract description 35
- 230000006870 function Effects 0.000 claims abstract description 24
- 230000007704 transition Effects 0.000 claims abstract description 17
- 238000010801 machine learning Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 26
- 230000009466 transformation Effects 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000004519 manufacturing process Methods 0.000 claims description 10
- 241000023320 Luma <angiosperm> Species 0.000 claims description 6
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000006872 improvement Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 230000009977 dual effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 5
- 238000011156 evaluation Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开的一种SDR到HDR转换方法,涉及一种基于机器学习的逆色调映射模型,属于图像处理领域。本方法本发明公开的一种SDR到HDR转换方法,是通过机器学习方法预测单镜头影像的高亮度阈值,通过高亮度阈值将影像划分为漫反射区和高光反射区;由于不同镜头的暗部区域亮度相对稳定,因此根据经验,给出了暗部区域亮度阈值;针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域,分别建立不同的亮度映射函数;在暗部阈值附近和高亮度阈值为中心的小区间内,采用三次样条插值函数作为亮度映射函数,使得各亮度区域间亮度平滑过渡。本方法可应用于视频推广、电视电影等领域。
Description
技术领域
本发明涉及一种基于机器学习的逆色调映射模型,属于图像处理领域。
背景技术
近几年来,高动态范围图像(High-Dynamic Range,简称HDR)显示技术在影视、游戏、虚拟现实等领域中逐渐兴起。HDR显示设备具有比传统显示器更高的峰值亮度以及对比度,使得HDR影像能够自然地显示出来。因为技术和制作成本等原因,目前市场上还是以标准动态范围图像(Standard Dynamic Range,简称SDR)影像为主。根据一般的SDR内容制作规范,SDR影像显示的最高亮度为100nit,而市场上大部分家用级别和制作端的HDR显示器峰值亮度一般在1000nit左右。简单的将SDR影像亮度等比例提升至HDR影像亮度,会造成影像对比度异常,因此,建立SDR亮度到HDR亮度的映射是SDR影像向HDR影像转换的核心。
目前,国内外已经有许多学者做过将SDR内容转换为HDR的研究。现有的转换方法可以分为两大类,一类是模型驱动(Model-Driven)的方法,另一类是数据驱动(Data-Driven)的方法。模型驱动的方法可以由一个函数模型来描述规律,Akyüz等人提出了他们线性变换的模型,Masia等人、Huo等人提出了他们的非线性变换模型,这几类方法对图像亮度的映射方式都是对整个图像进行统一的操作。Rempel等人、Kovaleski和Oliveira提出了一类基于蒙版的模型,这类模型是通过一个固定的码值来将图像的漫反射区域和高光区域分离开,然后分别对不同区域的亮度进行不同程度的映射。Wang等人、Jain等人、Didyk等人提出了一类基于用户的模型,这类模型涉及到人机交互,通过人将画面中的不同区域框选出来,进而对不同区域作不同的处理。尽管模型驱动的方法可以通过曲线或者数学公式直观地描述规律,但由于一个函数模型不一定能很好地适用于所有类型的图像,因此这类方法的不足之处在于适用范围比较窄,以及需要手动对模型中的参数进行多次调参,否则难以得到高质量的图像。另一方面,深度学习技术在图像处理领域的不断发展,给逆色调映射方法提供了数据驱动的解决方案。近年来,Endo等人、Eilertsen等人、Yang等人、Xu等人、Ning等人、Marnerides等人各提出了基于深度学习的逆色调映射方法。与模型驱动的方法相比,这类方法的适用范围更广,然而,这类方法需要在大量的数据基础上进行训练和拟合,需要收集大量的训练样本,以及需要大量的训练时间,另外在图像处理的过程中可能会产生一些不必要的伪像,影响图像质量。
发明内容
本发明的目的是提供一种基于机器学习的SDR亮度到HDR亮度的逆色调映射模型,并基于这个逆色调映射模型,给出一种适用范围宽、无需多次调整参数、经过短时间训练即可获得较高图像质量的SDR影像向HDR影像转换的方法。本方法可应用于视频推广、电视电影等领域。
本发明的目的是通过以下技术方案实现的:
本发明公开的一种SDR到HDR转换方法,是通过机器学习方法预测单镜头影像的高亮度阈值,通过高亮度阈值将影像划分为漫反射区和高光反射区;由于不同镜头的暗部区域亮度相对稳定,因此根据经验,给出了暗部区域亮度阈值;针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域,分别建立不同的亮度映射函数;在暗部阈值附近和高亮度阈值为中心的小区间内,采用三次样条插值函数作为亮度映射函数,使得各亮度区域间亮度平滑过渡。
一种SDR到HDR转换方法的具体步骤:
步骤一、基于支持向量回归方法的亮度阈值预测。
选择单镜头影像像素亮度的对数平均值log Yavg、key值Ykey、亮度区间长度Ydst、标准差σY和像素亮度中位数Ymed作为该镜头特征向量f的各个分量,即
f=(log Yavg,Ykey,Ydst,σY,Ymed),
其中
Ydst=Ymax-Ymin
Ymed=med Y(x,y)
选取M个SDR影像镜头的n个单帧图像作为训练样本,手动标定这些样本的高亮度区域,得到该样本的高亮度阈值。这n个训练样本为S1,S2,…,Sn,其中
Si=(fi,Ti),
fi为第i个单帧图像的特征向量,Ti为第i个单帧图像对应的高亮度阈值。
使用支持向量回归方法进行单镜头高亮度阈值预测。关于特征向量f的高亮度阈值T(f)如下式所示:
其中C,∈>0,是一个给定参数。
其中m为支撑向量个数。
σ高斯核参数,取σ=0.56。
步骤二、输入SDR影像。
步骤三、对输入SDR影像进行解码。
根据SDR影像的像素码值归一化后,使用的电光转换函数(EOTF),将非线性RGB值转换为线性RGB值;进而将线性RGB转换为用于计算的Yxy值。后续步骤的SDR到HDR转换的镜头分割和分段亮度映射均以Y通道为基础进行操作。
步骤四、镜头检测。
给定镜头内亮度变化阈值,计算相邻两帧亮度差绝对值的平均值,平均值大于阈值作为镜头分割标准,对SDR进行镜头分割;
步骤五、不同镜头高亮度阈值计算。
针对步骤三得到的不同镜头,计算每个镜头的影像特征
f=(log Yavg,Ykey,Ydst,σY,Ymed)
根据步骤一的参数训练结果,分别计算不同镜头的高亮度阈值。
步骤六、分段亮度映射。
以镜头j为例,根据步骤四计算得到的镜头j的高光阈值Tj和根据经验选取的相对暗部阈值Ldim/100,将单镜头SDR影像亮度区间划分为五个区域:
[0,Ldim/100-δ1)
[Ldim/100-δ1,Ldim/100+δ1)
[Ldim/100+δ1,Tj-δ2),
[Tj-δ2,Tj+δ2),
[Tj+δ2,1],
其中δ1,δ2为两个大于零的参数。
为了保持图像暗部区域不受整体亮度提升的影响,在低亮度区域,变换前后相对亮度值不变;为了保证不同亮度区域变换后亮度过渡平滑,在低亮度到漫反射区过渡区域,漫反射到高亮度区域的亮度过渡区域,在过渡区域使用3次样条插值函数进行亮度映射。
将SDR影像的亮度值为Y,变换后的HDR影像的亮度值为Y′。Y到Y′亮度映射如下:
其中k1,k2为我们给定的参数,a1,b1,c1,d1与a2,b2,c2,d2分别由下面的两个方程组确定:
其中l1=Ldim/100-δ1,l2=Ldim/100+δ1,l3=T(f)-δ2,l4=T(f)+δ2
步骤七、高亮度区域的饱和度增强。
将SDR影像通过步骤四给出的逆色调映射模型进行亮度映射后,由于影像亮度范围的拓展,影像像素的R、G、B三通道值在低亮度以上区域都有所提升。变换后的HDR影像在高亮度区域较同区域的原SDR影像,人眼感知颜色的饱和度会变低。为了提高SDR影像到HDR影像的转换质量,可以选择对变换后的HDR影像进行饱和度补偿。
7.1将变换后的HDR影像由R,G,B转换为H,S,V
令R,G,B为变换后HDR影像像素点的R、G、B各通道的值,H、S,V分别为
V=max(R,G,B);
X=min(R,G,B);
7.2饱和度补偿
S′=Sγ
H′=H
V′=V
γ为控制饱和度增长幅度的指数。
7.3饱和度补偿后的H,S,V转换为R′,G′,B′
I=floor(H);F=H-I;
M=V×(1-S);N=V×(1-S×F);K=V×(1-S×(1-F));
7.4令
M1=1-M2
其中YT为变换后HDR影像高亮度区域下限
YT=k2×(Tj+δ2)+m2
Yb为漫反射区域到高亮度区域的过渡区域的下限相对亮度值
Yb=a2+b2(Tj-δ2)+c2(Tj-δ2)2+d2(Tj-δ2)3
经过饱和度补偿的图像像素点RGB值为(R*,G*,B*):
(R*,G*,B*)=M2(R′,G′,B′)+M1(R,G,B)
步骤八、图像去噪。
SDR经过逆色调映射变换后的HDR影像,在亮度范围拓展的同时,噪声也会被放大,同时饱和度补偿也会造成噪声增大。在亮度域,使用双边滤波器对影像的每帧进行去噪。
设Y(p),Y(q)是图像I中像素点p,q的亮度,双边滤波器表达式如下:
其中W(p)为以像素点p为中心的窗口,
σs,σr分别为给定参数,分别表示空间域的标准差和亮度范围域的标准差。
步骤九、HDR影像编码。
将步骤八得到的Yxy值转换为HDR影像内容制作标准规定的色域下的线性RGB值,并根据标准规定的光电转换函数将线性RGB值转换为非线性线性RGB值,按照规定码值位深进行编码。
步骤十、输出HDR影像。
有益效果
1、本方法基于带有高斯核的支持向量回归模型获得的高亮度阈值模型参数,可用于所有SDR影像各镜头的高光阈值计算;镜头特征计算简单;分段亮度映射函数的计算复杂度低;能在够保证影像转换质量的同时,保持较高的影像转换效率。
2、较基于用户的逆映射模型,本方法获得的该阈值能够大大地节省人工手动标定SDR影像高光区域的时间;
3、本方法通过单镜头为单位,计算镜头特征,预测该镜头高亮度阈值,避免其它方法中单镜头的亮度抖动问题;
4、本方法将影像分为五个不同的亮度区域,不同区域采用不同的亮度映射函数,保证了图像暗部细节的保留,改善不同亮度区域间的亮度断层现象。
附图说明
图1为SDR到HDR影像转换方法的实现系统;
图2为单镜头的SDR到HDR转换流程图;
图3为不同方法的HDR-VDP分数;
图4为不同方法的PSNR分数;
图5为不同方法的SSIM分数;
图6为不同方法的主观评价分数。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果,需要指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
本实施例以满足SDR影视制作标准ITU-R BT.709,显示峰值亮度为100尼特的SDR的序列帧影像作为输入,通过本发明进行SDR到HDR的转换,输出满足HDR影像制作标准ITU-R BT.2100,峰值亮度为1000尼特,适用于电视HDR放映设备播放的HDR影像,对本发明进行说明。本实施例为本发明在电视行业的一项具体应用。
如图1所示,本实施例公开的一种SDR到HDR转换方法的系统主要包括如下模块:
SDR影像解码模块:SDR影像根据不同制作标准的EOTF进行解码,将影像每帧转换为R,G,B线性值,然后通过色彩空间变换,将RGB转换为亮色分离的Yxy值;
SDR影像镜头检测模块:(自动检测,如果不满意可手动修改)给定镜头内亮度变化阈值,计算相邻两帧亮度差绝对值的平均值,平均值大于阈值作为镜头分割标准,对SDR影像进行镜头分割;
高亮度阈值预测模块:基于支持向量机回归模型,进行高光阈值模型的参数预测,用于计算后续每个镜头的高亮度阈阈值;
SDR到HDR逆色调映射模块:对于分割后的每个单镜头,根据逆映射方法对每个像素的亮度值Y进行映射;
色彩空间转换模块:将图像像素的Yxy值转换为ITU-R BT 2100标准规定色彩空间下的RGB值;
影像增强模块:此模块为选择模块。影像经过前述模块处理,利用饱和度补偿和图像去噪方法进行图像增强,最终以线性RGB值输出给信号输出模块;
HDR影像编码模块:根据HDR制作标准ITU-R BT 2100标准规定的OETF,对线性RGB值进行非线性变换,输出HDR影像。
具体转化步骤如下:
步骤一、基于支持向量回归方法的亮度阈值预测
选择单镜头影像像素亮度的对数平均值log Yavg、key值Ykey、亮度区间长度Ydst、标准差σY和像素亮度中位数Ymed作为该镜头特征向量f的各个分量,即
f=(log Yavg,Ykey,Ydst,σY,Ymed), (1)
其中
选取M个SDR影像镜头的n个单帧图像(一般从这M个镜头中各等间隔的选取10帧-20帧图像)作为训练样本,手动标定这些样本的高亮度区域,得到该样本的高亮度阈值。这里我们使用了手动标定高亮度范围的1386单帧图像作为训练样本。
设这n个训练样本为S1,S2,…,Sn,其中
Si=(fi,Ti),
fi为第i个单帧图像的特征向量,Ti为第i个单帧图像对应的高亮度阈值。
使用支持向量回归方法进行单镜头高亮度阈值预测。设关于特征向量f的高亮度阈值函数T(f)如下式所示:
这里C,∈>0,是一个给定参数。
σ高斯核参数,我们取σ=0.56。
以上训练的参数得到后,可用于所有SDR到HDR影像的不同镜头的高亮度阈值计算。
步骤二、输入SDR影像
输入满足SDR影视制作标准ITU-R BT.709,显示峰值亮度为100尼特的SDR的序列帧影像。
步骤三、SDR影像解码
(1)根据SDR影视制作标准ITU-R BT.709标准的EOTF对SDR影像各帧进行解码。设像素R,G,B各通道SDR影像像素码值为CR,CG,CB:
这里L=R,G,B
(2)将R,G,B值转换为XYZ值
(3)计算Yxy值
步骤四SDR影像镜头检测
(1)设影像帧画面分辨率为m×n,计算帧间亮度阈值绝对值
其中Yi,j,n表示第n帧的(i,j)像素点的Y值。
(2)判断各帧是否属于同一镜头,令镜头阈值T=0.12(这个阈值可以根据实际分割情况进行改变)。若Dn≤T第n帧与第n-1帧属于同一镜头;否则该镜头结束,开始进行下一个镜头分割。
步骤五、镜头高亮度阈值计算
对于分割后的每个单镜头进行如下计算,这里以镜头j为例,
(1)根据式(1),式(2)计算镜头j的特征向量fj=(log Yavg,Ykey,Ydst,σY,Ymed);
(2)根据式(5)计算高光阈值Tj:
步骤六、SDR到HDR逆色调映射
将SDR影像镜头j亮度区间划分为五个区域:
[0,Ldim/100-δ1)
[Ldim/100-δ1,Ldim/100+δ1)
[Ldim/100+δ1,Tj-δ2),
[Tj-δ2,Tj+δ2),
[Tj+δ2,1],
其中δ1,δ2为两个大于零的参数,这里我们取
δ1=0.02,δ2=0.02,δ3=0.2,δ4=0.1
为了保持图像暗部区域不受整体亮度提升的影响,选取低亮度阈值Ldim/100,在低亮度区域,变换前后相对亮度值不变.对于亮度范围为0到100尼特的电视节目而言,Ldim的取值为5尼特较为合适,而对于亮度范围为0到48尼特的电影而言,Ldim可取更低的数值;为了保证不同亮度区域变换后亮度过渡平滑,在低亮度到漫反射区域,漫反射到高亮度区域的亮度过渡区间,在过渡区间使用3次样条插值函数进行亮度映射。
将SDR影像的亮度值为Y,变换后的HDR影像的亮度值为Y′。Y到Y′亮度映射如下:
其中k1,k2为我们给定的参数,这里
a1,b1,c1,d1与a2,b2,c2,d2分别由下面的两个方程组确定:
这里
l1=Ldim/100-δ1,l2=Ldim/100+δ1,l3=T(f)-δ2,l4=T(f)+δ2
步骤七、高亮度区域的饱和度增强
(1)将影像像素的(Y′,x,y)值转换为(R,G,B)值
(2)将变换后的HDR影像由R,G,B转换为H,S,V:
V=max(R,G,B);
X=min(R,G,B);
(3)饱和度补偿
S′=Sγ
γ为控制饱和度增长幅度的指数,这里γ的取值为1/1.8。
H′=H
V′=V
(4)饱和度补偿后的H,S,V转换为R′,G′,B′
I=floor(H);F=H-I;
M=V×(1-S);N=V×(1-S×F);K=V×(1-S×(1-F));
(5)令
M1=1-M2
这里YT=k2(Tj+δ2)+m2;我们取Yb=YT-0.015;经过饱和度补偿的图像像素点的RGB值为(R*,G*,B*):
(R*,G*,B*)=M2(R′,G′,B′)+M1(R,G,B)
步骤八、影像去噪
(1)将像素点RGB值(R*,G*,B*)转换为XYZ值(X*,Y*,Z*):
(2)计算像素点颜色的xy色品坐标(x*,y*):
(3)使用双边滤波器对单帧图像各像素点相对亮度Y进行去噪,得到Yd:
设Y*(x,y)是帧图像I中像素点(i,j)的亮度,使用半径为3的方形领域W(x,y):
W(i,j)={(u,v)||u-x|≤3,|v-y|≤3}
其中
σs,σr分别为空间域标准差和亮度域标准差,当影像分辨率为2K时,我们取σs=5,σr=0.01分别为给定参数。
步骤九、HDR影像编码
根据ITU-R BT 2100高动态范围内容图像参数规定进行影像编码。
(1)将像素(YD,x*,y*)值转换为RGB值(Rh,Gh,Bh):
(2)根据ITU-R BT OETF将(Rh,Gh,Bh)转换为非线性(R′h,G′h,B′h)
这里
c1=c3-c2+1,c2=2413/4096,c3=2392/4096
m1=2610/16384,m2=2523/4096
当E=Rh,Gh,Bh时,E′分别表示R′h,G′h,B′h。
(3)10比特编码
CR=uint((210-1)R′h)
CG=uint((210-1)G′h)
CB=uint((210-1)B′h)
其中uint表示无符号取整。
步骤十、HDR影像输出
通过以上步骤输出适用于影院HDR显示设备播放的影像。
使用HDR-VDP、PSNR和SSIM作为客观画面质量的评价指标,采用SAMVIQ方法作为主观画面质量评价方法,将本实施例的转换结果与采用Akyüz、Masia、Huo、Meylan、Rempel提出的方法转换后的影像进行对比,得出对比数据。见图3-6及表1-4,注:图标中标志paper为本发明所述方法。
表1不同方法的HDR-VDP均值及标准差
方法 | HDR-VDP均值 | HDR-VDP标准差 |
Paper | 67.78 | 0.72245 |
Akyüz | 64.393 | 2.5081 |
Masia | 62.64 | 1.5853 |
Huo | 65.841 | 4.9988 |
Meylan | 67.581 | 1.8137 |
Rempel | 66.062 | 1.8268 |
表2不同方法的PSNR均值及标准差
方法 | PSNR均值 | PSNR标准差 |
Paper | 27.703 | 2.8618 |
Akyüz | 14.993 | 0.85774 |
Masia | 21.786 | 1.933 |
Huo | 21.107 | 2.2225 |
Meylan | 26.165 | 0.85243 |
Rempel | 22.281 | 2.7833 |
表3不同方法的SSIM均值及标准差
方法 | SSIM均值 | SSIM标准差 |
Paper | 0.97109 | 0.0068991 |
Akyüz | 0.83593 | 0.05252 |
Masia | 0.85094 | 0.063547 |
Huo | 0.88678 | 0.10368 |
Meylan | 0.96175 | 0.0099919 |
Rempel | 0.96066 | 0.0073536 |
表4不同方法的主观评价分数均值及标准差
方法 | 主观评价分数均值 | 主观评价分数标准差 |
Paper | 65.267 | 5.635 |
Akyüz | 53.22 | 7.4472 |
Masia | 43.22 | 8.565 |
Huo | 49.807 | 9.6473 |
Meylan | 55.147 | 6.2116 |
Rempel | 49.333 | 10.898 |
通过评价结果表明,本发明的图像转换质量无论从客观评价指标还是主观评价指标上都有一定的提升。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种SDR到HDR转换方法,其特征在于:是通过机器学习方法预测单镜头影像的高亮度阈值,通过高亮度阈值将影像划分为漫反射区和高光反射区;由于不同镜头的暗部区域亮度相对稳定,因此根据经验,给出了暗部区域亮度阈值;针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域,分别建立不同的亮度映射函数;在暗部阈值附近和高亮度阈值为中心的小区间内,采用三次样条插值函数作为亮度映射函数,使得各亮度区域间亮度平滑过渡;包含如下步骤:
步骤一、基于支持向量回归方法的亮度阈值预测;
步骤二、输入SDR影像;
步骤三、对输入SDR影像进行解码;
步骤四、镜头检测;
步骤五、不同镜头高亮度阈值计算;
步骤六、分段亮度映射;
步骤七、高亮度区域的饱和度增强;
步骤八、图像去噪;
步骤九、HDR影像编码;
步骤十、输出HDR影像。
2.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤一的实现方法为:
选择单镜头影像像素亮度的对数平均值log Yavg、key值Ykey、亮度区间长度Ydst、标准差σY和像素亮度中位数Ymed作为该镜头特征向量f的各个分量,即
f=(log Yavg,Ykey,Ydst,σY,Ymed),
其中
Ydst=Ymax-Ymin
Ymed=medY(x,y)
选取M个SDR影像镜头的n个单帧图像作为训练样本,手动标定这些样本的高亮度区域,得到该样本的高亮度阈值;这n个训练样本为S1,S2,…,Sn,其中
Si=(fi,Ti),
fi为第i个单帧图像的特征向量,Ti为第i个单帧图像对应的高亮度阈值;
使用支持向量回归方法进行单镜头高亮度阈值预测;关于特征向量f的高亮度阈值T(f)如下式所示:
其中C,∈>0,是一个给定参数;
σ高斯核参数,取σ=0.56;
3.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤三的实现方法为:
根据SDR影像的像素码值归一化后,使用的电光转换函数(EOTF),将非线性RGB值转换为线性RGB值;进而将线性RGB转换为用于计算的Yxy值;后续步骤的SDR到HDR转换的镜头分割和分段亮度映射均以Y通道为基础进行操作。
4.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤四的实现方法为:
给定镜头内亮度变化阈值,计算相邻两帧亮度差绝对值的平均值,平均值大于阈值作为镜头分割标准,对SDR进行镜头分割。
5.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤五的实现方法为:
针对步骤三得到的不同镜头,计算每个镜头的影像特征
f=(log Yavg,Ykey,Ydst,σY,Ymed)
根据步骤一的参数训练结果,分别计算不同镜头的高亮度阈值。
6.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤六的实现方法为:
以镜头j为例,根据步骤四计算得到的镜头j的高光阈值Tj和根据经验选取的相对暗部阈值Ldim/100,将单镜头SDR影像亮度区间划分为五个区域:
[0,Ldim/100-δ1)
[Ldim/100-δ1,Ldim/100+δ1)
[Ldim/100+δ1,Tj-δ2),
[Tj-δ2,Tj+δ2),
[Tj+δ2,1],
其中δ1,δ2为两个大于零的参数;
为了保持图像暗部区域不受整体亮度提升的影响,在低亮度区域,变换前后相对亮度值不变;为了保证不同亮度区域变换后亮度过渡平滑,在低亮度到漫反射区域,漫反射到高亮度区域的亮度过渡区间,在过渡区间使用3次样条插值函数进行亮度映射;
将SDR影像的亮度值为Y,变换后的HDR影像的亮度值为Y′;Y到Y′亮度映射如下:
其中k1,k2为我们给定的参数,a1,b1,c1,d1与a2,b2,c2,d2分别由下面的两个方程组确定:
其中l1=Ldim/100-δ1,l2=Ldim/100+δ1,l3=T(f)-δ2,l4=T(f)+δ2。
7.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤七的实现方法为:
将SDR影像通过步骤四给出的逆色调映射模型进行亮度映射后,由于影像亮度范围的拓展,影像像素的R、G、B三通道值在低亮度以上区域都有所提升;变换后的HDR影像在高亮度区域较同区域的原SDR影像,人眼感知颜色的饱和度会变低;为了提高SDR影像到HDR影像的转换质量,可以选择对变换后的HDR影像进行饱和度补偿;
7.1将变换后的HDR影像由R,G,B转换为H,S,V
令R,G,B为变换后HDR影像像素点的R、G、B各通道的值,H、S,V分别为
V=max(R,G,B);
X=min(R,G,B);
7.2饱和度补偿
S′=Sγ
H′=H
V′=V
γ为控制饱和度增长幅度的指数;
7.3饱和度补偿后的H,S,V转换为R′,G′,B′
I=floor(H);F=H-I;
M=V×(1-S);N=V×(1-S×F);K=V×(1-S×(1-F));
7.4令
M1=1-M2
其中YT为变换后HDR影像高亮度区域下限
YT=k2×(Tj+δ2)+m2
Yb为漫反射区域到高亮度区域的过渡区域的下限相对亮度值
Yb=a2+b2(Tj-δ2)+c2(Tj-δ2)2+d2(Tj-δ2)3
经过饱和度补偿的图像像素点RGB值为(R*,G*,B*):
(R*,G*,B*)=M2(R′,G′,B′)+M1(R,G,B)。
9.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤九的实现方法为:
将步骤七得到的Yxy值转换为HDR影像内容制作标准规定的色域下的线性RGB值,并根据标准规定的光电转换函数将线性RGB值转换为非线性线性RGB值,按照规定码值位深进行编码。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110976983.2A CN113706412B (zh) | 2021-08-24 | 2021-08-24 | 一种sdr到hdr转换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110976983.2A CN113706412B (zh) | 2021-08-24 | 2021-08-24 | 一种sdr到hdr转换方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113706412A true CN113706412A (zh) | 2021-11-26 |
CN113706412B CN113706412B (zh) | 2024-02-09 |
Family
ID=78668892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110976983.2A Active CN113706412B (zh) | 2021-08-24 | 2021-08-24 | 一种sdr到hdr转换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113706412B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114363702A (zh) * | 2021-12-28 | 2022-04-15 | 上海网达软件股份有限公司 | Sdr视频转换为hdr视频的方法、装置、设备及存储介质 |
CN114363507A (zh) * | 2021-12-02 | 2022-04-15 | 维沃移动通信有限公司 | 图像处理方法及装置 |
CN114866809A (zh) * | 2022-06-13 | 2022-08-05 | 百果园技术(新加坡)有限公司 | 视频转换方法、装置、设备、存储介质及程序产品 |
CN115393228A (zh) * | 2022-10-27 | 2022-11-25 | 摩尔线程智能科技(北京)有限责任公司 | 图像处理方法、装置以及图形处理设备 |
CN116704926A (zh) * | 2022-02-28 | 2023-09-05 | 荣耀终端有限公司 | 帧数据显示方法、电子设备及存储介质 |
WO2023211251A1 (en) * | 2022-04-28 | 2023-11-02 | Samsung Electronics Co., Ltd. | Standard dynamic range (sdr) to high dynamic range (hdr) inverse tone mapping using machine learning |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210921A (zh) * | 2016-08-12 | 2016-12-07 | 深圳创维-Rgb电子有限公司 | 一种图像效果提升方法及其装置 |
CN107154059A (zh) * | 2017-06-26 | 2017-09-12 | 杭州当虹科技有限公司 | 一种高动态范围视频处理方法 |
US20180115777A1 (en) * | 2016-10-26 | 2018-04-26 | Dolby Laboratories Licensing Corporation | Screen-adaptive decoding of high dynamic range video |
CN107968919A (zh) * | 2016-10-20 | 2018-04-27 | 汤姆逊许可公司 | 用于逆色调映射的方法和设备 |
US20200105221A1 (en) * | 2018-09-28 | 2020-04-02 | Apple Inc. | Color Rendering for Images in Extended Dynamic Range Mode |
-
2021
- 2021-08-24 CN CN202110976983.2A patent/CN113706412B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106210921A (zh) * | 2016-08-12 | 2016-12-07 | 深圳创维-Rgb电子有限公司 | 一种图像效果提升方法及其装置 |
CN107968919A (zh) * | 2016-10-20 | 2018-04-27 | 汤姆逊许可公司 | 用于逆色调映射的方法和设备 |
US20180115777A1 (en) * | 2016-10-26 | 2018-04-26 | Dolby Laboratories Licensing Corporation | Screen-adaptive decoding of high dynamic range video |
CN107154059A (zh) * | 2017-06-26 | 2017-09-12 | 杭州当虹科技有限公司 | 一种高动态范围视频处理方法 |
US20200105221A1 (en) * | 2018-09-28 | 2020-04-02 | Apple Inc. | Color Rendering for Images in Extended Dynamic Range Mode |
Non-Patent Citations (1)
Title |
---|
朱恩弘;张红英;吴亚东;霍永青;: "单幅图像的高动态范围图像生成方法", 计算机辅助设计与图形学学报, no. 10 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114363507A (zh) * | 2021-12-02 | 2022-04-15 | 维沃移动通信有限公司 | 图像处理方法及装置 |
CN114363702A (zh) * | 2021-12-28 | 2022-04-15 | 上海网达软件股份有限公司 | Sdr视频转换为hdr视频的方法、装置、设备及存储介质 |
CN114363702B (zh) * | 2021-12-28 | 2023-09-08 | 上海网达软件股份有限公司 | Sdr视频转换为hdr视频的方法、装置、设备及存储介质 |
CN116704926A (zh) * | 2022-02-28 | 2023-09-05 | 荣耀终端有限公司 | 帧数据显示方法、电子设备及存储介质 |
WO2023211251A1 (en) * | 2022-04-28 | 2023-11-02 | Samsung Electronics Co., Ltd. | Standard dynamic range (sdr) to high dynamic range (hdr) inverse tone mapping using machine learning |
CN114866809A (zh) * | 2022-06-13 | 2022-08-05 | 百果园技术(新加坡)有限公司 | 视频转换方法、装置、设备、存储介质及程序产品 |
CN114866809B (zh) * | 2022-06-13 | 2024-02-23 | 百果园技术(新加坡)有限公司 | 视频转换方法、装置、设备、存储介质及程序产品 |
CN115393228A (zh) * | 2022-10-27 | 2022-11-25 | 摩尔线程智能科技(北京)有限责任公司 | 图像处理方法、装置以及图形处理设备 |
CN115393228B (zh) * | 2022-10-27 | 2023-03-24 | 摩尔线程智能科技(北京)有限责任公司 | 图像处理方法、装置以及图形处理设备 |
Also Published As
Publication number | Publication date |
---|---|
CN113706412B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113706412A (zh) | 一种sdr到hdr转换方法 | |
KR101739432B1 (ko) | 구역 기반의 톤 매핑 | |
CN103593830B (zh) | 一种低照度视频图像增强方法 | |
CN103778614B (zh) | 高动态范围显示设备 | |
KR101366596B1 (ko) | 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법 | |
US8666156B2 (en) | Image-based backgrounds for images | |
US20090317017A1 (en) | Image characteristic oriented tone mapping for high dynamic range images | |
CN110197463B (zh) | 基于深度学习的高动态范围图像色调映射方法及其系统 | |
CN110717868B (zh) | 视频高动态范围反色调映射模型构建、映射方法及装置 | |
US9336578B2 (en) | Interactive tone mapping for high dynamic range video | |
CN101340511A (zh) | 一种基于亮度检测的自适应视频图像增强方法 | |
CN105809643B (zh) | 一种基于自适应块通道拉伸的图像增强方法 | |
CN117640942A (zh) | 一种用于视频图像的编码方法和装置 | |
CN107592517B (zh) | 一种肤色处理的方法及装置 | |
CN114463207B (zh) | 基于全局动态范围压缩与局部亮度估计的色阶映射方法 | |
Su et al. | Readability enhancement of displayed images under ambient light | |
CN114372990A (zh) | 彻底抠除绿幕的图像合成方法、装置、设备及存储介质 | |
Song et al. | Luminance enhancement and detail preservation of images and videos adapted to ambient illumination | |
Narwaria et al. | High dynamic range visual quality of experience measurement: Challenges and perspectives | |
CN106657945B (zh) | 一种非线性分段的伽马校正实现方法 | |
WO2023044653A1 (zh) | 一种显示设备系统及自适应增强画质的方法 | |
Xie et al. | P‐7.13: Enhanced High Dynamic Tone Mapping Using Guided Filter | |
US20230186440A1 (en) | Display apparatus and operating method thereof | |
Sector | Report ITU-R BT. 2540-0 | |
CN117764891A (zh) | 图像处理方法、装置及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |