CN113706412B - 一种sdr到hdr转换方法 - Google Patents

一种sdr到hdr转换方法 Download PDF

Info

Publication number
CN113706412B
CN113706412B CN202110976983.2A CN202110976983A CN113706412B CN 113706412 B CN113706412 B CN 113706412B CN 202110976983 A CN202110976983 A CN 202110976983A CN 113706412 B CN113706412 B CN 113706412B
Authority
CN
China
Prior art keywords
brightness
image
sdr
hdr
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110976983.2A
Other languages
English (en)
Other versions
CN113706412A (zh
Inventor
顾晓娟
黄嘉宝
陈军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING FILM ACADEMY
Original Assignee
BEIJING FILM ACADEMY
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING FILM ACADEMY filed Critical BEIJING FILM ACADEMY
Priority to CN202110976983.2A priority Critical patent/CN113706412B/zh
Publication of CN113706412A publication Critical patent/CN113706412A/zh
Application granted granted Critical
Publication of CN113706412B publication Critical patent/CN113706412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/10Machine learning using kernel methods, e.g. support vector machines [SVM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明公开的一种SDR到HDR转换方法,涉及一种基于机器学习的逆色调映射模型,属于图像处理领域。本方法本发明公开的一种SDR到HDR转换方法,是通过机器学习方法预测单镜头影像的高亮度阈值,通过高亮度阈值将影像划分为漫反射区和高光反射区;由于不同镜头的暗部区域亮度相对稳定,因此根据经验,给出了暗部区域亮度阈值;针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域,分别建立不同的亮度映射函数;在暗部阈值附近和高亮度阈值为中心的小区间内,采用三次样条插值函数作为亮度映射函数,使得各亮度区域间亮度平滑过渡。本方法可应用于视频推广、电视电影等领域。

Description

一种SDR到HDR转换方法
技术领域
本发明涉及一种基于机器学习的逆色调映射模型,属于图像处理领域。
背景技术
近几年来,高动态范围图像(High-Dynamic Range,简称HDR)显示技术在影视、游戏、虚拟现实等领域中逐渐兴起。HDR显示设备具有比传统显示器更高的峰值亮度以及对比度,使得HDR影像能够自然地显示出来。因为技术和制作成本等原因,目前市场上还是以标准动态范围图像(Standard Dynamic Range,简称SDR)影像为主。根据一般的SDR内容制作规范,SDR影像显示的最高亮度为100nit,而市场上大部分家用级别和制作端的HDR显示器峰值亮度一般在1000nit左右。简单的将SDR影像亮度等比例提升至HDR影像亮度,会造成影像对比度异常,因此,建立SDR亮度到HDR亮度的映射是SDR影像向HDR影像转换的核心。
目前,国内外已经有许多学者做过将SDR内容转换为HDR的研究。现有的转换方法可以分为两大类,一类是模型驱动(Model-Driven)的方法,另一类是数据驱动(Data-Driven)的方法。模型驱动的方法可以由一个函数模型来描述规律,Akyüz等人提出了他们线性变换的模型,Masia等人、Huo等人提出了他们的非线性变换模型,这几类方法对图像亮度的映射方式都是对整个图像进行统一的操作。Rempel等人、Kovaleski和Oliveira提出了一类基于蒙版的模型,这类模型是通过一个固定的码值来将图像的漫反射区域和高光区域分离开,然后分别对不同区域的亮度进行不同程度的映射。Wang等人、Jain等人、Didyk等人提出了一类基于用户的模型,这类模型涉及到人机交互,通过人将画面中的不同区域框选出来,进而对不同区域作不同的处理。尽管模型驱动的方法可以通过曲线或者数学公式直观地描述规律,但由于一个函数模型不一定能很好地适用于所有类型的图像,因此这类方法的不足之处在于适用范围比较窄,以及需要手动对模型中的参数进行多次调参,否则难以得到高质量的图像。另一方面,深度学习技术在图像处理领域的不断发展,给逆色调映射方法提供了数据驱动的解决方案。近年来,Endo等人、Eilertsen等人、Yang等人、Xu等人、Ning等人、Marnerides等人各提出了基于深度学习的逆色调映射方法。与模型驱动的方法相比,这类方法的适用范围更广,然而,这类方法需要在大量的数据基础上进行训练和拟合,需要收集大量的训练样本,以及需要大量的训练时间,另外在图像处理的过程中可能会产生一些不必要的伪像,影响图像质量。
发明内容
本发明的目的是提供一种基于机器学习的SDR亮度到HDR亮度的逆色调映射模型,并基于这个逆色调映射模型,给出一种适用范围宽、无需多次调整参数、经过短时间训练即可获得较高图像质量的SDR影像向HDR影像转换的方法。本方法可应用于视频推广、电视电影等领域。
本发明的目的是通过以下技术方案实现的:
本发明公开的一种SDR到HDR转换方法,是通过机器学习方法预测单镜头影像的高亮度阈值,通过高亮度阈值将影像划分为漫反射区和高光反射区;由于不同镜头的暗部区域亮度相对稳定,因此根据经验,给出了暗部区域亮度阈值;针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域,分别建立不同的亮度映射函数;在暗部阈值附近和高亮度阈值为中心的小区间内,采用三次样条插值函数作为亮度映射函数,使得各亮度区域间亮度平滑过渡。
一种SDR到HDR转换方法的具体步骤:
步骤一、基于支持向量回归方法的亮度阈值预测。
选择单镜头影像像素亮度的对数平均值log Yavg、key值Ykey、亮度区间长度Ydst、标准差σY和像素亮度中位数Ymed作为该镜头特征向量f的各个分量,即
f=(log Yavg,Ykey,Ydst,σY,Ymed),
其中
Ydst=Ymax-Ymin
Ymed=med Y(x,y)
其中Y(x,y)表示像素点(x,y)处的相对亮度值,N为单镜头内像素点的总数, med表示镜头内各像素亮度的中位数。
选取M个SDR影像镜头的n个单帧图像作为训练样本,手动标定这些样本的高亮度区域,得到该样本的高亮度阈值。这n个训练样本为S1,S2,…,Sn,其中
Si=(fi,Ti),
fi为第i个单帧图像的特征向量,Ti为第i个单帧图像对应的高亮度阈值。
使用支持向量回归方法进行单镜头高亮度阈值预测。关于特征向量f的高亮度阈值T(f)如下式所示:
其中是将特征向量f映射为更高维特征的映射,ω,b为待求解参数。ω,b满足:
其中C,∈>0,是一个给定参数。
令λ=(λ1,λ2,…,λn),求解上述优化问题(1.1),等价于求解它的对偶问题:
是(1.2)的解,由KKT条件知,λi与/>不可能同时非零,令ir为/>与/>中非零值对应的下标,则
其中m为支撑向量个数。
选取高斯核函数G(fi,fj)作为的值,即
σ高斯核参数,取σ=0.56。
通过求解上述优化问题,得到对应的支撑向量对应的Lagrange乘了 和参数b,最后得到高亮度阈值预测模型
KKT乘子了 和参数b得到后,可用于所有SDR影像向HDR影像转换的高亮度阈值计算。
步骤二、输入SDR影像。
步骤三、对输入SDR影像进行解码。
根据SDR影像的像素码值归一化后,使用的电光转换函数(EOTF),将非线性RGB值转换为线性RGB值;进而将线性RGB转换为用于计算的Yxy值。后续步骤的SDR到HDR转换的镜头分割和分段亮度映射均以Y通道为基础进行操作。
步骤四、镜头检测。
给定镜头内亮度变化阈值,计算相邻两帧亮度差绝对值的平均值,平均值大于阈值作为镜头分割标准,对SDR进行镜头分割;
步骤五、不同镜头高亮度阈值计算。
针对步骤三得到的不同镜头,计算每个镜头的影像特征
f=(log Yavg,Ykey,Ydst,σY,Ymed)
根据步骤一的参数训练结果,分别计算不同镜头的高亮度阈值。
步骤六、分段亮度映射。
以镜头j为例,根据步骤四计算得到的镜头j的高光阈值Tj和根据经验选取的相对暗部阈值Ldim/100,将单镜头SDR影像亮度区间划分为五个区域:
[0,Ldim/100-δ1)
[Ldim/100-δ1,Ldim/100+δ1)
[Ldim/100+δ1,Tj2),
[Tj2,Tj2),
[Tj2,1],
其中δ1,δ2为两个大于零的参数。
为了保持图像暗部区域不受整体亮度提升的影响,在低亮度区域,变换前后相对亮度值不变;为了保证不同亮度区域变换后亮度过渡平滑,在低亮度到漫反射区过渡区域,漫反射到高亮度区域的亮度过渡区域,在过渡区域使用3次样条插值函数进行亮度映射。
将SDR影像的亮度值为Y,变换后的HDR影像的亮度值为Y′。Y到Y′亮度映射如下:
其中k1,k2为我们给定的参数,a1,b1,c1,d1与a2,b2,c2,d2分别由下面的两个方程组确定:
其中l1=Ldim/100-δ1,l2=Ldim/100+δ1,l3=T(f)-δ2,l4=T(f)+δ2
步骤七、高亮度区域的饱和度增强。
将SDR影像通过步骤四给出的逆色调映射模型进行亮度映射后,由于影像亮度范围的拓展,影像像素的R、G、B三通道值在低亮度以上区域都有所提升。变换后的HDR影像在高亮度区域较同区域的原SDR影像,人眼感知颜色的饱和度会变低。为了提高SDR影像到HDR影像的转换质量,可以选择对变换后的HDR影像进行饱和度补偿。
7.1将变换后的HDR影像由R,G,B转换为H,S,V
令R,G,B为变换后HDR影像像素点的R、G、B各通道的值,H、S,V分别为
V=max(R,G,B);
X=min(R,G,B);
7.2饱和度补偿
S′=Sγ
H′=H
V′=V
γ为控制饱和度增长幅度的指数。
7.3饱和度补偿后的H,S,V转换为R′,G′,B′
I=floor(H);F=H-I;
M=V×(1-S);N=V×(1-S×F);K=V×(1-S×(1-F));
7.4令
M1=1-M2
其中YT为变换后HDR影像高亮度区域下限
YT=k2×(Tj2)+m2
Yb为漫反射区域到高亮度区域的过渡区域的下限相对亮度值
Yb=a2+b2(Tj2)+c2(Tj2)2+d2(Tj2)3
经过饱和度补偿的图像像素点RGB值为(R*,G*,B*):
(R*,G*,B*)=M2(R′,G′,B′)+M1(R,G,B)
步骤八、图像去噪。
SDR经过逆色调映射变换后的HDR影像,在亮度范围拓展的同时,噪声也会被放大,同时饱和度补偿也会造成噪声增大。在亮度域,使用双边滤波器对影像的每帧进行去噪。
设Y(p),Y(q)是图像I中像素点p,q的亮度,双边滤波器表达式如下:
其中W(p)为以像素点p为中心的窗口,
σs,σr分别为给定参数,分别表示空间域的标准差和亮度范围域的标准差。
步骤九、HDR影像编码。
将步骤八得到的Yxy值转换为HDR影像内容制作标准规定的色域下的线性RGB值,并根据标准规定的光电转换函数将线性RGB值转换为非线性线性RGB值,按照规定码值位深进行编码。
步骤十、输出HDR影像。
有益效果
1、本方法基于带有高斯核的支持向量回归模型获得的高亮度阈值模型参数,可用于所有SDR影像各镜头的高光阈值计算;镜头特征计算简单;分段亮度映射函数的计算复杂度低;能在够保证影像转换质量的同时,保持较高的影像转换效率。
2、较基于用户的逆映射模型,本方法获得的该阈值能够大大地节省人工手动标定SDR影像高光区域的时间;
3、本方法通过单镜头为单位,计算镜头特征,预测该镜头高亮度阈值,避免其它方法中单镜头的亮度抖动问题;
4、本方法将影像分为五个不同的亮度区域,不同区域采用不同的亮度映射函数,保证了图像暗部细节的保留,改善不同亮度区域间的亮度断层现象。
附图说明
图1为SDR到HDR影像转换方法的实现系统;
图2为单镜头的SDR到HDR转换流程图;
图3为不同方法的HDR-VDP分数;
图4为不同方法的PSNR分数;
图5为不同方法的SSIM分数;
图6为不同方法的主观评价分数。
具体实施方式
下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果,需要指出的是,所描述的实施例仅旨在便于对本发明的理解,而对其不起任何限定作用。
本实施例以满足SDR影视制作标准ITU-R BT.709,显示峰值亮度为100尼特的SDR的序列帧影像作为输入,通过本发明进行SDR到HDR的转换,输出满足HDR影像制作标准ITU-R BT.2100,峰值亮度为1000尼特,适用于电视HDR放映设备播放的HDR影像,对本发明进行说明。本实施例为本发明在电视行业的一项具体应用。
如图1所示,本实施例公开的一种SDR到HDR转换方法的系统主要包括如下模块:
SDR影像解码模块:SDR影像根据不同制作标准的EOTF进行解码,将影像每帧转换为R,G,B线性值,然后通过色彩空间变换,将RGB转换为亮色分离的Yxy值;
SDR影像镜头检测模块:(自动检测,如果不满意可手动修改)给定镜头内亮度变化阈值,计算相邻两帧亮度差绝对值的平均值,平均值大于阈值作为镜头分割标准,对SDR影像进行镜头分割;
高亮度阈值预测模块:基于支持向量机回归模型,进行高光阈值模型的参数预测,用于计算后续每个镜头的高亮度阈阈值;
SDR到HDR逆色调映射模块:对于分割后的每个单镜头,根据逆映射方法对每个像素的亮度值Y进行映射;
色彩空间转换模块:将图像像素的Yxy值转换为ITU-R BT 2100标准规定色彩空间下的RGB值;
影像增强模块:此模块为选择模块。影像经过前述模块处理,利用饱和度补偿和图像去噪方法进行图像增强,最终以线性RGB值输出给信号输出模块;
HDR影像编码模块:根据HDR制作标准ITU-R BT 2100标准规定的OETF,对线性RGB值进行非线性变换,输出HDR影像。
具体转化步骤如下:
步骤一、基于支持向量回归方法的亮度阈值预测
选择单镜头影像像素亮度的对数平均值log Yavg、key值Ykey、亮度区间长度Ydst、标准差σY和像素亮度中位数Ymed作为该镜头特征向量f的各个分量,即
f=(log Yavg,Ykey,Ydst,σY,Ymed), (1)
其中
其中Y(x,y)表示像素点(x,y)处的相对亮度值,N为单镜头内像素点的总数,
选取M个SDR影像镜头的n个单帧图像(一般从这M个镜头中各等间隔的选取10帧-20帧图像)作为训练样本,手动标定这些样本的高亮度区域,得到该样本的高亮度阈值。这里我们使用了手动标定高亮度范围的1386单帧图像作为训练样本。
设这n个训练样本为S1,S2,…,Sn,其中
Si=(fi,Ti),
fi为第i个单帧图像的特征向量,Ti为第i个单帧图像对应的高亮度阈值。
使用支持向量回归方法进行单镜头高亮度阈值预测。设关于特征向量f的高亮度阈值函数T(f)如下式所示:
这里是将特征向量f映射为更高维特征的映射,ω,b为待求解参数。ω,b满足:
这里C,∈>0,是一个给定参数。
令Lagrange乘子λ=(λ1,λ2,…,λn),求解上述优化问题(3),等价于求解它的对偶问题:
是(4)的解,由KKT条件知,λi与/>不可能同时非零,令ir为/>与/>中非零值对应的下标,则
我们选取高斯核函数G(fi,fj)作为的值,即
σ高斯核参数,我们取σ=0.56。
通过求解上述优化问题,得到对应的支撑向量对应的Lagrange乘子 和参数b,最后得到高亮度阈值预测模型
使用Matlab的regression learner得到m=511个支撑向量和对应的和参数b。
以上训练的参数得到后,可用于所有SDR到HDR影像的不同镜头的高亮度阈值计算。
步骤二、输入SDR影像
输入满足SDR影视制作标准ITU-R BT.709,显示峰值亮度为100尼特的SDR的序列帧影像。
步骤三、SDR影像解码
(1)根据SDR影视制作标准ITU-R BT.709标准的EOTF对SDR影像各帧进行解码。设像素R,G,B各通道SDR影像像素码值为CR,CG,CB
这里L=R,G,B
当L=R时,当L=G时,/>当L=B时,/>
(2)将R,G,B值转换为XYZ值
(3)计算Yxy值
Y=Y
步骤四SDR影像镜头检测
(1)设影像帧画面分辨率为m×n,计算帧间亮度阈值绝对值
其中Yi,j,n表示第n帧的(i,j)像素点的Y值。
(2)判断各帧是否属于同一镜头,令镜头阈值T=0.12(这个阈值可以根据实际分割情况进行改变)。若Dn≤T第n帧与第n-1帧属于同一镜头;否则该镜头结束,开始进行下一个镜头分割。
步骤五、镜头高亮度阈值计算
对于分割后的每个单镜头进行如下计算,这里以镜头j为例,
(1)根据式(1),式(2)计算镜头j的特征向量fj=(log Yavg,Ykey,Ydst,σY,Ymed);
(2)根据式(5)计算高光阈值Tj
步骤六、SDR到HDR逆色调映射
将SDR影像镜头j亮度区间划分为五个区域:
[0,Ldim/100-δ1)
[Ldim/100-δ1,Ldim/100+δ1)
[Ldim/100+δ1,Tj2),
[Tj2,Tj2),
[Tj2,1],
其中δ1,δ2为两个大于零的参数,这里我们取
δ1=0.02,δ2=0.02,δ3=0.2,δ4=0.1
为了保持图像暗部区域不受整体亮度提升的影响,选取低亮度阈值Ldim/100,在低亮度区域,变换前后相对亮度值不变.对于亮度范围为0到100尼特的电视节目而言,Ldim的取值为5尼特较为合适,而对于亮度范围为0到48尼特的电影而言,Ldim可取更低的数值;为了保证不同亮度区域变换后亮度过渡平滑,在低亮度到漫反射区域,漫反射到高亮度区域的亮度过渡区间,在过渡区间使用3次样条插值函数进行亮度映射。
将SDR影像的亮度值为Y,变换后的HDR影像的亮度值为Y′。Y到Y′亮度映射如下:
其中k1,k2为我们给定的参数,这里
a1,b1,c1,d1与a2,b2,c2,d2分别由下面的两个方程组确定:
这里
l1=Ldim/100-δ1,l2=Ldim/100+δ1,l3=T(f)-δ2,l4=T(f)+δ2
步骤七、高亮度区域的饱和度增强
(1)将影像像素的(Y′,x,y)值转换为(R,G,B)值
(2)将变换后的HDR影像由R,G,B转换为H,S,V:
V=max(R,G,B);
X=min(R,G,B);
/>
(3)饱和度补偿
S′=Sγ
γ为控制饱和度增长幅度的指数,这里γ的取值为1/1.8。
H′=H
V′=V
(4)饱和度补偿后的H,S,V转换为R′,G′,B′
I=floor(H);F=H-I;
M=V×(1-S);N=V×(1-S×F);K=V×(1-S×(1-F));
(5)令
M1=1-M2
这里YT=k2(Tj2)+m2;我们取Yb=YT-0.015;经过饱和度补偿的图像像素点的RGB值为(R*,G*,B*):
(R*,G*,B*)=M2(R′,G′,B′)+M1(R,G,B)
步骤八、影像去噪
(1)将像素点RGB值(R*,G*,B*)转换为XYZ值(X*,Y*,Z*):
(2)计算像素点颜色的xy色品坐标(x*,y*):
/>
(3)使用双边滤波器对单帧图像各像素点相对亮度Y进行去噪,得到Yd
设Y*(x,y)是帧图像I中像素点(i,j)的亮度,使用半径为3的方形领域W(x,y):
W(i,j)={(u,v)||u-x|≤3,|v-y|≤3}
其中
σs,σr分别为空间域标准差和亮度域标准差,当影像分辨率为2K时,我们取σs=5,σr=0.01分别为给定参数。
步骤九、HDR影像编码
根据ITU-R BT 2100高动态范围内容图像参数规定进行影像编码。
(1)将像素(YD,x*,y*)值转换为RGB值(Rh,Gh,Bh):
(2)根据ITU-R BT OETF将(Rh,Gh,Bh)转换为非线性(R′h,G′h,B′h)
这里
c1=c3-c2+1,c2=2413/4096,c3=2392/4096
m1=2610/16384,m2=2523/4096
当E=Rh,Gh,Bh时,E′分别表示R′h,G′h,B′h
(3)10比特编码
CR=uint((210-1)R′h)
CG=uint((210-1)G′h)
CB=uint((210-1)B′h)
其中uint表示无符号取整。
步骤十、HDR影像输出
通过以上步骤输出适用于影院HDR显示设备播放的影像。
使用HDR-VDP、PSNR和SSIM作为客观画面质量的评价指标,采用SAMVIQ方法作为主观画面质量评价方法,将本实施例的转换结果与采用Akyüz、Masia、Huo、Meylan、Rempel提出的方法转换后的影像进行对比,得出对比数据。见图3-6及表1-4,注:图标中标志paper为本发明所述方法。
表1不同方法的HDR-VDP均值及标准差
方法 HDR-VDP均值 HDR-VDP标准差
Paper 67.78 0.72245
Akyüz 64.393 2.5081
Masia 62.64 1.5853
Huo 65.841 4.9988
Meylan 67.581 1.8137
Rempel 66.062 1.8268
表2不同方法的PSNR均值及标准差
方法 PSNR均值 PSNR标准差
Paper 27.703 2.8618
Akyüz 14.993 0.85774
Masia 21.786 1.933
Huo 21.107 2.2225
Meylan 26.165 0.85243
Rempel 22.281 2.7833
表3不同方法的SSIM均值及标准差
方法 SSIM均值 SSIM标准差
Paper 0.97109 0.0068991
Akyüz 0.83593 0.05252
Masia 0.85094 0.063547
Huo 0.88678 0.10368
Meylan 0.96175 0.0099919
Rempel 0.96066 0.0073536
表4不同方法的主观评价分数均值及标准差
方法 主观评价分数均值 主观评价分数标准差
Paper 65.267 5.635
Akyüz 53.22 7.4472
Masia 43.22 8.565
Huo 49.807 9.6473
Meylan 55.147 6.2116
Rempel 49.333 10.898
通过评价结果表明,本发明的图像转换质量无论从客观评价指标还是主观评价指标上都有一定的提升。
以上所述的具体描述,对发明的目的、技术方案和有益效果进行进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限定本发明的保护范围,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (8)

1.一种SDR到HDR转换方法,其特征在于:是通过机器学习方法预测单镜头影像的高亮度阈值,通过高亮度阈值将影像划分为漫反射区和高光反射区;由于不同镜头的暗部区域亮度相对稳定,因此根据经验,给出了暗部区域亮度阈值;针对暗部区域、漫反射区域和高反射区域以及不同亮度区域间的过渡区域,分别建立不同的亮度映射函数;在暗部阈值附近和高亮度阈值为中心的小区间内,采用三次样条插值函数作为亮度映射函数,使得各亮度区域间亮度平滑过渡;包含如下步骤:
步骤一、基于支持向量回归方法的亮度阈值预测;
步骤一的实现方法为:
选择单镜头影像像素亮度的对数平均值log Yavg、key值Ykey、亮度区间长度Ydst、标准差σY和像素亮度中位数Ymed作为该镜头特征向量f的各个分量,即
f=(log Yavg,Ykey,Ydst,σY,Ymed),
其中
Ydst=Ymax-Ymin
Ymed=medY(x,y)
其中Y(x,y)表示像素点(x,y)处的相对亮度值,N为单镜头内像素点的总数,med表示镜头内各像素亮度的中位数;
选取M个SDR影像镜头的n个单帧图像作为训练样本,手动标定这些样本的高亮度区域,得到该样本的高亮度阈值;这n个训练样本为S1,S2,…,Sn,其中
Si=(fi,Ti),
fi为第i个单帧图像的特征向量,Ti为第i个单帧图像对应的高亮度阈值;
使用支持向量回归方法进行单镜头高亮度阈值预测;关于特征向量f的高亮度阈值T(f)如下式所示:
其中是将特征向量f映射为更高维特征的映射,ω,b为待求解参数;ω,b满足:
其中C,∈>0,是一个给定参数;
令λ=(λ12,…,λn),求解上述优化问题(1.1),等价于求解它的对偶问题:
是(1.2)的解,由KKT条件知,λi与/>不可能同时非零,令ir为/>与/>中非零值对应的下标,则
其中m为支撑向量个数,选取高斯核函数G(fi,fj)作为的值,即
σ高斯核参数,取σ=0.56;
通过求解上述优化问题,得到对应的支撑向量对应的Lagrange乘子和参数b,最后得到高亮度阈值预测模型
KKT乘子子和参数b得到后,可用于所有SDR影像向HDR影像转换的高亮度阈值计算;
步骤二、输入SDR影像;
步骤三、对输入SDR影像进行解码;
步骤四、镜头检测;
步骤五、不同镜头高亮度阈值计算;
步骤六、分段亮度映射;
步骤七、高亮度区域的饱和度增强;
步骤八、图像去噪;
步骤九、HDR影像编码;
步骤十、输出HDR影像。
2.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤三的实现方法为:
根据SDR影像的像素码值归一化后,使用的电光转换函数(EOTF),将非线性RGB值转换为线性RGB值;进而将线性RGB转换为用于计算的Yxy值;后续步骤的SDR到HDR转换的镜头分割和分段亮度映射均以Y通道为基础进行操作。
3.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤四的实现方法为:
给定镜头内亮度变化阈值,计算相邻两帧亮度差绝对值的平均值,平均值大于阈值作为镜头分割标准,对SDR进行镜头分割。
4.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤五的实现方法为:
针对步骤四得到的不同镜头,计算每个镜头的影像特征
f=(log Yavg,Ykey,YdstY,Ymed)
根据步骤一的参数训练结果,分别计算不同镜头的高亮度阈值。
5.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤六的实现方法为:
以镜头j为例,根据步骤五计算得到的镜头j的高光阈值Tj和根据经验选取的相对暗部阈值Ldim/100,将单镜头SDR影像亮度区间划分为五个区域:
[0,Ldim/100-δ1)
[Ldim/100-δ1,Ldim/100+δ1)
[Ldim/100+δ1,Tj2),
[Tj2,Tj2),
[Tj2,1],
其中δ1,δ2为两个大于零的参数;
为了保持图像暗部区域不受整体亮度提升的影响,在低亮度区域,变换前后相对亮度值不变;为了保证不同亮度区域变换后亮度过渡平滑,在低亮度到漫反射区域,漫反射到高亮度区域的亮度过渡区间,在过渡区间使用3次样条插值函数进行亮度映射;
将SDR影像的亮度值为Y,变换后的HDR影像的亮度值为Y';Y到Y'亮度映射如下:
其中k1,k2为我们给定的参数,a1,b1,c1,d1与a2,b2,c2,d2分别由下面的两个方程组确定:
其中l1=Ldim/100-δ1,l2=Ldim/100+δ1,l3=T(f)-δ2,l4=T(f)+δ2
6.如权利要求5所述一种SDR到HDR转换方法,其特征在于:步骤七的实现方法为:
将SDR影像通过步骤四给出的逆色调映射模型进行亮度映射后,由于影像亮度范围的拓展,影像像素的R、G、B三通道值在低亮度以上区域都有所提升;变换后的HDR影像在高亮度区域较同区域的原SDR影像,人眼感知颜色的饱和度会变低;为了提高SDR影像到HDR影像的转换质量,可以选择对变换后的HDR影像进行饱和度补偿;
7.1将变换后的HDR影像由R,G,B转换为H,S,V
令R,G,B为变换后HDR影像像素点的R、G、B各通道的值,H、S,V分别为
V=max(R,G,B);
X=min(R,G,B);
7.2饱和度补偿
S'=Sγ
H′=H
V′=V
γ为控制饱和度增长幅度的指数;
7.3饱和度补偿后的H,S,V转换为R',G',B'
I=floor(H);F=H-I;
M=V×(1-S);N=V×(1-S×F);K=V×(1-S×(1-F));
7.4令
M1=1-M2
其中YT为变换后HDR影像高亮度区域下限
YT=k2×(Tj2)+m2
Yb为漫反射区域到高亮度区域的过渡区域的下限相对亮度值
Yb=a2+b2(Tj2)+c2(Tj2)2+d2(Tj2)3
经过饱和度补偿的图像像素点RGB值为(R*,G*,B*):
(R*,G*,B*)=M2(R′,G′,B′)+M1(R,G,B)。
7.如权利要求1所述一种SDR到HDR转换方法,其特征在于:步骤八的实现方法为:
SDR经过逆色调映射变换后的HDR影像,在亮度范围拓展的同时,噪声也会被放大,同时饱和度补偿也会造成噪声增大;在亮度域,使用双边滤波器对影像的每帧进行去噪;
设Y(p),Y(q)是图像I中像素点p,q的亮度,双边滤波器表达式如下:
其中W(p)为以像素点p为中心的窗口,
σsr分别为给定参数,分别表示空间域的标准差和亮度范围域的标准差。
8.如权利要求2所述一种SDR到HDR转换方法,其特征在于:步骤九的实现方法为:
将步骤七得到的Yxy值转换为HDR影像内容制作标准规定的色域下的线性RGB值,并根据标准规定的光电转换函数将线性RGB值转换为非线性线性RGB值,按照规定码值位深进行编码。
CN202110976983.2A 2021-08-24 2021-08-24 一种sdr到hdr转换方法 Active CN113706412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110976983.2A CN113706412B (zh) 2021-08-24 2021-08-24 一种sdr到hdr转换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110976983.2A CN113706412B (zh) 2021-08-24 2021-08-24 一种sdr到hdr转换方法

Publications (2)

Publication Number Publication Date
CN113706412A CN113706412A (zh) 2021-11-26
CN113706412B true CN113706412B (zh) 2024-02-09

Family

ID=78668892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110976983.2A Active CN113706412B (zh) 2021-08-24 2021-08-24 一种sdr到hdr转换方法

Country Status (1)

Country Link
CN (1) CN113706412B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114363507A (zh) * 2021-12-02 2022-04-15 维沃移动通信有限公司 图像处理方法及装置
CN114363702B (zh) * 2021-12-28 2023-09-08 上海网达软件股份有限公司 Sdr视频转换为hdr视频的方法、装置、设备及存储介质
CN116704926A (zh) * 2022-02-28 2023-09-05 荣耀终端有限公司 帧数据显示方法、电子设备及存储介质
US20230351562A1 (en) * 2022-04-28 2023-11-02 Samsung Electronics Co., Ltd. Standard dynamic range (sdr) to high dynamic range (hdr)inverse tone mapping using machine learning
CN114866809B (zh) * 2022-06-13 2024-02-23 百果园技术(新加坡)有限公司 视频转换方法、装置、设备、存储介质及程序产品
CN115393228B (zh) * 2022-10-27 2023-03-24 摩尔线程智能科技(北京)有限责任公司 图像处理方法、装置以及图形处理设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210921A (zh) * 2016-08-12 2016-12-07 深圳创维-Rgb电子有限公司 一种图像效果提升方法及其装置
CN107154059A (zh) * 2017-06-26 2017-09-12 杭州当虹科技有限公司 一种高动态范围视频处理方法
CN107968919A (zh) * 2016-10-20 2018-04-27 汤姆逊许可公司 用于逆色调映射的方法和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10244244B2 (en) * 2016-10-26 2019-03-26 Dolby Laboratories Licensing Corporation Screen-adaptive decoding of high dynamic range video
US10672363B2 (en) * 2018-09-28 2020-06-02 Apple Inc. Color rendering for images in extended dynamic range mode

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210921A (zh) * 2016-08-12 2016-12-07 深圳创维-Rgb电子有限公司 一种图像效果提升方法及其装置
CN107968919A (zh) * 2016-10-20 2018-04-27 汤姆逊许可公司 用于逆色调映射的方法和设备
CN107154059A (zh) * 2017-06-26 2017-09-12 杭州当虹科技有限公司 一种高动态范围视频处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
单幅图像的高动态范围图像生成方法;朱恩弘;张红英;吴亚东;霍永青;;计算机辅助设计与图形学学报(第10期);全文 *

Also Published As

Publication number Publication date
CN113706412A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
CN113706412B (zh) 一种sdr到hdr转换方法
CN103778614B (zh) 高动态范围显示设备
RU2647636C2 (ru) Управление отображением видео с расширенным динамическим диапазоном
CN100563303C (zh) 图像处理设备、图像捕获设备和图像处理方法
KR101366596B1 (ko) 이차원 정지 화상에 대해 몰입감을 생성하는 방법 및시스템 그리고 상기 몰입감 생성을 위한 팩터 조절 방법,이미지 콘텐트 분석 방법 및 스케일링 파라미터 예측 방법
CN103593830B (zh) 一种低照度视频图像增强方法
Artusi et al. High dynamic range imaging technology [lecture notes]
CN110717868B (zh) 视频高动态范围反色调映射模型构建、映射方法及装置
KR20120107429A (ko) 구역 기반의 톤 매핑
JP6891882B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
KR101213205B1 (ko) 컬러 재현 시스템 및 방법
CN107154059A (zh) 一种高动态范围视频处理方法
US20070065008A1 (en) Method and apparatus for dynamic image contrast expansion
CN113823235A (zh) 一种Mini-LED背光分区控制系统及方法
CN113793275A (zh) 一种Swin Unet低照度图像增强方法
CN113823234B (zh) 一种RGB Mini-LED场序背光控制系统及方法
CN107592517B (zh) 一种肤色处理的方法及装置
CN112465726A (zh) 基于参考亮度指标指导的低照度可调节亮度增强方法
Zamir et al. Gamut extension for cinema
CN114463207B (zh) 基于全局动态范围压缩与局部亮度估计的色阶映射方法
CN110211077A (zh) 一种基于高阶奇异值分解的多曝光图像融合方法
Song et al. Luminance enhancement and detail preservation of images and videos adapted to ambient illumination
CN102427538A (zh) 电影对比度色度自动增强方法
CN107197235A (zh) 一种hdr视频预处理方法
CN112019774B (zh) 一种红外高位宽数字图像的高质量显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant