CN111784598A - 色调映射模型的训练方法、色调映射方法及电子设备 - Google Patents

色调映射模型的训练方法、色调映射方法及电子设备 Download PDF

Info

Publication number
CN111784598A
CN111784598A CN202010562136.7A CN202010562136A CN111784598A CN 111784598 A CN111784598 A CN 111784598A CN 202010562136 A CN202010562136 A CN 202010562136A CN 111784598 A CN111784598 A CN 111784598A
Authority
CN
China
Prior art keywords
image
training
tone mapping
mapping model
training image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010562136.7A
Other languages
English (en)
Other versions
CN111784598B (zh
Inventor
何慕威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oppo Chongqing Intelligent Technology Co Ltd
Original Assignee
Oppo Chongqing Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oppo Chongqing Intelligent Technology Co Ltd filed Critical Oppo Chongqing Intelligent Technology Co Ltd
Priority to CN202010562136.7A priority Critical patent/CN111784598B/zh
Publication of CN111784598A publication Critical patent/CN111784598A/zh
Application granted granted Critical
Publication of CN111784598B publication Critical patent/CN111784598B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/90
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration by the use of histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Abstract

本申请公开了色调映射模型的训练方法、色调映射方法、及电子设备、存储介质。其中,色调映射模型的训练方法包括:确定至少一组训练图像对;所述至少一组训练图像对中的每一组训练图像对由源训练图像和对应的目标训练图像构成;构成一组训练图像对的源训练图像和对应的目标训练图像为关于相同图像内容的两张亮度不同的低动态范围LDR图像;所述目标训练图像为满足设定的图像质量指标的图像;采用所述至少一组训练图像对训练色调映射模型;其中,所述色调映射模型用于改变输入图像中至少一个像素的像素状态,所述像素状态包括:像素的颜色和/或亮度。

Description

色调映射模型的训练方法、色调映射方法及电子设备
技术领域
本申请涉及影像技术领域,尤其涉及色调映射模型的训练方法、色调映射方法及电子设备、存储介质。
背景技术
色调映射(Tone Mapping)是在有限动态范围媒介上近似显示高动态范围(HDR,High-Dynamic Range)图像的一项计算机图形技术。色调映射的方法分为对图像进行全局统一色调映射处理的算法和对图像进行局部色调映射处理的算法。
相关技术中,全局统一色调映射处理的算法性能一般劣于局部色调映射处理的方法,而局部色调映射处理的方法会出现光晕等现象。因而,在低动态范围(LDR,Low-DynamicRange)显示媒介上如何更好地表达原HDR图像的亮度信息与明暗对比特征,一直是当前色调映射的首要问题。
发明内容
本申请实施例提供一种色调映射模型的训练方法、色调映射方法及电子设备、存储介质,以至少解决相关技术中如何在LDR显示媒介上更好地表达HDR图像的亮度信息与明暗对比特征的问题。
本申请实施例的技术方案是这样实现的:
第一方面,本申请实施例提供了一种色调映射模型的训练方法,该方法包括:
确定至少一组训练图像对;所述至少一组训练图像对中的每一组训练图像对由源训练图像和对应的目标训练图像构成;构成一组训练图像对的源训练图像和对应的目标训练图像为关于相同图像内容的两张亮度不同的低动态范围LDR图像;所述目标训练图像为满足设定的图像质量指标的图像;
采用所述至少一组训练图像对训练色调映射模型;其中,所述色调映射模型用于改变输入图像中至少一个像素的像素状态,所述像素状态包括:像素的颜色和/或亮度。
第二方面,本申请实施例还提供了一种色调映射方法,该方法包括:
对HDR图像进行第一色调映射,生成第一LDR图像;
将所述第一LDR图像输入训练完成的色调映射模型,得到第二LDR图像;其中,
所述色调映射模型采用上述任一项所述的色调映射模型的训练方法训练得到。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括:
确定单元,用于确定至少一组训练图像对;所述至少一组训练图像对中的每一组训练图像对由源训练图像和对应的目标训练图像构成;构成一组训练图像对的源训练图像和对应的目标训练图像为关于相同图像内容的两张亮度不同的LDR图像;所述目标训练图像为满足设定的图像质量指标的图像;
训练单元,用于采用所述至少一组训练图像对训练色调映射模型;其中,所述色调映射模型用于改变输入图像中至少一个像素的像素状态,所述像素状态包括:像素的颜色和/或亮度。
第四方面,本申请实施例提供了一种电子设备,该电子设备包括:
第一生成单元,用于对HDR图像进行第一色调映射,生成第一LDR图像;
第二生成单元,用于将所述第一LDR图像输入训练完成的色调映射模型,得到第二LDR图像;其中,
所述色调映射模型采用上述任一项所述的色调映射模型的训练方法训练得到。
第五方面,本申请实施例还提供了一种电子设备,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行上述任一项所述方法的步骤。
第六方面,本申请实施例还提供了一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现以上任一项所述方法的步骤。
本申请实施例中,电子设备通过采用至少一组由源训练图像和目标训练图像组成的成对训练图像,对色调映射模型进行训练,该色调映射模型用于改变输入图像中至少一个像素的像素状态。因为每组训练图像对是关于相同图像内容的两张亮度不同的低动态范围LDR图像,因此,训练后的色调映射模型能够通过学习目标训练图像与源训练图像的像素状态区别,建立端对端的色调映射,修改输入图像的至少一个像素的像素状态,使得在LDR显示媒介上能更好地表达HDR图像的亮度信息与明暗对比特征,解决相关色调映射技术中光晕等问题。
附图说明
图1为本申请实施例提供的色调映射模型的训练方法的实现流程示意图;
图2为本申请实施例提供的一种训练色调映射模型的示例流程示意图;
图3为本申请实施例提供的一种色调映射模型内部处理流程示意图;
图4为本申请实施例提供的色调映射方法的流程示意图;
图5为本申请实施例提供的一种第一LDR图像的生成流程示意图;
图6为本申请实施例提供的一种电子设备的结构示意图;
图7为本申请实施例提供的另一种电子设备的结构示意图;
图8为本申请实施例提供的电子设备的硬件组成结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本申请。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
需要说明的是,本申请实施例所记载的技术方案之间,在不冲突的情况下,可以任意组合。
为便于理解本申请实施例的技术方案,以下对本申请实施例涉及到的相关技术进行说明。
HDR是一种多帧合成技术,无论是拍照片也好、录制视频也好,电子设备在一帧内同时拍摄多张画面,然后利用算法处理将不同画面的明暗部分合成在一起,以达到同时保留高光细节与暗部细节的目的。
色调映射模型指对图像亮度进行映射变换的算法。根据场景明暗对比,把HDR高动态范围光照色调映射到显示器能显示的LDR低动态光照范围,并尽可能的保存了明暗对比细节,使得处理后的图像人眼看起来更加舒适,能更好的表达原图里的信息与特征。
像素可以指图像的基本区域。图像可以由像素构成。像素可以是可寻址的最小图片/图像元素。
块(patch)可以指图像中或者从图像中提取的一组像素(例如,矩形像素块),其可以是相邻像素,但也不一定是相邻的(即,块可以是相干或非相干的)。
相关技术中,色调映射模型可以是全局色调映射模型,例如伽玛校对色调映射;也可以是局部色调映射模型,例如分段灰度变换色调映射等。各类色调映射方式都各有优缺点,以缺点来说,全局色调映射模型不能合成较好的动态范围效果,而局部色调映射模型存在光晕等不良显示效果。
基于此,提出了本申请实施例的以下技术方案,电子设备通过采用至少一组由源训练图像和目标训练图像组成的成对训练图像,对色调映射模型进行训练,该色调映射模型用于改变输入图像中至少一个像素的像素状态。因为每组训练图像对是关于相同图像内容的两张亮度不同的低动态范围LDR图像,因此,训练后的色调映射模型能够通过学习目标训练图像与源训练图像的像素状态区别,建立端对端的色调映射,修改输入图像的至少一个像素的像素状态,使得在LDR显示媒介上能更好地表达HDR图像的亮度信息与明暗对比特征,解决相关色调映射技术中光晕等问题,以提高显示效果。
下面介绍色调映射模型的训练方法的执行步骤,图1是本申请实施例提供的色调映射模型的训练方法的流程示意图,如图1所示,该流程包括如下步骤:
步骤101:确定至少一组训练图像对;所述至少一组训练图像对中的每一组训练图像对由源训练图像和对应的目标训练图像构成;构成一组训练图像对的源训练图像和对应的目标训练图像为关于相同图像内容的两张亮度不同的LDR图像;所述目标训练图像为满足设定的图像质量指标的图像。
步骤102:采用所述至少一组训练图像对训练色调映射模型;其中,所述色调映射模型用于改变输入图像中至少一个像素的像素状态,所述像素状态包括:像素的颜色和/或亮度。
在步骤101中,电子设备确定至少一组由源训练图像和目标训练图像组成的训练图像对。构成一组训练图像对的源训练图像和对应的目标训练图像为关于相同图像内容的两张亮度不同的LDR图像。
需要说明的是,源训练图像是进行训练的色调映射模型的输入图像,源图像的像素状态在训练色调映射模型时将被训练映射到参考的图像的像素状态。目标训练图像指像素状态在训练色调映射模型时作为参考的图像。这里,目标训练图像应满足设定的图像质量指标,例如,该图像质量指标可以包括没有光晕等明显瑕疵,也可以包括明暗对比特征的显示效果达到设定的指标,该设定的指标可以是可用检测软件进行测量的指标,也可以是对使用者的人眼感受更好的主观指标。该图像质量指标还可以包括对源HDR图像的亮度信息的处理满足设定的动态显示范围指标,等等。
还需要说明的是,色调映射模型可以是机器学习模型,机器学习模型可以包括:人工神经网络模型、卷积神经网络模型、支持向量机模型、决策树模型、线性回归模型等等。
这里,机器学习可以指根据输入数据进行分析和学习的自动化技术,以构建具有预测能力的模型。人工神经网络可以指在深度学习背景下由生物神经网络启发的一个机器学习分支。人工网络旨在通过自适应地学习一组连接权重来估计具有大量输入的函数。卷积可以指通过积分来计算两个函数其中的一个函数翻转和平移后的重叠量的一种数学运算。
在一个实施例中,在确定至少一组训练图像对时,所述方法包括以下三个步骤:
对源HDR图像进行第一色调映射,生成源训练图像。
对所述源HDR图像进行至少两种色调映射,生成至少两个备选目标训练图像。
基于所述至少两个备选目标训练图像,确定与所述源训练图像对应的目标训练图像。
应理解,这里,源HDR图像是用于训练色调映射模型的HDR图像,在一些可能的实施方式中,源HDR图像不止一个,举例来说,可以包含人物、自然场景、高速运动场景等等不同的HDR图像。每组训练图像对中的源训练图像和目标训练图像都是同一源HDR图像基于不同色调映射处理得到的显示相同场景的不同色调的LDR图像。
需要说明的是,进行第一色调映射可以指对源HDR图像进行相关技术中的归一化处理,得到归一化HDR图像数据,再将归一化HDR图像数据进行全局色调映射等相关色调映射处理技术,得到源训练图像。该第一色调映射可以是相关技术中任一色调映射方式,本申请对此不作限制。
还需要说明的是,对源HDR图像进行至少两种色调映射是指使用若干种相关技术中的色调映射方式分别对源HDR图像进行处理,通过各色调映射方式得到的LDR图像都可以作为备选目标训练图像。
在一实施例中,所述基于所述至少两个备选目标训练图像,确定与所述源训练图像对应的目标训练图像,包括以下两个步骤:
从所述至少两个备选目标训练图像中,筛选出一个备选目标训练图像。
对筛选出的备选目标训练图像修正至少一个像素的像素状态,作为与所述源训练图像对应的目标训练图像。
应理解,目标训练图像可以是直接从多个备选目标训练图像中,筛选出的最能体现源HDR图像亮度信息和明暗对比特征的一个备选目标训练图像。目标训练图像也可以是先筛选出一个备选目标训练图像,再对该备选目标训练图像的至少一个像素的像素状态进行修正处理,得到目标训练图像。这里,修正处理可以是通过一些三维渲染软件进行的。容易理解的是,进行过修正处理的目标训练图像,可以显示更佳的明暗对比特征。
在步骤102中,利用步骤201中确定的至少一个训练图像对训练色调映射模型。色调映射模型被训练用于改变输入图像中至少一个像素的像素状态。应理解,这里输入图像被改变像素状态后,可以显示更好地明暗对比效果,或者可以解决输入图像中因第一色调映射造成的矫正过度、对比度不自然的问题。
在一个实施例中,步骤102可以进一步包括以下两个步骤:
从源训练图像中提取至少一个源块,从目标训练图像中提取至少一个目标块;其中,每个所述源块包括所述源训练图像的至少一个像素,每个所述目标块包括所述目标训练图像的至少一个像素。
基于所述至少一个源块和所述至少一个目标块,训练所述色调映射模型。
这里,需要说明的是,源块和目标块的大小可以相同,也可以不同。因此,得到的块的大小可能小于输入图像。源块和目标块的大小、训练色调映射模型时所使用的滤波器数量等参数可以由用户设置。或者,这些值也可以根据由至少一个训练对组成的训练集的图像中像素状态的不同来自适应地设置。例如,若输入图像(即源训练图像)存在一对比度显示不自然区域,增加源块的大小或增加滤波器的数量,应有助于克服这些负面显示效果。
容易理解的是,对于源训练图像中没有显示问题的区域,可以选择不从这些区域提取源块,以节省处理资源,提高色调映射训练效率。
下面结合图2对本申请实施例中训练色调映射模型的一种可行方式作细分介绍。图2是本申请实施例提供的一种训练色调映射模型的示例流程示意图。如图2所示,源训练图像可以是通过对源HDR图像顺序进行图像归一化及第一色调映射处理而得到的。目标训练图像可以是通过先对源HDR图像分别进行至少两种色调映射处理,对应每种色调映射处理,得到一个备选目标训练图像,再从多个备选目标训练图像中筛选出目标训练图像。
这里,源训练图像是色调映射模型的输入图像,而目标训练图像是该色调映射模型的目标输出图像。容易理解的是,在训练色调映射模型的过程中,一开始,色调映射模型对源训练图像的处理结果可能跟目标训练图像有差别,这个差别可以是图像中至少一个像素的像素状态不同。相关技术中,在训练色调映射模型时,可以使用损失训练方式,以减少经色调映射模型处理后的色调映射模型图像与目标训练图像的差别。当训练损失值收敛后,可以看成是完成了该对图像训练对对色调映射模型的训练过程。
在一个实施例中,在采用所述至少一组训练图像对训练色调映射模型时,可以包括以下步骤:
基于至少两个损失函数构成的加权函数,校正所述色调映射模型的参数;其中,
所述损失函数包括:
最小化绝对误差损失函数;
结构相似性损失函数。
在该实施例中,用于对色调映射模型进行损失训练的训练损失公式可以是多个损失函数的加权函数。例如,可以是最小化绝对误差(L1,Least Abosulote Error)损失函数与结构相似性(SSIM,structural similarity)损失函数组成的加权函数。
实际应用中,用于校正色调映射模型参数的加权函数可以定义为a*L1_LOSS+b*SSIM_LOSS,其中,参数a和b的值根据实际情况进行选取,上述参数a、b既可以是预先设定的一个固定值,也可以是在系统运行过程中可以动态调整的数值。
本申请实施例中,电子设备通过采用至少一组由源训练图像和目标训练图像组成的成对训练图像,对色调映射模型进行训练,该色调映射模型用于改变输入图像中至少一个像素的像素状态。因为每组训练图像对是关于相同图像内容的两张亮度不同的低动态范围LDR图像,因此,训练后的色调映射模型能够通过学习目标训练图像与源训练图像的像素状态区别,建立端对端的色调映射,修改输入图像的至少一个像素的像素状态,使得在LDR显示媒介上能更好地表达HDR图像的亮度信息与明暗对比特征,解决相关色调映射技术中光晕等问题。
下面结合图3对本申请实施例中训练色调映射模型的内部处理流程进行示例性介绍。图3是本申请实施例提供的一种色调映射模型内部处理流程示意图。如图3所示,校正色调映射模型,尤其卷积神经网络时,可以包括以下步骤:
将源训练图像发送到色调映射模型中的编码器网络,所述编码器网络包括卷积层和池化层。
得到所述编码器网络基于所述源训练图像生成的第一特征。
将所述第一特征发送到色调映射模型中的解码器网络,所述解码器网络包括卷积层和反卷积层。
得到所述解码器网络基于所述第一特征生成的归一化LDR图像。
线性映射所述归一化LDR图像,生成色调映射模型图像。
基于所述色调映射模型图像和与所述源训练图像对应的目标训练图像,计算训练损失,根据计算结果校正所述色调映射模型的参数。
需要说明的是,编码器网络和解码器网络所包含的卷积层数量,可以根据实际应用时的需要进行调整,以提高色调映射模型的准确性。
下面介绍色调映射方法的执行步骤,图4是本申请实施例提供的色调映射方法的流程示意图,如图4所示,该流程包括如下步骤:
步骤401:对HDR图像进行第一色调映射,生成第一LDR图像。
步骤402:将所述第一LDR图像输入训练完成的色调映射模型,得到第二LDR图像。
在步骤401中,对需要进行色调映射处理以生成LDR图像的HDR图像进行第一色调映射处理,生成第一LDR图像。
需要说明的是,在一些可能的实施例中,步骤401可以细分为以下步骤:
归一化所述HDR图像;
校正归一化后的HDR图像,生成所述第一LDR图像。
实际应用中,归一化HDR图像可以使用多种归一化方式。
在一种归一化处理中,将所述HDR图像中每个像素的亮度值调整为第一亮度值;所述第一亮度值为对应像素的亮度值P与所述HDR图像中最大像素亮度值Pmax的比值。如果用公式表达,可以为下式:
Figure BDA0002546522530000101
在另一种归一化处理中,电子设备首先获取HDR图像中像素的最大值Pmax和最小值Pmin,然后将HDR图像中的每个像素值P减去最小值Pmin后,除以最大值Pmax与最小值Pmin的差值,得到归一化后的像素值Value。如果用公式表达,可以为下式:
Figure BDA0002546522530000102
实际应用中,校正归一化后的HDR图像的方式也可以为多种。
在一实施例中,使用伽玛(Gamma)校正方式校正归一化后的HDR图像。,即将归一化后的像素值Value使用Gamma校正公式,得到映射后的像素值OutValue,如果用公式表达,可以为下式:
Outvalue=c*Valuegamma
在另一实施例中,采用直方图均衡化校正归一化后的HDR图像。具体方式为首先统计归一化图像的平均亮度值,根据平均亮度值所在的多个区间决定参数weight值。
举例来说,当平均亮度值范围在[0,0.2]时,参数weight=0.60;平均亮度值范围在[0.2,0.4]时,参数weight=0.65;平均亮度值范围在[0.4,0.6]时,参数weight=0.70;平均亮度值范围在[0.6,0.8]时,参数weight=0.75;平均亮度值范围在[0.8,1.0]时,参数weight=0.80。其中平均亮度值所在五个区间的weight值的选取包括但不限于以上的固定值,根据实际情况灵活调整五个区间的weight值,同时区间包括但不限于五个。这样分区间处理的原因在于:不同亮度场景下HDR图像的动态范围不同,采用分区间处理可提升不同亮度场景效果鲁棒性。如果用公式表达,可以为下式:
Outvalue=Valueweight
图5示出了本申请实施例提供的一种第一LDR图像的生成流程示意图。在图5所示的示例中,根据HDR图像生成第一LDR图像,包括以下步骤:
将HDR图像进行归一化处理,得到归一化HDR图像。
对归一化HDR图像进行直方图均衡化校正,得到第一LDR图像。
在步骤402中,将第一LDR图像输入训练完成的色调映射模型,得到第二LDR图像。这里,第二LDR图像即是色调映射模型对于第一LDR图像的输出图像。
需要说明的是,色调映射模型可以采用本申请实施例中的色调映射模型的训练方法训练得到。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
本申请实施例中,电子设备通过将第一色调映射得到的第一LDR图像输入训练完成的色调映射模型,生成了色调映射模型的输出图像。输出图像将修改输入图像的至少一个像素的像素状态,使得在LDR显示媒介上能更好地表达HDR图像的亮度信息与明暗对比特征,解决相关色调映射技术中光晕等问题。
为实现本申请实施例的色调映射模型的训练方法,本申请实施例还提供一种电子设备,如图6所示,电子设备包括:
确定单元601,用于确定至少一组训练图像对;所述至少一组训练图像对中的每一组训练图像对由源训练图像和对应的目标训练图像构成;构成一组训练图像对的源训练图像和对应的目标训练图像为关于相同图像内容的两张亮度不同的LDR图像;所述目标训练图像为满足设定的图像质量指标的图像;
训练单元602,用于采用所述至少一组训练图像对训练色调映射模型;其中,所述色调映射模型用于改变输入图像中至少一个像素的像素状态,所述像素状态包括:像素的颜色和/或亮度。
一实施例中,在确定至少一组训练图像对时,确定单元601用于:
对源高动态范围HDR图像进行第一色调映射,生成源训练图像;
对所述源HDR图像进行至少两种色调映射,生成至少两个备选目标训练图像;
基于所述至少两个备选目标训练图像,确定与所述源训练图像对应的目标训练图像。
一实施例中,确定单元601在基于所述至少两个备选目标训练图像,确定与所述源训练图像对应的目标训练图像时,用于:
从所述至少两个备选目标训练图像中,筛选出一个备选目标训练图像;
对筛选出的备选目标训练图像修正至少一个像素的像素状态,作为与所述源训练图像对应的目标训练图像。
一实施例中,在采用所述至少一组训练图像对训练色调映射模型时,训练单元602用于:
从源训练图像中提取至少一个源块,从目标训练图像中提取至少一个目标块;其中,每个所述源块包括所述源训练图像的至少一个像素,每个所述目标块包括所述目标训练图像的至少一个像素;
基于所述至少一个源块和所述至少一个目标块,训练所述色调映射模型。
一实施例中,在采用所述至少一组训练图像对训练色调映射模型时,训练单元602用于:
基于至少两个损失函数构成的加权函数,校正所述色调映射模型的参数;其中,
所述损失函数包括:
最小化绝对误差损失函数;
结构相似性损失函数。
一实施例中,在校正所述色调映射模型的参数时,训练单元602用于:
将源训练图像发送到色调映射模型中的编码器网络,所述编码器网络包括卷积层和池化层;
得到所述编码器网络基于所述源训练图像生成的第一特征;
将所述第一特征发送到色调映射模型中的解码器网络,所述解码器网络包括卷积层和反卷积层;
得到所述解码器网络基于所述第一特征生成的归一化LDR图像;
线性映射所述归一化LDR图像,生成色调映射模型图像;
基于所述色调映射模型图像和与所述源训练图像对应的目标训练图像,计算训练损失,根据计算结果校正所述色调映射模型的参数。
实际应用时,确定单元601和训练单元602可由电子设备中的处理器来实现,当然,处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
需要说明的是,上述图6实施例提供的电子设备仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将电子设备的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的电子设备与色调映射模型的训练方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
为实现本申请实施例的色调映射方法,本申请实施例还提供一种电子设备,如图7所示,电子设备包括:
第一生成单元701,用于对HDR图像进行第一色调映射,生成第一LDR图像;
第二生成单元702,用于将所述第一LDR图像输入训练完成的色调映射模型,得到第二LDR图像;其中,
所述色调映射模型采用本申请实施例的色调映射模型的训练方法训练得到。
一实施例中,第一生成单元701,在对HDR图像进行第一色调映射,生成第一LDR图像时,用于:
归一化所述HDR图像;
校正归一化后的HDR图像,生成所述第一LDR图像。
一实施例中,第一生成单元701在归一化所述HDR图像时,用于:
将所述HDR图像中每个像素的亮度值调整为第一亮度值;所述第一亮度值为对应像素的亮度值与所述HDR图像中最大像素亮度值的比值。
一实施例中,第一生成单元701在校正归一化后的HDR图像,生成所述第一LDR图像时,用于:
采用直方图均衡化校正归一化后的HDR图像,生成第一LDR图像。
实际应用时,第一生成单元701和第二生成单元702可由电子设备中的处理器来实现,当然,处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
需要说明的是,上述图7实施例提供的电子设备仅以上述各程序模块的划分进行举例说明,实际应用中,可以根据需要而将上述处理分配由不同的程序模块完成,即将电子设备的内部结构划分成不同的程序模块,以完成以上描述的全部或者部分处理。另外,上述实施例提供的电子设备与色调映射方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
基于上述程序模块的硬件实现,且为了实现本申请实施例的方法,本申请实施例还提供了一种电子设备。图8是本申请实施例提供的一种电子设备800的硬件组成结构示意图。图8所示的电子设备800包括处理器810,处理器810可以从存储器中调用并运行计算机程序,以实现本申请实施例中的方法。
可选地,如图8所示,电子设备800还可以包括存储器820。其中,处理器810可以从存储器820中调用并运行计算机程序,以实现本申请实施例中的方法。
其中,存储器820可以是独立于处理器810的一个单独的器件,也可以集成在处理器810中。
可选地,如图8所示,电子设备800还可以包括收发器830,处理器810可以控制该收发器830与其他设备进行通信,具体地,可以向其他设备发送信息或数据,或接收其他设备发送的信息或数据。
其中,收发器830可以包括发射机和接收机。收发器830还可以进一步包括天线,天线的数量可以为一个或多个。
可选地,该电子设备800可以实现本申请实施例的色调映射模型的训练方法的相应流程,或者,该电子设备800可以实现本申请实施例的色调映射方法的相应流程,为了简洁,在此不再赘述。
本申请实施例中的存储器用于存储各种类型的数据以支持终端中的操作。这些数据的示例包括:用于在相关设备上操作的任何计算机程序。
可以理解,存储器可以是易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(ROM,Read Only Memory)、可编程只读存储器(PROM,Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM,Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM,Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM,ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM,Compact Disc Read-Only Memory);磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM,Random AccessMemory),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(SRAM,Static Random Access Memory)、同步静态随机存取存储器(SSRAM,Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM,Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM,SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM,Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM,Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM,SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM,Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
上述本申请实施例揭示的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、DSP,或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤,可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中,该存储介质位于存储器,处理器读取存储器中的程序,结合其硬件完成前述方法的步骤。
处理器执行所述程序时实现本申请实施例的各个方法中的相应流程,为了简洁,在此不再赘述。
在示例性实施例中,本申请实施例还提供了一种存储介质,即计算机存储介质,具体为计算机可读存储介质,例如包括存储计算机程序的存储器,上述计算机程序可由处理器执行,以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置、终端和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元,即可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种色调映射模型的训练方法,其特征在于,包括:
确定至少一组训练图像对;所述至少一组训练图像对中的每一组训练图像对由源训练图像和对应的目标训练图像构成;构成一组训练图像对的源训练图像和对应的目标训练图像为关于相同图像内容的两张亮度不同的低动态范围LDR图像;所述目标训练图像为满足设定的图像质量指标的图像;
采用所述至少一组训练图像对训练色调映射模型;其中,所述色调映射模型用于改变输入图像中至少一个像素的像素状态,所述像素状态包括:像素的颜色和/或亮度。
2.根据权利要求1所述的方法,其特征在于,在确定至少一组训练图像对时,所述方法包括:
对源高动态范围HDR图像进行第一色调映射,生成源训练图像;
对所述源HDR图像进行至少两种色调映射,生成至少两个备选目标训练图像;
基于所述至少两个备选目标训练图像,确定与所述源训练图像对应的目标训练图像。
3.根据权利要求2所述的方法,其特征在于,所述基于所述至少两个备选目标训练图像,确定与所述源训练图像对应的目标训练图像,包括:
从所述至少两个备选目标训练图像中,筛选出一个备选目标训练图像;
对筛选出的备选目标训练图像修正至少一个像素的像素状态,作为与所述源训练图像对应的目标训练图像。
4.根据权利要求1所述的方法,其特征在于,在采用所述至少一组训练图像对训练色调映射模型时,所述方法包括:
从源训练图像中提取至少一个源块,从目标训练图像中提取至少一个目标块;其中,每个所述源块包括所述源训练图像的至少一个像素,每个所述目标块包括所述目标训练图像的至少一个像素;
基于所述至少一个源块和所述至少一个目标块,训练所述色调映射模型。
5.根据权利要求1所述的方法,其特征在于,在采用所述至少一组训练图像对训练色调映射模型时,所述方法包括:
基于至少两个损失函数构成的加权函数,校正所述色调映射模型的参数;其中,
所述损失函数包括:
最小化绝对误差损失函数;
结构相似性损失函数。
6.根据权利要求5所述的方法,其特征在于,所述校正所述色调映射模型的参数,包括:
将源训练图像发送到色调映射模型中的编码器网络,所述编码器网络包括卷积层和池化层;
得到所述编码器网络基于所述源训练图像生成的第一特征;
将所述第一特征发送到色调映射模型中的解码器网络,所述解码器网络包括卷积层和反卷积层;
得到所述解码器网络基于所述第一特征生成的归一化LDR图像;
线性映射所述归一化LDR图像,生成色调映射模型图像;
基于所述色调映射模型图像和与所述源训练图像对应的目标训练图像,计算训练损失,根据计算结果校正所述色调映射模型的参数。
7.一种色调映射方法,其特征在于,包括:
对HDR图像进行第一色调映射,生成第一LDR图像;
将所述第一LDR图像输入训练完成的色调映射模型,得到第二LDR图像;其中,
所述色调映射模型采用如权利要求1至6中任一项所述的色调映射模型的训练方法训练得到。
8.根据权利要求7所述的方法,其特征在于,所述对HDR图像进行第一色调映射,生成第一LDR图像,包括:
归一化所述HDR图像;
校正归一化后的HDR图像,生成所述第一LDR图像。
9.根据权利要求8所述的方法,其特征在于,所述归一化所述HDR图像,包括:
将所述HDR图像中每个像素的亮度值调整为第一亮度值;所述第一亮度值为对应像素的亮度值与所述HDR图像中最大像素亮度值的比值。
10.根据权利要求8所述的方法,其特征在于,所述校正归一化后的HDR图像,生成所述第一LDR图像,包括:
采用直方图均衡化校正归一化后的HDR图像,生成第一LDR图像。
11.一种电子设备,其特征在于,包括:
确定单元,用于确定至少一组训练图像对;所述至少一组训练图像对中的每一组训练图像对由源训练图像和对应的目标训练图像构成;构成一组训练图像对的源训练图像和对应的目标训练图像为关于相同图像内容的两张亮度不同的LDR图像;所述目标训练图像为满足设定的图像质量指标的图像;
训练单元,用于采用所述至少一组训练图像对训练色调映射模型;其中,所述色调映射模型用于改变输入图像中至少一个像素的像素状态,所述像素状态包括:像素的颜色和/或亮度。
12.一种电子设备,其特征在于,包括:
第一生成单元,用于对HDR图像进行第一色调映射,生成第一LDR图像;
第二生成单元,用于将所述第一LDR图像输入训练完成的色调映射模型,得到第二LDR图像;其中,
所述色调映射模型采用如权利要求1至6中任一项所述的色调映射模型的训练方法训练得到。
13.一种电子设备,其特征在于,包括:处理器和用于存储能够在处理器上运行的计算机程序的存储器,
其中,所述处理器用于运行所述计算机程序时,执行权利要求1至6中任一项或者权利要求7至10中任一项所述方法的步骤。
14.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项或者权利要求7至10中任一项所述方法的步骤。
CN202010562136.7A 2020-06-18 2020-06-18 色调映射模型的训练方法、色调映射方法及电子设备 Active CN111784598B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010562136.7A CN111784598B (zh) 2020-06-18 2020-06-18 色调映射模型的训练方法、色调映射方法及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010562136.7A CN111784598B (zh) 2020-06-18 2020-06-18 色调映射模型的训练方法、色调映射方法及电子设备

Publications (2)

Publication Number Publication Date
CN111784598A true CN111784598A (zh) 2020-10-16
CN111784598B CN111784598B (zh) 2023-06-02

Family

ID=72756737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010562136.7A Active CN111784598B (zh) 2020-06-18 2020-06-18 色调映射模型的训练方法、色调映射方法及电子设备

Country Status (1)

Country Link
CN (1) CN111784598B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669241A (zh) * 2021-01-29 2021-04-16 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质
CN113409210A (zh) * 2021-06-17 2021-09-17 杭州海康威视数字技术股份有限公司 瞳孔亮斑消除方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
CN103413286A (zh) * 2013-08-02 2013-11-27 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
CN104541301A (zh) * 2012-03-26 2015-04-22 皇家飞利浦有限公司 用于hdr图像编码和解码的基于视亮度区域的装置和方法
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统
CN109064433A (zh) * 2013-02-21 2018-12-21 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
CN109741281A (zh) * 2019-01-04 2019-05-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及终端
CN110717864A (zh) * 2019-08-29 2020-01-21 苏州千视通视觉科技股份有限公司 一种图像增强方法、装置、终端设备及计算机可读介质
CN110796595A (zh) * 2019-10-31 2020-02-14 北京大学深圳研究生院 一种色调映射方法、装置及电子设备
US10665011B1 (en) * 2019-05-31 2020-05-26 Adobe Inc. Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features
CN111223061A (zh) * 2020-01-07 2020-06-02 Oppo广东移动通信有限公司 图像修正方法、修正装置、终端设备及可读存储介质
CN111292264A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于深度学习的图像高动态范围重建方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102959957A (zh) * 2010-07-06 2013-03-06 皇家飞利浦电子股份有限公司 在多视图视频编码中从低动态范围图像生成高动态范围图像
CN104541301A (zh) * 2012-03-26 2015-04-22 皇家飞利浦有限公司 用于hdr图像编码和解码的基于视亮度区域的装置和方法
CN109064433A (zh) * 2013-02-21 2018-12-21 皇家飞利浦有限公司 改进的hdr图像编码和解码方法及设备
CN103413286A (zh) * 2013-08-02 2013-11-27 北京工业大学 一种基于学习的高动态范围与高分辨率图像联合重建方法
EP3220349A1 (en) * 2016-03-16 2017-09-20 Thomson Licensing Methods, apparatus, and systems for extended high dynamic range ("hdr") hdr to hdr tone mapping
CN108681991A (zh) * 2018-04-04 2018-10-19 上海交通大学 基于生成对抗网络的高动态范围反色调映射方法及系统
CN109741281A (zh) * 2019-01-04 2019-05-10 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及终端
US10665011B1 (en) * 2019-05-31 2020-05-26 Adobe Inc. Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features
CN110717864A (zh) * 2019-08-29 2020-01-21 苏州千视通视觉科技股份有限公司 一种图像增强方法、装置、终端设备及计算机可读介质
CN110796595A (zh) * 2019-10-31 2020-02-14 北京大学深圳研究生院 一种色调映射方法、装置及电子设备
CN111223061A (zh) * 2020-01-07 2020-06-02 Oppo广东移动通信有限公司 图像修正方法、修正装置、终端设备及可读存储介质
CN111292264A (zh) * 2020-01-21 2020-06-16 武汉大学 一种基于深度学习的图像高动态范围重建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BAEK-KYU KIM等: "Tone mapping with contrast preservation and lightness correction in high dynamic range imaging", 《SPRINGER LINK》 *
钟坚成: "实时渲染中HDR技术的研究与应用", 《中国优秀硕士论文电子期刊网 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112669241A (zh) * 2021-01-29 2021-04-16 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质
CN112669241B (zh) * 2021-01-29 2023-11-14 成都国科微电子有限公司 一种图像处理方法、装置、设备及介质
CN113409210A (zh) * 2021-06-17 2021-09-17 杭州海康威视数字技术股份有限公司 瞳孔亮斑消除方法

Also Published As

Publication number Publication date
CN111784598B (zh) 2023-06-02

Similar Documents

Publication Publication Date Title
Eilertsen et al. A comparative review of tone‐mapping algorithms for high dynamic range video
Chang et al. Automatic contrast-limited adaptive histogram equalization with dual gamma correction
JP5611337B2 (ja) ゾーン・ベースのトーン・マッピング
CN110766639B (zh) 图像增强方法、装置、移动设备及计算机可读存储介质
CN107993189B (zh) 一种基于局部分块的图像色调动态调节方法和装置
CN115115554B (zh) 基于增强图像的图像处理方法、装置和计算机设备
CN111489322B (zh) 给静态图片加天空滤镜的方法及装置
Hou et al. Underwater image dehazing and denoising via curvature variation regularization
KR20160102438A (ko) 하이 다이내믹 레인지 이미지를 톤-매핑하기 위한 방법 및 장치
CN111784598B (zh) 色调映射模型的训练方法、色调映射方法及电子设备
WO2019091196A1 (zh) 图像处理的方法和装置
CN115619683A (zh) 图像处理方法、装置、设备、存储介质和计算机程序产品
CN117408890A (zh) 一种视频图像传输质量增强方法及系统
Wang et al. Learning a self‐supervised tone mapping operator via feature contrast masking loss
CN112950497A (zh) 图像处理方法、装置、电子设备及存储介质
US10992873B2 (en) Systems and methods for color matching for realistic flash images
Wang et al. Adaptive enhancement for nonuniform illumination images via nonlinear mapping
Yadav et al. Multiple feature-based contrast enhancement of ROI of backlit images
CN114240767A (zh) 一种基于曝光融合的图像宽动态范围处理方法及装置
CN109951634B (zh) 图像合成方法、装置、终端及存储介质
CN114066783A (zh) 一种色调映射方法、装置、电子设备及存储介质
CN113888429A (zh) 图像提亮方法和装置、电子设备
KR101418521B1 (ko) 밝기 대비 향상을 통한 영상 화질 개선 방법 및 장치
Wu et al. Contrast enhancement based on discriminative co-occurrence statistics
Zhang et al. Lookup Table meets Local Laplacian Filter: Pyramid Reconstruction Network for Tone Mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant