CN118018859A - 训练数据的生成方法、装置、电子设备和存储介质 - Google Patents
训练数据的生成方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN118018859A CN118018859A CN202211376245.5A CN202211376245A CN118018859A CN 118018859 A CN118018859 A CN 118018859A CN 202211376245 A CN202211376245 A CN 202211376245A CN 118018859 A CN118018859 A CN 118018859A
- Authority
- CN
- China
- Prior art keywords
- image
- tone mapping
- training
- trained
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 89
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013507 mapping Methods 0.000 claims abstract description 182
- 238000012545 processing Methods 0.000 claims abstract description 39
- 238000004590 computer program Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims 1
- 238000012937 correction Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000003705 background correction Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种训练数据的生成方法、装置、电子设备和存储介质。所述方法包括:获取第一图像;根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数;采用所述第一色调映射参数对所述第一图像进行色调映射处理,得到第二图像,并将所述第一图像和所述第二图像作为训练图像对;所述训练图像对用于对待训练的色调映射模型进行训练,且所述第二图像作为所述第一图像在所述待训练的色调映射模型中进行色调映射的参照对象。采用本方法能够得到更加准确的训练数据。
Description
技术领域
本申请涉及影像技术领域,特别是涉及一种训练数据的生成方法、装置、电子设备和计算机可读存储介质。
背景技术
在图像处理流程中,可以采用预先训练完成的图像处理模型对图像进行处理,图像处理例如色调映射、黑电平补偿(black level compensation)、镜头矫正(lens shadingcorrection)、坏像素矫正(bad pixel correction)、颜色插值(demosaic)、Bayer噪声去除、白平衡矫正、色彩矫正(color correction)等。通常地,电子设备需要采用训练数据对图像处理模型进行训练,从而得到训练完成的图像处理模型。
然而,传统的训练数据的生成方法,通常是直接从图像库中获取图像数据进行训练,存在训练数据不够准确的问题。
发明内容
本申请实施例提供了一种训练数据的生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品,可以得到更加准确的训练数据。
第一方面,本申请提供了一种训练数据的生成方法。所述方法包括:
获取第一图像;
根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数;
采用所述第一色调映射参数对所述第一图像进行色调映射处理,得到第二图像,并将所述第一图像和所述第二图像作为训练图像对;所述训练图像对用于对待训练的色调映射模型进行训练,且所述第二图像作为所述第一图像在所述待训练的色调映射模型中进行色调映射的参照对象。
第二方面,本申请还提供了一种训练数据的生成装置。所述装置包括:
图像获取模块,用于获取第一图像;
参数获取模块,用于根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数;
色调映射模块,用于采用所述第一色调映射参数对所述第一图像进行色调映射处理,得到第二图像,并将所述第一图像和所述第二图像作为训练图像对;所述训练图像对用于对待训练的色调映射模型进行训练,且所述第二图像作为所述第一图像在所述待训练的色调映射模型中进行色调映射的参照对象。
第三方面,本申请还提供了一种电子设备。所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取第一图像;
根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数;
采用所述第一色调映射参数对所述第一图像进行色调映射处理,得到第二图像,并将所述第一图像和所述第二图像作为训练图像对;所述训练图像对用于对待训练的色调映射模型进行训练,且所述第二图像作为所述第一图像在所述待训练的色调映射模型中进行色调映射的参照对象。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取第一图像;
根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数;
采用所述第一色调映射参数对所述第一图像进行色调映射处理,得到第二图像,并将所述第一图像和所述第二图像作为训练图像对;所述训练图像对用于对待训练的色调映射模型进行训练,且所述第二图像作为所述第一图像在所述待训练的色调映射模型中进行色调映射的参照对象。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
获取第一图像;
根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数;
采用所述第一色调映射参数对所述第一图像进行色调映射处理,得到第二图像,并将所述第一图像和所述第二图像作为训练图像对;所述训练图像对用于对待训练的色调映射模型进行训练,且所述第二图像作为所述第一图像在所述待训练的色调映射模型中进行色调映射的参照对象。
上述训练数据的生成方法、装置、电子设备、计算机可读存储介质和计算机程序产品,根据第一图像的目标场景,获取目标场景预设的第一色调映射参数,以及采用该预设的第一色调映射参数对第一图像进行色调映射处理,得到第二图像,并将第一图像和第二图像作为训练图像对,即第二图像是经过预设的第一色调映射参数进行色调映射处理得到,可以作为第一图像在待训练的色调映射模型中进行色调映射的参照对象,也即第一图像和第二图像作为更准确的训练图像对,可以对待训练的色调映射模型进行训练,得到更准确的色调映射模型。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中训练数据的生成方法的流程图;
图2为一个实施例中16Bit的Tiff格式的第一图像的构成示意图;
图3为一个实施例中HDR融合的流程图;
图4为一个实施例中得到第二图像的示意图;
图5为另一个实施例中得到第二图像的示意图;
图6为另一个实施例中训练数据的生成方法的流程图;
图7为一个实施例中训练数据的生成装置的结构框图;
图8为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种训练数据的生成方法,本实施例以该方法应用于电子设备进行举例说明,电子设备可以是终端或服务器;可以理解的是,该方法还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备、智能汽车等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本实施例中,该训练数据的生成方法包括以下步骤:
步骤S102,获取第一图像。
其中,第一图像可以是HDR(High Dynamic Range Imaging,高动态范围成像)图像,也可以是非HDR图像。第一图像的数量为N,N可以是大于或等于1的正整数。
可选地,电子设备通过图像传感器以不同曝光参数进行曝光,得到的至少两个曝光图像;将至少两个曝光图像进行HDR融合,得到第一图像;第一图像为HDR图像。
可选地,电子设备通过图像传感器以预设的曝光参数进行曝光,得到第一图像。
步骤S104,根据第一图像的目标场景,获取目标场景预设的第一色调映射参数。
示例性的,目标场景可以是室内场景、室外场景、白天场景、晚上场景、人像场景和非人像场景,还可以是室内白天场景、室外白天场景、室外夜晚场景、室内夜晚场景、白天人像场景、室内白天人像场景等,不限于此。
色调映射(Tone Mapping),是在有限动态范围媒介上近似显示高动态范围图像的一项计算机图形学技术。本质上来讲,色调映射是要解决的问题是进行大幅度的对比度衰减将场景亮度变换到可以显示的范围,同时要保持图像细节与颜色等对于表现原始场景非常重要的信息。其中,色调映射可以包括全局色调映射和局部色调映射的至少一种。
可以理解的是,目标场景预设的第一色调映射参数,可以认为是目标场景下对图像进行准确的色调映射的参数。第一色调映射参数包括亮度处理参数和颜色处理参数。
可选的,电子设备检测第一图像的图像内容,确定第一图像的目标场景,并获取该目标场景对应的预设的第一色调映射参数。
可选的,电子设备通过传感器检测当前环境,确定第一图像的目标场景。其中,传感器可以是环境光传感器、摄像头等,不限于此。
步骤S106,采用第一色调映射参数对第一图像进行色调映射处理,得到第二图像,并将第一图像和第二图像作为训练图像对;训练图像对用于对待训练的色调映射模型进行训练,且第二图像作为第一图像在待训练的色调映射模型中进行色调映射的参照对象。
电子设备采用预设的第一色调映射参数对第一图像进行色调映射处理,可以得到经过准确的第一色调映射参数处理后的第二图像,并将第一图像和第二图像作为训练图像对;采用该训练图像对对待训练的色调映射模型进行训练,在训练过程中,通过待训练的色调映射模型对第一图像进行色调映射得到第三图像,以第二图像作为参照对象与第三图像进行对比,并基于对比结果继续对色调映射模型进行训练,得到训练完成的色调映射模型。其中,色调映射模型可以是AI(Artificial Intelligence,人工智能)模型。第二图像也即作为训练过程中的目标真值(Ground Truth)。
上述训练数据的生成方法,根据第一图像的目标场景,获取目标场景预设的第一色调映射参数,以及采用该预设的第一色调映射参数对第一图像进行色调映射处理,得到第二图像,并将第一图像和第二图像作为训练图像对,即第二图像是经过预设的第一色调映射参数进行色调映射处理得到,可以作为第一图像在待训练的色调映射模型中进行色调映射的参照对象,也即第一图像和第二图像作为更准确的训练图像对,可以对待训练的色调映射模型进行训练,得到更准确的色调映射模型。
在一个实施例中,获取第一图像,包括:获取以不同曝光参数曝光得到的至少两个曝光图像;将至少两个曝光图像进行融合,得到中间图像;将中间图像转换至目标格式的第一图像;第一图像的位深度高于曝光图像的位深度。
位深度是指在记录数字图像的颜色时,计算机实际上是用每个像素需要的位深度来表示的。计算机之所以能够显示颜色,是采用了一种称作“位”(Bit)的记数单位来记录所表示颜色的数据。当这些数据按照一定的编排方式被记录在计算机中,就构成了一个数字图像的计算机文件。“位”(Bit)是计算机存储器里的最小单元,它用来记录每一个像素颜色的值。图像的色彩越丰富,“位”就越多。每一个像素在计算机中所使用的这种位数就是“位深度”。
示例性的,第一图像的位深度可以是16Bit、24Bit或32Bit等。曝光图像的位深度可以是10Bit。其中,位深度为10Bit的图像指的是图像中每个像素值范围可以是0到1023中的一个。位深度为16Bit的图像指的是图像中每个像素值范围可以是0到65535中的一个。
可选的,至少两个曝光图像可以包括第一曝光图像和第二曝光图像,第一曝光图像的图像亮度高于第二曝光图像的图像亮度。第一曝光图像和第二曝光图像的数量在此不做限定。示例性的,第一曝光图像可以是正常曝光的图像,第二曝光图像可以是欠曝光的图像。
可选的,至少两个曝光图像还可以第一曝光图像、第二曝光图像和第三曝光图像;第一曝光图像的图像亮度、第二曝光图像的图像亮度和第三曝光图像的图像亮度依次降低。第一曝光图像、第二曝光图像和第三曝光图像的数量在此不做限定。示例性的,第一曝光图像可以是正常曝光的图像,第二曝光图像可以是欠曝光的图像,第三曝光图像可以是更欠曝光的图像。
可选的,至少两个曝光图像还可以是正常曝光的图像、欠曝光的图像和过曝光的图像等。
可选的,中间图像的位深度高于曝光图像的位深度。中间图像的位深度和第一图像的位深度相同。
可选的,电子设备以不同曝光参数进行曝光得到至少两个原始图像,将各个原始图像经过图像信号处理,得到至少两个曝光图像;将至少两个曝光图像进行融合得到中间图像;将中间图像转换至目标格式的第一图像并进行保存。目标格式是无损的格式,即信息损失量小于预设信息量。可以理解的是,预设信息量是较小的数值,可以认为电子设备将中间图像无损保存为目标格式的第一图像。
其中,原始图像为RAW图像。RAW图像是CMOS(Complementary Metal OxideSemiconductor,互补金属氧化物半导体)或者CCD(Charge-coupled Device,电荷耦合元件)图像感应器将捕捉到的光源信号转化为数字信号的原始数据。
其中,图像信号处理(ISP,Image Signal Processing)可以包括减黑电平、LSC(lens shading correction,镜头矫正)、AWB(Automatic white balance,自动白平衡)、Demosaic(颜色插值)、CCM(色彩校正矩阵Color Correction Matrix)处理等。
其中,目标格式是Tiff格式或PNG(Portable Network Graphics,便携式网络图形)格式。
如图2所示,16Bit的Tiff格式的第一图像包括文件头信息区、标识信息区和16BitRGB信息。16Bit的Tiff格式的第一图像的文件大小如以下公式所示:
Size(16Bit Tiff)
=size(文件头信息区)+size(标识信息区)+size(16Bit RGB)
例如,电子设备将至少两个10Bit的曝光图像进行融合,得到16Bit的RGB图像,再将16Bit的RGB图像转换为16Bit的Tiff格式的图像;转换方式具体包括:在原16Bit的RB图像上添加文件头信息区和标识信息区,以构成16Bit的Tiff格式的图像。例如,16Bit的RGB图像为4096x3072大小,转换得到的16Bit的Tiff格式的图像的文件大小如下公式。
其中,3为RGB的3通道,2为字节。
可选的,电子设备以不同曝光参数进行曝光,得到至少两个曝光图像;将至少两个曝光图像进行融合,得到中间图像;中间图像的格式为RGB;将中间图像的格式从RGB转换至目标格式的第一图像;目标格式为非RGB格式。
可选的,将至少两个曝光图像进行融合,得到中间图像,包括:将至少两个曝光图像进行HDR融合,得到中间图像;中间图像的位深度高于曝光图像的位深度。电子设备将至少两个曝光图像进行HDR融合,则得到的中间图像为HDR图像,具有更宽的动态范围,包含更多的图像信息,从而更准确对色调映射和模型进行训练。
在本实施例中,电子设备获取以不同曝光参数曝光得到的至少两个曝光图像,将至少两个曝光图像进行融合,可以得到中间图像,以及将中间图像转换为目标格式的第一图像,则以目标格式的第一图像可以准确地实现后续的图像处理过程;同时第一图像的位深度高于曝光图像的位深度,可以提高第一图像的信息量,得到信息量更多的训练数据,以更准确地对色调映射模型进行训练。
在一个实施例中,如图3所示,电子设备通过图像传感器以不同曝光参数进行曝光,得到正常曝光的EV0 RAW图像、欠曝光的EV-1RAW图像和更欠曝光的EV-2RAW图像;其中,正常曝光的EV0 RAW图像、欠曝光的EV-1RAW图像和更欠曝光的EV-2RAW图像的位深度均为10Bit;将正常曝光的EV0 RAW图像、欠曝光的EV-1RAW图像和更欠曝光的EV-2RAW图像分别经过图像信号处理,得到正常曝光的EV0 RGB图像、欠曝光的EV-1RGB图像和更欠曝光的EV-2RGB图像;其中,正常曝光的EV0 RGB图像、欠曝光的EV-1RGB图像和更欠曝光的EV-2RGB图像的位深度均为10Bit;将正常曝光的EV0 RGB图像、欠曝光的EV-1RGB图像和更欠曝光的EV-2RGB图像经过HDR线性融合模块进行融合,得到16Bit线性RGB图像。
如图4所示,电子设备从候选场景的色调映射参数中确定目标场景的第一色调映射参数;采用第一色调映射参数对16Bit Tiff格式的第一图像进行色调映射处理,得到16Bit Tiff格式的第二图像。
如图5所示,电子设备将HDR得到的16Bit RGB图像转换为16Bit Tiff格式的第一图像;判断第一图像的目标场景,从候选场景的色调映射参数中获取目标场景的第一色调映射参数;通过预设处理应用采用第一色调映射参数对16Bit Tiff格式的第一图像进行色调映射处理,得到16Bit Tiff格式的第二图像。
在一个实施例中,获取第一图像,包括:获取非HDR图像;将非HDR图像转换为目标格式的第一图像。
示例性的,电子设备通过图像传感器获取10Bit的非HDR图像;将该10Bit的非HDR图像转换为Tiff格式的第一图像。
在一个实施例中,对待训练的色调映射模型进行训练,包括:通过待训练的色调映射模型对第一图像进行色调映射,得到第三图像;基于第三图像和第二图像之间的差异度,调整待训练的色调映射模型中的第二色调映射参数,并继续执行对第一图像进行色调映射的步骤,直到满足训练截止条件,得到训练完成的色调映射模型。
可选的,电子设备将第三图像和第二图像进行对比,统计第三图像和第二图像之间的差异度;基于该差异度,调整待训练的色调映射模型中的第二色调映射,并继续执行对第一图像进行色调映射,直到满足训练截止条件,得到训练完成的色调映射模型。
其中,训练截止条件可以根据需要进行设置。示例性的,训练截止条件可以是色调映射模型的调整次数达到预设次数,或者第三图像和第二图像之间的差异度小于或等于预设差异度阈值。预设次数和预设差异度阈值均可以根据需要进行设置,在此不做限定。
可以理解的是,第二图像是经过预设的第一色调映射参数进行色调映射处理得到,也即第二图像对应预设的第一色调映射参数,则待训练的色调映射模型采用第二色调映射参数对第一图像进行色调映射处理得到第三图像,第三图像和第二图像之间的差异度越小,表示色调映射模型中的第二色调映射参数越接近预设的第一色调映射参数,也即色调映射模型越准确。因此,基于第三图像和第二图像之间的差异度,调整第二色调映射,可以训练得到更准确的色调映射模型。
可选的,通过训练完成的色调映射模型对第四图像进行色调映射,可以得到准确的第五图像。
在一个实施例中,根据第一图像的目标场景,获取目标场景预设的第一色调映射参数,包括:根据第一图像的目标场景,从至少两个候选场景预设的色调映射参数中,获取目标场景的第一色调映射参数;至少两个候选场景是基于人像、所处环境和时间中至少一种因素进行设置的。
可以理解的是,人像因素可以区分是否为人像场景;所处环境可以区分是否为室内场景或者室外场景,也可以区分风景场景、建筑场景和动物场景等;时间因素可以区分是否为白天场景或夜晚场景。
示例性的,至少两个候选场景可以包括室内场景、室外场景、白天场景、晚上场景、人像场景和非人像场景,还可以包括室内白天场景、室外白天场景、室外夜晚场景、室内夜晚场景、白天人像场景、室内白天人像场景等。
若基于人像、所处环境和时间,则可以设置8个候选场景,分别是室内白天人像场景、室内白天非人像场景、室内夜晚人像场景、室内夜晚非人像场景、室外白天人像场景、室外白天非人像场景、室外夜晚人像场景和室外夜晚非人像场景。
在本实施例中,电子设备根据第一图像的目标场景,可以至少两个候选场景预设的色调映射参数中获取第一色调映射,而至少两个候选场景是基于人像、所处环境和时间中的至少一种因素设置的,可以区分出准确的至少两个候选场景,从而准确地确定各个候选场景的色调映射参数。
在一个实施例中,如图6所示,电子设备通过图像传感器以不同曝光参数进行曝光得到正常曝光的RAW图像和欠曝光的RAW图像;将正常曝光的RAW图像和欠曝光的RAW图像进行HDR线性融合得到16Bit线性RGB图像;将16Bit线性RGB图像无损保存为16Bit Tiff格式的第一图像,并将第一图像作为训练数据;确定第一图像的目标场景,获取目标场景的第一色调映射参数,采用第一色调映射参数对16Bit Tiff格式的第一图像进行色调映射处理,得到16Bit Tiff格式的第二图像,并将第二图像作为参照对照的训练数据。
在一个实施例中,提供了另一种训练数据的生成方法,包括以下步骤:
电子设备执行步骤A1至A3,或者执行步骤A4;
步骤A1,获取以不同曝光参数曝光得到的至少两个曝光图像。
步骤A2,将至少两个曝光图像进行HDR融合,得到中间图像;中间图像的位深度高于曝光图像的位深度。
步骤A3,将中间图像转换至目标格式的第一图像;第一图像的位深度高于曝光图像的位深度,目标格式是Tiff格式或PNG格式;继续执行步骤A5至步骤A8。
步骤A4,获取非HDR图像;将非HDR图像转换为目标格式的第一图像;继续执行步骤A5至步骤A8。
步骤A5,根据第一图像的目标场景,从至少两个候选场景预设的色调映射参数中,获取目标场景的第一色调映射参数;至少两个候选场景是基于人像、所处环境和时间中至少一种因素进行设置的。
步骤A6,采用第一色调映射参数对第一图像进行色调映射处理,得到第二图像,并将第一图像和第二图像作为训练图像对。
步骤A7,通过待训练的色调映射模型对第一图像进行色调映射,得到第三图像。
步骤A8,基于第三图像和第二图像之间的差异度,调整待训练的色调映射模型中的第二色调映射参数,并继续执行对第一图像进行色调映射的步骤,直到满足训练截止条件,得到训练完成的色调映射模型。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的训练数据的生成方法的训练数据的生成装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个训练数据的生成装置实施例中的具体限定可以参见上文中对于训练数据的生成方法的限定,在此不再赘述。
在一个实施例中,如图7所示,提供了一种训练数据的生成装置,包括:图像获取模块702、参数获取模块704和色调映射模块706,其中:
图像获取模块702,用于获取第一图像。
参数获取模块704,用于根据第一图像的目标场景,获取目标场景预设的第一色调映射参数。
色调映射模块706,用于采用第一色调映射参数对第一图像进行色调映射处理,得到第二图像,并将第一图像和第二图像作为训练图像对;训练图像对用于对待训练的色调映射模型进行训练,且第二图像作为第一图像在待训练的色调映射模型中进行色调映射的参照对象。
上述训练数据的生成装置,根据第一图像的目标场景,获取目标场景预设的第一色调映射参数,以及采用该预设的第一色调映射参数对第一图像进行色调映射处理,得到第二图像,并将第一图像和第二图像作为训练图像对,即第二图像是经过预设的第一色调映射参数进行色调映射处理得到,可以作为第一图像在待训练的色调映射模型中进行色调映射的参照对象,也即第一图像和第二图像作为更准确的训练图像对,可以对待训练的色调映射模型进行训练,得到更准确的色调映射模型。
在一个实施例中,上述图像获取模块702还用于获取以不同曝光参数曝光得到的至少两个曝光图像;将至少两个曝光图像进行融合,得到中间图像;将中间图像转换至目标格式的第一图像;第一图像的位深度高于曝光图像的位深度。
在一个实施例中,上述图像获取模块702还用于将至少两个曝光图像进行HDR融合,得到中间图像;中间图像的位深度高于曝光图像的位深度。
在一个实施例中,目标格式是Tiff格式或PNG格式。
在一个实施例中,上述图像获取模块702还用于获取非HDR图像;将非HDR图像转换为目标格式的第一图像。
在一个实施例中,上述装置还包括模型训练模块;模型训练模块用于通过待训练的色调映射模型对第一图像进行色调映射,得到第三图像;基于第三图像和第二图像之间的差异度,调整待训练的色调映射模型中的第二色调映射参数,并继续执行对第一图像进行色调映射的步骤,直到满足训练截止条件,得到训练完成的色调映射模型。
在一个实施例中,上述参数获取模块704还用于根据第一图像的目标场景,从至少两个候选场景预设的色调映射参数中,获取目标场景的第一色调映射参数;至少两个候选场景是基于人像、所处环境和时间中至少一种因素进行设置的。
上述训练数据的生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,该电子设备可以是终端,其内部结构图可以如图8所示。该电子设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种训练数据的生成方法。该电子设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行训练数据的生成方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行训练数据的生成方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。
Claims (10)
1.一种训练数据的生成方法,其特征在于,包括:
获取第一图像;
根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数;
采用所述第一色调映射参数对所述第一图像进行色调映射处理,得到第二图像,并将所述第一图像和所述第二图像作为训练图像对;所述训练图像对用于对待训练的色调映射模型进行训练,且所述第二图像作为所述第一图像在所述待训练的色调映射模型中进行色调映射的参照对象。
2.根据权利要求1所述的方法,其特征在于,所述获取第一图像,包括:
获取以不同曝光参数曝光得到的至少两个曝光图像;
将至少两个曝光图像进行融合,得到中间图像;
将所述中间图像转换至目标格式的第一图像;所述第一图像的位深度高于所述曝光图像的位深度。
3.根据权利要求2所述的方法,其特征在于,所述将至少两个曝光图像进行融合,得到中间图像,包括:
将至少两个曝光图像进行HDR融合,得到中间图像;所述中间图像的位深度高于所述曝光图像的位深度。
4.根据权利要求2所述的方法,其特征在于,所述目标格式是Tiff格式或PNG格式。
5.根据权利要求1所述的方法,其特征在于,所述获取第一图像,包括:
获取非HDR图像;
将所述非HDR图像转换为目标格式的第一图像。
6.根据权利要求1所述的方法,其特征在于,所述对所述待训练的色调映射模型进行训练,包括:
通过所述待训练的色调映射模型对所述第一图像进行色调映射,得到第三图像;
基于所述第三图像和所述第二图像之间的差异度,调整所述待训练的色调映射模型中的第二色调映射参数,并继续执行对所述第一图像进行色调映射的步骤,直到满足训练截止条件,得到训练完成的色调映射模型。
7.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数,包括:
根据所述第一图像的目标场景,从至少两个候选场景预设的色调映射参数中,获取所述目标场景的第一色调映射参数;所述至少两个候选场景是基于人像、所处环境和时间中至少一种因素进行设置的。
8.一种训练数据的生成装置,其特征在于,包括:
图像获取模块,用于获取第一图像;
参数获取模块,用于根据所述第一图像的目标场景,获取所述目标场景预设的第一色调映射参数;
色调映射模块,用于采用所述第一色调映射参数对所述第一图像进行色调映射处理,得到第二图像,并将所述第一图像和所述第二图像作为训练图像对;所述训练图像对用于对待训练的色调映射模型进行训练,且所述第二图像作为所述第一图像在所述待训练的色调映射模型中进行色调映射的参照对象。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211376245.5A CN118018859A (zh) | 2022-11-04 | 2022-11-04 | 训练数据的生成方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211376245.5A CN118018859A (zh) | 2022-11-04 | 2022-11-04 | 训练数据的生成方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118018859A true CN118018859A (zh) | 2024-05-10 |
Family
ID=90943431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211376245.5A Pending CN118018859A (zh) | 2022-11-04 | 2022-11-04 | 训练数据的生成方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118018859A (zh) |
-
2022
- 2022-11-04 CN CN202211376245.5A patent/CN118018859A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200045219A1 (en) | Control method, control apparatus, imaging device, and electronic device | |
US20110234841A1 (en) | Storage and Transmission of Pictures Including Multiple Frames | |
CN112150399A (zh) | 基于宽动态范围的图像增强方法及电子设备 | |
CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
WO2017101561A1 (zh) | 高动态范围图像的生成方法、拍照装置和终端、成像方法 | |
WO2021143300A1 (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US10600170B2 (en) | Method and device for producing a digital image | |
WO2023016035A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN112215760A (zh) | 一种图像处理的方法及装置 | |
WO2023016037A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
KR102285756B1 (ko) | 전자 시스템 및 영상 처리 방법 | |
US8995784B2 (en) | Structure descriptors for image processing | |
CN114501023B (zh) | 视频处理方法、装置、计算机设备、存储介质 | |
CN115314617A (zh) | 图像处理系统及方法、计算机可读介质和电子设备 | |
WO2023010751A1 (zh) | 图像高亮区域的信息补偿方法、装置、设备及存储介质 | |
CN116668862B (zh) | 图像处理方法与电子设备 | |
WO2023016044A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN114945087B (zh) | 基于人脸特征的图像处理方法、装置、设备及存储介质 | |
WO2023016040A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN118018859A (zh) | 训练数据的生成方法、装置、电子设备和存储介质 | |
CN115293994A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN115082357B (zh) | 视频去噪数据集生成方法、装置、计算机设备和存储介质 | |
CN114710654B (zh) | 图像处理方法、装置、可读存储介质以及电子设备 | |
WO2023016043A1 (zh) | 视频处理方法、装置、电子设备和存储介质 | |
CN115460461B (zh) | 视频处理方法及装置、终端设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |