CN116762101A - 图像处理模型的训练方法及装置、存储介质、电子设备 - Google Patents
图像处理模型的训练方法及装置、存储介质、电子设备 Download PDFInfo
- Publication number
- CN116762101A CN116762101A CN202180003991.7A CN202180003991A CN116762101A CN 116762101 A CN116762101 A CN 116762101A CN 202180003991 A CN202180003991 A CN 202180003991A CN 116762101 A CN116762101 A CN 116762101A
- Authority
- CN
- China
- Prior art keywords
- model
- picture
- derivative
- image processing
- optimization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 301
- 238000012545 processing Methods 0.000 title claims abstract description 207
- 238000000034 method Methods 0.000 title claims abstract description 104
- 238000004364 calculation method Methods 0.000 claims abstract description 95
- 238000005457 optimization Methods 0.000 claims description 302
- 238000013507 mapping Methods 0.000 claims description 111
- 238000005070 sampling Methods 0.000 claims description 85
- 230000006870 function Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000003672 processing method Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 27
- 238000004422 calculation algorithm Methods 0.000 description 16
- 230000004913 activation Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本公开属于图像处理技术领域,涉及一种图像处理模型的训练方法及装置、存储介质、电子设备。该方法包括:获取图片训练样本,并获取与图片训练样本对应的真值图片;将图片训练样本输入三维颜色查找模型得到模型预测图片,并对模型预测图片和真值图片进行损失计算得到损失计算结果;根据损失计算结果对三维颜色查找模型进行调整得到目标图像处理模型,其中,目标图像处理模型用于对待处理图像进行图像处理,以得到与待处理图像对应的图像处理结果。
Description
本公开涉及图像处理技术领域,尤其涉及一种图像处理的模型训练方法与图像处理的模型训练装置、计算机可读存储介质及电子设备。
随着图像技术领域的发展,出现了更多图像处理的需求,例如对图像进行去雾处理、将模糊图像转变为清晰图片、增强图像的曝光等等。
在相关技术中,对图像进行处理的过程中,通常采用一维颜色查找模型对图像进行处理,并且,一维颜色查找模型通常与一维颜色查找表对应,然而一维颜色查找表只能控制单通道颜色的输出,且各个颜色通道之间相互独立,除此之外,一维颜色查找表的数据量较小,进而采用一维颜色查找模型无法提供准确度高的图片处理结果,进而降低了用户的体验度。
鉴于此,本领域亟需开发一种新的图像处理的模型训练方法及装置。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像处理的模型训练方法、图像处理的模型训练装置、计算机可读存储介质及电子设备,进而至少在一定程度上克服由于相关技术导致的无法提供准确度高的图像处理结果的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本发明实施例的第一个方面,提供了一种图像处理的模型训练方法,所述方法包括:获取图片训练样本,并获取与所述图片训练样本对应的真值图片;将所述图片训练样本输入三维颜色查找模型得到模型预测图片,并对所述模型预测图片和所述真值图片进行损失计算得到损失计算结果;根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型;其中,所述目标图像处理模型用于对待处理图像进行图像处理,以得到与所述待处理图像对应的图像处理结果。
在本发明的一种示例性实施例中,所述三维查找模型包括第一优化模型,所述第一优化模型包括一个基础查找模型和第一衍生模型的组合,所述第一衍生模型包括权重模型以及多个所述基础查找模型;所述将所述图片训练样本输入三维颜色查找模型得到模型预测图片,包括:将所述图片训练样本输入至所述权重模型,以提取与所述图片训练样本对应的图片特征;根据所述图片特征,确定与所述第一衍生模型中的多个所述基础查找模型分 别对应的权重值;根据所述与所述第一衍生模型中的多个所述基础查找模型分别对应的权重值对与所述第一衍生模型中的多个所述基础查找模型对应的多个所述基础颜色映射关系进行更新,并对更新的结果进行计算,以得到与一个所述第一衍生模型对应的第一衍生颜色映射关系;基于与所述第一优化模型的所述一个基础查找模型和第一衍生模型的组合所对应的组合关系、所述第一衍生颜色映射关系以及与所述第一优化模型中的所述一个基础查找模型对应的所述基础颜色查找映射关系,确定与所述第一优化模型对应的第一优化颜色映射关系;根据所述第一优化颜色映射关系,确定与所述图片训练样本对应的模型预测图片。
在本发明的一种示例性实施例中,所述第一优化模型中的所述一个基础查找模型和所述第一衍生模型之间存在线性组合关系;所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型,包括:若所述第一优化模型中的一个所述基础查找模型和所述第一衍生模型之间存在所述线性组合关系,根据所述损失计算结果,对与所述第一衍生模型中的多个所述基础查找模型分别对应的权重值以及与所述第一衍生模型中的所述基础查找模型对应的所述基础颜色映射关系进行调整,以得到目标图像处理模型。在本发明的一种示例性实施例中,所述第一优化模型中的一个所述基础查找模型和所述第一衍生模型之间存在线性组合关系;所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到模型训练结果,包括:若所述第一优化模型中的一个所述基础查找模型和所述第一衍生模型之间存在所述线性组合关系,根据所述损失计算结果,对所述权重值以及与所述第一衍生模型中的所述基础查找模型对应的所述基础颜色映射关系进行调整,以得到模型训练结果。
在本发明的一种示例性实施例中,所述第一优化模型中的所述一个基础查找模型和所述第一衍生模型之间存在乘积组合关系;所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型,包括:若所述第一优化模型中的一个所述基础查找模型和所述第一衍生模型之间存在所述乘积组合关系,对与所述第一衍生模型中的多个所述基础查找模型分别对应的权重值以及与所述第一衍生模型中的多个所述基础查找模型对应的多个所述基础颜色映射关系进行调整,以得到与所述第一衍生模型对应的训练结果;当所述训练结果满足训练结束条件时,根据所述损失计算结果对所述第一优化模型进行训练,以得到目标图像处理模型。
在本发明的一种示例性实施例中,其特征在于,所述权重模型包括按照次序连接的一个图片尺寸固定层、多个采样层以及一个输出层,其中,所述图片尺寸固定层用于固定所述图片训练样本的尺寸,所述采样层用于提取与所述图片训练样本对应的所述图片特征,所述输出层用于根据所述图片特征,确定与所述第一衍生模型中的所述多个基础查找模型分别对应的所述权重值。
在本发明的一种示例性实施例中,所述三维颜色查找模型包括组合模型,所述组合模型包括两个第一优化模型;其中,所述组合模型中的一个所述第一优化模型的组合关系为 线性组合关系,所述组合模型中的另一个所述第一优化模型的组合关系为乘积组合关系。
在本发明的一种示例性实施例中,所述三维颜色查找模型包括第二优化模型,所述第二优化模型包括多个第二衍生模型和一个基础查找模型的组合;所述将所述图片训练样本输入三维颜色查找模型得到模型预测图片,包括:将所述图片训练样本输入至多个所述第二衍生模型,以提取与所述图片训练样本对应的图片特征;根据所述图片特征,确定所述图片训练样本中的所述像素颜色值与所述目标像素颜色值之间的第二衍生颜色映射关系;基于与多个所述第二衍生模型和所述基础查找模型的组合对应的组合关系、与多个所述第二衍生模型对应的多个第二衍生颜色映射关系以及与所述基础查找模型对应的基础颜色映射关系,确定与所述第二优化模型对应的第二优化颜色映射关系;根据所述第二优化颜色映射关系,确定与所述图片训练样本对应的模型预测图片。
在本发明的一种示例性实施例中,所述三维颜色查找模型包括组合模型,所述组合模型包括两个第二优化模型;其中,所述组合模型中的一个所述第二优化模型具有线性组合关系,所述组合模型中的另一个所述第二优化模型具有乘积组合关系。
在本发明的一种示例性实施例中,所述组合模型包括一个第一优化模型和一个所述第二优化模型的组合;所述第一优化模型包括一个所述基础查找模型和第一衍生模型,所述第一衍生模型包括权重模型以及多个所述基础查找模型;所述方法还包括:若所述第一优化模型为一个所述基础查找模型和所述第一衍生模型的线性组合模型,则所述第二优化模型为一个所述基础查找模型和多个所述第二衍生模型的乘积组合模型;若所述第一优化模型为一个所述基础查找模型和所述第一衍生模型的乘积组合模型,则所述第二优化模型为一个所述基础查找模型和多个所述第二衍生模型的线性组合模型。
在本发明的一种示例性实施例中,所述第二优化模型中的所述一个基础查找模型和多个所述第二衍生模型之间存在线性组合关系;
所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型,包括:根据所述损失计算结果,对所述第二衍生颜色映射关系进行调整得到目标图像处理模型。
在本发明的一种示例性实施例中,所述第二优化模型中的所述一个基础查找模型和所述第二衍生模型之间存在乘积组合关系;所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型,包括:根据所述损失计算结果,对所述第二衍生颜色映射关系进行调整,以得到与第二衍生模型对应的训练结果;若所述训练结果满足训练结束条件,根据所述损失计算结果对所述第二优化模型进行训练,以得到目标图像处理模型。
在本发明的一种示例性实施例中,所述第二衍生模型包括按照次序连接的一个图片尺寸固定层、矩阵转换层、多个采样层以及一个输出层,其中,所述图片尺寸固定层用于固定所述图片训练样本的尺寸,所述矩阵转换层用于对所述图片尺寸固定层输出的矩阵进行转换,所述采样层用于提取与所述图片训练样本对应的所述图片特征,所述输出层用于输 出与所述图片特征对应的所述第二衍生颜色映射关系。
在本发明的一种示例性实施例中,所述三维颜色查找模型包括一个或多个第三优化模型,所述第三优化模型为所述基础查找模型、所述第一优化模型、所述第二优化模型以及所述组合模型中的任意一种;所述第一优化模型包括一个所述基础查找模型和第一衍生模型的组合,所述第一衍生模型包括权重模型以及多个所述基础查找模型,所述第二优化模型包括多个第二衍生模型和一个所述基础查找模型的组合;所述将所述图片训练样本输入三维颜色查找模型得到模型预测图片,包括:获取多个下采样倍率,并按照多个所述下采样倍率对所述图片训练样本进行采样,以得到多个下采样结果;其中,所述下采样倍率包括整数倍率;根据图片处理需求确定上采样倍率,并按照所述上采样倍率对所述图片训练样本进行采样,以得到上采样结果;其中,所述上采样倍率包括小数倍率;将所述下采样结果输入至一个所述第三优化模型或多个所述第三优化模型中,以得到与所述下采样结果对应的第一模型输出结果;将所述上采样结果输入至一个所述第三优化模型或多个所述第三优化模型中,以得到与所述上采样结果对应的第二模型输出结果;比较所述上采样倍率的大小得到第一倍率比较结果,并比较所述下采样倍率的大小得到第二倍率比较结果;基于所述第一倍率比较结果和所述第二倍率比较结果,确定所述第一模型输出结果与所述第二模型输出结果之间的输入输出关系,以基于所述输入输出关系,得到模型预测图片。
在本发明的一种示例性实施例中,所述方法还包括:将所述图片训练样本输入至待学习模型中,以得到与所述图片训练样本对应的真值图片;其中,所述待学习模型包括所述基础查找模型、所述第一优化模型、所述第二优化模型、所述第三优化模型以及开源模型中的任意一种;将所述图片训练样本输入至目标优化模型中,以得到所述模型预测图片;其中,所述目标优化模型包括所述基础查找模型、所述第一优化模型、所述第二优化模型以及所述组合模型中的任意一种;对所述模型预测图片和所述真值图片进行损失计算,以根据损失计算结果,调整所述目标优化模型,以得到具有和所述待学习模型相同功能的所述目标优化模型。
在本发明的一种示例性实施例中,所述三维颜色查找模型包括基础查找模型;所述将所述图片训练样本输入三维颜色查找模型得到模型预测图片,包括:将所述图片训练样本输入至所述基础查找模型;其中,所述基础查找模型用于确定所述图片训练样本中的像素颜色值,并确定与所述像素颜色值存在基础颜色映射关系的目标像素颜色值;确定与所述目标像素颜色值对应的目标像素,并将由所述目标像素组成的图片作为模型预测图片。
根据本发明实施例的第二个方面,提供一种图片处理的模型训练装置,所述装置包括:获取模块,被配置为获取图片训练样本,并获取与所述图片训练样本对应的真值图片;损失计算模块,被配置为将所述图片训练样本输入三维颜色查找模型得到模型预测图片,并对所述模型预测图片和所述真值图片进行损失计算得到损失计算结果;调整模块,被配置为根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型;其中,所述目标图像处理模型用于对待处理图像进行图像处理,以得到与所述待处理图像对应的 图像处理结果。
根据本发明实施例的第三个方面,提供一种电子设备,包括:处理器和存储器;其中,存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时实现上述任意示例性实施例的图像处理的模型训练方法。
根据本发明实施例的第五个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意示例性实施例中的图像处理的模型训练方法。
根据本发明实施例的第五个方面,提供了一种图像处理方法,获取待处理图像和图像处理需求;将所述待处理图片和图像处理需求输入到上述方法的所述目标图像处理模型中,以得到图像处理结果。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示意性示出本公开实施例中图像处理的模型训练方法的流程示意图;
图2示意性示出本公开实施例中三维颜色查找模型的结构示意图;
图3示意性示出本公开实施例中得到模型预测图片的流程示意图;
图4示意性示出本公开实施例中得到模型预测图片的流程示意图;
图5示意性示出本公开实施例中一种第一优化模型的结构示意图;
图6示意性示出本公开实施例中另一种第一优化模型的结构示意图;
图7示意性示出本公开实施例中权重模型的结构示意图;
图8示意性示出本公开实施例中得到模型预测图片的流程示意图;
图9示意性示出本公开实施例中第二优化模型的一种结构示意图;
图10示意性示出本公开实施例中第二优化模型的另一种结构示意图;
图11示意性示出本公开实施例中第二衍生模型的结构示意图;
图12示意性示出本公开实施例中组合查找模型的一种结构示意图;
图13示意性示出本公开实施例中组合查找模型的另一种结构示意图;
图14示意性示出本公开实施例中得到组合模型的流程示意图;
图15示意性示出本公开实施例中得到模型预测图片的流程示意图;
图16示意性示出本公开实施例中三维颜色查找模型为第三优化模型时的模型结构示意图;
图17示意性示出本公开实施例中三维颜色查找模型为第三优化模型时的模型结构示意图;
图18示意性示出本公开实施例中对三维颜色查找模型进行调整得到目标图像处理模型的流程示意图;
图19示意性示出本公开实施例中对三维颜色查找模型中的参数进行调整得到目标图像处理模型的流程示意图;
图20示意性示出本公开实施例中得到具有和待学习模型相同功能的目标优化模型的流程示意图;
图21示意性示出本公开实施例中一种图像处理的模型训练方法的模型结构示意图;
图22示意性示出本公开实施例中另一种图像处理的模型训练方法的模型结构示意图;
图23示意性示出本公开实施例中一种图像处理方法的流程示意图;
图24示意性示出本公开实施例中一种用于图像处理的模型训练装置;
图25示意性示出本公开实施例中一种用于图像处理的模型训练方法的电子设备;
图26示意性示出本公开实施例中一种用于图像处理的模型训练方法的计算机非瞬态可读存储介质。
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
针对相关技术中存在的问题,本公开提出了一种图像处理的模型训练方法。图1示出了图像处理的模型训练方法的流程示意图,如图1所示,图像处理的模型训练方法至少包括以下步骤:
步骤S110.获取图片训练样本,并获取与图片训练样本对应的真值图片。
步骤S120.将图片训练样本输入三维颜色查找模型得到模型预测图片,并对模型预测图片和真值图片进行损失计算得到损失计算结果。
步骤S130.根据损失计算结果对三维颜色查找模型进行调整得到目标图像训练模型,其中,目标图像训练模型用于对待处理图像进行图像处理,以得到与待处理图像对应的图像处理结果。
在本公开的示例性实施例提供的方法及装置中,一方面,目标图像处理模型是对三维颜色查找模型进行训练得到的结果,避免了现有技术中图像处理结果是基于一维颜色查找表得出的,保证了图像处理结果的准确度;另一方面,由于三维颜色查找模型是三维的,因此三维颜色查找模型相较于现有技术中的一维颜色查找表的数据容量更大,满足了不同的图像处理需求,扩大了图像处理的应用场景。
下面对图像处理的模型训练方法的各个步骤进行详细说明。
在步骤S110中,获取图片训练样本,并获取与图片训练样本对应的真值图片。
在本公开的示例性实施例中,图片训练样本指的是训练后续三维颜色查找模型的样本图片,值得说明的是,图片训练样本需要足够复杂和多样,具体地,图片训练样本可以包括各种亮度的图片,可以是各种内容的图片,还可以是各种视频中每一帧的图片,本示例性实施例对此不做特殊限定。真值图片也是用于训练三维颜色查找模型的图片,其与图片训练样本之间存在一一对应的关系,并且,真值图片是对图片训练样本中存在的问题进行修复后得到的图片,例如图片训练样本是A场景的模糊图片,则真值图片是对A场景的图片进行清晰化后得到的A场景的清晰图片。
举例而言,获取到10000张图片训练样本,其中,5000张图片训练样本为图片,另外5000张图片训练样本为视频中每一帧的图片,对应地,获取到10000张真值图片,并且,10000张真值图片与10000张图片训练样本是一一对应的关系。
在本示例性实施例中,获取图片训练样本以及与图片训练样本对应的真值图片,保证了后续对三维颜色查找模型的训练,以确保训练出准确的三维颜色查找模型,进而提高图片处理结果的准确度。
在步骤S120中,将图片训练样本输入三维颜色查找模型得到模型预测图片,并对模型预测图片和真值图片进行损失计算得到损失计算结果。
在本公开的示例性实施例中,模型预测图片为将图片训练样本输入至三维颜色查找模型后得出的结果。
对于一个图片来说,图片中每一个像素的颜色值都具有三个颜色通道,具体的,三个颜色通道分别为红色通道、绿色通道以及蓝色通道,三维颜色查找模型指的是 由三维颜色查找表组成的模型,其中三维颜色查找表指的是和上述三个颜色通道相关的颜色查找表。
值得说明的是,由于三维颜色查找表和三个颜色通道都相关,因此,三维颜色查找表的输出结果受到三个颜色通道的值的共同影响,除此之外,三维颜色查找表的容量巨大,例如64阶的三维查找表具有26万个颜色输出值,并且,由于三维颜色查找表实质上就是一个数值矩阵,因此利用三维颜色查找表计算输出颜色的过程是一个可微可导的过程,进而可以在三维颜色查找表的基础上创建三维颜色查找模型。
将图片训练样本输入至三维颜色查找模型,以得到模型预测图片之后,通过对模型预测图片和真值图片进行损失计算,可以得到损失计算结果,具体地,损失计算的过程可以是利用均绝对误差公式进行计算得到,还可以是利用平均损失函数进行计算得到,还可以是利用均方损失函数进行计算得到,还可以是利用与颜色相关的损失函数进行计算得到,还可以是利用与平滑损失函数进行计算得到,还可以是利用感知损失函数进行计算得到,本示例性实施例对此不做特殊限定。值得说明的是,具体利用哪一个损失函数进行损失计算,需要根据具体的图片处理需求来决定,例如图片需求为得到对颜色进行恢复的图片处理结果,此时可以使用与颜色相关的损失函数来进行损失计算。
举例而言,如图2所示,其中,图片210为图片训练样本,模型220为三维颜色查找模型,图片230为模型预测图片,图片240为真值图片,结果250为损失计算结果,具体地,待损失计算结果是对模型预测图片和真值图片进行损失计算得到的,在得到损失计算结果之后,根据损失计算结果对三维颜色查找模型中的参数进行调整得到目标图片训练模型。
在可选的实施例中,图3示出了图像处理的模型训练方法中得到模型预测图片的流程示意图,三维颜色查找模型包括基础查找模型,如图3所示,该方法至少包括以下步骤:在步骤S310中,将图片训练样本输入至基础查找模型;其中,基础查找模型用于确定图片训练样本中的像素颜色值,并确定与像素颜色值存在基础颜色映射关系的目标像素颜色值。
其中,具体地,三维颜色查找模型可以是基础查找模型,即直接使用三维颜色查找表组成的模型,具体地,基础查找模型可以如图2中的220所示。
当图片训练样本输入至基础查找模型之后,首先基础查找模型会确定与图片训练样本对应的像素颜色值,即确定图片训练样本中每一个像素的三个颜色通道上的值,然后会基于基础颜色映射关系确定出与像素颜色值对应的目标像素颜色值。
具体地,基础颜色映射关系如公式(1)和公式(2)所示。
其中,i,j,k分别对应于图片训练样本中像素的三个颜色通道的空间系坐标,基于此,
表示的是在空间坐标(i,j,k)处的像素的三个颜色通道的值,N为i,j,k可以取的最大值,c表示三个颜色通道,具体地,r表示红色通道,g表示绿色通道,b表示蓝色通道,
为基础颜色映射关系,
表示按照基础颜色映射关系,确定出的与图片训练样本中的某个像素的三个通道颜色值对应的目标像素颜色值。
举例而言,将图片训练样本输入至如图2中模型220所示的基础查找模型中,基础查找模型会确定出图片训练样本中每一个像素的像素颜色值,即每一个像素的三通道颜色值,然后基于如公式(2)所示的基础颜色映射关系确定出与像素颜色值对应的目标像素颜色值。
在步骤S320中,确定与目标像素颜色值对应的目标像素,并将由目标像素组成的图片作为模型预测图片。
其中,在确定出目标像素颜色值之后,确定出一个具有该目标像素颜色值的目标像素,并将目标像素组成的图片作为模型预测图片。
举例而言,图片训练样本中具有1000个像素,在确定出与这1000个像素的像素颜色值具有基础颜色映射关系的1000个目标像素颜色值之后,确定拥有这1000个目标像素值的目标像素,并将由这1000个目标像素组成的图片作为模型预测图片。
在本示例性实施例中,基础查找模型是三维颜色查找模型中的一种,进而将图片训练样本输入至基础查找模型,为后续得到模型训练结果奠定了基础,保证了后续得出准确度高的图片处理结果。
在可选的实施例中,图4示出了图像处理的模型训练方法中得到模型预测图片的流程示意图,三维查找模型包括第一优化模型,第一优化模型包括一个基础查找模型和第一衍生模型的组合,第一衍生模型包括权重模型以及多个基础查找模型,如图4所示,该方法至少包括以下步骤:在步骤S410中,将图片训练样本输入至权重模型,以提取与图片训练样本对应的图片特征。
其中,三维查找模型可以是第一优化模型,并且第一优化模型中包括一个基础查找模型和第一衍生模型的组合,具体地,可以是一个基础查找模型和第一衍生模型的线性组合,也可以是一个基础查找模型和第一衍生模型的乘积组合,本示例性实施例对此不做特殊限定。
第一衍生模型中包括多个基础查找模型和权重模型,其中,权重模型用于为第一衍生模型中的多个基础查找模型分配权重。
此时,图片训练样本被输入至权重模型,权重模型对图片训练样本的图片特征进行提取,图片特征可以是图片的内容特征,可以是图片的纹理特征,可以是图片 的颜色特征,可以是图片的任意一种特征,本示例性实施例对此不做特殊限定。
图5示意性示出了一种第一优化模型的结构示意图,如图5所示,其中,图片510为图片训练样本,模型520为第一优化模型,模型521为基础查找模型,模型522为第一衍生模型,在第一衍生模型522中存在模型530权重模型以及多个基础查找模型540,数值550为权重模型输出的权重值,关系560描述了第一优化模型中基础查找模型521与第一衍生模型522之间的线性组合关系,关系570描述的是将图片训练样本输入至第一优化模型得到模型预测图片580。
图6示意性示出了另一种第一优化模型的结构示意图,如图6所示,值得说明的是,关系610描述的是此时基础查找模型521与第一衍生模型522之间存在乘积组合关系。
基于图5或图6,将图片训练样本输入至第一优化模型中的权重模型,权重模型会提取到与图片训练样本对应的图片特征。
举例而言,将图片训练样本输入至如图5所示的第一优化模型中,第一优化模型中的权重模型会提取到图片训练样本的图片特征。
在步骤S420中,根据图片特征,确定与第一衍生模型中的多个基础查找模型分别对应的权重值。
其中,权重模型在提取到图片特征后,会生成与第一衍生模型中的基础查找模型个数一致的权重值,并且这些权重值与第一衍生模型中的多个基础查找模型是一一对应的关系。
举例而言,如图5或图6所示,将图片训练样本输入至权重模型530后,会得到与基础查找模型540一一对应的权重值550。
在步骤S430中,根据与第一衍生模型中的多个基础查找模型分别对应的权重值对与第一衍生模型中的多个基础查找模型对应的多个基础颜色映射关系进行更新,并对更新的结果进行计算,以得到与一个第一衍生模型对应的第一衍生颜色映射关系。
其中,第一衍生模型中存在多个基础查找模型,通过与多个基础查找模型分别对应的权重值,可以对第一衍模型中与多个基础查找模型对应的多个基础颜色映射关系进行更新,以得到与第一衍生模型对应的第一衍生颜色映射关系。
举例而言,如图5所示,在第一优化模型520中存在第一衍生模型,并且在第一衍生模型中存在n个基础查找模型,基于此,存在n个基础颜色映射关系,具体地,这n个基础颜色查找模型为RLUT1、RLUT2、…、RLUTn,并且RLUT1与基础查找模型1对应,RLUT2与基础查找模型2对应,直至最后一个与基础查找模型n对应的RLUTn。
除此之外,还存在n个权重值,具体地,权重值包括w1、w2、…、wn,并且,权重值w1与基础查找模型1对应,权重值w2与基础查找模型2对应,同理,直至 最后一个与基础查找模型n对应的权重值wn,基于此,得到第一衍生颜色映射关系分别为w1与RLUT1的乘积、w2与RLUT2的乘积、…、wn与RLUTn的乘积,图6的过程与图5类似。
在步骤S440中,基于与第一优化模型的一个基础查找模型和第一衍生模型所对应的组合关系、第一衍生颜色映射关系以及与第一优化模型中的一个基础查找模型对应的基础颜色映射关系,确定与第一优化模型对应的第一优化颜色映射关系。
其中,第一优化模型中的一个基础茶轴模型和第一衍生模型之间存在组合关系,根据该组合关系、第一衍生颜色映射关系以及与第一优化模型中的一个基础查找模型对应的基础颜色映射关系,可以确定出与第一优化模型对应的第一优化颜色映射关系。
举例而言,针对于图5来说,关系560描述的是第一优化模型中的一个基础查找模型与第一衍生模型之间存在的线性组合关系,除此之外,在第一衍生模型中存在n个基础颜色映射关系,具体地,这n个基础颜色查找模型为RLUT1、RLUT2、…、RLUTn,并且RLUT1与基础查找模型1对应,RLUT2与基础查找模型2对应,直至最后一个与基础查找模型n对应的RLUTn。
除此之外,还存在n个权重值,具体地,权重值包括w1、w2、…、wn,并且,权重值w1与基础查找模型1对应,权重值w2与基础查找模型2对应,同理,直至最后一个与基础查找模型n对应的权重值wn。
基于此,确定出的第一优化颜色映射关系为BLUT+w1×BLUT1+w2×BLUT2+…+wn×BLUTn。
针对于图6来说,关系610描述的是第一优化模型中一个基础查找模型与第一衍生模型之间的乘积组合关系,则第一优化颜色映射关系为BLUT×w1×BLUT1×w2×BLUT2×…×wn×BLUTn。
在步骤S450中,根据第一优化颜色映射关系,确定与图片训练样本对应的模型预测图片。
其中,第一优化颜色映射关系为与第一优化模型对应的颜色映射查找关系,基于此,将图片训练样本输入至第一优化模型中可以得到模型预测图片。
在本示例性实施例中,三维颜色查找模型可以是第一优化模型,并且在第一优化模型中存在权重模型,并且权重模型可以为第一衍生模型中的基础查找模型分配权重,进而可以动态的通过权重去改变与第一优化模型对应的第一优化颜色映射关系,增加了确定第一优化模型的灵活度。
在可选的实施例中,权重模型包括按照次序连接的一个图片尺寸固定层、多个采样层以及一个输出层,其中,图片尺寸固定层用于固定图片训练样本的尺寸,采样层用于提取与图片训练样本对应的图片特征,输出层用于根据图片特征,确定与第一衍生模型中的多个基础查找模型分别对应的权重值。
其中,图片尺寸固定层指的是将图片训练样本的尺寸大小固定为一个特定大小的层结构,例如可以将图片训练样本的尺寸大小固定为256×256,也可以将图片训练样本的尺寸大小固定为512×512,本示例性实施例对此不做特殊限定,具体地,固定图片训练样本的尺寸大小的方式可以是最近临插值算法,也可以是通过双线性插值算法,还可以是通过双立方插值算法,还可以是通过其他任何一种插值算法,本示例性实施例对此不做特殊限定。
采样层用于提取图片训练样本的特征,具体地,采样层可以由两个卷积层、激活函数层以及全局归一化层组成,其中,第二个卷积层还可以利用最近邻插值算法、双线性插值算法、双立方插值算法以及任意一种插值算法进行替代。
输出层用于根据图片特征输出与第一衍生模型中的多个基础查找模型一一对应的权重值。
举例而言,图7示意性示出了权重模型的结构示意图,如图7所示,其中,图片710为图片训练样本,层720为图片尺寸固定层,层730为采样层,层740为输出层,值750为权重值,层730具体可以由层731卷积层、层732卷积层、层733激活函数层以及层734全局归一化层组成,更进一步的,层731的卷积核可以是3×3,层732的步幅可以是1。
在本示例性实施例中,提供了一种权重模型,确保将图片训练样本输入至权重模型后,可以得到与第一衍生模型中的基础查找模型一一对应的权重值。
在可选的实施例中,图8示出了图像处理的模型训练方法中得到模型预测图片的流程示意图,三维颜色查找模型包括第二优化模型,第二优化模型包括多个第二衍生模型和一个基础查找模型的组合,如图8所示,该方法至少包括以下步骤:在步骤S810中,将图片训练样本输入至多个第二衍生模型,以提取与图片训练样本对应的图片特征。
其中,三维查找模型还可以是第二优化模型,具体地,第二优化模型与第一优化模型的区别在于,第二优化模型将第一优化模型中的第一衍生模型替换为了多个第二衍生模型,值得说明的是,第二衍生模型中不包括权重模型。
基于此,将图片训练样本输入至多个第二衍生模型中,以对图片训练样本的图片特征进行提取。
图9示意性示出了第二优化模型的一种结构示意图,如图9所示,其中,图片910为图片训练样本,模型920为多个第二衍生模型,模型930为基础查找模型,关系940描述的是多个第二衍生模型与基础查找模型之间的线性组合关系,关系950为将图片训练样本输入至第二衍生模型中,图片960为模型预测结果。
图10示意性示出了第二优化模型的另一种结构示意图,如图10所示,其中,关系1010描述的是多个第二衍生模型与基础查找模型之间的乘积组合关系。
举例而言,基于图9或图10,将图片训练样本输入至多个第二衍生模型中920 中,可以对图片训练样本中的图片特征进行提取。
在步骤S820中,根据图片特征,确定图片训练样本中的像素颜色值与目标像素颜色值之间的第二衍生颜色映射关系。
其中,第二衍生颜色映射关系为根据图片特征得出的颜色映射关系。
举例而言,在如图9或图10中,与第二衍生模型1对应的RLutNet1、与第二衍生模型2对应的RLutNet1、…、与第n衍生模型对应的RLutNetn即为第二衍生颜色映射关系。
在步骤S830中,基于与多个第二衍生模型和基础查找模型的组合对应的组合关系、与多个第二衍生模型对应的多个第二衍生颜色映射关系以及与基础查找模型对应的基础颜色映射关系,确定与第二优化查找模型对应的第二优化颜色映射关系。
其中,根据多个第二衍生模型和基础查找模型的组合对应组合关系、与多个第二衍生模型对应的多个第二衍生颜色映射关系以及与基础查找模型对应的基础颜色映射关系,可以确定出第二优化颜色映射关系。
举例而言,针对于图9,第二颜色映射关系为BLUT2=BLUT+RLutNet1+RLutNet2+…+RLutNetn,其中,BLUT2即为第二颜色映射关系。
针对于图10,第二颜色映射关系为BLUT2=BLUT×RLutNet1×RLutNet2×…×RLutNetn,其中,BLUT2即为第二颜色映射关系。
在步骤S840中,根据第二优化颜色映射关系,确定与图片训练样本对应的模型预测图片。
其中,第二优化颜色映射关系指的是与第二优化查找模型对应的颜色映射关系,将图片训练样本输入至第二优化模型,就基于第二优化颜色映射关系,得到模型预测图片。
举例而言,如图9或图10所示,将图片训练样本910输入至第二优化模型,以得到模型预测图片960。
在本示例性实施例中,第二衍生模型在不依赖权重模型的情况下,提高了模型的智能化以及灵活度。
在可选的实施例中,第二衍生模型包括按照次序连接的一个图片尺寸固定层、矩阵转换层、多个采样层以及一个输出层,其中,图片尺寸固定层用于固定图片训练样本的尺寸,矩阵转换层用于对图片尺寸固定层输出的矩阵进行转换,采样层用于提取与图片训练样本对应的图片特征,输出层用于输出与图片特征对应的第二衍生颜色映射关系。
其中,图片尺寸固定层指的是将图片训练样本的尺寸大小固定为一个特定大小的层结构,例如可以将图片训练样本的尺寸大小固定为256×256,也可以将图片训练样本的尺寸大小固定为512×512,本示例性实施例对此不做特殊限定,具体地, 固定图片训练样本的尺寸大小的方式可以是最近临插值算法,也可以是通过双线性插值算法,还可以是通过双立方插值算法,还可以是通过其他任何一种插值算法,本示例性实施例对此不做特殊限定。
矩阵转换层用于将图片尺寸固定层输出的矩阵转换,例如将图片训练样本输入图片尺寸固定层,得到矩阵[B,C,H,W],其中,C为颜色通道数,B为批尺寸,H为图片训练样本的高度,W图片训练样本的宽度,将矩阵[B,C,H,W]输入至矩阵转换层可以得到[C,B,H,W]。
采样层用于提取图片训练样本的特征,具体地,可以采样层可以由一个卷积层、激活函数层、全局归一化层以及下采样层组成,其中,卷积层的卷积核可以为3×3,下采样层可以使用卷积层、最近邻插值算法、双线性插值算法、双立方插值算法以及任意一种插值算法进行替代,并且下采样层的个数由与基础查找模型对应的三维颜色查找表的位数以及图片尺寸固定层设计的特定尺寸大小有关,例如当图片尺寸固定层设计的特定尺寸大小为256×256,且三维颜色查找表的位数为32位,可以设置3个下采样层,当图片尺寸固定层设计的特定尺寸大小为512×512,且三维颜色查找表的位数为32位,可以设置4个下采样层。
输出层根据采样层输出的特征信息,来确定第二优化模型的位数,以得到与位数对应的第一衍生颜色映射关系,具体地,输出层可以由一个卷积层组成,并且当需要得到的第二优化模型的位数为32位时,卷积层的参数被设置为3×3×32,当需要得到的第二优化模型的位数为64位时,卷积层的参数被设置为3×3×64。
举例而言,图11示意性示出了第二衍生模型的结构示意图,如图11所示,其中,图片1110为图片训练样本,层1120为图片尺寸固定层,层1130为矩阵转换层,层1140为采样层,层1150输出层,模型1160为输出的第二衍生模型,以此可以得到第二衍生颜色映射关系,并且在采样层1140中包括卷积层1141、激活函数层1142、全局归一化层1143以及下采样层1144。
在本示例性实施例中,提供了一种第二衍生查找模型,确保将图片训练样本输入至第二衍生查找模型后,可以得到与第二衍生查找模型对应的第二衍生颜色映射模型。
在可选的实施例中,三维查找模型包括组合模型,组合模型包括两个第一优化模型;其中,组合模型中的一个优化模型的组合关系为线性组合关系,组合模型中的另一个第一优化模型的组合关系为乘积组合关系。
其中,第一优化模型包括一个基础查找模型和第一衍生模型,并且,根据组合关系可以分为两种第一优化模型,其中一种为一个基础查找模型和第一衍生模型之间为线性组合关系的第一优化模型A,另一种为一个基础查找模型和第一衍生模型之间是乘积组合关系的第一优化模型B。
基于此,组合模型可以是两个具有不同组合关系的第一优化模型,即组合模型 可以是一个线性组合关系的第一优化模型和一个乘积组合关系的第一优化模型的组合,并且组合模型组合的顺序是没有限制的。
举例而言,图12示意性出了组合查找模型的一种结构示意图,如图12所示,其中,模型1210为第一衍生模型,模型1220为基础查找模型,并且模型1210和模型1220之间是线性组合关系,进而模型1210和模型1220组成了具有线性组合关系的第一优化模型A,模型1230可以为乘积组合关系的第一优化模型B。
图13示意性示出了组合模型的另一种结构示意图,如图13所示,其中,模型1310可以是线性组合关系的第一优化模型A,模型1320为基础查找模型,模型1330为第一衍生模型,并且第一衍生模型与模型1320之间为乘积组合关系,即模型1320和模型1330组成了第一优化模型B。
除此之外,组合模型还可以是具有不同组合关系的第二优化模型,即组合模型可以是一个线性组合关系的第二优化模型和一个乘积组合关系的第二优化模型的组合,并且组合模型组合的顺序是没有限制的。
值得说明的是,线性组合关系的模型(第一优化模型A以及第二优化模型C)和乘积组合关系的模型(第一优化模型B以及第二优化模型D)后续的训练过程是不同的,正因为后续训练过程的不同,导致线性组合关系的模型更偏向于提取图片训练样本的局部特征,而乘积组合关系的模型更偏向于提取图片训练样本的全局特征,进而导致后续得出的与线性组合关系的模型对应的模型训练结果更适用于处理图片细节,超分任务等图片处理任务,而与乘积组合关系的模型对应的模型训练结果更适用于处理图片曝光、图片去雾以及图片颜色矫正等图片处理任务。
在本示例性实施例中,三维颜色查找模型包括组合模型,组合模型可以是两个第一优化模型,并且这两个第一优化模型的组合关系是不同的,扩大了三维颜色查找模型适用的图片任务类型,进而扩大了三维颜色查找模型的应用场景。
在可选的实施例中,三维颜色查找模型包括组合模型,组合模型包括两个第二优化模型;其中,组合模型中的一个第二优化模型具有线性组合关系,组合模型中的另一个第二优化模型具有乘积组合关系。
其中,组合模型还可以是具有不同组合关系的第二优化模型,即组合模型可以是一个线性组合关系的第二优化模型和一个乘积组合关系的第二优化模型的组合,并且组合模型组合的顺序是没有限制的。
举例而言,如图12所示,其中,模型1210为还可以为多个第一衍生模型,模型1220为基础查找模型,并且模型1210和模型1220之间是线性组合关系,进而模型1210和模型1220组成了具有线性组合关系的第二优化模型C,模型1230可以为乘积组合关系的第二优化模型D。
除此之外,如图13所示,其中,模型1310可以是线性组合关系的第二优化模型C,模型1320为基础查找模型,模型1330中包括了多个第二衍生模型,并且多 个第二衍生模型与模型1320之间为乘积组合关系,即模型1320和模型1330组成了第二优化模型D。
在本示例性实施例中,组合模型包括具有不同组合关系的第二优化模型,扩大了三维颜色查找模型适用的图片任务类型,进而扩大了三维颜色查找模型的应用场景。
在可选的实施例中,图14示出了图像处理的模型训练方法中得到组合模型的流程示意图,组合模型包括一个第一优化模型和一个第二优化模型的组合;第一优化模型包括一个基础查找模型和第一衍生模型,第一衍生模型包括权重模型以及多个基础查找模型,如图14所示,该方法至少包括以下步骤:在步骤S1410中,若第一优化模型为一个基础查找模型和第一衍生模型的线性组合模型,则第二优化模型为一个基础查找模型和多个第二衍生模型的乘积组合模型。
其中,组合模型可以包括一个第一优化模型和一个第二优化模型,并且,当组合模型中的第一优化模型为一个基础查找模型和第一衍生模型的线性组合模型时,第二优化模型为一个基础模型和多个第二衍生模型的乘积组合模型,并且,第一优化模型和第二优化模型的组合顺序是不做限制的,其中,线性组合模型指的是第一优化模型中的一个基础查找模型和第一衍生模型之间是线性组合关系,乘积组合模型指的是第二优化模型中一个基础查找模型和多个第二衍生模型之间是乘积组合关系。
举例而言,如图12所示,当模型1210为第一衍生模型时,由第一衍生模型1210和基础查找模型1220组成了具有线性组合关系的第一优化模型A,此时模型1230为第二优化模型D,即在第二优化模型D中,基础查找模型和多个第二衍生模型之间存在乘积组合关系。
举例而言,如图13所示,当模型1310为第一优化模型A时,即模型1310为一个基础查找模型和第一衍生模型的线性组合模型,即一个基础查找模型和第一衍生模型之间为线性组合关系时,模型1330包括多个第二衍生模型,并且模型1330与基础查找模型1320之间具有乘积组合关系,即模型1320与模型1330组成了第二优化模型D。
在步骤S1420中,若第一优化模型为一个基础查找模型和第一衍生模型的乘积组合模型,则第二优化模型为一个基础查找模型和多个第二衍生模型的线性组合模型。
其中,组合模型可以包括一个第一优化模型和一个第二优化模型,并且,当组合模型中的第一优化模型为一个基础模型和第一衍生模型的乘积组合模型时,第二优化模型为一个基础模型和多个第二衍生模型的线性组合模型。
举例而言,如图12所示,当模型1210为第一衍生模型时,并且由第一衍生模型1210和基础查找模型1220组成了具有乘积组合关系的第一优化模型B,此时模 型1230为第二优化模型C,即在第二优化模型C中,基础查找模型和多个第二衍生模型之间存在线性组合关系。
举例而言,如图13所示,当模型1310为第一优化模型B时,即模型1310为一个基础查找模型和第一衍生模型的乘积组合模型,即一个基础查找模型和第一衍生模型之间为线性组合关系时,模型1330包括多个第二衍生模型,并且模型1330与基础查找模型1320之间具有线性组合关系,即模型1320与模型1330组成了第二优化模型C。
在本示例性实施例中,组合模型是将第一优化模型和第二优化模型组合后得到的模型,并且,当第一优化模型为一个基础查找模型和第一衍生模型的线性组合模型时,第二优化模型为一个基础查找模型和多个第二衍生模型的乘积组合模型,当第一优化为一个基础查找模型和第一衍生模型的乘积组合模型,第二优化模型为一个基础查找模型和多个第二衍生模型的线性组合模型,扩大了三维颜色查找模型适用的图片任务类型,进而扩大了三维颜色查找模型的应用场景。
在可选的实施例中,图15示出了图像处理的模型训练方法中得到模型预测图片的流程示意图,三维颜色查找模型包括一个或多个第三优化模型,第三优化模型为基础查找模型、第一优化模型、第二优化模型以及组合查找模型中的任意一种,如图15所示,该方法至少包括以下步骤:在步骤S1510中,获取多个下采样倍率,并按照多个下采样倍率对图片训练样本进行采样,以得到多个下采样结果;其中,下采样倍率包括整数倍率。
其中,三维查找模型还可以是一个或多个第三优化模型,并且第三优化模型可以是基础查找模型、第一优化模型、第二优化模型以及徐鹤查找模型中的任意一种。
多个下采样倍率指的是多个整数采样倍率,例如可以是2、4、8、16,也可以2、4、8,本示例性实施例对此不做特殊限定。
举例而言,多个下采样倍率为2、4、8、16,根据多个下采样倍率对图片训练样本进行采样可以得到多个下采样结果,例如按照下采样倍率2对图片训练样本进行下采样可以得到下采样结果1,按照下采样倍率4对图片训练样本进行下采样可以得到下采样结果2,按照下采样倍率8对图片训练样本进行下采样可以得到下采样结果3,按照下采样倍率16对图片训练样本进行下采样可以得到下采样结果4。
在步骤S1520中,根据图片处理需求确定上采样倍率,并按照上采样倍率对图片训练样本进行采样,以得到上采样结果;其中,上采样倍率包括小数倍率。
其中,图片处理需求指的是用户对于图片处理结果的需求,例如图片处理需求是得到一张与图片训练样本尺寸相同的模型预测图片,则此时可以没有上采样倍率,若用户需求为得到一张2.3倍率的模型预测图片,且下采样倍率为2的次方,则可以确定出一个上采样倍率,该上采样倍率为2.3,也可以确定出两个上采样倍率,分别为2和1.15。
基于此,按照上采样倍率对图片训练样本进行采样得到上采样结果。
举例而言,用户需求为得到一张2.3倍率的模型预测图片,因此可以确定出上采样倍率为2个,分别为2和1.15,基于此,按照上采样倍率2对图片训练样本进行采样得到上采样结果1,按照下采样倍率1.15对图片训练样本进行采样得到上采样结果2。
在步骤S1530中,将下采样结果输入至一个第三优化模型或多个第三优化模型中,以得到与下采样结果对应的第一模型输出结果。
其中,第一模型输出结果指的是将下采样结果输入至第三优化模型中得到的结果,具体地,若只存在一个第三优化模型,则每一个下采样结果都需要输入至这一个第三优化模型中,并对应得到第一模型输出结果,若存在多个第三优化模型,则多个第三优化模型的模型个数与下采样次数相同,并且,第三优化模型与下采样次数之间是一一对应的关系,即与A下采样倍率对应的下采样结果需要输入至一个第三优化模型中,与B下采样倍率对应的下采样结果需要输入至另一个第三优化模型中,以此类推,直至与所有下采样倍率对应的下采样结果全部输入至对应的第三优化模型中为止。
举例而言,存在四个下采样结果,分别为下采样结果A、下采样结果B、下采样结果C以下采样结果D,若仅存在一个第三优化模型,则将下采样结果A输入至该第三优化模型得到第一模型输出结果A1,将下采样结果B输入至该第三优化模型得到第一模型输出结果B1,将下采样结果C输入至该第三优化模型得到第一模型输出结果C1,将下采样结果D输入至该第三优化模型得到第一模型输出结果D1。
若存在4个第三优化模型,则将下采样结果A输入至第一个第三优化模型中得到第一模型输出结果A1,将下采样结果B输入至第二个第三优化模型中得到第一模型输出结果B1,将下采样结果C输入至第三个第三优化模型中得到第一模型输出结果C1,将下采样结果D输入至第四个第三优化模型中得到第一模型输出结果D1。
在步骤S1540中,将上采样结果输入至一个第三优化模型或多个第三优化模型中,以得到与上采样结果对应的第二模型输出结果。
其中,第二模型输出结果指的是将上采样结果输入至第三优化模型中得到的结果,具体地,若只存在一个第三优化模型,则每一个上采样结果都需要输入至这一个第三优化模型中,并对应得到一个第二模型输出结果,若存在多个第三优化模型,则多个第三优化模型的模型个数与上采样次数相同,第三优化模型与上采样次数之间是一一对应的关系,即与E上采样倍率对应的上采样结果需要输入至一个第三优化模型中,与F上采样倍率对应的上采样结果需要输入至另一个第三优化模型中,以此类推,直至与所有上采样倍率对应的上采样结果全部输入至对应的第三优化模型中为止。
举例而言,存在两个上采样结果,分别为上采样结果E、上采样结果F,若仅存 在一个第三优化模型,则将上采样结果E输入至第三优化模型得到第二模型输出结果E1,将上采样结果F输入至第三优化模型得到第二模型输出结果F1。
若存在2个第三优化模型,则将上采样结果A输入至第一个第三优化模型中得到第二模型输出结果e1,将下采样结果F输入至第二个第三优化模型中得到第二模型输出结果f1。
在步骤S1550中,比较上采样倍率的大小得到第一倍率比较结果,并比较下采样倍率的大小得到第二倍率比较结果。
其中,第一倍率比较结果为上采样倍率大小的比较结果,第二倍率比较结果为下采样倍率大小的比较结果。
举例而言,下采样倍率为2、4、8、16,上采样倍率为2、1.15,则第一倍率比较结果为16大于8,8大于4,4大于2,第二倍率比较结果为2大于1.15。
在步骤S1560中,基于第一倍率比较结果和第二倍率比较结果,确定第一模型输出结果与第二模型输出结果之间的输入输出关系,以基于输入输出关系,得到模型预测图片。
其中,根据第一倍率比较结果和第二倍率比较结果,可以确定出第一模型输出结果和第二模型输出结果之间的输入输出关系,具体地,将倍率最高的下采样结果输入至第三优化模型中会得到第一模型输出结果,此时可以将该第一模型输出结果和相邻倍率的下采样结果对应的第一模型输出结果一起作为第三优化模型的下一个输入,以此类推,直至向第三优化模型输入所有的下采样结果。
基于此,将最后一个下采样结果输入至第三优化模型得到的第一模型输出结果和第一个上采样结果作为新的第三优化模型的输入,以得到第二模型输出结果,并将该第二模型输出结果和下一个上采样结果再次输入至第三优化模型中,以此类推,直至所有的上采样结果都输入至第三优化模型中。
图16示意性示出了三维颜色查找模型为第三优化模型时的模型结构示意图,如图16所示,其中,模型1610为多个第三优化模型,数值1620为上采样倍率,数值1630为下采样倍率,具体地,下采样倍率分别为2、4、8、16,基于此,与下采样倍率16对应的下采样结果A需要输入至第三优化模型1中,与下采样倍率8对应的下采样结果B需要输入至第三优化模型2中,与下采样倍率4对应的下采样结果C需要输入至第三优化模型3中,与下采样倍率2对应的下采样结果D分别输入至第三优化模4中,与上采样倍率2对应的上采样结果E需要输入至第三优化模型5中,与上采样4对应的上采样结果F需要输入至第三优化模型6中。
其中,对上采样倍率的大小进行比较得到第一倍率比较结果,对下采样倍率的大小进行比较得到第二倍率比较结果,其中16大于8,8大于4,4大于2,2大于1.5,因此,将第三优化模型1的第一输出结果以及下采样结果B作为第三优化模型2的输入,将第三优化模型2的第一输出结果以及下采样结果C作为第三优化模型3 的输入,以此类推,直至将第三优化模型5的第一输出结果和与上采样倍率1.5对应的上采样结果F输入至第三优化模型6中为止,此时第三优化模型6的输出即为目标预测图片。
图17示意性示出了三维颜色查找模型为第三优化模型时的模型结构示意图,如图17所示,其中,只存在一个第一优化模型1710,其余的输入输出关系与图16相同。
值得说明的是,对于图16来说,首先仍然需要获取与图片训练样本对应的真值图片Z,然后将与下采样倍率16对应的下采样结果输入至第三优化模型1后会得到第一模型输出结果A1,此时需要对第一模型输出结果A1和真值图片Z进行损失计算得到loss1,同理,在获得与第二优化模型2对应的第一模型输出结果B1时,仍然需要对第一模型输出结果B1与真值图片Z进行损失计算得到loss2,以此类推,直到算出与第三优化模型5对应的loss5为止。
基于此,此时得到了loss1、loss2、loss3、loss4、loss0以及loss5,将loss1、loss2、loss3、loss4、loss0以及loss5进行相加,就得到了对图15所示的模型进行损失计算后得到的计算结果。
同理,针对于图17所示的模型,与图16的区别在于,只存在一个第三优化模型。
举例而言,将图片训练样本输入图16所示的模型结构中,可以得到对应倍率下的图像处理结果。
在本示例性实施例中,一方面,上采样倍率是根据图像处理需求决定的,并且上采样倍率的包括小数倍率,因此可以灵活的得到任意分辨率的模型预测图片,另一方面,第三优化模型可以是基础查找模型、第一优化模型、第二优化模型以及组合模型中的任意一种,因此可以根据图片处理的需求设置不同的第三优化模型,以满足不同图片处理的需求,进而扩大了三维颜色查找模型可以应用的范围。
在步骤S130中,根据损失计算结果对三维颜色查找模型进行调整得到目标图像处理模型,其中,目标图像处理模型用于对待处理图像进行图像处理,以得到与待处理图像对应的图像处理结果。
在本示例性实施例中,根据损失计算结果可以调整三维查找模型,以得到目标图像处理模型,并将待处图像输入目标图像处理模型中,就可以得与待处理图像对应的图像处理结果。
举例而言,损失计算结果可以是利用颜色损失函数对图片训练样本与真值图片进行计算得到的结果,以此对三维颜色查找模型进行调整,可以得到目标图像处理模型A,将一张颜色不够清晰的图片输入至目标图像处理模型A中,可以得到图片处理结果,即一张颜色得到还原的图片。
在可选的实施例中,第一优化模型中的一个基础查找模型和一个衍生模型之间 存在线性组合关系;根据损失计算结果对三维颜色查找模型进行调整得到目标图像处理模型,包括:若第一优化模型中的一个基础查找模型和第一衍生模型之间存在线性组合关系,根据损失计算结果,对与第一衍生模型中的多个基础查找模型分别对应的权重值以及与第一衍生模型中的基础查找模型对应的基础颜色映射关系进行调整,以得到目标图像处理模型。
其中,在第一优化模型中,基础查找模型和第一衍生模型之间存在两种组合关系,分别为线性组合关系以及乘积组合关系。
针对于线性组合关系的第一优化模型来说,通常第一衍生模型中的基础查找模型的参数是固定不变的,即与第一衍生模型中的基础查找模型对应的基础颜色映射关系是固定不变的,只需根据损失计算结果,调整第一衍生模型中的多个基础查找模型分别对应的权重值以及与第一衍生模型存在线性组合关系的基础查找模型即可得到目标图像处理模型。
举例而言,如图5所示,根据损失计算结果需要调整权重值550以及第一衍生模型522中的与基础查找模型540对应的基础颜色映射关系。
在本示例性实施例中,当基础查找模型和第一衍生模型为线性组合关系时,可以只对权重值以及第一衍生模型中与基础查找模型对应的基础颜色映射关系进行调整,基于此,根据不同的训练过程,得到了更适应于局部图片特征的目标图像处理模型。
在可选的实施例中,第一优化模型中的一个基础查找模型和第一衍生模型之间存在乘积组合关系,图18示出了图像处理的模型训练方法中对三维颜色查找模型进行调整得到目标图像处理模型的流程示意图,如图18所示,该方法至少包括以下步骤:在步骤S1810中,若第一优化模型中的一个基础查找模型和第一衍生模型之间存在乘积组合关系,对与第一衍生模型中的多个基础查找模型分别对应的权重值以及与第一衍生模型中的多个基础查找模型对应的多个基础颜色映射关系进行调整,以得到与第一衍生模型对应的训练结果。
其中,针对于乘积组合关系来说,训练的过程可以分为两个阶段,其中,在第一阶段中只对第一优化模型中的第一衍生模型进行训练得到与第一衍生模型对应的训练结果,在第二个阶段中将第一衍生模型和第一优化模型中的一个基础查找模型看做一个整体,进行训练,以得到最终的目标图像处理模型。
具体地,在第一阶段中,首先保持第一优化模型中的基础查找模型的参数不变,对第一衍生模型中的权重模型的权重值以及第一衍生模型中与基础查找模型对应的基础颜色映射关系进行调整,以得到与第一衍生模型对应的训练结果。
举例而言,如图6所示,根据损失计算结果对权重模型530中的权重值进行调整,并对第一衍生模型522中与基础查找模型对应的基础颜色映射关系进行调整,以得到与第一衍生模型522对应的训练结果。
在步骤S1820中,当训练结果满足训练结束条件时,根据损失计算结果对第一优化模型进行训练,以得到目标图像处理模型。
其中,训练结束条件可以是收敛条件,具体地,可以是与第一衍生模型对应的训练结束条件,当训练结果满足训练结束条件时,证明此时已经结束了第一阶段的训练,需要开始第二阶段的训练。
具体地,在第二阶段的训练中,需要根据损失计算结果,对第一优化模型进行训练,即对第一衍生模型和第一优化模型中的基础查找模型进行训练,以使模型训练结果更适用于图片全局特征的处理。
举例而言,如图6所示,根据损失计算结果对权重模型530中的权重值进行调整,并对第一衍生模型522中与基础查找模型对应的基础颜色映射关系进行调整,以得到与第一衍生模型522对应的训练结果。
当训练结果满足训练结束条件时,根据损失计算结果对第一优化模型520的整体进行训练,此时基础查找模型521也需要被调整,直至得到目标图像处理模型。
在本示例性实施例中,当基础查找模型和第一衍生模型的组合为乘积组合时,需要先对权重值以及第一衍生模型中与基础查找模型对应的基础颜色映射关系进行调整,再对第一优化模型整体进行调整,基于此,根据不同的训练过程,得到了更适应于全局图片特征的目标图像处理模型。
在可选的实施例中,第二优化模型中的一个基础查找模型和多个第二衍生模型之间存在线性组合关系;根据损失计算结果对三维颜色查找模型中进行调整得到目标图像处理模型,包括:若第二优化模型中的一个基础查找模型和多个第二衍生模型之间存在线性组合关系,根据损失计算结果,对第二衍生颜色映射关系进行调整得到目标图像处理模型。
其中,在第二优化模型中,基础查找模型和第二衍生模型之间存在两种组合关系,分别为线性组合关系以及乘积组合关系,针对于线性组合关系来说,通常第二优化模型中的基础查找模型的参数是固定不变的,只需根据损失计算结果,调整第二优化模型中的与多个第二衍生模型对应的第二衍生颜色映射关系。
举例而言,如图9所示,根据损失计算结果需要调整与多个第二衍生模型920对应的多个第二衍生颜色映射关系。
在可选的实施例中,当基础查找模型和第二衍生模型的组合为线性组合时,可以只对第二衍生颜色映射关系进行调整,基于此,根据不同的训练过程,得到了更适应于局部图片特征的目标图像处理模型。
在可选的实施例中,图19示出了图像处理的模型训练方法中对三维颜色查找模型中的参数进行调整得到目标图像处理模型的流程示意图,第二优化模型中的一个基础查找模型和第二衍生模型之间存在乘积组合关系,如图19所示,该方法至少包括以下步骤:在步骤S1910中,若第二优化模型中的一个基础查找模型和第二优化 模型之间存在乘积组合关系,根据损失计算结果,对第二衍生颜色映射关系进行调整,以得到与第二衍生模型对应的训练结果。
其中,在第二优化模型中,基础查找模型和第二衍生模型之间存在两种组合关系,分别为线性组合关系以及乘积组合关系,针对于乘积组合关系来说,训练过程分为两个阶段,其中,在第一个训练阶段中,首先保持第二优化模型中的基础查找模型的参数不变,然后根据损失计算结果,只对与第二衍生模型对应的第二衍生颜色映射关系进行调整,以得到与第二衍生模型对应的训练结果。
举例而言,如图9所示,根据损失计算结果调整与第二衍生模型920对应的第二衍生颜色映射关系。
在步骤S1920中,若训练结果满足训练结束条件时,根据损失计算结果对第二优化模型进行训练,以得到目标图像处理模型。
其中,训练结束条件可以是收敛条件,具体地,可以是在第一训练阶段中,第二衍生颜色映射关系的收敛条件,当训练结果满足训练结束条件时,需要开始进行第二阶段的训练,即根据损失计算结果,对第二优化模型整体进行调整,以使得到的目标图像处理模型更适用于图片全局特征的处理。
举例而言,如图9所示,根据损失计算结果,调整与第二衍生模型920对应的第二衍生颜色映射关系,以得到训练结果。
当训练结果满足训练结束条件时,根据损失计算结果对第二优化模型的整体进行训练,此时基础查找模型930中的参数也要调整,直至得到模型训练结果,即得目标图像处理模型。
在本示例性实施例中,当基础查找模型和第二衍生模型的组合为乘积组合时,需要先对第二衍生颜色映射关系进行调整,再对第二优化模型整体进行调整,基于此,根据不同的训练过程,得到了更适应于全局图片特征的目标图像处理模型。
在可选的实施例中,图20示出了图像处理的模型训练方法中得到具有和待学习模型相同功能的目标优化模型的流程示意图,如图20所示,该方法至少包括以下步骤:在步骤S2010中,将图片训练样本输入至待学习模型中,以得到与图片训练样本对应的真值图片;其中,待学习模型包括基础查找模型、第一优化模型、第二优化模型、第三优化模型以及来源模型中的任意一种。
其中,将图片训练样本输入至待学习模型,以得到真值图片,值得说明的是,待学习模型可以是基础查找模型、第一优化模型、第二优化模型、第三优化模型以及来源模型中的任意一种,其中,开源模型指的是已经公开的,可以被直接使用的模型。
举例而言,将图片训练样本输入至如图15所示的第三优化模型中,可以得到对应的真值图片。
在步骤S2020中,将图片训练样本输入至目优化模型中,以得到模型预测图片; 其中,目标优化模型包括基础查找模型、第一优化模型、第二优化模型以及组合模型中的任意一种。
其中,目标优化模型指的是基础查找模型、第一优化模型、第二优化模型以及组合模型中的任意一种。
将图片输入至目标优化模型中,可以得到模型预测图片。
举例而言,将图片训练样本输入至如图12所示的组合模型中,可以得到对应的输出结果,即模型预测图片。
在步骤S2030中,对模型预测图片和真值图片进行损失计算,以根据损失计算结果,调整目标优化模型,以得到具有和待学习模型相同功能的目标优化模型。
其中,图21示出了一种图像处理的模型训练方法的模型结构示意图,如图21所示,其中,图片2110为图片训练样本,模型2120为待学习模型,模型2130为基础查找模型,即目标优化模型,结果2140为损失计算结果,具体地,损失计算结果2140是根据模型预测图片和真值图片进行损失计算得到的,在得出损失计算结果之后,调整基础查找模型中的模型映射关系,对于基础查找模型来说,其模型颜色映射关系为基础颜色映射关系,通过上述过程的训练,最终可以得到与待学习模型2120具有相同功能的目标优化模型。
举例而言,图22示出了另一种图像处理的模型训练方法的模型结构示意图,如图22所示,其中,模型2210为第二优化模型,根据损失计算结果,调整第二优化模型的模型映射关系,对于第二优化模型来说,其模型映射关系为第二衍生颜色映射关系以及基础颜色映射关系,通过上述过程的训练,最终可以得到与待学习模型2220具有相同功能的第二优化模型。
在本示例性实施例中,得到了一种与待学习模型具有相同功能的目标优化模型,当待学习模型为复杂模型时,可以通过上述过程得到具有简单模型结构的目标优化模型,并且该目标优化模型具备与待学习模型相同的功能型。
在本公开的示例性实施例提供的方法及装置中,一方面,目标图像处理模型是对三维颜色查找模型进行训练得到的结果,避免了现有技术中图像处理结果是基于一维颜色查找表得出的,保证了图像处理结果的准确度;另一方面,由于三维颜色查找模型是三维的,因此三维颜色查找模型相较于现有技术中的一维颜色查找表的数据容量更大,满足了不同的图像处理需求,扩大了图像处理的应用场景。
此外,在本公开的示例性实施例中,还提供一种图像处理方法,图23示出了图像处理方法的流程示意图,如图23所示,图像处理方法至少包括以下步骤:
步骤2310.获取待处理图像和图像处理需求。
步骤2320.将待处理图片和图像处理需求输入到上述方法的目标图像处理模型中,以得到图像处理结果。
在本公开的示例性实施例提供的方法和装置中,将待处理图片输入和图片需求 输入至上述方法的目标图像处理模型中,由于目标图像处理模型可以是三维颜色查找模型,不仅避免了现有技术中图像处理结果是基于一维颜色查找表得出的,保证了图像处理结果的准确度,而且还满足了不同的图片处理需求,扩大了图像处理的应用场景。
下面对图像处理方法的各个步骤进行详细说明。
在步骤S2310中,获取待处理图像和图像处理需求。
其中,待处理图像指的是需要输入至目标图像处理模型中,得到图像处理结果的图像,图像处理需求指的是与待处理图像存在的问题对应的处理需求,例如待处理图像为一个不清晰的图像,图像处理需求可以是清晰化的图像处理需求。
举例而言,获取待处理图像XX,并获取到图像处理需求为颜色矫正的需求。
在步骤S2320中,将待处理图片和图像处理需求输入到上述方法的目标图像处理模型中,以得到图像处理结果。
其中,上述方法的目标图像处理模型可以对基础查找模型训练后得到的,可以对第一优化模型进行训练后得到的,还可以是对第二优化模型进行训练后得到的,还可以是对第三优化模型进行训练后得到的,还可以是对组合模型进行训练后得到的。
举例而言,将待处理图片XX自己颜色矫正的图像处理需求输入至如图5所示的第一优化模型中,以得到图像处理结果。
下面结合一应用场景对本公开实施例中图像处理的模型训练方法做出详细说明。
图像处理需求输出任意倍率2.3的超分任务,此时三维颜色查找模型可以为如图16所示的第三优化模型,基于此,将图片训练样本输入至图16中,则第三优化模型6的输入即为图片处理结果。
在本应用场景中,一方面,目标图像处理模型是对三维颜色查找模型进行训练得到的结果,避免了现有技术中图像处理结果是基于一维颜色查找表得出的,保证了图像处理结果的准确度;另一方面,由于三维颜色查找模型是三维的,因此三维颜色查找模型相较于现有技术中的一维颜色查找表的数据容量更大,满足了不同的图像处理需求,扩大了图像处理的应用场景。
此外,在本公开的示例性实施例中,还提供一种图像处理的模型训练装置。图24示出了图像处理装置的结构示意图,如图24所示,图像处理的模型训练装置2400可以包括:获取模块2410、损失计算模块2420和调整模块2430。其中:
获取模块2410,被配置为获取图片训练样本,并获取与图片训练样本对应的真值图片;损失计算模块2420,被配置为将图片训练样本输入三维颜色查找模型得到模型预测图片,并对模型预测图片和真值图片进行损失计算得到损失计算结果;调整模块2430,被配置为根据损失计算结果对三维颜色查找模型进行调整得到目标图像训练模型,其中,目标图像训练模型用于对待处理图像进行图像处理,以得到与 待处理图像对应的图像处理结果。
上述图像处理的模型训练装置2400的具体细节已经在对应的图像处理的模型训练方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及图像处理的模型训练装置2400的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
下面参照图25来描述根据本发明的这种实施例的电子设备2500。图25显示的电子设备2500仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图25所示,电子设备2500以通用计算设备的形式表现。电子设备2500的组件可以包括但不限于:上述至少一个处理单元2510、上述至少一个存储单元2520、连接不同系统组件(包括存储单元2520和处理单元2510)的总线2530、显示单元2540。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元2510执行,使得所述处理单元2510执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
存储单元2520可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)2521和/或高速缓存存储单元2522,还可以进一步包括只读存储单元(ROM)2523。
存储单元2520还可以包括具有一组(至少一个)程序模块2525的程序/使用工具2524,这样的程序模块2525包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包含网络环境的现实。
总线2530可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备2500也可以与一个或多个外部设备2570(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备2500交互的设备通信,和/或与使得该电子设备2500能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口2550进行。并且,电子设备2500还可以通过网络适配器2560与一个或者多个网络 (例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器2560通过总线2530与电子设备2500的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备2500使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施例的描述,本领域的技术人员易于理解,这里描述的示例实施例可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
在本公开的示例性实施例中,还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本发明的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施例的步骤。
参考图26所示,描述了根据本发明的实施例的用于实现上述方法的程序产品2600,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
Claims (19)
- 一种图像处理的模型训练方法,其特征在于,所述方法包括:获取图片训练样本,并获取与所述图片训练样本对应的真值图片;将所述图片训练样本输入三维颜色查找模型得到模型预测图片,并对所述模型预测图片和所述真值图片进行损失计算得到损失计算结果;根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型;其中,所述目标图像处理模型用于对待处理图像进行图像处理,以得到与所述待处理图像对应的图像处理结果。
- 根据权利要求1所述的图像处理的模型训练方法,其特征在于,所述三维查找模型包括第一优化模型,所述第一优化模型包括一个基础查找模型和第一衍生模型的组合,所述第一衍生模型包括权重模型以及多个所述基础查找模型;所述将所述图片训练样本输入三维颜色查找模型得到模型预测图片,包括:将所述图片训练样本输入至所述权重模型,以提取与所述图片训练样本对应的图片特征;根据所述图片特征,确定与所述第一衍生模型中的多个所述基础查找模型分别对应的权重值;根据所述与所述第一衍生模型中的多个所述基础查找模型分别对应的权重值对与所述第一衍生模型中的多个所述基础查找模型对应的多个所述基础颜色映射关系进行更新,并对更新的结果进行计算,以得到与一个所述第一衍生模型对应的第一衍生颜色映射关系;基于与所述第一优化模型的所述一个基础查找模型和第一衍生模型的组合所对应的组合关系、所述第一衍生颜色映射关系以及与所述第一优化模型中的所述一个基础查找模型对应的所述基础颜色映射关系,确定与所述第一优化模型对应的第一优化颜色映射关系;根据所述第一优化颜色映射关系,确定与所述图片训练样本对应的模型预测图片。
- 根据权利要求2所述的图像处理的模型训练方法,其特征在于,所述第一优化模型中的所述一个基础查找模型和所述第一衍生模型之间存在线性组合关系;所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型,包括:若所述第一优化模型中的一个所述基础查找模型和所述第一衍生模型之间存在所述线性组合关系,根据所述损失计算结果,对与所述第一衍生模型中的多个所述基础查找模型分别对应的权重值以及与所述第一衍生模型中的所述基 础查找模型对应的所述基础颜色映射关系进行调整,以得到目标图像处理模型。
- 根据权利要求2所述的图像处理的模型训练方法,其特征在于,所述第一优化模型中的所述一个基础查找模型和所述第一衍生模型之间存在乘积组合关系;所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型,包括:若所述第一优化模型中的一个所述基础查找模型和所述第一衍生模型之间存在所述乘积组合关系,对与所述第一衍生模型中的多个所述基础查找模型分别对应的权重值以及与所述第一衍生模型中的多个所述基础查找模型对应的多个所述基础颜色映射关系进行调整,以得到与所述第一衍生模型对应的训练结果;当所述训练结果满足训练结束条件时,根据所述损失计算结果对所述第一优化模型进行训练,以得到目标图像处理模型。
- 根据权利要求2所述的图像处理的模型训练方法,其特征在于,所述权重模型包括按照次序连接的一个图片尺寸固定层、多个采样层以及一个输出层,其中,所述图片尺寸固定层用于固定所述图片训练样本的尺寸,所述采样层用于提取与所述图片训练样本对应的所述图片特征,所述输出层用于根据所述图片特征,确定与所述第一衍生模型中的所述多个基础查找模型分别对应的所述权重值。
- 根据权利要求2所述的图像处理的模型训练方法,其特征在于,所述三维颜色查找模型包括组合模型,所述组合模型包括两个第一优化模型;其中,所述组合模型中的一个所述第一优化模型的组合关系为线性组合关系,所述组合模型中的另一个所述第一优化模型的组合关系为乘积组合关系。
- 根据权利要求1所述的图像处理的模型训练方法,其特征在于,所述三维颜色查找模型包括第二优化模型,所述第二优化模型包括多个第二衍生模型和一个基础查找模型的组合;所述将所述图片训练样本输入三维颜色查找模型得到模型预测图片,包括:将所述图片训练样本输入至多个所述第二衍生模型,以提取与所述图片训练样本对应的图片特征;根据所述图片特征,确定所述图片训练样本中的所述像素颜色值与所述目标像素颜色值之间的第二衍生颜色映射关系;基于与多个所述第二衍生模型和所述基础查找模型的组合对应的组合关系、与多个所述第二衍生模型对应的多个第二衍生颜色映射关系以及与所述基础查找模型对应的基础颜色映射关系,确定与所述第二优化模型对应的第二优化颜色映射关系;根据所述第二优化颜色映射关系,确定与所述图片训练样本对应的模型预测图片。
- 根据权利要求7所述的图像处理的模型训练方法,其特征在于,所述三维颜色查找模型包括组合模型,所述组合模型包括两个第二优化模型;其中,所述组合模型中的一个所述第二优化模型具有线性组合关系,所述组合模型中的另一个所述第二优化模型具有乘积组合关系。
- 根据权利要求7所述的图像处理的模型训练方法,其特征在于,所述组合模型包括一个第一优化模型和一个所述第二优化模型的组合;所述第一优化模型包括一个所述基础查找模型和第一衍生模型,所述第一衍生模型包括权重模型以及多个所述基础查找模型;所述方法还包括:若所述第一优化模型为一个所述基础查找模型和所述第一衍生模型的线性组合模型,则所述第二优化模型为一个所述基础查找模型和多个所述第二衍生模型的乘积组合模型;若所述第一优化模型为一个所述基础查找模型和所述第一衍生模型的乘积组合模型,则所述第二优化模型为一个所述基础查找模型和多个所述第二衍生模型的线性组合模型。
- 根据权利要求7所述的图像处理的模型训练方法,其特征在于,所述第二优化模型中的所述一个基础查找模型和多个所述第二衍生模型之间存在线性组合关系;所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型,包括:若所述第二优化模型中的一个所述基础查找模型和多个所述第二衍生模型之间存在所述线性组合关系,根据所述损失计算结果,对所述第二衍生颜色映射关系进行调整得到目标图像处理模型。
- 根据权利要求7所述的图像处理的模型训练方法,其特征在于,所述第二优化模型中的所述一个基础查找模型和所述第二衍生模型之间存在乘积组合关系;所述根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型,包括:若所述第二优化模型中的一个所述基础查找模型和所述第二优化模型之间存在所述乘积组合关系,根据所述损失计算结果,对所述第二衍生颜色映射关系进行调整,以得到与第二衍生模型对应的训练结果;若所述训练结果满足训练结束条件,根据所述损失计算结果对所述第二优化模型进行训练,以得到目标图像处理模型。
- 根据权利要求7所述的图像处理的模型训练方法,其特征在于,所述第二衍生模型包括按照次序连接的一个图片尺寸固定层、矩阵转换层、多个采样层以及一个输出层,其中,所述图片尺寸固定层用于固定所述图片训练样本的尺寸,所述矩阵转换层用于对所述图片尺寸固定层输出的矩阵进行转换,所述采样层用于提取与所述图片训练样本对应的所述图片特征,所述输出层用于输出与所述图片特征对应的所述第二衍生颜色映射关系。
- 根据权利要求6、8、9中任一项所述的图像处理的模型训练方法,其特征在于,所述三维颜色查找模型包括一个或多个第三优化模型,所述第三优化模型为所述基础查找模型、所述第一优化模型、所述第二优化模型以及所述组合模型中的任意一种;所述第一优化模型包括一个所述基础查找模型和第一衍生模型的组合,所述第一衍生模型包括权重模型以及多个所述基础查找模型,所述第二优化模型包括多个第二衍生模型和一个所述基础查找模型的组合;所述将所述图片训练样本输入三维颜色查找模型得到模型预测图片,包括:获取多个下采样倍率,并按照多个所述下采样倍率对所述图片训练样本进行采样,以得到多个下采样结果;其中,所述下采样倍率包括整数倍率;根据图片处理需求确定上采样倍率,并按照所述上采样倍率对所述图片训练样本进行采样,以得到上采样结果;其中,所述上采样倍率包括小数倍率;将所述下采样结果输入至一个所述第三优化模型或多个所述第三优化模型中,以得到与所述下采样结果对应的第一模型输出结果;将所述上采样结果输入至一个所述第三优化模型或多个所述第三优化模型中,以得到与所述上采样结果对应的第二模型输出结果;比较所述上采样倍率的大小得到第一倍率比较结果,并比较所述下采样倍率的大小得到第二倍率比较结果;基于所述第一倍率比较结果和所述第二倍率比较结果,确定所述第一模型输出结果与所述第二模型输出结果之间的输入输出关系,以基于所述输入输出关系,得到模型预测图片。
- 根据权利要求13中所述的图像处理的模型训练方法,其特征在于,所述方法还包括:将所述图片训练样本输入至待学习模型中,以得到与所述图片训练样本对应的真值图片;其中,所述待学习模型包括所述基础查找模型、所述第一优化模型、所述第二优化模型、所述第三优化模型以及开源模型中的任意一种;将所述图片训练样本输入至目标优化模型中,以得到所述模型预测图片;其中,所述目标优化模型包括所述基础查找模型、所述第一优化模型、所述第二优化模型以及所述组合模型中的任意一种;对所述模型预测图片和所述真值图片进行损失计算,以根据损失计算结果, 调整所述目标优化模型,以得到具有和所述待学习模型相同功能的所述目标优化模型。
- 根据权利要求1-14中任一项所述的图像处理的模型训练方法,其特征在于,所述三维颜色查找模型包括基础查找模型;所述将所述图片训练样本输入三维颜色查找模型得到模型预测图片,包括:将所述图片训练样本输入至所述基础查找模型;其中,所述基础查找模型用于确定所述图片训练样本中的像素颜色值,并确定与所述像素颜色值存在基础颜色映射关系的目标像素颜色值;确定与所述目标像素颜色值对应的目标像素,并将由所述目标像素组成的图片作为模型预测图片。
- 一种图像处理的模型训练装置,其特征在于,包括:获取模块,被配置为获取图片训练样本,并获取与所述图片训练样本对应的真值图片;损失计算模块,被配置为将所述图片训练样本输入三维颜色查找模型得到模型预测图片,并对所述模型预测图片和所述真值图片进行损失计算得到损失计算结果;调整模块,被配置为根据所述损失计算结果对所述三维颜色查找模型进行调整得到目标图像处理模型;其中,所述目标图像处理模型用于对待处理图像进行图像处理,以得到与所述待处理图像对应的图像处理结果。
- 一种电子设备,其特征在于,包括:处理器;存储器,用于存储所述处理器的可执行指令;其中,所述处理器被配置为经由执行所述可执行指令来执行权利要求1-15中的任意一项所述的图像处理的模型训练方法。
- 一种计算机非瞬态可读存储介质,其上存储计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-14中的任意一项所述的图像处理的模型训练方法。
- 一种图像处理方法,其特征在于,包括:获取待处理图像和图像处理需求;将所述待处理图片和图像处理需求输入到如权利要求1-15任一所述目标图像处理模型中,以得到图像处理结果。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/138923 WO2023108568A1 (zh) | 2021-12-16 | 2021-12-16 | 图像处理的模型训练方法及装置、存储介质、电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116762101A true CN116762101A (zh) | 2023-09-15 |
Family
ID=86775083
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180003991.7A Pending CN116762101A (zh) | 2021-12-16 | 2021-12-16 | 图像处理模型的训练方法及装置、存储介质、电子设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116762101A (zh) |
WO (1) | WO2023108568A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016115220A1 (en) * | 2015-01-14 | 2016-07-21 | Entertainment Experience Llc | Methods and devices for analysis of digital color images and methods of applying color image analysis |
CN112562019A (zh) * | 2020-12-24 | 2021-03-26 | Oppo广东移动通信有限公司 | 图像色彩调整方法及装置、计算机可读介质和电子设备 |
CN113066017B (zh) * | 2021-02-27 | 2023-03-10 | 华为技术有限公司 | 一种图像增强方法、模型训练方法及设备 |
-
2021
- 2021-12-16 WO PCT/CN2021/138923 patent/WO2023108568A1/zh active Application Filing
- 2021-12-16 CN CN202180003991.7A patent/CN116762101A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2023108568A1 (zh) | 2023-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108335306B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN106204474B (zh) | 局部多等级色调映射运算器 | |
US10127634B2 (en) | Image editing and repair | |
CN110855958B (zh) | 图像调节方法及装置、电子设备、存储介质 | |
CN113421312B (zh) | 一种对黑白视频的着色方法、装置、存储介质及终端 | |
US20220261961A1 (en) | Method and device, electronic equipment, and storage medium | |
US11922598B2 (en) | Image processing apparatus, image processing method, and storage medium | |
CN108921801B (zh) | 用于生成图像的方法和装置 | |
CN113962859A (zh) | 一种全景图生成方法、装置、设备及介质 | |
CN110717405B (zh) | 人脸特征点定位方法、装置、介质及电子设备 | |
JP5254030B2 (ja) | ディジタル処理手段にデータを提供する方法 | |
WO2021258530A1 (zh) | 图像分辨率处理方法、装置、设备及可读存储介质 | |
Cimtay | Smart and real-time image dehazing on mobile devices | |
US20240013354A1 (en) | Deep SDR-HDR Conversion | |
US10123052B2 (en) | Elimination of artifacts from lossy encoding of digital images by color channel expansion | |
CN113487524A (zh) | 图像格式转换方法、装置、设备、存储介质及程序产品 | |
CN116762101A (zh) | 图像处理模型的训练方法及装置、存储介质、电子设备 | |
CN115205157B (zh) | 图像处理方法和系统、电子设备和存储介质 | |
CN116403142A (zh) | 视频处理方法、装置、电子设备及介质 | |
CN112927200B (zh) | 本征图像分解方法、装置、可读存储介质及电子设备 | |
CN116823700A (zh) | 一种图像质量的确定方法和装置 | |
CN111383171B (zh) | 一种图片处理方法、系统及终端设备 | |
CN113628292B (zh) | 一种在目标终端中预览图片的方法及设备 | |
CN110855882A (zh) | 拍摄处理方法及装置、存储介质和电子设备 | |
CN110717950A (zh) | 用于医学影像的阅片方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |