CN115412712B - 多光源场景下的白平衡方法、装置及可读存储介质 - Google Patents

多光源场景下的白平衡方法、装置及可读存储介质 Download PDF

Info

Publication number
CN115412712B
CN115412712B CN202211365339.2A CN202211365339A CN115412712B CN 115412712 B CN115412712 B CN 115412712B CN 202211365339 A CN202211365339 A CN 202211365339A CN 115412712 B CN115412712 B CN 115412712B
Authority
CN
China
Prior art keywords
training sample
white balance
under different
different color
linear rgb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211365339.2A
Other languages
English (en)
Other versions
CN115412712A (zh
Inventor
何扬东
张乐
杨作兴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen MicroBT Electronics Technology Co Ltd
Original Assignee
Shenzhen MicroBT Electronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen MicroBT Electronics Technology Co Ltd filed Critical Shenzhen MicroBT Electronics Technology Co Ltd
Priority to CN202211365339.2A priority Critical patent/CN115412712B/zh
Publication of CN115412712A publication Critical patent/CN115412712A/zh
Application granted granted Critical
Publication of CN115412712B publication Critical patent/CN115412712B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明实施例提出多光源场景下的白平衡方法、装置及可读存储介质。方法包括：对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重；根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。本发明实施例实现了多光源场景下的白平衡处理。

Description

多光源场景下的白平衡方法、装置及可读存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及多光源场景下的白平衡方法、装置及可读存储介质。
背景技术
目前的AWB（Automatic White Balance，自动白平衡）算法认为整幅图像处于一个统一的光源环境下，算法只给出一组图像R、G、B通道增益值，并统一作用在所有像素上。而真实环境中往往存在多种不同光源，例如夜间场景，当不同光源之间色温差异很大时，对整幅图像应用统一的白平衡系数校正难以准确还原所有区域的颜色。
发明内容
本发明实施例提出多光源场景下的白平衡方法、装置及可读存储介质，以实现多光源场景下的白平衡处理。
本发明实施例的技术方案是这样实现的：
一种多光源场景下的白平衡方法，该方法包括：
对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；
将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重；
根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
所述色温权重计算模型通过如下过程得到：
A1、获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
B1、对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；
C1、依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；
D1、根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；
E1、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；
F1、根据损失函数调整色温权重计算神经网络；
G1、重复C1至F1，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
所述对采集的第一线性RGB图像进行不同色温下的白平衡处理，包括：
采用预设的自动白平衡算法，计算第一线性RGB图像在不同色温下的颜色校正图像。
所述对采集的第一线性RGB图像进行不同色温下的白平衡处理，包括：
将第一线性RGB图像输入白平衡参数计算模型，得到第一线性RGB图像在不同色温下的白平衡参数；
根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像分别进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像。
所述白平衡参数计算模型通过如下过程得到：
A2、获取包含多个训练样本的第二训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取每个训练样本在不同色温下的目标白平衡参数；
B2、依次选择一个训练样本，将选择的训练样本输入白平衡参数计算神经网络进行计算，得到该训练样本在不同色温下的输出白平衡参数；
C2、根据该训练样本在不同色温下的输出白平衡参数与该训练样本在不同色温下的目标白平衡参数，计算损失函数；
D2、采用损失函数调整白平衡参数计算神经网络；
E2、重复执行B2至D2，直至白平衡参数计算神经网络收敛，将收敛的白平衡参数计算神经网络作为白平衡参数计算模型。
所述将第一线性RGB图像输入色温权重计算模型进行计算之前，进一步包括：
对第一线性RGB图像进行下采样，得到第二线性RGB图像；
且，所述将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重，包括：
将第二线性RGB图像输入色温权重计算模型进行计算，得到第二线性RGB图像的每个像素在不同色温下的权重；
且，所述得到第一线性RGB图像的每个像素在不同色温下的权重之后、对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和之前，进一步包括：
对第二线性RGB图像的每个像素在不同色温下的权重进行插值，得到第一线性RGB图像的每个像素在不同色温下的权重。
所述不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
一种多光源场景下的色温权重计算模型建立方法，该方法包括：
A1、获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
B1、对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；
C1、依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；
D1、根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；
E1、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；
F1、根据损失函数调整色温权重计算神经网络；
G1、重复C1至F1，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
步骤C1所述依次选择一个训练样本之后、将选择的训练样本输入待训练的色温权重计算神经网络进行计算之前，进一步包括：
对选择的训练样本进行下采样；
所述将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的权重，包括：
将下采样后的训练样本输入待训练的色温权重计算神经网络进行计算，得到该下采样后的训练样本的每个像素在不同色温下的权重；
且，步骤C1与步骤D1之间，进一步包括：
对该下采样后的训练样本的每个像素在不同色温下的输出权重进行插值，得到所述选择的训练样本的每个像素在不同色温下的输出权重。
所述不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
一种多光源场景下的白平衡方法，该方法包括：
将采集的第一线性RGB图像输入白平衡参数及色温权重计算模型进行计算，其中：
第一线性RGB图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性RGB图像的特征向量；然后，第一线性RGB图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性RGB图像在不同色温下的白平衡参数和第一线性RGB图像的每个像素在不同色温下的权重；
根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；
根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
所述白平衡参数及色温权重计算模型通过如下过程得到：
A3、获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
B3、依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：
该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量；然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；
C3、根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；
D3、根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；
E3、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；
F3、根据损失函数调整白平衡参数及色温权重计算神经网络；
G3、重复B3至F3，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
所述不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
一种多光源场景下的白平衡参数及色温权重计算模型建立方法，该方法包括：
A3、获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
B3、依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：
该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量；然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；
C3、根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；
D3、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；
E3、根据损失函数调整白平衡参数及色温权重计算神经网络；
F3、重复B3至E3，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
所述不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
一种多光源场景下的白平衡装置，该装置包括：
白平衡处理模块，用于对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；
色温权重计算模块，用于将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重；
加权模块，用于根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
一种多光源场景下的色温权重计算模型建立装置，该装置包括：
训练准备模块，用于获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；
训练模块，用于依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整色温权重计算神经网络，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
一种多光源场景下的白平衡装置，该装置包括：
白平衡参数及色温权重计算模块，用于将采集的第一线性RGB图像输入白平衡参数及色温权重计算模型进行计算，其中：第一线性RGB图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性RGB图像的特征向量；然后，第一线性RGB图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性RGB图像在不同色温下的白平衡参数和第一线性RGB图像的每个像素在不同色温下的权重；
白平衡处理模块，用于根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；
加权模块，用于根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
一种多光源场景下的白平衡参数及色温权重计算模型建立装置，该装置包括：
训练准备模块，用于获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
训练模块，用于依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量，然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整白平衡参数及色温权重计算神经网络，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上任一项所述的多光源场景下的白平衡方法的步骤，或者执行如上任一所述的多光源场景下的色温权重计算模型建立方法的步骤，或者执行如上任一所述的多光源场景下的白平衡参数及色温权重计算模型建立方法的步骤。
本发明实施例中，先对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像，然后再将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重，最后根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像，从而针对第一线性RGB图像上不同区域对应的不同光源进行了不同的白平衡处理，实现了多光源场景下的白平衡处理，提高了颜色校正质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一实施例提供的多光源场景下的白平衡方法流程图；
图2为本发明实施例提供的多光源场景下的色温权重计算模型建立方法流程图；
图3为本发明实施例提供的多光源场景下的白平衡参数计算模型建立方法流程图；
图4为本发明另一实施例提供的多光源场景下的白平衡方法流程图；
图5为本发明实施例提供的多光源场景下的白平衡参数及色温权重计算模型建立方法流程图；
图6为本发明一实施例提供的多光源场景下的白平衡装置的结构示意图；
图7为本发明实施例提供的多光源场景下的色温权重计算模型建立装置的结构示意图；
图8为本发明另一实施例提供的多光源场景下的白平衡装置的结构示意图；
图9为本发明实施例提供的多光源场景下的白平衡参数及色温权重计算模型建立装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其他步骤或单元。
下面以具体实施例对本发明的技术方案进行详细说明。下面几个具体实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
图1为本发明一实施例提供的多光源场景下的白平衡方法流程图，其具体步骤如下：
步骤101：对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像。
步骤102：将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重。
例如：有M（M为大于1的整数）种色温，则第一线性RGB图像的每个像素分别有M个权重，每个权重对应一种色温。
步骤103：根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
例如：有M（M为大于1的整数）种色温，对于第一线性RGB图像的任一像素i，其在每种色温下的权重分别为a i,1、a i,2、a i,3、...、a i,M ，则像素i最终的颜色校正值为：
R i '= R i,1 ·a i,1 +R i,2 ·a i,2 +R i,3 ·a i,3+...+ R i,M ·a i,M
G i '= G i,1 ·a i,1 +G i,2 ·a i,2 +G i,3 ·a i,3+...+ G i,M ·a i,M
B i '= B i,1 ·a i,1 +B i,2 ·a i,2 +B i,3 ·a i,3+...+ B i,M ·a i,M
其中，R i '、G i '、B i '为像素i的最终的颜色校正R、G、B值，R i,m 、G i,m 、B i,m 为像素i在第m种色温下的颜色校正图像中的R、G、B值，m为整数且1≤m≤M。
上述实施例中，先对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像，然后再将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重，最后根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像，从而针对第一线性RGB图像上不同区域对应的不同光源进行了不同的白平衡处理，实现了多光源场景下的白平衡处理，提高了颜色校正质量。
一可选实施例中，步骤102中，将第一线性RGB图像输入色温权重计算模型进行计算之前，进一步包括：对第一线性RGB图像进行下采样，得到第二线性RGB图像；
且，步骤102具体包括：将第二线性RGB图像输入色温权重计算模型进行计算，得到第二线性RGB图像的每个像素在不同色温下的权重；
且，步骤102之后、步骤103之前，进一步包括：对第二线性RGB图像的每个像素在不同色温下的权重进行插值，得到第一线性RGB图像的每个像素在不同色温下的权重。例如：设第二线性RGB图像的分辨率为A*B，第一线性RGB图像的分辨率为C*D（A、B、C、D都为大于1的整数），则，对于每一色温，第二线性RGB图像的每个像素在该色温下具有一个权重，则共有A*B个权重，对该A*B个权重进行插值计算，最终得到C*D个权重，该C*D个权重即为第一线性RGB图像的C*D个像素在该色温下的权重。
下采样的采样率可根据实际需求设定，插值方法可采用双线性插值法等。
图2为本发明实施例提供的多光源场景下的色温权重计算模型建立方法流程图，其具体步骤如下：
步骤201：获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，目标图像集包含每个训练样本最终的颜色校正目标图像。
其中，每个训练样本最终的颜色校正目标图像是根据该训练样本的不同区域对应的不同光源的色温进行白平衡处理后得到的。
步骤202：对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像。
步骤203：依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重。
步骤204：根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像。
步骤205：根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数。
损失函数可采用L2损失函数。
步骤206：根据损失函数调整色温权重计算神经网络。
步骤207：重复步骤203至206，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
一可选实施例中，步骤203中，依次选择一个训练样本之后、将选择的训练样本输入待训练的色温权重计算神经网络进行计算之前，进一步包括：对选择的训练样本进行下采样；
且，步骤203中，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的权重，包括：将下采样后的训练样本输入待训练的色温权重计算神经网络进行计算，得到该下采样后的训练样本的每个像素在不同色温下的权重；
且，步骤203与步骤204之间，进一步包括：对该下采样后的训练样本的每个像素在不同色温下的输出权重进行插值，得到步骤203选择的训练样本的每个像素在不同色温下的输出权重。
一可选实施例中，步骤101中，对采集的第一线性RGB图像进行不同色温下的白平衡处理，包括：采用预设的AWB算法，计算第一线性RGB图像在不同色温下的白平衡图像。
一可选实施例中，步骤202中，对每个训练样本分别进行不同色温下的白平衡处理，包括：采用预设的AWB算法，计算每个训练样本在不同色温下的白平衡图像。
一可选实施例中，步骤101中，对采集的第一线性RGB图像进行不同色温下的白平衡处理，包括：将第一线性RGB图像输入白平衡参数计算模型，得到第一线性RGB图像在不同色温下的白平衡参数；根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像分别进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像。
一可选实施例中，步骤202中，对每个训练样本分别进行不同色温下的白平衡处理，包括：将当前训练样本输入白平衡参数计算模型，得到当前训练样本在不同色温下的白平衡参数；根据当前训练样本在不同色温下的白平衡参数，对当前训练样本分别进行不同色温下的白平衡处理，得到当前训练样本在不同色温下的颜色校正图像。
在不同色温下的白平衡参数如：在不同色温下的R、G、B通道的增益，此时，例如：对第一线性RGB图像分别进行不同色温下的白平衡处理即，在任一色温下，将第一线性RGB图像的每个像素的R、G、B值分别乘以该色温下的R、G、B通道的增益，得到第一线性RGB图像的每个像素在该色温下的颜色校正R、G、B值。
图3为本发明实施例提供的多光源场景下的白平衡参数计算模型建立方法流程图，其具体步骤如下：
步骤301：获取包含多个训练样本的第二训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取每个训练样本在不同色温下的目标白平衡参数。
白平衡参数如：R、G、B通道的增益。
步骤302：依次选择一个训练样本，将选择的训练样本输入白平衡参数计算神经网络进行计算，得到该训练样本在不同色温下的输出白平衡参数。
步骤303：根据该训练样本在不同色温下的输出白平衡参数与该训练样本在不同色温下的目标白平衡参数，计算损失函数。
步骤304：采用损失函数调整白平衡参数计算神经网络。
步骤305：重复执行步骤302至304，直至白平衡参数计算神经网络收敛，将收敛的白平衡参数计算神经网络作为白平衡参数计算模型。
图4为本发明另一实施例提供的多光源场景下的白平衡方法流程图，其具体步骤如下：
步骤401：将采集的第一线性RGB图像输入白平衡参数及色温权重计算模型进行计算，其中：
第一线性RGB图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性RGB图像的特征向量；然后，第一线性RGB图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性RGB图像在不同色温下的白平衡参数和第一线性RGB图像的每个像素在不同色温下的权重。
步骤402：根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像。
步骤403：根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
图5为本发明实施例提供的多光源场景下的白平衡参数及色温权重计算模型建立方法流程图，其具体步骤如下：
步骤501：获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，目标图像集包含每个训练样本最终的颜色校正目标图像。
步骤502：依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：
该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量；然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重。
步骤503：根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像。
步骤504：根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像。
步骤505：根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数。
步骤506：根据损失函数调整白平衡参数及色温权重计算神经网络。
步骤507：重复步骤502至506，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
一可选实施例中，本发明各实施例提到的不同色温可包括多种跨度较大的典型色温，例如：包括如下色温中的任意多种：2300K、3800K、5500K、6500K、7500K。
图6为本发明一实施例提供的多光源场景下的白平衡装置60的结构示意图，该装置主要包括：
白平衡处理模块61，用于对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像。
色温权重计算模块62，用于将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重。
加权模块63，用于根据色温权重计算模块62得到的第一线性RGB图像的每个像素在不同色温下的权重，对白平衡处理模块61得到的第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
一可选实施例中，上述装置60进一步包括：色温权重计算模型建立模块64，用于获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整色温权重计算神经网络，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
一可选实施例中，白平衡处理模块61对采集的第一线性RGB图像进行不同色温下的白平衡处理，包括：采用预设的自动白平衡算法，计算第一线性RGB图像在不同色温下的颜色校正图像。
一可选实施例中，白平衡处理模块61对采集的第一线性RGB图像进行不同色温下的白平衡处理，包括：将第一线性RGB图像输入白平衡参数计算模型，得到第一线性RGB图像在不同色温下的白平衡参数；根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像分别进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像。
一可选实施例中，上述装置60进一步包括：白平衡参数计算模型建立模块65，用于获取包含多个训练样本的第二训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取每个训练样本在不同色温下的目标白平衡参数；依次选择一个训练样本，将选择的训练样本输入白平衡参数计算神经网络进行计算，得到该训练样本在不同色温下的输出白平衡参数；根据该训练样本在不同色温下的输出白平衡参数与该训练样本在不同色温下的目标白平衡参数，计算损失函数；采用损失函数调整白平衡参数计算神经网络，直至白平衡参数计算神经网络收敛，将收敛的白平衡参数计算神经网络作为白平衡参数计算模型。
一可选实施例中，色温权重计算模块62将第一线性RGB图像输入色温权重计算模型进行计算之前，进一步包括：对第一线性RGB图像进行下采样，得到第二线性RGB图像；
且，色温权重计算模块62将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重，包括：将第二线性RGB图像输入色温权重计算模型进行计算，得到第二线性RGB图像的每个像素在不同色温下的权重；
且，色温权重计算模块62得到第一线性RGB图像的每个像素在不同色温下的权重之后，进一步包括：对第二线性RGB图像的每个像素在不同色温下的权重进行插值，得到第一线性RGB图像的每个像素在不同色温下的权重。
一可选实施例中，上述装置60的各模块涉及的不同色温包括如下色温中的任意多种：2300K、3800K、5500K、6500K、7500K。
图7为本发明实施例提供的多光源场景下的色温权重计算模型建立装置70的结构示意图，该装置主要包括：
训练准备模块71，用于获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像。
训练模块72，用于在训练准备模块71获取的第一训练样本集中依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和训练准备模块71获取的该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整色温权重计算神经网络，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
一可选实施例中，训练模块72依次选择一个训练样本之后、将选择的训练样本输入待训练的色温权重计算神经网络进行计算之前，进一步包括：对选择的训练样本进行下采样；
且，训练模块72将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的权重，包括：将下采样后的训练样本输入待训练的色温权重计算神经网络进行计算，得到该下采样后的训练样本的每个像素在不同色温下的权重；
且，训练模块72得到该训练样本的每个像素在不同色温下的输出权重之后、对该训练样本在不同色温下的颜色校正图像进行加权求和之前，进一步包括：对该下采样后的训练样本的每个像素在不同色温下的输出权重进行插值，得到所述选择的训练样本的每个像素在不同色温下的输出权重。
一可选实施例中，训练准备模块71和训练模块72中的不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
图8为本发明另一实施例提供的多光源场景下的白平衡装置80的结构示意图，该装置主要包括：
白平衡参数及色温权重计算模块81，用于将采集的第一线性RGB图像输入白平衡参数及色温权重计算模型进行计算，其中：第一线性RGB图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性RGB图像的特征向量；然后，第一线性RGB图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性RGB图像在不同色温下的白平衡参数和第一线性RGB图像的每个像素在不同色温下的权重。
白平衡处理模块82，用于根据白平衡参数及色温权重计算模块81得到的第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像。
加权模块83，用于根据白平衡参数及色温权重计算模块81得到的第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
一可选实施例中，上述装置80进一步包括：白平衡参数及色温权重计算模型建立模块84，用于获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量，然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整白平衡参数及色温权重计算神经网络，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
一可选实施例中，上述装置80的各模块中的不同色温包括如下色温中的任意多种：2300K、3800K、5500K、6500K、7500K。
图9为本发明实施例提供的多光源场景下的白平衡参数及色温权重计算模型建立装置90的结构示意图，该装置主要包括：
训练准备模块91，用于获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像。
训练模块92，用于在训练准备模块91获取的第三训练样本集中依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量，然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和训练准备模块91获取的该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整白平衡参数及色温权重计算神经网络，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
一可选实施例中，训练准备模块91和训练模块92中的不同色温包括如下色温中的任意多种：2300K、3800K、5500K、6500K、7500K。
本发明实施例还提供一种非瞬时计算机可读存储介质，非瞬时计算机可读存储介质存储指令，指令在由处理器执行时使得处理器执行本发明任一实施例所述的多光源场景下的白平衡方法的步骤，或者执行本发明任一实施例所述的多光源场景下的色温权重计算模型建立方法的步骤，或者执行本发明任一实施例所述的多光源场景下的白平衡方法的步骤，或者执行本发明任一实施例所述的多光源场景下的白平衡参数及色温权重计算模型建立方法的步骤。
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本申请中。特别地，在不脱离本申请精神和教导的情况下，本申请的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，所有这些组合和/或结合均落入本申请公开的范围。
本文中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思路，并不用于限制本申请。对于本领域的技术人员来说，可以依据本发明的思路、精神和原则，在具体实施方式及应用范围上进行改变，其所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (19)

1.一种多光源场景下的白平衡方法，其特征在于，该方法包括：
对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；
将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重；
根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像；
所述色温权重计算模型通过如下过程得到：
A1、获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
B1、对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；
C1、依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；
D1、根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；
E1、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；
F1、根据损失函数调整色温权重计算神经网络；
G1、重复C1至F1，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
2.根据权利要求1所述的方法，其特征在于，所述对采集的第一线性RGB图像进行不同色温下的白平衡处理，包括：
采用预设的自动白平衡算法，计算第一线性RGB图像在不同色温下的颜色校正图像。
3.根据权利要求1所述的方法，其特征在于，所述对采集的第一线性RGB图像进行不同色温下的白平衡处理，包括：
将第一线性RGB图像输入白平衡参数计算模型，得到第一线性RGB图像在不同色温下的白平衡参数；
根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像分别进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像。
4.根据权利要求3所述的方法，其特征在于，所述白平衡参数计算模型通过如下过程得到：
A2、获取包含多个训练样本的第二训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取每个训练样本在不同色温下的目标白平衡参数；
B2、依次选择一个训练样本，将选择的训练样本输入白平衡参数计算神经网络进行计算，得到该训练样本在不同色温下的输出白平衡参数；
C2、根据该训练样本在不同色温下的输出白平衡参数与该训练样本在不同色温下的目标白平衡参数，计算损失函数；
D2、采用损失函数调整白平衡参数计算神经网络；
E2、重复执行B2至D2，直至白平衡参数计算神经网络收敛，将收敛的白平衡参数计算神经网络作为白平衡参数计算模型。
5.根据权利要求1所述的方法，其特征在于，所述将第一线性RGB图像输入色温权重计算模型进行计算之前，进一步包括：
对第一线性RGB图像进行下采样，得到第二线性RGB图像；
且，所述将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重，包括：
将第二线性RGB图像输入色温权重计算模型进行计算，得到第二线性RGB图像的每个像素在不同色温下的权重；
且，所述得到第一线性RGB图像的每个像素在不同色温下的权重之后、对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和之前，进一步包括：
对第二线性RGB图像的每个像素在不同色温下的权重进行插值，得到第一线性RGB图像的每个像素在不同色温下的权重。
6.根据权利要求1至5任一所述的方法，其特征在于，所述不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
7.一种多光源场景下的色温权重计算模型建立方法，其特征在于，该方法包括：
A1、获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
B1、对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；
C1、依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；
D1、根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；
E1、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；
F1、根据损失函数调整色温权重计算神经网络；
G1、重复C1至F1，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
8.根据权利要求7所述的方法，其特征在于，步骤C1所述依次选择一个训练样本之后、将选择的训练样本输入待训练的色温权重计算神经网络进行计算之前，进一步包括：
对选择的训练样本进行下采样；
所述将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的权重，包括：
将下采样后的训练样本输入待训练的色温权重计算神经网络进行计算，得到该下采样后的训练样本的每个像素在不同色温下的权重；
且，步骤C1与步骤D1之间，进一步包括：
对该下采样后的训练样本的每个像素在不同色温下的输出权重进行插值，得到所述选择的训练样本的每个像素在不同色温下的输出权重。
9.根据权利要求7或8所述的方法，其特征在于，所述不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
10.一种多光源场景下的白平衡方法，其特征在于，该方法包括：
将采集的第一线性RGB图像输入白平衡参数及色温权重计算模型进行计算，其中：
第一线性RGB图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性RGB图像的特征向量；然后，第一线性RGB图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性RGB图像在不同色温下的白平衡参数和第一线性RGB图像的每个像素在不同色温下的权重；
根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；
根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
11.根据权利要求10所述的方法，其特征在于，所述白平衡参数及色温权重计算模型通过如下过程得到：
A3、获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
B3、依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：
该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量；然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；
C3、根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；
D3、根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；
E3、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；
F3、根据损失函数调整白平衡参数及色温权重计算神经网络；
G3、重复B3至F3，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
12.根据权利要求10或11所述的方法，其特征在于，所述不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
13.一种多光源场景下的白平衡参数及色温权重计算模型建立方法，其特征在于，该方法包括：
A3、获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；
且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
B3、依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：
该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量；然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；
C3、根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；
D3、根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；
E3、根据损失函数调整白平衡参数及色温权重计算神经网络；
F3、重复B3至E3，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
14.根据权利要求13所述的方法，其特征在于，所述不同色温包括如下色温中的任意多种：
2300K、3800K、5500K、6500K、7500K。
15.一种多光源场景下的白平衡装置，其特征在于，该装置包括：
白平衡处理模块，用于对采集的第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；
色温权重计算模块，用于将第一线性RGB图像输入色温权重计算模型进行计算，得到第一线性RGB图像的每个像素在不同色温下的权重；
加权模块，用于根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像；
色温权重计算模型建立模块，用于获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整色温权重计算神经网络，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
16.一种多光源场景下的色温权重计算模型建立装置，其特征在于，该装置包括：
训练准备模块，用于获取包含多个训练样本的第一训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；对每个训练样本分别进行不同色温下的白平衡处理，得到每个训练样本在不同色温下的颜色校正图像；
训练模块，用于依次选择一个训练样本，将选择的训练样本输入待训练的色温权重计算神经网络进行计算，得到该训练样本的每个像素在不同色温下的输出权重；根据该训练样本的每个像素在不同色温下的输出权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整色温权重计算神经网络，直至色温权重计算神经网络收敛，将收敛的色温权重计算神经网络作为色温权重计算模型。
17.一种多光源场景下的白平衡装置，其特征在于，该装置包括：
白平衡参数及色温权重计算模块，用于将采集的第一线性RGB图像输入白平衡参数及色温权重计算模型进行计算，其中：第一线性RGB图像先输入该白平衡参数及色温权重计算模型的特征提取层进行计算，得到第一线性RGB图像的特征向量；然后，第一线性RGB图像的特征向量分别输入该白平衡参数及色温权重计算模型的白平衡参数计算层和色温权重计算层进行计算，分别得到第一线性RGB图像在不同色温下的白平衡参数和第一线性RGB图像的每个像素在不同色温下的权重；
白平衡处理模块，用于根据第一线性RGB图像在不同色温下的白平衡参数，对第一线性RGB图像进行不同色温下的白平衡处理，得到第一线性RGB图像在不同色温下的颜色校正图像；
加权模块，用于根据第一线性RGB图像的每个像素在不同色温下的权重，对第一线性RGB图像在不同色温下的颜色校正图像进行加权求和，得到第一线性RGB图像最终的颜色校正图像。
18.一种多光源场景下的白平衡参数及色温权重计算模型建立装置，其特征在于，该装置包括：
训练准备模块，用于获取包含多个训练样本的第三训练样本集，其中，训练样本为多光源场景下的线性RGB图像；且，获取目标图像集，所述目标图像集包含每个训练样本最终的颜色校正目标图像；
训练模块，用于依次选择一个训练样本，将选择的训练样本输入待训练的白平衡参数及色温权重计算神经网络进行计算，其中：该训练样本先输入该白平衡参数及色温权重计算神经网络的特征提取层进行计算，得到该训练样本的特征向量，然后，该训练样本的特征向量分别输入该白平衡参数及色温权重计算神经网络的白平衡参数计算层和色温权重计算层进行计算，分别得到该训练样本在不同色温下的白平衡参数和该训练样本的每个像素在不同色温下的权重；根据该训练样本在不同色温下的白平衡参数，对该训练样本进行不同色温下的白平衡处理，得到该训练样本在不同色温下的颜色校正图像；根据该训练样本的每个像素在不同色温下的权重，对该训练样本在不同色温下的颜色校正图像进行加权求和，得到该训练样本最终的颜色校正输出图像；根据该训练样本最终的颜色校正输出图像和该训练样本最终的颜色校正目标图像，计算损失函数；根据损失函数调整白平衡参数及色温权重计算神经网络，直至白平衡参数及色温权重计算神经网络收敛，将收敛的白平衡参数及色温权重计算神经网络作为白平衡参数及色温权重计算模型。
19.一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，其特征在于，所述指令在由处理器执行时使得所述处理器执行如权利要求1至6中任一项所述的多光源场景下的白平衡方法的步骤，或者执行如权利要求7至9任一所述的多光源场景下的色温权重计算模型建立方法的步骤，或者执行如权利要求10至12任一所述的多光源场景下的白平衡方法的步骤，或者执行如权利要求13至14任一所述的多光源场景下的白平衡参数及色温权重计算模型建立方法的步骤。
CN202211365339.2A 2022-11-03 2022-11-03 多光源场景下的白平衡方法、装置及可读存储介质 Active CN115412712B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211365339.2A CN115412712B (zh) 2022-11-03 2022-11-03 多光源场景下的白平衡方法、装置及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211365339.2A CN115412712B (zh) 2022-11-03 2022-11-03 多光源场景下的白平衡方法、装置及可读存储介质

Publications (2)

Publication Number Publication Date
CN115412712A CN115412712A (zh) 2022-11-29
CN115412712B true CN115412712B (zh) 2023-03-28

Family

ID=84169163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211365339.2A Active CN115412712B (zh) 2022-11-03 2022-11-03 多光源场景下的白平衡方法、装置及可读存储介质

Country Status (1)

Country Link
CN (1) CN115412712B (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013198119A (ja) * 2012-03-22 2013-09-30 Nikon Corp 画像処理装置、画像処理方法およびプログラム
CN106303489B (zh) * 2013-12-06 2018-01-30 青岛海信移动通信技术股份有限公司 一种确定白平衡光源的方法及装置
CN107578390B (zh) * 2017-09-14 2020-08-07 长沙全度影像科技有限公司 一种使用神经网络进行图像白平衡校正的方法及装置
CN107959851B (zh) * 2017-12-25 2019-07-19 Oppo广东移动通信有限公司 色温检测方法及装置、计算机可读存储介质和计算机设备
CN115002437A (zh) * 2021-03-02 2022-09-02 北京小米移动软件有限公司 白平衡处理方法及装置、存储介质
CN113191376A (zh) * 2021-06-15 2021-07-30 北京爱芯科技有限公司 图像处理方法、装置、电子设备和可读存储介质
CN114374830B (zh) * 2022-01-06 2024-03-08 杭州海康威视数字技术股份有限公司 图像白平衡方法、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN115412712A (zh) 2022-11-29

Similar Documents

Publication Publication Date Title
CN108304755B (zh) 用于图像处理的神经网络模型的训练方法和装置
CN111127331B (zh) 基于像素级全局噪声估计编解码网络的图像去噪方法
CN109949221B (zh) 一种图像处理方法及电子设备
WO2020187424A1 (en) Image processor
CN108376387A (zh) 基于聚合膨胀卷积网络的图像去模糊方法
CN103765876A (zh) 图像处理设备以及图像处理方法和程序
CN112581414A (zh) 一种卷积神经网络、图像处理的方法及电子设备
CN111724312A (zh) 一种处理图像的方法及终端
CN115412712B (zh) 多光源场景下的白平衡方法、装置及可读存储介质
JP4635975B2 (ja) 画像処理装置及び画像処理方法
CN112801879B (zh) 图像超分辨率重建方法、装置、电子设备及存储介质
CN106296614B (zh) 图像处理装置及图像处理方法
CN117095217A (zh) 多阶段对比知识蒸馏方法
JP2006140952A (ja) 画像処理装置および画像処理方法
CN112241941A (zh) 获取图像的方法、装置、设备和计算机可读介质
CN113554083A (zh) 多曝光度图像样本的生成方法及装置、计算机设备及介质
CN113808043A (zh) 相机成像方法、装置、介质及设备
CN113674186B (zh) 基于自适应调整因子的图像合成方法、装置
CN110955530A (zh) 深度学习引擎并行处理数据方法、装置、设备及储存介质
Lin et al. Searching lightweight neural network for image signal processing
KR101903428B1 (ko) 연관 이미지간 컬러 보정 시스템 및 보정방법
Li Anisotropic Mesh Representation for Color Images
CN115019022B (zh) 一种基于双深度融合网络的轮廓检测方法
CN113674186A (zh) 基于自适应调整因子的图像合成方法、装置
Min et al. A neural network approach to color constancy (ICCAS 2011)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant