CN117768791B - 一种基于神经网络的跨相机图像白平衡方法和系统 - Google Patents

Abstract

本发明公开了一种基于神经网络的跨相机图像白平衡方法和系统，其中方法包括：获取目标图像；标定目标图像对应的相机的普朗克线近似公式和色温色度关系公式；将目标图像转换为对数色度空间的格式；后转换到跨相机坐标系中，再转换为二维直方图；将二维直方图输入训练好的卷积神经网络中进行处理，输出光源估计色温数据；将光源估计色温数据进行对数色度空间的格式逆转换，计算得到目标图像R通道的白平衡系数与B通道的白平衡系数；将目标图像的R通道、B通道分别乘上对应的白平衡系数；获得白平衡后的目标图像。通过本发明，可以将不同相机拍摄的图片统一到同一坐标系，这使得在该坐标系上训练的神经网络模型可以为不同相机所通用。

Description

一种基于神经网络的跨相机图像白平衡方法和系统

技术领域

本发明涉及图像处理领域，具体而言，涉及一种基于神经网络的跨相机图像白平衡方法和系统。

背景技术

白平衡是数字图像处理中的一个重要步骤，用于调整图像的色温和色调，使其看起来更加自然和真实。基于深度学习的白平衡算法可以利用深度学习模型自动学习图像中的色温和色调信息，并对其进行调整。

现有的基于深度学习的白平衡算法已经有一定的研究和应用成果，但在实际应用中仍存在一些挑战和限制。

其中的一个问题就是，在现有的技术中，面对不同的相机，其光谱灵敏度曲线可能有很大的差异，在一款相机上训练的模型应用在另一个相机上效果会明显变差。而在深度学习算法中，每训练一个模型需要大量的训练数据和计算资源，以达到较好的性能和泛化能力。所以在针对不同的相机时会就需要重新收集大量图像数据并且重新训练，带来了较高的成本，在实际应用时较为复杂。

发明内容

为了解决上述技术问题，本发明提供一种基于神经网络的跨相机图像白平衡方法和系统，通过将不同相机拍摄的图片变换到同一个跨相机坐标系中，实现所述跨相机坐标系上训练的神经网络模型可以对不同相机所拍摄的图像进行白平衡处理。

具体的，本发明的技术方案如下：

第一方面，本发明公开一种基于神经网络的跨相机图像白平衡方法，包括如下步骤：

获取目标图像；标定所述目标图像对应的相机在所述对数色度空间下的普朗克线近似公式和色温色度关系公式；

将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式；

建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，再转换为二维直方图；

将所述二维直方图，输入训练好的卷积神经网络中进行处理，输出光源估计色温数据；

将所述光源估计色温数据进行对数色度空间的格式逆转换，计算得到所述目标图像R通道的白平衡系数与B通道的白平衡系数；

将所述目标图像的R通道、B通道分别乘上对应的所述白平衡系数；获得白平衡后的目标图像。

在一些实施方式中，所述的标定所述目标图像对应的相机在所述对数色度空间下的普朗克线近似公式和色温色度关系公式，包括如下步骤：

获取所述相机在多个不同色温的光源下拍摄的多张灰卡图像，获取每张灰卡图像的RGB数据；

批量处理所述多张灰卡图像，将每个所述灰卡图像RGB数据转换为对数色度空间的格式，得到第一红绿色度、第一黄蓝色度和第一颜色亮度；

将所有的灰卡图像中所述第一红绿色度与所述第一黄蓝色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的普朗克线近似公式；

获取每张所述灰卡图像中所述光源的色温，计算对应所述光源的第一微倒数色温；

将所有的灰卡图像中所述第一微倒数色温与所述第一红绿色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的第一色温色度关系公式；

或，将所有的灰卡图像中所述第一微倒数色温与所述第一黄蓝色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的第二色温色度关系公式。

在一些实施方式中，所述的将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式，包括如下步骤：

将所述目标图像划分为多个像素块，计算每个所述像素块的RGB平均数值；其中，每个所述像素块中至少包含一个像素点；

批量处理每个所述像素块，将所述像素块的RGB数据转换为对数色度空间的格式，得到每个所述像素块的第二红绿色度、第二黄蓝色度和第二颜色亮度。

在一些实施方式中，所述的建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，包括如下步骤：

批量处理每个所述像素块，在所述普朗克线近似公式的坐标系中，计算以所述第二红绿色度为横坐标，以所述第二黄蓝色度为纵坐标的点到所述普朗克线近似公式的垂点坐标及垂线段距离；

将所述垂点的横坐标带入所述第一色温色度关系公式，计算得到第二微倒数色温；

或，将所述垂点的纵坐标带入所述第二色温色度关系公式，计算得到第三微倒数色温；

建立跨相机坐标系；在所述跨相机坐标系中，所述像素块通过以所述第二微倒数色温或所述第三微倒数色温为横坐标，以所述垂线段距离为纵坐标的点来表示。

在一些实施方式中，所述的将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，再转换为二维直方图，包括如下步骤：

通过以下公式将所述跨相机坐标系中的所述目标图像转换为二维直方图：

其中，i为任意一个像素块对应的编号；α为所述数据格的横向长度的1/2；β为所述数据格的纵向长度的1/2；T为任意一个像素块代表的点在所述跨相机坐标系中的横坐标；t为所述数据格的中心位置的横坐标；S为所述任意一个像素块代表的点在所述跨相机坐标系中的纵坐标；s为所述数据格中心位置的纵坐标；Ly为所述任意一个像素块的颜色亮度。

在一些实施方式中，在将所述跨相机坐标系中的所述目标图像转换为二维直方图之后，还包括如下步骤：

通过以下公式对所述二维直方图进行强化，得到强化后的二维直方图：

其中，M(t,s)为强化前的所述二维直方图。

在一些实施方式中，所述的将所述光源估计色温数据进行对数色度空间的格式逆转换，计算得到所述目标图像R通道的白平衡系数与B通道的白平衡系数，包括如下步骤：

将所述光源估计色温数据由二维直方图格式的一个坐标还原到所述跨相机坐标系中；再还原到对数色度空间的格式；

计算其中G/R的值和G/B的值；所述G/R的值为所述目标图像R通道的白平衡系数，所述G/B的值为所述目标图像B通道的白平衡系数。

在一些实施方式中，在将所述二维直方图，输入训练好的卷积神经网络中进行处理之前，还需要对所述卷积神经网络进行训练，包括如下步骤：

获取不同色温光源下，至少一个相机所拍摄的多张训练集图像；

将所述训练集图像转换为二维直方图的格式，并输入所述卷积神经网络进行训练，获得所述训练集图像的光源估计色温数据；

计算所述训练集图像的所述光源估计色温数据与其光源实际色温数据的交叉熵；将所述交叉熵作为所述卷积神经网络的损失函数；直至完成对所述卷积神经网络的训练。

在一些实施方式中，将RGB数据转换为对数色度空间的格式的公式如下：

其中，Lu为红绿色度；Lv为黄蓝色度；Ly为颜色亮度；

所述普朗克线近似公式如下：

Lv＝k×Lu+b；

其中，Lv为黄蓝色度；Lu为红绿色度；k为所述普朗克线近似公式的斜率；b为所述普朗克线近似公式的截距；

所述第一色温色度关系公式如下：

MRD＝c×Lu+d；

其中，Lu为红绿色度；c为所述第一色温色度关系公式的斜率；d为所述第一色温色度关系公式的截距；

所述第二色温色度关系公式如下：

MRD＝c×Lv+d；

其中，Lv为黄蓝色度；c为所述第二色温色度关系公式的斜率；d为所述第二色温色度关系公式的截距。

第二方面本发明还公开一种基于神经网络的跨相机图像白平衡系统，其特征在于，所述系统通过上述任一项实施方式中所述的基于神经网络的跨相机图像白平衡方法，来实现图像白平衡，所述系统包括：

图像获取模块，用于获取目标图像；

相机标定模块，用于标定所述目标图像对应的相机在所述对数色度空间下的普朗克线近似公式和色温色度关系公式；

第一转换模块，用于将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式；

第二转换模块，用于建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中；

第三转换模块，用于将所述跨相机坐标系中的所述目标图像转换为二维直方图；

模型处理模块，用于将所述二维直方图，输入训练好的卷积神经网络中进行处理，输出光源估计色温数据；

逆转换模块，用于将所述光源估计色温数据进行对数色度空间的格式逆转换，计算得到所述目标图像R通道的白平衡系数与B通道的白平衡系数；

后处理模块，用于将所述目标图像的R通道、B通道分别乘上对应的所述白平衡系数；获得白平衡后的目标图像。

与现有技术相比，本发明至少具有以下一项有益效果：

1、主要亮点是提出了一种新的跨相机变换，可以将不同相机拍摄的图片统一到同一个跨相机坐标系中，这使得在该坐标系上训练的神经网络模型可以为不同相机所通用。针对同一个跨相机坐标系，仅需要训练一个神经网络模型，节约了在模型训练过程中的人力，时间与机器资源。

2、在对数色度空间下，标定相机的普朗克线可以在较少的数据条件下较简单的拟合普朗克线公式以及色温色度关系公式。

3、在该跨相机坐标系下，通过神经网络模型处理后再还原的图像的颜色分布更均匀、且该神经网络的输入特征更简单，容易学习。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对本发明的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1为本发明一种基于神经网络的跨相机图像白平衡方法的一个实施例的流程图；

图2为本发明提供的实施例中通过标定点拟合的普朗克线的示意图；

图3为本发明提供的实施例中将目标图像转换到对数色度空间的效果图；

图4为本发明提供的实施例中将对数色度空间格式下的目标图像转换到跨相机坐标系中的效果图；

图5为本发明提供的实施例中将跨相机坐标系中的目标图像转换为二维直方图的效果图；

图6为本发明一种基于神经网络的跨相机图像白平衡系统的一个实施例的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其他情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所述描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其他特征、整体、步骤、操作、元素、组件和/或集合的存在或添加。

为使图面简洁，各图中只示意性地表示出了与发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

还应当进一步理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

另外，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

参考说明书附图1，本发明提供的一种基于神经网络的跨相机图像白平衡方法的一个实施例，包括如下步骤：

S100，获取目标图像。标定所述目标图像对应的相机在所述对数色度空间下的普朗克线近似公式和色温色度关系公式。

具体的，对数色度空间是一种用于描述颜色的色彩空间，它将RGB颜色空间转换为亮度和两个颜色的对数表示，可以更好地表示人类视觉系统对颜色的感知特性。在对数色度空间中，颜色的变化是以对数方式进行的，这意味着相同程度的色差在低亮度颜色和高亮度颜色中具有相同的感知差异。

普朗克曲线描述了黑体在不同温度下辐射出的能量分布情况，它的峰值波长随温度的变化而发生移动。相机的普朗克线通常是指相机的白平衡设置，可以用于色温的计算和描述。色温是指黑体辐射的色彩特性，通常用开尔文(Kelvin，K)作为单位来表示。一般情况下，普朗克线是以曲线形式存在的，而在对数色度空间中，颜色的变化是以对数的方式进行的，因此，而普朗克线在对数坐标系中呈现出的形状是一个斜的直线。

S200，将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式。

具体的，首先将目标图像划分像素块，计算各个像素块内的RGB均值，然后转换到对数色度空间。对数色度空间(Logarithmic color space)是一种表示颜色的方式，它通过对亮度值和色度值取对数，将输入信号转换为新的数值范围。这种色彩空间通常用于数字图像处理和视频处理中，因为它可以更好地表示人眼感知的亮度和颜色信息。具体的就是由得到的R值、G值、B值通过计算获得Lu、Lv、Ly这三个数据，其中Lu表示颜色的红绿色度，Lv表示颜色的黄蓝色度，Ly表示颜色的亮度。

由于对数色度空间中对亮度和色度的取对数处理，因此可以更加准确地描述和比较不同颜色的亮度和饱和度。在对数色度空间中，相同色度距离所对应的颜色差异是相等的，这与人眼对颜色的感知更加一致，因此对数色度空间通常被用作颜色差异的度量和颜色空间变换的基础。

S300，建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，再转换为二维直方图。

具体的，步骤S200的解释中提到，将图片或像素块转换到对数色度空间中会存在两个色度参数，分别为红绿色度和黄蓝色度，通过红绿色度和黄蓝色度中任意一个色度参数都可以与图片色温进行拟合得到色温色度关系公式。所以，可以获得两个色温色度关系公式，本实施例中通过第一色温色度关系公式与第二色温色度关系公式来区分。在目标图像进行格式转换时，我们只知道目标图像的色度与亮度信息，并不知道目标图像的色温信息，所以需要将色度带入对应相机的色温色度关系公式，来计算目标图像的微倒数色温。需要注意的是，这里计算出来的微倒数色温只是一个像素块的微倒数色温值，与目标图像的整体的光源色温值无关，需要估计目标图像的整体的光源色温还需要借助神经网络模型的处理。

而在普朗克线近似公式的坐标系中，如说明书附图3所示，坐标系的横轴为红绿色度Lu，纵轴为黄蓝色度Lv。其中每个像素块在所示坐标系中都表示为一个点，例如点(Lu1，Lv1)。

更优的，所述跨相机坐标系是以像素块的微倒数色温为横轴，以点到普朗克线的垂线段距离为纵轴。参考说明书附图4，在所述跨相机坐标系中，每个像素块都可通过一个点来表示，例如点(MRD1，S1)，这样一来，这个跨相机坐标系中任意点的横纵坐标数据都与对应相机没有直接的关系了，而其他多个相机拍摄的图片都可以转换到同一个坐标系中，针对这个跨相机坐标系。就可以只训练一个神经网络模型，用这个模型对多个相机所拍摄图像进行处理。

S400，将所述二维直方图，输入训练好的卷积神经网络中进行处理，输出光源估计色温数据。

具体的，本实施例中，使用类LeNet(手写数字识别网络)的卷积神经网络进行处理，当然使用其他的神经网络模型也应该在本发明的保护范围之内。LeNet模型是一种较为常见的模型，具体包括依次连接的输入层，第一卷积层，第一池化采样层，第二卷积层，第二池化采样层，2个全连接层和输出层。在处理之前还需要对卷积神经网络进行训练，测试等步骤，在此不过多叙述。使用神经网络模型进行处理的目的在于对输入的二维直方图格式的目标图像的光源色温进行更准确的估计。

S500，将所述光源估计色温数据进行对数色度空间的格式逆转换，计算得到所述目标图像R通道的白平衡系数与B通道的白平衡系数。

具体的，神经网络模型输出的结果与输入模型的二维直方图的格式一致，输出为直方图中的一个坐标，格式逆转换就是将输出的坐标再转换到跨相机坐标系中，之后再转换为对数色度空间的格式。由对数色度空间格式的输出结果中计算出G/R的值和G/B的值。所述G/R的值为所述目标图像R通道的白平衡系数，所述G/B的值为所述目标图像B通道的白平衡系数。

S600，将所述目标图像的R通道、B通道分别乘上对应的所述白平衡系数。获得白平衡后的目标图像。

具体的，调整白平衡通常是调整RGB三个通道的比例，使图像中的白色区域呈现出自然的白色色调。一般情况下，如果图像中的白色区域偏红，就需要增加绿色和蓝色通道的值，减小红色通道的值。如果图像中的白色区域偏绿，就需要增加红色和蓝色通道的值，减小绿色通道的值。如果图像中的白色区域偏蓝，就需要增加红色和绿色通道的值，减小蓝色通道的值。本实施例中，给目标图像的R通道乘上所述R通道的白平衡系数，给B通道乘上所述B通道的白平衡系数，从而调整R、G、B三个通道的比例，实现目标图像白平衡。

本发明一种基于神经网络的跨相机图像白平衡方法的另一个实施例，在上述方法的一个实施例的基础上，所述的S100中，标定所述目标图像对应的相机在所述对数色度空间下的普朗克线近似公式和色温色度关系公式，包括如下步骤：

S110，获取所述相机在多个不同色温的光源下拍摄的多张灰卡图像，获取每张灰卡图像的RGB数据。

具体的，在进行拍摄时，应该保证灰卡或白平衡卡的颜色是中性的，并且在相机和白平衡卡或灰卡之间没有其他色彩干扰，以获得准确的标定结果。

S120，批量处理所述多张灰卡图像，将每个所述灰卡图像RGB数据转换为对数色度空间的格式，得到第一红绿色度、第一黄蓝色度和第一颜色亮度。

具体的，将RGB数据转换为对数色度空间的格式的公式如下：

其中，Lu为红绿色度。Lv为黄蓝色度。Ly为颜色亮度。

S130，将所有的灰卡图像中所述第一红绿色度与所述第一黄蓝色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的普朗克线近似公式。

具体的，参考说明书附图2，在进行普朗克线标定时，每个标定点都代表着一个在指定色温的光源下所拍摄的灰卡图像。图2中仅用少量的点来示意普朗克线的标定过程，在实际的标定中可以标定更多数据，才能达到一个好的标定效果。

S140，获取每张所述灰卡图像中所述光源的色温，计算对应所述光源的第一微倒数色温。

具体的，微倒数色温，也叫微倒度(Micro Reciprocal Degree，缩写为MRD或者Mired)是一种用于描述光源色温的指标，通常用于光谱学和颜色测量中。它是色温倒数的百万分之一，即MRD＝10⁶/T，其中T表示光源的色温，单位为开尔文(Kelvin，K)。微倒数色温可以用来描述光源的颜色特性和色彩偏移情况。通常情况下，光源的色温越高，微倒数色温越低，表示光源发出的辐射波长更短，呈现蓝色调。相反，光源的色温越低，微倒数色温越高，表示光源发出的辐射波长更长，呈现红色调。

S150，将所有的灰卡图像中所述第一微倒数色温与所述第一红绿色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的第一色温色度关系公式。

或，S160，将所有的灰卡图像中所述第一微倒数色温与所述第一黄蓝色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的第二色温色度关系公式。

具体的，步骤S150与S160，可以择一实施，也可以一起实施。具体与后续使用第一色温色度关系公式和第二色温色度关系公式有关。

本发明一种基于神经网络的跨相机图像白平衡方法的另一个实施例，在上述方法的一个实施例的基础上，所述的S200，将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式，包括如下步骤：

S210，将所述目标图像划分为多个像素块，计算每个所述像素块的RGB平均数值。其中，每个所述像素块中至少包含一个像素点。

具体的，将目标图像划分为多少块取决于白平衡的精度，同一张图片划分的像素块数量越多，最终完成白平衡的效果更好，但计算量更大，需要根据实际情况来决定划分区块的多少。

S220，批量处理每个所述像素块，将所述像素块的RGB数据转换为对数色度空间的格式，得到每个所述像素块的第二红绿色度、第二黄蓝色度和第二颜色亮度。

具体的，此步骤中，将像素块的RGB数据转换为对数色度空间的格式，与上述实施例中步骤S100中提及的在标定相机普朗克线的过程中，将相机所摄的灰卡图像转换为对数色度空间的格式，的具体实现过程是一样的，通过以下公式计算：

其中，Lu为红绿色度。Lv为黄蓝色度。Ly为颜色亮度。

本发明一种基于神经网络的跨相机图像白平衡方法的另一个实施例，在上述方法的一个实施例的基础上，所述的步骤S300，建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，包括如下步骤：

S310，批量处理每个所述像素块，在所述普朗克线近似公式的坐标系中，计算以所述第二红绿色度为横坐标，以所述第二黄蓝色度为纵坐标的点到所述普朗克线近似公式的垂点坐标及垂线段距离。

具体的，如说明书附图3所示，图3为本发明提供的实施例中将目标图像转换到对数色度空间的效果图。在普朗克线近似公式的坐标系中，坐标系的横轴为红绿色度Lu，纵轴为黄蓝色度Lv。其中每个像素块在所示坐标系中都表示为一个点，例如：以所述第二红绿色度为横坐标，以所述第二黄蓝色度为纵坐标的点，可表示为点2(Lu2，Lv2)。对于点2(lu2,lv2)，我们先找到它到普朗克直线的垂点3(lu3,lv3)，垂点是点到线的最近点，所述垂线段距离就是点2(lu2,lv2)到垂点3(lu3,lv3)之间的线段距离，也就是点到直线的最近距离L。可用以下公式表示：

S320，将所述垂点的横坐标带入所述第一色温色度关系公式，计算得到第二微倒数色温。

具体的，在普朗克线近似公式的坐标系中，所述垂点的横坐标就是垂点3(lu3,lv3)中的lu3。微倒数色温，也叫微倒度(Micro Reciprocal Degree，缩写为MRD或者Mired)是一种用于描述光源色温的指标，通常用于光谱学和颜色测量中。它是色温倒数的百万分之一，即MRD＝10⁶/T，其中T表示光源的色温，单位为开尔文(Kelvin，K)。所述第一色温色度关系公式是上述实施例中步骤S150中，由第一微倒数色温与第一红绿色度拟合，形成的色温色度关系公式。

S330，建立跨相机坐标系。在所述跨相机坐标系中，所述像素块通过以所述第二微倒数色温为横坐标，以所述垂线段距离为纵坐标的点来表示。

具体的，参考说明书附图4，图4为本发明提供的实施例中将对数色度空间格式下的目标图像转换到跨相机坐标系中的效果图，图4中仅用少量的点来示意，在实际的处理中，每个图像可能划分为多个像素块。

所述跨相机坐标系是以像素块的微倒数色温为横轴，以点到普朗克线的垂线段距离为纵轴。其中，以所述第二微倒数色温为横坐标，以所述垂线段距离为纵坐标的点，可以表示为点(MRD2，S2)。

这样一来，这个跨相机坐标系中任意点的横纵坐标数据都与对应相机没有直接的关系了，而其他多个相机拍摄的图片都可以转换到同一个坐标系中，针对这个跨相机坐标系。就可以只训练一个神经网络模型，用这个模型对多个相机所拍摄图像进行处理。

在本实施例的另一实施方式中，所述的步骤S300，包括如下子步骤：

S310，批量处理每个所述像素块，在所述普朗克线近似公式的坐标系中，计算以所述第二红绿色度为横坐标，以所述第二黄蓝色度为纵坐标的点到所述普朗克线近似公式的垂点坐标及垂线段距离。

S321，将所述垂点的纵坐标带入所述第二色温色度关系公式，计算得到第三微倒数色温。

S331，建立跨相机坐标系。在所述跨相机坐标系中，所述像素块通过以所述第三微倒数色温为横坐标，以所述垂线段距离为纵坐标的点来表示。

具体的，和上述实施方式一致。在普朗克线近似公式的坐标系中，以所述第二红绿色度为横坐标，以所述第二黄蓝色度为纵坐标的点，可表示为点2(Lu2，Lv2)。对于点2(lu2,lv2)，我们先找到它到普朗克直线的垂点3(lu3,lv3)，垂点是点到线的最近点，所述垂线段距离就是点2(lu2,lv2)到垂点3(lu3,lv3)之间的线段距离，也就是点到直线的最近距离L。可用以下公式表示：所述垂点的横坐标就是垂点3(lu3,lv3)中的lu3。所述第二色温色度关系公式是上述实施例中步骤S160中，由第一微倒数色温与第一黄蓝色度拟合，形成的色温色度关系公式。

本发明方法的另一实施例，在上述实施例中任意一个实施方式的基础上，所述步骤S300中，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，再转换为二维直方图，具体包括如下步骤：

S330，通过以下公式将所述跨相机坐标系中的所述目标图像转换为二维直方图：

其中，i为任意一个像素块对应的编号。α为所述数据格的横向长度的1/2。β为所述数据格的纵向长度的1/2。T为任意一个像素块代表的点在所述跨相机坐标系中的横坐标。t为所述数据格的中心位置的横坐标。S为所述任意一个像素块代表的点在所述跨相机坐标系中的纵坐标。s为所述数据格中心位置的纵坐标。Ly为所述任意一个像素块的颜色亮度。

具体的，图4为将对数色度空间格式下的目标图像转换到跨相机坐标系中的效果图。在跨相机坐标系中，一个点就代表目标图像的一个像素块，图4中仅用少量的点来示意，在实际的处理中，每个图像可能划分为多个像素块。所述跨相机坐标系是以像素块的微倒数色温为横轴，以点到普朗克线的垂线段距离为纵轴。所以可见，本实施例的公式中，T为像素块的微倒数色温；S为点到普朗克线的垂线段距离。

参考说明书附图5，图5为本发明提供的实施例中将跨相机坐标系中的目标图像图4转换为二维直方图的效果图。本实施例的公式的作用就是统计分布在图五的每个格子中的点的数量。

在本实施例的另一实施方式中，在获得二维直方图之后，通过以下公式对所述二维直方图进行强化，得到强化后的二维直方图：

其中，M(t,s)为强化前的所述二维直方图。

具体的，上述公式可以对二维直方图的特征进行强化，在模型处理阶段，可以使用强化前的二维直方图M(t,s)作为神经网络模型的输入，也可以使用强化后的二维直方图N(t,s)作为神经网络模型的输入。

上述实施例的另一实施方式中，在将所述二维直方图，输入训练好的卷积神经网络中进行处理之前，还需要对所述卷积神经网络进行训练，包括如下步骤：

S010，获取不同色温光源下，至少一个相机所拍摄的多张训练集图像。

S020，将所述训练集图像转换为二维直方图的格式，并输入所述卷积神经网络进行训练，获得所述训练集图像的光源估计色温数据。

S030，计算所述训练集图像的所述光源估计色温数据与其光源实际色温数据的交叉熵。将所述交叉熵作为所述卷积神经网络的损失函数。直至完成对所述卷积神经网络的训练。

具体的，本实施例中使用交叉熵作为所述卷积神经网络的损失函数，也可以使用其他的损失函数，使用其他损失函数的方法也应在保护范围之内。神经网络的损失函数是用来衡量模型预测结果与实际结果之间差距的函数。通常情况下，神经网络的目标是通过最小化损失函数来提高模型的预测能力。常见的损失函数还包括：均方误差(Mean SquaredError，MSE)：将模型预测值与实际值之间的差平方后求平均，常用于回归问题。对数损失(Logarithmic Loss)：也称为对数似然损失(Log-Likelihood Loss)，用于衡量二分类或多分类问题中模型预测结果与实际结果之间的差异。

基于相同的技术构思，本发明还公开了一种基于神经网络的跨相机图像白平衡系统，该系统可用于实现上述任一一种基于神经网络的跨相机图像白平衡方法，具体的，本申请的一种基于神经网络的跨相机图像白平衡系统实施例，如说明书附图6所示，包括：

图像获取模块10，用于获取目标图像。

相机标定模块20，用于标定所述目标图像对应的相机在所述对数色度空间下的普朗克线近似公式和色温色度关系公式。

第一转换模块31，用于将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式。

第二转换模块32，用于建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中。

第三转换模块33，用于将所述跨相机坐标系中的所述目标图像转换为二维直方图。

模型处理模块40，用于将所述二维直方图，输入训练好的卷积神经网络中进行处理，输出光源估计色温数据。

逆转换模块50，用于将所述光源估计色温数据进行对数色度空间的格式逆转换，计算得到所述目标图像R通道的白平衡系数与B通道的白平衡系数。

后处理模块60，用于将所述目标图像的R通道、B通道分别乘上对应的所述白平衡系数。获得白平衡后的目标图像。

本发明的一种基于神经网络的跨相机图像白平衡方法和系统具有相同的技术构思，二者的实施例的技术细节可相互适用，为减少重复，此次不再赘述。

本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框，以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于神经网络的跨相机图像白平衡方法，其特征在于，包括如下步骤：

获取目标图像；标定所述目标图像对应的相机在对数色度空间下的普朗克线近似公式和色温色度关系公式；

将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式；

建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，再转换为二维直方图；其中所述跨相机坐标系是以像素块的微倒数色温为横轴，以所述像素块在普朗克线近似公式的坐标系中代表的点到普朗克线的垂线段距离为纵轴；所述普朗克线近似公式的坐标系以红绿色度为横轴，黄蓝色度为纵轴；

将所述二维直方图，输入训练好的卷积神经网络中进行处理，输出光源估计色温数据；

将所述光源估计色温数据进行对数色度空间的格式逆转换，计算得到所述目标图像R通道的白平衡系数与B通道的白平衡系数；

将所述目标图像的R通道、B通道分别乘上对应的所述白平衡系数；获得白平衡后的目标图像。

2.如权利要求1所述的一种基于神经网络的跨相机图像白平衡方法，其特征在于，所述的标定所述目标图像对应的相机在对数色度空间下的普朗克线近似公式和色温色度关系公式，包括如下步骤：

获取所述相机在多个不同色温的光源下拍摄的多张灰卡图像，获取每张灰卡图像的RGB数据；

批量处理所述多张灰卡图像，将每个所述灰卡图像RGB数据转换为对数色度空间的格式，得到第一红绿色度、第一黄蓝色度和第一颜色亮度；

将所有的灰卡图像中所述第一红绿色度与所述第一黄蓝色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的普朗克线近似公式；

获取每张所述灰卡图像中所述光源的色温，计算对应所述光源的第一微倒数色温；

将所有的灰卡图像中所述第一微倒数色温与所述第一红绿色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的第一色温色度关系公式；

或，将所有的灰卡图像中所述第一微倒数色温与所述第一黄蓝色度的对应关系进行拟合，得到所述相机在所述对数色度空间下的第二色温色度关系公式。

3.如权利要求2所述的一种基于神经网络的跨相机图像白平衡方法，其特征在于，所述的将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式，包括如下步骤：

将所述目标图像划分为多个像素块，计算每个所述像素块的RGB平均数值；其中，每个所述像素块中至少包含一个像素点；

批量处理每个所述像素块，将所述像素块的RGB数据转换为对数色度空间的格式，得到每个所述像素块的第二红绿色度、第二黄蓝色度和第二颜色亮度。

4.如权利要求3所述的一种基于神经网络的跨相机图像白平衡方法，其特征在于，所述的建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，包括如下步骤：

批量处理每个所述像素块，在所述普朗克线近似公式的坐标系中，计算以所述第二红绿色度为横坐标，以所述第二黄蓝色度为纵坐标的点到所述普朗克线近似公式的垂点坐标及垂线段距离；

将所述垂点的横坐标带入所述第一色温色度关系公式，计算得到第二微倒数色温；

或，将所述垂点的纵坐标带入所述第二色温色度关系公式，计算得到第三微倒数色温；

建立跨相机坐标系；在所述跨相机坐标系中，所述像素块通过以所述第二微倒数色温或所述第三微倒数色温为横坐标，以所述垂线段距离为纵坐标的点来表示。

5.如权利要求4所述的一种基于神经网络的跨相机图像白平衡方法，其特征在于，所述的将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中，再转换为二维直方图，包括如下步骤：

通过以下公式将所述跨相机坐标系中的所述目标图像转换为二维直方图：

；

其中，i为任意一个像素块对应的编号；为所述二维直方图中一数据格的横向长度的1/2；/>为所述二维直方图中所述数据格的纵向长度的1/2；T为任意一个像素块代表的点在所述跨相机坐标系中的横坐标；t为所述二维直方图中所述数据格的中心位置的横坐标；S为所述任意一个像素块代表的点在所述跨相机坐标系中的纵坐标；s为所述二维直方图中所述数据格中心位置的纵坐标；Ly为所述任意一个像素块的颜色亮度。

6.如权利要求5所述的一种基于神经网络的跨相机图像白平衡方法，其特征在于，在将所述跨相机坐标系中的所述目标图像转换为二维直方图之后，还包括如下步骤：

通过以下公式对所述二维直方图进行强化，得到强化后的二维直方图：

；

其中，M（t,s）为强化前的所述二维直方图。

7.如权利要求1-6任一项所述的一种基于神经网络的跨相机图像白平衡方法，其特征在于，所述的将所述光源估计色温数据进行对数色度空间的格式逆转换，计算得到所述目标图像R通道的白平衡系数与B通道的白平衡系数，包括如下步骤：

将所述光源估计色温数据由二维直方图格式的一个坐标还原到所述跨相机坐标系中；再还原到对数色度空间的格式；

计算其中G/R的值和G/B的值；所述G/R的值为所述目标图像R通道的白平衡系数，所述G/B的值为所述目标图像B通道的白平衡系数。

8.如权利要求1所述的一种基于神经网络的跨相机图像白平衡方法，其特征在于，在将所述二维直方图，输入训练好的卷积神经网络中进行处理之前，还需要对所述卷积神经网络进行训练，包括如下步骤：

获取不同色温光源下，至少一个相机所拍摄的多张训练集图像；

将所述训练集图像转换为二维直方图的格式，并输入所述卷积神经网络进行训练，获得所述训练集图像的光源估计色温数据；

计算所述训练集图像的所述光源估计色温数据与其光源实际色温数据的交叉熵；将所述交叉熵作为所述卷积神经网络的损失函数；直至完成对所述卷积神经网络的训练。

9.如权利要求2所述的一种基于神经网络的跨相机图像白平衡方法，其特征在于，

将RGB数据转换为对数色度空间的格式的公式如下：

；/>；/>；

其中，Lu为红绿色度；Lv为黄蓝色度；Ly为颜色亮度；

所述普朗克线近似公式如下：

；

其中，Lv为黄蓝色度；Lu为红绿色度；k为所述普朗克线近似公式的斜率；b为所述普朗克线近似公式的截距；

所述第一色温色度关系公式如下：

；

其中，MRD为微倒数色温；Lu为红绿色度；c1为所述第一色温色度关系公式的斜率；d1为所述第一色温色度关系公式的截距；

所述第二色温色度关系公式如下：

；

其中，MRD为微倒数色温；Lv为黄蓝色度；c2为所述第二色温色度关系公式的斜率；d2为所述第二色温色度关系公式的截距。

10.一种基于神经网络的跨相机图像白平衡系统，其特征在于，所述系统通过权利要求1-9任一项所述的基于神经网络的跨相机图像白平衡方法，来实现图像白平衡，所述系统包括：

图像获取模块，用于获取目标图像；

相机标定模块，用于标定所述目标图像对应的相机在所述对数色度空间下的普朗克线近似公式和色温色度关系公式；

第一转换模块，用于将所述目标图像中多个像素块的RGB数据转换为对数色度空间的格式；

第二转换模块，用于建立跨相机坐标系，通过所述普朗克线近似公式和所述色温色度关系公式，将对数色度空间格式下的所述目标图像转换到所述跨相机坐标系中；

第三转换模块，用于将所述跨相机坐标系中的所述目标图像转换为二维直方图；

模型处理模块，用于将所述二维直方图，输入训练好的卷积神经网络中进行处理，输出光源估计色温数据；

逆转换模块，用于将所述光源估计色温数据进行对数色度空间的格式逆转换，计算得到所述目标图像R通道的白平衡系数与B通道的白平衡系数；

后处理模块，用于将所述目标图像的R通道、B通道分别乘上对应的所述白平衡系数；获得白平衡后的目标图像。