CN115701128A - 一种图像处理方法及相关设备 - Google Patents

Abstract

本申请实施例公开了一种图像处理方法，可以应用于白平衡、色彩还原等颜色处理场景，该方法包括：通过彩色摄像头获取第一待处理图像；通过多光谱传感器获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；基于第一待处理图像与第一环境光谱信息获取白平衡增益；对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于白平衡增益的白平衡处理。通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，不仅可以实时对待处理图像进行调整。另外相较于现有技术中估计光源的方式，还可以提升目标图像的调整质量。

Description

一种图像处理方法及相关设备

技术领域

本申请实施例涉及图像处理领域，尤其涉及一种图像处理方法及相关设备。

背景技术

随着用户的拍照需求逐渐增加，对于电子设备拍摄得到的图像的质量要求也越来越高。用户在利用电子设备拍摄影像时，由于拍摄环境的不同，导致电子设备的成像与实物之间存在差异。对于相机成像来说，颜色处理是关乎效果的重要部分，而其中的色彩不均匀性(color shading)、白平衡和色彩还原又是影响颜色效果的关键因素。

目前，业界最常用的颜色处理方法是通过在离线的场景下对多个光源进行标定，从而得到不同光源下的校正参数，再根据校正参数对彩色摄像头采集的原始图像进行调整，得到用于向用户展示的目标图像。

然而，上述在离线场景下的多个光源标定方式可以理解为是估计光源，该种方式下获取的校正参数不够准确，影响后续的色彩处理。

发明内容

本申请实施例提供了一种图像处理方法及相关设备。通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另外由于是采集的待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升目标图像的调整质量。

本申请实施例第一方面提供了一种图像处理方法，该方法可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该方法可以应用于图像处理设备，图像处理设备包括彩色摄像头与多光谱传感器，方法包括：通过彩色摄像头获取第一待处理图像；通过多光谱传感器获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；基于第一待处理图像与第一环境光谱信息获取白平衡增益；对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于白平衡增益的白平衡处理。

本申请实施例中，通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另外由于是采集的待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升目标图像的调整质量。

可选地，在第一方面的一种可能的实现方式中，上述的第一待处理图像与第一目标图像为纯色图像或大面积是纯色的彩色图像。

该种可能的实现方式中，相较于现有技术中用灰度世界算法的方式进行白平衡，通过多光谱传感器采集的第一环境光谱信息对纯色图像进行白平衡的方式可以提升目标图像的调整质量。

可选地，在第一方面的一种可能的实现方式中，上述步骤：基于第一待处理图像与第一环境光谱信息获取白平衡增益，包括：将第一环境光谱信息与第一待处理图像输入训练好的神经网络得到白平衡增益；训练好的神经网络是通过以训练数据作为神经网络的输入，以损失函数的值小于阈值为目标对神经网络进行训练获取，训练数据包括训练原始图像与训练光谱信息，训练原始图像与训练光谱信息对应同一个拍摄场景，神经网络的输出包括白平衡增益，损失函数用于指示神经网络输出的白平衡增益与实际白平衡增益之间的差异，实际白平衡增益由灰卡在拍摄场景下的响应值处理得到。

该种可能的实现方式中，相较于现有技术中用灰度世界算法的方式进行白平衡，使用通过多光谱传感器采集的第一环境光谱信息以及神经网络获取的白平衡增益对图像进行白平衡的方式可以提升目标图像的调整质量。

可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：获取彩色摄像头的多个光谱响应函数；基于第一环境光谱信息与多个光谱响应函数获取多个补偿值；第一处理还包括：基于多个补偿值的色彩均匀color shading处理。

该种可能的实现方式中，相对于现有技术中需要通过离线标定的方式对图像进行色彩均匀，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于通过多光谱传感器采集的第一环境光谱信息生成的色彩均匀的补偿值，相对于现有技术中离线标定，可以提升色彩均匀的质量。

可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：获取三刺激值曲线与色卡的反射率；基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵；第一处理还包括：基于颜色校正矩阵的颜色空间转换处理。

该种可能的实现方式中，相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于通过多光谱传感器采集的第一环境光谱信息生成颜色空间的转化矩阵，相对于现有技术中离线标定，可以提升色彩还原的质量。

可选地，在第一方面的一种可能的实现方式中，上述步骤基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵，包括：将第一环境光谱信息转化为光源曲线；基于多个光谱响应函数、光源曲线以及反射率获取色卡对彩色摄像头的第一响应值；基于三刺激值曲线、光源曲线以及反射率获取色卡对第一人眼色彩空间的第二响应值，第一人眼色彩空间为人眼匹配函数对应的响应空间；基于第一响应值与第二响应值获取颜色校正矩阵，颜色校正矩阵用于表示第一响应值与第二响应值之间的关联关系。

该种可能的实现方式中，通过获取两个响应值的方式获取颜色空间转换矩阵，且由于通过多光谱传感器采集的第一环境光谱信息生成颜色空间的转化矩阵，相对于现有技术中离线标定，可以提升色彩还原的质量。

可选地，在第一方面的一种可能的实现方式中，上述的第一处理还包括：对经过白平衡处理后的图像进行后处理，得到第一目标图像。

该种可能的实现方式中，该种方式可以理解为是根据人眼色彩响应空间(CIE1931人眼匹配函数构成的响应空间)与其他人眼色彩响应空间(例如色貌模型CIECAM02中进行色适应CAT02计算的响应空间)转换关系调整图像，有利于后续对白平衡进行处理。

可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：向用户显示第一目标图像。

该种可能的实现方式中，通过多光谱传感器采集的第一环境光谱信息对第一待处理图像进行调整，并向用户展示调整后的图像，提升图像的色彩处理效果，提升用户体验。

可选地，在第一方面的一种可能的实现方式中，上述步骤还包括：通过彩色摄像头获取第二待处理图像；通过多光谱传感器获取第二环境光谱信息，第二环境光谱信息与第二待处理图像对应同一个拍摄场景；基于第一环境光谱信息与第二环境光谱信息的相似度确定滤波参数；基于滤波参数对第一目标图像与第二待处理图像进行滤波，得到校正参数；基于校正参数调整第二待处理图像得到第二目标图像。

该种可能的实现方式中，通过相似度确定第二待处理图像的校正参数，实现了提升颜色处理时域稳定性的同时，兼顾灵敏性，即避免颜色效果在时域上的闪烁，同时又能及时响应环境的变化导致参数调整。

可选地，在第一方面的一种可能的实现方式中，上述步骤基于第一环境光谱信息与第二环境光谱信息的相似度确定滤波参数，包括：基于相似度生成滤波强度函数；基于滤波强度函数确定滤波参数。相似度与滤波强度为正相关的关系，即相似度越大，滤波强度越强。换句话说，如果第一环境光谱信息与第二环境光谱信息的差异较小，则可以使用历史校正参数，或者历史校正参数(即通过第一环境光谱信息与第一待处理图像中的颜色通道得到的校正参数)的权重大一些，新的校正参数(即通过第二环境光谱信息与第二待处理图像得到的校正参数)的权重小一些，从而得到第二待处理图像的校正参数。如果第一环境光谱信息与第二环境光谱信息的差异较大(例如：室内与室外环境的差别)，则可以使用新的校正参数，或者新的校正参数的权重大一些，历史校正参数的权重小一些，从而得到第二待处理图像的校正参数。

该种可能的实现方式中，通过相似度生成滤波强度函数，相似度越高，历史帧的校正参数的权重越大，实现了提升颜色处理时域稳定性的同时，兼顾灵敏性，即避免颜色效果在时域上的闪烁，同时又能及时响应环境的变化导致参数调整。

本申请实施例第二方面提供了一种图像处理方法，该方法可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该方法可以应用于图像处理设备，图像处理设备包括彩色摄像头与多光谱传感器，方法包括：通过彩色摄像头获取第一待处理图像；通过多光谱传感器获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；获取彩色摄像头的多个光谱响应函数；基于多个第一环境光谱信息与多个光谱响应函数获取多个补偿值；对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于多个补偿值的色彩均匀color shading处理进行色彩均匀color shading处理。

本实施例中，相对于现有技术中需要通过离线标定的方式对图像进行色彩均匀，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于通过多光谱传感器采集的第一环境光谱信息生成的色彩均匀的补偿值，相对于现有技术中离线标定，可以提升色彩均匀的质量。

本申请实施例第三方面提供了一种图像处理方法，该方法可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该方法可以应用于图像处理设备，图像处理设备包括彩色摄像头与多光谱传感器，方法包括：基于彩色摄像头获取第一待处理图像；基于多光谱传感器获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；获取彩色摄像头的多个光谱响应函数；获取三刺激值曲线与色卡的反射率；基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵；对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于颜色校正矩阵的颜色空间转换处理。

本申请实施例中，相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于通过多光谱传感器采集的第一环境光谱信息生成颜色空间的转化矩阵，相对于现有技术中离线标定，可以提升色彩还原的质量。

可选地，在第三方面的一种可能的实现方式中，上述步骤：基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵，包括：将第一环境光谱信息转化为光源曲线；基于多个光谱响应函数、光源曲线、反射率获取色卡对彩色摄像头的第一响应值；基于三刺激值曲线、光源曲线、反射率获取色卡对第一人眼色彩空间的第二响应值，第一人眼色彩空间为人眼匹配函数对应的响应空间；基于第一响应值与第二响应值获取颜色校正矩阵，颜色校正矩阵用于表示第一响应值与第二响应值之间的转换关系。

该种可能的实现方式中，通过获取两个响应值的方式获取颜色空间转换矩阵，且由于通过多光谱传感器采集的第一环境光谱信息生成颜色空间的转化矩阵，相对于现有技术中离线标定，可以提升色彩还原的质量。

可选地，在第三方面的一种可能的实现方式中，上述步骤还包括：基于第一人眼色彩空间与第二人眼色彩空间的转换关系对颜色空间转换处理后的图像进行调整，第二人眼色彩空间为色貌模型进行色适应时所对应的响应空间。

该种可能的实现方式中，该种方式可以理解为是根据人眼色彩响应空间(CIE1931人眼匹配函数构成的响应空间)与其他人眼色彩响应空间(例如色貌模型CIECAM02中进行色适应CAT02计算的响应空间)转换关系调整图像，有利于后续对白平衡进行处理。

本申请实施例第四方面提供了一种图像处理设备，该图像处理设备可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该图像处理设备包括：

第一获取单元，用于通过彩色摄像头获取第一待处理图像；

第二获取单元，用于通过多光谱传感器获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；

处理单元，用于对第一待处理图像进行第一处理，得到第一目标图像，第一处理包括基于白平衡增益的白平衡处理。

可选地，在第四方面的一种可能的实现方式中，上述的第一待处理图像与第一目标图像为纯色图像或者大面积为纯色的彩色图像。

可选地，在第四方面的一种可能的实现方式中，上述的第三获取单元，具体用于将第一环境光谱信息与第一待处理图像输入训练好的神经网络得到白平衡增益；训练好的神经网络是通过以训练数据作为神经网络的输入，以损失函数的值小于阈值为目标对神经网络进行训练获取，训练数据包括训练原始图像与训练光谱信息，训练原始图像与训练光谱信息对应同一个拍摄场景，神经网络的输出包括白平衡增益，损失函数用于指示神经网络输出的白平衡增益与实际白平衡增益之间的差异，实际白平衡增益由灰卡在拍摄场景下的响应值处理得到。

可选地，在第四方面的一种可能的实现方式中，上述的设备还包括：

第四获取单元，用于获取彩色摄像头的多个光谱响应函数；

第四获取单元，还用于基于第一环境光谱信息与多个光谱响应函数获取多个估计值；

第四获取单元，还用于基于多个估计值计算多个补偿值；

处理单元，还用于基于多个补偿值的色彩均匀color shading处理。

可选地，在第四方面的一种可能的实现方式中，上述的设备还包括：

第五获取单元，用于获取三刺激值曲线与色卡的反射率；

第五获取单元，还用于基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵；

处理单元，还用于基于颜色校正矩阵的颜色空间转换处理。

可选地，在第四方面的一种可能的实现方式中，上述的第五获取单元，具体用于将第一环境光谱信息转化为光源曲线；

第五获取单元，具体用于基于多个光谱响应函数、光源曲线以及反射率获取色卡对彩色摄像头的第一响应值；

第五获取单元，具体用于基于三刺激值曲线、光源曲线以及反射率获取色卡对第一人眼色彩空间的第二响应值，第一人眼色彩空间为人眼匹配函数对应的响应空间；

第五获取单元，具体用于基于第一响应值与第二响应值获取颜色校正矩阵，颜色校正矩阵用于表示第一响应值与第二响应值之间的关联关系。

可选地，在第四方面的一种可能的实现方式中，上述的处理单元，还用于对经过白平衡处理后的图像进行后处理，得到第一目标图像。

可选地，在第四方面的一种可能的实现方式中，上述的设备还包括：

显示单元，用于向用户显示第一目标图像。

可选地，在第四方面的一种可能的实现方式中，上述的第一获取单元，还用于通过彩色摄像头获取第二待处理图像；

第二获取单元，还用于通过多光谱传感器获取第二环境光谱信息，第二环境光谱信息与第二待处理图像对应同一个拍摄场景；

设备还包括：

确定单元，用于基于第一环境光谱信息与第二环境光谱信息的相似度确定滤波参数；

滤波单元，用于基于滤波参数对第一目标图像与第二待处理图像进行滤波，得到校正参数；

处理单元，还用于基于校正参数调整第二待处理图像得到第二目标图像。

可选地，在第四方面的一种可能的实现方式中，上述的确定单元，具体用于基于相似度生成滤波强度函数；

确定单元，具体用于基于滤波强度函数确定滤波参数。

本申请实施例第五方面提供了一种图像处理设备，该图像处理设备可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该图像处理设备包括：

第一获取单元，用于通过彩色摄像头获取第一待处理图像；

第二获取单元，用于通过多光谱传感器获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；

第三获取单元，用于获取彩色摄像头的多个光谱响应函数；

第三获取单元，还用于基于第一环境光谱信息与多个光谱响应函数获取多个补偿值；

处理单元，用于对第一待处理图像进行第一处理，得到第一目标图像，第一处理包括基于多个补偿值的色彩均匀color shading处理进行色彩均匀color shading处理。

本申请实施例第六方面提供了一种图像处理设备，该图像处理设备可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该图像处理设备包括：

第一获取单元，用于通过彩色摄像头获取第一待处理图像；

第二获取单元，用于通过多光谱传感器获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；

第三获取单元，用于获取彩色摄像头的多个光谱响应函数；

第三获取单元，还用于获取三刺激值曲线与色卡的反射率；

第三获取单元，还用于基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵；

处理单元，用于对第一待处理图像进行第一处理，得到第一目标图像，第一处理包括基于颜色校正矩阵的颜色空间转换处理。

可选地，在第六方面的一种可能的实现方式中，上述的第三获取单元，具体用于将第一环境光谱信息转化为光源曲线；

第三获取单元，具体用于基于多个光谱响应函数、光源曲线、反射率获取色卡对彩色摄像头的第一响应值；

第三获取单元，具体用于基于三刺激值曲线、光源曲线、反射率获取色卡对第一人眼色彩空间的第二响应值，第一人眼色彩空间为人眼匹配函数对应的响应空间；

第三获取单元，具体用于基于第一响应值与第二响应值获取颜色校正矩阵，颜色校正矩阵用于表示第一响应值与第二响应值之间的转换关系。

可选地，在第六方面的一种可能的实现方式中，上述的处理单元，还用于基于第一人眼色彩空间与第二人眼色彩空间的转换关系对颜色空间转换处理后的图像进行调整，第二人眼色彩空间为色貌模型进行色适应时所对应的响应空间。

本申请实施例第七方面提供了一种图像处理设备，该图像处理设备可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该图像处理设备包括彩色摄像头、多光谱传感器与图像处理器；

彩色摄像头，用于获取第一待处理图像；

多光谱传感器，用于获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；

图像处理器，用于基于第一待处理图像与第一环境光谱信息获取白平衡增益；并对第一待处理图像进行第一处理，得到第一目标图像，第一处理包括基于白平衡增益的白平衡处理。

本申请实施例第八方面提供了一种图像处理设备，该图像处理设备可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该图像处理设备包括彩色摄像头、多光谱传感器与图像处理器；

彩色摄像头，用于获取第一待处理图像；

多光谱传感器，用于获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景；

图像处理器，用于获取彩色摄像头的多个光谱响应函数；

图像处理器，还用于基于第一环境光谱信息与多个光谱响应函数获取多个补偿值；

图像处理器，图像处理器，还用于对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于多个补偿值的色彩均匀color shading处理。

本申请实施例第九方面提供了一种图像处理设备，该图像处理设备可以应用于白平衡、色彩还原、色彩均匀等图像的颜色处理场景。该图像处理设备包括彩色摄像头、多光谱传感器与图像处理器；

彩色摄像头，用于获取第一待处理图像；

多光谱传感器，用于获取与第一待处理图像对应的第一环境光谱信息；

图像处理器，用于获取彩色摄像头的多个光谱响应函数；

图像处理器，还用于获取三刺激值曲线与色卡的反射率；

图像处理器，还用于基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵；

图像处理器，还用于对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于颜色校正矩阵的颜色空间转换处理。

本申请第十方面提供了一种图像处理设备，该图像处理设备执行前述第一方面或第一方面的任意可能的实现方式中的方法，或执行前述第二方面或第二方面的任意可能的实现方式中的方法，或执行前述第三方面或第三方面的任意可能的实现方式中的方法。

本申请第十一方面提供了一种图像处理设备，包括：处理器，处理器与存储器耦合，存储器用于存储程序或指令，当程序或指令被处理器执行时，使得该图像处理设备实现上述第一方面或第一方面的任意可能的实现方式中的方法，或者使得该图像处理设备实现上述第二方面或第二方面的任意可能的实现方式中的方法，或者使得该图像处理设备实现上述第三方面或第三方面的任意可能的实现方式中的方法。

本申请第十二方面提供了一种计算机可读介质，其上存储有计算机程序或指令，当计算机程序或指令在计算机上运行时，使得计算机执行前述第一方面或第一方面的任意可能的实现方式中的方法，或者使得计算机执行前述第二方面或第二方面的任意可能的实现方式中的方法，或者使得计算机执行前述第三方面或第三方面的任意可能的实现方式中的方法。

本申请第十三方面提供了一种计算机程序产品，该计算机程序产品在计算机上执行时，使得计算机执行前述第一方面或第一方面的任意可能的实现方式、第二方面或第二方面的任意可能的实现方式、第三方面或第三方面的任意可能的实现方式中的方法。

其中，第四、第七、第十、第十一、第十二、第十三方面或者其中任一种可能实现方式所带来的技术效果可参见第一方面或第一方面不同可能实现方式所带来的技术效果，此处不再赘述。

其中，第五、第八、第十、第十一、第十二、第十三方面或者其中任一种可能实现方式所带来的技术效果可参见第二方面或第二方面不同可能实现方式所带来的技术效果，此处不再赘述。

其中，第六、第九、第十、第十一、第十二、第十三方面或者其中任一种可能实现方式所带来的技术效果可参见第二方面或第二方面不同可能实现方式所带来的技术效果，此处不再赘述。

从以上技术方案可以看出，本申请实施例具有以下优点：通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，不仅可以实时对待处理图像进行调整。另外相较于现有技术中估计光源的方式，还可以提升目标图像的调整质量。

附图说明

图1为本发明实施例提供的图像处理方法的一个流程示意图；

图2与图3为本申请实施例提供的第一环境光谱信息的两种示例图；

图4为本申请实施例提供的第一待处理图像的一个示例图；

图5为本申请实施例提供的经过白平衡处理后图像的一个示例图；

图6为本申请实施例提供的色彩均匀处理之前的图像与色彩均匀处理之后的图像的一个示例图；

图7为本申请实施例提供的颜色空间转化处理之前的图像的另一个示例图；

图8为本申请实施例提供的颜色空间转化处理之后的图像的一种示例图；

图9为本发明实施例提供的图像处理方法的另一个流程示意图；

图10为本发明实施例提供的图像处理方法的另一个流程示意图；

图11-图14为本申请实施例中图像处理设备的几个结构示例图。

具体实施方式

本申请实施例提供了一种图像处理方法及相关设备。通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另外由于是采集的待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升目标图像的调整质量。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

为了便于理解，下面先对本申请实施例主要涉及的相关术语和概念进行介绍。

1、白平衡

白平衡(white balance)通俗的理解就是“不管在任何光源下，都能将白色物体还原为白色”，对在特定光源下拍摄时出现的偏色现象，通过加强对应的补色来进行补偿。如果将白色物体还原为白色，那其他景物的影像就会接近人眼的色彩视觉习惯。白平衡中的“平衡”可以理解为是要对不同色温所引起的色差进行校正，从而使白色的物体呈现真正的白色。

2、色彩不均匀性

色彩不均匀性(color shading)是指同一平面下可能出现颜色在空间上不均匀的问题。例如：在使用手机相机拍照时常表现为手机照片中心发红，照片有黑角，核心原因是手机空间的局限性导致光学系统设计做了一些取舍。平行光在穿过凸透镜后会在一段距离后聚焦。一般相机因为空间宽松，因此可以把焦距拉得很长，而手机则只能尽量缩短焦距，让光在镜片后非常近的距离聚焦。虽然两种聚焦方法都可以达到在感光元件上成像的目的，但两者的效果却相去甚远。又因为相机对不同波长的光存在不同的折射率，在经过透镜后的前进方向会有一定的差别。在焦距很短的情况下，四周的散射光由于聚焦过早而无法完全重合，这就造成了中心光量更大而周边光量较少的问题，这便是前面提到的手机照片中心发红，也就是color shading现象的根本原因。

目前，业界最常用的颜色处理方法是通过在离线的场景下对多个光源进行标定，从而得到不同光源下的校正参数，在根据校正参数对彩色摄像头采集的原始图像进行调整，得到用于向用户展示的目标图像。

然而，上述在离线场景下的多个光源标定方式可以理解为是估计光源，该种方式下获取的校正参数不够准确，影响后续的色彩处理。

为了解决上述问题，本申请实施例提供了一种图像处理方法，通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另外由于是采集的待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升目标图像的调整质量。

下面结合附图对本申请实施例提供的图像处理方法进行详细的介绍。

本申请实施例提供的图像处理方法可以应用于白平衡、色彩均匀、色彩还原等颜色处理的场景。

请参阅图1，本申请实施例提供的图像处理方法一个实施例，该方法可以应用于图像处理设备，该图像处理设备包括彩色摄像头与多光谱传感器。该实施例包括步骤101至步骤104。图1所示的实施例可以理解为是对待处理图像进行白平衡处理。

步骤101，通过彩色摄像头获取第一待处理图像。

本申请实施例中的彩色摄像头可以理解为是一种RGB传感器，可以摄取场景的色彩，拍摄彩色照片。彩色摄像头在具体中可以是单目摄像头或双目摄像头，设置于图像处理设备机身主体的壳体上面的前方位置(即前置摄像头)或后方位置(即后置摄像头)。另外，该彩色摄像头可以是超广角彩色摄像头、广角彩色摄像头或长焦彩色摄像头等，具体此处不做限定。

通过彩色摄像头获取第一待处理图像，该第一待处理图像可以是彩色摄像头采集的原始RAW图像。

本申请实施例中的彩色摄像头用于采集彩色图像或纯色图像，对于彩色摄像头的具体结构此处不做限定。

可选地，第一待处理图像为纯色图像(或称为单色图像)或大面积单一颜色的图像。

可选地，第一待处理图像可以是原始RAW域图像(也可以称为RAW图像)，RAW图像可以是金属氧化物半导体元件(complementary metal-oxide semiconductor，CMOS)或电荷耦合元件(charge coupled device，CCD)图像传感器将摄像头捕捉到的光源信号转化为数字信号的原始数据，该原始数据尚未经过图像信号处理器(image signal processor，ISP)处理。该RAW图像具体可以是采用拜耳(bayer)格式的bayer图像。

步骤102，通过多光谱传感器获取第一环境光谱信息。

本申请实施例中的多光谱传感器用于采集光谱，光谱(或称为光学频谱)可以理解为是复色光经过色散系统(例如棱镜、光栅)分光后，被色散开的单色光按波长或频率大小而依次排列的图案。

示例性的，多光谱传感器可以采集350-1000纳米波段的光谱，视场角(field ofview，FOV)大小为正负35度。多光谱传感器还可以包括8个可见光波段与多个特殊波段(例如：全光段通道、闪烁频率检测通道和/或红外通道等)，或者包括10个可见光波段与多个特殊波段，可以理解的是，上述可见光波段的数量只是举例，在实际应用中，还可以是更少或更多数量的可见光波段，本文仅以8个可见光波段为例进行示例性描述。

通过多光谱传感器获取第一环境光谱信息，第一环境光谱信息与第一待处理图像对应同一个拍摄场景。

本申请实施例中的同一拍摄场景可以理解为以下属性中的至少一项被满足：

1、同一拍摄场景可以是指采集第一待处理图像时彩色摄像头的位置与采集第一环境光谱信息时多光谱传感器的位置之间的距离小于某一阈值(例如：彩色摄像头采集第一待处理图像时的位置与多光谱传感器采集第一环境光谱信息时的位置之间距离为1米，阈值为2米，即距离小于阈值，则可以确定第一待处理图像与第一环境光谱信息为同一拍摄场景)。

上述中的位置可以是相对位置或地理位置等，如果位置是相对位置，可以通过建立场景模型等方式确定相对位置；如果位置是地理位置，可以是基于全球定位系统(globalpositioning system，GPS)或北斗导航系统等确定的第一设备位置与第二设备的位置，进而得到两个位置之间的距离。

2、同一拍摄场景还可以是根据光照强度来评判，例如：基于采集第一待处理图像时的天气类型与采集第一环境光谱信息时的天气类型是否相近来判断第一环境光谱信息与第一待处理图像是否为同一拍摄场景，例如：若采集第一待处理图像时为晴天，采集第一环境光谱信息时为晴天，则可以确定第一环境光谱信息与第一待处理图像为同一拍摄场景。若采集第一待处理图像时为晴天，采集第一环境光谱信息时为雨天，则可以确定第一环境光谱信息与第一待处理图像不属于同一拍摄场景。

可以理解的是，上述确定第一待处理图像与第第一环境光谱信息为同一拍摄场景只是举例，实际应用中，还可以有其他方式，具体此处不做限定。

其中，第一环境光谱信息可以是光源光谱也可以是反射光谱。相当于，光源光谱为照射第一待处理图像的光源对应的光谱，反射光谱为第一待处理图像中拍摄对象反射的光对应的光谱。

另外，第一环境光谱信息可以是多光谱传感器的采样点或者环境光谱图等可以表征环境光谱的信息，其中，采样点的数量(或称为多光谱传感器的通道数量)与多光谱传感器的设计(例如可见光波段、特殊波段等波段的数量)有关，可以是8个，也可以是10个，还可以是更少或更多数量的采样点，延续上述举例，本申请实施例仅以多光谱传感器采集的是8个采样点为例进行描述。

示例性的，图2与图3为第一环境光谱信息的两种示例，可以理解的是，第一环境信息可以是8个二维数组，例如：(色温，光强)。

步骤103，基于第一待处理图像与第一环境光谱信息获取白平衡增益。

本申请实施例中基于第一待处理图像与第一环境光谱信息获取白平衡增益的方式有多种，可以是基于第一环境光谱信息获取光源白点，也可以是基于第一环境光谱信息获取白平衡增益。其中，光源白点可以理解为是1/白平衡增益，白平衡增益可以理解为是红色增益(Rgain)与蓝色增益(Bgain)。

可以理解的是，可以通过灰度世界算法、全反射算法或输入神经网络等方式得到Rgain与Bgain或光源白点。当然，若是在纯色场景下，可以不采用灰度世界算法，避免由于灰度世界的假设(即对于一幅大量色彩变化的图像,三个分量RGB的平均值趋于同一灰度值)导致的白平衡失效。

可选地，以通过神经网络为例进行描述：第一待处理图像为16*16大小。可以将8个采样点的数值上采样至8*8大小，并将第一待处理图像下采样至8*8大小。并将上采样后的8个采样点与下采样后的第一待处理图像输入神经网络得到Rgain与Bgain。当然，上述上采样或下采样的步骤也可以放入神经网络后进行，即将第一环境光谱信息与第一待处理图像作为神经网络的输入。其中，神经网络可以是深度神经网络、卷积神经网络等，具体此处不做限定。训练好的神经网络是通过以训练数据作为神经网络的输入，以损失函数的值小于阈值为目标对神经网络进行训练获取，训练数据包括训练原始图像与训练光谱信息，训练原始图像与训练光谱信息对应同一个拍摄场景，神经网络的输出包括白平衡增益，损失函数用于指示神经网络输出的白平衡增益与实际白平衡增益之间的差异，实际白平衡增益由灰卡在拍摄场景下的响应值处理得到。其中，由于灰卡的RGB通道数值是相等或近似的，根据灰卡在拍摄场景下的响应值有利于判断白平衡增益。

步骤104，对第一待处理图像进行第一处理，得到第一目标图像。

获取白平衡增益之后，对第一待处理图像进行第一处理。得到第一目标图像。其中，第一处理包括基于白平衡增益的白平衡处理。

可选地，将Rgain乘以第一待处理图像中红色通道的数值，并将Bgain乘以第一待处理图像中蓝色通道的数值，得到调整后各个通道的数值，进而实现对第一待处理图像的白平衡处理。

另外，调整的方式可以是直接将Rgain与Bgain分别乘以第一待处理图像中的像素点值。也可以是根据RGGB调整多个补偿值，再乘以拜耳(bayer)域的第一待处理图像中的像素点，具体此处不做限定。

示例性的，图4为第一待处理图像的示例图，图5为第一目标图像的示例图。

本实施例中的第一处理除了包含基于白平衡增益的白平衡处理，此外，还可包括但不限于以下的一种或多种后处理算法：自动曝光控制(automatic exposure control，AEC)、自动增益控制(automatic gain control，AGC)、色彩校正、镜头矫正、噪声去除/降噪、坏点去除、线性纠正、颜色插值、图像下采样、电平补偿，等等。此外在一些实例，还可包括一些图像增强算法，例如伽马(Gamma)矫正、对比度增强和锐化、在YUV色彩空间上彩噪去除与边缘加强、色彩加强、色彩空间转换(例如RGB转换为YUV)等等。第一目标图像例如是YUV或者RGB格式的图像。

可选地，获取第一目标图像之后，可以向用户显示该第一目标图像。

可选地，图像处理设备还包括图像处理器，且该图像处理器用于执行步骤103与步骤104。

本实施例中，一方面，通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另一方面，由于含有第一待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升第一目标图像的调整质量。另一方面，针对纯色图像的场景(即图像场景颜色不丰富或者出现大面积单色物体)，相较于现有技术中用灰度世界算法的方式进行白平衡，通过多光谱传感器采集的第一环境光谱信息对纯色图像进行白平衡的方式可以提升目标图像的调整质量。

在一种可能实现的方式中，第一处理还包括色彩还原、色彩均匀等多种色彩处理的任意组合(或者理解为至少一种)，下面分别描述。

第一种，色彩均匀(color shading)处理。

本实施例中，色彩均匀处理可以在白平衡处理之前或之后，若色彩均匀处理在白平衡处理之前，则色彩均匀处理的处理对象是第一待处理图像。若色彩均匀处理在白平衡处理之后，则色彩均匀处理的处理对象是经过白平衡处理后的第一待处理图像。下面仅以对第一待处理图像进行色彩均匀处理为例进行描述，当然也可以是对白平衡处理或其他方式的颜色处理后的图像进行色彩均匀处理，具体此处不做限定。

该种情况下，图1所示实施例的步骤还可以包括：获取彩色摄像头的多个光谱响应函数。基于第一环境光谱信息与多个光谱响应函数获取多个估计值，基于多个估计值计算多个补偿值，第一处理还包括：基于多个补偿值的色彩均匀color shading处理。补偿值的数量可以与第一待处理图像中像素点的数量一一对应，或者补偿值的数量小于第一待处理图像中像素点的数量(也可以理解为是一个区域对应一个补偿值，一个区域包括第一待处理图像的多个像素点)。其中，上述步骤：获取彩色摄像头的多个光谱响应函数的具体方式可以是：通过单色仪测量彩色摄像头的像素位置的光谱响应得到多个光谱响应函数。或者是通过离线的方式调整光源的不同光强确定彩色摄像头的响应函数。上述步骤：基于第一环境光谱信息与多个光谱响应函数获取多个估计值的具体方式可以是：对8个采样点的数值进行上采样，并对上采样后的值与多个光谱响应函数进行积分得到多个估计值。上述获取多个补偿值的步骤可以是：以第一待处理图像的中心像素点为基准得到第一待处理图像中除了中心像素点以外的像素点的补偿值。再将补偿值的尺寸上采样至相机图像的空间尺寸。并使用上采样后的补偿值进行色彩均匀color shading处理。

另外，色彩均匀color shading处理的方式可以是直接将多个补偿值分别乘以第一待处理图像中的像素点。也可以是根据RGGB调整多个补偿值，再乘以拜耳(bayer)域的第一待处理图像中的像素点进而完成color shading处理，具体此处不做限定。

示例性的，延续之前的举例，8个多光谱采样值经过上采样后得到256个多光谱采样值。多个光谱响应函数为256(图像的纵向尺寸)*256(图像的横向尺寸)*3(像素通道)*256(多光谱通道数)，通过下述公式一对上采样后的多个采样值与多个光谱响应函数进行积分得到多个估计值。通过下述公式二以第一待处理图像的中心像素点为基准得到第一待处理图像中除了中心像素点以外的像素点的补偿值。通过公式三将补偿值的尺寸上采样至相机图像的空间尺寸。通过公式四使用上采样后的补偿值进行色彩均匀(color shading)处理。

公式一：

其中，V(x,y,c)是多个估计值，该多个估计值可以是256(图像的纵向尺寸)*256(图像的横向尺寸)*3(像素通道)。S(λ)是多光谱的8个采样值经过上采样后得到256个采样值。F(x,y,c,λ)是多个xy对应的光谱响应函数。x与y是彩色摄像头光谱响应的空间尺寸，例如是256*256。c是彩色摄像头的像素通道，这里仅以3个像素通道为例进行描述，可以理解的是，在实际应用中，彩色摄像头的像素通道数量可以更多，具体此处不做限定。λ是彩色摄像头的响应波长，一般情况下响应波长的取值范围是380纳米(nm)至780纳米(nm)，即人眼可见光的波长范围。

公式二：

公式三：

K_I-size(x',y',c)＝interplation_xy(K_F-size(x,y,c))。

公式四：

I'(x',y',c)＝K_I-size(x',y',c)I(x',y',c)。

其中，K_F-size(x,y,c)是xy对应的多个补偿值。V(x_center,y_center,c)是第一待处理图像的中心像素点。interplation_xy用于表示对xy进行上采样。K_I-size(x',y',c)是对xy进行上采样得到与相机图像尺寸对应的多个补偿值。x'，y'是相机图像的空间尺寸，例如3000*4000。I'(x',y',c)是经过色彩均匀处理后图像的纵向尺寸、横向尺寸以及像素通道。I(x',y',c)是第一待处理图像的纵向尺寸、横向尺寸以及像素通道。

可以理解的是，上述公式一、公式二、公式三以及公式四只是一种举例，在实际应用中，还可以有其他形式的公式一、公式二、公式三以及公式四，具体此处不做限定。

示例性的，图6为第一待处理图像(即去color shading前对应的图像)与经过色彩均匀处理后的图像(即去color shading后对应的图像)的示例图。

该种方式下，相对于现有技术中需要通过离线标定的方式对图像进行色彩均匀，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于通过多光谱传感器采集的第一环境光谱信息生成的色彩均匀的补偿值，相对于现有技术中离线标定，可以提升色彩均匀的质量。

第二种，色彩还原处理(也可以称为颜色空间转换处理)。

本实施例中，色彩还原处理与前述的白平衡处理、色彩均匀处理并没有时序关系。以第一处理包括色彩还原与白平衡处理为例进行说明。若色彩还原处理在白平衡处理之前，则色彩还原处理的处理对象是第一待处理图像。若色彩还原处理在白平衡处理之后，则色彩还原处理的处理对象是经过白平衡处理后的第一待处理图像。下面仅以对第一待处理图像进行色彩均匀处理为例进行描述，当然也可以是对白平衡处理或其他方式的颜色处理后的图像进行色彩均匀处理，具体此处不做限定。

该种情况下，图1所示实施例的步骤还可以包括：获取三刺激值曲线与色卡的反射率。基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵。第一处理还包括：基于颜色校正矩阵的颜色空间转换处理。

其中，上述步骤：基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵具体可以包括：将第一环境光谱信息转化为光源曲线。基于多个光谱响应函数、光源曲线以及反射率获取色卡对彩色摄像头的第一响应值(也可以理解为是色卡在以RGB为三个轴构成的空间下的成像)。基于三刺激值曲线、光源曲线以及反射率获取色卡对第一人眼颜色彩空间的第二响应值。基于第一响应值与第二响应值获取颜色校正矩阵。上述的第一人眼颜色空间可以是人眼匹配函数对应的响应空间。颜色校正矩阵用于表示第一响应值与第二响应值之间的关联关系。

该颜色校正矩阵也可以理解为是两个颜色空间的转换矩阵。可选地，该颜色空间的转换矩阵为3X3的矩阵。相当于将一个颜色空间作为目标，将另一个颜色空间作为源，使用最小二乘法得到转换矩阵。

可以理解的是，上述的色卡的反射率可以是标准24色卡的反射率，还可以被替换为符合规律的矩形波、自定义的曲线等，具体此处不做限定。

可选地，人眼匹配函数可以是国际照明委员会(CIE)1931或者其他规范下的人眼匹配函数。三刺激值曲线可以是CIE1931或其他规范下的三刺激值曲线。具体此处不做限定。

示例性的，可以通过公式五、多个光谱响应函数、光源曲线以及反射率获取色卡对彩色摄像头的第一响应值。通过公式六、三刺激值曲线、光源曲线以及反射率获取色卡对第一人眼颜色彩空间的第二响应值。

公式五：

第一响应值＝∫css(λ)*I(λ)*R(λ)。

公式六：

第二响应值＝∫xyz(λ)*I(λ)*R(λ)。

其中，css(λ)是多个光谱响应函数对应的响应曲线。I(λ)是光源曲线。R(λ)是色卡的反射率。xyz(λ)是三刺激值曲线。

可以理解的是，上述公式五与公式六只是一种举例，在实际应用中，还可以有其他形式的公式五与公式六，具体此处不做限定。

示例性的，图7为颜色空间转化处理之前的图像的示例图。图8为经过颜色空间转化处理的图像的示例图。

可选地，获取第一人眼色彩空间之后，还可以根据第一人眼色彩空间与第二人眼色彩空间的转换关系对颜色空间转换处理后的图像进行调整。该第二人眼色彩空间为色貌模型进行色适应时所对应的响应空间，以便于后续可以提升白平衡的质量。

该种方式可以理解为是根据人眼色彩响应空间(CIE1931人眼匹配函数构成的响应空间)与其他人眼色彩响应空间(例如色貌模型CIECAM02中进行色适应CAT02计算的响应空间)转换关系调整第三目标图像。

该种方式下，相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于通过多光谱传感器采集的第一环境光谱信息生成颜色空间的转化矩阵，相对于现有技术中离线标定，可以提升色彩还原的质量。

第三种，时域稳定性处理。

该种情况下，图1所示实施例的步骤还可以包括：通过彩色摄像头获取第二待处理图像。通过多光谱传感器获取与第二待处理图像对应的第二环境光谱信息。基于第一环境光谱信息与第二环境光谱信息的相似度确定滤波参数。基于滤波参数对第一目标图像与第二待处理图像进行滤波，得到校正参数。基于校正参数调整第二待处理图像得到第二目标图像。

其中，上述步骤：基于第一环境光谱信息与第二环境光谱信息的相似度确定滤波参数具体可以包括：基于相似度生成滤波强度函数。基于滤波强度函数确定滤波参数。

可选地，彩色摄像头采集第一待处理图像与第二待处理图像的时间间隔小于预设时间段。进一步的，第一待处理图像与第二待处理图像是彩色摄像头采集的相邻时刻的两帧图像。

上述第一环境光谱信息与第二环境光谱信息的相似度的具体获取方式可以是：通过第一环境光谱信息对应的多个采样值确定第一光谱曲线，通过第二环境光谱信息对应的多个采样值确定第二光谱曲线。利用曲线相似度算法(例如：余弦相似度等)计算第一光谱曲线与第二光谱曲线的相似度。基于相似度生成滤波强度函数，相似度与滤波强度为正相关的关系，即相似度越大，滤波强度越强。

示例性的，以该滤波强度函数是三段式函数为例进行示例性描述，可以理解的是，该滤波强度函数可以设置为一阶函数或者高阶函数，具体此处不做限定。一种三段式滤波强度函数的示例具体如下：

第一段：若相似度大于第一阈值，则滤波权重为1，即采用上述的校正参数，换句话说第一处理中所用的校正参数(例如：上述的Rgain与Bgain、白点、估计值、颜色校正矩阵)；

第二段：若相似度小于或等于第一阈值，且大于或等于第二阈值，则滤波权重小于1且大于0，根据相似度与第一阈值的差值在滤波权重为0-1的范围内进行线性插值；相似度与第一阈值越近，滤波权重越趋近于1，相似度与第一阈值越远，滤波权重越趋近于0。

第三段：若相似度小于第二阈值，则滤波权重为0，即重新计算第二待处理图像的校正参数(求解方式与第一处理类似，这里称为第二处理，第一处理与第二处理不同的只是将前述第一处理的第一环境光谱信息替换为第二处理中的第二环境光谱信息，将第一待处理图像替换为第二待处理图像)。

可以理解的是，上述中的第一阈值、第二阈值可以根据实际需要设置，具体此处不做限定。例如：第一阈值为90％，第二阈值为10％。

可选地，上述基于滤波权重对第一目标图像与第二待处理图像进行滤波得到的校正参数，可以是白平衡中所用的Rgain与Bgain，也可以是色彩还原中的颜色校正矩阵，还可以是色彩均匀中的估计值，具体此处不做限定。获取校正参数后，使用校正参数调整第二待处理图像得到第二目标图像(调整方式与前述类似，此处不再赘述)。

示例性的，第一阈值为90％，第二阈值为10％，相似度为70％，即采用滤波函数的第二段确定校正参数。以校正参数是色彩均匀中的估计值以及采用公式七为例对确定第二待处理图像的校正参数(这里是色彩均匀的估计值)进行描述。

公式七：

第二待处理图像的校正参数＝K_I-size(x',y',c)*滤波权重+K_I-size(x”,y”,c)*(1-滤波权重)。

其中，K_I-size(x',y',c)是上述色彩还原中与第一待处理图像相关的估计值(或者理解为是第一目标图像的估计值)，例如滤波权重为0.5。K_I-size(x”,y”,c)是上述色彩还原中与第二待处理图像相关的估计值(求解方式与前述色彩还原的类似，只是将前述的第一环境光谱信息替换为第二环境光谱信息，将第一待处理图像替换为第二待处理图像)。

换句话说，如果第一环境光谱信息与第二环境光谱信息的差异较小，则可以使用历史校正参数，或者历史校正参数(即通过第一环境光谱信息与第一待处理图像中的颜色通道得到的校正参数，或称为第一处理中用的校正参数)的权重大一些，新的校正参数(即通过第二环境光谱信息与第二待处理图像得到的校正参数，或称为第二处理中的用的校正参数)的权重小一些，从而得到第二待处理图像的校正参数。如果第一环境光谱信息与第二环境光谱信息的差异较大(例如：室内与室外环境的差别)，则可以使用新的校正参数，或者新的校正参数的权重大一些，历史校正参数的权重小一些，从而得到第二待处理图像的校正参数。

该种方式下，实现了提升颜色处理时域稳定性的同时，兼顾灵敏性，即避免颜色效果在时域上的闪烁，同时又能及时响应环境的变化导致参数调整。

可以理解的是，上述三种颜色处理的方式是随意组合，具体此处不做限定。

请参阅图9，本申请实施例提供的图像处理方法的另一个实施例，该方法可以应用于图像处理设备，该图像处理设备包括彩色摄像头与多光谱传感器。该实施例包括步骤901至步骤905。图9所示的实施例可以理解为是对待处理图像进行色彩均匀处理。

步骤901，通过彩色摄像头获取第一待处理图像。

步骤902，通过多光谱传感器获取第一环境光谱信息。

本实施中的步骤901与步骤902与前述图1所示实施例中的步骤101与步骤102类似，此处不再赘述。

步骤903，获取彩色摄像头的多个光谱响应函数。

获取彩色摄像头的多个光谱响应函数的具体方式可以是：通过单色仪测量彩色摄像头的像素位置的光谱响应得到多个光谱响应函数。或者是确定彩色摄像头后，测量感光属性。例如通过离线的方式调整不同光源的不同光强下彩色摄像头的响应函数。

步骤904，基于第一环境光谱信息与多个光谱响应函数获取多个补偿值。

以第一待处理图像的中心像素点为基准得到第一待处理图像中除了中心像素点以外的像素点的补偿值。补偿值的数量可以与第一待处理图像中像素点的数量一一对应，或者补偿值的数量小于第一待处理图像中像素点的数量(也可以理解为是一个区域对应一个补偿值，一个区域包括第一待处理图像的多个像素点)。

步骤905，对第一待处理图像进行第一处理，得到第一目标图像。

获取补偿值之后，对第一待处理图像进行第一处理，得到第一目标图像。其中，第一处理包括基于多个补偿值的色彩均匀color shading处理。

本实施例中的第一处理除了包含基于多个补偿值的色彩均匀color shading处理，此外，还可包括但不限于以下的一种或多种后处理算法：自动曝光控制(automaticexposure control，AEC)、自动增益控制(automatic gain control，AGC)、色彩校正、镜头矫正、噪声去除/降噪、坏点去除、线性纠正、颜色插值、图像下采样、电平补偿，等等。此外在一些实例，还可包括一些图像增强算法，例如伽马(Gamma)矫正、对比度增强和锐化、在YUV色彩空间上彩噪去除与边缘加强、白平衡、色彩空间转换(例如RGB转换为YUV)等等。第一目标图像例如是YUV或者RGB格式的图像。

可选地，获取第一目标图像之后，可以向用户显示该第一目标图像。

可选地，图像处理设备还包括图像处理器，且该图像处理器用于执行步骤903与步骤904。

可以将补偿值的尺寸上采样至相机图像的空间尺寸。并使用上采样后的补偿值调整第一待处理图像。

具体描述可以参考前述实施例中第一种色彩均匀的相关描述，此处不再赘述。

可以理解的是，还可以在本实施例的基础上对第一目标图像进行白平衡、色彩还原等颜色处理，处理方式可参考前述实施例中的描述，具体此处不再赘述。

本实施例中，一方面，通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另一方面，由于含有第一待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升第一目标图像的调整质量。相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于通过多光谱传感器采集的第一环境光谱信息生成的色彩均匀的补偿值，相对于现有技术中离线标定，可以提升色彩均匀的质量。

请参阅图10，本申请实施例提供的图像处理方法的另一个实施例，该方法可以应用于图像处理设备，该图像处理设备包括彩色摄像头与多光谱传感器。该实施例包括步骤1001至步骤1006。图10所示的实施例可以理解为是对待处理图像进行色彩还原处理。

步骤1001，通过彩色摄像头获取第一待处理图像。

步骤1002，通过多光谱传感器获取第一环境光谱信息。

本实施中的步骤1001与步骤1002与前述图1所示实施例中的步骤101与步骤102类似，此处不再赘述。

步骤1003，获取彩色摄像头的多个光谱响应函数。

获取彩色摄像头的多个光谱响应函数的具体方式可以是：通过单色仪测量彩色摄像头的像素位置的光谱响应得到多个光谱响应函数。或者是通过离线的方式调整光源的不同光强确定彩色摄像头的响应函数。

步骤1004，获取三刺激值曲线与色卡的反射率。

可选地，色卡的反射率可以是标准24色卡的反射率，还可以被替换为符合规律的矩形波、自定义的曲线等，具体此处不做限定。

可选地，三刺激值曲线可以是CIE1931或其他规范下的三刺激值曲线。具体此处不做限定。

步骤1005，基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵。

将第一环境光谱信息转化为光源曲线。基于多个光谱响应函数、光源曲线以及反射率获取色卡对彩色摄像头的第一响应值(也可以理解为是色卡在以RGB为三个轴构成的空间下的成像)。基于三刺激值曲线、光源曲线以及反射率获取色卡对第一人眼颜色彩空间的第二响应值。基于第一响应值与第二响应值获取颜色校正矩阵。上述的第一人眼颜色空间可以是人眼匹配函数对应的响应空间。颜色校正矩阵用于表示第一响应值与第二响应值之间的关联关系。

该颜色校正矩阵也可以理解为是两个颜色空间的转换矩阵。可选地，该颜色空间的转换矩阵为3X3的矩阵。相当于将一个颜色空间作为目标，将另一个颜色空间作为源，使用最小二乘法得到转换矩阵。

可选地，人眼匹配函数可以是国际照明委员会(CIE)1931或者其他规范下的人眼匹配函数。三刺激值曲线可以是CIE1931或其他规范下的三刺激值曲线。具体此处不做限定。

示例性的，可以通过前述的公式五、多个光谱响应函数、光源曲线以及反射率获取色卡对彩色摄像头的第一响应值。通过前述的公式六、三刺激值曲线、光源曲线以及反射率获取色卡对第一人眼颜色彩空间的第二响应值。

步骤1006，对第一待处理图像进行第一处理，得到第一目标图像。

获取颜色校正矩阵后，对第一待处理图像进行第一处理，得到第一目标图像。其中，第一处理包括基于颜色校正矩阵的颜色空间转换处理。

本实施例中的第一处理除了包含基于颜色校正矩阵的颜色空间转换处理，此外，还可包括但不限于以下的一种或多种后处理算法：自动曝光控制(automatic exposurecontrol，AEC)、自动增益控制(automatic gain control，AGC)、色彩校正、镜头矫正、噪声去除/降噪、坏点去除、线性纠正、颜色插值、图像下采样、电平补偿，等等。此外在一些实例，还可包括一些图像增强算法，例如伽马(Gamma)矫正、对比度增强和锐化、在YUV色彩空间上彩噪去除与边缘加强、白平衡、色彩还原等等。第一目标图像例如是YUV或者RGB格式的图像。

可选地，获取第一目标图像之后，可以向用户显示该第一目标图像。

可选地，图像处理设备还包括图像处理器，且该图像处理器用于执行步骤1003至步骤1006。

示例性的，颜色校正矩阵为3X3的矩阵。

可选地，获取第一人眼色彩空间之后，还可以根据第一人眼色彩空间与第二人眼色彩空间的转换关系对颜色空间转换处理后的图像进行调整。该第二人眼色彩空间为色貌模型进行色适应时所对应的响应空间，以便于后续可以提升白平衡的质量。

该种方式可以理解为是根据人眼色彩响应空间(CIE1931人眼匹配函数构成的响应空间)与其他人眼色彩响应空间(例如色貌模型CIECAM02中进行色适应CAT02计算的响应空间)转换关系调整第一目标图像。

具体描述可以参考前述实施例中第一种色彩还原的相关描述，此处不再赘述。

可以理解的是，还可以在本实施例的基础上对经过色彩还原处理后的图像进行白平衡、色彩均匀等颜色处理，处理方式可参考前述实施例中的描述，具体此处不再赘述。

本实施例中，一方面，通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另一方面，由于含有第一待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升第一目标图像的调整质量。相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于通过多光谱传感器采集的第一环境光谱信息生成颜色空间的转化矩阵，相对于现有技术中离线标定，可以提升色彩还原的质量。

上面对本申请实施例中的图像处理方法进行了描述，下面对本申请实施例中的图像处理设备进行描述，请参阅图11，本申请实施例中图像处理设备的一个实施例包括：

第一获取单元1101，用于通过彩色摄像头获取第一待处理图像；

第二获取单元1102，用于通过多光谱传感器获取第一环境光谱信息；

第三获取单元1103，用于基于第一待处理图像与第一环境光谱信息获取白平衡增益；

处理单元1104，用于对第一待处理图像进行第一处理，得到第一目标图像，第一处理包括基于白平衡增益的白平衡处理。可选地，图像处理设备还可以包括下述单元：

第四获取单元1105，用于获取彩色摄像头的多个光谱响应函数；

第五获取单元1106，用于获取三刺激值曲线与色卡的反射率；

显示单元1107，用于向用户显示第一目标图像。

确定单元1108，用于基于第一环境光谱信息与第二环境光谱信息的相似度确定滤波参数；

滤波单元1109，用于基于滤波参数对第一目标图像与第二待处理图像进行滤波，得到校正参数。

本实施例中，图像处理设备中各单元所执行的操作与前述图1所示实施例中描述的类似，此处不再赘述。

本实施例中，由于含有第二获取单元1102采集的第一待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升第一目标图像的调整质量。另一方面，针对纯色图像的场景(即图像场景颜色不丰富或者出现大面积单色物体)，相较于现有技术中用灰度世界算法的方式进行白平衡，处理单元1104通过多光谱传感器采集的第一环境光谱信息对纯色图像进行白平衡的方式可以提升目标图像的调整质量。

请参阅图12，本申请实施例中图像处理设备的另一个实施例包括：第一获取单元1201、第二获取单元1202、第三获取单元1203以及处理单元1204。

在一种可能实现的方式中，各单元具体用于执行下述功能：

第一获取单元1201，用于通过彩色摄像头获取第一待处理图像；

第二获取单元1202，用于通过多光谱传感器获取第一环境光谱信息；

第三获取单元1203，用于获取彩色摄像头的多个光谱响应函数；

第三获取单元1203，还用于基于第一环境光谱信息与多个光谱响应函数获取多个补偿值；

处理单元1204，用于对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于多个补偿值的色彩均匀color shading处理进行色彩均匀colorshading处理。

该种可能实现的方式中，图像处理设备中各单元所执行的操作与前述图9所示实施例中描述的类似，此处不再赘述。

该种可能实现的方式中，由于含有第二获取单元1202是采集的第一待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升第一目标图像的调整质量。相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于第三获取单元1203通过多光谱传感器采集的第一环境光谱信息生成的色彩均匀的补偿值，相对于现有技术中离线标定，可以提升色彩均匀的质量。

在另一种可能实现的方式中，各单元具体用于执行下述功能：

第一获取单元1201，用于通过彩色摄像头获取第一待处理图像；

第二获取单元1202，用于通过多光谱传感器获取第一环境光谱信息；

第三获取单元1203，用于获取彩色摄像头的多个光谱响应函数；

第三获取单元1203，还用于获取三刺激值曲线与色卡的反射率；

第三获取单元1203，还用于基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵；

处理单元1204，用于对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于颜色校正矩阵的颜色空间转换处理。

该种可能实现的方式中，图像处理设备中各单元所执行的操作与前述图10所示实施例中描述的类似，此处不再赘述。

该种可能实现的方式中，由于含有第二获取单元1202采集的第一待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升第一目标图像的调整质量。相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于第三获取单元1203通过多光谱传感器采集的第一环境光谱信息生成颜色空间的转化矩阵，相对于现有技术中离线标定，可以提升色彩还原的质量。

请参阅图13，本申请实施例中图像处理设备的另一个实施例包括：彩色摄像头1301、多光谱传感器1302以及图像处理器1303。

在一种可能实现的方式中，各单元具体用于执行下述功能：

彩色摄像头1301，用于获取第一待处理图像；

多光谱传感器1302，用于获取第一环境光谱信息；

图像处理器1303，用于对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于白平衡增益的白平衡处理。

该种可能实现的方式中，针对纯色图像的场景(即图像场景颜色不丰富或者出现大面积单色物体)，相较于现有技术中用灰度世界算法的方式进行白平衡，图像处理器1303通过多光谱传感器1302采集的第一环境光谱信息对纯色图像进行白平衡的方式可以提升目标图像的调整质量。

在另一种可能实现的方式中，各单元具体用于执行下述功能：

彩色摄像头1301，用于获取第一待处理图像；

多光谱传感器1302，用于获取第一环境光谱信息；

图像处理器1303，用于获取彩色摄像头的多个光谱响应函数；

图像处理器1303，还用于基于第一环境光谱信息与多个光谱响应函数获取多个补偿值；

图像处理器1303，还用于对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于多个补偿值的色彩均匀color shading处理。

该种可能实现的方式中，一方面，通过引入多光谱传感器采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另一方面，由于含有第一待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升第一目标图像的调整质量。相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于图像处理器1303通过多光谱传感器1302采集的第一环境光谱信息生成的色彩均匀的补偿值，相对于现有技术中离线标定，可以提升色彩均匀的质量。

在另一种可能实现的方式中，各单元具体用于执行下述功能：

彩色摄像头1301，用于获取第一待处理图像；

多光谱传感器1302，用于获取第一环境光谱信息；

图像处理器1303，用于获取彩色摄像头的多个光谱响应函数；

图像处理器1303，还用于获取三刺激值曲线与色卡的反射率；

图像处理器1303，还用于基于第一环境光谱信息、多个光谱响应函数、反射率以及三刺激值曲线获取颜色校正矩阵；

图像处理器1303，还用于对第一待处理图像进行第一处理，得到第一目标图像；其中，第一处理包括基于颜色校正矩阵的颜色空间转换处理。

该种可能实现的方式中，一方面，通过引入多光谱传感器1302采集与待处理图像对应的环境光谱信息，可以实时对待处理图像进行调整。另一方面，由于含有第一待处理图像对应的环境光谱信息，相较于现有技术中估计光源的方式，可以提升第一目标图像的调整质量。相对于现有技术中需要通过离线标定的方式对图像进行色彩还原，可以实现实时计算，并避免离线选表可能出错导致的问题。另外，由于图像处理器1303通过多光谱传感器1302采集的第一环境光谱信息生成颜色空间的转化矩阵，相对于现有技术中离线标定，可以提升色彩还原的质量。

请参阅图14，本申请实施例提供了另一种图像处理设备，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该图像处理设备可以为包括手机、平板电脑、个人数字助理(personal digital assistant，PDA)、销售终端设备(point of sales，POS)、车载电脑等任意图像处理设备，以图像处理设备为手机为例：

图14示出的是与本申请实施例提供的图像处理设备相关的手机的部分结构的框图。参考图14，手机包括：射频(radio frequency，RF)电路1410、存储器1420、输入单元1430、显示单元1440、彩色摄像头1451、多光谱传感器1452、音频电路1460、无线保真(wireless fidelity，WiFi)模块1470、处理器1480、以及电源1490等部件。本领域技术人员可以理解，图14中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图14对手机的各个构成部件进行具体的介绍：

RF电路1410可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1480处理；另外，将设计上行的数据发送给基站。通常，RF电路1410包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier，LNA)、双工器等。此外，RF电路1410还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystem of mobile communication，GSM)、通用分组无线服务(general packet radioservice，GPRS)、码分多址(code division multiple access，CDMA)、宽带码分多址(wideband code division multiple access，WCDMA)、长期演进(long term evolution，LTE)、电子邮件、短消息服务(short messaging service，SMS)等。

存储器1420可用于存储软件程序以及模块，处理器1480通过运行存储在存储器1420的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1420可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1420可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1430可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1430可包括触控面板1431以及其他输入设备1432。触控面板1431，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1431上或在触控面板1431附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1431可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1480，并能接收处理器1480发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1431。除了触控面板1431，输入单元1430还可以包括其他输入设备1432。具体地，其他输入设备1432可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1440可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1440可包括显示面板1441，可选的，可以采用液晶显示器(liquidcrystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板1441。进一步的，触控面板1431可覆盖显示面板1441，当触控面板1431检测到在其上或附近的触摸操作后，传送给处理器1480以确定触摸事件的类型，随后处理器1480根据触摸事件的类型在显示面板1441上提供相应的视觉输出。虽然在图14中，触控面板1431与显示面板1441是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1431与显示面板1441集成而实现手机的输入和输出功能。

手机还可包括彩色摄像头1451与多光谱传感器1452，彩色摄像头1451具体用于采集彩色图像或纯色图像(或称为单色图像)。多光谱传感器1452用于获取与图像对应的环境光谱信息。当然，手机还可以包括其他类型的传感器，比如接近传感器、运动传感器等其他传感器。具体地，接近传感器可在手机移动到耳边时，关闭显示面板1441和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1460、扬声器1461，传声器1462可提供用户与手机之间的音频接口。音频电路1460可将接收到的音频数据转换后的电信号，传输到扬声器1461，由扬声器1461转换为声音信号输出；另一方面，传声器1462将收集的声音信号转换为电信号，由音频电路1460接收后转换为音频数据，再将音频数据输出处理器1480处理后，经RF电路1410以发送给比如另一手机，或者将音频数据输出至存储器1420以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1470可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图14示出了WiFi模块1470，但是可以理解的是，其并不属于手机的必须构成。

处理器1480是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1420内的软件程序和/或模块，以及调用存储在存储器1420内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1480可包括一个或多个处理单元；优选的，处理器1480可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1480中。

手机还包括给各个部件供电的电源1490(比如电池)，优选的，电源可以通过电源管理系统与处理器1480逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该图像处理设备所包括的处理器1480可以执行前述图1至图10所示实施例中的功能，此处不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。

当使用软件实现所述集成的单元时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。

Claims (34)

1.一种图像处理方法，其特征在于，所述方法应用于图像处理设备，所述图像处理设备包括彩色摄像头与多光谱传感器，所述方法包括：

通过所述彩色摄像头获取第一待处理图像；

通过所述多光谱传感器获取第一环境光谱信息，所述第一环境光谱信息与所述第一待处理图像对应同一个拍摄场景；

基于所述第一待处理图像与所述第一环境光谱信息获取白平衡增益；

对所述第一待处理图像进行第一处理，得到第一目标图像；

其中，所述第一处理包括基于所述白平衡增益的白平衡处理。

2.根据权利要求1所述的方法，其特征在于，所述第一待处理图像与所述第一目标图像为纯色图像。

3.根据权利要求1或2所述的方法，其特征在于，所述基于所述第一待处理图像与所述第一环境光谱信息获取白平衡增益，包括：

将所述第一环境光谱信息与所述第一待处理图像输入训练好的神经网络得到所述白平衡增益；

所述训练好的神经网络是通过以训练数据作为神经网络的输入，以损失函数的值小于阈值为目标对神经网络进行训练获取，所述训练数据包括训练原始图像与训练光谱信息，所述训练原始图像与训练光谱信息对应同一个拍摄场景，神经网络的输出包括白平衡增益，所述损失函数用于指示所述神经网络输出的白平衡增益与实际白平衡增益之间的差异，所述实际白平衡增益由灰卡在所述拍摄场景下的响应值处理得到。

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述方法还包括：

获取所述彩色摄像头的所述多个光谱响应函数；

基于所述第一环境光谱信息与所述多个光谱响应函数获取多个补偿值；

所述第一处理还包括：基于所述多个补偿值的色彩均匀color shading处理。

5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：

获取所述三刺激值曲线与所述色卡的反射率；

基于所述第一环境光谱信息、所述多个光谱响应函数、所述反射率以及所述三刺激值曲线获取颜色校正矩阵；

所述第一处理还包括：基于所述颜色校正矩阵的颜色空间转换处理。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一环境光谱信息、所述多个光谱响应函数、所述反射率以及所述三刺激值曲线获取颜色校正矩阵，包括：

将所述第一环境光谱信息转化为光源曲线；

基于所述多个光谱响应函数、所述光源曲线以及所述反射率获取所述色卡对所述彩色摄像头的第一响应值；

基于所述三刺激值曲线、所述光源曲线以及所述反射率获取所述色卡对第一人眼色彩空间的第二响应值，所述第一人眼色彩空间为人眼匹配函数对应的响应空间；

基于所述第一响应值与所述第二响应值获取所述颜色校正矩阵，所述颜色校正矩阵用于表示所述第一响应值与所述第二响应值之间的关联关系。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述第一处理还包括：

对经过所述白平衡处理后的图像进行后处理，得到所述第一目标图像。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

向用户显示所述第一目标图像。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述方法还包括：

通过所述彩色摄像头获取第二待处理图像；

通过所述多光谱传感器获取第二环境光谱信息，所述第二环境光谱信息与所述第二待处理图像对应同一个拍摄场景；

基于所述第一环境光谱信息与所述第二环境光谱信息的相似度确定滤波参数；

基于所述滤波参数对所述第一目标图像与所述第二待处理图像进行滤波，得到校正参数；

基于所述校正参数调整所述第二待处理图像得到第二目标图像。

10.根据权利要求9所述的方法，其特征在于，所述基于所述第一环境光谱信息与所述第二环境光谱信息的相似度确定滤波参数，包括：

基于所述相似度生成滤波强度函数；

基于所述滤波强度函数确定所述滤波参数。

11.一种图像处理方法，其特征在于，所述方法应用于图像处理设备，所述图像处理设备包括彩色摄像头与多光谱传感器，所述方法包括：

通过所述彩色摄像头获取第一待处理图像；

通过所述多光谱传感器获取第一环境光谱信息，所述第一环境光谱信息与所述第一待处理图像对应同一个拍摄场景；

获取所述彩色摄像头的多个光谱响应函数；

基于所述多个第一环境光谱信息与所述多个光谱响应函数获取多个补偿值；

对所述第一待处理图像进行第一处理，得到第一目标图像；

其中，所述第一处理包括基于所述多个补偿值的色彩均匀color shading处理。

12.一种图像处理方法，其特征在于，所述方法应用于图像处理设备，所述图像处理设备包括彩色摄像头与多光谱传感器，所述方法包括：

基于所述彩色摄像头获取第一待处理图像；

基于所述多光谱传感器获取第一环境光谱信息，所述第一环境光谱信息与所述第一待处理图像对应同一个拍摄场景；

获取所述彩色摄像头的多个光谱响应函数；

获取三刺激值曲线与色卡的反射率；

基于所述第一环境光谱信息、所述多个光谱响应函数、所述反射率以及所述三刺激值曲线获取颜色校正矩阵；

对所述第一待处理图像进行第一处理，得到第一目标图像；

其中，所述第一处理包括基于颜色校正矩阵的颜色空间转换处理。

13.根据权利要求12所述的方法，其特征在于，所述基于所述第一环境光谱信息、所述多个光谱响应函数、所述反射率以及所述三刺激值曲线获取颜色校正矩阵，包括：

将所述第一环境光谱信息转化为光源曲线；

基于所述多个光谱响应函数、所述光源曲线、所述反射率获取所述色卡对所述彩色摄像头的第一响应值；

基于所述三刺激值曲线、所述光源曲线、所述反射率获取所述色卡对第一人眼色彩空间的第二响应值，所述第一人眼色彩空间为人眼匹配函数对应的响应空间；

基于所述第一响应值与所述第二响应值获取所述颜色校正矩阵，所述颜色校正矩阵用于表示所述第一响应值与所述第二响应值之间的转换关系。

14.根据权利要求13所述的方法，其特征在于，所述方法还包括：

基于所述第一人眼色彩空间与第二人眼色彩空间的转换关系对所述颜色空间转换处理后的图像进行调整，所述第二人眼色彩空间为色貌模型进行色适应时所对应的响应空间。

15.一种图像处理设备，其特征在于，所述图像处理设备包括：

第一获取单元，用于通过所述彩色摄像头获取第一待处理图像；

第二获取单元，用于通过所述多光谱传感器获取第一环境光谱信息，所述第一环境光谱信息与所述第一待处理图像对应同一个拍摄场景；

第三获取单元，用于基于所述第一待处理图像与所述第一环境光谱信息获取白平衡增益；

处理单元，用于对所述第一待处理图像进行第一处理，得到第一目标图像，所述第一处理包括基于所述白平衡增益的白平衡处理。

16.根据权利要求15所述的设备，其特征在于，所述第一待处理图像与所述第一目标图像为纯色图像。

17.根据权利要求15或16所述的设备，其特征在于，所述第三获取单元，具体用于将所述第一环境光谱信息与所述第一待处理图像输入训练好的神经网络得到所述白平衡增益；

所述训练好的神经网络是通过以训练数据作为神经网络的输入，以损失函数的值小于阈值为目标对神经网络进行训练获取，训练数据包括训练原始图像与训练光谱信息，所述训练原始图像与训练光谱信息对应同一个拍摄场景，神经网络的输出包括白平衡增益，所述损失函数用于指示所述神经网络输出的白平衡增益与实际白平衡增益之间的差异，所述实际白平衡增益由灰卡在所述拍摄场景下的响应值处理得到。

18.根据权利要求15至17中任一项所述的设备，其特征在于，所述设备还包括：

第四获取单元，用于获取所述彩色摄像头的多个光谱响应函数；

所述第四获取单元，还用于基于所述第一环境光谱信息与所述多个光谱响应函数获取多个补偿值；

所述处理单元，还用于基于所述多个补偿值的色彩均匀color shading处理。

19.根据权利要求18所述的设备，其特征在于，所述设备还包括：

第五获取单元，用于获取三刺激值曲线与色卡的反射率；

所述第五获取单元，还用于基于所述第一环境光谱信息、所述多个光谱响应函数、所述反射率以及所述三刺激值曲线获取颜色校正矩阵；

所述处理单元，还用于基于所述颜色校正矩阵的颜色空间转换处理。

20.根据权利要求19所述的设备，其特征在于，所述第五获取单元，具体用于将所述第一环境光谱信息转化为光源曲线；

所述第五获取单元，具体用于基于所述多个光谱响应函数、所述光源曲线以及所述反射率获取所述色卡对所述彩色摄像头的第一响应值；

所述第五获取单元，具体用于基于所述三刺激值曲线、所述光源曲线以及所述反射率获取所述色卡对第一人眼色彩空间的第二响应值，所述第一人眼色彩空间为人眼匹配函数对应的响应空间；

所述第五获取单元，具体用于基于所述第一响应值与所述第二响应值获取所述颜色校正矩阵，所述颜色校正矩阵用于表示所述第一响应值与所述第二响应值之间的关联关系。

21.根据权利要求15至20中任一项所述的设备，其特征在于，所述处理单元，还用于对经过所述白平衡处理后的图像进行后处理，得到所述第一目标图像。

22.根据权利要求15至21中任一项所述的设备，其特征在于，所述设备还包括：

显示单元，用于向用户显示所述第一目标图像。

23.根据权利要求15至22中任一项所述的设备，其特征在于，所述第一获取单元，还用于通过所述彩色摄像头获取第二待处理图像；

所述第二获取单元，还用于通过所述多光谱传感器获取第二环境光谱信息，所述第二环境光谱信息与所述第二待处理图像对应同一个拍摄场景；

所述设备还包括：

确定单元，用于基于所述第一环境光谱信息与所述第二环境光谱信息的相似度确定滤波参数；

滤波单元，用于基于所述滤波参数对所述第一目标图像与所述第二待处理图像进行滤波，得到校正参数；

所述处理单元，还用于基于所述校正参数调整所述第二待处理图像得到第二目标图像。

24.根据权利要求23所述的设备，其特征在于，所述确定单元，具体用于基于所述相似度生成滤波强度函数；

所述确定单元，具体用于基于所述滤波强度函数确定所述滤波参数。

25.一种图像处理设备，其特征在于，所述图像处理设备包括：

第一获取单元，用于通过所述彩色摄像头获取第一待处理图像；

第二获取单元，用于通过所述多光谱传感器获取第一环境光谱信息，所述第一环境光谱信息与所述第一待处理图像对应同一个拍摄场景；

第三获取单元，用于获取所述彩色摄像头的多个光谱响应函数；

所述第三获取单元，还用于基于所述第一环境光谱信息与所述多个光谱响应函数获取多个补偿值；

处理单元，用于对所述第一待处理图像进行第一处理，得到第一目标图像；

其中，所述第一处理包括基于所述多个补偿值的色彩均匀color shading处理进行色彩均匀color shading处理。

26.一种图像处理设备，其特征在于，所述图像处理设备包括：

第一获取单元，用于通过所述彩色摄像头获取第一待处理图像；

第二获取单元，用于通过所述多光谱传感器获取第一环境光谱信息，所述第一环境光谱信息与所述第一待处理图像对应同一个拍摄场景；

第三获取单元，用于获取所述彩色摄像头的多个光谱响应函数；

所述第三获取单元，还用于获取三刺激值曲线与色卡的反射率；

所述第三获取单元，还用于基于所述第一环境光谱信息、所述多个光谱响应函数、所述反射率以及所述三刺激值曲线获取颜色校正矩阵；

处理单元，用于对所述第一待处理图像进行第一处理，得到第一目标图像；

其中，所述第一处理包括基于颜色校正矩阵的颜色空间转换处理。

27.根据权利要求26所述的设备，其特征在于，所述第三获取单元，具体用于将所述第一环境光谱信息转化为光源曲线；

所述第三获取单元，具体用于基于所述多个光谱响应函数、所述光源曲线、所述反射率获取所述色卡对所述彩色摄像头的第一响应值；

所述第三获取单元，具体用于基于所述三刺激值曲线、所述光源曲线、所述反射率获取所述色卡对第一人眼色彩空间的第二响应值，所述第一人眼色彩空间为人眼匹配函数对应的响应空间；

所述第三获取单元，具体用于基于所述第一响应值与所述第二响应值获取所述颜色校正矩阵，所述颜色校正矩阵用于表示所述第一响应值与所述第二响应值之间的转换关系。

28.根据权利要求27所述的设备，其特征在于，所述处理单元，还用于基于所述第一人眼色彩空间与第二人眼色彩空间的转换关系对所述颜色空间转换处理后的图像进行调整，所述第二人眼色彩空间为色貌模型进行色适应时所对应的响应空间。

29.一种图像处理设备，其特征在于，所述图像处理设备包括彩色摄像头、多光谱传感器与图像处理器；

所述彩色摄像头，用于获取第一待处理图像；

所述多光谱传感器，用于获取第一环境光谱信息，所述第一环境光谱信息与所述第一待处理图像对应同一个拍摄场景；

所述图像处理器，用于对所述第一待处理图像进行第一处理，得到第一目标图像；

其中，所述第一处理包括基于所述白平衡增益的白平衡处理。

30.一种图像处理设备，其特征在于，所述图像处理设备包括彩色摄像头、多光谱传感器与图像处理器；

所述彩色摄像头，用于获取第一待处理图像；

所述多光谱传感器，用于获取第一环境光谱信息，所述第一环境光谱信息与所述第一待处理图像对应同一个拍摄场景；

所述图像处理器，用于获取所述彩色摄像头的多个光谱响应函数；

所述图像处理器，还用于基于所述第一环境光谱信息与所述多个光谱响应函数获取多个补偿值；

所述图像处理器，还用于对所述第一待处理图像进行第一处理，得到第一目标图像；

其中，所述第一处理包括基于所述多个补偿值的色彩均匀color shading处理。

31.一种图像处理设备，其特征在于，所述图像处理设备包括彩色摄像头、多光谱传感器与图像处理器；

所述彩色摄像头，用于获取第一待处理图像；

所述多光谱传感器，用于获取与所述第一待处理图像对应的第一环境光谱信息；

所述图像处理器，用于获取所述彩色摄像头的多个光谱响应函数；

所述图像处理器，还用于获取三刺激值曲线与色卡的反射率；

所述图像处理器，还用于基于所述第一环境光谱信息、所述多个光谱响应函数、所述反射率以及所述三刺激值曲线获取颜色校正矩阵；

所述图像处理器，还用于对所述第一待处理图像进行第一处理，得到第一目标图像；

其中，所述第一处理包括基于颜色校正矩阵的颜色空间转换处理。

32.一种图像处理设备，其特征在于，包括：处理器，所述处理器与存储器耦合，所述存储器用于存储程序或指令，当所述程序或指令被所述处理器执行时，使得所述图像处理设备执行如权利要求1-14所述的方法。

33.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如权利要求1至14中任一项所述的方法。

34.一种计算机程序产品，其特征在于，所述计算机程序产品在计算机上执行时，使得所述计算机执行如权利要求1至14中任一项所述的方法。

Images