CN113170028A - 生成基于机器学习的成像算法的图像数据的方法 - Google Patents

Abstract

公开了一种方法和系统，用于将从线上图像源下载的任意RGB图像转换为光谱图像，并借助于摄像头表征数据进一步处理所述光谱图像成为输入和地面真值图像对，以便用于训练深度神经网络以执行图像处理任务，例如自动白平衡(Auto White Balance，AWB)或颜色阴影校正(Color Shading Correction，CSC)。

Description

生成基于机器学习的成像算法的图像数据的方法

技术领域

本公开涉及图像信号处理，尤其涉及一种用于将任意RGB图像转换成光谱图像的方法和系统，所述光谱图像可被进一步处理为用于深度学习算法训练的原始RGB图像。

背景技术

摄像头芯片制造商的最终目标是制造传感器S，以捕获由光源l光照的场景R的图像I，从而提供完美的图像质量。对于手机摄像头芯片制造商而言，因为最好的手机摄像头和高端DSLR摄像头之间仍存在质量差距，所以该目标能以更加适当和实用的方式定义为：提供与高质量DSLR摄像头匹配的质量图像。仅通过传感器硬件不容易实现该目标，但是传感器图像(原始RGB图像)必须由制造商限定的图像信号处理器(Image Signal Processor，ISP)管道进行后处理，该管道包括例如降噪、镜头阴影校正、白平衡(色彩恒常性)校正和拜耳去马赛克等各种算法。由于深度学习的引入，研究所有这些算法是否可以被端到端可学习的深度图像到图像传输架构取代就变得十分重要。

为了训练这些深度架构，需要一大组图像对，其中各图像对包括由摄像头传感器S捕获的原始RGB图像和由表示地面真值S^GT的高端传感器捕获的高质量(理想)图像。

这种方法面临的挑战是需要费力收集大型数据集，并且在对准由摄像头传感器S和表示地面真值S^GT的高端传感器捕获的图像时存在误差。例如，在自动白平衡(Auto WhiteBalance，AWB)校正的情况下，训练图像对的生成成为可能但是非常耗时，因为这将需要在要捕获的每个场景中物理定位白色参照物。在其它情况下，例如颜色阴影校正(ColorShading Correction，CSC)，甚至不可能手动生成训练图像对。

在过去，数据增强已被用于许多基于深度学习的计算机视觉应用。这些应用包括图像转换、风格迁移和生成对抗网络。然而，这些方法通常不适用于ISP相关算法的学习，因为这些方法需要更精确的转换才能用于学习。

为了解决ISP相关算法的问题，RGB到光谱图像转换(RGB到SPEC)是生成由近似传感器观察到的原始RGB图像的必要步骤。然而，现有的RGB到SPEC转换方法假定设备(显示器或摄像头设备)的光谱表征是可用的，因此对于不存在捕获设备详细信息(例如，输入图像从互联网下载)的情况则未提供解决方案。

其它方法包括也可用于反向处理网络图像的摄像头处理模型，但不考虑光谱反射比，也不考虑完全未知的摄像头配置文件。

发明内容

本发明的目的在于提供一种改进的图像信号处理方法，以克服或至少减少上述问题。

通过上述提出的方法将任意图像I_WEB转换为在任意光照l下的捕获场景反射比R的光谱地面真值图像数据I_SPEC来实现该目的。然后，将所述光谱图像数据I_SPEC前向转换为已知传感器S的原始RGB图像数据I_RAW。所述生成的图像I_RAW之后可用于训练自动白平衡(AutoWhite Balance，AWB)和颜色阴影校正(Color Shading Correction，CSC)等ISP算法的深度模型。

上述及其它目的通过独立权利要求的特征来实现。进一步的实现方式在从属权利要求、具体说明和附图中显而易见。

第一方面，提供了一种用于处理图像数据的方法，该方法包括以下步骤：

在存储器中存储表示图像的图像数据I_WEB，其中所述图像数据I_WEB为RGB格式；

在图像信号处理器中接收所述图像数据I_WEB；

通过对所述图像数据I_WEB应用反向伽马校正将所述图像数据I_WEB转换为线性RGB格式；

对所述图像数据I_WEB应用观察者颜色映射函数；

将所述图像数据I_WEB转换为光谱匹配色彩空间，其中亮度分量L和色度分量c分离；

在相同光谱匹配色彩空间中提供自然光谱λ的值；

在所述光谱匹配色彩空间中对所述图像数据I_WEB应用光谱匹配，其中省略所述亮度分量L并且测量所述图像和所述自然光谱λ之间的色差作为其色度分量c对之间的欧氏距离；

通过按迭代步骤的顺序修改所述自然光谱λ来改进所述光谱匹配，以减小所述欧氏距离并找到对应的自然光谱λ；以及

通过所述对应的自然光谱λ将所述图像数据I_WEB转换为光谱图像的光谱图像数据I_SPEC。

根据提出的图像数据处理方法，可以将任意RGB图像作为输入，并将其转换为原始RGB图像，最终实现深度学习的数据增强。该方法能够完全控制重要场景、镜头和摄像头参数，以“幻化出”近似任意已知传感器的虚拟摄像头的原始传感器图像。该方法最终还能够模拟地面真值图像，这一事实导致有可能例如通过已知的图像抓取方法下载大量任意线上图像，并将其转换为可用于训练深度模型以替代传统ISP算法的传感器特定图像。这种方法不仅节省了时间，例如在训练针对AWB校正任务的机器学习模型的情况下，而且能够训练以前不可能实现的机器学习任务，例如颜色阴影校正。

在所述第一方面的一种可能的实现方式中，所述方法的步骤按照所述第一方面的描述中指示的顺序执行。

在所述第一方面的一种可能的实现方式中，对所述图像数据I_WEB应用观察者颜色映射函数包括：

将所述图像数据I_WEB的色度坐标c_S从源三刺激色彩空间转换为目标三刺激色彩空间中的色度坐标c_t，其中所述转换通过以下至少一种方式完成：

转换查找表LUT；或

转换矩阵M，其中所述转换矩阵M的尺寸至少为3×3。

在所述第一方面的一种可能的实现方式中，所述色度坐标的转换根据以下公式并使用转换矩阵M完成：

c_t＝Mc_s；以及

其中，所述方法还包括根据以下公式使用迭代循环中的梯度下降算法优化所述转换矩阵M：

其中，i表示用于所述颜色映射函数的颜色数量，c_CIE表示标准色彩空间中的目标色度坐标，c_sRGB表示RGB色彩空间中的源色度坐标；

其中，对各非对角系数逐个优化；

在每次非对角系数变化之后立即计算对角值，以保持每行的和为1；以及

在计算完所有系数之后，再次应用优化步骤，直到未发现改善为止。

在所述第一方面的一种可能的实现方式中，对所述图像数据I_WEB应用观察者颜色映射函数包括：

将目标色彩空间固定为CIE1931标准观察者色彩空间；以及

定义具有已知反射光谱和校准图的固定数目N_c个颜色，所述已知反射光谱和校准图覆盖用于所述颜色映射函数的标准RGB色域；

其中所述固定数目N_c大于或等于24。

在所述第一方面的一种可能的实现方式中，对所述图像数据I_WEB应用观察者颜色映射函数还包括：

选择其光谱可用且其分布近似典型光源l用例的正态统计分布的一定数目N_L个光源l；以及

在所述迭代步骤的顺序期间，每次选择所述N_L个光源l中的一个作为所选择的光源m；

其中，所述选择实现为随机选择或基于与所述图像相关联的信息(如元数据或图像数据I_WEB)做出的选择中的至少一个；以及

其中，所述数目N_L的范围为10-1000，更优选为50-500，更优选为100。

在所述第一方面的一种可能的实现方式中，所述方法还包括：

在将所述观察者颜色映射函数应用于所述图像数据I_WEB之后，对所述图像数据I_WEB应用反向自动白平衡校正；其中

在所述光谱匹配之前优选应用所述反向自动白平衡校正。

在所述第一方面的一种可能的实现方式中，所述光谱匹配色彩空间是取值限定为(L)a₁b₁的CIELAB色彩空间，其中L指亮度分量，而a₁和b₁指色度分量，为三个数值。

在所述第一方面的一种可能的实现方式中，对所述图像数据I_WEB应用光谱匹配包括在色值之间进行插值；其中

每个像素颜色都根据一组自然光谱响应重建；以及

在谱域中应用插值权重以根据以下公式重建所述图像中每个像素的色谱：

I_i(x,y)＝∑w_li_db,l，i∈{a,b}

其中，I(x,y)表示所述谱域中的原始图像，l表示所述光源，w_l表示所述插值权重，db表示典型光照{R_db,G_db,B_db}下的自然光谱的数据库。

在所述第一方面的一种可能的实现方式中，改进所述光谱匹配包括：

应用迭代函数，所述迭代函数更改由CIE标准观察者曲线调制的插值光谱：

其中，I(λ)是待优化图像的光谱，其中λ表示所述CIE标准观察者曲线，S_i ^CIE表示基于所述CIE标准观察者曲线的归一化权重，并且c^T和c^S分别表示目标RBG值和源RBG值；以及

计算所述目标RBG值c^T和所述源RBG值c^S之间的误差，其中所述迭代函数被迭代优化，直到误差为：

在所述第一方面的一种可能的实现方式中，所述方法还包括：

在将所述图像数据I_WEB转换为光谱图像数据I_SPEC之后，通过在所述谱域中将照度值相乘来为每个像素匹配所述图像的亮度水平。

在所述第一方面的一种可能的实现方式中，所述方法还包括：

使用与摄像头传感器S的空间光谱响应有关的摄像头表征信息将所述光谱图像数据I_SPEC转换为原始RGB图像数据I_RAW；

其中，与一个光谱图像相关联的光谱图像数据I_SPEC用于为多个原始RGB图像生成原始RGB图像数据I_RAW。

在所述第一方面的一种可能的实现方式中，根据摄像头传感器的空间光谱测量获得所述摄像头表征信息。

在所述第一方面的一种可能的实现方式中，将所述光谱图像数据I_SPEC转换为原始RGB图像数据I_RAW包括：

使用与所述摄像头传感器S的空间光谱响应有关的所述信息和将所述观察者颜色映射函数应用于所述图像数据I_WEB时所选择的光源l的光谱λ来计算所述光谱图像的每个像素的RGB颜色响应。

在所述第一方面的一种可能的实现方式中，将所述光谱图像数据I_SPEC转换为原始RGB图像数据I_RAW还包括：

通过将所述光谱图像中心处的摄像头响应与光源l相乘并分别汇总R、G、B通道的结果来计算AWB校正增益；

通过将空间摄像头响应与光源l相乘并分别汇总R、G、B通道的结果，然后在图像中心处应用自动白平衡增益并归一化响应来计算颜色阴影和渐晕参数；

通过应用所述渐晕参数的倒数来可选地应用渐晕校正；以及

根据计算的参数应用自动白平衡校正和颜色阴影校正。

在所述第一方面的一种可能的实现方式中，所述方法还包括：

使用所述原始RGB图像数据I_RAW来训练深度学习模型DL；

其中，所述深度学习模型DL用于将自动图像信号处理功能应用于输入图像数据；

其中，所述功能为自动白平衡校正或颜色阴影校正之一。

第二方面，提供了一种用于处理图像数据的基于计算机的系统，所述系统包括：

存储器设备，用于以RGB格式存储图像的图像数据I_WEB；

图像信号处理器，用于接收所述图像数据I_WEB作为反向图像信号处理管道的输入；以及

存储设备，用于存储指令，当被所述图像信号处理器执行时，所述指令使所述基于计算机的系统执行根据所述第一方面的任一可能实现方式所述的方法。

这些方面和其它方面将在以下所述实施例中显而易见。

附图说明

在本公开内容的以下详述部分中，将结合附图中所展示的示例性实施例来更详细地解释这些方面、实施例和实现方式，其中：

图1是第一方面的实施例提供的图像信号处理方法的流程图。

图2是第一方面的另一个实施例提供的将观察者颜色映射函数应用于图像数据的流程图。

图3是第一方面的另一个实施例提供的光谱细化迭代的流程图。

图4是第一方面的另一个实施例提供的将光谱图像数据转换为原始RGB图像数据的流程图。

图5是第一方面的另一个实施例提供的生成原始RGB图像数据的流程图。

图6是第一方面的另一个实施例提供的使用原始RGB图像数据来训练深度学习模型的流程图。

图7示出了第一方面的另一个实施例提供的图像信号处理方法概览的流程图。

图8示出了第二方面提供的基于计算机的系统的硬件配置示例的框图。

具体实施方式

图1示出了第一方面提供的图像信号处理方法核心步骤的流程图。

该方法的主要目的在于在反转传感器S的标准图像信号处理器(Image SignalProcessor，ISP)管道，所述传感器S在光照l下产生场景颜色R的图像I。在整体光照下的图像形成问题可表示为以下ISP方程：

I_i(x,y)＝∫L(λ)S_i(x,y,λ)R(x,y,λ)dλ，i∈{R,G,B}

在该方程中，I_i(x,y)是红、绿、蓝(Red,Green,Blue，R、G、B)三色通道的空间图像，特征传感器曲线在波长λ上，因此I_i是对应于每个像素处的传感器读数的“原始图像”。如果光谱图像R可用，则可以针对任意光照L和传感器S渲染图像I_i。

在第一步骤101中，将图像作为图像数据I_WEB存储在存储器2中。在一个实施例中，该图像从线上图像源下载并存储在存储设备4中，然后被加载到存储器2中临时存储。在一个实施例中，该图像通过抓取方法下载。这些线上找到的图像通常使用RGB或标准RGB(standard RGB，sRGB)色彩空间，其中的颜色独立于捕获设备。为了将这些图像转换为更有用的观察者RGB空间，我们需要执行两个步骤：RGB线性化和色彩空间转换。

为此，在下一步骤102中，在图像信号处理器3处传送和接收所述图像数据I_WEB。

在下一步骤103中，所述图像数据I_WEB被转换为线性RGB格式。在该RGB线性化步骤中，对该图像数据应用反向伽马校正。这是有必要的，因为出于显示目的而使用的图像其sRGB色彩空间本质上是经过伽马校正的。然而，出于处理目的，最好使用线性RGB色彩空间(lin-RGB)，其中色值对应于辐射。为此，我们使用以下反向伽马校正公式：

其中C′表示sRGB中的R、G、B值，C表示lin-RGB中的相应线性值。

在下一个色彩空间转换步骤104中，将观察者颜色映射函数应用于所述图像数据I_WEB，以便根据源三刺激色彩空间(例如lin-RGB)的色度坐标c_s计算目标三刺激色彩空间中的色度坐标c_t。在一个实施例中，该色彩空间被固定为标准观察者色彩空间。在其它可能的实施例中，可以使用其它观察者，例如摄像头传感器特性。

在一个实施例中，在下一步骤105中，对所述图像数据I_WEB应用反向自动白平衡(Auto White Balance，AWB)校正。该步骤虽然不是强制性的，但需要在光谱匹配之前考虑，因为所有信息都需要处于共同的色彩空间中。在另一个实施例中，白平衡会在之后校正，例如在光谱数据库计算期间。在这一点上反转AWB导致在迭代步骤期间不需要AWB。该反转是利用具有已知光源l和观测者S的ISP方程完成。假设场景R的颜色是完全平坦的，即灰色，并且可以从ISP方程中忽略。因此，可以计算和归一化颜色通道响应差异。归一化增益与在此阶段可以反转的AWB增益相同。

在下一步骤106中，所述图像数据变换为光谱匹配色彩空间，其中亮度分量L和色度分量c分离，并且色差可以使用欧氏距离来衡量。在一个实施例中，该色彩空间是取值限定为(L)a₁b₁的CIELAB色彩空间，其中L指亮度分量，而a₁和b₁指色度分量，为三个数值。然而，在其它可能的实施例中，可以使用其它色彩空间，例如YUV、CIELUV、HSV等。

在反转成像管道之后，在具有随机选择的光源m的线性观察者色彩空间中给出输入图像为I_CIE-RGB,m(x,y)。然后，通过相同的色彩空间{R_db,G_db,B_db}_l,m中先前计算的自然光谱色值将所有RGB值转换为光谱匹配色彩空间。

在下一步骤107中，在与所述图像数据转换成的色彩空间相同的光谱匹配色彩空间中提供自然光谱λ的值。在一个实施例中，从自然光谱的数据库9提供这些值。在一个实施例中，数据库9提供覆盖自然场景色域的数据集。在一个实施例中，使用Munsell全光泽数据库提供自然光谱λ的值，以便使用ISP方程将每个光谱转换为具有全部m个光源的观察者RGB空间，以表示典型光照{R_db,G_db,B_db}_l,m下的自然光谱数据库db。在一个实施例中，m＝100。

在下一光谱匹配步骤108中，将图像三刺激值与三刺激空间中不同自然光谱的三刺激值进行匹配。省略亮度分量L并且测量所述图像和自然光谱λ之间的色差作为其色度分量c对之间的欧氏距离。在一个实施例中，针对光谱匹配进行插值，其中，每个像素颜色都根据一组自然光谱响应按照以下公式重建：

I_i(x,y)＝∑w_li_db,l，i∈{a,b}

其中，I(x,y)表示谱域中的原始图像，l表示所述光源，w_l表示所述插值权重，db表示典型光照{R_db,G_db,B_db}下的自然光谱的数据库。

在所述谱域中应用插值权重w_l以重建所述图像中每个像素的色谱。在这个阶段之后，我们在谱域I(x,y；λ,L^l)中得到原始图像，其中，L^l表示针对可用光源组中第l个光源该光谱的具体内容。

所述插值光谱的质量取决于光谱数据库的质量和匹配技术的准确性。值得注意的是，Munsell光谱数据库具有稀疏性，因此会导致离散误差。

因此，出于此目的，该方法中引入了下一光谱细化步骤109，该步骤通过按迭代步骤的顺序修改所述自然光谱λ来提供与输入图像像素的RBG值相比更准确的光谱，以减小所述欧氏距离并找到对应的自然光谱λ。

在下一步骤110中，使用在所述频谱细化109的迭代步骤期间确定的对应自然频谱λ将所述图像数据I_WEB转换为频谱图像数据I_SPEC。

反转所述图像信号处理管道的结果为l(λ)R(λ)，其中，光源可以从具有已知光谱(λ)特性的标准光源集合中任意选择。根据l(λ)R(λ)可以为任何光谱特性已知的传感器S(λ)生成I_RAW。

图2示出了对所述图像数据I_WEB应用观察者颜色映射函数的步骤。

在第一步骤1041中，给定源三刺激色彩空间(例如lin-RGB)的色度坐标c_s的情况下，可以计算目标三刺激色彩空间中的坐标c_t。在一个实施例中，所述转换通过转换查找表LUT完成。在另一个实施例中，所述转换根据以下公式并使用转换矩阵M完成：

c_t＝Mc_s

在一个实施例中，所述转换矩阵M的尺寸是3×3。在其它可能的实施例中，所述转换矩阵M的尺寸可以更大，例如4×4、5×5、6×6等。

在下一步骤1042中，目标色彩空间被固定为观察者色彩空间。我们知道该观察者色彩空间的光谱灵敏度曲线为S_X ^CIE(λ)、S_Y ^CIE(λ)和S_Z ^CIE(λ)。理想的ISP管道产生与设备无关的图像，其中，由理想的显示器渲染的颜色对应于人类观察到的颜色(通常情况下)。在一个实施例中，在标准RGB(standard RGB，sRGB)色彩空间中将普通人定义为CIE1931标准观察者，因此所述目标色彩空间被固定为CIE1931标准观察者色彩空间。

在下一步骤1043中，定义了覆盖sRGB色域并且其反射光谱可用的固定数目N_c个颜色。在一个实施例中使用了公知的ColorChecker彩色再现卡提供的24种标准色，其中所述24种颜色中的每一种均代表自然物体的实际颜色，并和其在真实世界的对应物一样对光进行反射。这些ColorChecker颜色的反射光谱R^j＝1,…,24(λ)可用。在其它可能的实施例中，可以使用其它颜色图表，其中，所述固定的颜色数目N_c小于、等于或大于24。

对于固定光源L^k(λ)，使用根据ISP方程的公式来构造由标准观察者(CIE)观察到的RGB值，所述RGB值为固定光源k所照亮的颜色j的RGB值。

虽然该观察者空间可以固定为所述CIE1931标准观察者色彩空间并且颜色可以固定为所述24种ColorChecker颜色，但是光源的选择在用于成像的数据增强中具有重要作用，因为成像算法对于所有光照类型都应该具有鲁棒性。

因此，在下一步骤1044中，选择自然光谱可用且其分布近似典型用例(例如，室外：日光；室内：荧光灯和钨丝灯；闪光灯：LED灯)的一定数目N_L个光源l。在一个实施例中从标准光源里选择所述光源。在一个实施例中，所述数目N_L等于100。在其它可能的实施例中，所述数目N_L的范围为10-1000，更优选为50-500。

表1中示出了可能的实施例提供的标准光源分布。

表1提出的数据增强中使用的标准光源数据库

光源R<sup>k</sup>(λ)类型	编号	色温(K)
			日光	70	2500–9400
LED灯	13	2300–5800
			钨丝灯	9	2200–3250
荧光灯	8	2500–4250

在下一步骤1045中，从所述N_L个光源l中为每个图像选择一个光源。在一个实施例中，所述选择实现为随机选择。在另一个实施例中，所述选择实现为基于与所述图像相关联的信息(如元数据或图像数据I_WEB)做出的选择。可以注意到，这种选择不会影响结果，即便对于与捕获图像时实际存在的光源距离较远的光源来说也是如此。然而，在一个实施例中，针对每个固定光源k形成了转换矩阵M^k。

在下一步骤1046中，可以通过以下优化方法来优化转换矩阵M：

其中，i可以指所述24种ColorChecker颜色。所述源和目标RGB值(R_sRGB,G_sRGB,B_sRGB)^T和(R_CIE,G_CIE,B_CIE)^T可使用光源的已知光谱以及所述sRGB和CIELAB色彩空间来计算。

在一个实施例中，梯度下降算法用于优化转换矩阵M，以便对各非对角系数逐个优化。在优化完所有系数之后，再次开始优化，直到未发现改善为止。因为所述系数的局部最小值相互关联，因此需要这种基于迭代的方法。所述算法采用CIE Delta E*作为成本函数。

在每次系数变化之后立即计算对角值，以保持每行的和为1，从而在该阶段不影响白平衡。

对于所述反转的成像管道，RGB或sRGB值因此被lin-RGB值代替，并且M^-1可用于将所述lin-RGB值转换为观察者色彩空间。

图3示出了提供与输入图像像素的RBG值相比更准确的光谱的光谱细化迭代。可以应用不同的算法来实现此光谱细化目的，但这些算法容易导致自然界中不存在的非自然峰值光谱。

在下一步骤1091中，应用了迭代算法，所述迭代算法通过更改由CIE标准观察者曲线调制的插值光谱来最小化CIE RGB误差，如下所示：

其中，I(λ)是待优化图像的光谱，其中λ表示所述CIE标准观察者曲线，S_i ^CIE表示基于所述CIE标准观察者曲线的归一化权重，并且c^T和c^S分别表示目标RBG值和源RBG值。所述观察者曲线代表已经进化以适应自然环境的人类色彩感知这一事实也证明了这一步的正确性。

在下一步骤1092中，所述迭代函数被迭代优化，直到所有R、G、B值的误差都满足以下条件：

图4示出了将光谱图像数据I_SPEC转换为原始RGB图像数据I_RAW的步骤。

在第一步骤111中，在将所述图像数据I_WEB转换为光谱图像数据I_SPEC之后，通过在所述谱域中的简单乘法来为每个像素匹配图像亮度水平。

在下一步骤112中，使用与摄像头传感器S的空间光谱响应有关的摄像头表征信息将所述光谱图像数据I_SPEC转换为原始RGB图像数据I_RAW。在该步骤中，可以使用与一个光谱图像相关联的光谱图像数据I_SPEC通过多个摄像头传感器S¹-S^N的空间光谱响应的摄像头表征信息来为多个原始RGB图像I_RAW ¹-I_RAW ^N生成原始RGB图像数据I_RAW。

在一个实施例中，根据摄像头传感器的空间光谱测量获得所述摄像头表征信息。例如，在一个实施例中，可以使用Labsphere QES-1000设备来测量支持原始图像输出的移动摄像头(例如华为P20智能手机的摄像头)的光谱响应，所述原始图像输出为获取准确结果所需。所述光谱测量设备可测量380-1100nm范围内的光谱，步长为1nm。为了节省存储空间和处理时间，在一个实施例中，利用400-700nm的范围以5nm为步长进行所有计算。在一个实施例中，为了降低测量噪声，在计算空间光谱网格时对每个颜色通道的50×50像素区域进行平均。在一个实施例中，奇数列和奇数行用于在图像中心获得一个点。在特别有利的实施例中，这导致59×79个点的网格。

图5示出了用于生成原始RGB图像数据I_RAW(112)的步骤顺序。

在第一步骤1121中，根据ISP方程在每个空间位置处将摄像头传感器的响应、所选光源和图像反射光谱组合在一起以获得R、G、B响应。使用与用于将RBG图像I_WEB转换为光谱图像I_SPEC的光源相同的光源来避免在图像色偏十分重要。

在一个实施例中，通过将最高值设置为数据范围的最大值来为此步骤限定数据范围。然而，这会导致所有图像都存在类似曝光，没有那么真实。因此，在另一个优选实施例中，将[0.6，1.4]之间的随机乘数引入到图像中，从而导致部分图像曝光不足而部分图像过度曝光存在裁剪后的高光。

在下一步骤1122中，通过将所述中心处的摄像头响应与光源l相乘并分别汇总R、G、B通道的结果来计算理想的AWB校正增益。此步骤给出了灰色时颜色通道的相对灵敏度。

所述AWB增益计算如下：

在下一步骤1123中，通过将空间摄像头响应与光源相乘并分别汇总R、G、B通道的结果，然后在图像中心处应用AWB增益并归一化响应来计算颜色阴影和渐晕参数。每个像素位置处的min(R,G,B)值表示渐晕，因此根据以下公式，颜色阴影为颜色通道与像素位置(x,y)处最小响应的比率：

其中，C是R、G或B的值。

在下一可选步骤1124中，可以对所述图像应用渐晕校正。所述校正只是所计算出的渐晕参数的倒数。

在一个实施例中，通过DSLR捕获的参考数据集具有非常小的渐晕，可以在计算每个像素的RGB颜色响应1121之后立即应用渐晕校正。这样一来，以下步骤就不必学习渐晕校正。

在下一步骤1125中，对所述图像应用准确的AWB和颜色阴影校正值，从而得到输入和输出训练对的所有剩余组合。

图6示出了使用上述步骤112中生成的原始RGB图像数据I_RAW作为输入来训练113深度学习模型DL的步骤。所述深度学习模型DL用于将自动图像信号处理功能应用于输入图像数据。所述信号处理功能可以是自动白平衡(Auto White Balance，AWB)或颜色阴影校正(Color Shading Correction，CSC)。

图7示出了所提出的图像信号处理方法的概览。该方法将来自计算机网络10的任意RGB图像(例如，从线上图像源下载的图像)作为输入图像数据I_WEB 102，并且先将这些图像转换为光谱图像数据I_SPEC 110，然后再转换为原始RGB图像数据112。然后，这些步骤的输出图像对可用于深度学习模型DL中的输入数据训练的数据增强113。该模型可用于诸如自动白平衡校正或颜色阴影校正等任务的自动处理。

该方法能够完全控制重要场景、镜头和摄像头参数，以“幻化出”近似任意已知传感器的虚拟摄像头的原始传感器图像。所生成的数据能够模拟地面真值图像，因此可以用于训练现代图像信号处理器(image signal processor，ISP)所需的标准算法的深度模型。

图8示出了第二方面提供的基于计算机的系统1的硬件配置示例的框图。与此处先前描述或示出的对应步骤和特征相同或相似的步骤和特征由与先前为简单起见所使用的相同附图标号表示。

基于计算机的系统1可以连接到用于存储自然光谱数据的数据库9，其中两者之间的连接类型可以是直接连接或间接连接，如将在下面所述。

基于计算机的系统1可以包括图像信号处理器(Image Signal Processor，ISP)12，用于接收图像数据I_WEB作为输入并且以基于软件的指令为基础执行图像数据处理；存储介质(HDD)13，用于存储要由ISP 12处理的数据和要由ISP 12执行的基于软件的指令；以及存储器(RAM)，用于(临时)存储RGB格式的图像的图像数据I_WEB。

基于计算机的系统1还可以包括输入设备(IN)5，用于从用户接收输入；诸如电子显示器等输出设备(OUT)6，用于向用户传送信息；以及通信接口(COMM)7，用于经由计算机网络10直接或间接地与外部设备通信。

上述基于计算机的系统1内的硬件元件可以经由内部总线8连接，所述内部总线8用于处理数据通信和处理操作。

在一个实施例中，基于计算机的系统1和数据库9都包括在通过内部总线8连接的同一物理设备中。

在另一个实施例中，基于计算机的系统1和数据库9是或部分是物理上不同的设备，并且经由通信接口(COMM)7直接或间接地通过计算机网络10连接。

在此结合各种实施例描述了各个方面和实现方式。但本领域技术人员通过实践本主题，研究附图、本发明以及所附的权利要求，能够理解并获得公开实施例的其它变体。在权利要求书中，词语“包括”不排除其它元素或步骤，术语“一”或者“一个”不排除多个。单个处理器或其它单元可满足权利要求中描述的几项的功能。在相互不同的从属权利要求中列举某些措施并不表示这些措施的组合不能被有效地使用。计算机程序可存储或分发到合适的介质上，例如与其它硬件一起或者作为其它硬件的部分提供的光存储介质或者固态介质，还可以以其它形式例如通过因特网或者其它有线或无线电信系统分发。

权利要求书中所用的附图标记不应解释为对范围的限制。

验证试验结果

为了验证所提出的反向成像管道方法，我们对随机选择的1000幅OpenImages图像进行了验证检查，先用该方法将所述OpenImages图像转换到谱域，然后用前向管道将其转换回来。在上述后向-前向流程之后，我们计算了所有图像中原始像素和后向-前向处理后的像素之间的平均误差、中位误差、最大误差和第99百分位数误差。这些数值分别为0.0016、0.0003、1.7795、0.0198，记录为色度误差。

色彩理论文献中认为小于1.0的误差可被忽略不计。因此，这些误差非常小，以至于不会引起人们的注意。然而，我们也认识到一些优化的光谱在形状上可以更自然。当原始输入像素中存在零值时，会出现不自然的情况。在这种情况下，光谱优化例程将一些相关波长强制为绝对零值，导致不太自然的光谱形状。这可以通过在输入图像数据中添加甚至非常小的偏移来进行改进，但是这实际上会导致误差数增大。在实践中是可以根据用例来调整自然度和数值精度之间的偏移值。按照经验估计，较好的偏移范围为[0，10^-4]。我们在所有呈现的计算中都使用了10^-6。Shi-Gehler(568幅图像、两个摄像头)和NUS(1853幅图像、九个摄像头)是用于颜色恒常性实验的两个数据集。我们对这两个数据集进行了交叉数据集评估和测试，并对这些方法进行了泛化，这种考虑对深度学习方法非常重要。利用该提出方法通过从最近发布的Google OpenImages数据集中随机选择图像来生成训练数据。

表2 NUS数据集的跨数据集颜色恒常性性能(最后一列为具有足够准确度即角度误差≤3.0的测试图像的比例)

Claims (17)

1.一种用于处理图像数据的方法，其特征在于，所述方法包括以下步骤：

在存储器(2)中存储表示图像的图像数据I_WEB(101)，其中所述图像数据I_WEB为RGB格式；

在图像信号处理器(3)中接收所述图像数据I_WEB(102)；

通过对所述图像数据I_WEB应用反向伽马校正将所述图像数据I_WEB转换为线性RGB格式(103)；

对所述图像数据I_WEB应用观察者颜色映射函数(104)；

将所述图像数据I_WEB转换为光谱匹配色彩空间(106)，其中亮度分量L和色度分量c分离；

在相同光谱匹配色彩空间中提供自然光谱λ的值(107)；

在所述光谱匹配色彩空间中对所述图像数据I_WEB应用光谱匹配(108)，其中省略所述亮度分量L并且测量所述图像和所述自然光谱λ之间的色差作为其色度分量c对之间的欧氏距离；

通过按迭代步骤的顺序修改所述自然光谱λ来改进所述光谱匹配(109)，以减小所述欧氏距离并找到对应的自然光谱λ；以及

通过所述对应的自然光谱λ将所述图像数据I_WEB转换为光谱图像的光谱图像数据I_SPEC(110)。

2.根据权利要求1所述的方法，其特征在于，所述方法的步骤按照所述权利要求指示的顺序执行。

3.根据权利要求1或2中任一项所述的方法，其特征在于，对所述图像数据I_WEB应用所述观察者颜色映射函数(104)包括：

将所述图像数据I_WEB的色度坐标c_s从源三刺激色彩空间转换为目标三刺激色彩空间中的色度坐标c_t(1041)，其中所述转换通过以下至少一种方式完成：

转换查找表LUT；或

转换矩阵M，其中所述转换矩阵M的尺寸至少为3×3。

4.根据权利要求3所述的方法，其特征在于，所述色度坐标的转换根据以下公式并使用转换矩阵M完成：

c_t＝Mc_s；以及其中，所述方法还包括根据以下公式使用迭代循环中的梯度下降算法优化所述转换矩阵M(1046)：

其中，i表示用于所述颜色映射函数的颜色数量，c_CIE表示标准色彩空间中的目标色度坐标，c_sRGB表示RGB色彩空间中的源色度坐标；

其中，对每个非对角系数逐个优化；

在每个非对角系数变化之后立即计算对角值，以保持每行的和为1；以及

在计算所有系数之后，再次应用优化步骤，直到未发现改善为止。

5.根据权利要求1至4中任一项所述的方法，其特征在于，对所述图像数据I_WEB应用所述观察者颜色映射函数(104)包括：

将目标色彩空间固定为CIE1931标准观察者色彩空间(1042)；以及

定义具有已知反射光谱和校准图的固定数目N_c个颜色(1043)，所述已知反射光谱和校准图覆盖用于所述颜色映射函数的标准RGB色域；

其中所述固定数目N_c大于或等于24。

6.根据权利要求5所述的方法，其特征在于，对所述图像数据I_WEB应用所述观察者颜色映射函数(104)包括：

选择其光谱可用且其分布近似典型光源l用例的正态统计分布的一定数目N_L个光源l(1044)；以及

在所述迭代步骤的顺序期间，每次选择所述N_L个光源l中的一个作为所选择的光源m(1045)；

其中，所述选择实现为随机选择或基于与所述图像相关联的信息(如元数据或图像数据I_WEB)做出的选择中的至少一个；以及

其中，所述数目N_L的范围为10-1000，更优选为50-500，更优选为100。

7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：

在将所述观察者颜色映射函数应用于所述图像数据I_WEB之后，对所述图像数据I_WEB应用反向自动白平衡校正(105)；其中

在所述光谱匹配之前优选应用所述反向自动白平衡校正。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述光谱匹配色彩空间是取值限定为(L)a₁b₁的CIELAB色彩空间，其中L指亮度分量，而a₁和b₁指色度分量，L、a₁和b₁为三个数值。

9.根据权利要求1至8中任一项所述的方法，其特征在于，对所述图像数据I_WEB应用光谱匹配(108)包括在色值之间进行插值；其中

每个像素颜色都根据一组自然光谱响应重建；以及

在谱域中应用插值权重以根据以下公式重建所述图像中每个像素的色谱：

其中，I(x,y)表示所述谱域中的原始图像，l表示所述光源，w_l表示所述插值权重，db表示典型光照{R_db,G_db,B_db}下的自然光谱的数据库。

10.根据权利要求9所述的方法，其特征在于，改进所述光谱匹配(109)包括：

应用迭代函数(1091)，所述迭代函数更改由CIE标准观察者曲线调制的插值光谱：

其中，I(λ)是待优化图像的光谱，其中λ表示所述CIE标准观察者曲线，S_i ^CIE表示基于所述CIE标准观察者曲线的归一化权重，并且c^T和c^S分别表示目标RBG值和源RBG值；以及

计算所述目标RBG值c^T和所述源RBG值c^S之间的误差(1092)，其中所述迭代函数被迭代优化，直到误差为：

11.根据权利要求1至10中任一项所述的方法，其特征在于，还包括：

在将所述图像数据I_WEB转换为光谱图像数据I_SPEC之后，通过在所述谱域中将照度值相乘来为每个像素匹配所述图像的亮度水平(111)。

12.根据权利要求1至11中任一项所述的方法，其特征在于，还包括：

使用与摄像头传感器S的空间光谱响应有关的摄像头表征信息将所述光谱图像数据I_SPEC转换为原始RGB图像数据I_RAW(112)；

其中，与一个光谱图像相关联的光谱图像数据I_SPEC用于为多个原始RGB图像生成原始RGB图像数据I_RAW。

13.根据权利要求12所述的方法，其特征在于，根据摄像头传感器的空间光谱测量获得所述摄像头表征信息。

14.根据权利要求12或13中任一项所述的方法，其特征在于，将所述光谱图像数据I_SPEC转换为原始RGB图像数据I_RAW(112)包括：

使用与所述摄像头传感器S的空间光谱响应有关的所述信息和将所述观察者颜色映射函数应用于所述图像数据I_WEB时所选择的光源l的光谱λ来计算所述光谱图像的每个像素的RGB颜色响应(1121)。

15.根据权利要求14所述的方法，其特征在于，将所述光谱图像数据I_SPEC转换为原始RGB图像数据I_RAW还包括：

通过将所述光谱图像中心处的摄像头响应与光源l相乘并分别汇总R、G、B通道的结果来计算AWB校正增益(1122)；

通过将空间摄像头响应与光源l相乘并分别汇总R、G、B通道的结果，然后在图像中心处应用自动白平衡增益并归一化响应来计算颜色阴影和渐晕参数(1123)；

通过应用所述渐晕参数的倒数来可选地应用渐晕校正(1124)；以及

根据计算的参数应用自动白平衡校正和颜色阴影校正(1125)。

16.根据权利要求12至15中任一项所述的方法，其特征在于，还包括：

使用所述原始RGB图像数据I_RAW来训练深度学习模型DL(113)；

其中，所述深度学习模型DL用于将自动图像信号处理功能应用于输入图像数据；

其中，所述功能为自动白平衡校正或颜色阴影校正之一。

17.一种用于处理图像数据的基于计算机的系统(1)，其特征在于，所述系统包括：

存储器设备(2)，用于以RGB格式存储图像的图像数据I_WEB；

图像信号处理器(3)，用于接收所述图像数据I_WEB作为反向图像信号处理管道的输入；以及

存储设备(4)，用于存储指令，当被所述图像信号处理器(3)执行时，所述指令使所述基于计算机的系统(1)执行根据权利要求1至16中任一项所述的方法。

Images