CN110033510B - 建立颜色映射关系用于校正渲染图像颜色的方法及装置 - Google Patents

Abstract

本说明书实施例提供一种建立颜色映射关系用于校正渲染图像颜色的方法，所述方法包括：首先，获取实拍图像，所述实拍图像是在真实场景下采用第一摄像头参数，对处于第一位置的色彩参照物进行拍摄而得到，所述色彩参照物的表面包括多种颜色；接着，获取基于色彩参照物的材质参数构建的模拟参照物；然后，获取对应于所述真实场景下所述第一位置处的光照模型；再接着，采用光照模型和虚拟摄像头对模拟参照物进行渲染，确定出第一渲染图像，所述虚拟摄像头的摄像头参数至少基于所述第一摄像头参数而确定；再然后，基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。

Description

建立颜色映射关系用于校正渲染图像颜色的方法及装置

技术领域

本说明书实施例涉及图像处理技术领域，具体地，涉及一种建立颜色映射关系用于校正渲染图像颜色的方法及装置。

背景技术

渲染技术是指，将三维场景中的模型按照设定好的环境、灯光、材质及渲染参数，二维投影成数字图像的技术。而真实感渲染技术是指，使得渲染出的图像尽量接近真实摄像头拍摄出的图像的渲染技术。在此技术中，对真实摄像头进行建模，也就是构建虚拟摄像头，是一个解决渲染图像真实感不足的重要环节。

然而，目前采用虚拟摄像头渲染的图像与真实摄像头拍摄出的图像之间通常存在较大颜色表现上的差异。因此，需要一种合理的方案，可以使虚拟摄像头渲染的图像的颜色表现更加接近真实摄像头拍摄出的图像。

发明内容

本说明书实施例提供一种建立颜色映射关系用于校正渲染图像颜色的方法，基于所述方法建立的颜色映射关系，对虚拟摄像头渲染的图像进行颜色校正，可以使校正后的渲染图像的颜色表现更加接近真实摄像头拍摄出的图像。

根据第一方面，提供一种建立颜色映射关系用于校正渲染图像颜色的方法，所述方法包括：获取实拍图像，所述实拍图像是在真实场景下采用第一摄像头参数，对处于第一位置的色彩参照物进行拍摄而得到，所述色彩参照物的表面包括多种颜色；获取基于所述色彩参照物的材质参数构建的模拟参照物；获取对应于所述真实场景下所述第一位置处的光照模型；采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，所述虚拟摄像头的摄像头参数至少基于所述第一摄像头参数而确定；基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。

在一个实施例中，所述第一摄像头参数包括光电传感器尺寸、曝光时间、ISO敏感度和光圈尺寸。

在一个实施例中，所述色彩参照物为24色标准色卡，所述24色标准色卡中包括24个纯色色块。

在一个实施例中，所述材质参数包括所述多种颜色的颜色参数，以及与反射、折射和透明度相关的多个参数。

在一个实施例中，所述获取对应于所述真实场景下所述第一位置处的光照模型，包括：获取所述真实场景下所述第一位置处的光照数据，所述光照数据包括光照强度和色温；基于所述光照数据，建立对应的光照模型。

在一个实施例中，所述采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，包括：将所述虚拟摄像头的摄像头参数设置为所述第一摄像头参数；采用所述光照模型和具有所述第一摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染；将对应生成的图像确定为所述第一渲染图像。

在一个实施例中，所述采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，包括：将所述虚拟摄像头的初始摄像头参数设置为所述第一摄像头参数；采用所述光照模型和具有所述初始摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染，得到对应的第二渲染图像；获取所述实拍图像中对应于曝光参照颜色所在区域的实拍像素色彩数据，所述曝光参照颜色为从所述色彩参照物的多种颜色中选取的部分颜色；获取所述第二渲染图像中对应于所述曝光参照颜色所在区域的渲染像素色彩数据；在所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内的情况下，将所述第二渲染图像确定为所述第一渲染图像。

进一步地，在一个具体的实施例中，所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内，包括：所述渲染像素色彩数据和实拍像素色彩数据之间的标准差小于预定阈值。

在另一个具体的实施例中，还包括：在所述差距不在预定范围内的情况下，调整所述虚拟摄像头的摄像头参数；采用具有调整后的摄像头参数的虚拟摄像头和所述光照模型对所述模拟参照物进行渲染，得到第三渲染图像；在所述第三渲染图像所对应的渲染像素色彩数据和所述实拍像素色彩数据的差距在预定范围内的情况下，将所述第三渲染图像确定为所述第一渲染图像。

在又一个具体的实施例中，所述至少一种颜色包括白色和/或灰色。

在一个实施例中，所述基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，包括：获取所述实拍图像中对应于所述多种颜色中各种颜色的实拍像素色彩数据；获取所述第一渲染图像中对应于所述各种颜色的渲染像素色彩数据；基于所述实拍像素色彩数据和所述渲染像素色彩数据，确定所述颜色映射关系。

进一步地，在一个具体的实施例中，确定所述颜色映射关系，包括：确定对应的色彩校正矩阵；或者，确定对应的3DLUT索引表。

在另一个具体的实施例中，确定所述颜色映射关系，包括：利用所述渲染像素色彩数据作为样本特征，所述实拍像素色彩数据作为样本标签，训练神经网络模型，用于表征所述颜色映射关系。

根据第二方面，提供一种校正渲染图像颜色的方法，所述方法包括：获取渲染图像，所述渲染图像采用具有第二摄像头参数的虚拟摄像头渲染而生成；获取基于第一方面提供的方法建立的颜色映射关系；基于所述颜色映射关系，对所述渲染图像进行颜色校正，得到校正后的渲染图像，用于模拟采用具有所述第二摄像头参数的真实摄像头对所述渲染图像所对应的真实场景进行拍摄而得到的图像。

根据第三方面，提供一种建立颜色映射关系用于校正渲染图像颜色的装置，所述装置包括：第一获取单元，配置为获取实拍图像，所述实拍图像是在真实场景下采用第一摄像头参数，对处于第一位置的色彩参照物进行拍摄而得到，所述色彩参照物的表面包括多种颜色；第二获取单元，配置为获取基于所述色彩参照物的材质参数构建的模拟参照物；第三获取单元，配置为获取对应于所述真实场景下所述第一位置处的光照模型；确定单元，配置为采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，所述虚拟摄像头的摄像头参数至少基于所述第一摄像头参数而确定；建立单元，配置为基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。

根据第四方面，提供一种校正渲染图像颜色的装置，所述装置包括：第一获取单元，配置为获取渲染图像，所述渲染图像采用具有第二摄像头参数的虚拟摄像头渲染而生成；第二获取单元，配置为获取基于第三方面所述的装置建立的颜色映射关系；校正单元，配置为基于所述颜色映射关系，对所述渲染图像进行颜色校正，得到校正后的渲染图像，用于模拟采用具有所述第二摄像头参数的真实摄像头对所述渲染图像所对应的真实场景进行拍摄而得到的图像。

根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。

根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。

采用本说明书实施例披露的建立颜色映射关系用于校正渲染图像颜色的方法和装置，基于所述方法和装置建立的颜色映射关系，对虚拟摄像头渲染的图像进行颜色校正，可以使校正后的渲染图像的颜色表现更加接近真实摄像头拍摄出的图像。

附图说明

为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出根据一个实施例的建立颜色映射关系的流程框图；

图2示出根据一个实施例的应用颜色映射关系的流程框图；

图3为本说明书实施例披露的建立颜色映射关系用于校正渲染图像颜色的方法流程图；

图4为本说明书实施例披露的校正渲染图像颜色的方法流程图；

图5为本说明书实施例披露的建立颜色映射关系用于校正渲染图像颜色的装置结构图；

图6为本说明书实施例披露的校正渲染图像颜色的装置结构图。

具体实施方式

下面结合附图，对本说明书披露的多个实施例进行描述。

本说明书实施例披露一种建立颜色映射关系用于校正渲染图像颜色的方法，下面，首先对所述方法的发明构思和应用场景进行介绍。

在3D渲染领域，虚拟摄像头渲染的图像与真实摄像头拍摄出的图像之间往往存在较大颜色表现上的差异，引起这个差异的原因有很多，比如光照建模、物体材质建模，渲染引擎，摄像头参数模拟等。尤其在摄像头模拟方面，真实摄像头，特别是一些低端网络摄像头中的颜色校正模块往往是一个黑盒，摄像头的光电响应特性等硬件特征也存在个体间差异，我们很难将摄像头的真实颜色表现能力完全模拟出来。

基于此，发明人提出一种较为简单的颜色校正方法，如图1所示，在一个实施例中，一方面，在真实场景下采用具有第一摄像头参数的真实摄像头对材质特征已知的色彩参照物进行拍摄，得到实拍图像。另一方面，对色彩参照物进行渲染材质建模，得到模拟参照物，以及，对真实场景中色彩参照物所在位置的光照环境进行准确建模，得到光照模型，此外，对真实摄像头建模，包括将对应构建的虚拟摄像头的摄像头参数设定为第一摄像头参数，然后采用虚拟摄像头和光照模型对模拟参照物进行渲染，得到渲染图像。接着，基于实拍图像和对应的渲染图像，建立渲染图像的颜色与实拍图像的颜色之间的映射关系。由此，可以建立颜色映射关系。

进一步地，如图2所示，基于上述建立的映射关系，可以将其他渲染图像的颜色映射到真实摄像头的颜色空间中，使得虚拟摄像头颜色表现与真实摄像头颜色表现一致。下面，结合具体的实施例，描述以上方法的实施步骤。

具体地，图3为本说明书实施例披露的建立颜色映射关系用于校正渲染图像颜色的方法流程图，所述方法的执行主体可以为具有处理能力的服务器或装置或平台，等等。如图3所示，所述方法包括以下步骤：步骤S310，获取实拍图像，所述实拍图像是在真实场景下采用第一摄像头参数，对处于第一位置的色彩参照物进行拍摄而得到，所述色彩参照物的表面包括多种颜色；步骤S320，获取基于所述色彩参照物的材质参数构建的模拟参照物；步骤S330，获取对应于所述真实场景下所述第一位置处的光照模型；步骤S340，采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，所述虚拟摄像头的摄像头参数至少基于所述第一摄像头参数而确定；步骤S350，基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。以上步骤具体如下：

首先，在步骤S310，获取实拍图像，所述实拍图像是在真实场景下采用第一摄像头参数，对处于第一位置的色彩参照物进行拍摄而得到，所述色彩参照物的表面包括多种颜色。

需要说明的是，上述实拍图像是指在真实场景下采用真实摄像头进行拍摄而得到的图像。在一个实施例中，真实场景可以为任意的真实场景。在一个例子中，可以为自然环境，如森林、河边，等等。在另一个例子中，可以为搭建的摄影棚，等等。在一个实施例中，真实摄像头可以为真实存在的任意摄像头，例如单反相机的摄像头、手机的摄像头、电脑的摄像头、网络摄像头，等等。进一步地，其中真实摄像头的参数可以包括摄像头中与硬件相关的固有参数以及可以人为设定、调整的参数。在一个具体的实施例中，摄像头参数可以包括光电传感器尺寸、曝光时间、ISO敏感度和光圈尺寸，等等。需要说明的是，上述第一摄像头参数中的“第一”以及后文中第二摄像头参数中的“第二”，仅为了更加清楚的描述而起到区分作用，不具有其他的限定意义。在一个实施例中，在上述真实场景中，色彩参照物所处的第一位置可以为真实场景中的任意位置，具体可以由工作人员根据实际需要而选定。

此外，上述色彩参照物可以由工作人员根据实际需要进行选取或制作。在一个实施例中，可以选取24色标准色卡作为色彩参照物，所述24色标准色卡中包括24个纯色色块。在一个具体的实施例中，24色标准色卡包含六级灰度色块，加色三原色(红、绿、蓝)，减色三原色(黄、品、青)，以及肤色和模拟自然物体的真实色彩。在另一个实施例中，工作人员可以自行制作色彩参照物，具体地，包括设定色彩参照物表面所具有颜色的数量和种类。在一个具体的实施例中，工作人员可以根据后续需要进行颜色校正的渲染图像中所包括的颜色，设定色彩参照物表面的颜色。根据一个具体的例子，工作人员可以在计算机中选取30种颜色，然后用硬纸彩打出来，作为上述色彩参照物。另外，上述色彩参照物的材质，或者其中的部分颜色，还可以基于后续的曝光对齐需求而选取、设定，对此具体请参见下文在步骤S340中的相关描述。

以上，可以获取对色彩参照物进行拍摄而得到的实拍图像。接着，在步骤S320，获取基于所述色彩参照物的材质参数构建的模拟参照物。以及，在步骤S330，获取对应于所述真实场景下所述第一位置处的光照模型。

在一个实施例中，其中模拟参照物基于色彩参照物的材质参数而构建。在一个具体的实施例中，所述材质参数可以包括多种颜色的颜色参数，以及与反射、折射和透明度相关的多个参数。在一个例子中，颜色参数可以包括各种颜色所对应的RGB值等。需要说明的是，可以采用现有技术中的相关方法构建模拟参照物，例如，通过渲染软件构建色彩参照物所对应的渲染材质模型，在此不作赘述。

另一方面，在一个实施例中，获取对应于所述真实场景下所述第一位置处的光照模型，可以包括：先获取所述真实场景下所述第一位置处的光照数据，所述光照数据包括光照强度和色温，再基于所述光照数据，建立对应的光照模型。在一个具体的实施例中，可以采用色温照度计等仪器设备，对第一位置处的光照强度和色温进行测量，进而获得对应的光照数据。需要说明的是，基于光照数据建立光照模型的建立方法，可以采用现有技术中的相关方法实现，在此不作赘述。

在另一个实施例中，获取上述光照模型，可以包括：对环境光源进行模拟，以及，确定第一位置相对于环境光源的位置参数，如此，根据模拟的环境光源和位置参数，可以确定出第一位置处的光照模型。在一个具体的实施例中，上述真实场景为人工搭建的摄影棚，对于其中的真实光源和第一位置的选取和设定都可以由工作人员进行设定，相应地，可以更加方便、快捷地实现上述对环境光源的模拟和位置参数的确定，进而构建出与第一位置对应的精准的光照模型。

以上，可以获取模拟参照物和光照模型。再接着，在步骤S340，采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，所述虚拟摄像头的摄像头参数至少基于所述第一摄像头参数而确定。

在一个实施例中，步骤S340可以包括：首先，将虚拟摄像头的摄像头参数设置为上述第一摄像头参数，也就是将虚拟摄像头的摄像头参数设定成上述步骤S310中真实摄像头所具有的摄像头参数；接着，采用光照模型和具有所述第一摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染；然后，将对应生成的图像确定为所述第一渲染图像。

需要说明的是，前述建立的光照模型用于精准地还原第一位置处的实际光照情况，然而，考虑光照模型所还原的模拟光照可能会与实际光照存在一定程度的偏差，进而导致渲染图像的曝光情况与实拍图像的曝光情况存在一定的偏差，发明人提出，可以通过控制或调整摄像头参数，将渲染图像的曝光与实拍图像的曝光的差距控制在预定的可接受范围内，也就是上文中提及的曝光对齐，再将此时对应的渲染图像，确定为上述第一渲染图像，如此可以确保或者说进一步提高后续建立的颜色映射关系的准确度。

具体地，在一个实施例中，步骤S340可以包括：首先，将所述虚拟摄像头的初始摄像头参数设置为所述第一摄像头参数；接着，采用所述光照模型和具有所述初始摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染，得到对应的第二渲染图像；然后，获取所述实拍图像中对应于曝光参照颜色所在区域的实拍像素色彩数据，所述曝光参照颜色为从所述色彩参照物的多种颜色中选取的至少一种颜色；以及，获取所述第二渲染图像中对应于所述曝光参照颜色所在区域的渲染像素色彩数据；再接着，在所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内的情况下，将所述第二渲染图像确定为所述第一渲染图像。

在一个具体的实施例中，上述曝光参照颜色为从所述色彩参照物的多种颜色中选取的部分颜色。在一个例子中，在上述选定色彩参照物的过程中，可以使色彩参照物表面的颜色中包括白色或灰色。相应地，可以将白色和/或灰色确定为曝光参照颜色。需要说明的是，之所以优先选取白色或灰色作为曝光参照颜色，是因为考虑到白色和灰色的光学性质，具体包括对各个频率的光照具有一致的反射特性，由此，相较于选取其他颜色，可以进一步提高曝光对齐的准确度。在另一个具体的实施例中，可以选取朗伯(Lambertian)反射体作为上述色彩参照物或者作为上述色彩参照物的一部分。需要说明的是，朗伯反射也叫理想散射，朗伯表面是指在一个固定的照明分布下从所有的视场方向上观测都具有相同亮度的表面，朗伯表面不吸收任何入射光，不管照明分布如何，朗伯表面在所有的表面方向上接收并发散所有的入射照明，结果是每一个方向上都能看到相同数量的能量。如此，可以从色彩参照物中的朗伯表面中任意选取预定数量的颜色作为曝光参照颜色，在一个例子中，选取绿色和黄色作为曝光参照颜色。

基于上述选定的曝光参照颜色，可以获取实拍图像中对应于曝光参照颜色所在区域的实拍像素色彩数据，以及获取第二渲染图像中对应于曝光参照颜色所在区域的渲染像素色彩数据。接着，再判定实拍像素色彩数据和渲染像素色彩数据的差距是否在预定范围内。

下面，首先对像素色彩数据进行说明。在色彩学中，人们建立了多种色彩模型，以一维、二维、三维甚至四维空间坐标来表示某一色彩，这种坐标系统所能定义的色彩范围即色彩空间。目前，我们经常用到的色彩空间主要有RGB、CMYK、Lab、sRGB等。相应地，可以将像素色彩数据理解为，图像区域所包括的像素在某种色彩空间下，所对应的各个颜色维度(或者说颜色通道)的坐标值。由此，在一个具体的实施例中，在判定二者是否在预定范围内包括，当实拍像素色彩数据和渲染像素色彩数据所对应的色彩空间不同时，先将二者转换为同一色彩空间下的数据。在一个例子中，假定实拍像素色彩数据所对应的色彩空间为sRGB，渲染像素色彩数据所对应的色彩空间为RGB，可以将实拍像素色彩数据转换为RGB下的数据。

以上，可以确定出对应于同一色彩空间的实拍像素色彩数据和渲染像素色彩数据。进一步地，在一个具体的实施例中，上述判定二者的差距是否在预定范围内的判定过程还可以包括：确定二者之间的标准差是否小于对应的预定阈值。相应地，若小于，则判定二者的差距在预定范围内。在另一个具体的实施例中，上述判定过程还可以包括：确定拍像素色彩数据和渲染像素色彩数据之间的余弦相似度是否小于对应的预定阈值。相应地，若小于，则判定二者的差距在预定范围内。

由上，当确定出二者的差距在预定范围内的情况下，将所述第二渲染图像确定为所述第一渲染图像。

另一方面，在确定出上述第二渲染图像所对应的渲染像素色彩数据和所述实拍像素色彩数据的差距不在预定范围内的情况下，调整虚拟摄像头的摄像头参数，直到对应渲染得到的图像所对应的渲染像素色彩数据和所述实拍像素色彩数据的差距在预定范围内时，将此时的渲染图像确定为第一渲染图像。在一个具体的实施例中，采用具有调整后的摄像头参数的虚拟摄像头和所述光照模型对所述模拟参照物进行渲染，得到第三渲染图像；然后，在所述第三渲染图像所对应的渲染像素色彩数据和所述实拍像素色彩数据的差距在预定范围内的情况下，将所述第三渲染图像确定为所述第一渲染图像。

以上，可以确定出第一渲染图像。

由上，在步骤S310中可以获取实拍图像，并且，通过步骤S320至步骤S340可以确定出第一渲染图像。

然后，在步骤S350，基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。

在此步骤中，我们根据色彩参照物上对应同一个颜色的物体在渲染图像和实拍图像中的不同数值建立渲染图像到实拍图像的映射关系。

具体而言，首先，获取所述实拍图像中对应于所述多种颜色中各种颜色的实拍像素色彩数据，以及，获取所述第一渲染图像中对应于所述各种颜色的渲染像素色彩数据；然后，基于所述实拍像素色彩数据和所述渲染像素色彩数据，确定所述颜色映射关系。

在一个实施例中，上述确定颜色映射关系可以包括：确定对应的色彩校正矩阵。在一个具体的实施例中，色彩参照物上每一个颜色c_i均对应一对图像数据(x_i，y_i)。其中x_i为c_i的渲染像素色彩数据；y_i为c_i的实拍像素色彩数据，两者均包含RGB三通道的像素值。此处的像素色彩数据为线性空间中的数值，也就是说如果实拍图像或渲染图像是sRGB颜色空间这类经过gamma校正后的图像时，在计算映射关系前均需反gamma将数值转换到线性空间中。

进一步地，确定色彩校正矩阵的计算过程如下：设色彩参照物上有m个颜色，这样我们有m对颜色样本。令Y＝(y₁，y₂，...，y_m)为实拍图颜色样本数据，X＝(x₁，x₂，...，x_m)为渲染图颜色样本数据，具体地，其中Y和X均为mx3阶矩阵，此外，用A表示3x3阶的颜色校正矩阵。如此，为了求取满足以下公式(1)的矩阵A(这是一个最小方差问题，这里一般来讲A是一个可逆矩阵)，我们可以采用最小二乘法快速求解A，即公式(2)。

A＝(X^TX)^-1X^TY (2)

基于(2)确定出的色彩矩阵，对应于渲染图像的颜色到实拍图像的颜色的映射关系。由上，可以确定出色彩校正矩阵。

在另一个实施例中，上述确定颜色映射关系可以包括：确定对应的3DLUT索引表。在又一个实施例中，上述确定颜色映射关系可以包括：利用上述各种颜色的渲染像素色彩数据作为样本特征，以及对应的实拍像素色彩数据作为样本标签，训练神经网络模型，用于表征所述颜色映射关系。

以上，可以确定出渲染图像与实拍图像之间的颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。

下面，结合具体的实施例，对上述颜色映射关系的应用方法进行介绍。具体地，图4示出校正渲染图像颜色的方法，所述方法的执行主体可以为具有处理能力的服务器或装置或平台，等等。如图4所示，所述方法包括以下步骤：步骤S410，获取渲染图像，所述渲染图像采用具有第二摄像头参数的虚拟摄像头渲染而生成；步骤S420，获取基于前述实施例中的方法建立的颜色映射关系；步骤S430，基于所述颜色映射关系，对所述渲染图像进行颜色校正，得到校正后的渲染图像，用于模拟采用具有所述第二摄像头参数的真实摄像头对所述渲染图像所对应的真实场景进行拍摄而得到的图像。

具体地，在一个实施例中，在步骤S420中，获取的颜色映射关系可以为上述色彩校正矩阵。相应地，在步骤S430中，可以基于色彩校正矩阵，对所述渲染图像进行颜色校正，得到校正后的渲染图像。在一个具体的实施例中，上述色彩校正矩阵为由基于式(2)得到的矩阵A，相应地，可以采用下述公式(3)对渲染图像的颜色进行校正。

y′_j＝Ax_j (3)

其中，x_j表示待校正的渲染图像中任意一个像素所对应的RGB值所组成的向量的转置，y′_j表示校正后的渲染图像中与上述任意一个像素对应的校正后的RGB值所组成的向量的转置。

在另一个实施例中，在步骤S420中，获取的颜色映射关系可以为上述3DLUT索引表。相应地，在步骤S430中，可以基于所述3DLUT索引表，对所述渲染图像进行颜色校正，得到校正后的渲染图像。在一个具体的实施例中，所述3DLUT索引表可以用于表示渲染图像的颜色到实拍图像的颜色的映射关系。相应地，将某一渲染图像的颜色数据输入3DLUT索引表中，可以得到对应的实拍图像的颜色数据。

在还一个实施例中，在步骤S420中，获取的颜色映射关系可以为上述神经网络算法。相应地，在步骤S430中，可以基于所述神经网路模型，对所述渲染图像进行颜色校正，得到校正后的渲染图像。在一个具体的实施例中，可以将渲染图像的颜色数据输入上述训练后的神经网路模型中，由此得到输出的校正后的渲染图像的颜色数据。

由上可知，通过采用前述建立的颜色映射关系，可以对渲染图像进行颜色校正，以使颜色校正后的渲染图像的颜色接近真实摄像头拍摄得到的图像。

根据另一方面的实施例，还提供一种用于建立颜色映射关系的装置。图5为本说明书实施例披露的建立颜色映射关系用于校正渲染图像颜色的装置结构图，如图5所示，该装置500包括：

第一获取单元510，配置为获取实拍图像，所述实拍图像是在真实场景下采用第一摄像头参数，对处于第一位置的色彩参照物进行拍摄而得到，所述色彩参照物的表面包括多种颜色。第二获取单元520，配置为获取基于所述色彩参照物的材质参数构建的模拟参照物。第三获取单元530，配置为获取对应于所述真实场景下所述第一位置处的光照模型。确定单元540，配置为采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，所述虚拟摄像头的摄像头参数至少基于所述第一摄像头参数而确定。建立单元550，配置为基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。

在一个实施例中，所述第一摄像头参数包括光电传感器尺寸、曝光时间、ISO敏感度和光圈尺寸。

在一个实施例中，所述色彩参照物为24色标准色卡，所述24色标准色卡中包括24个纯色色块。

在一个实施例中，所述材质参数包括所述多种颜色的颜色参数，以及与反射、折射和透明度相关的多个参数。

在一个实施例中，所述第三获取单元530具体配置为：获取所述真实场景下所述第一位置处的光照数据，所述光照数据包括光照强度和色温；基于所述光照数据，建立对应的光照模型。

在一个实施例中，所述确定单元540具体配置为：将所述虚拟摄像头的摄像头参数设置为所述第一摄像头参数；采用所述光照模型和具有所述第一摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染；将对应生成的图像确定为所述第一渲染图像。

在一个实施例中，所述确定单元540具体配置为：将所述虚拟摄像头的初始摄像头参数设置为所述第一摄像头参数；采用所述光照模型和具有所述初始摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染，得到对应的第二渲染图像；获取所述实拍图像中对应于曝光参照颜色所在区域的实拍像素色彩数据，所述曝光参照颜色为从所述色彩参照物的多种颜色中选取的部分颜色；获取所述第二渲染图像中对应于所述曝光参照颜色所在区域的渲染像素色彩数据；在所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内的情况下，将所述第二渲染图像确定为所述第一渲染图像。

进一步地，在一个具体的实施例中，所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内，包括：所述渲染像素色彩数据和实拍像素色彩数据之间的标准差小于预定阈值。

在另一个具体的实施例中，所述确定单元540还配置为：在所述差距不在预定范围内的情况下，调整所述虚拟摄像头的摄像头参数；采用具有调整后的摄像头参数的虚拟摄像头和所述光照模型对所述模拟参照物进行渲染，得到第三渲染图像；在所述第三渲染图像所对应的渲染像素色彩数据和所述实拍像素色彩数据的差距在预定范围内的情况下，将所述第三渲染图像确定为所述第一渲染图像。

在又一个具体的实施例中，所述至少一种颜色包括白色和/或灰色。

在一个实施例中，所述建立单元550具体包括：第一获取子单元551，配置为获取所述实拍图像中对应于所述多种颜色中各种颜色的实拍像素色彩数据；第二获取子单元552，配置为获取所述第一渲染图像中对应于所述各种颜色的渲染像素色彩数据；确定子单元553，配置为基于所述实拍像素色彩数据和所述渲染像素色彩数据，确定所述颜色映射关系。

进一步地，在一个具体的实施例中，所述确定子单元553具体配置为：确定对应的色彩校正矩阵；或者，确定对应的3DLUT索引表。

在另一个具体的实施例中，所述确定子单元553具体配置为：利用所述渲染像素色彩数据作为样本特征，所述实拍像素色彩数据作为样本标签，训练神经网络模型，用于表征所述颜色映射关系。

根据又一方面的实施例，还提供一种校正渲染图像颜色的装置。图6为本说明书实施例披露的校正渲染图像颜色的装置结构图。如图6所示，所述装置600包括：

第一获取单元610，配置为获取渲染图像，所述渲染图像采用具有第二摄像头参数的虚拟摄像头渲染而生成。第二获取单元620，配置为获取基于前述实施例中的方法或装置建立的颜色映射关系。校正单元630，配置为基于所述颜色映射关系，对所述渲染图像进行颜色校正，得到校正后的渲染图像，用于模拟采用具有所述第二摄像头参数的真实摄像头对所述渲染图像所对应的真实场景进行拍摄而得到的图像。

如上，根据再一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图1、图2、图3或图4所描述的方法。

根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图1、图2、图3或图4所描述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (30)

1.一种建立颜色映射关系用于校正渲染图像颜色的方法，所述方法包括：

获取实拍图像，所述实拍图像是在真实场景下采用第一摄像头参数，对处于第一位置的色彩参照物进行拍摄而得到，所述色彩参照物的表面包括多种颜色；

获取基于所述色彩参照物的材质参数构建的模拟参照物；

获取对应于所述真实场景下所述第一位置处的光照模型；

采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，所述虚拟摄像头的摄像头参数至少基于所述第一摄像头参数而确定；

基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。

2.根据权利要求1所述的方法，其中，所述第一摄像头参数包括光电传感器尺寸、曝光时间、ISO敏感度和光圈尺寸。

3.根据权利要求1所述的方法，其中，所述色彩参照物为24色标准色卡，所述24色标准色卡中包括24个纯色色块。

4.根据权利要求1所述的方法，其中，所述材质参数包括所述多种颜色的颜色参数，以及与反射、折射和透明度相关的多个参数。

5.根据权利要求1所述的方法，其中，所述获取对应于所述真实场景下所述第一位置处的光照模型，包括：

获取所述真实场景下所述第一位置处的光照数据，所述光照数据包括光照强度和色温；

基于所述光照数据，建立对应的光照模型。

6.根据权利要求1所述的方法，其中，所述采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，包括：

将所述虚拟摄像头的摄像头参数设置为所述第一摄像头参数；

采用所述光照模型和具有所述第一摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染；

将对应生成的图像确定为所述第一渲染图像。

7.根据权利要求1所述的方法，其中，所述采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，包括：

将所述虚拟摄像头的初始摄像头参数设置为所述第一摄像头参数；

采用所述光照模型和具有所述初始摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染，得到对应的第二渲染图像；

获取所述实拍图像中对应于曝光参照颜色所在区域的实拍像素色彩数据，所述曝光参照颜色为从所述色彩参照物的多种颜色中选取的部分颜色；

获取所述第二渲染图像中对应于所述曝光参照颜色所在区域的渲染像素色彩数据；

在所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内的情况下，将所述第二渲染图像确定为所述第一渲染图像。

8.根据权利要求7所述的方法，其中，所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内，包括：

所述渲染像素色彩数据和实拍像素色彩数据之间的标准差小于预定阈值。

9.根据权利要求7所述的方法，其中，还包括：

在所述差距不在预定范围内的情况下，调整所述虚拟摄像头的摄像头参数；

采用具有调整后的摄像头参数的虚拟摄像头和所述光照模型对所述模拟参照物进行渲染，得到第三渲染图像；

在所述第三渲染图像所对应的渲染像素色彩数据和所述实拍像素色彩数据的差距在预定范围内的情况下，将所述第三渲染图像确定为所述第一渲染图像。

10.根据权利要求7所述的方法，其中，所述至少一种颜色包括白色和/或灰色。

11.根据权利要求1所述的方法，其中，所述基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，包括：

获取所述实拍图像中对应于所述多种颜色中各种颜色的实拍像素色彩数据；

获取所述第一渲染图像中对应于所述各种颜色的渲染像素色彩数据；

基于所述实拍像素色彩数据和所述渲染像素色彩数据，确定所述颜色映射关系。

12.根据权利要求11所述的方法，其中，确定所述颜色映射关系，包括：

确定对应的色彩校正矩阵；或者，

确定对应的3DLUT索引表。

13.根据权利要求11所述的方法，其中，确定所述颜色映射关系，包括：

利用所述渲染像素色彩数据作为样本特征，所述实拍像素色彩数据作为样本标签，训练神经网络模型，用于表征所述颜色映射关系。

14.一种校正渲染图像颜色的方法，所述方法包括：

获取渲染图像，所述渲染图像采用具有第二摄像头参数的虚拟摄像头渲染而生成；

获取基于权利要求1所述的方法建立的颜色映射关系；

基于所述颜色映射关系，对所述渲染图像进行颜色校正，得到校正后的渲染图像，用于模拟采用具有所述第二摄像头参数的真实摄像头对所述渲染图像所对应的真实场景进行拍摄而得到的图像。

15.一种建立颜色映射关系用于校正渲染图像颜色的装置，所述装置包括：

第一获取单元，配置为获取实拍图像，所述实拍图像是在真实场景下采用第一摄像头参数，对处于第一位置的色彩参照物进行拍摄而得到，所述色彩参照物的表面包括多种颜色；

第二获取单元，配置为获取基于所述色彩参照物的材质参数构建的模拟参照物；

第三获取单元，配置为获取对应于所述真实场景下所述第一位置处的光照模型；

确定单元，配置为采用所述光照模型和虚拟摄像头对所述模拟参照物进行渲染，确定出第一渲染图像，所述虚拟摄像头的摄像头参数至少基于所述第一摄像头参数而确定；

建立单元，配置为基于所述实拍图像和所述第一渲染图像，建立颜色映射关系，所述颜色映射关系用于对其他渲染图像进行颜色校正，以模拟对应的实拍图像。

16.根据权利要求15所述的装置，其中，所述第一摄像头参数包括光电传感器尺寸、曝光时间、ISO敏感度和光圈尺寸。

17.根据权利要求15所述的装置，其中，所述色彩参照物为24色标准色卡，所述24色标准色卡中包括24个纯色色块。

18.根据权利要求15所述的装置，其中，所述材质参数包括所述多种颜色的颜色参数，以及与反射、折射和透明度相关的多个参数。

19.根据权利要求15所述的装置，其中，所述第三获取单元具体配置为：

获取所述真实场景下所述第一位置处的光照数据，所述光照数据包括光照强度和色温；

基于所述光照数据，建立对应的光照模型。

20.根据权利要求15所述的装置，其中，所述确定单元具体配置为：

将所述虚拟摄像头的摄像头参数设置为所述第一摄像头参数；

采用所述光照模型和具有所述第一摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染；

将对应生成的图像确定为所述第一渲染图像。

21.根据权利要求15所述的装置，其中，所述确定单元具体配置为：

将所述虚拟摄像头的初始摄像头参数设置为所述第一摄像头参数；

采用所述光照模型和具有所述初始摄像头参数的虚拟摄像头，对所述模拟参照物进行渲染，得到对应的第二渲染图像；

获取所述实拍图像中对应于曝光参照颜色所在区域的实拍像素色彩数据，所述曝光参照颜色为从所述色彩参照物的多种颜色中选取的部分颜色；

获取所述第二渲染图像中对应于所述曝光参照颜色所在区域的渲染像素色彩数据；

在所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内的情况下，将所述第二渲染图像确定为所述第一渲染图像。

22.根据权利要求21所述的装置，其中，所述渲染像素色彩数据和实拍像素色彩数据的差距在预定范围内，包括：

所述渲染像素色彩数据和实拍像素色彩数据之间的标准差小于预定阈值。

23.根据权利要求21所述的装置，其中，所述确定单元还配置为：

在所述差距不在预定范围内的情况下，调整所述虚拟摄像头的摄像头参数；

采用具有调整后的摄像头参数的虚拟摄像头和所述光照模型对所述模拟参照物进行渲染，得到第三渲染图像；

在所述第三渲染图像所对应的渲染像素色彩数据和所述实拍像素色彩数据的差距在预定范围内的情况下，将所述第三渲染图像确定为所述第一渲染图像。

24.根据权利要求21所述的装置，其中，所述至少一种颜色包括白色和/或灰色。

25.根据权利要求15所述的装置，其中，所述建立单元具体包括：

第一获取子单元，配置为获取所述实拍图像中对应于所述多种颜色中各种颜色的实拍像素色彩数据；

第二获取子单元，配置为获取所述第一渲染图像中对应于所述各种颜色的渲染像素色彩数据；

确定子单元，配置为基于所述实拍像素色彩数据和所述渲染像素色彩数据，确定所述颜色映射关系。

26.根据权利要求25所述的装置，其中，所述确定子单元具体配置为：

确定对应的色彩校正矩阵；或者，

确定对应的3DLUT索引表。

27.根据权利要求25所述的装置，其中，所述确定子单元具体配置为：

利用所述渲染像素色彩数据作为样本特征，所述实拍像素色彩数据作为样本标签，训练神经网络模型，用于表征所述颜色映射关系。

28.一种校正渲染图像颜色的装置，所述装置包括：

第一获取单元，配置为获取渲染图像，所述渲染图像采用具有第二摄像头参数的虚拟摄像头渲染而生成；

第二获取单元，配置为获取基于权利要求15所述的装置建立的颜色映射关系；

校正单元，配置为基于所述颜色映射关系，对所述渲染图像进行颜色校正，得到校正后的渲染图像，用于模拟采用具有所述第二摄像头参数的真实摄像头对所述渲染图像所对应的真实场景进行拍摄而得到的图像。

29.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-14中任一项的所述的方法。

30.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-14中任一项所述的方法。

Images