CN116485979B - 映射关系计算方法、颜色校准方法及电子设备 - Google Patents

Abstract

本申请实施例提供了一种映射关系计算方法、颜色校准方法及电子设备。映射关系计算方法包括：获取原始渲染颜色值和线性度调节参数，线性度调节参数用于提高拍摄系统的线性度，拍摄系统的线性度表征拍摄系统的输入值与输出值之间的关系曲线与过原点且斜率为1的直线的逼近程度；拍摄系统包括播控处理器、显示屏及采集设备；采用线性度调节参数调整原始渲染颜色值，得到调整后颜色值；获取采集图像，采集图像为将调整后颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；基于原始渲染颜色值和采集图像的颜色值，计算颜色校准映射关系和颜色校准逆映射关系。本申请实施例可以提升映射关系计算的准确度。

Description

映射关系计算方法、颜色校准方法及电子设备

技术领域

本申请实施例涉及计算机技术领域，尤其涉及一种映射关系计算方法、颜色校准方法、电子设备及计算机存储介质。

背景技术

XR(Extended Reality,扩展现实)虚拟拍摄是通过将经虚拟引擎渲染得到的渲染场景图投屏到LED屏幕上显示，然后演员利用LED屏幕作为背景进行表演，图像采集设备(如相机)同时拍摄演员和LED屏幕，之后，再将拍摄到的相机画面(采集图像)与渲染场景图合成，从而将真实演员置身于虚拟场景中，达到在影棚内拍摄外景或科幻背景的效果。

由于外界因素的影响，使得原始渲染场景图中的颜色值和图像采集设备最终采集到的图像中的颜色值之间存在一定的差异。参见图1，图1为XR拍摄系统引入色差的示意图，具体地，虚拟拍摄过程为：将完整的场景图X1分割之后，经过图1虚线框部分所示的包含播控处理器、LED显示屏及相机的拍摄系统，得到拍摄的实景图X2，之后，将拍摄的实景图X2和场景图X1进行XR合成，得到合成图Y。其中，分割后的场景图经过拍摄系统时，受拍摄系统内部硬件及环境光等因素的影响，会使X2的颜色与X1不同，进而导致XR合成穿帮。因此，需要对X1的颜色值与X2的颜色值进行颜色校准，即：先计算上述两种颜色值之间的映射关系，再应用上述映射关系对实景图进行颜色校准，以提升虚拟拍摄合成图像的视觉效果。

参见图2，图2为相关技术中采用的映射关系计算方案，具体地：将原始渲染颜色输入包含拍摄系统从而得到采集图像，也即：经播控处理器将原始渲染颜色渲染至LED显示屏，再通过相机拍摄LED显示屏得到采集图像；再基于原始渲染颜色值和采集图像的颜色值，构建正向LUT(Look Up Table,颜色校准关系查找表)，得到颜色校准映射关系f(x)，再基于正向LUT计算得到反向LUT，也即：颜色校准逆映射关系h(x)。

拍摄系统的线性度，表征输入输出之间的实际关系曲线逼近过原点且斜率为1的直线的程度。拍摄系统的线性度越差，即输入输出之间的实际关系曲线越偏离上述直线，得到的正向LUT中输入输出之间的关系则越复杂，这样，在计算反向LUT时则越困难，得到的反向LUT的准确度也就越低。

发明内容

有鉴于此，本申请实施例提供一种映射关系计算方案，以至少部分解决上述问题。

根据本申请实施例的第一方面，提供了一种映射关系计算方法，包括：

获取原始渲染颜色值和线性度调节参数，所述线性度调节参数用于提高拍摄系统的线性度，所述拍摄系统的线性度表征拍摄系统的输入值与输出值之间的关系曲线与过原点且斜率为1的直线的逼近程度；所述拍摄系统包括播控处理器、显示屏及采集设备；

采用所述线性度调节参数调整所述原始渲染颜色值，得到调整后颜色值；

获取采集图像，所述采集图像为将所述调整后颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

基于所述原始渲染颜色值和所述采集图像的颜色值，计算颜色校准映射关系和颜色校准逆映射关系。

根据本申请实施例的第二方面，提供了一种颜色校准方法，包括：

获取目标场景图像；

基于颜色校准逆映射关系，对所述目标场景图像进行颜色校准，得到第一校准场景图像；

基于线性度调节参数调整所述第一校准场景图像，得到第二校准场景图像；

获取目标采集图像，所述目标采集图像是将所述第二校准场景图像渲染至显示屏并对显示屏进行拍摄得到的画面；

对所述目标场景图像和所述目标采集图像执行图像合成操作，得到合成图像；

其中，所述颜色校准逆映射关系采用如上述第一方面所述的方法得到。

根据本申请实施例的第三方面，提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面或第二方面所述方法对应的操作。

根据本申请实施例的第四方面，提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面或第二方面所述的方法。

根据本申请实施例提供的映射关系计算方案，在获取到原始渲染颜色值之后，并不是直接将原始渲染颜色值输入拍摄系统，而是先基于线性度调节参数对原始渲染颜色值进行调整，再将调整后颜色值输入拍摄系统，进而得到拍摄系统的输出：采集图像，再基于原始渲染颜色值和经过上述方式得到的采集图像的颜色值得到颜色校准映射关系及颜色校准逆映射关系。上述线性度调节参数可以提升拍摄系统的线性度，即在线性度调节参数的调整下，拍摄系统的输入-原始渲染颜色值，与输出-采集图像的颜色值之间的关系复杂度得以降低，因此，基于关系复杂度较低的输入输出，进行映射关系计算，可以提升映射关系的准确度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1为XR拍摄系统引入色差的示意图；

图2为相关技术中采用的映射关系计算方案；

图3为相关技术中颜色校准应用阶段的流程示意图；

图4为根据本申请实施例一的一种映射关系计算方法的步骤流程图；

图5为本申请实施例提供的映射关系计算方案的流程示意图；

图6为本申请实施例提供的扩展映射关系计算的另一种流程示意图；

图7为根据本申请实施例二的一种颜色校准方法的步骤流程图；

图8为本申请实施例提供的颜色校准方案的流程示意图；

图9为根据本申请实施例三的一种映射关系计算装置的结构框图；

图10为根据本申请实施例四的一种颜色校准装置的结构框图；

图11为根据本申请实施例五的一种电子设备的结构示意图。

具体实施方式

为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。

参见图2，图2为相关技术中采用的映射关系计算方案，具体地：将原始渲染颜色输入包含拍摄系统从而得到采集图像，也即：经播控处理器将原始渲染颜色渲染至LED显示屏，再通过相机拍摄LED显示屏得到采集图像；再基于原始渲染颜色值和采集图像的颜色值，构建正向LUT(Look Up Table,颜色校准关系查找表)，得到颜色校准映射关系f(x)，再基于正向LUT计算得到反向LUT，也即：颜色校准逆映射关系h(x)。

对应地，参见图3，图3为相关技术中颜色校准应用阶段的流程示意图。具体地：

在应用阶段，获取到场景图之后，先将反向LUT，也即h(x)作用于场景图上，得变换后场景图；再通过播控处理器将变换后场景图渲染至LED屏幕上，以进行显示，之后，在环境光等外界因素的干扰下，通过相机拍摄LED屏幕，得到采集图像，也就是说，在颜色校准映射关系f(x)的作用下，变换后场景图被转换为采集图像；最后再将场景图和采集图像合成得到合成图。

上述相关技术在实际应用中存在如下问题：随着拍摄系统线性度的降低，拍摄系统输入值与输出值间实际关系的复杂度升高，这样，在计算颜色校准逆映射关系时，得到的颜色校准逆映射关系的准确度也就越低。

而本申请实施例提供的映射关系计算方案，在获取到原始渲染颜色值之后，并不是直接将原始渲染颜色值输入拍摄系统，而是先基于线性度调节参数对原始渲染颜色值进行调整，再将调整后颜色值输入拍摄系统，进而得到拍摄系统的输出：采集图像，再基于原始渲染颜色值和经过上述方式得到的采集图像的颜色值得到颜色校准映射关系及颜色校准逆映射关系。上述线性度调节参数可以提升拍摄系统的线性度，即在线性度调节参数的调整下，拍摄系统的输入-原始渲染颜色值，与输出-采集图像的颜色值之间的关系复杂度得以降低，因此，基于关系复杂度较低的输入输出，进行映射关系计算，可以提升映射关系的准确度。

下面结合本申请实施例附图进一步说明本申请实施例具体实现。

实施例一

参照图4，图4为根据本申请实施例一的一种映射关系计算方法的步骤流程图。具体地，本实施例提供的映射关系计算方法包括以下步骤：

步骤402，获取原始渲染颜色值和线性度调节参数。

其中，线性度调节参数用于提高拍摄系统的线性度，拍摄系统的线性度表征拍摄系统的输入值与输出值之间的关系曲线与过原点且斜率为1的直线的逼近程度；拍摄系统包括播控处理器、显示屏及采集设备。

原始渲染颜色值，可以为用于进行映射关系计算的样本颜色值。由于得到映射关系之后，在实际的颜色校准过程中，待校准图像的颜色值可能为RGB色彩空间中的任意值，因此，为了提高映射关系的计算准确度以及颜色校准的效果，可以对RGB色彩空间下的颜色值进行采样，将采样得到的颜色值确定为原始渲染颜色值。本申请实施例中，对于原始渲染颜色值的数量不做限定，原始渲染颜色值的数量越多，得到的映射关系的精确度也就越高，但是，对应的，对计算资源的消耗也就越多。因此，可以根据对映射关系的精确度要求，以及，计算资源情况自定义设定原始渲染颜色值的数量。

拍摄系统的输入值即为原始渲染颜色值，输出值即为将原始渲染颜色值渲染至显示屏，并对显示屏进行拍摄得到的采集图像的颜色值。

可选地，在其中一些实施例中，线性度调节参数的获取过程可以包括：

获取多个灰阶采集图像，灰阶采集图像为将灰阶颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

基于灰阶颜色值和与灰阶颜色值对应的灰阶采集图像的颜色值，进行映射关系计算，得到拍摄系统映射关系；

对拍摄系统映射关系进行逆运算，得到拍摄系统逆映射关系，作为线性度调节参数。

具体地，可以预设多种色卡，每张色卡显示一种灰阶颜色，分别将各色卡输入拍摄系统，经过播控处理器将各色卡对应的灰阶颜色值渲染至显示屏，并对显示屏进行拍摄得到各灰阶颜色值对应灰阶采集图像。其中，灰阶颜色指R(Red，红色)通道、G(Green，绿色)通道及B(Blue，蓝色)通道的像素值均相等的颜色。

考虑到在颜色校准应用阶段，场景图中各像素点的颜色值可能并不是灰阶的，也就是说，场景图中像素点三个颜色通道的像素值可能并不相同，因此，在基于灰阶颜色值和对应的灰阶采集图像的颜色值，得到拍摄系统映射关系时，可以分通道进行，分别得到各颜色通道下拍摄系统的映射关系，也即对于每种颜色通道，得到一个1维的LUT，在得到各颜色通道的1维LUT之后，可以通过求逆运算，得到各颜色通道的1维反向LUT。这样，在实际颜色校准时，可以针对场景图的各颜色通道，分别将对应的1维反向LUT作为线性度调节参数。

具体地：

基于灰阶采集图像的R通道像素值和灰阶颜色值中R通道的像素值，得到R通道下拍摄系统的映射关系；基于灰阶采集图像的G通道像素值和灰阶颜色值中G通道的像素值，得到G通道下拍摄系统的映射关系；基于灰阶采集图像的B通道像素值和灰阶颜色值中B通道的像素值，得到B通道下拍摄系统的映射关系。

可选地，在其中一些实施例中，线性度调节参数的获取过程还可以包括：

获取多个灰阶采集图像，灰阶采集图像为将灰阶颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

基于灰阶颜色值和与灰阶颜色值对应的灰阶采集图像的颜色值进行曲线拟合，生成拍摄系统的灰阶响应曲线；

计算灰阶响应曲线的伽玛值，并基于伽玛值的倒数，得到线性度调节参数。

具体地，可以将拍摄系统的输入：灰阶颜色值作为横坐标，将拍摄系统的输出：灰阶采集图像作为纵坐标，进行曲线拟合，从而将拟合成的曲线确定为拍摄系统的灰阶响应曲线；进而计算该曲线的伽马值，并基于计算得到的伽玛值的倒数确定线性度调节参数。

本申请实施例中，可以基于伽玛值的倒数确定线性度调节参数。进一步地，线性度调节参数可以在如下范围内进行取值：(M-a,M+a),其中,M为伽玛值的倒数，0≤a＜M。具体地，根据经验值，a可以取：0.3*M。

可选地，在其中一些实施例中，在获取线性度调节参数之前，方法还包括：

计算拍摄系统的线性度；

确定拍摄系统的线性度是否小于预设线性度阈值；若是，执行获取线性度调节参数的步骤。

上述映射关系计算方案中，线性度调节参数的获取过程，以及，利用线性度调节参数对原始渲染颜色值进行调节，通过提升拍摄系统线性度的方式提升颜色校准逆映射关系准确度的过程，均需要一定的耗时，操作过程比较复杂。因此，在获取线性度调节参数之前，可以先判断拍摄系统的线性度是否过小，即判断拍摄系统的线性度是否小于预设线性度阈值，若是，为了避免因线性度过差导致的映射关系计算准确度过低的问题，则可以执行线性度调节参数获取，以及，利用线性度调节参数对原始渲染颜色值进行调节，通过提升拍摄系统线性度的方式提升颜色校准逆映射关系准确度的过程；反之，若拍摄系统的线性度不小于预设线性度阈值，此时，按照图2所示方案得到的颜色校准逆映射关系的准确度不至于过低，因此，可以执行图2所示的方案进行映射关系计算，以在保证计算结果的准确度的同时，提升计算效率。

具体地，也可以基于上述拍摄系统的灰阶响应曲线，计算拍摄系统的线性度，具体地：在生成拍摄系统的灰阶响应曲线并计算得到灰阶响应曲线的伽玛值之后，计算伽玛值与1(过原点且斜率为1的直线的伽玛值为1)的差值(该差值为正数)，进而基于上述差值的倒数得到拍摄系统的线性度，其中，上述差值的倒数越大，拍摄系统的线性度越高。

步骤404，采用线性度调节参数调整原始渲染颜色值，得到调整后颜色值。

具体地，在步骤402中，若是将拍摄系统逆映射关系作为线性度调节参数，则步骤404具体可以包括：以原始渲染颜色值Ai为自变量，基于拍摄系统逆映射关系进行函数计算，从而得到调整后颜色值；若是基于灰阶响应曲线伽玛值的倒数，得到线性度调节参数M的，则步骤404中得到的调整后颜色值Ai’可以通过下述表达式得到：Ai’＝Ai^M。

步骤406，获取采集图像。

其中，采集图像为将调整后颜色值渲染至显示屏并对显示屏进行拍摄得到的画面。

步骤408，基于原始渲染颜色值和采集图像的颜色值，计算颜色校准映射关系和颜色校准逆映射关系。

具体地，可以先基于原始渲染颜色值和采集图像的颜色值，计算得到颜色校准映射关系，再对颜色校准映射关系进行求逆运算，从而得到颜色校准逆映射关系。

采集设备采集到的采集图像的颜色值通常是经过采集设备进行编码操作的编码色彩空间下的颜色值，由于上述编码色彩空间对应的色域范围通常与显示器能够表达(呈现)的色域范围不同，因此，上述编码色彩空间下的颜色值，并不能被准确地呈现在显示器中，而是出现一定的色差。在进行颜色校准映射关系计算及后续的颜色校准应用时，要使得采集图像的颜色值能够在显示器中得到准确表达，也就是说，要对采集图像的颜色值进行色彩空间转换，得到标准色彩空间下的采集图像颜色值。其中，标准色彩空间是指色域范围与显示器的色域范围相同的色彩空间，如：Rec709、Rec2020、P3色彩空间。

相关技术中，通常是采用采集设备自身提供的色彩空间转换LUT进行色彩空间转换。但是，上述色彩空间转换LUT的获取过程通常是：通过色彩空间之间的数学转换原理对采集设备编码色彩空间下的颜色值进行色彩空间转换，得到标准色彩空间下的采集图像颜色值，之后，还出于调色需求，对标准色彩空间下的采集图像颜色值进行一定的颜色值调整，得到的调整后的颜色值，最后，再基于采集设备编码色彩空间下的颜色值，以及，上述调整后的颜色值进行映射关系计算，从而得到上述色彩空间转换LUT。也就是说，采用上述方式得到的上述色彩空间转换LUT，并不是通过数学转换原理层面上得到的色彩空间转换函数得到的，而是在上述色彩空间转换函数的基础上，还增加了调色师给出的调色函数，同时基于上述色彩空间转换函数和调色函数得到的上述色彩空间转换LUT，因此，若基于上述色彩空间转换LUT进行色彩空间转换，得到的转换后的颜色值会与基于数学转换原理层面上得到的色彩空间转换函数得到的转换后的颜色值之间存在一定的色差，这会导致最终得到的颜色校准映射关系不够准确，进而，基于上述不够准确的颜色校准映射关系进行颜色校准，会出现校准结果不够理想的问题。

因此，在进行颜色校准映射关系计算之前，可以先对采集图像的颜色值进行色彩空间转换。具体地：

在其中一些实施例中，基于原始渲染颜色值和采集图像的颜色值，计算得到颜色校准映射关系，可以包括：

确定与采集设备对应的色彩空间转换函数；所述色彩空间转换函数为采用采集设备对应的编码色彩空间与标准色彩空间之间的数学转换原理推理得到的；

通过色彩空间转换函数对采集图像的颜色值进行色彩空间转换，得到标准色彩空间下的采集图像颜色值；

基于原始渲染颜色值和标准色彩空间下的采集图像颜色值，计算得到颜色校准映射关系和颜色校准逆映射关系。

可选地，在其中一些实施例中，方法还包括：

获取校准图像颜色值，校准图像颜色值为采用颜色校准逆映射关系对原始渲染颜色值校准得到校准渲染颜色值，采用线性度调节参数调整校准渲染颜色值得到调整渲染颜色值，并将调整渲染颜色值渲染至显示屏后得到的采集图像的颜色值；

基于原始渲染颜色值和校准图像颜色值，计算得到扩展映射关系。

在映射关系计算过程中，通常会存在计算误差，因此，在颜色校准的应用阶段，基于计算得到的存在误差的颜色校准逆映射关系进行颜色校准，得到的采集图像的颜色值与场景图的颜色值之间通常还会存在一定的色差。

本申请实施例中，在计算得到颜色校准逆映射关系之后，基于颜色校准逆映射关系进行了校准，得到了校准图像颜色值，进而基于原始渲染颜色值和校准图像颜色值，计算得到了扩展映射关系。该扩展映射关系可以表征原始渲染颜色值与经颜色校准逆映射关系及颜色校准映射关系校准后得到的校准图像颜色值之间的映射关系，因此，应用阶段，在得到经颜色校准逆映射关系校准的采集图像颜色值之后，为了缩小场景图颜色值与采集图像颜色值之间的差值，可以采用上述扩展映射关系对场景图颜色值进行调整，从而使得场景图颜色值更接近于采集图像颜色值，以提升最终得到的合成图像的视觉效果。

进一步地，获取校准图像颜色值的方式可以包括如下两种：

第一种方式，在其中一些实施例中，获取校准图像颜色值，可以包括：

基于颜色校准逆映射关系，以原始渲染颜色值为自变量进行函数计算，得到校准渲染颜色值；

采用线性度调节参数调整校准渲染颜色值得到调整渲染颜色值；

获取校准图像，校准图像为将调整渲染颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

对校准图像进行像素值提取，得到校准图像颜色值。

第二种方式，在另一些实施例中，获取校准图像颜色值，也可以包括：

基于颜色校准逆映射关系，以原始渲染颜色值为自变量进行函数计算，得到校准渲染颜色值；

基于颜色校准映射关系，以校准渲染颜色值为自变量进行函数计算，得到校准图像颜色值。

上述两种校准图像颜色值获取方式相比，第一种方式在得到校准渲染颜色值之后，是通过真实的物理采集链路-拍摄系统，拍摄得到校准图像，进而得到校准图像颜色值的，因此，操作过程较为复杂，但其优点在于得到的扩展映射关系的准确度较高；第二种方式在得到校准渲染颜色值之后，是通过等价于拍摄系统的颜色校准映射关系得到校准图像颜色值的，因此，得到的扩展映射关系的准确度较低，但其优点在于计算过程较为简单，计算效率较高。

本申请实施例提供的映射关系计算方法，在获取到原始渲染颜色值之后，并不是直接将原始渲染颜色值输入拍摄系统，而是先基于线性度调节参数对原始渲染颜色值进行调整，再将调整后颜色值输入拍摄系统，进而得到拍摄系统的输出：采集图像，再基于原始渲染颜色值和经过上述方式得到的采集图像的颜色值得到颜色校准映射关系及颜色校准逆映射关系。上述线性度调节参数可以提升拍摄系统的线性度，即在线性度调节参数的调整下，拍摄系统的输入-原始渲染颜色值，与输出-采集图像的颜色值之间的关系复杂度得以降低，因此，基于关系复杂度较低的输入输出，进行映射关系计算，可以提升映射关系的准确度。

参见图5，图5为本申请实施例提供的映射关系计算方案的流程示意图。具体地:本申请实施例总体是基于编解码的思想设计的，总体的技术构思为：首先将播控处理器对输入信号的处理和LED的显示看作一个解码器，参见图5中的解码器1；将相机看做是一个对光的编码器，参见图5中的编码器2，针对该编码器2，设计了一个解码器：图5中的解码器2，这样，可以利用解码器将相机采集到的原始图像解码至标准色彩空间中，以确保校色成功；编码器1的作用是对整个拍摄系统中的信号进行线性度调节，具体可以包括对解码器1，环境光，编码器2以及解码器2在内的所有环节的整体调节。其中，图5中粗体方框中的部分即为本申请实施例的主要改进点所在。

本申请实施例提供的映射关系计算方案的流程具体为：将原始渲染颜色输入编码器1，通过编码器1的线性度调节，得到调整后颜色值；调整后颜色值经过解码器1、编码器2及解码器2的色彩空间转换，得到标准色彩空间下的采集图像；基于原始渲染颜色值和采集图像的颜色值，计算得到正向LUT和反向LUT，也即：颜色校准映射关系f(x)和颜色校准逆映射关系h(x)；进一步地，可以基于颜色校准映射关系f(x)和颜色校准逆映射关系h(x)，计算得到扩展映射关系g(x)，具体地：基于颜色校准逆映射关系g(x)，以原始渲染颜色值为自变量进行函数计算，得到校准渲染颜色值；基于颜色校准映射关系f(x)，以校准渲染颜色值为自变量进行函数计算，得到校准图像颜色值；基于原始渲染颜色值和校准图像颜色值，计算得到扩展映射关系g(x)。

图5中，在获取校准图像颜色值时，是基于上述第二种方式进行的，即：基于颜色校准映射关系f(x)和颜色校准逆映射关系h(x)，通过公式g(x)＝f(h(x))计算得到g(x)的。

参见图6，图6为本申请实施例提供的扩展映射关系计算的另一种流程示意图，在图6对应的方法中，在获取校准图像颜色值时，是基于上述第一种方式进行的。具体地：采用反向LUT,也即h(x)校准原始渲染颜色值，得到校准渲染颜色值；采用编码器1调整校准渲染颜色值得到调整渲染颜色值；通过解码器1，编码器2及解码器2得到标准色彩空间下的采集图像颜色值，再基于原始渲染颜色值和采集图像颜色值，计算得到扩展LUT，即g(x)。

实施例二

参照图7，图7为根据本申请实施例二的一种颜色校准方法的步骤流程图。本实施例提供的颜色校准方法可以应用于虚拟拍摄场景中，具体地，本实施例提供的颜色校准方法包括以下步骤：

步骤702，获取目标场景图像。

具体地，目标场景图像可以为视频流中的二维图像帧，也可以为基于三维场景信息渲染得到的二维纹理图像帧。具体地，当目标场景图像为二维图像帧时，获取过程可以为：其他设备将编码图像帧发送至执行本申请实施例提供的颜色校准方法的电子设备，电子设备进行解码从而得到二维图像帧；当目标场景图像为基于三维场景信息渲染得到的二维纹理图像帧时，获取过程可以为：其他设备(如渲染服务器集群)基于三维场景信息进行图像渲染，得到渲染完成的二维纹理图像，再对上述二维纹理图像进行编码并传输至上述电子设备，电子设备进行解码从而得到二维纹理图像帧。

步骤704，基于颜色校准逆映射关系，对目标场景图像进行颜色校准，得到第一校准场景图像。

其中，颜色校准逆映射关系采用上述实施例一的方法得到。

步骤706，基于线性度调节参数调整第一校准场景图像，得到第二校准场景图像。

步骤708，获取目标采集图像，目标采集图像是将第二校准场景图像渲染至显示屏并对显示屏进行拍摄得到的画面。

步骤710，对目标场景图像和目标采集图像执行图像合成操作，得到合成图像。

可选地，为了提升最终得到的合成图像的视觉效果，在其中一些实施例中，对目标场景图像和目标采集图像执行图像合成操作，得到合成图像，可以包括：

基于扩展映射关系，对目标场景图像进行颜色校准，得到第三校准场景图像；

对第三校准场景图像和目标采集图像执行图像合成操作，得到合成图像。

其中，扩展映射关系通过上述实施例一中计算扩展映射关系的方法得到。

具体地，在虚拟拍摄场景中，目标场景图像可以是作为背景的图像，其中，可以包含拍摄背景；采集图像为将上述目标场景图像渲染至显示屏，并对显示屏以及位于显示屏前方的预设对象进行拍摄得到的图像，由于显示屏中显示有拍摄背景，而预设对象位于显示屏前方，因此，采集图像中则可以包含预设对象和拍摄背景，从而营造出预设对象在拍摄背景中活动的视觉效果。而由于采集设备拍摄角度等因素的影响，采集图像中可能只包含部分拍摄背景，为了进一步提升视觉体验，可以对采集图像和目标场景图像进行融合，从而使得到的合成图像中拍摄背景的区域占比更大。但是，由于采集图像中的颜色相较于目标场景图像中的颜色，有一定的色差，因此，可以先获取颜色校准映射关系，并在获取到目标场景图像之后，采用颜色校准映射关系和线性度调节参数对目标场景图像进行颜色校准及调整，得到第二校准场景图像，这样，将第二校准场景图像渲染至显示屏，并通过采集设备进行图像采集之后，可以使得到的目标采集图像的颜色与目标场景图像的颜色一致。

例如：想要生成演员在沙漠中行走的图像，则目标场景图像可以为初始的沙漠图像；在获取到初始的沙漠图像之后，可以基于颜色校准映射关系和线性度调节参数，对初始的沙漠图像中的颜色进行颜色校准和调整，得到校准后沙漠图像；在将校准后沙漠图像渲染至显示屏，演员在显示屏前方行走，此时通过采集设备拍摄显示屏和演员，从而得到包含演员和校准后沙漠图像中的部分沙漠的目标采集图像，该目标采集图像中沙漠所在区域的颜色与初始的沙漠图像中对应区域的颜色更为接近；再对目标采集图像和初始的沙漠图像执行图像合成操作，最终得到的合成图像，可以呈现出如下视觉效果：演员在较为宽广的沙漠中行走。

本申请实施例中，是基于准确性较高的颜色校准映射关系进行颜色校准的，因此，最终得到的目标采集图像与目标场景图像之间的颜色更为接近，这样，最终得到的合成图像的视觉效果会更好。

参见图8，图8为本申请实施例提供的颜色校准方案的流程示意图。具体地：在获取到场景图X1之后，基于反向LUT，也即h(x)对X1进行颜色校准，得到第一校准场景图；第一校准场景图经过编码器1之后，得到第二校准场景图；第二校准场景图经过解码器1、编码器2以及解码器2之后，得到标准色彩空间下的采集图X4；另外，对于场景图X1而言，可以基于扩展LUT，也即g(x)进行颜色校准，得到第三校准场景图X3；最后，对X3和X4进行XR合成，从而得到最终的合成图Y。

本申请实施例中，是基于准确性较高的颜色校准逆映射关系进行颜色校准的，因此，最终得到的目标采集图像与目标场景图像之间的颜色更为接近，这样，最终得到的融合后图像的视觉效果会更好。

实施例三

图9为根据本申请实施例三的一种映射关系计算装置的结构框图。该装置包括：

参数获取模块902，用于获取原始渲染颜色值和线性度调节参数，线性度调节参数用于提高拍摄系统的线性度，拍摄系统的线性度表征拍摄系统的输入值与输出值之间的关系曲线与过原点且斜率为1的直线的逼近程度；拍摄系统包括播控处理器、显示屏及采集设备；

第一调整模块904，用于采用线性度调节参数调整原始渲染颜色值，得到调整后颜色值；

第一图像获取模块906，用于获取采集图像，采集图像为将调整后颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

映射关系计算模块908，用于基于原始渲染颜色值和采集图像的颜色值，计算颜色校准映射关系和颜色校准逆映射关系。

可选地，在其中一些实施例中，参数获取模块902在获取线性度调节参数时，具体用于：

获取多个灰阶采集图像，灰阶采集图像为将灰阶颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

基于灰阶颜色值和与灰阶颜色值对应的灰阶采集图像的颜色值，进行映射关系计算，得到拍摄系统映射关系；

对拍摄系统映射关系进行逆运算，得到拍摄系统逆映射关系，作为线性度调节参数。

可选地，在其中一些实施例中，参数获取模块902在获取线性度调节参数时，具体用于：

获取多个灰阶采集图像，灰阶采集图像为将灰阶颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

基于灰阶颜色值和与灰阶颜色值对应的灰阶采集图像的颜色值进行曲线拟合，生成拍摄系统的灰阶响应曲线；

计算灰阶响应曲线的伽玛值，并基于伽玛值的倒数，得到线性度调节参数。

可选地，在其中一些实施例中，映射关系计算模块908，具体用于：

确定与采集设备对应的色彩空间转换函数；色彩空间转换函数为采用采集设备对应的编码色彩空间与标准色彩空间之间的数学转换原理推理得到的；

通过色彩空间转换函数对采集图像的颜色值进行色彩空间转换，得到标准色彩空间下的采集图像颜色值；

基于原始渲染颜色值和标准色彩空间下的采集图像颜色值，计算得到颜色校准映射关系和颜色校准逆映射关系。

可选地，在其中一些实施例中，映射关系计算装置还包括：

扩展映射关系得到模块，用于获取校准图像颜色值，校准图像颜色值为采用颜色校准逆映射关系对原始渲染颜色值校准得到校准渲染颜色值，采用线性度调节参数调整校准渲染颜色值得到调整渲染颜色值，并将调整渲染颜色值渲染至显示屏后得到的采集图像的颜色值；基于原始渲染颜色值和校准图像颜色值，计算得到扩展映射关系。

可选地，在其中一些实施例中，扩展映射关系得到模块在执行获取校准图像颜色值的步骤时，具体用于：基于所述颜色校准逆映射关系，以所述原始渲染颜色值为自变量进行函数计算，得到校准渲染颜色值；采用线性度调节参数调整校准渲染颜色值得到调整渲染颜色值；获取校准图像，校准图像为将调整渲染颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；对校准图像进行像素值提取，得到校准图像颜色值。

可选地，在其中一些实施例中，扩展映射关系得到模块在执行获取校准图像颜色值的步骤时，具体用于：基于颜色校准逆映射关系，以原始渲染颜色值为自变量进行函数计算，得到校准渲染颜色值；基于颜色校准映射关系，以校准后渲染颜色值为自变量进行函数计算，得到校准图像颜色值。

本实施例的映射关系计算装置用于实现前述映射关系计算方法实施例中相应的映射关系计算方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的映射关系计算装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例四

图10为根据本申请实施例四的一种颜色校准装置的结构框图。该装置包括：

目标场景图像获取模块1002，用于获取目标场景图像；

颜色校准模块1004，用于基于颜色校准逆映射关系，对目标场景图像进行颜色校准，得到第一校准场景图像；

第二调整模块1006，用于基于线性度调节参数调整第一校准场景图像，得到第二校准场景图像；

第二图像获取模块1008，用于获取目标采集图像，目标采集图像是将第二校准场景图像渲染至显示屏并对显示屏进行拍摄得到的画面；

合成模块1010，用于对所述目标场景图像和所述目标采集图像执行图像合成操作，得到合成图像；

其中，颜色校准逆映射关系采用上述第一方面的方法得到。

可选地，在其中一些实施例中，合成模块1010，具体用于：

基于扩展映射关系，对所述目标场景图像进行颜色校准，得到第三校准场景图像；

对所述第三校准场景图像和所述目标采集图像执行图像合成操作，得到合成图像

其中，所述扩展映射关系采用上述第一方面中计算扩展映射关的方法得到。

本实施例的颜色校准装置用于实现前述颜色校准方法实施例中相应的颜色校准方法，并具有相应的方法实施例的有益效果，在此不再赘述。此外，本实施例的颜色校准装置中的各个模块的功能实现均可参照前述方法实施例中的相应部分的描述，在此亦不再赘述。

实施例五

参照图11，示出了根据本申请实施例五的一种电子设备的结构示意图，本申请具体实施例并不对电子设备的具体实现做限定。

如图11所示，该控制终端可以包括：处理器(processor)1102、通信接口(Communications Interface)1104、存储器(memory)1106、以及通信总线1108。

其中：

处理器1102、通信接口1104、以及存储器1106通过通信总线1108完成相互间的通信。

通信接口1104，用于与其它电子设备或服务器进行通信。

处理器1102，用于执行程序1110，具体可以执行上述映射关系计算方法或颜色校准方法实施例中的相关步骤。

具体地，程序1110可以包括程序代码，该程序代码包括计算机操作指令。

处理器1102可能是CPU，或者是特定集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本申请实施例的一个或多个集成电路。智能设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。

存储器1106，用于存放程序1110。存储器1106可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

程序1110可包括多条计算机指令，程序1110具体可以通过多条计算机指令使得处理器1102执行前述多个方法实施例中所描述的方法对应的操作。

程序1110中各步骤的具体实现可以参见上述方法实施例中的相应步骤和单元中对应的描述，并具有相应的有益效果，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

本申请实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述多个方法实施例中任一实施例所描述的方法。该计算机存储介质包括但不限于：只读光盘(Compact Disc Read-Only Memory，CD-ROM)、随机存储器(RandomAccess Memory，RAM)、软盘、硬盘或磁光盘等。

本申请实施例还提供了一种计算机程序产品，包括计算机指令，该计算机指令指示计算设备执行上述多个方法实施例中的任一方法对应的操作。

此外，需要说明的是，本申请实施例所涉及到的与用户有关的信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于对模型进行训练的样本数据、用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

需要指出，根据实施的需要，可将本申请实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本申请实施例的目的。

上述根据本申请实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如CD-ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如专用集成电路(Application Specific Integrated Circuit，ASIC)或现场可编辑门阵列(Field Programmable Gate Array，FPGA))的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，随机存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的方法。此外，当通用计算机访问用于实现在此示出的方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。

以上实施方式仅用于说明本申请实施例，而并非对本申请实施例的限制，有关技术领域的普通技术人员，在不脱离本申请实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本申请实施例的范畴，本申请实施例的专利保护范围应由权利要求限定。

Claims (10)

1.一种映射关系计算方法，包括：

获取原始渲染颜色值和线性度调节参数，所述线性度调节参数用于提高拍摄系统的线性度，所述拍摄系统的线性度表征拍摄系统的输入值与输出值之间的关系曲线与过原点且斜率为1的直线的逼近程度；所述拍摄系统包括播控处理器、显示屏及采集设备；

采用所述线性度调节参数调整所述原始渲染颜色值，得到调整后颜色值；

获取采集图像，所述采集图像为将所述调整后颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

基于所述原始渲染颜色值和所述采集图像的颜色值，计算颜色校准映射关系和颜色校准逆映射关系；

其中，所述线性度调节参数的获取过程包括：

获取多个灰阶采集图像，所述灰阶采集图像为将灰阶颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；基于所述灰阶颜色值和与所述灰阶颜色值对应的灰阶采集图像的颜色值，进行映射关系计算，得到拍摄系统映射关系；对所述拍摄系统映射关系进行逆运算，得到拍摄系统逆映射关系，作为线性度调节参数；

或者，

获取多个灰阶采集图像，所述灰阶采集图像为将灰阶颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；基于所述灰阶颜色值和与所述灰阶颜色值对应的灰阶采集图像的颜色值进行曲线拟合，生成拍摄系统的灰阶响应曲线；计算所述灰阶响应曲线的伽玛值，并基于所述伽玛值的倒数，得到线性度调节参数。

2.根据权利要求1所述的一种映射关系计算方法，其中，所述基于所述原始渲染颜色值和所述采集图像的颜色值，计算得到颜色校准映射关系和颜色校准逆映射关系，包括：

确定与采集设备对应的色彩空间转换函数；所述色彩空间转换函数为采用采集设备对应的编码色彩空间与标准色彩空间之间的数学转换原理推理得到的；

通过所述色彩空间转换函数对所述采集图像的颜色值进行色彩空间转换，得到所述标准色彩空间下的采集图像颜色值；

基于所述原始渲染颜色值和所述标准色彩空间下的采集图像颜色值，计算得到颜色校准映射关系和颜色校准逆映射关系。

3.根据权利要求1所述的一种映射关系计算方法，其中，所述方法还包括：

获取校准图像颜色值，所述校准图像颜色值为采用所述颜色校准逆映射关系对原始渲染颜色值校准得到校准渲染颜色值，采用所述线性度调节参数调整所述校准渲染颜色值得到调整渲染颜色值，并将所述调整渲染颜色值渲染至显示屏后得到的采集图像的颜色值；

基于所述原始渲染颜色值和所述校准图像颜色值，计算得到扩展映射关系。

4.根据权利要求3所述的一种映射关系计算方法，其中，所述获取校准图像颜色值，包括：

基于所述颜色校准逆映射关系，以所述原始渲染颜色值为自变量进行函数计算，得到校准渲染颜色值；

采用所述线性度调节参数调整所述校准渲染颜色值得到调整渲染颜色值；

获取校准图像，所述校准图像为将所述调整渲染颜色值渲染至显示屏并对显示屏进行拍摄得到的画面；

对所述校准图像进行像素值提取，得到校准图像颜色值。

5.根据权利要求3所述的一种映射关系计算方法，其中，所述获取校准图像颜色值，包括：

基于所述颜色校准逆映射关系，以所述原始渲染颜色值为自变量进行函数计算，得到校准渲染颜色值；

基于所述颜色校准映射关系，以所述校准渲染颜色值为自变量进行函数计算，得到校准图像颜色值。

6.一种颜色校准方法，包括：

获取目标场景图像；

基于颜色校准逆映射关系，对所述目标场景图像进行颜色校准，得到第一校准场景图像；

基于线性度调节参数调整所述第一校准场景图像，得到第二校准场景图像；

获取目标采集图像，所述目标采集图像是将所述第二校准场景图像渲染至显示屏并对显示屏进行拍摄得到的画面；

对所述目标场景图像和所述目标采集图像执行图像合成操作，得到合成图像；

其中，所述颜色校准逆映射关系采用如权利要求1-5任一项所述的方法得到。

7.根据权利要求6所述的一种颜色校准方法，其中，所述对所述目标场景图像和所述目标采集图像执行图像合成操作，得到合成图像，包括：

基于扩展映射关系，对所述目标场景图像进行颜色校准，得到第三校准场景图像；

对所述第三校准场景图像和所述目标采集图像执行图像合成操作，得到合成图像；

其中，所述扩展映射关系采用如权利要求3-5任一项所述的方法得到。

8.一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7任一项所述的方法对应的操作。

9.一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

10.一种计算机程序产品，包括计算机指令，所述计算机指令指示计算设备执行如权利要求1-7中任一项所述的方法。