CN111866483B - 颜色还原方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开提供一种颜色还原方法、颜色还原装置、计算机可读介质和电子设备，涉及图像处理技术领域。该方法包括：从第一摄像模组切换至第二摄像模组时，获取第一摄像模组对应的第一白平衡矩阵和第一颜色矫正矩阵；基于颜色映射关系、第一白平衡矩阵和第一颜色矫正矩阵，计算针对第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵；在切换至第二摄像模组时，基于第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行颜色还原。本公开可以避免摄像装置切换造成的显示画面颜色跳变的问题。

Description

颜色还原方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及图像处理技术领域，具体涉及一种颜色还原方法、颜色还原装置、计算机可读介质和电子设备。

背景技术

在利用摄像装置拍摄图像时，如果某一终端设备中包括至少两个摄像装置，在相同场景中，切换前摄像装置对应的显示画面与切换后摄像装置对应的显示画面有较大的差别，显示画面可能会出现明显的跳变。

发明内容

本公开的目的在于提供一种颜色还原方法、颜色还原装置、计算机可读介质和电子设备，进而至少在一定程度上避免摄像装置切换造成的显示画面颜色跳变的问题。

根据本公开的第一方面，提供一种颜色还原方法，应用于包括至少两个摄像模组的终端设备，包括：从第一摄像模组切换至第二摄像模组时，获取第一摄像模组对应的第一白平衡矩阵和第一颜色矫正矩阵，第一白平衡矩阵和第一颜色矫正矩阵用于将第一摄像模组采集的第一颜色数据还原为第一真实颜色；基于颜色映射关系、第一白平衡矩阵和第一颜色矫正矩阵，计算针对第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵，第二白平衡矩阵和第二颜色矫正矩阵用于将第二摄像模组采集的第二颜色数据还原为第一真实颜色；在切换至第二摄像模组时，基于第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行颜色还原。

根据本公开的第二方面，提供一种颜色还原装置，应用于包括至少两个摄像模组的终端设备，包括：数据获取模块，用于从第一摄像模组切换至第二摄像模组时，获取第一摄像模组对应的第一白平衡矩阵和第一颜色矫正矩阵，第一白平衡矩阵和第一颜色矫正矩阵用于将第一摄像模组采集的第一颜色数据还原为第一真实颜色；数据计算模块，用于基于颜色映射关系、第一白平衡矩阵和第一颜色矫正矩阵，计算针对第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵，第二白平衡矩阵和第二颜色矫正矩阵用于将第二摄像模组采集的第二颜色数据还原为第一真实颜色；颜色还原模块，用于在切换至第二摄像模组时，基于第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行颜色还原。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述方法。

本公开的一种实施例所提供的颜色还原方法，通过颜色映射关系、第一白平衡矩阵和第一颜色矫正矩阵能够计算得到将第二摄像模组采集的第二颜色数据转换为第一真实颜色的第二白平衡矩阵和第二颜色矫正矩阵，进而基于第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行颜色还原，以对第二摄像模组对应的显示画面进行控制。由于第二白平衡矩阵和第二颜色矫正矩阵可以将第二颜色数据转换为第一真实颜色，因此基于第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行颜色还原后，对应显示画面的颜色不会发生较大变化，因此不会出现明显的跳变。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示出了可以应用本公开实施例的一种电子设备的示意图；

图3示意性示出本公开示例性实施例中一种颜色还原方法的流程图；

图4示意性示出一种感光响应曲线；

图5示意性示出了从主摄像头切换至长焦摄像头时，终端设备的程序控制流程图；

图6示意性示出本公开示例性实施例中颜色还原装置的组成示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种颜色还原方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种包括至少两个摄像模组的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的颜色还原方法一般由终端设备101、102、103中执行，相应地，颜色还原装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的颜色还原方法也可以由终端设备101、102、103和服务器105共同执行，相应的，颜色还原装置也可以同时设置于终端设备101、102、103和服务器105中，本示例性实施例中对此不做特殊限定。举例而言，在一种示例性实施例中，可以是用户通过对终端设备101、102、103的操作，控制终端设备从第一摄像模组切换至第二摄像模组时，可以将计算第二白平衡矩阵和第二颜色矫正矩阵所需的数据发送至服务器105，由服务器进行计算后，再将计算结果返回至终端设备101、102、103，使得终端设备101、102、103可以根据以对第二摄像模组对应的显示画面进行控制。

本公开的示例性实施方式提供一种用于实现颜色还原方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行颜色还原方法。

下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。

如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriber identification module，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

NPU为神经网络(Neural-Network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。

充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；

无线通信模块260可以提供应用在移动终端200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)等无线通信的解决方案。在一些实施例中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。

移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。其中，ISP用于处理摄像模组291反馈的数据；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。

摄像模组291用于捕获静态图像或视频。在本实施例中，移动终端200可以包括至少2个摄像模组291，且在摄像模组中存在一个主摄像模组，例如，在一种示例性实施例中，电子设备可以同时设有一个主摄像头和一个长焦摄像头，再如电子设备还可以同时设有一个主摄像头和一个广角摄像头。

外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(Universal Flash Storage，UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。

移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。

压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。

陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。

此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。

移动终端200中还可包括其它提供辅助功能的设备。例如，按键294包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达293、SIM卡接口295等。

下面对本公开示例性实施方式的颜色还原方法和颜色还原装置进行具体说明。

图3示出了本示例性实施方式中一种颜色还原方法的流程，包括以下步骤S310至S330：

在步骤S310中，从第一摄像模组切换至第二摄像模组时，获取第一摄像模组对应的第一白平衡矩阵和第一颜色矫正矩阵。

其中，第一白平衡矩阵和第一颜色矫正矩阵用于将第一摄像模组采集的第一颜色数据还原为第一真实颜色。

在一示例性实施例中，在第一摄像模组进行摄像和显示时，需要对摄像模组采集到颜色数据进的白平衡处理和颜色矫正处理，使得在不同环境下拍摄得到的画面与人眼观看的真实颜色相近。在从第一摄像模组切换到第二摄像模组时，可以获取对第一摄像模组当前采集的第一颜色数据进行颜色还原形成第一真实颜色所使用的第一白平衡矩阵和第一颜色矫正矩阵。

在一示例性实施例中，在获取第一摄像模组对应的第一白平衡矩阵和第一颜色矫正矩阵时，可以先获取第一摄像模组采集的第一颜色数据，然后根据真实颜色标准，确定将第一颜色数据转换为真实颜色标准下的第一真实颜色时，所需使用的第一白平衡矩阵和第一颜色矫正矩阵。

其中，真实颜色标准可以是通用色彩标准sRGB，也可以其它标准，公开对此不做特殊限定。在确定第一白平衡矩阵时，可以根据拍摄环境的色温确定第一白平衡矩阵，也可以根据摄像模组确定的白平衡基准点确定第一白平衡矩阵；在确定和第一颜色矫正矩阵时，可以根据现有的一些颜色矫正矩阵算法进行确定，也可以根据训练好的机器学习模型或者深度学习网络等确定第一颜色矫正模型。

通常情况下，白平衡矩阵可以对摄像装置采集的颜色数据进行白平衡处理，将该颜色数据中由于色温导致的颜色差调整为正常颜色数据；同时，由于相机的感光曲线和人眼的感光曲线不同，因此通过颜色矫正矩阵对其进行进一步矫正，得到与人眼感光结果一致的颜色数据，即在sRGB域的真实颜色对应的颜色数据。然后，为了避免不同显示屏幕对颜色显示的差距，因此需要使用显示屏幕的参数gamma值对矫正后的颜色数据进行进一步处理，得到显示的颜色。如下公式(1)所示：

[r_a,g_a,b_a]*AWB*CCM*gamma＝[r_s,g_s,b_s] (1)

其中，[r_a,g_a,b_a]为在摄像装置中采集到的某一点的颜色值，AWB为摄像装置的白平衡矩阵，CCM为摄像装置的颜色矫正矩阵，gamma为对应显示装置的参数，[r_s,g_s,b_s]为该点在sRGB域的真实颜色值。

在步骤S320中，基于颜色映射关系、第一白平衡矩阵和第一颜色矫正矩阵，计算针对第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵。

其中，第二白平衡矩阵和第二颜色矫正矩阵用于将第二摄像模组采集的第二颜色数据还原为上述第一真实颜色。

在一示例性实施例中，在计算将第二摄像模组采集的第二颜色数据还原为第一真实颜色时，对应的第二白平衡矩阵和第二颜色矫正矩阵之前，可以提前建立第一摄像模组采集的颜色数据与第二摄像模组采集的颜色数据之间的颜色映射关系，以便于根据颜色映射关系计算第二白平衡矩阵和第二颜色矫正矩阵。

在一示例性实施例中，可以先运用光电探测器测量出在可见光范围内，第一摄像模组和第二摄像模组对应的光谱响应函数。例如，第一摄像模组得到的光谱响应函数可以通过如图4所示的感光响应曲线进行展示。然后通过各摄像模组对应的光谱响应函数计算出在相同环境下，第一摄像模组采集的颜色数据和第二摄像模组采集的颜色数据，得到颜色数据对。之后以颜色数据对为样本，对颜色映射模型进行拟合，得到第一摄像模组采集的颜色数据和第二摄像模组采集的颜色数据之间的颜色映射关系。

其中，根据光谱响应函数计算颜色数据时，可以采用朗波特反射模型进行计算，具体如公式(2)所示：

f(x)＝f′_we(λ)s(x,λ)c(λ)dx (2)

其中，w为可见光的光谱范围，λ为光波波长，e(λ)为光源光谱分布，s(x,λ)为x点处，物体表面对波长为λ的光波的反射率，c(λ)为摄像模组的光谱响应函数。

此外，颜色映射模型可以是矩阵模型，也可以是其它表征映射关系的网络模型。进一步地，为了缩短在后续计算过程中，计算过程对计算资源的消耗，以及计算耗时，可以选择运算量较小的颜色映射模型表征该颜色映射关系。例如，颜色映射模型可以为3*3的颜色映射矩阵，如下矩阵(a)所示；再如，颜色映射模型还可以是结构简单的卷积神经网络模型等。

此时第一摄像模组采集的颜色数据和第二摄像模组采集的颜色数据之间的关系如下公式(3)所示：

[r₁,g₁,b₁]*f＝[r₂,g₂,b₂] (3)

其中，[r₁,g₁,b₁]和[r₂,g₂,b₂]分别为在相同环境下，第一摄像模组采集的颜色数据中任一点y的颜色值和第二摄像模组采集的颜色数据中与该y点对应的颜色值。

需要说明的是，为了能够对颜色映射模型进行充分拟合，可以分别在不同的环境下，采集多组颜色数据对为样本，对颜色映射模型进行拟合，然后通过损失函数控制拟合结果，进而保证拟合后的颜色映射模型误差较小。举例而言，上述损失函数可以是如下所示公式(4)、(5)、(6)之中的任意一个：

其中，r₁，g₁，b₁和r₂，g₂，b₂分别为在相同环境下，第一摄像模组采集的颜色数据中任一点y的颜色值和第二摄像模组采集的颜色数据中与该y点对应的颜色值。

此外，上述建立颜色映射关系的过程可以由终端设备本身执行，也可以通过其他装置建立完成后，直接部署于终端设备中进行使用，本公开对此不做特殊限定。

在一示例性实施例中，在计算针对第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵时，可以先根据颜色映射关系对第一白平衡矩阵进行映射，得到对应的第二白平衡矩阵；然后根据颜色映射关系、第二白平衡矩阵、第一白平衡矩阵和第一颜色矫正矩阵进行计算，得到对应的第二颜色矫正矩阵。

其中，为了使得在刚切换至第二摄像模组时，第二摄像模组对应的显示画面不会出现跳变，上述的第二白平衡矩阵和颜色过度矩阵可以对第二摄像模组当前采集的第二颜色数据进行转换，使转换后的第二颜色数据在显示装置上显示时，可以显示出与切换前第一摄像模组对应的显示画面相同的画面。即，切换前第一摄像模组采集的第一颜色数据，通过第一白平衡矩阵和第一颜色矫正矩阵处理后得到的数据，与切换时第二摄像模组采集的第二颜色数据，通过第二白平衡矩阵和第二颜色矫正矩阵处理后得到的数据相同，如公式(7)所示：

[r₁,g₁,b₁]*AWB₁*CCM₁*gamma＝[r₂,g₂,b₂]*AWB₂*CCM₂*gamma (7)

其中，[r₁,g₁,b₁]为切换前第一摄像模组采集的第一颜色数据；AWB₁为第一白平衡矩阵；CCM₁为第一颜色矫正矩阵；gamma为第一摄像模组和第二摄像模组所在的终端设备对应显示装置的gamma参数；[r₂,g₂,b₂]为切换时第二摄像模组采集的第二颜色数据；AWB₂为第二白平衡矩阵；CCM₂为第二颜色矫正矩阵。

在一示例性实施例中，为了得到上述第二白平衡矩阵，可以先读取第一白平衡矩阵中，每个颜色通道对应的白平衡增益值，随后通过颜色映射关系对得到白平衡增益值进行映射，并通过映射后得到的增益值形成对应的第二白平衡矩阵。

通常，图像中所有像素点的颜色向量中的R，G，B三个分量的均值趋于平衡(1：1：1)时，对应的增益值较为准确。因此在对白平衡增益值进行映射之前，可以将绿色分量的增益值固定，然后调整红色分量和蓝色分量的增益值，实现对红色分量和蓝色分量的调整，以使图像中所有像素点的颜色向量中的R，G，B三个分量的均值趋于平衡(1：1：1)，然后再进行映射，最后根据映射后得到的增益值形成对应的第二白平衡矩阵。

例如，得到的第一白平衡矩阵为如下矩阵(b)所示，为了将绿色分类的增益值固定，然后调整红色分量和蓝色分量的增益值，可以得到GGain₁/RGain₁，1和GGain₁/BGain₁这三个白平衡增益值，然后将其作为R、G、B三个分量，通过颜色映射关系将其转换为第二白平衡矩阵的R、G、B通道的增益值，生成第二白平衡矩阵，如公式(8)所示

其中，RGain₁、GGain₁、BGain₁分别为第一白平衡矩阵中R、G、B到的白平衡增益值，f为颜色映射关系。

在一示例性实施例中，在颜色映射关系为颜色映射矩阵时，为了得到上述第二白平衡矩阵，可以先计算颜色映射矩阵和第二白平衡矩阵的乘积，并计算上述乘积的逆矩阵，将得到逆矩阵与第一白平衡矩阵和第一颜色矫正矩阵相乘，并将计算结果确定为第二颜色矫正矩阵。

具体的，将公式(3)带入至公式(7)中，并进行简化，可以得到上述计算的公式，具体带入、简化过程如下所示：

对[r₁,g₁,b₁]*AWB₁*CCM₁*gamma＝[r₁,g₁,b₁]*f*AWB₂*CCM₂*gamma进行数学运算和简化，可以得到如下公式(9)：

CCM₂＝[f*AWB₂]^-1*AWB₁*CCM₁ (9)

其中，CCM₂为第二颜色矫正矩阵；f为颜色映射矩阵；AWB₂为第二白平衡矩阵；AWB₁为第一白平衡矩阵；CCM₁为第一颜色矫正矩阵。

此外，在颜色映射关系为非矩阵模型时，确定第二颜色矫正矩阵的方式与上述矩阵模型类似，只在映射过程需要使用对应的映射方法，本公开对此不做特殊限定。

在步骤S330中，在切换至第二摄像模组时，基于第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行颜色还原。

在一示例性实施例中，在得到第二白平衡矩阵和第二颜色矫正矩阵后，可以基于第二白平衡矩阵和第二颜色矫正矩阵对切换至第二摄像模组时的第二颜色数据进行处理，进而对第二摄像模组对应的显示画面进行控制。

举例而言，可以直接利用第二白平衡矩阵和第二颜色矫正矩阵将切换时刻，第二摄像模组采集的第二颜色数据还原为第一真实颜色，使切换时刻的颜色不发生跳变。需要说明的是，这种实现方式可以避免切换时刻不发生颜色跳变，但是可能引起后续显示过程中的跳变，因此可以结合相关的平滑方式进行后续处理，以避免后续显示过程中的跳变。

在一示例性实施例中，可以先获取第二摄像模组对应的第二真实颜色，然后通过第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行融合，将融合后的第二颜色数据对应的显示画面，作为切换至第二摄像模组时对应显示画面的初始画面，然后以第二真实颜色对应的显示画面为最终画面，使第二摄像模组对应的显示画面由上述初始画面平滑过渡至最终画面。

其中，在获取第二摄像模组对应的第二真实颜色时，可以通过上述计算第一白平衡矩阵和第一颜色矫正矩阵的方式先计算出第二摄像模组自身对应的白平衡矩阵和颜色矫正矩阵，然后将第二摄像模组采集的第二颜色数据转换为第二真实颜色，具体的计算过程在此处不再赘述。

举例而言，上述对第二摄像模组对应显示画面的控制过程可以通过时域滤波器的方式实现。具体的，可以通过第二白平衡矩阵初始化一个时域滤波器，然后第二颜色矫正矩阵初始化另一时域滤波器，然后通过滤波器对第二摄像模组计算的到的第二颜色数据进行融合，并将融合值压入时域滤波器栈顶层，弹出一个值对滤波器进行不断的更新，使得第二摄像模组的显示画面平滑过渡至第二真实颜色。

图5示意性示出了从主摄像头切换至长焦摄像头时，终端设备的程序控制流程图。参照图5所示，假设终端设备包括主摄像模组、长焦摄像模组和广角摄像模组，通过程序进行控制，具体流程如下：

步骤S510，在摄像功能打开后，运行初始化程序，对主摄像模组、长焦摄像模组和广角摄像模组进行初始化；

步骤S520，此时终端设备的显示装置上的显示画面为主摄像模组对应的显示画面，后台主摄像模组与长焦摄像模组一起运行；

步骤S530，用户在终端设备上进行摄像模组切换操作，从主摄像模组滑动至长焦摄像模组，通过本公开实施例的步骤S310和步骤S320计算得到第二白平衡矩阵和第二颜色矫正矩阵，并将计算结果传递至长焦摄像模组；

步骤S540，切换至长焦摄像模组，终端设备的显示装置准备开始显示长焦摄像模组对应的显示画面，在刚切换至长焦摄像模组时，通过时域滤波器执行本公开实施例的步骤S330，对长焦摄像模组对应的显示画面进行控制。

综上，本示例性实施方式中，通过第二白平衡矩阵和第二颜色矫正矩阵对第二摄像模组对应的显示画面进行控制，能够避免摄像模组切换时出现跳变的问题；同时这种方法的逻辑简单，能够直接部署在手机等终端设备中。此外，上述颜色映射关系还可以用于不同摄像模组之间的图像数据进行颜色同步的过程中。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图6所示，本示例的实施方式中还提供一种颜色还原装置600，包括数据获取模块610、数据计算模块620和颜色还原模块630。其中：

数据获取模块610可以用于从第一摄像模组切换至第二摄像模组时，获取第一摄像模组对应的第一白平衡矩阵和第一颜色矫正矩阵，其中，第一白平衡矩阵和第一颜色矫正矩阵用于将第一摄像模组采集的第一颜色数据还原为第一真实颜色。

数据计算模块620可以用于基于颜色映射关系、第一白平衡矩阵和第一颜色矫正矩阵，计算针对第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵，第二白平衡矩阵和第二颜色矫正矩阵用于将第二摄像模组采集的第二颜色数据还原为上述第一真实颜色。

颜色还原模块630可以用于在切换至第二摄像模组时，基于第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行颜色还原。

在一示例性实施例中，颜色还原装置600还可以包括关系建立模块，该关系建立模块可以用于建立第一摄像模组采集的颜色数据与第二摄像模组采集的颜色数据之间的颜色映射关系。

在一示例性实施例中，上述关系建立模块可以用于分别获取第一摄像模组和第二摄像模组对应的光谱响应函数；基于各光谱响应函数确定在相同环境下，第一摄像模组采集的颜色数据和第二摄像模组采集的颜色数据，得到颜色数据对；以颜色数据对为样本，对颜色映射模型进行拟合，得到第一摄像模组采集的颜色数据和第二摄像模组采集的颜色数据之间的颜色映射关系。

在一示例性实施例中，数据获取模块610可以用于获取第一摄像模组采集的第一颜色数据；根据第一颜色数据和真实颜色标准，确定将第一颜色数据转换为真实颜色标准下的第一真实颜色时，所需使用的第一白平衡矩阵和第一颜色矫正矩阵。

在一示例性实施例中，数据计算模块620可以用于根据颜色映射关系对第一白平衡矩阵进行映射，得到将第二颜色数据还原为第一真实颜色时，对应的第二白平衡矩阵；基于颜色映射关系、第二白平衡矩阵、第一白平衡矩阵和第一颜色矫正矩阵进行计算，得到将第二颜色数据还原为第一真实颜色时，对应的第二颜色矫正矩阵。

在一示例性实施例中，数据计算模块620可以用于读取第一白平衡矩阵中，各颜色通道对应的白平衡增益值；通过颜色映射关系对白平衡增益值进行映射，生成将第二颜色数据还原为第一真实颜色时，对应的第二白平衡矩阵。

在一示例性实施例中，数据计算模块620可以用于计算颜色映射矩阵和第二白平衡矩阵的乘积，并计算乘积的逆矩阵；计算逆矩阵与第一白平衡矩阵和第一颜色矫正矩阵的乘积，并将计算结果确定为将第二颜色数据还原为第一真实颜色时，对应的第二颜色矫正矩阵。

在一示例性实施例中，颜色还原模块630可以用于获取第二摄像模组对应的第二真实颜色；通过第二白平衡矩阵和第二颜色矫正矩阵对第二颜色数据进行融合，并以融合后的第二颜色数据为初始值，以第二真实颜色为终值，对第二摄像模组对应的显示画面进行控制。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3或图5中任意一个或多个步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (9)

1.一种颜色还原方法，其特征在于，应用于包括至少两个摄像模组的终端设备，包括：

从第一摄像模组切换至第二摄像模组时，获取所述第一摄像模组采集的第一颜色数据；根据所述第一颜色数据和真实颜色标准，确定将所述第一颜色数据转换为真实颜色标准下的第一真实颜色时，所需使用的第一白平衡矩阵和第一颜色矫正矩阵，所述第一白平衡矩阵和所述第一颜色矫正矩阵用于将所述第一摄像模组采集的第一颜色数据还原为第一真实颜色；

基于颜色映射关系、所述第一白平衡矩阵和所述第一颜色矫正矩阵，计算针对所述第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵，所述第二白平衡矩阵和所述第二颜色矫正矩阵用于将所述第二摄像模组采集的第二颜色数据还原为所述第一真实颜色；其中，所述颜色映射关系用于表征所述第一颜色数据和所述第二颜色数据之间的映射关系；

在切换至所述第二摄像模组时，获取所述第二摄像模组对应的第二真实颜色；通过所述第二白平衡矩阵和所述第二颜色矫正矩阵对所述第二颜色数据进行融合，并以融合后的所述第二颜色数据为初始值，以所述第二真实颜色为终值，对所述第二摄像模组对应的显示画面进行控制；其中，所述第二真实颜色为对所述第二颜色数据进行转换得到的所述真实颜色标准下的颜色数据；

所述基于颜色映射关系、所述第一白平衡矩阵和所述第一颜色矫正矩阵，计算针对所述第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵之前，还包括：

在所有像素点的颜色向量中，固定绿色分量的增益值，并调整红色分量和蓝色分量的增益值，以使图像中所有像素点的颜色向量中所述绿色分量、所述红色分量和所述蓝色分量的均值趋于平衡。

2.根据权利要求1所述的方法，其特征在于，在所述计算针对所述第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵之前，所述方法还包括：

建立第一摄像模组采集的颜色数据与第二摄像模组采集的颜色数据之间的颜色映射关系。

3.根据权利要求2所述的方法，其特征在于，所述建立第一摄像模组采集的颜色数据与第二摄像模组采集的颜色数据之间的颜色映射关系，包括：

分别获取所述第一摄像模组和所述第二摄像模组对应的光谱响应函数；

基于各所述光谱响应函数确定在相同环境下，所述第一摄像模组采集的颜色数据和所述第二摄像模组采集的颜色数据，得到颜色数据对；

以所述颜色数据对为样本，对颜色映射模型进行拟合，得到所述第一摄像模组采集的颜色数据和所述第二摄像模组采集的颜色数据之间的颜色映射关系。

4.根据权利要求1所述的方法，其特征在于，所述计算针对所述第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵，包括：

根据所述颜色映射关系对所述第一白平衡矩阵进行映射，得到将所述第二颜色数据还原为所述第一真实颜色时，对应的第二白平衡矩阵；

基于所述颜色映射关系、所述第二白平衡矩阵、所述第一白平衡矩阵和所述第一颜色矫正矩阵进行计算，得到将所述第二颜色数据还原为所述第一真实颜色时，对应的第二颜色矫正矩阵。

5.根据权利要求4所述的方法，其特征在于，所述根据所述颜色映射关系对所述第一白平衡矩阵进行映射，得到将所述第二颜色数据还原为所述第一真实颜色时，对应的第二白平衡矩阵，包括：

读取所述第一白平衡矩阵中，各颜色通道对应的白平衡增益值；

通过所述颜色映射关系对所述白平衡增益值进行映射，生成将所述第二颜色数据还原为所述第一真实颜色时，对应的第二白平衡矩阵。

6.根据权利要求4所述的方法，其特征在于，所述颜色映射关系包括颜色映射矩阵；

所述基于所述颜色映射关系、所述第二白平衡矩阵、所述第一白平衡矩阵和所述第一颜色矫正矩阵进行计算，得到将所述第二颜色数据还原为所述第一真实颜色时，对应的第二颜色矫正矩阵，包括：

计算所述颜色映射矩阵和所述第二白平衡矩阵的乘积，并计算所述乘积的逆矩阵；

计算所述逆矩阵与所述第一白平衡矩阵和所述第一颜色矫正矩阵的乘积，并将计算结果确定为将所述第二颜色数据还原为所述第一真实颜色时，对应的第二颜色矫正矩阵。

7.一种颜色还原装置，其特征在于，应用于包括至少两个摄像模组的终端设备，包括：

数据获取模块，用于从第一摄像模组切换至第二摄像模组时，获取所述第一摄像模组采集的第一颜色数据；根据所述第一颜色数据和真实颜色标准，确定将所述第一颜色数据转换为真实颜色标准下的第一真实颜色时，所需使用的第一白平衡矩阵和第一颜色矫正矩阵，所述第一白平衡矩阵和所述第一颜色矫正矩阵用于将所述第一摄像模组采集的第一颜色数据还原为第一真实颜色；

数据计算模块，用于基于颜色映射关系、所述第一白平衡矩阵和所述第一颜色矫正矩阵，计算针对所述第二摄像模组的第二白平衡矩阵和第二颜色矫正矩阵，所述第二白平衡矩阵和所述第二颜色矫正矩阵用于将所述第二摄像模组采集的第二颜色数据还原为所述第一真实颜色；其中，所述颜色映射关系用于表征所述第一颜色数据和所述第二颜色数据之间的映射关系；

颜色还原模块，用于在切换至所述第二摄像模组时，获取所述第二摄像模组对应的第二真实颜色；通过所述第二白平衡矩阵和所述第二颜色矫正矩阵对所述第二颜色数据进行融合，并以融合后的所述第二颜色数据为初始值，以所述第二真实颜色为终值，对所述第二摄像模组对应的显示画面进行控制；其中，所述第二真实颜色为对所述第二颜色数据进行转换得到的所述真实颜色标准下的颜色数据；

所述数据计算模块还用于在所有像素点的颜色向量中，固定绿色分量的增益值，并调整红色分量和蓝色分量的增益值，以使图像中所有像素点的颜色向量中所述绿色分量、所述红色分量和所述蓝色分量的均值趋于平衡。

8.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

9.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至6任一项所述的方法。

Images