CN115761271A - 图像处理方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本公开涉及电子设备技术领域，具体提供了一种图像处理方法、装置、电子设备以及存储介质。一种图像处理方法，包括根据待处理图像的图像特征信息确定针对颜色映射关系的目标权重，基于目标权重对预设颜色映射关系进行处理得到目标颜色映射关系，根据目标颜色映射关系对待处理图像进行颜色转换得到目标图像。本公开实施方式中，基于待处理图像的图像特征实现颜色映射关系的自适应适配，提高全场景下的图像视觉效果。而且无需预先人工校准多个颜色映射关系，降低开发难度和成本，也无需用户手动选择颜色映射关系，提高用户拍摄体验。

Description

图像处理方法、装置、电子设备以及存储介质

技术领域

本公开涉及电子设备技术领域，具体涉及一种图像处理方法、装置、电子设备以及存储介质。

背景技术

3DLUT(3D Look Up Table，三维颜色查找表)是一种实现直接颜色映射的映射表，其广泛应用于电子设备端的图像色彩校正过程，用于实现图像增强和颜色校准等。相关技术中，3DLUT需要依赖于人工经验调教得到，而且每个3DLUT只能适配固定的一种场景，图像处理性能较为受限。

发明内容

为提高图像色彩效果，本公开实施方式提供了一种图像处理方法、装置、电子设备及存储介质。

第一方面，本公开实施方式提供了一种图像处理方法，应用于电子设备，所述方法包括：

根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重；

基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系；

根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像。

在一些实施方式中，所述根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重，包括：

将所述待处理图像输入到预先训练的第一神经网络，以通过所述第一神经网络对所述待处理图像进行特征提取，并根据提取得到的所述图像特征信息确定所述目标权重。

在一些实施方式中，所述预设颜色映射关系包括多个子映射关系，不同子映射关系对应的图像场景不同，所述目标权重包括与所述子映射关系相同数量的子目标权重；

所述基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系，包括：

对于每个子映射关系，根据每个子映射关系对应的子目标权重进行加权处理，并将加权处理后的所有子映射关系进行融合，得到所述目标颜色映射关系。

在一些实施方式中，所述多个子映射关系采用以下过程得到：

获取与所述子映射关系相同数量的参考图像，其中，各个参考图像所对应的图像场景不同；

依次将各个参考图像输入预先训练的第二神经网络，得到所述第二神经网络预测输出的每个参考图像对应的子映射关系。

在一些实施方式中，所述电子设备包括第一处理单元和第二处理单元；

所述根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像，包括：

基于所述第二处理单元获取所述第一处理单元中的所述目标颜色映射关系和所述待处理图像；

通过所述第二处理单元根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到所述目标图像。

在一些实施方式中，所述根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重，包括：

对第一格式的待处理图像进行格式转换得到第二格式的待处理图像，并根据第二格式的待处理图像的图像特征信息确定所述目标权重；

所述根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像，包括：

根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到第二格式的目标图像，并对第二格式的目标图像进行格式转换得到第一格式的目标图像。

在一些实施方式中，所述待处理图像包括通过所述电子设备的相机模组采集的视频流中的帧图像。

第二方面，本公开实施方式提供了一种图像处理装置，应用于电子设备，所述装置包括：

权重确定模块，被配置为根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重；

关系处理模块，被配置为基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系；

颜色转换模块，被配置为根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像。

在一些实施方式中，所述权重确定模块被配置为：

将所述待处理图像输入到预先训练的第一神经网络，以通过所述第一神经网络对所述待处理图像进行特征提取，并根据提取得到的所述图像特征信息确定所述目标权重。

在一些实施方式中，所述预设颜色映射关系包括多个子映射关系，不同子映射关系对应的图像场景不同，所述目标权重包括与所述子映射关系相同数量的子目标权重；所述关系处理模块被配置为：

所述基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系，包括：

对于每个子映射关系，根据每个子映射关系对应的子目标权重进行加权处理，并将加权处理后的所有子映射关系进行融合，得到所述目标颜色映射关系。

在一些实施方式中，所述关系处理模块被配置为：

获取与所述子映射关系相同数量的参考图像，其中，各个参考图像所对应的图像场景不同；

依次将各个参考图像输入预先训练的第二神经网络，得到所述第二神经网络预测输出的每个参考图像对应的子映射关系。

在一些实施方式中，所述电子设备包括第一处理单元和第二处理单元；所述颜色转换模块被配置为：

基于所述第二处理单元获取所述第一处理单元中的所述目标颜色映射关系和所述待处理图像；通过所述第二处理单元根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到所述目标图像。

在一些实施方式中，所述权重确定模块被配置为：

对第一格式的待处理图像进行格式转换得到第二格式的待处理图像，并根据第二格式的待处理图像的图像特征信息确定所述目标权重。

在一些实施方式中，所述颜色转换模块被配置为：

根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到第二格式的目标图像，并对第二格式的目标图像进行格式转换得到第一格式的目标图像。

在一些实施方式中，所述待处理图像包括通过所述电子设备的相机模组采集的视频流中的帧图像。

第三方面，本公开实施方式提供了一种电子设备，包括：

控制器，包括第一处理单元和第二处理单元；和

存储器，存储有计算机指令，所述计算机指令用于使所述控制器执行根据第一方面任意实施方式所述的方法。

第四方面，本公开实施方式提供了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行根据第一方面任意实施方式所述的方法。

本公开实施方式的图像处理方法，包括根据待处理图像的图像特征信息确定针对颜色映射关系的目标权重，基于目标权重对预设颜色映射关系进行处理得到目标颜色映射关系，根据目标颜色映射关系对待处理图像进行颜色转换得到目标图像。本公开实施方式中，基于待处理图像的图像特征实现颜色映射关系的自适应适配，提高全场景下的图像视觉效果。而且无需预先人工校准多个颜色映射关系，降低开发难度和成本，也无需用户手动选择颜色映射关系，提高用户拍摄体验。

附图说明

为了更清楚地说明本公开具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本公开一些实施方式中图像处理方法的流程图。

图2是根据本公开一些实施方式中图像处理方法的原理图。

图3是根据本公开一些实施方式中图像处理方法的流程图。

图4是根据本公开一些实施方式中图像处理方法的原理图。

图5是根据本公开一些实施方式中图像处理方法的流程图。

图6是根据本公开一些实施方式中图像处理方法的流程图。

图7是根据本公开一些实施方式中图像处理装置的结构框图。

图8是根据本公开一些实施方式中电子设备的结构框图。

具体实施方式

下面将结合附图对本公开的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本公开一部分实施方式，而不是全部的实施方式。基于本公开中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本公开保护的范围。此外，下面所描述的本公开不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

3DLUT(3D Look Up Table，三维颜色查找表)是一种实现直接颜色映射的映射表，其广泛应用于电子设备端的图像色彩校正过程，用于实现图像增强和颜色校准等。

相关技术中，可以在电子设备端内置一个或多个3DLUT作为色彩滤镜，从而用户可以在不同图像场景选择不同的3DLUT对视频或静态图像进行色彩变换，提高视觉效果。

例如一个示例中，电子设备端可以内置多个不同效果的3DLUT，例如“黑白效果”、“冷色电影”、“室外夜景”等，从而用户在对视频或静态图像进行处理时，可以选择相应的3DLUT对图像进行色彩处理，得到具有相应视觉效果的图像，为用户提供更好的视觉体验。

但是，上述相关技术中，每种3DLUT只能对应一种固定的色彩变换，因此只能适用于较为固定的图像场景使用。例如对于“室外夜景”的3DLUT，在夜景拍摄场景下可以有效增强拍摄画面的亮度、色相、饱和度等，使得夜景画面更加明亮且对噪点有效抑制。但是，若是将“室外夜景”的3DLUT应用在光线明亮的日间拍摄场景，则很容易造成拍摄画面过曝和噪点过多的问题，导致成像质量下降。

目前，虽然可以通过提供多种3DLUT供用户手动选择的方式，尽可能覆盖到多种图像场景，但是这种交互方式仍然不够灵活，需要用户付出一定的学习成本，在相应的拍摄场景选择合适的3DLUT以提高成像效果，而且手动选择的方式也增加用户操作难度。另外，目前3DLUT多是依赖于人工经验调教得到，技术门槛很高，导致3DLUT能够适配的场景仍然不够丰富，图像增强效果受限。

基于上述相关技术存在的缺陷，本公开实施方式提供了一种图像处理方法、装置、电子设备以及存储介质，旨在根据待处理图像的图像特征自适应调整3DLUT参数值，使得3DLUT可以做到全场景适配，提高图像色彩效果。

第一方面，本公开实施方式提供了一种图像处理方法，该方法可应用于电子设备中，本公开所述的电子设备可以是任何适于实施的设备类型，例如智能手机、平板电脑、个人PC(Personal Computer)、PDA(Personal Digital Assistant，个人数字助理)、服务器等，本公开对此不作限制。

如图1所示，在一些实施方式中，本公开示例的图像处理方法，包括：

S110、根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重。

本公开实施方式中，颜色映射关系即为前述的颜色查找表LUT，LUT可以理解为一种色彩滤镜，其本质上是一个RAM(Random Access Memory，随机存取存储器)，每当输入一个色彩信号就是输入一次地址进行查表，找出地址对应的内容并输出，实现颜色转换的效果。

为便于理解，下表一给出一个简单LUT的示例：

表一

R	G	B
			0	1	2
1	2	3
			2	3	4
3	4	5
			4	5	6

在表一示例中，若某个像素的RGB输入值为000，则通过查找表一LUT，第一位0对应表一中R列第一行的0，第二位0对应表一中G列第一行的1，第三位0对应表一中B列第一行的2，从而输出值即为012；若某个像素的RGB输入值为012，则通过查找表一LUT，第一位0对应表一中R列第一行的0，第二位1对应表一中G列第二行的2，第三位2对应表一中B列第三行的4，从而输出值即为024。

通过表一示例可以看到，颜色查找表LUT即为一个直接颜色映射表，通过该颜色映射表，可以直接将输入像素的RGB值映射为对应的输出值。本公开实施方式中所述的颜色映射关系，即为上述颜色查找表LUT表示的映射关系。

另外，值得说明的是，上述表一所示的LUT为1DLUT，也即一维颜色查找表，前述的3DLUT为三维颜色查找表，3DLUT是一种立体的颜色映射表，其原理与前述1DLUT相同。本公开所述的颜色映射关系即可包括上述的1DLUT或3DLUT，本公开对此不作限制。

本公开实施方式中，待处理图像是指需要进行色彩处理的图像，其可以是单张图像，也可以是视频流中的帧图像。待处理图像可以是通过电子设备的相机模组实时采集到的图像，也可以是预先采集后存储在电子设备中的图像，还可以是电子设备接收其他终端发送的图像。本公开对此不作限制。

本公开实施方式中，无需针对不同的图像场景设置多个颜色映射关系，而是可以基于待处理图像的图像特征信息，对颜色映射关系进行调整，使得颜色映射关系可以自适应地匹配待处理图像的图像场景。也即，将传统的用户从多个颜色映射关系中手动选择某个颜色映射关系的过程，转变为通过调整颜色映射关系使其自动匹配待处理图像的图像场景的过程。因此，本公开实施方式中，最少只需要设置一个颜色映射关系即实现对各种场景的适配，该颜色映射关系也即本公开下文所述的预设颜色映射关系。

在一些实施方式中，预设颜色映射关系可以是预先生成并存储在电子设备中的一个3DLUT，其可以通过人工校准得到，也可以基于神经网络自动生成，本公开对此不作限制。

在本公开实施方式中，预设颜色映射关系相当于一个初始3DLUT，在对待处理图像进行处理过程中，可以基于待处理图像的图像特征信息确定目标权重，从而根据目标权重对该初始3DLUT进行调整，使其可以适配当前待处理图像的图像场景。

例如一些实施方式中，可以对待处理图像进行特征提取，得到待处理图像的特征图，该特征图即包含待处理图像的图像特征信息，图像特征信息例如可包括纹理信息和语义信息。然后根据待处理图像的特征图预测得到目标权重，该目标权重即为针对预设颜色映射关系进行调整的权值系数。

在一个示例中，上述根据图像特征信息确定目标权重的过程可以通过基于深度神经网络(DNN，Deep Neural Networks)架构的第一神经网络实现，本公开下文实施方式对此进行说明，在此暂不详述。

S120、基于目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系。

基于前述可知，预设颜色映射关系是指预设的初始颜色映射关系，而目标权重是依赖于待处理图像的图像特征信息得到的权值系数。从而本公开实施方式中，基于目标权重对预设颜色映射关系进行处理，得到的目标颜色映射关系即为充分融合待处理图像的图像特征的映射关系，可以更好地适配待处理图像对应的图像场景。

在一些实施方式中，可对预设颜色映射关系乘上目标权重，也即，对于预设颜色映射关系中的每个元素均乘以目标权重，即可实现对预设颜色映射关系的调整，得到目标颜色映射关系。

S130、根据目标颜色映射关系对待处理图像进行颜色转换，得到目标图像。

本公开实施方式中，在得到目标颜色映射关系之后，结合前述可以理解，目标颜色映射关系即为适配待处理图像的图像场景的映射关系。从而，即可根据目标颜色映射关系对待处理图像进行颜色转换处理，其颜色转换的过程与前述表一的映射过程相同，基于待处理图像的输入RGB数值，通过查找目标颜色映射关系得到对应的输出RGB数值，即可完成颜色转换，得到目标图像。

另外值得说明的是，对于RGB图像，每种颜色可以有0～255共256种取值，因此共包括256*256*256的数据量。理论上来说，为了保证每种颜色均具有对应的映射值，颜色映射关系LUT也应当包括256*256*256的数据量。但是如此大数据量的LUT文件很难在普通电子设备运行，因此在一些实施方式中，颜色映射关系LUT可以设置为33*33*33大小或17*17*17大小，在对待处理图像进行颜色转换时，需要通过三维线性插值的方法，使得待处理图像上的每种颜色均可以找到对应的输出值。本领域技术人员结合相关技术毫无疑问可以理解并充分实现，本公开对此不再赘述。

基于上述可以理解，本公开实施方式中，至少只需要预先设置一个LUT即可，对于不同图像场景的待处理图像，通过图像特征提取可以得到不同的目标权重，进而根据目标权重对LUT进行调整，使得LUT可以适配不同的图像场景。

例如一个示例中，待处理图像的图像内容为“夜间人像”，通过对待处理图像的特征提取，可以得到用于表征“夜间人像”场景的目标权重，并基于该目标权重对预设颜色映射关系进行调整得到LUT 1，该LUT 1即为适配“夜间人像”场景的目标颜色映射关系，从而基于该LUT 1对待处理图像进行颜色转换，可以在“夜间人像”场景下得到更好的色彩效果。

例如另一个示例中，待处理图像的图像内容为“室外风景”，通过对待处理图像的特征提取，可以得到用于表达“室外风景”场景的目标权重，并基于该目标权重对预设颜色映射关系进行调整得到LUT 2，该LUT 2即为适配“室外风景”场景的目标颜色映射关系，从而基于该LUT 2对待处理图像进行颜色转换，可以在“室外风景”场景下得到更好的色彩效果。

根据上述示例可以看到，本公开实施方式无需针对不同的图像场景预先设置多个颜色映射关系，而是基于预设颜色映射关系自动适配不同的图像场景，实现LUT自适应调整，从而可以实现全场景的滤镜效果适配。

通过上述可知，本公开实施方式中，基于待处理图像的图像特征实现颜色映射关系的自适应适配，提高全场景下的图像视觉效果。而且无需预先人工校准多个颜色映射关系，降低开发难度和成本，也无需用户手动选择颜色映射关系，提高用户拍摄体验。

图2示出了本公开一些实施方式中的图像处理方法的原理图，在一些示例中，图2所示的方法流程可以部署于电子设备中，待处理图像10为电子设备的相机模组采集的视频流中的帧图像，也即通过本公开图像处理方法可以实现对电子设备的视频流处理，提高电子设备的视频拍摄效果。下面将以图2流程为例，对本公开实施方式的图像处理方法进行说明。

如图3所示，在一些实施方式中，本公开示例的图像处理方法，包括：

S310、获取通过电子设备的相机模组采集到的视频流数据。

本公开示例中，待处理图像10为通过电子设备的相机模组采集到的视频流数据中的帧图像。例如在电子设备的视频拍摄场景中，电子设备通过相机模组可以采集到视频流序列，视频流序列包括连续帧图像。

在一些实施方式中，可以将视频流序列中的每一帧图像均作为本公开所述的待处理图像进行图像处理，也可以每隔预设数量抽取一帧图像作为待处理图像进行图像处理，本公开对此不作限制。

值得说明的是，在电子设备的进行视频流采集时，采集的视频流中的帧图像一般为YUV格式图像。YUV格式也称为YCrCb格式，其是指将亮度参数Y和色度参数U、V分开表示的像素格式。YUV格式相较于RGB格式可以兼容黑白显示系统，而且只需要占用极少的频宽，因此广泛应用在电子设备端的显示数据传输。例如本公开一个示例中，通过电子设备的相机模组采集到的待处理图像即为YUV格式图像。

S320、对第一格式的待处理图像进行格式转换，得到第二格式的待处理图像。

在一些实施方式中，本公开所述的目标权重可以采用基于DNN的可学习神经网络得到，也即图1所示的第一神经网络30，第一神经网络30的输入一般为RGB三通道图像，因此在获取待处理图像10之后，首先需要对YUV格式的待处理图像10进行格式转换，得到RGB格式的待处理图像。

结合图2所示，在第一神经网络30的输入端设置第一格式转换模块20，第一格式转换模块20可以将相机模组采集的待处理图像10由第一格式转换为第二格式。例如前述示例中，第一格式包括YUV格式，第二格式包括RGB格式。当然本领域技术人员可以理解，第一格式和第二格式并不局限于本公开示例，还可以是其他任何图像格式，本公开对此不再赘述。

S330、将待处理图像输入预先训练的第一神经网络，得到第一神经网络预测输出的目标权重。

本公开实施方式中，通过第一神经网络30确定待处理图像对应的目标权重W。在一些实施方式中，第一神经网络30可以是基于全卷积神经网络(CNN，Convolutional NeuralNetworks)架构构建的神经网络，其包括输入层、若干数量的卷积层以及输出层，例如一个示例中，为便于在轻量化的电子设备部署，本公开的第一神经网络30的中间层可以包括6个卷积层(Conv)。

本公开实施方式中，可以预先对第一神经网络30进行网络训练，得到训练后的第一神经网络30。对第一神经网络30的训练过程采用传统的有监督训练即可，本领域技术人员结合相关技术毫无疑问可以理解并充分实现，本公开对此不再赘述。

在一些实施方式中，第一神经网络30的输入即为格式转换后的待处理图像10，通过中间层不断对待处理图像10进行由浅层至深层的特征提取，得到待处理图像10的特征图，特征图即为待处理图像的图像特征信息，其包括待处理图像的纹理信息和语义信息。第一神经网络30的输出即为目标权值W，基于提取的待处理图像10的特征图预测输出对应的目标权值W。

结合图2所示，第一格式转换模块20将转换为RGB格式的待处理图像10输入第一神经网络30，从而第一神经网络30预测输出对应的目标权值W，该目标权值W即为融合待处理图像的图像特征、用于对预设颜色映射关系M0进行调整的权值系数。

S340、基于目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系。

本公开实施方式中，预设颜色映射关系可以是人工预先校准得到的映射关系，也可以是基于DNN网络自动生成的映射关系，本公开对此不作限制。

结合图2所示，本公开的预设颜色映射关系M0可以理解为预先存储在电子设备中的初始LUT，在得到对预设颜色映射关系M0调整的目标权值W之后，即可根据目标权值W对预设颜色映射关系M0中的参数进行调整，得到目标颜色映射关系M1。

在一些实施方式中，可以根据预设衍射映射关系M0与目标权值W的乘积得到目标颜色映射关系M1，也即M1＝W*M0。例如一个示例中，预设颜色映射关系M0如前文表一所示，目标权值W＝2，则得到的目标颜色映射关系M1可表示为下表二：

表二

R	G	B
			0	2	4
2	4	6
			4	6	8
6	8	10
			8	10	12

S350、根据目标颜色映射关系对待处理图像进行颜色转换得到第二格式的目标图像，并对第二格式的目标图像进行格式转换得到第一格式的目标图像。

结合图2所示，在得到目标颜色映射关系M1之后，即可根据目标颜色映射关系M1对待处理图像10进行颜色转换，也即，待处理图像10中的每个像素RGB值作为输入，通过查找目标颜色映射关系M1得到对应的输出RGB值，实现对待处理图像10的颜色转换。对此过程本领域技术人员毫无疑问可以理解并充分实现，本公开不再赘述。

值得说明的是，本公开示例中，基于RGB格式的待处理图像进行颜色转换得到的仍然是RGB格式的目标图像，而电子设备输出的显示图像为YUV格式图像。

因此本公开示例中，在得到第二格式的目标图像之后，通过图2所示的第二格式转换模块40，将第二格式的目标图像转换为第一格式的目标图像50。第二格式例如可包括RGB格式，第一格式可包括YUV格式。

在得到目标图像50之后，即可将目标图像50发送至显示模组，实现视频流的输出显示，本公开不再赘述。

通过上述可知，本公开实施方式中，采用第一神经网络根据待处理图像的特征对预设颜色映射关系进行自适应调整，使得颜色映射关系可根据待处理图像的图像场景自适应匹配，提高全场景下的图像视觉效果。而且无需预先人工校准多个颜色映射关系，降低开发难度和成本，电子设备中也无需存储多个颜色映射关系，缓解内存压力，也无需用户手动选择颜色映射关系，提高用户拍摄体验。

在图2示例中，电子设备中仅需要存储一个预设颜色映射关系M0即可，充分释放电子设备的内存压力。而在另一些实施方式中，也可以在电子设备中预先存储多个预设颜色映射关系，但是本公开实施方式中多个预设颜色映射关系的作用，并非是提供给用户手动选择，而是通过对多个预设颜色映射关系进行加权融合得到目标颜色映射关系，进一步提高目标颜色映射关系的精度，进而提高成像效果，下面结合图4实施方式进行说明。

在图4示例中，待处理图像10、第一格式转换模块20、第一神经网络30、第二格式转换模块40以及目标图像50，均与前述图2示例中相同即可，本公开对此不再赘述。

在本公开示例中，与前述图2示例的区别在于，预设颜色映射关系包括多个子映射关系，从而第一神经网络30的输出也为多个子目标权重。例如图4示例中，预设颜色映射关系共包括3个子映射关系，分别为子映射关系Ma、子映射关系Mb以及子映射关系Mc，第一神经网络30输出的目标权重同样包括3个子目标权重，分别为子目标权重W1、子目标权重W2和子目标权重W3。

本公开实施方式中，每个子映射关系可以理解为1个LUT，而且多个子映射关系所对应的图像场景不同，从而多个子映射关系可以覆盖多个图像场景。例如图4示例中，子映射关系Ma可以是针对“夜间人像”场景的LUT，子映射关系Mb可以是针对“室外风景”场景的LUT，子映射关系Mc可以是针对“室内空间”场景的LUT。

值得说明的是，上述示例仅作为本公开实施方式的解释说明，并不限制本公开，在其他实施方式中，子映射关系的数量并不局限于图4示例的3个，还可以是其他任何适于实施的数量，而且子映射关系对应的场景也不局限于上述示例，本领域技术人员对此可以理解，本公开不再赘述。

本公开实施方式中，多个子映射关系可以通过人工校准的方式预先构建得到，但是人工校准的方式较为依赖人工经验，技术门槛较高。因此本公开一些实施方式中，可以通过DNN网络自动生成多个子映射关系，下面结合图5实施方式进行说明。

如图5所示，在一些实施方式中，本公开示例的图像处理方法，多个子映射关系采用以下过程得到：

S510、获取与子映射关系相同数量的参考图像。

S520、依次将各个参考图像输入预先训练的第二神经网络，得到第二神经网络预测输出的每个参考图像对应的子映射关系。

本公开实施方式中，可以预先构建第二神经网络，第二神经网络同样可以是基于全卷积神经网络架构，包括输入层、中间层以及输出层，中间层包括多个卷积层(Conv)。

本公开实施方式中，可以预先对第二神经网络进行网络训练，得到训练后的第二神经网络。对第二神经网络的训练过程采用传统的有监督训练即可，本领域技术人员结合相关技术毫无疑问可以理解并充分实现，本公开对此不再赘述。

在一些实施方式中，第二神经网络的输入为参考图像，输出为参考图像对应的子映射关系，也即参考图像对应的图像场景的LUT。例如一个示例中，参考图像为“夜间人像”，将参考图像输入第二神经网络得到的输出结果即为“夜间人像”场景对应的子映射关系LUT。从而本公开实施方式中，通过第二神经网络即可得到多个所需图像场景的子映射关系，无需人工校准构建子映射关系。

在本公开实施方式中，预先得到的多个子映射关系分别表示不同图像场景的LUT，本公开实施方式中，即可基于这些子映射关系，通过第一神经网络输出的目标权重进行加权融合，得到目标颜色映射关系。

结合图4所示，本公开实施方式中，第一神经网络30输出的目标权重包括与子映射关系相同数量的子目标权重，例如本示例中，第一神经网络30输出的目标权重包括子目标权重W1、W2和W3。

利用子目标权重W1对子映射关系Ma进行调整得到W1*Ma，利用子目标权重W2对子映射关系Mb进行调整得到W2*Mb，利用子目标权重W3对子映射关系Mc进行调整得到W3*Mc，然后在融合所有子映射关系得到目标颜色映射关系M1，也即目标颜色映射关系M1＝W1*Ma+W2*Mb+W3*Mc。

上述示例中，仅以图4所示的3个子映射关系为例进行说明，在其他实施方式中，子映射关系也可以是其他数量，相应的第一神经网络30输出的目标权重也包括相同数量的子目标权重，其加权融合的过程与上述相同，本领域技术人员可以理解，本公开对此不再赘述。

在得到目标颜色映射关系之后，即可基于目标颜色映射关系对待处理图像10进行颜色转换得到目标图像，之后经过第二格式转换模块40将目标图像由RGB格式转换为YUV格式即可。该过程与前文所述相同即可，在此不再赘述。

可以理解，本公开实施方式中，通过对多种图像场景的子映射关系进行加权融合处理，得到的目标颜色映射关系可以尽可能多地适配各种图像场景，进一步提高目标颜色映射关系的全场景适配效果，进而提高图像视觉效果。

通过前文所述可知，为了减少颜色映射关系LUT的数据量，颜色映射关系一般不会包括全部的RGB色彩，在对图像进行颜色转换时，需要通过三维线性插值算法实现色彩的转换。

考虑到三维线性插值算法的复杂度较高，若是利用电子设备的CPU(centralprocessing unit，中央处理器)进行处理，单帧图像的处理时间较长，对于视频流的处理场景难以兼顾视频流畅度，造成视频拍摄卡顿，降低用户体验。

因此，本公开一些实施方式中，在前述得到目标颜色映射关系之后，可以将目标颜色映射关系和待处理图像发送至GPU(graphics processing unit，图形处理器)，由GPU实现颜色转换的处理，提高运算效率，下面结合图6实施方式进行说明。

如图6所示，在一些实施方式中，本公开示例的图像处理方法，根据目标颜色映射关系对待处理图像进行颜色转换的过程，包括：

S610、基于所述第二处理单元获取所述第一处理单元中的所述目标颜色映射关系和所述待处理图像。

S620、通过所述第二处理单元根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到所述目标图像。

本公开实施方式中，第一处理单元可包括电子设备的CPU，第二处理单元可包括电子设备的GPU。可以理解，电子设备的CPU与GPU可以是分别独立的两个芯片，也可以集成在同一个片上系统(SoC，System on Chip)中。

GPU相较于CPU具有更强的图像渲染能力，最适合用于图像数据的密集型处理。因此本公开实施方式中，在通过前述过程得到目标颜色映射关系之后，可CPU可以将目标颜色映射关系以及待处理图像的图像数据发送至GPU，由GPU完成对待处理图像的颜色变化。

在一些实施方式中，GPU可以采用OpenCL异构计算方案对待处理图像进行颜色转换处理。具体而言，在GPU端首先创建OpenCL上下文及命令队列，然后创建并绑定三维线性插值的函数，之后逐帧接收待处理图像的图像数据及其对应的目标颜色映射关系，通过对目标颜色映射关系进行三维线性插值，使得待处理图像上的每种RGB颜色都可以查找到对应的RGB输出值，实现对待处理图像的颜色转换，得到目标图像。GPU端在对一帧待处理图像处理完成得到目标图像之后，即可将目标图像返回至CPU端，由CPU将目标图像发送至显示模组进行输出显示，GPU端继续针对CPU发送的下一帧待处理图像进行颜色转换，如此重复执行，直至整个视频流的帧图像均处理完成。可以理解的是，CPU会将待处理图像的图像数据和及其对应的目标颜色映射关系发送给GPU，当GPU收到待处理图像的图像数据和该待处理图像对应的目标颜色映射关系后，GPU通过该目标颜色映射关系对待处理图像的图像数据进行处理，从而对待处理图像进行颜色转换得到目标图像。

通过上述可知，本公开实施方式中，将运算量较为复杂的颜色转换过程转移至GPU运算，提高图像处理效率，可以满足视频流处理等场景，在电子设备端实现视频流的流畅拍摄与播放，提高用户体验。

第二方面，本公开实施方式提供了一种图像处理装置，该装置可应用于电子设备中，本公开所述的电子设备可以是任何适于实施的设备类型，例如智能手机、平板电脑、个人PC(Personal Computer)、PDA(Personal Digital Assistant，个人数字助理)、服务器等，本公开对此不作限制。

如图7所示，在一些实施方式中，本公开示例的图像处理装置，包括：

权重确定模块1，被配置为根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重；

关系处理模块2，被配置为基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系；

颜色转换模块3，被配置为根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像。

通过上述可知，本公开实施方式中，基于待处理图像的图像特征实现颜色映射关系的自适应适配，提高全场景下的图像视觉效果。而且无需预先人工校准多个颜色映射关系，降低开发难度和成本，也无需用户手动选择颜色映射关系，提高用户拍摄体验。

在一些实施方式中，所述权重确定模块1被配置为：

将所述待处理图像输入到预先训练的第一神经网络，以通过所述第一神经网络对所述待处理图像进行特征提取，并根据提取得到的所述图像特征信息确定所述目标权重。

在一些实施方式中，所述预设颜色映射关系包括多个子映射关系，不同子映射关系对应的图像场景不同，所述目标权重包括与所述子映射关系相同数量的子目标权重；所述关系处理模块2被配置为：

所述基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系，包括：

对于每个子映射关系，根据每个子映射关系对应的子目标权重进行加权处理，并将加权处理后的所有子映射关系进行融合，得到所述目标颜色映射关系。

在一些实施方式中，所述关系处理模块2被配置为：

获取与所述子映射关系相同数量的参考图像，其中，各个参考图像所对应的图像场景不同；

依次将各个参考图像输入预先训练的第二神经网络，得到所述第二神经网络预测输出的每个参考图像对应的子映射关系。

在一些实施方式中，所述电子设备包括第一处理单元和第二处理单元；所述颜色转换模块3被配置为：

基于所述第二处理单元获取所述第一处理单元中的所述目标颜色映射关系和所述待处理图像；

通过所述第二处理单元根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到所述目标图像。

在一些实施方式中，所述权重确定模块1被配置为：

对第一格式的待处理图像进行格式转换得到第二格式的待处理图像，并根据第二格式的待处理图像的图像特征信息确定所述目标权重。

在一些实施方式中，所述颜色转换模块3被配置为：

根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到第二格式的目标图像，并对第二格式的目标图像进行格式转换得到第一格式的目标图像。

在一些实施方式中，所述待处理图像包括通过所述电子设备的相机模组采集的视频流中的帧图像。

第三方面，本公开实施方式提供了一种电子设备，包括：

控制器，包括第一处理单元和第二处理单元；和

存储器，存储有计算机指令，所述计算机指令用于使所述控制器执行上述任意实施方式所述的方法。

第四方面，本公开实施方式提供了一种存储介质，存储有计算机指令，所述计算机指令用于使计算机执行上述任意实施方式所述的方法。

图8中示出了本公开一些实施方式中的电子设备的结构框图，下面结合图8对本公开一些实施方式的电子设备相关原理进行说明。

参照图8，电子设备1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电源组件1806，多媒体组件1808，音频组件1810，输入/输出(I/O)接口1812，传感器组件1816，以及通信组件1818。

处理组件1802通常控制电子设备1800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令。此外，处理组件1802可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理组件1802可以包括多媒体模块，以方便多媒体组件1808和处理组件1802之间的交互。又如，处理组件1802可以从存储器读取可执行指令，以实现电子设备相关功能。

存储器1804被配置为存储各种类型的数据以支持在电子设备1800的操作。这些数据的示例包括用于在电子设备1800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件1806为电子设备1800的各种组件提供电力。电源组件1806可以包括电源管理系统，一个或多个电源，及其他与为电子设备1800生成、管理和分配电力相关联的组件。

多媒体组件1808包括在所述电子设备1800和用户之间的提供一个输出接口的显示屏。在一些实施例中，多媒体组件1808包括一个前置摄像头和/或后置摄像头。当电子设备1800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(MIC)，当电子设备1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1818发送。在一些实施例中，音频组件1810还包括一个扬声器，用于输出音频信号。

I/O接口1812为处理组件1802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1816包括一个或多个传感器，用于为电子设备1800提供各个方面的状态评估。例如，传感器组件1816可以检测到电子设备1800的打开/关闭状态，组件的相对定位，传感器组件1816还可以检测电子设备1800或电子设备1800一个组件的位置改变，用户与电子设备1800接触的存在或不存在，电子设备1800方位或加速/减速和电子设备1800的温度变化。传感器组件1816可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1816还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1816还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件1818被配置为便于电子设备1800和其他设备之间有线或无线方式的通信。电子设备1800可以接入基于通信标准的无线网络，如Wi-Fi，2G，3G，4G，5G或6G，或它们的组合。在一个示例性实施例中，通信组件1818经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1818还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现。

显然，上述实施方式仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本公开创造的保护范围之中。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重；

基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系；

根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重，包括：

将所述待处理图像输入到预先训练的第一神经网络，以通过所述第一神经网络对所述待处理图像进行特征提取，并根据提取得到的所述图像特征信息确定所述目标权重。

3.根据权利要求1所述的方法，其特征在于，所述预设颜色映射关系包括多个子映射关系，不同子映射关系对应的图像场景不同，所述目标权重包括与所述子映射关系相同数量的子目标权重；

所述基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系，包括：

对于每个子映射关系，根据每个子映射关系对应的子目标权重进行加权处理，并将加权处理后的所有子映射关系进行融合，得到所述目标颜色映射关系。

4.根据权利要求3所述的方法，其特征在于，所述多个子映射关系采用以下过程得到：

获取与所述子映射关系相同数量的参考图像，其中，各个参考图像所对应的图像场景不同；

依次将各个参考图像输入预先训练的第二神经网络，得到所述第二神经网络预测输出的每个参考图像对应的子映射关系。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述电子设备包括第一处理单元和第二处理单元；

所述根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像，包括：

基于所述第二处理单元获取所述第一处理单元中的所述目标颜色映射关系和所述待处理图像；

通过所述第二处理单元根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到所述目标图像。

6.根据权利要求1所述的方法，其特征在于，所述根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重，包括：

对第一格式的待处理图像进行格式转换得到第二格式的待处理图像，并根据第二格式的待处理图像的图像特征信息确定所述目标权重；

所述根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像，包括：

根据所述目标颜色映射关系对所述待处理图像进行颜色转换得到第二格式的目标图像，并对第二格式的目标图像进行格式转换得到第一格式的目标图像。

7.根据权利要求1所述的方法，其特征在于，

所述待处理图像包括通过所述电子设备的相机模组采集的视频流中的帧图像。

8.一种图像处理装置，其特征在于，应用于电子设备，所述装置包括：

权重确定模块，被配置为根据待处理图像的图像特征信息，确定针对颜色映射关系的目标权重；

关系处理模块，被配置为基于所述目标权重对预设颜色映射关系进行处理，得到目标颜色映射关系；

颜色转换模块，被配置为根据所述目标颜色映射关系对所述待处理图像进行颜色转换，得到目标图像。

9.一种电子设备，其特征在于，包括：

控制器，包括第一处理单元和第二处理单元；和

存储器，存储有计算机指令，所述计算机指令用于使所述控制器执行根据权利要求1至7任一项所述的方法。

10.一种存储介质，其特征在于，存储有计算机指令，所述计算机指令用于使计算机执行根据权利要求1至7任一项所述的方法。

Images