CN114359100A - 图像色彩增强方法、装置、存储介质与电子设备 - Google Patents

Abstract

本公开提供一种图像色彩增强方法、装置、存储介质与电子设备，涉及图像与视频处理技术领域。该图像色彩增强方法包括：获取待处理图像；通过预先训练的深度神经网络对所述待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待处理图像的空域与像素值域所形成的三维空间进行划分而得到的；利用所述信息矩阵对所述待处理图像进行色彩增强处理，得到所述待处理图像对应的色彩增强图像。本公开提升了图像色彩增强的效果。

Description

图像色彩增强方法、装置、存储介质与电子设备

技术领域

本公开涉及图像与视频处理技术领域，尤其涉及一种图像色彩增强方法、图像色彩增强装置、计算机可读存储介质与电子设备。

背景技术

图像色彩增强是指根据画面场景或者根据设定的影像风格，对图像(或视频帧)进行色彩美化，以更好地满足用户的审美需求。例如，对日落场景的图像进行色彩增强，以将画面渲染得更有氛围感。

相关技术中，图像色彩增强的效果有待提升。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种图像色彩增强方法、图像色彩增强装置、计算机可读存储介质与电子设备，进而至少在一定程度上提升图像色彩增强的效果。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种图像色彩增强方法，包括：获取待处理图像；通过预先训练的深度神经网络对所述待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待处理图像的空域与像素值域所形成的三维空间进行划分而得到的；利用所述信息矩阵对所述待处理图像进行色彩增强处理，得到所述待处理图像对应的色彩增强图像。

根据本公开的第二方面，提供一种图像色彩增强装置，包括：图像获取模块，被配置为获取待处理图像；信息矩阵生成模块，被配置为通过预先训练的深度神经网络对所述待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待处理图像的空域与像素值域所形成的三维空间进行划分而得到的；色彩增强处理模块，被配置为利用所述信息矩阵对所述待处理图像进行色彩增强处理，得到所述待处理图像对应的色彩增强图像。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的图像色彩增强方法及其可能的实施方式。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像色彩增强方法及其可能的实施方式。

本公开的技术方案具有以下有益效果：

基于本公开的图像色彩增强方法，一方面，通过深度神经网络对待处理图像的处理，得到用于色彩增强处理的信息矩阵，使得该信息矩阵与待处理图像的场景、风格等相适应，有利于提升图像色彩增强的效果，并且本方案能够突破人为定义场景的限制，适配多样化的实际场景。另一方面，本方案中的深度神经网络用于输出信息矩阵，并不直接输出色彩增强后的图像，由此减少了深度神经网络的计算量，有利于实现轻量化的网络，降低方案的实现成本。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本示例性实施方式中一种系统架构的示意图；

图2示出本示例性实施方式中一种图像色彩增强方法的流程图；

图3示出本示例性实施方式中一种深度神经网络的结构示意图；

图4示出本示例性实施方式中一种得到信息矩阵的流程图；

图5示出本示例性实施方式中一种通过融合层进行处理的示意图；

图6示出本示例性实施方式中一种图像色彩增强方法的子流程图；

图7示出本示例性实施方式中一种图像色彩增强方法的示意图；

图8示出本示例性实施方式中一种训练深度神经网络的流程图；

图9示出本示例性实施方式中一种训练深度神经网络的示意图；

图10示出本示例性实施方式中另一种训练深度神经网络的流程图；

图11示出本示例性实施方式中另一种训练深度神经网络的示意图；

图12示出本示例性实施方式中一种图像色彩增强方法的示意性流程图；

图13示出本示例性实施方式中一种图像色彩增强装置的结构示意图；

图14示出本示例性实施方式中一种电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

相关技术的一种方案中，采用LUT(Look Up Table，颜色查找表)来进行图像色彩增强。该方案的基本流程为：对图像进行场景识别；根据场景识别的结果，选择对应的LUT；采用该LUT对图像中的每个像素值进行查表映射，以完成图像色彩增强。然而，由于人为定义的场景类别较为有限(通常为数十种)，且每种场景仅对应一个固定的LUT，导致该方案难以适配多样化的实际场景，影响图像色彩增强的效果。

鉴于上述一个或多个问题，本公开的示例性实施方式提供一种图像色彩增强方法，用于对图像或视频帧进行色彩增强处理。下面结合图1对本示例性实施方式运行环境的系统架构与应用场景进行示例性说明。

图1示出了系统架构的示意图，该系统架构100可以包括终端110与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中图像色彩增强相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。

在一种实施方式中，终端110可以拍摄或者通过其他方式获取待处理的图像或视频，将其上传至服务器120。例如，用户在终端110上打开图像处理相关App(Application，应用程序，图像处理相关App包括美颜App等)，从相册中选取待处理的图像或视频，将其上传至服务器120以进行色彩增强，或者用户在终端110上打开视频处理相关App(如直播App、具有视频通话功能的App等)中的色彩增强功能，将实时采集的视频上传至服务器120以进行美颜。服务器120执行上述图像色彩增强方法，以得到经过色彩增强的图像或视频，并返回终端110。

在一种实施方式中，服务器120可以执行对深度神经网络的训练，将经过训练的深度神经网络发送至终端110进行部署，例如将该深度神经网络的相关数据打包在上述图像处理相关App的更新包中，使终端110通过更新App而获得该深度神经网络并部署在本地。进而，终端110在拍摄或者通过其他方式获取待处理的图像或视频后，可以通过执行上述图像色彩增强方法，调用该深度神经网络实现图像或视频的色彩增强处理。

在一种实施方式中，可以由终端110执行对深度神经网络的训练，例如从服务器120处获取深度神经网络的基本架构，通过本地的数据集进行训练，或者从服务器120处获取数据集，对本地构建的深度神经网络进行训练，或者完全不依赖服务器120而训练得到深度神经网络。进而，终端110可以通过执行上述图像色彩增强方法，调用该深度神经网络实现图像或视频的色彩增强处理。

由上可知，本示例性实施方式中的图像色彩增强方法的执行主体可以是上述终端110或服务器120，本公开对此不做限定。

下面结合图2对本示例性实施方式中的图像色彩增强方法进行说明，图2示出了该图像色彩增强方法的示例性流程，可以包括：

步骤S210，获取待处理图像；

步骤S220，通过预先训练的深度神经网络对待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，三维网格是对待处理图像的空域与像素值域所形成的三维空间进行划分而得到的；

步骤S230，利用信息矩阵对待处理图像进行色彩增强处理，得到待处理图像对应的色彩增强图像。

基于上述方法，一方面，通过深度神经网络对待处理图像的处理，得到用于色彩增强处理的信息矩阵，使得该信息矩阵与待处理图像的场景、风格等相适应，有利于提升图像色彩增强的效果，并且本方案能够突破人为定义场景的限制，适配多样化的实际场景。另一方面，本方案中的深度神经网络用于输出信息矩阵，并不直接输出色彩增强后的图像，由此减少了深度神经网络的计算量，有利于实现轻量化的网络，降低方案的实现成本。

下面对图2中的每个步骤做具体说明。

参考图2，在步骤S210中，获取待处理图像。

待处理图像是需要进行色彩增强处理的图像。应当理解，图像色彩增强可以是图像处理中的一个环节，此外还可以进行其他方面的图像处理，如图像去模糊、去噪、人像美颜等。本公开对于图像色彩增强与其他图像处理的先后顺序不做限定。例如，图像色彩增强可以是图像处理中的第一个环节，则待处理图像可以是原始图像；图像色彩增强可以是图像处理中的最后一个环节，则待处理图像可以是经过图像去模糊、去噪、人像美颜等处理后的图像。

在一种实施方式中，待处理图像可以是图像序列中的一帧图像。图像序列是指连续多帧图像形成的序列，其可以是视频，也可以是连拍的图像等。该图像序列可以是需要进行色彩增强处理的对象。以视频为例，其可以是当前实时拍摄或实时接收的视频流，也可以是已完成拍摄或接收的完整视频，如本地存储的一段视频。本公开对于视频的帧率、图像分辨率等参数不做限定，例如视频帧率可以采用30fps(帧每秒)、60fps、120fps等，图像分辨率可以采用720P、1080P、4K等以及对应的不同宽高比。可以对视频中的每一帧图像均进行色彩增强处理，也可以从视频中筛选出一部分图像进行色彩增强处理，将需要进行色彩增强处理的图像作为上述待美颜原始图像或待处理图像。举例来说，实时接收视频流时，可以将所接收的每一帧图像均作为待处理图像。

继续参考图2，在步骤S220中，通过预先训练的深度神经网络对待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，三维网格是对待处理图像的空域与像素值域所形成的三维空间进行划分而得到的。

深度神经网络(Deep Neural Network，DNN)用于输出信息矩阵。信息矩阵是用于对待处理图像进行色彩增强处理的参数矩阵，也就是说，深度神经网络用于间接实现图像色彩增强处理。

待处理图像的空域即待处理图像的图像平面所在的二维空间，具有两个维度，第一维度例如可以是图像的宽度方向，第二维度例如可以是图像的高度方向。像素值域是指待处理图像的像素值的数值范围，如可以是[0,255]，或者将像素值进行归一化，则像素值域为[0,1]。将像素值域作为第三维度，与上述第一维度、第二维度形成三维空间。本示例性实施方式可以预先对该三维空间进行划分，包括对空域进行划分以及对像素值域进行划分，得到三维网格。三维网格在空域上的二维投影称为空域网格；三维网格在像素值域上的一维投影称为值域分区。示例性的，可以以16像素*16像素的区域作为空域网格，以[0,1/8)、[1/8,1/4)、[1/4,3/8)等(将[0,1]均分为8个分区)作为值域分区，从而得到三维网格。由此，可以对待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵。

在一种实施方式中，在将待处理图像输入深度神经网络前，可以根据深度神经网络所要求的输入图像的尺寸对待处理图像进行上采样或下采样处理。例如深度神经网络所要求的输入图像尺寸为256*256，可以将待处理图像压缩至该尺寸，然后输入深度神经网络以进行处理。

在一种实施方式中，深度神经网络的结构可以参考图3所示，包括基础特征提取子网络、局部特征提取子网络、全局特征提取子网络、输出子网络这4个主要部分，每部分又可以包括一个或多个中间层。局部特征提取子网络、全局特征提取子网络是处于基础特征提取子网络与输出子网络之间的两个并列的部分。

参考图4所示，上述通过预先训练的深度神经网络对待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，可以包括以下步骤S410至S440：

步骤S410，通过基础特征提取子网络按照空域网格的尺寸对待处理图像进行下采样处理，得到基础特征。

通过下采样处理，可以将待处理图像转换为空域网格的尺度上的特征，该特征即基础特征。本公开对于基础特征的形式不做限定，例如可以是基础特征向量或基础特征图像。

在一种实施方式中，下采样处理可以包括下采样卷积处理，下采样卷积处理是指通过卷积来减小图像尺寸，达到下采样效果。例如可以采用步长大于1的卷积层来实现下采样卷积处理。

结合图3举例来说，输入图像的维度为(B,W,H,C)，B表示图像数量，可以是任意正整数，表示将B张待处理图像作为一个批次，输入深度神经网络进行处理；W表示图像宽度，H表示图像高度，C表示图像通道数，当待处理图像为RGB图像时，C为3。空域网格的尺寸为16像素*16像素。基础特征提取子网络可以包括4个步长为2的3*3卷积层(3*3表示卷积核尺寸，仅为示例性，也可替换为其他尺寸)，待处理图像经过其处理后，高度与宽度均缩减为1/16；当然本公开也可以设置其他数量与步长的卷积层，以达到相同的下采样效果，如可以将上述4个步长为2的3*3卷积层替换为两个步长为4的5*5卷积层等。此外，基础特征提取子网络还可以包括一个或多个步长为1的3*3卷积层(3*3表示卷积核尺寸，仅为示例性，也可替换为其他尺寸)，用于对下采样卷积后的图像进一步提取特征同时不改变特征的尺度，得到基础特征；当然设置步长为1的卷积层并非必需。基础特征提取子网络可以输出待处理图像对应的基础特征图像，其维度为(B,W/16,H/16,k1)，k1表示基础特征图像的通道数，与基础特征提取子网络中最后一个卷积层的卷积核数量相关，本公开不做限定。例如图3中示出k1为64。基础特征图像中的一个像素点相当于待处理图像中的16像素*16像素。

由上可知，基础特征提取子网络的处理过程是在待处理图像中每个空域网格的范围内逐步提取特征，将不同维度的特征表示在不同的通道中，最终得到基础特征，基础特征可以是待处理图像在空域网格的尺度上的特征。

步骤S420，通过局部特征卷提取子网络对基础特征提取空域网格内的局部特征。

基于基础特征提取子网络所提取的基础特征，可以通过局部特征提取子网络进一步在空域网格范围内提取更加深度的特征，得到局部特征。

结合图3举例来说，局部特征卷提取子网络可以包括一个或多个步长为1的3*3卷积层(3*3表示卷积核尺寸，仅为示例性，也可替换为其他尺寸)与一个步长为1的1*1卷积层。3*3卷积层用于对基础特征进一步提取局部特征同时不改变特征的尺度，1*1卷积层用于对所提取的局部特征进行通道数调整。局部特征提取子网络可以输出待处理图像对应的局部特征图像，局部特征图像的维度为(B,W/16,H/16,k2)，k2表示局部特征的通道数，与局部特征提取子网络中最后一个卷积层的卷积核数量相关，本公开不做限定。例如图3中示出k2为64。

步骤S430，通过全局特征提取子网络对基础特征提取全局特征。

基于基础特征提取子网络所提取的基础特征图像，可以通过全局特征卷提取子网络进一步在整张待处理图像的范围内提取全局特征。

结合图3举例来说，全局特征提取子网络可以包括一个或多个卷积层(或卷积层与池化层)与一个或多个全连接层。卷积层用于对基础特征进一步提取局部特征，全连接层用于将局部特征进行融合，得到全局特征。全局特征提取子网络可以输出待处理图像对应的全局特征，该全局特征可以是全局特征向量，其维度为(B,k2)，即全局特征向量的维度与局部特征图像的通道数相同，以便于后续进行融合。

步骤S440，通过输出子网络按照值域分区的数量对局部特征与全局特征进行处理，得到信息矩阵。

局部特征与全局特征从不同尺度上反映了待处理图像的特征。输出子网络通过对局部特征与全局特征的进一步处理，实现两方面特征的融合，得到与待处理图像相匹配的信息矩阵。

在一种实施方式中，输出子网络可以包括融合层与维度转换层。上述通过输出子网络按照值域分区的数量对局部特征与全局特征进行处理，得到信息矩阵，可以包括以下步骤：

通过融合层将局部特征与全局特征融合为综合特征；

通过维度转换层按照值域分区的数量对综合特征进行维度转换，得到信息矩阵。

其中，融合层的处理可以参考图5所示，以单张图像对应的局部特征与全局特征的融合过程为例(即B＝1的情况)，局部特征的维度为(W/16,H/16,64)，全局特征的维度为(1,1,64)。在每个通道内，将局部特征整体加上全局特征的值。如图5所示，第一通道内局部特征的每个像素点均加上全局特征的数值a1，第二通道内局部特征的每个像素点均加上全局特征的数值a2。然后再经过激活函数的计算，输出综合特征，图5示出激活函数采用ReLu(线性激活单元)，局部特征中第一通道内的p1，加上第一通道的全局特征的值a1，再经过ReLu激活，得到综合特征的数值ReLu(p1+a1)；局部特征中第二通道内的p2，加上第二通道的全局特征的值a2，再经过ReLu激活，得到综合特征的数值ReLu(p2+a2)。当然，本公开对于激活函数的具体形式不做限定，也可以不经过激活函数的计算，而直接将局部特征与全局特征相加的结果作为综合特征。

由上可知，综合特征的通道数与局部特征或全局特征的通道数相同，维度转换层可以进一步将其通道数转换为值域分区的数量，以对应到三维网格，得到信息矩阵G。维度转换层可以通过一个或多个卷积层来实现。如可以通过一个步长为1的1*1卷积层来进行维度转换，该卷积层的卷积核数量可以设置为值域分区的数量G_c＝G_z*G_n。G_z为值域分区的数量，如在进行三维网格的划分时，将像素值域进行8等分，则G_z为8；G_n为每个三维网格对应的子信息矩阵gi的维度(即子信息矩阵gi的元素个数)，i表示三维网格的序数。综合特征经过该卷积层的卷积后，得到信息矩阵G，其维度为(B,W/16,H/16,G_c)。

应当理解，图3与图5中所示的局部特征与全局特征的融合方式并不是唯一的。例如还可以通过拼接等其他方式实现局部特征与全局特征的融合。

在一种实施方式中，步骤S440所得到的信息矩阵G可视为子信息矩阵gi的集合，对于每张待处理图像，深度神经网络可以输出其对应的信息矩阵G，包括W/16*H/16*G_z个子信息矩阵gi，而W/16*H/16*G_z正是三维网格的数量，即信息矩阵G包括每个三维网格对应的子信息矩阵gi。

以上说明了如何获得信息矩阵。继续参考图2，在步骤S230中，利用信息矩阵对待处理图像进行色彩增强处理，得到待处理图像对应的色彩增强图像。

一般的，可以将待处理图像的像素值与信息矩阵相乘，实现对像素值的数值转换，得到色彩增强图像。

在一种实施方式中，信息矩阵可以包括每个三维网格对应的基准信息矩阵，该基准信息矩阵相当于上述子信息矩阵gi。参考图6所示，上述利用信息矩阵对待处理图像进行处理，得到待处理图像对应的色彩增强图像，可以包括以下步骤S610和S620：

步骤S610，基于待处理图像对基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵。

基准信息矩阵可以是三维网格内所有像素点进行色彩增强处理的基准信息，可视为该三维网格内所有像素点进行色彩增强处理所需信息的概括，而色彩增强信息矩阵是用于每个像素点的色彩增强处理的具体信息。基准信息矩阵可以进一步对应于三维网格的基准点，例如该基准点可以是三维网格的中心点。由于待处理图像的每个像素点分布在各自所属的三维网格中的不同位置，相对于三维网格内的基准点存在偏移，因此可以对基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵。

在一种实施方式中，可以根据待处理图像的每个像素点相对于一个或多个三维网格的中心点的偏移，对一个或多个基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵。示例性的，假设待处理图像的宽度为128，高度也为128，空域网格的大小为16像素*16像素，则三维空间的第一维度与第二维度均被8等分；像素值域[0,1]也被均分为8个值域分区，则三维空间被划分为8*8*8个三维网格。以{0,0,0}表示位于待处理图像左上角，且像素值为[0,1/8)的三维网格，该三维网格的中心点坐标为(8,8,1/16)；获取待处理图像中处于该三维网格内的像素点，对每个像素点计算其与中心点的偏移，包括在第一维度、第二维度、第三维度上的偏移量，并根据偏移量分别基于{0,0,0}三维网格的基准信息矩阵以及其相邻的三维网格{1,0,0}、{0,1,0}、{0,0,1}的基准信息矩阵进行三线性差值，得到{0,0,0}三维网格中每个像素点对应的色彩增强信息矩阵。需要说明的是，如果三维网格未处于边界上，则可以基于该三维网格的基准信息矩阵以及其相邻的6个三维网格的基准信息矩阵进行三线性差值，得到该三维网格中每个像素点对应的色彩增强信息矩阵。

应当理解，本公开对于具体的插值算法不做限定，例如也可以采用非线性插值算法。

由上可知，在进行插值时，需要计算像素点的像素值与基准点的像素值的偏移，即像素点与基准点在第三维度上的偏移。当待处理图像为单通道图像时，可以直接采用待处理图像的像素值进行计算。当待处理图像为多通道图像时，则难以基于多通道的像素值与基准点的像素值进行计算。基于此，在一种实施方式中，上述基于待处理图像对基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵，可以包括以下步骤：

当待处理图像为多通道图像时，将待处理图像转换为单通道的参考值图像；

基于参考值图像对基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵。

其中，参考值图像是通过单通道对待处理图像的多通道进行表征的图像，如待处理图像为RGB图像时，参考值图像可以是其对应的灰度图像，灰度可以采用归一化的数值，值域为[0,1]。

在一种实施方式中，可以采用以下公式将待处理图像转换为单通道的参考值图像：

其中，R、G、B为待处理图像中每个像素点归一化后的像素值；n表示将R、G、B的值域划分为n个分区，j表示分区的序数；a_rj、a_gj、a_bj分别为R、G、B的每个分区的转换系数，可以根据经验或实际需求确定；shift_rj、shift_gj、shift_bj分别为R、G、B的每个分区中设置的转换阈值，表示只对大于该转换阈值的像素值进行转换，转换阈值可以根据经验或实际需求设置；guidemap_r、guidemap_g、guidemap_b分别为通过分区转换后的R、G、B的单通道图像；g_r、g_g、g_b分别为R、G、B的融合系数，可以是经验系数；guidemap_bias为融合后添加的偏移量，也可以根据经验确定；guidemap_z为参考值图像，其值域为[0,1]。

在一种实施方式中，也可以通过预设的模型训练得到上述a_rj、a_gj、a_bj、shift_rj、shift_gj、shift_bj、g_r、g_g、g_b、guidemap_bias等参数，通过设置模型的初始值，使得最终得到的参考值图像的值域满足[0,1]。

可以基于参考值图像对信息矩阵G中的基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵，可以将这些色彩增强信息矩阵作为一个集合，其维度为(B,W,H,G_n)。

步骤S620，根据待处理图像的每个像素点对应的色彩增强信息矩阵，分别对待处理图像的每个像素点进行处理，得到色彩增强图像。

可以将每个像素点的像素值与对应的色彩增强信息矩阵相乘，得到处理后的像素值，从而形成色彩增强图像。示例性的，将像素点i的像素值表示为像素值向量[r,g,b]，其对应的色彩增强信息矩阵为：

则有以下关系：

其中，4r′g′b′7表示美颜后的像素值。

在一种实施方式中，上述根据待处理图像的每个像素点对应的色彩增强信息矩阵，分别对待处理图像的每个像素点进行处理，得到色彩增强图像，可以包括：

根据色彩增强信息矩阵的维度对待处理图像添加新通道，并将新通道设置为预设数值；

分别将待处理图像的每个像素点的像素值向量与每个像素点对应的色彩增强信息矩阵相乘，得到色彩增强图像；每个像素点的像素值向量为每个像素点的各通道的数值所形成的向量。

其中，色彩增强信息矩阵的维度表示色彩增强信息矩阵的行数与列数。由公式(2)可知，需要将每个像素点的像素值向量与色彩增强信息矩阵进行叉乘运算，说明像素值向量的维度与色彩增强信息矩阵的行数需要相同。而像素值向量的维度等同于待处理图像的通道数，因此，如果待处理图像的通道数不等于(一般是小于)色彩增强信息矩阵的行数，则可以对待处理图像添加新通道。对于添加的新通道，可以填充预设数值，如可以是1。由此，相当于将待处理图像中每个像素点的像素值向量转换为齐次向量。

示例性的，假设像素点i对应的色彩增强信息矩阵为：

即该色彩增强信息矩阵的行数为4，待处理图像为RGB图像，其通道数为3，因此需要添加一个新通道，将新通道统一填充数值1。则像素点i的像素值向量为[r,g,b,1]，从而满足以下关系：

由此，通过信息矩阵的处理，得到色彩增强图像，其维度为(B,W,H,C)，在公式(2)与(3)中，C＝3。色彩增强图像与待处理图像的维度相同，说明本示例性实施方式的色彩增强处理过程不改变图像维度。

如果在将待处理图像输入深度神经网络前，对其像素值进行了归一化处理，则得到色彩增强图像后，可以对其像素值进行反归一化处理，如可以将[0,1]值域内的像素值统一乘以255，以得到[0,255]值域内的像素值。

图7示出了图像色彩增强方法的示意性流程。将维度为(B,W,H,3)的待处理图像输入深度神经网络，输出信息矩阵G，其维度为(B,W/16,H/16,G_z*G_n)，包括每个三维网格对应的基准信息矩阵。将待处理图像转换为单通道的参考值图像，其维度为(B,W,H,1)。基于参考值图像对基准信息矩阵进行插值，得到色彩增强信息矩阵，其维度为(B,W,H,G_n)，包括每个像素点对应的色彩增强信息矩阵。最后将待处理图像与色彩增强信息矩阵相乘，得到色彩增强图像，其维度为(B,W,H,3)，与待处理图像的维度相同。

在一种实施方式中，待处理图像可以是图像序列中的一帧图像。图像色彩增强方法还可以包括以下步骤：

利用信息矩阵对图像序列中包含待处理图像的子序列进行色彩增强处理。

也就是说，待处理图像的信息矩阵可以复用到子序列中其他图像的色彩增强处理中，使得在对图像序列进行色彩增强处理时，无需对每一帧图像确定信息矩阵，从而减少计算量，提高效率。本公开对于子序列的位置与长度不做限定，如可以包括待处理图像的前一帧或多帧图像，也可以包括待处理图像的后一帧或多帧图像。示例性的，子序列可以包括待处理图像及其之后的连续N-1帧图像，即子序列可以是以待处理图像为起始的连续N帧图像，N可以是不小于2的正整数。

举例说明，图像序列为待处理视频，需要对待处理视频中的每一帧图像进行色彩增强处理。在待处理视频中每N帧确定一帧为待处理图像，如将第1帧、第1+N帧、第1+2N帧作为待处理图像。利用深度神经我拿过来确定待处理图像的信息矩阵，并基于该信息矩阵对待处理图像及其后续的N-1帧图像进行色彩增强处理，从而减少了与深度神经网络相关的计算量，有利于实现对待处理视频的实时色彩增强处理。

在一种实施方式中，可以根据图像序列中画面变化的剧烈程度确定子序列的长度，一般的，画面变化的剧烈程度越低，子序列的长度越长，使得越多的图像帧可以复用待处理图像的信息矩阵。

在一种实施方式中，可以根据相邻两帧的差值或光流信息等，确定相邻两帧的变化程度，当变化程度较低(如低于设定的阈值)时，后一帧图像可以复用前一帧图像的信息矩阵。换而言之，当变化程度较高时，以后一帧图像为新的待处理图像，不复用前一帧图像的信息矩阵，而将其输入深度神经网络，以得到新的信息矩阵。

在一种实施方式中，图像色彩增强方法还可以包括对深度神经网络的训练过程。本公开对于具体的训练方式不做限定，下面提供三种具体示例：

①参考图8所示，训练过程可以包括以下步骤S810至S830：

步骤S810，将待处理样本图像输入待训练的深度神经网络，以输出样本信息矩阵；

步骤S820，利用样本信息矩阵对待处理样本图像进行处理，得到待处理样本图像对应的色彩增强样本图像；

步骤S830，基于待处理样本图像对应的标注图像与色彩增强样本图像的差别，更新深度神经网络的参数。

其中，待处理样本图像可以是未经色彩增强处理的图像，待处理样本图像对应的标注图像可以是待处理样本图像经过人工色彩增强处理后的图像。结合图9所示，待处理样本图像的处理流程与上述待处理图像的处理流程相同，得到色彩增强样本图像后，基于色彩增强样本图像与标注图像的差别，计算第一损失函数值，并由此对深度神经网络的参数进行反向传播更新。本公开对于第一损失函数的具体形式不做限定，例如可以采用L1或L2损失等。

通过图8的训练方式，可以使深度神经网络间接地实现类似于人工色彩增强处理的效果。

②参考图10所示，训练过程可以包括以下步骤S1010至S1030：

步骤S1010，将待处理样本图像输入待训练的深度神经网络，利用深度神经网络输出的第一样本信息矩阵对待处理样本图像进行色彩增强处理，得到色彩增强样本图像，通过变换参数对色彩增强样本图像进行变换，得到第一变换样本图像；

步骤S1020，通过变换参数对待处理样本图像进行变换，将变换后的待处理样本图像输入深度神经网络，并利用深度神经网络输出的第二样本信息矩阵对变换后的待处理样本图像进行色彩增强处理，得到第二变换样本图像；

步骤S1030，基于第一变换样本图像与第二变换样本图像的差别，更新深度神经网络的参数。

结合图11所示，对待处理样本图像进行两种处理：第一种处理类似于上述对待处理图像的处理流程，将待处理样本图像输入深度神经网络，为便于区分，将深度神经网络输出的信息矩阵记为第一样本信息矩阵，然后利用第一样本信息矩阵对待处理样本图像进行色彩增强处理，得到色彩增强样本图像，进而通过预先生成的变换参数对色彩增强样本图像进行变换，得到第一变换样本图像。第二种处理是先通过变换参数对待处理样本图像进行变换，然后将变换后的待处理样本图像输入深度神经网络，得到第二样本信息矩阵，最后利用第二样本信息矩阵对变换后的待处理样本图像进行色彩增强处理，得到第二变换样本图像。基于第一变换样本图与第二变换样本图的差别，计算第二损失函数值，并由此对深度神经网络的参数进行反向传播更新。本公开对于第二损失函数的具体形式不做限定，例如可以采用L1或L2损失等。

其中，对图像的变换可以包括透视变换或仿射变换等，具体地，可以对图像进行平移、旋转、缩放、错切等变换中的一种或多种。在一种实施方式中，可以预先确定变换参数的数值范围，然后在该范围内随机生成变换参数。例如，获取预设的第一数值区间、第二数值区间、第三数值区间；在第一数值区间内随机生成平移参数，在第二数值区间内随机生成旋转参数，在第三数值区间内随机生成缩放参数。本示例性实施方式可以根据经验与实际场景确定三个数值区间。示例性的，第一数值区间可以是[-3，3]，单位为像素，表示平移的像素数；第二数值区间可以是[-5，5]，单位为度，表示旋转的度数；第三数值区间可以是[0.97，1.03]，单位为倍，表示缩放的倍率。进而，分别在三个数值区间内生成随机数，得到平移参数、旋转参数、缩放参数，即得到步骤S1010与S1020中的变换参数。由此能够避免变换参数过大导致的训练过程难以收敛。

一般的，在对图像序列(例如待处理视频)进行色彩增强处理时，如果在不同帧图像之间，特别是在相邻帧图像之间，发生图像内容的变化，可能导致对不同帧的色彩增强效果不一致，呈现出画面的闪动现象，影响视觉感受。第一变换样本图与第二变换样本图的差别反映了深度神经网络的抗闪动效果。通过图10的训练方式，可以使得深度神经网络具有一定程度的对图像变换的不变性，即具有抗闪动能力，从而保证对图像序列进行色彩增强处理的效果一致性。

③训练过程可以包括以下步骤：

将待处理样本图像输入待训练的深度神经网络，以输出样本信息矩阵；

利用样本信息矩阵对待处理样本图像进行处理，得到待处理样本图像对应的色彩增强样本图像；

将色彩增强真实图像与色彩增强样本图像分别输入判别网络，根据判别网络的输出结果更新判别网络的参数与深度神经网络的参数；判别网络用于判别图像是否为目标风格且真实的图像。

其中，色彩增强真实图像与待处理样本图像无需一一对应，场景的类别或风格相同即可。将深度神经网络视为生成网络，利用判别网络的判别功能，辅助训练该生成网络，使得该申城网络能够生成目标风格且真实的图像。从而保证深度神经网络进行间接地色彩增强处理后的图像真实感与风格一致性。

本示例性实施方式中，可以结合上述任意一种或多种训练方式。例如，结合上述训练方式①和②，基于色彩增强样本图像与标注图像的差别，计算第一损失函数值，基于第一变换样本图像与第二变换样本图像的差别，计算第二损失函数值，根据第一损失函数值与第二损失函数值计算总损失函数值，通过总损失函数值更新深度神经网络的参数。

图12示出了图像色彩增强方法的示意性流程，包括：

步骤S1201，从待处理视频中每间隔N帧提取一帧作为待处理图像。

步骤S1202，从待处理图像输入深度神经网络，得到图像空域-像素阈值的三维空间内的三维网格对应的基准信息矩阵。

步骤S1203，将多通道的待处理图像转换为单通道的参考值图像。

步骤S1204，基于参考值图像对基准信息矩阵进行插值，得到待处理图像中每个像素点对应的色彩增强信息矩阵。

步骤S1205，利用上述色彩增强信息矩阵对待处理图像与后N-1帧图像进行色彩增强处理，得到连续N帧色彩增强图像。

步骤S1206，通过对待处理视频中的每一帧进行色彩增强处理，得到色彩增强视频。

本公开的示例性实施方式还提供一种图像色彩增强装置。参考图13所示，该图像色彩增强装置1300可以包括：

图像获取模块1310，被配置为获取待处理图像；

信息矩阵生成模块1320，被配置为通过预先训练的深度神经网络对待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，三维网格是对待处理图像的空域与像素值域所形成的三维空间进行划分而得到的；

色彩增强处理模块1330，被配置为利用信息矩阵对待处理图像进行色彩增强处理，得到待处理图像对应的色彩增强图像。

在一种实施方式中，深度神经网络包括基础特征提取子网络、局部特征卷提取子网络、全局特征提取子网络、输出子网络；上述通过预先训练的深度神经网络对待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，可以包括：

通过基础特征提取子网络按照空域网格的尺寸对待处理图像进行下采样处理，得到基础特征，空域网格为三维网格在空域上的二维投影；

通过局部特征卷提取子网络对基础特征提取空域网格内的局部特征；

通过全局特征提取子网络对基础特征提取全局特征；

通过输出子网络按照值域分区的数量对局部特征与全局特征进行处理，得到信息矩阵，值域分区为三维网格在像素值域上的一维投影。

在一种实施方式中，输出子网络包括融合层与维度转换层；上述通过输出子网络按照值域分区的数量对局部特征与全局特征进行处理，得到信息矩阵，包括：

通过融合层将局部特征与全局特征融合为综合特征；

通过维度转换层按照值域分区的数量对综合特征进行维度转换，得到信息矩阵。

在一种实施方式中，信息矩阵包括每个三维网格对应的基准信息矩阵；上述利用信息矩阵对待处理图像进行色彩增强处理，得到待处理图像对应的色彩增强图像，包括：

基于待处理图像对基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵；

根据待处理图像的每个像素点对应的色彩增强信息矩阵，分别对待处理图像的每个像素点进行处理，得到色彩增强图像。

在一种实施方式中，上述基于待处理图像对基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵，包括：

当待处理图像为多通道图像时，将待处理图像转换为单通道的参考值图像；

基于参考值图像对基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵。

在一种实施方式中，上述基准信息矩阵对应于三维网格的中心点；基于待处理图像对基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵，包括：

根据待处理图像的每个像素点相对于一个或多个三维网格的中心点的偏移，对一个或多个基准信息矩阵进行插值，得到待处理图像的每个像素点对应的色彩增强信息矩阵。

在一种实施方式中，上述根据待处理图像的每个像素点对应的色彩增强信息矩阵，分别对待处理图像的每个像素点进行处理，得到色彩增强图像，包括：

根据色彩增强信息矩阵的维度对待处理图像添加新通道，并将新通道设置为预设数值；

分别将待处理图像的每个像素点的像素值向量与每个像素点对应的色彩增强信息矩阵相乘，得到色彩增强图像；每个像素点的像素值向量为每个像素点的各通道的数值所形成的向量。

在一种实施方式中，待处理图像为图像序列中的一帧图像。色彩增强处理模块1330，还被配置为：

利用信息矩阵对图像序列中包含待处理图像的子序列进行色彩增强处理。

在一种实施方式中，图像色彩增强装置1300还包括深度神经网络训练模块，被配置为：

将待处理样本图像输入待训练的深度神经网络，以输出样本信息矩阵；

利用样本信息矩阵对待处理样本图像进行处理，得到待处理样本图像对应的色彩增强样本图像；

基于待处理样本图像对应的标注图像与色彩增强样本图像的差别，更新深度神经网络的参数。

在一种实施方式中，图像色彩增强装置1300还包括深度神经网络训练模块，被配置为：

将待处理样本图像输入待训练的深度神经网络，利用深度神经网络输出的第一样本信息矩阵对待处理样本图像进行色彩增强处理，得到色彩增强样本图像，通过变换参数对色彩增强样本图像进行变换，得到第一变换样本图像；

通过变换参数对待处理样本图像进行变换，将变换后的待处理样本图像输入深度神经网络，并利用深度神经网络输出的第二样本信息矩阵对变换后的待处理样本图像进行色彩增强处理，得到第二变换样本图像；

基于第一变换样本图像与第二变换样本图像的差别，更新深度神经网络的参数。

上述装置中各部分的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

本公开的示例性实施方式还提供了一种计算机可读存储介质，可以实现为一种程序产品的形式，其包括程序代码，当程序产品在电子设备上运行时，程序代码用于使电子设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。在一种可选的实施方式中，该程序产品可以实现为便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在电子设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本公开的示例性实施方式还提供一种电子设备。该电子设备可以是上述终端110或服务器120。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述图像色彩增强方法。

下面以图14中的移动终端1400为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图14中的构造也能够应用于固定类型的设备。

如图14所示，移动终端1400具体可以包括：处理器1401、存储器1402、总线1403、移动通信模块1404、天线1、无线通信模块1405、天线2、显示屏1406、摄像模块1407、音频模块1408、电源模块1409与传感器模块1410。

处理器1401可以包括一个或多个处理单元，例如：处理器1401可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的图像色彩增强方法可以由AP、GPU或DSP来执行，此外，可以由NPU来执行深度神经网络相关的处理，例如NPU可以加载深度神经网络的参数并执行深度神经网络相关的算法指令。

编码器可以对图像或视频进行编码(即压缩)，以减小数据大小，便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频数据。移动终端1400可以支持一种或多种编码器和解码器，例如：JPEG(Joint PhotographicExperts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG14、H.1463、H.1464、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。

处理器1401可以通过总线1403与存储器1402或其他部件形成连接。

存储器1402可以用于存储计算机可执行程序代码，可执行程序代码包括指令。处理器1401通过运行存储在存储器1402的指令，执行移动终端1400的各种功能应用以及数据处理。存储器1402还可以存储应用数据，例如存储图像，视频等文件。

移动终端1400的通信功能可以通过移动通信模块1404、天线1、无线通信模块1405、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1404可以提供应用在移动终端1400上3G、4G、5G等移动通信解决方案。无线通信模块1405可以提供应用在移动终端1400上的无线局域网、蓝牙、近场通信等无线通信解决方案。

显示屏1406用于实现显示功能，如显示用户界面、图像、视频等。摄像模块1407用于实现拍摄功能，如拍摄图像、视频等。音频模块1408用于实现音频功能，如播放音频，采集语音等。电源模块1409用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块1410可以包括一种或多种传感器，用于实现相应的感应检测功能。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。

Claims (13)

1.一种图像色彩增强方法，其特征在于，包括：

获取待处理图像；

通过预先训练的深度神经网络对所述待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待处理图像的空域与像素值域所形成的三维空间进行划分而得到的；

利用所述信息矩阵对所述待处理图像进行色彩增强处理，得到所述待处理图像对应的色彩增强图像。

2.根据权利要求1所述的方法，其特征在于，所述深度神经网络包括基础特征提取子网络、局部特征卷提取子网络、全局特征提取子网络、输出子网络；所述通过预先训练的深度神经网络对所述待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，包括：

通过所述基础特征提取子网络按照空域网格的尺寸对所述待处理图像进行下采样处理，得到基础特征，所述空域网格为所述三维网格在所述空域上的二维投影；

通过所述局部特征卷提取子网络对所述基础特征提取所述空域网格内的局部特征；

通过所述全局特征提取子网络对所述基础特征提取全局特征；

通过所述输出子网络按照值域分区的数量对所述局部特征与所述全局特征进行处理，得到所述信息矩阵，所述值域分区为所述三维网格在所述像素值域上的一维投影。

3.根据权利要求2所述的方法，其特征在于，所述输出子网络包括融合层与维度转换层；所述通过所述输出子网络按照值域分区的数量对所述局部特征与所述全局特征进行处理，得到所述信息矩阵，包括：

通过所述融合层将所述局部特征与所述全局特征融合为综合特征；

通过所述维度转换层按照所述值域分区的数量对所述综合特征进行维度转换，得到所述信息矩阵。

4.根据权利要求1所述的方法，其特征在于，所述信息矩阵包括每个所述三维网格对应的基准信息矩阵；所述利用所述信息矩阵对所述待处理图像进行色彩增强处理，得到所述待处理图像对应的色彩增强图像，包括：

基于所述待处理图像对所述基准信息矩阵进行插值，得到所述待处理图像的每个像素点对应的色彩增强信息矩阵；

根据所述待处理图像的每个像素点对应的色彩增强信息矩阵，分别对所述待处理图像的每个像素点进行处理，得到所述色彩增强图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述待处理图像对所述基准信息矩阵进行插值，得到所述待处理图像的每个像素点对应的色彩增强信息矩阵，包括：

当所述待处理图像为多通道图像时，将所述待处理图像转换为单通道的参考值图像；

基于所述参考值图像对所述基准信息矩阵进行插值，得到所述待处理图像的每个像素点对应的色彩增强信息矩阵。

6.根据权利要求4所述的方法，其特征在于，所述基准信息矩阵对应于所述三维网格的中心点；所述基于所述待处理图像对所述基准信息矩阵进行插值，得到所述待处理图像的每个像素点对应的色彩增强信息矩阵，包括：

根据所述待处理图像的每个像素点相对于一个或多个所述三维网格的中心点的偏移，对一个或多个所述基准信息矩阵进行插值，得到所述待处理图像的每个像素点对应的色彩增强信息矩阵。

7.根据权利要求4所述的方法，其特征在于，所述根据所述待处理图像的每个像素点对应的色彩增强信息矩阵，分别对所述待处理图像的每个像素点进行处理，得到所述色彩增强图像，包括：

根据所述色彩增强信息矩阵的维度对所述待处理图像添加新通道，并将所述新通道设置为预设数值；

分别将所述待处理图像的每个像素点的像素值向量与所述每个像素点对应的色彩增强信息矩阵相乘，得到所述色彩增强图像；所述每个像素点的像素值向量为所述每个像素点的各通道的数值所形成的向量。

8.根据权利要求1所述的方法，其特征在于，所述待处理图像为图像序列中的一帧图像；所述方法还包括：

利用所述信息矩阵对所述图像序列中包含所述待处理图像的子序列进行色彩增强处理。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将待处理样本图像输入待训练的所述深度神经网络，以输出样本信息矩阵；

利用所述样本信息矩阵对所述待处理样本图像进行处理，得到所述待处理样本图像对应的色彩增强样本图像；

基于所述待处理样本图像对应的标注图像与所述色彩增强样本图像的差别，更新所述深度神经网络的参数。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将待处理样本图像输入待训练的所述深度神经网络，利用所述深度神经网络输出的第一样本信息矩阵对所述待处理样本图像进行色彩增强处理，得到色彩增强样本图像，通过变换参数对所述色彩增强样本图像进行变换，得到第一变换样本图像；

通过所述变换参数对所述待处理样本图像进行变换，将变换后的待处理样本图像输入所述深度神经网络，并利用所述深度神经网络输出的第二样本信息矩阵对所述变换后的待处理样本图像进行色彩增强处理，得到第二变换样本图像；

基于所述第一变换样本图像与所述第二变换样本图像的差别，更新所述深度神经网络的参数。

11.一种图像色彩增强装置，其特征在于，包括：

图像获取模块，被配置为获取待处理图像；

信息矩阵生成模块，被配置为通过预先训练的深度神经网络对所述待处理图像提取基于三维网格的特征，并根据所提取的特征生成信息矩阵，所述三维网格是对所述待处理图像的空域与像素值域所形成的三维空间进行划分而得到的；

色彩增强处理模块，被配置为利用所述信息矩阵对所述待处理图像进行色彩增强处理，得到所述待处理图像对应的色彩增强图像。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10任一项所述的方法。

13.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至10任一项所述的方法。

Images