CN114998143A - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开关于一种图像处理方法、装置、电子设备及存储介质，该方法包括：构建多张颜色查找表；根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表；针对所述待处理图像中各像素点，在所述目标颜色查找表中查找各所述像素点进行清晰度调整后对应的色值；根据各所述像素点进行清晰度调整后的所述色值，对所述待处理图像进行处理，构建目标图像。根据本公开可以实时进行图像清晰度的调整，能够在降低计算量的同时，提高图像处理精度，以及提高图像处理速度和效率。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着科学技术的进步和智能终端设备的普及，人们越来越多的采用智能终端设备观看视频。而在短视频和直播等领域，往往会采用降低分辨率或者压缩码率等手段，以提高用户在观看视频时实时、流畅的用户体验，但该操作将会导致视频的清晰度大幅度降低，尤其在视频图像叠加了磨皮等美颜特效处理后，用户经常会感觉画面存在模糊，清晰度较差。

相关技术中往往采用CNN(Convolutional Neural Networks，卷积神经网络)网络或者锐化算法来提升画面清晰度。

但CNN网络的计算量较大，难以在手机、电视等终端设备上进行广泛使用；锐化算法虽然可以降低计算量，但是该方法在增强细节的同时也放大了噪声，在暗光、逆光等场景下清晰度提升的效果较差。

发明内容

本公开提供一种图像处理方法、装置、电子设备及存储介质，以至少解决相关技术中图像清晰度提成效果差，适用性低的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，包括：

构建多张颜色查找表；

根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表；

针对所述待处理图像中各像素点，在所述目标颜色查找表中查找各所述像素点进行清晰度调整后对应的色值；

根据各所述像素点进行清晰度调整后的所述色值，对所述待处理图像进行处理，构建目标图像。

在其中一个实施例中，所述根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表，包括：

通过权重预测网络对待处理图像进行预测处理，得到各所述颜色查找表对应的融合权重，所述权重预测网络为用于进行融合权重预测的神经网络；

根据各所述颜色查找表对应的所述融合权重对各所述颜色查找表进行融合处理，得到所述待处理图像对应的目标颜色查找表。

在其中一个实施例中，所述通过权重预测网络对待处理图像进行预测处理，得到各所述颜色查找表对应的融合权重，包括：

对待处理图像进行下采样处理，得到下采样图像；

通过权重预测网络对所述下采样图像进行预测处理，得到各所述颜色查找表对应的融合权重。

在其中一个实施例中，所述根据各所述颜色查找表对应的所述融合权重对各所述颜色查找表进行融合处理，得到所述待处理图像对应的目标颜色查找表，包括：

针对任一颜色查找表，根据所述颜色查找表对应的融合权重与所述颜色查找表进行加权处理，得到加权颜色查找表；

将各所述颜色查找表对应的所述加权颜色查找表进行相加，得到所述待处理图像对应的目标颜色查找表。

在其中一个实施例中，所述针对所述待处理图像中各像素点，在所述目标颜色查找表中查找各所述像素点进行清晰度调整后对应的色值，包括：

针对所述待处理图像中任一像素点，根据所述像素点的像素值确定所述像素点在所述目标颜色查找表中的映射位置；

确定所述待处理图像中各所述像素点在所述目标颜色查找表中的映射位置所对应的像素值，为所述目标图像各所述像素点进行清晰度调整后对应的色值。

在其中一个实施例中，所述方法还包括：

获取多个样本组，所述样本组包括样本图像及所述样本图像对应的标注图像，所述标注图像的清晰度高于所述样本图像；

通过初始权重预测网络对所述样本图像进行预测处理，得到各初始颜色查找表对应的预测融合权重；

根据各所述初始颜色查找表对应的所述预测融合权重对各所述初始颜色查找表进行融合处理，得到所述样本图像对应的初始目标颜色查找表；

在所述初始目标颜色查找表中查找所述样本图像中各所述像素点进行清晰度调整后对应的色值；

根据所述样本图像中各所述像素点进行清晰度调整后对应的色值，构建所述样本图像对应的预测目标图像；

根据所述预测目标图像与所述样本图像对应的所述标注图像之间的差异，确定训练损失值；

根据所述训练损失值，调整所述初始权重预测网络的权重，并对各所述初始颜色查找表的色值进行调整，得到所述权重预测网络和各所述颜色查找表。

在其中一个实施例中，在所述根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表之前，所述方法还包括：

获取初始图像；

在所述初始图像的清晰度满足调整条件的情况下，将所述初始图像作为所述待处理图像。

根据本公开实施例的第二方面，提供一种图像处理装置，包括：

构建单元，被配置为执行构建多张颜色查找表；

第一融合单元，被配置为执行根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表；

第一查找单元，被配置为执行针对所述待处理图像中各像素点，在所述目标颜色查找表中查找各所述像素点进行清晰度调整后对应的色值；

第一处理单元，被配置为执行根据各所述像素点进行清晰度调整后的所述色值，对所述待处理图像进行处理，构建目标图像。

在其中一个实施例中，所述第一融合单元还被配置为执行：

通过权重预测网络对所述待处理图像进行预测处理，得到各所述颜色查找表对应的融合权重，所述权重预测网络为用于进行融合权重预测的神经网络；

根据各所述颜色查找表对应的所述融合权重对各所述颜色查找表进行融合处理，得到所述待处理图像对应的目标颜色查找表。

在其中一个实施例中，所述第一融合单元还被配置为执行：

对待处理图像进行下采样处理，得到下采样图像；

通过权重预测网络对所述下采样图像进行预测处理，得到各所述颜色查找表对应的融合权重。

在其中一个实施例中，所述第一融合单元还被配置为执行：

针对任一颜色查找表，根据所述颜色查找表对应的融合权重与所述颜色查找表进行加权处理，得到加权颜色查找表；

将各所述颜色查找表对应的所述加权颜色查找表进行相加，得到所述待处理图像对应的目标颜色查找表。

在其中一个实施例中，所述第一查找单元还被配置为执行：

针对所述待处理图像中任一像素点，根据所述像素点的像素值确定所述像素点在所述目标颜色查找表中的映射位置；

确定所述待处理图像中各所述像素点在所述目标颜色查找表中的映射位置所对应的像素值，为所述目标图像各所述像素点进行清晰度调整后对应的色值。

在其中一个实施例中，所述装置还包括：

第一获取单元，被配置为执行获取多个样本组，所述样本组包括样本图像及所述样本图像对应的标注图像，所述标注图像的清晰度高于所述样本图像；

预测单元，被配置为执行通过初始权重预测网络对所述下采样样本图像进行预测处理，得到各初始颜色查找表对应的预测融合权重；

第二融合单元，被配置为执行根据各所述初始颜色查找表对应的预测融合权重对各所述初始颜色查找表进行融合处理，得到所述样本图像对应的初始目标颜色查找表；

第二查找单元，被配置为执行在所述初始目标颜色查找表中查找所述样本图像中各所述像素点进行清晰度调整后对应的色值；

第二处理单元，被配置为执行根据所述样本图像中各所述像素点进行清晰度调整后对应的色值，构建所述样本图像对应的预测目标图像；

确定单元，被配置为执行根据所述预测目标图像与所述样本图像对应的所述标注图像之间的差异，确定训练损失值；

训练单元，被配置为执行根据所述训练损失值，调整所述初始权重预测网络的权重，并对和各所述初始颜色查找表的色值进行调整，得到所述权重预测网络和各所述颜色查找表。

在其中一个实施例中，所述装置还包括：

第二获取单元，被配置为执行获取初始图像；

第三处理单元，被配置为执行在所述初始图像的清晰度满足调整条件的情况下，将所述初始图像作为所述待处理图像。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现前述任一项所述的图像处理方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如前述任一项所述的图像处理方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如前述任一项所述的图像处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

本方案提供的图像处理方法、装置、电子设备和存储介质，可以构建多张颜色查找表，并根据待处理图像针对各颜色查找表的融合权重，对各颜色查找表进行融合，得到待处理图像对应的目标颜色查找表，进而针对待处理图像中各像素点，在目标颜色查找表中查找各像素点进行清晰度调整后对应的色值，根据各像素点进行清晰度调整后的色值，对待处理图像进行处理，构建得到目标图像。也即，本公开提供的图像处理方法、装置、电子设备和存储介质，可以基于多个颜色查找表为待处理图像自适应的融合对应的目标颜色查找表，进而根据目标颜色查找表提升待处理图像的清晰度，得到目标图像，由于查找表为简单的索引操作，故本公开可以降低计算量，提高图像处理速度和效率，实时进行图像清晰度的调整，且由于目标颜色查找表为多个颜色查找表针对待处理图像进行融合得到的自适应的查找表，故本公开实施例能够在降低计算量的同时，提高图像处理精度，以及提高图像处理速度和效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种图像处理方法的应用环境图。

图2是根据一示例性实施例示出的一种图像处理方法的流程图。

图3a是根据一示例性实施例示出的一种查找表的示意图。

图3b是根据一示例性实施例示出的一种查找表的示意图。

图4是根据一示例性实施例示出的一种图像处理方法中步骤206的流程图。

图5是根据一示例性实施例示出的一种图像处理方法中步骤204的流程图。

图6是根据一示例性实施例示出的一种图像处理方法的流程图。

图7是根据一示例性实施例示出的一种权重预测网络的示意图。

图8是根据一示例性实施例示出的一种图像处理方法的流程图。

图9是根据一示例性实施例示出的一种图像处理方法的示意图。

图10是根据一示例性实施例示出的一种图像处理装置的框图。

图11是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

还需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本公开所提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端110通过网络与服务器120进行交互。服务器120可以对多媒体数据(包括视频数据和图像数据)进行压缩码率或者降低分辨率后，发送至终端110。终端110接收到多媒体数据后，可以对多媒体数据中的各图像作为待处理图像进行清晰度调整，提高待处理图像的清晰度后得到对应的目标图像，并展示目标图像。其中，终端110可以是但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，服务器120可以是独立的服务器或者是多个服务器组成的服务器集群等。

图2是根据一示例性实施例示出的一种图像处理方法的流程图，如图2所示，图像处理方法用于图1所示的终端110中，包括以下步骤。

在步骤202中，构建多张颜色查找表。

在步骤204中，根据待处理图像针对各所述颜色查找表的融合权重，对各颜色查找表进行融合，得到待处理图像对应的目标颜色查找表。

本公开实施例中，待处理图像可以为待进行清晰度调整的图像，其中，待处理图像可以为图像信息，也可以为视频数据中的图像帧，在一个示例中，待处理图像可以为人像图像，本公开实施例中不对待处理图像做具体限定。

可以预先构建或者训练N张颜色查找表，其中，颜色查找表可以为3D查找表，也即为三维的颜色查找表，用于色彩空间的映射，原始颜色通过该颜色查找表可以映射到新的色彩上去，例如：当原始R(red)值为0时，通过颜色查找表可以映射R值为5；当原始R值为1时，通过颜色查找表可以映射R值为6…。也即可以将提前定义好的色彩之间的映射关系，存储在一张图中，这个图就叫做颜色查找表。

示例性的，以待处理图像为RGB图像为例，在正常情况下，RGB的颜色模式可以表示的颜色数量为256×256×256种，如果要完全记录这种映射关系，需要大量的内存，并且在查找时计算量巨大，为了简化计算量，降低内存占用，颜色查找表以一定的采样间隔，将相近的n种颜色采用一条映射记录并存储，(示例性的，n为采样步长，可以根据需求进行取值，例如：可以设置为4)，这样颜色查找表存储64×64×64种映射关系就可以，降低了存储映射关系所用的内存空间，可以充分利用GPU(graphics processing unit，图形处理器)的计算能力。

以采样步长为4为例，则颜色查找表在横竖方向上可以被分成8×8一共有64个方格，每一个方格内的B(blue)分量为一个定值，64个方格一共就表示了B分量的64种映射取值,参照图3a所示(图3a中每个方格内的数字代表该方格的标号，各个方格可以对应不同的B分量取值，图3a中未示处)。各个方格内又被分成了横竖64×64的小方格，其中横坐标代表R(red)分量的64种映射取值，纵坐标代表了G(green)分量的64种映射取值，以其中一个方格为例，R分量和G分量的取值分布可以如图3b所示。这样，RBG三个分量的64种取值范围，就通过该颜色查找表映射出来了。

不同图像的光照等条件不同，则可以对应不同的映射关系，也即对应不同的颜色查找表。本公开实施例可以通过待处理图像的图像内容和/或全局信息，确定针对各颜色查找表的融合权重，进而可以根据各颜色查找表对应的融合权重对多个颜色查找表融合进行加权求和，得到适应于该待处理图像的目标颜色查找表，也即不同的待处理图像均可以通过对多个颜色查找表的融合，得到适应不同待处理图像的目标颜色查找表。

本公开实施例中对颜色查找表的数量不做具体限定，可以基于清晰度的需求和移动终端的计算能力确定颜色查找表的数量，其中，颜色查找表的数量与清晰度的需求和/或移动终端的计算能力成正比，也即清晰度的需求越高，则颜色查找表的数量可以设置的越多，移动终端的计算能力越强，则颜色查找表的数量可以设置的越多。

在步骤206中，针对待处理图像中个像素点，在目标颜色查找表中查找各像素点进行清晰度调整后对应的色值；

在步骤208中，根据各像素点进行清晰度调整后的色值，对待处理图像进行处理，构建目标图像。

本公开实施例中，在得到目标颜色查找表之后，可以通过目标颜色查找表查找待处理图像中各像素点映射的像素值，该映射的像素值即为像素点进行清晰度调整后对应的色值。根据查找到的各像素点映射的像素值，对待处理图像进行处理，也即采用各像素点对应的像素值替换待处理图像中该像素点对应的像素值，可以构成目标图像，该目标图像即为提升清晰度后的待处理图像，也即该目标图像与待处理图像对应相同的图像内容，但目标图像的清晰度高于待处理图像。

本方案提供的图像处理方法，可以构建多张颜色查找表，并根据待处理图像针对各颜色查找表的融合权重，对各颜色查找表进行融合，得到待处理图像对应的目标颜色查找表，进而针对待处理图像中各像素点，在目标颜色查找表中查找各像素点进行清晰度调整后对应的色值，根据各像素点进行清晰度调整后的色值，对待处理图像进行处理，构建得到目标图像。也即，本公开提供的图像处理方法可以基于多个颜色查找表为待处理图像自适应的融合对应的目标颜色查找表，进而根据目标颜色查找表提升待处理图像的清晰度，得到目标图像，由于查找表为简单的索引操作，故本公开可以降低计算量，提高图像处理速度和效率，实时进行图像清晰度的调整，且由于目标颜色查找表为多个颜色查找表针对待处理图像进行融合得到的自适应的查找表，故本公开实施例能够在降低计算量的同时，提高图像处理精度，以及提高图像处理速度和效率。

在一示例性实施例中，如图4所示，在步骤206中，针对待处理图像中各像素点，在目标颜色查找表中查找各像素点进行清晰度调整后对应的色值，可以通过以下步骤实现：

在步骤402中，针对待处理图像中任一像素点，根据像素点的像素值确定像素点在目标颜色查找表中的映射位置；

在步骤404中，确定待处理图像中各像素点在目标颜色查找表中的映射位置所对应的像素值，为目标图像各像素点进行清晰度调整后对应的色值。

本公开实施例中，在得到待处理图像对应的目标颜色查找表之后，可以根据该目标颜色查找表对待处理图像中各像素点对应的像素值进行映射查找，进而将各像素点在目标颜色查找表中映射的像素值，作为目标图像各像素点进行清晰度调整后对应的色值，进而根据各像素点进行清晰度调整后对应的色值，可以构建得到映射后的目标图像。

示例性的，仍以待处理图像为RGB图像为例。针对待处理图像中的任一像素点A，可以根据该像素点的像素值与目标颜色查找表的采样步长(也即颜色查找表的采样步长)，确定该像素点在目标颜色查找表中的映射位置。例如：参照图3a和图3b所示，针对像素点A的像素值(R1(32)，G1(64)，B1(64)),可以根据B1/4确定像素点A在目标颜色查找表中对应的方格为第16个方格。进一步的，可以确定该像素点A在第16个方格内的行(G1/4)和列(R1/4)，也即确定该像素点A在目标颜色查找表的映射位置为第16个方格内的第16行和第8列，该位置对应的像素值为(R2，G2，B2)，也即得到像素点A在目标颜色查找表中的映射位置所对应的像素值为(R2，G2，B2)。以此类推，可以得到待处理图像中各像素点在目标颜色查找表中映射的像素值，根据待处理图像中各像素点在目标颜色查找表中映射的像素值，可以组成目标图像。

基于本公开提供的图像处理方法，可以基于多个颜色查找表为待处理图像自适应的融合的目标颜色查找表，可以提升待处理图像的清晰度，得到目标图像，由于查找表为简单的索引操作，故本公开可以降低计算量，提高图像处理速度和效率。

在一示例性实施例中，如图5所示，在步骤204中，根据待处理图像针对各颜色查找表的融合权重，对各颜色查找表进行融合，得到待处理图像对应的目标颜色查找表，可以通过以下步骤实现：

在步骤502中，通过权重预测网络对待处理图像进行预测处理，得到各颜色查找表对应的融合权重，权重预测网络为用于进行融合权重预测的神经网络；

在步骤504中，根据各颜色查找表对应的融合权重对各颜色查找表进行融合处理，得到待处理图像对应的目标颜色查找表。

本公开实施例中，各颜色查找表可以基于对应的融合权重进行融合处理，得到对应的目标颜色查找表。可以预先训练权重预测网络，该权重预测网络可以用于预测待处理图像所对应的各颜色查找表的融合权重。示例性的，权重预测网络可以为轻量级卷积神经网络。

可以将待处理图像作为权重预测网络的输入信息输入权重预测网络，权重预测网络可以通过待处理图像的图像内容信息和全局信息，预测各个颜色查找表的融合权重。进而根据各颜色查找表的融合权重将各颜色查找表进行融合，得到待处理图像对应的目标颜色查找表。

在一示例性实施例中，步骤504中，根据各颜色查找表对应的融合权重对各颜色查找表进行融合处理，得到待处理图像对应的目标颜色查找表，包括：

针对任一颜色查找表，根据颜色查找表对应的融合权重与颜色查找表进行加权处理，得到加权颜色查找表；

将各颜色查找表对应的加权颜色查找表进行相加，得到待处理图像对应的目标颜色查找表。

本公开实施例中，可以分别将各颜色查找表与其对应的融合权重进行相乘，实现加权处理，分别得到各颜色查找表对应的加权颜色查找表，并将各颜色查找表对应的加权颜色查找表进行相加，得到待处理图像对应的目标颜色查找表。

示例性的，假设颜色查找表包括查找表1、查找表2和查找表3，通过权重预测网络预测得到查找表1对应融合权重1、查找2对应融合权重2、查找表3对应融合权重3，则目标颜色查找表＝查找表1*融合权重1+查找2*融合权重2+查找表3*融合权重3。进一步的，在融合得到目标颜色查找表之后，可以根据该目标颜色查找表查找待处理图像中各像素点映射的像素值，进而得到目标图像。

基于本公开实施例提供的图像处理方法，可以通过权重预测网络确定待处理图像对应的各颜色查找表的融合权重，进而通过各颜色查找表和各颜色查找表的融合权重融合得到适应待处理图像的目标颜色查找表，可以提高清晰度提升精度。

在一示例性实施例中，步骤502中，通过权重预测网络对待处理图像进行预测处理，得到各颜色查找表对应的融合权重，可以通过以下步骤实现：

对待处理图像进行下采样处理，得到下采样图像；

通过权重预测网络对下采样图像进行预测处理，得到各颜色查找表对应的融合权重。

本公开实施例中，可以对待处理图像进行下采样处理，得到下采样图像后，将下采样图像作为权重预测网络的输入信息输入权重预测网络，权重预测网络可以通过下采样图像的图像内容信息和全局信息，预测各个颜色查找表的融合权重。进而根据各颜色查找表的融合权重将各颜色查找表进行融合，得到待处理图像对应的目标颜色查找表。

这样一来，由于权重预测网络处理的是下采样图像，故可以降低计算量，权重预测网络采用轻量网络即可，可以降低对移动终端计算资源的占用，提高图像处理效率和速度。

在一示例性实施例中，如图6所示，所述方法还包括：

在步骤602中，获取多个样本组，样本组包括样本图像及样本图像对应的标注图像，标注图像的清晰度高于样本图像；

在步骤604中，通过初始权重预测网络对样本图像进行预测处理，得到各初始颜色查找表对应的预测融合权重；

在步骤606中，根据各初始颜色查找表对应的预测融合权重对各初始颜色查找表进行融合处理，得到样本图像对应的初始目标颜色查找表；

在步骤608中，在初始目标颜色查找表中查找样本图像中各像素点进行清晰度调整后对应的色值；

在步骤610中，根据样本图像中各像素点进行清晰度调整后对应的色值，构建样本图像对应的预测目标图像；

在步骤612中，根据预测目标图像与样本图像对应的标注图像之间的差异，确定训练损失值；

在步骤614中，根据训练损失值，调整初始权重预测网络的权重，并对各初始颜色查找表的色值进行调整，得到权重预测网络和各颜色查找表。

本公开实施例中，可以预先训练权重预测网络和构建多个颜色查找表，其中，颜色查找表的数量可以基于清晰度提升需求进行确定。

示例性的，可以预先构建训练集。例如：可以采集多种场景的图像作为样本图像，比如暗光、逆光、室内、室外等场景下的图像，并对各样本图像进行图像处理以提升清晰度(可以采用人工手动进行清晰度提升，或者可以采用卷积神经网络进行清晰度提升，本公开实施例对于标注图像的获取方式不做具体限定)，构造得到样本图像的标注图像，进而根据样本图像及样本图像对应的标注图像构造样本组。或者，可以基于应用场景构建训练集，例如：当应用于人像图像清晰度调整的场景下，样本图像可以为各种光照环境下的人像图像。

可以将样本图像输入到初始权重预测网络逐层计算，该初始权重预测网络的输出为N×1的向量，即N个初始颜色查找表的预测融合权重。利用N个预测融合权重将N个初始颜色查找表合并为一个初始目标颜色查找表后，可以根据样本图像，经过初始目标颜色查找表查找得到一个与样本图像同样尺寸的清晰度提升结果图，也即得到样本图像对应的目标图像。

其中，初始颜色查找表可以为预先构建的3D查找表，例如：以步长4构建的3D查找表。N个初始颜色查找表的尺寸相同，但内容可以相同，也可以不同，本公开实施例不对初始颜色查找表做具体限定。

可以根据样本图像对应的目标图像与样本图像对应的标注图像之间的差异，确定训练损失值。例如：可以采用L1或L2等损失函数，确定样本图像对应的目标图像与样本图像对应的标注图像之间的差异，得到训练损失值，本公开实施例中不对训练损失值的具体方式做限定。进一步的，可以根据训练损失值调整N个初始颜色查找表(调整初始颜色查找表中各像素点对应的像素值，也即调整初始颜色查找表对应的映射关系)和初始权重预测网络的网络参数，直至训练损失值满足训练要求为止，得到权重预测网络和N个颜色查找表。

实际上，在将样本图像输入到初始权重预测网络中之前，可以对样本图像进行下采样处理，得到下采样样本图像，例如：将样本图像下采样到64×64大小的下采样样本图像。进而将下采样样本图像输入到初始权重预测网络逐层计算，预测得到N个初始颜色查找表的预测融合权重。

需要说明的是，权重预测网络可以采用如7所示的LeNet-5网络结构，也可以使用Alexnet等其他轻量级回归网络，本公开实施例不对权重预测网络的网络结构做具体限定。

基于本公开实施例提供的图像处理方法，可以预先训练权重预测网络和N个颜色查找表，可以采用轻量级的权重预测网络进行图像内容感知，确定各颜色查找表的融合权重，并通过各颜色查找表的融合权重融合得到一个适应待处理图像的目标颜色查找表，使得本方案可以智能的处理多种光照场景；本公开实施例将权重预测网络和3D查找表完美结合，权重预测网络为轻量级网络，3D查找表为简单的索引操作，均具有速度快、效率高的特点，因此保证了本方案的智能、实时、高效。且由于本公开实施例具有速度快、极其高效的优势，结合多种图像处理技术如美颜、滤镜、虚化等，适应于多种场景，例如：在终端设备的直播、短视频等多种业务场景。

在一示例性实施例中，如图8所示，上述方法在步骤204之前，还可以包括：

在步骤802中，获取初始图像；

在步骤804中，在初始图像的清晰度满足调整条件的情况下，将初始图像作为待处理图像。

本公开实施例中，初始图像可以为移动终端采集的图像信息。移动终端在采集待展示图像(可以为采集的视频数据中图像帧)后，确定初始图像的清晰度是否满足调整条件，并在初始图像的清晰度满足条件后，将初始图像作为待处理图像进行清晰度的调整，并对调整后得到的目标图像进行展示。

在初始图像本身足够清晰(例如：直播时主播并未添加美颜、滤镜等特效、或者当前光照环境比较适宜等情况下)，此时初始图像实际上并不需要进行清晰度的提升即可直接进行展示，这样可以降低对移动终端计算资源的占用。

故移动终端可以在采集初始图像后，可以先确定初始图像的清晰度是否满足调整条件，该调整条件可以用于确定初始图像是否需要进行清晰度调整的条件，例如：调整条件可以包括初始图像的清晰度低于清晰度阈值、初始图像并未添加特效、初始图像的亮度和/或饱和度满足要求、接收到对针对初始图像清晰度的调整指令等条件中的至少一项。

在确定初始图像的清晰度满足调整条件的情况下，可以确定初始图像的清晰度不佳，故可以将初始图像作为待处理图像，采用前述实施例的图像处理方式进行清晰度调整后，对调整后得到的目标图像进行展示。或者，在确定初始图像的清晰度满足调整条件的情况下，可以确定初始图像的清晰度较佳无需进行清晰度调整，可以直接对初始图像进行展示。

本公开实施例中不对初始图像的清晰度的检测方式做具体限定，例如：可以采用边缘检测法、卷积神经网络等方式检测初始图像的清晰度。

基于本公开实施例提供的图像处理方法，可以仅对清晰度满足调整条件的初始图像进行清晰度调整，可以降低对移动终端的计算资源的占用，可以提高图像处理效率和速度。

本公开实施例中，初始图像还可以为服务器发送至移动终端的多媒体数据中的图像信息。在一示例性实施例中，在步骤804中，在初始图像的清晰度满足调整条件的情况下，将初始图像作为待处理图像，包括：

在初始图像具有调整标识的情况下，确定初始图像的清晰度满足调整条件，将初始图像作为所述待处理图像；其中，调整标识为服务器在检测到初始图像的清晰度满足调整条件后，向初始图像中添加的标识信息。

本公开实施例中，由于服务器向移动终端进行数据发送时，为了降低对带宽的占用，保证视频的实时性，提高视频的流畅性，需要对多媒体数据进行压缩处理，这样会使得发送至移动终端侧的图像的清晰度收到一定影响。故服务器在向移动终端发送多媒体数据之前，可以基于多媒体数据待压缩的程度确定多媒体数据中各帧初始图像的清晰度是否满足调整条件。

可以预先确定各压缩程度下，初始图像对应的清晰度阈值。针对任一压缩程度，初始图像的清晰度低于该压缩程度对应的清晰度阈值的情况下，压缩后该初始图像的清晰度将受到较大影响，故移动终端需要对该初始图像的清晰度进行进一步调整后进行展示；或者，初始图像的清晰度高于或者等于该压缩程度对应的清晰度预置的情况下，压缩后该待初始图像的清晰度受到的影响较小，故移动终端可以直接对该初始图像进行展示。也即，调整条件可以包括初始图像的清晰度小于待压缩程度对应的清晰度阈值。

服务器在向移动终端发送多媒体数据的时候，可以逐帧对多媒体数据中的初始图像进行清晰度检测(可以采用边缘检测法、卷积神经网络等方式检测初始图像的清晰度)，并在确定初始图像的清晰度满足调整条件的情况下，在初始图像中增加调整标识。移动终端在接收到初始图像后，可以确定初始图像是否携带调整标识，并在初始图像中携带调整标识的情况下，可以确定初始图像的清晰度满足调整条件，进而可以对该初始图像进行清晰度调整处理，具体调整过程参照前述实施例的相关描述即可，本公开实施例对此不再赘述；在初始图像不携带调整标识的情况下，直接对初始图像进行展示。

基于本公开实施例提供的图像处理方法，可以仅对清晰度满足调整条件的初始图像进行清晰度调整，可以降低对移动终端的计算资源的占用，且对于初始图像的清晰度的检测过程在服务器端实现，可以进一步降低对移动终端的计算资源的占用。

为使本领域技术人员更好的理解本公开实施例，以下可以通过具体事例对本公开实施例加以说明。

参照图9所示，待处理图像为人像图像，首先对人像图像进行下采样处理，比如下采样到64×64或者128×128大小，得到下采样图像，然后将下采样图像输入权重预测网络进行预测处理，得到5个颜色查找表的融合权重(颜色查找表1：w1、颜色查找表2：w2、颜色查找表3：w3、颜色查找表4：w4、颜色查找表5：w5)。根据各颜色查找表的融合权重对多个颜色查找表进行融合处理，得到待处理图像的目标颜色查找表，该目标颜色查找表对应于人像区域的像素点的映射为较大变化映射，对应于背景区域的像素点的映射为较小变化映射(近似恒定变化)。根据目标颜色查找表，以待处理图像为原始图像，在目标颜色查找表中进行查找，得到待处理图像中各像素点的映射结果，进而得到目标图像，该目标图像为待处理图像的清晰度提升结果。

应该理解的是，虽然图1-图9的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图9中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

可以理解的是，本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见，每个实施例重点说明的是与其他实施例的不同之处，相关之处参见其他方法实施例的说明即可。

图10是根据一示例性实施例示出的一种图像处理装置框图。参照图10，该装置包括构建单元1002、第一融合单元1004、第一查找单元1006和第一处理单元1008。

构建单元1002，被配置为执行构建多张颜色查找表；

第一融合单元1004，被配置为执行根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表；

第一查找单元1006，被配置为执行针对所述待处理图像中各像素点，在所述目标颜色查找表中查找各所述像素点进行清晰度调整后对应的色值；

第一处理单元1008，被配置为执行根据各所述像素点进行清晰度调整后的所述色值，对所述待处理图像进行处理，构建目标图像。

本方案提供的图像处理装置，可以基于多个颜色查找表为待处理图像自适应的融合对应的目标颜色查找表，进而根据目标颜色查找表提升待处理图像的清晰度，得到目标图像，由于查找表为简单的索引操作，故本公开可以降低计算量，提高图像处理速度和效率，实时进行图像清晰度的调整，且由于目标颜色查找表为多个颜色查找表针对待处理图像进行融合得到的自适应的查找表，故本公开实施例能够在降低计算量的同时，提高图像处理精度，以及提高图像处理速度和效率。

在一示例性实施例中，第一融合单元1004还被配置为执行：

通过权重预测网络对所述待处理图像进行预测处理，得到各所述颜色查找表对应的融合权重，所述权重预测网络为用于进行融合权重预测的神经网络；

根据各所述颜色查找表对应的所述融合权重对各所述颜色查找表进行融合处理，得到所述待处理图像对应的目标颜色查找表。

在一示例性实施例中，第一融合单元1004还被配置为执行：

对待处理图像进行下采样处理，得到下采样图像；

通过权重预测网络对所述下采样图像进行预测处理，得到各所述颜色查找表对应的融合权重。

在一示例性实施例中，所述第一融合单元1004还被配置为执行：

针对任一颜色查找表，根据所述颜色查找表对应的融合权重与所述颜色查找表进行加权处理，得到加权颜色查找表；

将各所述颜色查找表对应的所述加权颜色查找表进行相加，得到所述待处理图像对应的目标颜色查找表。

在一示例性实施例中，所述第一查找单元1006还被配置为执行：

针对所述待处理图像中任一像素点，根据所述像素点的像素值确定所述像素点在所述目标颜色查找表中的映射位置；

确定所述待处理图像中各像素点在所述目标颜色查找表中的映射位置所对应的像素值，为所述目标图像各所述像素点进行清晰度调整后对应的色值。

在一示例性实施例中，所述装置还包括：

第一获取单元，被配置为执行获取多个样本组，所述样本组包括样本图像及所述样本图像对应的标注图像，所述标注图像的清晰度高于所述样本图像；

预测单元，被配置为执行通过初始权重预测网络对所述下采样样本图像进行预测处理，得到各初始颜色查找表对应的预测融合权重；

第二融合单元，被配置为执行根据各所述初始颜色查找表对应的预测融合权重对各所述初始颜色查找表进行融合处理，得到所述样本图像对应的初始目标颜色查找表；

第二查找单元，被配置为执行在所述初始目标颜色查找表中查找所述样本图像中各所述像素点进行清晰度调整后对应的色值；

第二处理单元，被配置为执行根据所述样本图像中各所述像素点进行清晰度调整后对应的色值，构建所述样本图像对应的预测目标图像；

确定单元，被配置为执行根据所述预测目标图像与所述样本图像对应的所述标注图像之间的差异，确定训练损失值；

训练单元，被配置为执行根据所述训练损失值，调整所述初始权重预测网络的权重，并对和各所述初始颜色查找表的色值进行调整，得到所述权重预测网络和各所述颜色查找表。

在一示例性实施例中，所述装置还包括：

第二获取单元，被配置为执行获取初始图像；

第三处理单元，被配置为执行在所述初始图像的清晰度满足调整条件的情况下，将所述初始图像作为所述待处理图像。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图11是根据一示例性实施例示出的一种用于图像处理方法的电子设备1100的框图。例如，电子设备1100可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。

参照图11，电子设备1100可以包括以下一个或多个组件：处理组件1102、存储器1104、电源组件1106、多媒体组件1108、音频组件1110、输入/输出(I/O)的接口1112、传感器组件1114以及通信组件1116。

处理组件1102通常控制电子设备1100的整体操作，诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1102可以包括一个或多个处理器1120来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1102可以包括一个或多个模块，便于处理组件1102和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1108和处理组件1102之间的交互。

存储器1104被配置为存储各种类型的数据以支持在电子设备1100的操作。这些数据的示例包括用于在电子设备1100上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1104可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。

电源组件1106为电子设备1100的各种组件提供电力。电源组件1106可以包括电源管理系统，一个或多个电源，及其他与为电子设备1100生成、管理和分配电力相关联的组件。

多媒体组件1108包括在所述电子设备1100和用户之间的提供输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1108包括前置摄像头和/或后置摄像头。当电子设备1100处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件1110被配置为输出和/或输入音频信号。例如，音频组件1110包括麦克风(MIC)，当电子设备1100处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1104或经由通信组件1116发送。在一些实施例中，音频组件1110还包括扬声器，用于输出音频信号。

I/O接口1112为处理组件1102和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件1114包括一个或多个传感器，用于为电子设备1100提供各个方面的状态评估。例如，传感器组件1114可以检测到电子设备1100的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1100的显示器和小键盘，传感器组件1114还可以检测电子设备1100或电子设备1100组件的位置改变，用户与电子设备1100接触的存在或不存在，设备1100方位或加速/减速和电子设备1100的温度变化。传感器组件1114可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1114还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1114还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。

通信组件1116被配置为便于电子设备1100和其他设备之间有线或无线方式的通信。电子设备1100可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1116经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1116还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，电子设备1100可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器1104，上述指令可由电子设备1100的处理器1120执行以完成上述方法。例如，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品中包括指令，上述指令可由电子设备1100的处理器1120执行以完成上述方法。

需要说明的，上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式，具体的实现方式可以参照相关方法实施例的描述，在此不作一一赘述。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

构建多张颜色查找表；

根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表；

针对所述待处理图像中各像素点，在所述目标颜色查找表中查找各所述像素点进行清晰度调整后对应的色值；

根据各所述像素点进行清晰度调整后的所述色值，对所述待处理图像进行处理，构建目标图像。

2.根据权利要求1所述的方法，其特征在于，所述根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表，包括：

通过权重预测网络对待处理图像进行预测处理，得到各所述颜色查找表对应的融合权重，所述权重预测网络为用于进行融合权重预测的神经网络；

根据各所述颜色查找表对应的所述融合权重对各所述颜色查找表进行融合处理，得到所述待处理图像对应的目标颜色查找表。

3.根据权利要求2所述的方法，其特征在于，所述通过权重预测网络对待处理图像进行预测处理，得到各所述颜色查找表对应的融合权重，包括：

对待处理图像进行下采样处理，得到下采样图像；

通过权重预测网络对所述下采样图像进行预测处理，得到各所述颜色查找表对应的融合权重。

4.根据权利要求2或3所述的方法，其特征在于，所述根据各所述颜色查找表对应的所述融合权重对各所述颜色查找表进行融合处理，得到所述待处理图像对应的目标颜色查找表，包括：

针对任一颜色查找表，根据所述颜色查找表对应的融合权重与所述颜色查找表进行加权处理，得到加权颜色查找表；

将各所述颜色查找表对应的所述加权颜色查找表进行相加，得到所述待处理图像对应的目标颜色查找表。

5.根据权利要求1或2所述的方法，其特征在于，所述针对所述待处理图像中各像素点，在所述目标颜色查找表中查找各所述像素点进行清晰度调整后对应的色值，包括：

针对所述待处理图像中任一像素点，根据所述像素点的像素值确定所述像素点在所述目标颜色查找表中的映射位置；

确定所述待处理图像中各所述像素点在所述目标颜色查找表中的映射位置所对应的像素值，为所述目标图像各所述像素点进行清晰度调整后对应的色值。

6.根据权利要求2所述的方法，其特征在于，所述方法还包括：

获取多个样本组，所述样本组包括样本图像及所述样本图像对应的标注图像，所述标注图像的清晰度高于所述样本图像；

通过初始权重预测网络对所述样本图像进行预测处理，得到各初始颜色查找表对应的预测融合权重；

根据各所述初始颜色查找表对应的所述预测融合权重对各所述初始颜色查找表进行融合处理，得到所述样本图像对应的初始目标颜色查找表；

在所述初始目标颜色查找表中查找所述样本图像中各所述像素点进行清晰度调整后对应的色值；

根据所述样本图像中各所述像素点进行清晰度调整后对应的色值，构建所述样本图像对应的预测目标图像；

根据所述预测目标图像与所述样本图像对应的所述标注图像之间的差异，确定训练损失值；

根据所述训练损失值，调整所述初始权重预测网络的权重，并对各所述初始颜色查找表的色值进行调整，得到所述权重预测网络和各所述颜色查找表。

7.一种图像处理装置，其特征在于，包括：

构建单元，被配置为执行构建多张颜色查找表；

第一融合单元，被配置为执行根据待处理图像针对各所述颜色查找表的融合权重，对各所述颜色查找表进行融合，得到所述待处理图像对应的目标颜色查找表；

第一查找单元，被配置为执行针对所述待处理图像中各像素点，在所述目标颜色查找表中查找各所述像素点进行清晰度调整后对应的色值；

第一处理单元，被配置为执行根据各所述像素点进行清晰度调整后的所述色值，对所述待处理图像进行处理，构建目标图像。

8.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至6中任一项所述的图像处理方法。

9.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。

10.一种计算机程序产品，所述计算机程序产品中包括指令，其特征在于，所述指令被电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至6中任一项所述的图像处理方法。

Images