CN110781899B - 图像处理方法及电子设备 - Google Patents

Abstract

本发明公开了一种图像处理方法及电子设备，该方法包括：对待处理的第一图像进行图像语义分割，得到至少两个语义区域；根据所述至少两个语义区域对应的图像语义信息，分别对每个语义区域进行降噪处理，得到所述待处理的第一图像的降噪图像。本实施例中的方法，对待处理的第一图像进行图像语义分割，得到至少两个语义区域，由于该图像语义信息与降噪程度有关，因此，可以根据每个语义区域对应的图像语义信息，分别对每个语义区域进行自适应降噪处理，从而改善图像的成像质量。

Description

图像处理方法及电子设备

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及电子设备。

背景技术

夜景暗光图像指的是对处于光线暗的夜景或场景下的人物、动物或者其他物体进行拍摄得到的图像。以夜景暗光人物图像为例，由于夜景光线比较暗，明暗层次少，使得拍摄出的图像中的人物较暗、不清晰。如何在夜景暗光下拍摄出高质量的清晰人像，是目前行业的一个技术难点。现有主要的解决方法是利用HDR(宽动态)技术来提升图片亮度的动态范围，其次对图像进行降噪处理来修复人像在夜景暗光下的清晰度，得到最终图像。由于图像中夹杂的噪声程度不同，基于同一程度的降噪方式处理得到人像不清晰的图像，导致图像的成像质量差。

发明内容

本发明实施例提供一种图像处理方法及电子设备，以解决现有技术采用同一程度的降噪方式处理图像，导致图像的成像质量差的问题。

为了解决上述技术问题，本发明是这样实现的：

第一方面，提供了一种图像处理方法，该方法包括：

对待处理的第一图像进行图像语义分割，得到至少两个语义区域；

根据所述至少两个语义区域对应的图像语义信息，分别对每个语义区域进行降噪处理，得到所述待处理的第一图像的降噪图像。

第二方面，提供了一种电子设备，该电子设备包括：

分割模块，用于对待处理的第一图像进行图像语义分割，得到至少两个语义区域；

降噪模块，用于根据所述至少两个语义区域对应的图像语义信息，分别对每个语义区域进行降噪处理，得到所述待处理的第一图像的降噪图像。

第三方面，提供了一种终端设备，该终端设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法的步骤。

在本发明实施例中，通过对待处理的第一图像进行图像语义分割，得到至少两个语义区域，根据至少两个语义区域对应的图像语义信息，该图像语义信息与降噪程度有关，分别对每个语义区域进行自适应降噪处理，得到待处理的第一图像的降噪图像，能够改善图像的成像质量。

附图说明

图1是本发明的一个实施例的图像处理方法的流程示意图；

图2是本发明的一个实施例的一人骑自行车图像的示意图；

图3是本发明的一个实施例的图像语义分割处理后的一人骑自行车图像的示意图；

图4是本发明的另一个实施例的夜景暗光人物图像的示意图；

图5是本发明的另一个实施例的图像语义分割处理后的夜景暗光人物图像的示意图；

图6是本发明的一个实施例的图像降噪的方法的流程示意图；

图7是本发明的一个实施例的图像色彩调整的方法的流程示意图；

图8是本发明的一个实施例的图像处理方法的流程示意图；

图9是本发明的一个实施例的电子设备的结构示意图；

图10是本发明的另一个实施例的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1是本发明的一个实施例的图像处理方法的流程示意图，图1所示的方法可以是电子设备执行的，图1所示的方法包括：

步骤102，对待处理的第一图像进行图像语义分割，得到至少两个语义区域。

应理解，图像语义分割就是从待处理的第一图像中分割出语义区域，并识别其中的内容。

在步骤102中，通过对待处理的第一图像进行图像语义分割，得到至少两个语义区域，该至少两个语义区域可以是人物、动物、固定物体、移动物体、背景等语义区域。

比如，如图2所示，待处理的第一图像为一个人骑自行车图像，对一个人骑自行车的第一图像进行图像语义分割，得到两个语义区域，如图3所示，其中一个是人物语义区域，另一个是自行车语义区域。

具体地，步骤102中对待处理的第一图像进行图像语义分割，得到至少两个语义区域，可以包括：

采用预先学习的图像分割网络对待处理的第一图像进行图像语义分割，得到至少两个语义区域。

在一些实施例中，可以采用预先学习的图像分割网络对待处理的第一图像进行图像语义分割，得到至少两个语义区域。该语义分割网络可以为编码器-解码器网络，采用预先学习的图像分割网络对待处理的第一图像进行图像语义分割的具体步骤如下：将待处理的第一图像输入到预先学习的编码器网络中进行特征编码，预先学习的解码器网络对特征编码后的第一图像进行处理，得到每个像素对应的语义区域。该图像分割网络可以通过深度神经网络实现，则上述处理过程即为：将第一图像输入到预先设定的深度神经网络中，通过深度神经网络中的卷积层等对第一图像的特征编码，可以得到每个像素对应的语义信息类别，进而可以得到一张图像语义信息的结构图，其中，该图像分割网络具体可以是Mask-RCNN、GCN、DFN、BiSeNet、Panoptic Feature Pyramid Networks等。

可选地，在一些实施例中，待处理的第一图像中包含人脸区域，对待处理的第一图像进行图像语义分割，得到至少两个语义区域，可以包括：

对待处理的第一图像进行图像语义分割，得到位于人脸区域的至少两个语义区域，以及一个或多个非人脸语义区域，即该语义区域可以包括人脸区域中的语义区域和非人脸语义区域，通过上述将语义区域划分为人脸区域中的语义区域和非人脸语义区域，可以使得语义区域的划分更符合图像处理的不同需求，以便后续可以对关注度高的人脸区域中的语义区域进行处理。

比如，如图4所示，待处理的第一图像中包含人脸区域，对待处理的第一图像进行图像语义分割，具体地，将人物从待处理的第一图像中分割出来的同时，还可以对人脸的各个部分信息进行分割，得到多个语义区域，如图5所示，该多个语义区域包括：背景、头发、皮肤、眉毛、眼睛、眼周区域、鼻子、嘴巴以及除去头部和皮肤的其他身体区域，具体地，位于人脸区域的至少两个语义区域可包括头发、皮肤、眉毛、眼睛、眼周区域、鼻子、嘴巴等，非人脸语义区域可以包括背景、除去头部和皮肤的其他身体区域等。

步骤104，根据至少两个语义区域对应的图像语义信息，分别对每个语义区域进行降噪处理，得到待处理的第一图像的降噪图像。

其中，图像语义信息可以用于指示需要处理的图像在不同的语义区域的去噪程度。

在实施中，通过对待处理的第一图像进行图像语义分割，不仅可以得到至少两个语义区域，还可以生成每个语义区域对应的图像语义信息。由于该图像语义信息与降噪程度相关，因此，可以根据至少两个语义区域对应的图像语义信息，分别对每个语义区域采用预定的降噪程度进行降噪处理，得到降噪图像，该降噪图像为画面清晰度满足预设条件的图像，即改善图像的成像质量。

例如，可以对不同语义区域采用不同的降噪程度进行降噪处理，如在对人的眉毛和头发等语义区域进行降噪处理时，可以保留该语义区域中包含的结构信息，以使得头发和眉毛等纹理更加清晰，而在对人脸皮肤等纹理较少的语义区域进行降噪处理时，可以去掉该语义区域中包含的高频噪声，以确保色彩调整后皮肤依然光滑。对于非人体区域的降噪处理，由于非人体区域中不存在针对人像清晰化所关注的焦点，因此可以采用一种适中的降噪强度即可，具体可以根据实际情况选择适当的降噪强度，以能够达到较为突出的人脸清晰化效果即可。

又例如图3中所示，分别对人物语义区域和自行车语义区域进行降噪处理的过程中，可以对自行车语义区域采用适中降噪程度进行降噪处理，而对人物语义区域采用高于自行车语义区域的降噪程度进行降噪处理，得到较为清晰化的人物降噪图像。

可选地，在另一些实施例中，步骤104中根据至少两个语义区域对应的图像语义信息，分别对每个语义区域进行降噪处理，包括：

根据至少两个语义区域对应的图像语义信息，采用预先学习的降噪网络对待处理的第一图像包含的至少一个语义区域进行降噪处理；

其中，降噪网络可以通过模型网络实现，该降噪网络可以用于将待处理的第一图像中包含的至少一个语义区域降噪至预设的降噪结果图像中对应的语义区域。

可以理解的是，预设的降噪结果图像可以为画面清晰度满足预设条件的图像，预设条件可以用于判定图像的画面已达到足够的清晰程度。

在一些实施例中，为了节省处理时间，提高处理效率，根据待处理的第一图像中包含的至少一个语义区域对应的图像语义信息，可以直接采用预先学习的降噪网络对待处理的第一图像中包含的至少一个语义区域进行降噪处理，得到降噪图像，该降噪图像为画面清晰度满足预设条件的图像，能够改善图像的成像质量。

具体地，采用预先学习的降噪网络对待处理的第一图像中包含的至少一个语义区域进行降噪处理，可包括：

对待处理的第一图像进行特征编码，得到第一特征图像；

基于降噪网络中训练的不同类型的语义区域对应的超参数，对第一特征图像中与待处理的第一图像中至少一个语义区域对应的图像区域进行加权计算，并对加权计算后的第一特征图像进行特征解码，得到降噪图像。

其中，超参数可以是针对某一语义区域而预先设定的可以进行网络学习的参数，超参数的维度可以基于图像语义信息确定。

在一些实施例中，为了进一步改善图像的去噪效果，可以为每一个语义区域设置一个超参数，该超参数可以通过网络学习的方式确定，例如，可以通过深度网络构建超参数学习网络，具体地，可以设置超参数学习网络由深度网络中的两个全连接层构成，可以根据是情况设定每个全连接层的维度，如第一个全连接层的维度为256维，第二个全连接层的维度为9维(其中维度9是基于图像语义信息的类别确定，此例中图像语义信息包含9类)等。

如待处理的第一图像为一个人骑自行车的图像，获取一个人骑自行车的图像中人物语义区域和自行车语义区域对应的超参数，对一个人骑自行车的图像进行特征编码，得到第一特征图像，然后，可以将第一特征图像中与人物语义区域对应的图像区域和表征人物的超参数(即人物语义区域对应的超参数)进行加权操作。同时，还将第一特征图像中与自行车语义区域对应的图像区域与表征自行车的超参数(即自行车语义区域对应的超参数)进行加权操作。通过上述加权操作可以得到语义加权后的第一特征图像，并对语义加权后的第一特征图像进行特征解码得到降噪图像，从而可以进一步改善图像的去噪效果。

可选地，在另一些实施例中，图1所示的方法还包括：

对降噪网络以及图像分割网络进行联合训练，得到第一联合网络；

采用第一联合网络对待处理的第一图像进行处理，得到待处理的第一图像对应的降噪图像。

为了进一步改善图像的降噪效果，将降噪网络和图像分割网络进行联合训练，得到第一联合网络，可以采用第一联合网络对待处理的第一图像处理，得到更为清晰(或画面清晰度更高)的降噪图像，同时也可以降低降噪处理过程的复杂度。

在降噪网络和图像分割网络进行联合训练之前，可分别对降噪网络和图像分割网络进行单独训练，然后，在基于单独训练的降噪网络和图像分割网络进行联合训练，这样，将降噪网络和图像分割网络分为两个阶段进行训练，可以使得第一联合网络更容易收敛，各模型网络的训练过程也更加稳定。

其中，降噪网络和图像分割网络进行联合训练的具体过程如下：

可以采用超参数学习网络，在样本图像中包含的各个语义区域设置对应的一个可学习的超参数。基于上述内容，若样本图像包含有9个不同类型的语义区域，则超参数的维度是9维，每一维分别对应一种类型的图像语义信息的权值。如图6所示，可以将样本图像输入到特征编码网络中进行多次特征编码以及下采样处理，得到第一特征图像，通过自学习得到的超参数，并结合图像语义信息对第一特征图像中与样本图像中至少一个语义区域对应的图像区域进行加权操作，得到语义加权的特征编码样本图像，比如表征背景的超参数和第一特征图像中背景语义区域对应的图像区域进行加权操作，并对语义加权的特征编码样本图像进行多次特征解码以及上采样处理，得到降噪样本图像。

通过自学习得到不同类型的语义区域的权值后，第一联合网络可以自适应地根据每个语义区域的特点进行降噪。如针对背景语义区域，该语义区域通常不会是夜景或暗光人像模式下所关注的焦点，因此，第一联合网络可以采用较强的降噪模式对该语义区域进行降噪处理，尽管在降噪处理的过程中可能会牺牲掉一些细节纹理信息，但是可以保证图像的画面更加平滑。针对头发、眉毛，眼睛等纹理信息比较丰富的语义区域，第一联合网络可以保留该语义区域中的高频信息，从而可以使得图像的细节看起来更加清晰。而针对皮肤语义区域，第一联合网络可以去掉该语义区域中的高频噪声，从而保持图像中皮肤的圆润光滑。

基于上述内容，通过对待处理的第一图像进行图像语义分割生成图像语义信息来指导对夜景暗光人脸图像的去噪，从而，可以结合人脸及背景图像等对应的图像语义信息针对不同的语义区域进行不同程度的去噪，更好的改善了图像的成像质量。

可选地，在一些实施例中，在对待处理的第一图像进行图像语义分割，得到至少两个语义区域之前，图1所示的方法还包括：

采用预先学习的色彩调整网络对待处理的第一图像进行色彩调整处理；

其中，色彩调整网络可以通过模型网络实现，该色彩调整网络可以用于将待处理的第一图像的色彩调整至预设的色彩结果图像。

可理解的是，色彩结果图像为画面色彩亮度满足预设色彩亮度的条件的图像，预设色彩亮度的条件可以用于判定图像的画面已达到足够的色彩亮度。

在一些实施例中，由于待处理的第一图像的色彩亮度偏暗或者偏亮很容易导致图像画面不清晰，因此，在对待处理的第一图像进行图像语义分割之前，可对待处理的第一图像进行色彩调整处理，使得色彩调整后的第一图像的色彩亮度满足预设色彩亮度条件。

如图4所示，待处理的第一图像为夜景中的暗光人物图像(可称为夜景暗光人物图像)，对夜景暗光人物图像进行色彩调整，得到色彩调整后的降噪图像。

上述预先学习的色彩调整网络的训练过程如下：

如图7所示，获取若干张夜景暗光人物样本图像和预定的色彩结果图像(可以为一个或多个)，该若干张夜景暗光人物样本图像可以通过手机设备在夜景或暗光场景中对人物进行实际拍摄的方式获取，若干张夜景暗光人物样本图像所具备的特征可以包括：数量通常较多，覆盖各类夜景或暗光的亮度场景等。由于环境和拍摄器材的差异，实际拍摄得到的样本图像中通常会夹杂噪声，而且图像中脸部也会存在明显的明暗差异，不同的样本图像中夹杂的噪声程度和图像中脸部的明暗程度都各有差异。而预定的色彩结果图像是色彩亮度满足预设色彩亮度的图像，也就是说预定的色彩结果图像整体满足认知的审美标准，预定的色彩结果图像可以通过单反相机拍摄、网络抓取、PS修图等多种方式获取，预定的色彩结果图像的数量可多可少，预定的色彩结果图像的意义主要在于指导色彩调整网络调整样本图像的色彩分布目标趋势。

将夜景暗光人物样本图像缩放到如256x256，得到缩放后的样本图像。

将缩放后的样本图像输入到特征映射编码网络中进行特征编码，得到第二特征样本图像，其中，特征映射编码网络可以为任意经典的深度网络，如VGG16、ResNet50、ResNet101、EfficientNet等等。

根据第二特征样本图像训练得到映射系数矩阵，该映射系数矩阵的维度可为16x16x8x12的多维矩阵，该多维矩阵在学术领域的专业术语为双边网格。

利用双边网格对第二特征样本图像进行色彩映射，得到色彩映射后的第二特征样本图像，对色彩映射后的第二特征样本图像进行特征解码，得到色彩调整网络的输出图像。其中，利用双边网格进行色彩映射的原理如公式(1)，公式中a11，a12，a13，a21，a22，a23，a31，a32，a33，offsetR，offsetG，offsetB等12个参数是网络训练得到的双边网格中其中一个格子的参数，Rin，Bin，Gin是输入图的色彩值，Rout，Bout，Gout是经过色彩调整的输出图的色彩值。

采用判别网络，对色彩调整网络的输出图像和预设的色彩结果图像进行判断，确定两者的色彩亮度是否一致，若否，改变特征映射编码网络、双边网格、判别网络的权值，并重复上述步骤；若是，确定特征映射编码网络、双边网格、判别网络的权值，即确定特征映射编码网络、双边网格、判别网络，相当于确定色彩调整网络。

进一步地，采用判别网络，对预设的色彩结果图像和其他色彩风格的图像训练集进行微调训练，以使该判别网络可以区分不同色彩风格的图像。该判别网络可以与整个色彩调整网络分开训练，该判别网络可以为分类网络ResNet50。通过上述处理，可以提升图像的清晰度和图像的显示效果。

可选地，在一些实施例中，采用预先学习的色彩调整网络对待处理的第一图像进行色彩调整处理，包括：

对待处理的第一图像进行特征编码，得到第二特征图像；

基于色彩调整网络训练得到的系数映射矩阵，对第二特征图像进行色彩映射，并对色彩映射后的第二特征图像进行特征解码，得到色彩调整处理后的待处理图像；

其中，系数映射矩阵用于表征待处理的第一图像与预设的色彩结果图像之间的色彩亮度的映射关系，系数映射矩阵用于将待处理的第一图像中的色彩亮度调整至预设的色彩结果图像中的色彩亮度。

可选地，在一些实施例中，图1所示的方法还包括：

对降噪网络、图像分割网络以及色彩调整网络进行联合训练，得到第二联合网络；

采用第二联合网络对待处理的第一图像进行处理，得到待处理的第一图像对应的降噪图像。

在一些实施例中，为了达到更好的降噪效果，对降噪网络、图像分割网络以及色彩调整网络进行联合训练，在联合训练过程中，降噪网络可以通过反向传播算法将接收到样本图像中的噪声信息反馈给色彩调整网络，可以使色彩调整网络生成噪声更低的输出图像。色彩调整网络的输出图像中噪声低会进一步提升语义分割结果的准确率，也会促使降噪网络输出噪声更低的结果图。基于降噪网络、图像分割网络以色彩调整网络之间进行相互引导关联，彼此之间进行有机的协作，共同提升样本图像在夜景暗光下的成像效果，达到图像提亮、清晰化的目的。

如图8所示，采用第二联合网络对待处理图像进行处理的具体步骤如下：

采用色彩调整网络，对待处理的第一图像输入色彩调整网络进行色彩调整，得到色彩调整后的第一图像，采用图像分割网络，对色彩调整后的第一图像进行图像语义分割，得到至少两个语义区域，同时，根据至少两个语义区域对应的图像语义信息，采用降噪网络，分别对每个语义区域进行降噪处理，得到待处理的第一图像的降噪图像。

基于上述内容，通过联合人脸图像对应的语义信息和图像去噪来引导对夜景暗光人脸图像的色彩进行调整，由基于图像语义信息进行图像去噪引导的色彩调整网络可以生成噪声更低的图像，从而又反过来改善图像语义分割过程和图像去噪过程的输入图像的质量，进一步提升分割的准确率和降低图像去噪过程的难度，最终得到更清晰的图像。

需要说明的是，通过上述处理得到第一图像的降噪图像后，还可以对第一图像的降噪图像和预定的色彩结果图像(或标准的人工加工处理后的清晰效果图)的差异程度进行评估，具体可以采用如最小均方误差损失函数进行上述评估，通过评估得到的均方误差越小，说明去噪网络的效果越好。

图9是本发明的一个实施例的电子设备100的结构示意图，如图9所示，该电子设备100包括：

分割模块110，用于对待处理的第一图像进行图像语义分割，得到至少两个语义区域；

降噪模块120，用于根据所述至少两个语义区域对应的图像语义信息，分别对每个语义区域进行降噪处理，得到待处理的第一图像的降噪图像。

在本发明实施例中，通过对待处理的第一图像进行图像语义分割，得到至少两个语义区域，由于该图像语义信息与降噪程度有关，因此，可以根据至少两个语义区域对应的图像语义信息，分别对每个语义区域进行自适应降噪处理，得到待处理的第一图像的降噪图像，从而改善图像的成像质量。

可选地，作为一个实施例，所述待处理的第一图像中包含人脸区域，所述语义区域包括人脸区域中的语义区域和非人脸语义区域。

可选地，作为一个实施例，降噪模块120包括：

图像降噪子模块，用于根据所述至少两个语义区域对应的图像语义信息，采用预先学习的降噪网络，对所述待处理的第一图像包含的至少一个所述语义区域进行降噪处理；

其中，所述降噪网络为模型网络，所述降噪网络用于将所述待处理的第一图像中包含的至少一个所述语义区域降噪至预设的降噪结果图像中对应的语义区域。

可选地，作为一个实施例，图像降噪子模块具体用于：

对所述待处理的第一图像进行特征编码，得到第一特征图像；

基于不同类型的语义区域对应的超参数，对所述第一特征图像中与所述待处理的第一图像中至少一个所述语义区域对应的图像区域进行加权计算，并对加权计算后的第一特征图像进行特征解码，得到所述降噪图像；

其中，所述超参数基于所述降噪网络训练得到。

可选地，作为一个实施例，分割模块110具体用于：

采用预先学习的图像分割网络，对所述待处理的第一图像进行图像语义分割，得到至少两个语义区域。

可选地，作为一个实施例，电子设备100还包括：

第一联合训练模块，用于对所述降噪网络和所述图像分割网络进行联合训练，得到第一联合网络；

处理模块，用于采用所述第一联合网络对所述待处理的第一图像进行处理，得到所述待处理的第一图像对应的降噪图像。

可选地，作为一个实施例，电子设备100还包括：

色彩调整模块，用于采用预先学习的色彩调整网络，对所述待处理的第一图像进行色彩调整处理；

其中，所述色彩调整网络为模型网络，所述色彩调整网络用于将所述待处理的第一图像色彩调整至预设的色彩结果图像。

可选地，作为一个实施例，色彩调整模块具体用于：

对所述待处理的第一图像进行特征编码，得到第二特征图像；

基于色彩调整网络训练得到的系数映射矩阵，对所述第二特征图像进行色彩映射，并对色彩映射后的第二特征图像进行特征解码，得到色彩调整处理后的待处理的第一图像；

其中，所述系数映射矩阵用于表征所述待处理的第一图像与所述预设的色彩结果图像之间的色彩亮度的映射关系，所述系数映射矩阵用于将所述待处理的第一图像中的色彩亮度调整至所述预设的色彩结果图像中的色彩亮度。

可选地，作为一个实施例，电子设备100还包括：

第二联合训练模块，用于对所述降噪网络、所述图像分割网络和所述色彩调整网络进行联合训练，得到第二联合网络；

处理模块，还用于采用所述第二联合网络对所述待处理的第一图像进行处理，得到所述待处理的第一图像对应的降噪图像。

本发明实施例提供的电子设备能够实现图1至图8的方法实施例中电子设备实现的各个过程，为避免重复，这里不再赘述。

图10为实现本发明各个实施例的一种电子设备的硬件结构示意图，该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、处理器1010、以及电源1011等部件。本领域技术人员可以理解，图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。

其中，处理器1010，用于对待处理图像进行图像语义分割，得到至少两个语义区域；根据各所述语义区域对应的图像语义信息，对相应语义区域进行降噪处理，得到所述待处理图像的降噪图像。

在本发明实施例中的方法，通过对待处理图像进行图像语义分割，得到至少两个语义区域，根据各个语义区域对应的图像语义信息，该图像语义信息与降噪程度有关，对相应语义区域进行自适应降噪处理，得到待处理图像的降噪图像，能够改善图像的成像质量。

应理解的是，本发明实施例中，射频单元1001可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器1010处理；另外，将上行的数据发送给基站。通常，射频单元1001包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元1001还可以通过无线通信系统与网络和其他设备通信。

电子设备通过网络模块1002为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。

音频输出单元1003可以将射频单元1001或网络模块1002接收的或者在存储器1009中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元1003还可以提供与电子设备1000执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元1003包括扬声器、蜂鸣器以及受话器等。

输入单元1004用于接收音频或视频信号。输入单元1004可以包括图形处理器(Graphics Processing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元1006上。经图形处理器10041处理后的图像帧可以存储在存储器1009(或其它存储介质)中或者经由射频单元1001或网络模块1002进行发送。麦克风10042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元1001发送到移动通信基站的格式输出。

电子设备1000还包括至少一种传感器1005，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板10061的亮度，接近传感器可在电子设备1000移动到耳边时，关闭显示面板10061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器1005还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。

显示单元1006用于显示由用户输入的信息或提供给用户的信息。显示单元1006可包括显示面板10061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板10061。

用户输入单元1007可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板10071上或在触控面板10071附近的操作)。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1010，接收处理器1010发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板10071。除了触控面板10071，用户输入单元1007还可以包括其他输入设备10072。具体地，其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

进一步的，触控面板10071可覆盖在显示面板10061上，当触控面板10071检测到在其上或附近的触摸操作后，传送给处理器1010以确定触摸事件的类型，随后处理器1010根据触摸事件的类型在显示面板10061上提供相应的视觉输出。虽然在图10中，触控面板10071与显示面板10061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板10071与显示面板10061集成而实现电子设备的输入和输出功能，具体此处不做限定。

接口单元1008为外部装置与电子设备1000连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元1008可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备1000内的一个或多个元件或者可以用于在电子设备1000和外部装置之间传输数据。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1009可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器1010是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1009内的软件程序和/或模块，以及调用存储在存储器1009内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器1010可包括一个或多个处理单元；优选的，处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

电子设备1000还可以包括给各个部件供电的电源1011(比如电池)，优选的，电源1011可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

另外，电子设备1000包括一些未示出的功能模块，在此不再赘述。

优选的，本发明实施例还提供一种电子设备，包括处理器1010，存储器1009，存储在存储器1009上并可在所述处理器1010上运行的计算机程序，该计算机程序被处理器1010执行时实现上述图1所示的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图1所示的方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (9)

1.一种图像处理方法，其特征在于，所述方法包括：

通过色彩调整网络，对待处理的第一图像进行色彩调整处理；色彩调整处理用于调整所述待处理的第一图像的色彩亮度；

通过图像分割网络，对色彩调整后的第一图像进行图像语义分割，得到至少两个语义区域；

根据所述至少两个语义区域对应的图像语义信息，对所述待处理的第一图像进行特征编码，得到第一特征图像，基于降噪网络中训练得到的不同类型的语义区域对应的超参数，对所述第一特征图像中与所述待处理的第一图像中至少一个所述语义区域对应的图像区域进行加权计算，并对加权计算后的第一特征图像进行特征解码，得到所述降噪图像；所述待处理的第一图像中包含人脸区域，所述至少两个语义区域包括人脸区域中的语义区域，所述人脸区域中的每个语义区域对应的降噪程度，与所述人脸区域中的每个语义区域的纹理相关；

其中，所述色彩调整网络、所述图像分割网络和所述降噪网络是联合训练得到的，在联合训练的过程中，所述降噪网络将接收到的样本图像中的噪声信息反馈至所述色彩调整网络，以引导所述色彩调整网络降低输出的样本图像的噪声。

2.根据权利要求1所述的方法，其特征在于，所述至少两个语义区域还包括非人脸语义区域。

3.根据权利要求1所述的方法，其特征在于，所述对色彩调整后的第一图像进行图像语义分割，得到至少两个语义区域，包括：

采用预先学习的图像分割网络，对所述色彩调整后的第一图像进行图像语义分割，得到至少两个语义区域。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

对所述降噪网络和所述图像分割网络进行联合训练，得到第一联合网络；

采用所述第一联合网络对所述待处理的第一图像进行处理，得到所述待处理的第一图像对应的降噪图像。

5.根据权利要求3所述的方法，其特征在于，在所述对色彩调整后的第一图像进行图像语义分割，得到至少两个语义区域之前，所述方法还包括：

采用预先学习的色彩调整网络，对所述待处理的第一图像进行色彩调整处理；

其中，所述色彩调整网络为模型网络，所述色彩调整网络用于将所述待处理的第一图像色彩调整至预设的色彩结果图像。

6.根据权利要求5所述的方法，其特征在于，所述采用预先学习的色彩调整网络，对所述待处理的第一图像进行色彩调整处理，包括：

对所述待处理的第一图像进行特征编码，得到第二特征图像；

基于色彩调整网络训练得到的系数映射矩阵，对所述第二特征图像进行色彩映射，并对色彩映射后的第二特征图像进行特征解码，得到色彩调整处理后的待处理的第一图像；

其中，所述系数映射矩阵用于表征所述待处理的第一图像与所述预设的色彩结果图像之间的色彩亮度的映射关系，所述系数映射矩阵用于将所述待处理的第一图像中的色彩亮度调整至所述预设的色彩结果图像中的色彩亮度。

7.一种电子设备，其特征在于，所述电子设备包括：

色彩调整模块，用于通过色彩调整网络对待处理的第一图像进行色彩调整处理；色彩调整处理用于调整所述待处理的第一图像的色彩亮度；

分割模块，用于通过图像分割网络对色彩调整后的第一图像进行图像语义分割，得到至少两个语义区域；

降噪模块，用于根据所述至少两个语义区域对应的图像语义信息，对所述待处理的第一图像进行特征编码，得到第一特征图像，基于降噪网络中训练得到的不同类型的语义区域对应的超参数，对所述第一特征图像中与所述待处理的第一图像中至少一个所述语义区域对应的图像区域进行加权计算，并对加权计算后的第一特征图像进行特征解码，得到所述降噪图像；所述待处理的第一图像中包含人脸区域，所述至少两个语义区域包括人脸区域中的语义区域，所述人脸区域中的每个语义区域对应的降噪程度，与所述人脸区域中的每个语义区域的纹理相关；

其中，所述色彩调整网络、所述图像分割网络和所述降噪网络是联合训练得到的，在联合训练的过程中，所述降噪网络将接收到的样本图像中的噪声信息反馈至所述色彩调整网络，以引导所述色彩调整网络降低输出的样本图像的噪声。

8.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。

Images