CN116205822A - 一种图像处理的方法、电子设备和计算机可读存储介质 - Google Patents

Abstract

本申请提供了一种图像处理的方法、电子设备和计算机可读存储介质，在该方法中，可以通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像，并且在每次（例如第i次）去模糊处理的过程中，通过模糊度判断模块确定第i次去模糊处理的输入图的第i模糊度，通过具有与第i模糊度对应的第i复杂度的去模糊模块，对输入图进行去模糊处理，得到第i次去模糊处理的输出图。因而，在输入图的模糊度较大的情况下，通过具有较高复杂度的去模糊模块对图像进行处理，可以提高图像的去模糊效果，在输入图的模糊度较小的情况下，通过具有较低复杂度的去模糊模块对图像进行处理，可以减少第一去模糊模型的计算资源，提高了第一去模糊模型的运算效率。

Description

一种图像处理的方法、电子设备和计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理的方法、电子设备和计算机可读存储介质。

背景技术

随着智能手机的发展和普及，越来越多的人们使用手机拍照，并在图库中查看拍照所得的照片。照片的模糊度是衡量照片质量优劣的重要指标，它能够较好的与用户的体验相对应，用户查看照片时，照片的模糊度越低，体验越好，照片的模糊度越高，体验越差。

但是，在用户拍摄照片的过程中，由于用户手部抖动、被摄物体运动等原因，导致拍摄的照片产生运动模糊，影响用户体验。

发明内容

本申请提供一种图像处理的方法、电子设备和计算机可读存储介质，可以对照片进行去模糊处理，有助于提升用户体验。

第一方面，提供了一种图像处理的方法，该方法包括:检测到对第一图像的操作；响应于操作，通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像，M为大于或等于1的整数；其中，第一去模糊模型包括模糊度判断模块和去模糊模块；以及，通过第一去模糊模型对第一图像进行第i次去模糊处理的过程包括：通过模糊度判断模块，确定第i次去模糊处理的输入图的第i模糊度，输入图为第一图像或通过第一去模糊模型对第一图像进行i-1次去模糊处理后得到的图，i大于或等于1且小于或等于M；基于第i模糊度，通过具有第i复杂度的去模糊模块，对输入图进行去模糊处理，得到第i次去模糊处理的输出图，第i复杂度与第i模糊度对应，输出图为第二图像或第i+1次去模糊处理的输入图。

本申请实施例，电子设备通过第一去模糊模型对图像（例如，第i次去模糊处理的输入图）进行去模糊处理，使图像的模糊度降低，提升用户体验。而且在电子设备对图像进行去模糊处理时，通过模糊度判断模块确定图像的模糊度，通过具有与图像的模糊度对应的复杂度的去模糊模块对图像进行去模糊处理，这样，可以针对不同模糊度的图像采用不同复杂度的去模糊模块进行去模糊处理，相比于现有技术中对不同模糊度的图像均采用相同网络模型进行去模糊处理的方式，本申请能够合理利用计算资源，即：当图像的模糊度较大时可以通过与较大模糊度对应的复杂度的去模糊模块对图像进行去模糊处理，采用的计算资源较多，能够提高图像的去模糊效果，当图像的模糊度较小时可以通过与较小模糊度对应的复杂度的去模糊模块对图像进行去模糊处理，采用的计算资源较少，减少了第一去模糊模型的计算资源，提高了第一去模糊模型的运算效率。

此外，当M大于1时，对第一图像进行多次迭代的去模糊处理，每次去模糊处理的去模糊效果比前一次去模糊处理的去模糊效果更优，能更好地提高第一图像的去模糊效果。

结合第一方面，在第一方面的某些实现方式中，去模糊模块包括至少一层可控单元，每层可控单元的总参数量用于表征去模糊模块的第i复杂度。

本申请实施例，由于去模糊模块的每层可控单元的总参数量能够表征去模糊模块的第i复杂度，那么，基于输入图的第i模糊度，能够确定对应于第i模糊度的可控单元的总参数量，所以，包括具有该总参数量的可控单元的去模糊模块的复杂度是对应于第i模糊度的第i复杂度，因此，通过具有第i复杂度的去模糊模块对输入图进行去模糊处理，在输入图的模糊度较大的情况下，可控单元的总参数量多，去模糊模块的第i复杂度较高，可以提高输入图的去模糊效果，在输入图的模糊度较小的情况下，可控单元的总参数量少，去模糊模块的第i复杂度较低，利用较低复杂度的去模糊模块对输入图进行处理，可以减少第一去模糊模型的计算资源，提高了第一去模糊模型的运算效率。

结合第一方面，在第一方面的某些实现方式中，每层可控单元包括并联的N个卷积层，N个卷积层包括第一类卷积层和第二类卷积层，第二类卷积层的参数量小于第一类卷积层的参数量，N为大于1的整数；去模糊模块被配置有多组权重，每组权重对应一个复杂度，每组权重包括与N个卷积层一一对应的N个权重，其中，第i复杂度对应于多组权重中的第i组权重，基于第i组权重对每个卷积层的参数量进行加权融合得到的每层可控单元的总参数量用于表征第i复杂度。

本申请实施例，去模糊模块的每层可控单元被设计为包括并联的参数量多的第一类卷积层和参数量少的第二类卷积层的模块，并且，去模糊模块被配置有多组权重，通过多组权重中第i组权重对每个卷积层的参数量进行加权融合得到的每层可控单元的总参数量表征去模糊模块的第i复杂度，实现中，对于模糊度较大和模糊度较小的两个输入图，对模糊度较大的输入图采用的第一类卷积层的权重相对于对模糊度较小的输入图采用的第一类卷积层的权重大，且对模糊度较大的输入图采用的第一类卷积层的权重相对于对模糊度较小的输入图采用的第二类卷积层的权重小，由于第二类卷积层的参数量小于第一类卷积层的参数量，所以对模糊度较大的输入图进行去模糊处理时每层可控单元的总参数量大于对模糊度较小的输入图进行去模糊处理时每层可控单元的总参数量。因而，在输入图的模糊度较大的情况下，每层可控单元的总参数量多，去模糊模块的复杂度较高，利用较高复杂度的去模糊模块对输入图进行处理，可以提高输入图的去模糊效果，在输入图的模糊度较小的情况下，每层可控单元的总参数量少，去模糊模块的复杂度较低，利用较低复杂度的去模糊模块对输入图进行处理，可以减少第一去模糊模型的计算资源，提高了第一去模糊模型的运算效率。

可以理解，常规调节网络模型的复杂度的方法需要在电子设备的内存或显存中存储至少两种不同网络结构的网络模型，并且至少两种网络模型的参数量不相同，这样，才能利用不同参数量的模型实现调节网络模型的复杂度的功能，而本申请通过多组权重调节可控单元的总参数量的大小以调节去模糊模块的复杂度，在电子设备的内存或显存中存储一种包括可控单元的去模糊模块的网络结构以及多组权重就可以实现调节去模糊模块的复杂度的功能，相对于常规调节网络模型的复杂度的方法，本申请可以节约内存资源或显存资源。

结合第一方面，在第一方面的某些实现方式中，第二类卷积层包括多个轻量卷积层，多个轻量卷积层中各个轻量卷积层的参数量不完全相同。

结合第一方面，在第一方面的某些实现方式中，去模糊模块还包括第一下采样层和第一上采样层，至少一层可控单元包括第一可控单元；以及，基于第i模糊度，通过具有第i复杂度的去模糊模块，对输入图进行去模糊处理，得到第i次去模糊处理的输出图，包括：

通过第一下采样层，缩小输入图或基于输入图得到的图的分辨率；基于第i模糊度，通过第一可控单元，提取从第一下采样层输出的图的局部特征；通过第一上采样层，扩大从第一可控单元输出的图的分辨率，以得到第i次去模糊处理的输出图。

本申请实施例，通过第一下采样层缩小输入图或基于输入图得到的图的分辨率，可以过滤输入图中作用较小、信息冗余的特征，保留输入图中关键的特征，以关键的特征对图像进行去模糊处理，从而减少了去模糊模块的计算量；并且，本申请通过第一上采样层扩大了从第一可控单元输出的图的分辨率，从而扩大图像的分辨率，使图像的模糊度降低，提升用户体验。

结合第一方面，在第一方面的某些实现方式中，通过模糊度判断模块，确定第i次去模糊处理的输入图的第i模糊度，包括：

通过模糊度判断模块，计算输入图的图像梯度值；通过模糊度判断模块，根据输入图的图像梯度值确定输入图的第i模糊度。

本申请实施例，电子设备确定第i次去模糊处理的输入图的第i模糊度时，首先计算输入图的图像梯度值，其次根据输入图的图像梯度值确定输入图的第i模糊度，可以较准确地确定输入图的模糊度，并且在确定第i模糊度时，不需要网络参数的参与，降低了第一去模糊模型的参数量，进而减小了第一去模糊模型的计算量，提高了第一去模糊模型的运算效率。

结合第一方面，在第一方面的某些实现方式中，第i模糊度与第i图像梯度值范围对应，输入图的图像梯度值属于第i图像梯度值范围；以及，通过模糊度判断模块，根据输入图的图像梯度值确定输入图的第i模糊度，包括：

通过模糊度判断模块，根据输入图的图像梯度值，将输入图的图像梯度值所属的第i图像梯度值范围对应的第i模糊度确定为输入图的模糊度。

本申请实施例，电子设备可以通过模糊度判断模块，将输入图的图像梯度值所属的第i图像梯度值范围对应的第i模糊度确定为输入图的模糊度，从而可以较准确地确定输入图的模糊度。

结合第一方面，在第一方面的某些实现方式中，模糊度判断模块包括卷积层和全连接层；以及，通过模糊度判断模块，确定第i次去模糊处理的输入图的第i模糊度，包括：

通过卷积层，提取输入图的局部特征；通过全连接层，根据输入图的局部特征确定输入图所属的模糊度的概率，并基于输入图所属的模糊度的概率，确定输入图的第i模糊度。

本申请实施例，电子设备可以通过卷积层，提取输入图的局部特征，通过全连接层，根据输入图的局部特征确定输入图所属的模糊度的概率，并基于输入图所属的模糊度的概率，确定输入图的第i模糊度，从而能够迅速、准确的确定模糊度。

结合第一方面，在第一方面的某些实现方式中，在通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像之后，方法还包括：

通过第二去模糊模型对第二图像进行去模糊处理，得到第三图像，第二去模糊模型与第一去模糊模型不同。

本申请实施例，电子设备在第一图像经过M次去模糊处理，得到第二图像之后，用户仍认为第二图像不清晰的情况下，可以通过第二去模糊模型对第二图像进行去模糊处理，得到第三图像，进而可以使去模糊之后的图像的效果更优，提升用户体验。并且，在通过第二去模糊模型对第二图像进行去模糊处理时，不需要对第二图像进行模糊度的判断，可以直接对第二图像进行去模糊处理，从而减少第二去模糊模型的计算资源，提高了第二去模糊模型的运算效率。

结合第一方面，在第一方面的某些实现方式中，通过第二去模糊模型对第二图像进行去模糊处理，得到第三图像，包括：

将第二图像和中间特征图输入融合模块进行融合，得到融合特征图，中间特征图为通过第一去模糊模型对第一图像进行一次去模糊处理的过程中输出的特征图；通过第二去模糊模型对融合特征图进行去模糊处理，得到第三图像。

本申请实施例，电子设备在通过第二去模糊模型对第二图像进行去模糊处理时，可以将第二图像和中间特征图进行融合之后通过第二去模糊模型进行去模糊处理，由于中间特征图为通过第一去模糊模型对第一图像进行M次去模糊处理中的任一次去模糊处理的过程中输出的特征图，具有和第二图像相关的特征信息，因此，通过第二去模糊模型对融合特征图进行去模糊处理相对于通过第二去模糊模型单独对第二图像进行去模糊处理，第二去模糊模型可以提取图像中更丰富的特征信息以对第二图像进行去模糊处理，不仅能更有效地提升去模糊效果，而且可以提高去模糊处理的运算效率。

结合第一方面，在第一方面的某些实现方式中，中间特征图为通过第一去模糊模型对第一图像进行第M次去模糊处理的过程中输出的特征图，M为大于1的整数。

本申请实施例，由于中间特征图为通过第一去模糊模型对第一图像进行第M次去模糊处理的过程中输出的特征图，该中间特征图中的特征信息已经通过第一去模糊模型的多次提取，所以该中间特征图中包含了更丰富更有用的特征信息，因此，将第二图像和中间特征图进行融合可以使第二去模糊模型提取图像中更加丰富且更有用的特征信息，能最大程度地提升去模糊效果以及去模糊处理的运算效率。

结合第一方面，在第一方面的某些实现方式中，第二去模糊模型包括第二下采样层、至少一层卷积层和第二上采样层，至少一层卷积层包括第一卷积层；以及，通过第二去模糊模型对融合特征图进行去模糊处理，得到第三图像，包括：

通过第二下采样层，缩小融合特征图或基于融合特征图得到的图的分辨率；通过第一卷积层，提取从第二下采样层输出的图的局部特征；通过第二上采样层，扩大从第一卷积层输出的图的分辨率，以得到第三图像。

结合第一方面，在第一方面的某些实现方式中，在检测到对第一图像的操作之前，方法还包括：

选取至少一组训练数据，每组训练数据包括多个模糊图像和一个清晰图像，一组训练数据中的多个模糊图像对应一个模糊度，各组训练数据中的多个模糊图像对应的模糊度不相同；

基于至少一组训练数据对第一去模糊模型进行训练，直至第一去模糊模型收敛。

本申请实施例，由于每组训练数据包括多个模糊图像和一个清晰图像，所以，在第一去模糊模型收敛之后，第一去模糊模型可以学习到模糊图像与清晰图像的映射关系，利用第一去模糊模型中模糊图像与清晰图像的映射关系对第一图像进行处理，可以实现对第一图像的去模糊，提升用户体验。

结合第一方面，在第一方面的某些实现方式中，每组训练数据的多个模糊图像是基于对一个清晰图像进行像素平均处理得到的。

应理解，常规的对清晰图像进行模糊处理的方法，仅能模拟、逼近真实的模糊图像，而不能得到最原生的模糊图像；本申请实施例，由于每组训练数据中的模糊图像是通过对清晰图像进行像素平均处理得到的，所以得到的模糊图像为最原生的模糊图像，利用最原生的模糊图像对去模糊模型进行训练，可以提高去模糊模型进行去模糊处理时的准确性。

结合第一方面，在第一方面的某些实现方式中，在检测到对第一图像的操作之前，方法还包括：

显示第一显示界面，第一显示界面包括第一图像；以及，

在响应于操作，通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像之后，方法还包括：

显示第二显示界面，第二显示界面包括第二图像。

本申请实施例，用户可以在电子设备的第一显示界面中对第一图像进行去模糊处理，得到第二图像，可以在第二显示界面中查看第二图像，以检验第一图像的去模糊效果，提升用户使用电子设备的体验。

在一种可能的实现方式中，第一显示界面为图库应用的显示界面。

本申请实施例，图库应用是电子设备自带的应用，是用户查看图片必须使用的应用，因此，通过在电子设备的图库应用的显示界面中对第一图像进行去模糊处理，不需要额外的第三方软件进行处理，有效地简化了用户的操作，从而有效地提升了用户体验。

第二方面，提供一种电子设备，所述电子设备用于执行上述第一方面提供的方法。具体地，所述电子设备可以包括用于执行上述第一方面中任一种可能实现方式的处理模块。

第三方面，提供了一种电子设备，包括：一个或多个处理器；存储器；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在存储器中，一个或多个计算机程序包括指令。当指令被电子设备执行时，使得电子设备执行上述第一方面中任一项可能的实现中的方法。

第四方面，提供一种计算机可读存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面所述的方法。

第五方面，提供一种芯片，包括存储器：用于存储指令；还包括处理器，用于从存储器中调用并运行指令，使得安装有芯片的电子设备执行上述第一方面所述的方法。

附图说明

图1是本申请实施例提供的一种电子设备100的结构示意图。

图2是本申请实施例提供的一种电子设备100的软件系统的示意图。

图3是本申请实施例提供的一组GUI。

图4是本申请实施例提供的另一组GUI。

图5是本申请实施例提供的一种图像处理的方法500的示意性流程图。

图6是本申请实施例提供的一种去模糊模型的网络结构的示意图。

图7是本申请实施例提供的一种模糊度判断模块611的网络结构的示意图。

图8是本申请实施例提供的另一种模糊度判断模块611的网络结构的示意图。

图9是本申请实施例提供的一种分辨率为（m，n）的图像的示例图。

图10是本申请实施例提供的一种去模糊模块612的网络结构的示意图。

图11是本申请实施例提供的另一种去模糊模块612的网络结构示意图。

图12是本申请实施例提供的一种可控单元的网络结构示意图。

图13是本申请实施例提供的另一种可控单元的网络结构示意图。

图14是本申请实施例提供的一种参数可控层的参数量示意图。

图15是本申请实施例提供的另一种参数可控层的参数量示意图。

图16是本申请实施例提供的一种对图像2进行去模糊处理的示意性流程图。

图17是本申请实施提供的一种经过第二去模糊模型的去模糊处理的示意性流程图。

图18是本申请实施例提供的另一种去模糊模型的网络结构示意图。

图19是本申请实施例提供的一种融合模块620的网络结构的示意图。

图20是本申请实施例提供的一种第二去模糊模型630的网络结构的示意图。

图21是本申请实施例提供的另一种第二去模糊模型630的网络结构的示意图。

图22是本申请实施例提供的图像处理的方法600的示意性流程图。

图23是本申请实施例提供的图像处理的方法700的示意性流程图。

图24是本申请实施例提供的去模糊模型的训练方法800的示意性流程图。

图25是本申请实施例提供的一种模糊图像的示例图。

图26是本申请实施例提供的电子设备900的示例性框图。

图27是本申请实施例提供的电子设备1000的示意性结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“复数个”或者“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例提供的方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实（augmented reality，AR）/虚拟现实（virtual reality，VR）设备、笔记本电脑、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personal digital assistant，PDA）等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

示例性的，图1示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，天线1，天线2，移动通信模块140，无线通信模块150，音频模块160，传感器模块170，按键180，摄像头181，显示屏182等。其中传感器模块170可以包括压力传感器170A，陀螺仪传感器170B，指纹传感器170C，触摸传感器170D等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在本申请实施例中，处理器110可以对图像进行去模糊处理。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户身份识别 (subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

示例性的， MIPI接口可以被用于连接处理器110与显示屏182，摄像头181等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serial interface，DSI)等。在一些实施例中，处理器110和摄像头181通过CSI接口通信，实现电子设备100的拍摄功能。处理器110和显示屏182通过DSI接口通信，实现电子设备100的显示功能。

GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头181，显示屏182，无线通信模块150，音频模块160，传感器模块170等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

无线通信模块150电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块140，无线通信模块150，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块140可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块140可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块140可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块140还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块140的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块140的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏182显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块140或其他功能模块设置在同一个器件中。

无线通信模块150可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块150可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块150经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块150还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块140耦合，天线2和无线通信模块150耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

在本申请实施例中，电子设备100可通过移动通信模块140或无线通信模块150与云端服务器或者其他服务器进行通信。

在一些实现方式中，上述所说的云端服务器或其他服务器为用于提供本申请实施例所需的去模糊模型的服务器。对于去模糊模型由服务器训练获得的场景，电子设备100可以通过移动通信模块140向云端服务器发送获取去模糊模型的请求，以从服务器获取到去模糊模型，以便后续在图库应用中能够基于去模糊模型实现本申请提供的图像处理的方法。示例性的，云端服务器可以是多个服务器组成的服务器集群。

在另一些实现方式中，本申请实施例使用的去模糊模型也可以在电子设备100出厂前，直接预置到电子设备100中，或者在电子设备出厂后，由电子设备100进行训练获得。

应当理解的是，上述说明是为了更好的理解本申请的技术方案而列举的示例，不作为对本申请的唯一限制。为了便于说明，本申请以去模糊模型在电子设备出厂后，由电子设备100进行训练获得进行举例说明。此外，需要说明的是，不论是服务器训练本实施例所需的去模糊模型，还是电子设备100训练本实施例所需的去模糊模型，其训练逻辑均相同，具体的训练过程将在下面的实施例中进行详细说明，此处不再赘述。

电子设备100通过GPU，显示屏182，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏182和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏182用于显示图像，视频等。显示屏182包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏182，N为大于1的正整数。

电子设备100可以通过ISP，摄像头181，视频编解码器，GPU，显示屏182以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头181反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头181中。

摄像头181用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头181，N为大于1的正整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

在本申请实施例中，本实施例中使用的去模糊模型可以存储在内部存储器121中，从而便于实现图像的去模糊。

电子设备100可以通过音频模块160，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块160用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块160还可以用于对音频信号编码和解码。在一些实施例中，音频模块160可以设置于处理器110中，或将音频模块160的部分功能模块设置于处理器110中。

压力传感器170A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器170A可以设置于显示屏182。压力传感器170A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器170A，电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏182，电子设备100根据压力传感器170A检测所述触摸操作强度。电子设备100也可以根据压力传感器170A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。

陀螺仪传感器170B可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器170B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器170B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器170B检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器170B还可以用于导航，体感游戏场景。

指纹传感器170C用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

触摸传感器170D，也称“触控面板”。触摸传感器170D可以设置于显示屏182，由触摸传感器170D与显示屏182组成触摸屏，也称“触控屏”。触摸传感器170D用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏182提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器170D也可以设置于电子设备100的表面，与显示屏182所处的位置不同。

按键180包括开机键，音量键等。按键180可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。

关于电子设备100的硬件结构就介绍到此，可以理解的是，图1示出的硬件结构中包含的部件，并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，本申请对此不作限定。

电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。

图2是本申请实施例的电子设备100的软件系统的示意图。软件系统包括若干个层，每一层都有清晰的角色和分工，层与层之间通过软件接口通信。在一些实施例中，如图2所示， Android系统可以包括五层，从上至下分别为应用层21、应用框架层22、硬件抽象层23、驱动层24以及硬件层25。

应用层21可以包括相机应用程序211，应用层21还可以包括图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息等应用程序，本申请实施例对此不作限定，

应用框架层22为应用层的应用程序提供应用程序编程接口（applicationprogramming interface，API）和编程框架；应用框架层可以包括一些预定义的函数。

例如，应用框架层22可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。

在一些实现方式中，上述提及的去模糊模型，可以部署于应用层21的图库应用中，用户可以在图库应用中对模型图像进行去模糊处理。在另一些实现方式中，上述提及的去模糊模型，也可以作为一种服务部署于应用框架层22中。本实施例对此不做限定。

硬件抽象层23用于将硬件抽象化。比如，硬件抽象层可以包括相机抽象层以及其他硬件设备抽象层；相机硬件抽象层可以调用相机算法。

例如，硬件抽象层23中包括相机硬件抽象层231与相机算法232。

示例性地，相机算法232中的算法可以是指不依赖特定硬件实现；比如，通常可以在CPU中运行的代码等。

驱动层24用于为不同硬件设备提供驱动。例如，驱动层可以包括相机设备驱动。

硬件层25可以包括相机设备以及其他硬件设备。

可以理解的是，图2示出的软件结构中的层以及各层中包含的部件，并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的层，以及每个层中可以包括更多或更少的部件，本申请对此不作限定。

在用户利用手机拍摄照片的场景下，由于用户手部抖动、被摄物体运动等原因，使得手机中的相机在曝光时间内，被摄物体与镜头产生相对位移，底片上同一个像素点被来自不同位置的光照射，导致拍摄的照片产生运动模糊，影响用户体验。

通常，通过神经网络模型对图像进行去模糊处理，对于不同模糊度的图像均采用相同的神经网络模型进行处理，但是，若神经网络模型的算法较复杂，对于模糊度较小的图像通过该神经网络模型进行去模糊处理时，增加了额外的计算量，从而浪费计算资源，降低了去模糊处理的效率。

为了解决上述问题，本申请实施例提供了一种图像处理的方法，可以针对不同模糊度的图像，利用不同的计算量进行去模糊处理，在提升用户体验的同时，能够合理利用计算资源，对于模糊度较小的图像进行去模糊处理时，能够减小网络模型的计算量，提高了网络模型的运算效率。

为了更好的理解本申请实施例提供的方案，以下结合附图介绍了用户通过手机的图库应用对图像进行处理的操作过程。

图3是本申请实施例提供的一组图形用户界面（graphical user interface，GUI）。

参见图3中的（a）所示的GUI，该GUI为手机的图库应用中图像的显示界面。该显示界面中包括显示框301，显示框301中显示有图像1，图像1是用户由于手部抖动、拍摄物体处于运动状态等原因拍摄的模糊图像。该显示界面中还包括对图像1进行处理的控件，例如，去模糊控件302。在用户认为图像1不清晰的情况下，用户点击去模糊控件302，手机响应于用户点击去模糊控件302的操作，手机对图像1进行去模糊处理，得到如图3中的（b）的GUI。

参见图3中的（b）所示的GUI，显示框301中显示有图像2，可以看出，相比于图像1，图像2的模糊度比图像1弱，或者说，图像2的清晰度比图像1的清晰度高。

图4是本申请实施例提供的另一组GUI。

参见图4中的（a）所示的GUI，该GUI为手机的图库应用中图像的显示界面。该显示界面中包括显示框301，显示框301中显示有图像1，显示界面中还包括去模糊控件302。用户点击去模糊控件302，显示如图4中的（b）的GUI。

参见图4中的（b）所示的GUI，显示界面除了去模糊控件302，还包括其他去模糊的控件，示例性的，该其他去模糊的控件包括：去模糊1控件303和去模糊2控件304。

在用户认为图像1不清晰的情况下，用户点击去模糊1控件303，手机响应于用户点击去模糊控件303的操作，对图像1进行去模糊处理，得到如图4中的（c）的GUI。

参见图4中的（c）所示的GUI，显示框301中显示图像2，图像2的模糊度比图像1弱，或者说，图像2的清晰度比图像1的清晰度高。在用户仍认为图像2不清晰的情况下，用户点击去模糊2控件304，手机响应于用户点击去模糊控件304的操作，对图像2再次进行去模糊处理，得到如图4中的（d）的GUI。

参见图4中的（d）所示的GUI，显示框301中显示图像3，可以看出，图像3的模糊度比图像2弱，或者说，图像3的清晰度比图像2的清晰度高。

应理解，图4中示出的通过两个去模糊控件对图像进行两次去模糊处理的过程仅为作为示例性说明，并不构成对去模糊处理的限定，例如，可以通过更多（如3、4或5等的数量）的去模糊控件对图像进行更多次的去模糊处理。此外，在手机对图像进行去模糊处理时，可以基于相同或不同的网络模型对图像进行处理，本申请实施例对此不作限定。

还应理解，上述方案不仅可以应用于图库应用中，还可以应用于其他场景。例如，通过第三方软件中执行上述方案，如美图秀秀、编修绘图工具（PhotoShop，PS）等。

以上结合图3至图4介绍了本申请实施例提供的GUI。下面结合附图介绍本申请实施例的内部实现过程。

图5是本申请实施例提供的一种图像处理的方法500的示意性流程图。该方法500可由电子设备执行，也可由电子设备中的处理器或芯片执行，本申请实施例不做任何限定。为了便于描述，以电子设备为例对方法500做详细说明。

S51、电子设备检测到对图像1的第一操作。

可以理解，图像1是由于用户手部抖动、被摄物体处于运动状态等原因拍摄的模糊图像。

用户在电子设备的显示界面执行针对图像1的第一操作时，电子设备可以检测到用户的第一操作。

示例性的，第一操作可以是用户点击控件的操作。例如，在图3中，第一操作是用户点击去模糊控件302的操作。再例如，在图4中，第一操作包括用户点击去模糊控件302和去模糊1控件303的操作。

S52、电子设备响应于第一操作，确定图像1的模糊度。

应理解，模糊度是评估图像质量的重要指标。

在一示例中，图像的模糊度可以用图像的灰度变化的平均程度进行衡量。图像的灰度变化的平均程度越大，图像越清晰，图像的灰度变化的平均程度越小，图像越模糊。由于图像的灰度平均值可以衡量图像灰度的平均程度，因而，本申请实施例中的模糊度可以用图像的灰度平均值进行表征。

在另一示例中，图像的模糊度也可以用图像的灰度变化率进行衡量。模糊图像中物体的轮廓不明显，轮廓边缘灰度变化不强烈，而清晰图像中物体的轮廓边缘的灰度变化明显，所以，越清晰的图像，图像的灰度变化率越大，越模糊的图像，图像的灰度变化率越小。由于图像的梯度可以衡量图像灰度的变化率，因而，本申请实施例也可以用图像的梯度表征图像的模糊度。

当然，在其他实施例中，也可以用其他类型的参数表征图像的模糊度，本申请实施例对此不作限定。

本申请实施例中，电子设备可以通过去模糊模型中的模糊度判断模块，确定图像1的模糊度。

图6是本申请实施例提供的一种去模糊模型的网络结构的示意图。去模糊模型包括第一去模糊模型610，第一去模糊模型610包括模糊度判断模块611和去模糊模块612，模糊度判断模块611用于确定图像的模糊度，去模糊模块612用于基于图像的模糊度对图像进行去模糊处理（具体描述可参见下文步骤S53的相关描述）。

实现中，电子设备响应于对图像1的第一操作，将图像1作为模糊度判断模块611的输入，通过模糊度判断模块611确定图像1的模糊度。

应理解，模糊度判断模块之所以能够判断出图像1的模糊度，是因为在训练时是利用不同模糊度的模糊图像对第一去模糊模型进行训练，在模糊度判断模块训练完成之后，输入图像1时，就可以判断出图像1的模糊度。

S53、电子设备基于图像1的模糊度，通过具有第一复杂度的去模糊模块对图像1进行去模糊处理，得到图像2，第一复杂度与图像1的模糊度对应。

继续参见图6，去模糊模块612用于对图像进行去模糊，得到清晰图像。对于图像1，去模糊模块612用于对图像1进行去模糊，得到图像2。

应理解，去模糊模块能够对图像进行去模糊处理的原因在于：在模型训练阶段，是利用模糊图像与清晰图像的图像对训练第一去模糊模型的，第一去模糊模块在训练过程中可以学习模糊图像与清晰图像的映射关系，在第一去模糊模型收敛之后，将图像1输入至第一去模糊模型的模糊度判断模块，基于模糊度判断模块得到图像1的模糊度，通过去模糊模块基于图像的模糊度对图像进行去模糊处理，得到图像2。

本申请实施例中，图像的模糊度不同时，去模糊模块612进行去模糊时的复杂度是不同的。对于图像1，去模糊模块612进行去模糊时的复杂度为图像1的模糊度对应的第一复杂度。

本申请实施例中，去模糊模块具有能够动态变化的多个复杂度，复杂度与图像的模糊度有关。图像的模糊度越大，图像中的噪声就越多，图像的细节越不明显，网络需要进行更复杂的运算才能进行去模糊，此时，需要有复杂度更高的去模糊模块才能支撑去网络模型进行更复杂运算。因而，当图像1的模糊度较大时，利用复杂度较高的去模糊模块对图像1进行去模糊。当图像1的模糊度较小时，利用复杂度较低的去模糊模块对图像1进行去模糊。

应理解，复杂度是指网络复杂度，具体来讲，去模糊模块中的网络参数的数量越多，去模糊模块的网络复杂度越高，去模糊模块中的网络参数的数量越少，去模糊模块的网络复杂度越低。本申请实施例中，网络参数可以包括权重和偏置，权重用于控制输入网络的数据的重要性，偏置用于控制网络中神经元被激活的容易程度，参数量可以是指权重和偏置的数量。需要说明的是，为了便于描述，下文中将网络参数的数量简称为参数量。

本申请实施例中，电子设备可以通过去模糊模块对图像1进行去模糊处理，得到图像2，使图像1的模糊度降低，提升了用户体验。而且，本申请实施例基于图像1的模糊度使用第一复杂度的去模糊模块对图像1进行处理，这样，当图像1的模糊度较大时，第一复杂度较高，利用较高复杂度的去模糊模块对图像1进行处理，可以提高图像1的去模糊效果，当图像1的模糊度较小时，第一复杂度较低，利用较低复杂度的去模糊模块对图像1进行处理，可以减少网络模型的计算资源，提高了网络模型的运算效率。可以看出，相比于现有技术的通过相同的网络模型对不同模糊度的图像进行去模糊处理的方法，本申请实施例的基于图像的模糊度对图像进行去模糊处理的方法，不仅能够有效地对图像去模糊以获得相对清晰的图像，而且，可以合理利用计算资源，避免使用过多或过少的资源对图像进行处理。

在本申请实施例，在S52中，电子设备通过去模糊模型中的模糊度判断模块，确定图像1的模糊度，可以通过以下两种方式（方式1和方式2）实现，以下对这两种方式做详细说明。

方式1

模糊度判断模块包括卷积层和全连接层，电子设备通过模糊度判断模块中的卷积层和全连接层对图像1的模糊度进行判断，确定图像1的模糊度。

图7示出了一种模糊度判断模块611的网络结构的示意图。模糊度判断模块611包括卷积层A和全连接层B。其中，卷积层A用于提取图像的局部特征。全连接层B用于整合卷积层A提取的局部特征，得到图像的全局特征，并基于全局特征确定图像的模糊度。本申请实施例对卷积层A和全连接层B的数量不作限定。

其中，模糊度判断模块611中的相邻两层中前一层的输出是后一层的输入。模糊度判断模块611中第一层的输入是图像，最后一层的输出是图像的模糊度。例如，电子设备将图像1输入模糊度判断模块611中，经过卷积层A和全连接层B的处理，得到图像1的模糊度。

应理解，局部特征是从图像局部区域中抽取的特征，包括边缘、角点、线、曲线和特别属性的区域等。全局特征是指图像的整体属性，常见的全局特征包括颜色特征、纹理特征和形状特征等。

卷积层是神经网络中的一种层，由至少一个卷积核组成，卷积核具有权重系数和偏差量。卷积层的功能是对输入数据进行特征提取，卷积核与输入数据的局部区域进行点积和累加操作，得到特征图。卷积层的特征图可以反映输入数据的低级或高级特征，如边缘、线条、角、纹理、颜色等。卷积层的结构使得每个神经元只与前一层的一个小矩形区域相连接，实现了局部连接和权值共享。

本申请实施例中，卷积层A中卷积核的大小为k×k×c，其中，k×k是卷积核的尺寸，c是卷积核的通道，本申请实施例对卷积核的个数、卷积核的尺寸和通道数不作限定。

应理解，卷积层A是利用卷积核按照预设步长依次扫描图像1，并将每次扫描结果进行内积，即可得到图像1的局部特征，本申请实施例对预设步长不作限定，例如预设步长为1。

全连接层，在整个神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的“分布式特征”映射到样本标记空间的作用。在实际使用中，全连接层可由卷积操作实现。

可以理解，全连接层B包括输入层、隐藏层和输出层，输入层和输出层之间的层都可称为隐藏层，本申请实施例对隐藏层的个数不作限定。全连接层B中每层网络均包含多个神经元，层与层之间的神经元相互连接，层内神经元互不连接，并且，相邻两层的后一层中的每个神经元与前一层的所有神经元连接。

示例性的，本申请实施例中，电子设备通过模糊度判断模块中的卷积层和全连接层对图像1的模糊度进行判断，确定图像1的模糊度的实现过程可以为：图像1经过卷积层A提取图像1的局部特征，图像1的局部特征的形式可以为二维矩阵，全连接层B将二维矩阵转换成一维向量，例如，通过张量扁平化（flatten）操作将二维矩阵转化成一维向量，一维向量可以代表图像1的全局特征，此时，全连接层B完成对局部特征的整合。

在将二维矩阵转化成一维向量之后，通过全连接层B对一维向量进行运算，例如，运算公式可以为：

以及/>

，其中，/>

代表线性运算，/>

代表线性运算的输出值，/>

代表全连接层B的权重，/>

代表全连接层B的偏置，权重和偏置为全连接层的网络参数，/>

代表非线性运算，非线性运算可以由激活函数执行，通过非线性运算可以将线性运算输出的值域归一化，就可以得到图像1所属的模糊度的类别的概率，例如预先将图像的模糊度分为三个类别M1、M2和M3，每个类别代表图像不同的模糊度，通过运算公式可以得到M1、M2和M3的概率；最后输出最大概率对应的模糊度，最大概率对应的模糊度为图像1的模糊度。

上述提及的激活函数是一种添加到人工神经网络中的函数，旨在帮助网络学习数据中的复杂模式。神经网络中每一层的输入输出都是一个线性求和的过程，下一层的输出只是承接了上一层输入函数的线性变换，所以如果没有激活函数，那么无论你构造的神经网络多么复杂，有多少层，最后的输出都是输入的线性组合，纯粹的线性组合并不能够解决更为复杂的问题。而引入激活函数之后，常见的激活函数都是非线性的，因此也会给神经元引入非线性元素，使得神经网络可以逼近其他的任何非线性函数，这样可以使得神经网络应用到更多非线性模型中。示例性的，本申请实施例的激活函数可以为sigmoid函数，tanh函数，ReLU函数、Leaky ReLU函数，softmax函数等，本申请实施例对此不作限定。

应理解，模糊度判断模块611之所以能够确定出图像1的模糊度，是因为在训练时是利用不同模糊度的图像对第一去模糊模型进行训练的，在训练完成之后，在模糊度判断模块611中输入图像1，就可以通过模糊度判断模块611确定出图像1的模糊度。

例如，预先将图像的模糊度分为3个类别：M1、M2和M3，模糊度M1大于模糊度M2，并且模糊度M2大于模糊度M3。分别采集M1、M2和M3对应的模糊图像，利用M1、M2和M3对应的模糊图像进行训练，在训练完成之后，输入图像1，经过卷积层A和全连接层B的处理，就可以分别得到图像1属于M1的概率PM1、图像1属于M2的概率PM2、图像1属于M3的概率PM3，将PM1、PM2和PM3中最大值对应的模糊度作为图像1的模糊度。例如PM1=0.8，PM2=0.1，PM3=0.1，那么图像1的模糊度为M1。

上述通过模糊度判断模块中的卷积层和全连接层对图像1的模糊度进行判断，能够迅速、准确的确定模糊度。

方式2

电子设备通过模糊度判断模块计算图像1的图像梯度值；通过模糊度判断模块根据图像梯度值确定图像1的模糊度。

示例性的，图8示出了另一种模糊度判断模块611的网络结构的示意图。模糊度判断模块611包括图像梯度值计算单元6111和模糊度判断单元6112，图像梯度值计算单元6111用于计算图像的图像梯度值，模糊度判断单元6112用于根据图像梯度值确定图像的模糊度。对于图像1，电子设备将图像1输入图像梯度值计算单元6111中，通过图像梯度值计算单元6111计算图像1的图像梯度值，通过模糊度判断单元6112根据图像梯度值确定图像的模糊度。

应理解，图像梯度值是指图像像素在x和y两个方向的变化率。图9示出了分辨率为（m，n）的图像的示例图。在图9中，x方向上共有m列像素，m列中的某列可表示为第i列，与第i列相邻的为第i-1列和第i+1列。y方向上共有n行像素，n行中的某行可表示为第j行，与第j行相邻的为第j-1行和第j+1行。第j行第i列像素的梯度为该像素在x和y两个方向上的变化率，本申请实施例中的图像梯度值为m×n个像素在x和y两个方向上的变化率的总和。

在本申请实施例中，可以通过各种方式计算图像梯度值。

在一示例中，图像梯度值计算单元6111可基于以下公式一计算图像梯度值：

其中，

表示图像梯度值，/>

表示图像中第i+1行，第j列的像素，/>

表示图像中第i行，第j列的像素，/>

表示图像中第i行，第j+1列的像素。

在另一示例中，图像梯度值计算单元6111可基于以下公式二计算图像梯度值：

其中，

表示图像的梯度，/>

表示图像中第i+1行，第j列的像素，/>

表示图像中第i-1行，第j列的像素，/>

表示图像中第i行，第j+1列的像素，/>

表示图像中第i行，第j-1列的像素。

应理解，上面公式一和公式二仅作为示例，而不作为本申请实施例对图像梯度值算法的限定。

本申请实施例中，模糊度判断单元6112中被配置有模糊度与图像梯度值范围的对应关系，电子设备基于模糊度与图像梯度值范围的对应关系和图像1的图像梯度值确定图像1的模糊度。

示例性的，依据图像梯度值越大，图像越清晰，图像梯度值越小，图像越模糊的原则预先将图像梯度值分为三个图像梯度值范围，不同模糊度对应不同的图像梯度值范围。例如，模糊度M1对应图像梯度值范围S1，S1为[第二阈值，第一阈值]，模糊度M2对应图像梯度值范围S2，S2为[第三阈值，第二阈值)，模糊度M3对应图像梯度值范围S3，S3为[第四阈值，第三阈值)，其中，模糊度 M1大于模糊度M2，并且模糊度M2大于模糊度M3。

电子设备计算出图像1的图像梯度值之后，判断图像1的图像梯度值属于哪个图像梯度值范围，例如，若图像梯度值属于S1数值范围，即图像梯度值位于[第二阈值，第一阈值]的数值范围内，则确定的图像1的模糊度为M1。

在方式2中，在确定图像1的模糊度时，首先计算图像1的图像梯度值，其次根据输入图的图像梯度值确定图像1的模糊度，可以较准确地确定图像1的模糊度，并且相对于方式1，方式2在确定模糊度时，不需要网络参数的参与，降低了整个去模糊模型的参数量，进而减小了去模糊模型的计算量，提高了去模糊模型的运算效率。

以上，对S52做了详细说明，以下，对S53做详细说明。

在S53中，电子设备基于图像1的模糊度，通过具有第一复杂度的去模糊模块对图像1进行去模糊处理，得到图像2，包括：

电子设备基于图像1的模糊度，通过去模糊模块中的下采样层、具有第一复杂度的可控单元和上采样层对图像1进行去模糊处理，得到图像2。

示例性的，图10示出了去模糊模块612的网络结构的示意图。去模糊模块612包括2层卷积层A、3层可控单元（分别为可控单元C1、可控单元C2和可控单元C3）、下采样层D和上采样层E。本申请实施例对去模糊模块612中卷积层A和可控单元的数量不作限定。示例性的，图11示出了去模糊模块612的网络结构的另一示意图。去模糊模块612包括下采样层D、一层可控单元C和上采样层E。

其中，卷积层A和可控单元均是用于提取特征图的局部特征，下采样层D用于缩小特征图的分辨率，上采样层E用于扩大特征图的分辨率。

本申请实施例中，去模糊模块612中的相邻两层中前一层的输出是后一层的输入，在一些实施例中，去模糊模块612中第一层的输入为图像和图像的模糊度，最后一层的输出为去模糊后的图像。例如，电子设备将图像1和图像1的模糊度输入去模糊模块中，经过下采样层、具有第一复杂度的可控单元、上采样层的处理，得到图像2。

应理解，去模糊模块612的网络复杂度与图像的模糊度有关，本申请实施例的去模糊模块在进行去模糊处理时，下采样层D和上采样层E不含参数运算，不增加去模糊模块的网络参数。而本申请实施例的可控单元具有能够动态变化的多个复杂度，因而，去模糊模块612的网络复杂度与可控单元的网络复杂度有关。

本申请实施例中，图像的模糊度较大时，利用具有较高复杂度的可控单元的去模糊模块对图像进行去模糊。图像的模糊度较小时，利用具有复杂度较低的可控单元的去模糊模块对图像进行去模糊，可以基于不同的模糊度利用具有不同复杂度的可控单元的去模糊模块对图像进行处理，得到清晰图像。对于图像1，可以基于图像1的模糊度利用具有第一复杂度的可控单元的去模糊模块对图像1进行处理，得到图像2。

可以理解，复杂度较高的可控单元是指可控单元的参数量较多，复杂度较低的可控单元是指可控单元的参数量较少。

本申请实施例可以利用具有不同复杂度的可控单元的去模糊模块对不同模糊度的图像进行处理的原因在于：在第一去模糊模型的训练阶段，利用模糊度较大的图像作为训练数据训练第一去模糊模型时，模型收敛后的去模糊模块中可控单元的参数量大于利用模糊度较小的图像作为训练数据训练第一去模糊模型时模型收敛后的去模糊模块中可控单元的参数量，所以，在第一去模糊模型的使用阶段，对模糊度较大的图像进行处理时可控单元的参数量大于对模糊度较小的图像进行处理时的可控单元的参数量，从而在对不同模糊度的图像处理时，可以利用具有不同复杂度的可控单元的去模糊模块对图像进行处理，减少了模型的计算量。

本申请实施例中，由于电子设备可以基于图像1的模糊度，通过具有第一复杂度的可控单元的去模糊模块对图像1进行去模糊处理，得到图像2，所以，在图像1的模糊度较大的情况下，可控单元的参数量较大，去模糊模块的第一复杂度较高，利用较高复杂度的去模糊模块对图像1进行处理，可以提高图像1的去模糊效果，在图像1的模糊度较小的情况下，可控单元的参数量较小，去模糊模块的第一复杂度较低，利用较低复杂度的去模糊模块对图像1进行处理，可以减少网络模型的计算资源，提高了网络模型的运算效率。

以下实施例介绍了可控单元的参数量。

示例性的，图12示出了可控单元的网络结构的示意图。每层可控单元包括：卷积层A、参数可控层和激活函数G，其中，参数可控层包括并联的卷积层A、第一轻量卷积层F1和第二轻量卷积层F2。本申请实施例对参数可控层中卷积层A和轻量卷积层的数量不作限定，例如：图13示出了可控单元的网络结构的另一示意图。参数可控层包括并联的2层卷积层A和第一轻量卷积层F1。可选的，第一轻量卷积层F1也可替换为第二轻量卷积层F2。

其中，卷积层A用于提取上一层输出的特征图的局部特征。参数可控层中并联的卷积层A、第一轻量卷积层F1和第二轻量卷积层F2均用于提取上一层卷积层A输出的特征图的局部特征。激活函数G用于对特征图进行非线性变换，以增强去模糊模型的表示能力和学习能力。

本申请实施例的可控单元中引入了跳跃连接，即卷积层A的输出不仅作为参数可控层的输入，而且跳过参数可控层以及激活函数G作为后续网络层的输入，例如可以作为下采样层D的输入。这种跳跃连接可以有效的减少梯度消失以及网络退化的问题，使第一去模糊模型的训练更稳定。

应理解，卷积层由至少一个卷积核组成，卷积核具有权重和偏置等网络参数。卷积层通过这些网络参数对输入数据进行特征提取。轻量卷积层是相对于常规卷积层而言，参数量更少的卷积层，轻量卷积层可以使卷积计算更加高效，并且在网络参数减少的同时，不损失网络性能。

本申请实施例中，参数可控层中卷积层A中的参数量多于第一轻量卷积层F1和第二轻量卷积层F2中的参数量，第一轻量卷积层F1和第二轻量卷积层F2的参数量可相同也可以不同，本申请实施例对此不作限定。

参数可控层中卷积层A中的参数量多于第一轻量卷积层F1和第二轻量卷积层F2中的参数量的原因在于，参数可控层中卷积层A、第一轻量卷积层F1和第二轻量卷积层F2在提取局部特征时，是利用参数矩阵进行运算提取局部特征，参数矩阵中包括网络参数，卷积层A的参数矩阵中包括的网络参数不为零，第一轻量卷积层F1和第二轻量卷积层F2的参数矩阵中包括至少一个为零的网络参数。以下通过三种示例（示例1、示例2和示例3）对参数可控层的网络参数进行说明。

示例1

参数可控层中卷积层A、第一轻量卷积层F1和第二轻量卷积层F2的卷积核的尺寸为m×m，那么，卷积层A、第一轻量卷积层F1和第二轻量卷积层F2的参数矩阵为m×m的矩阵。m为大于或等于3的奇数时，卷积层A的参数矩阵中各位置上网络参数不为零，第一轻量卷积层F1的参数矩阵中除中间一行和中间一列位置上的网络参数不为零外，其他位置上的网络参数都为零，即第一轻量卷积层F1的参数矩阵中除第（m+1）/2行和第（m+1）/2列位置上的网络参数不为零外，其他位置上的网络参数都为零。第二轻量卷积层F2的参数矩阵中除中间位置上的网络参数不为零外，其他位置上的网络参数都为零，即第二轻量卷积层F2的参数矩阵中除第（m+1）/2行、第（m+1）/2列位置上的网络参数不为零外，其他位置上的网络参数都为零。那么卷积层A的参数量为m×m个，第一轻量卷积层F1的参数量为2m-1个，第一轻量卷积层F2的网络参数为1个，由此可以看出，卷积层A中的参数量多于第一轻量卷积层F1和第二轻量卷积层F2中的参数量。

例如：图14示出了一种参数可控层的参数量的示例图。图14中卷积层A、第一轻量卷积层F1和第二轻量卷积层F2的卷积核的尺寸为3×3，其中，

、/>

和/>

代表第一行的三列网络参数，/>

、/>

和/>

代表第二行的三列网络参数，/>

、/>

和/>

代表第三行的三列网络参数。卷积层A的参数矩阵中每行每列的网络参数均不为零，第一轻量卷积层F1的参数矩阵中除/>

，以及/>

、/>

、/>

，以及/>

位置上的网络参数不为零外，其他位置上的网络参数都为零。第二轻量卷积层F2的参数矩阵中除/>

位置上的网络参数不为零外，其他位置上的网络参数都为零。那么卷积层A的参数量为9个，第一轻量卷积层F1的参数量为5个，第一轻量卷积层F2的参数量为1个。

示例2

m为大于3的偶数时，卷积层A的参数矩阵中各位置上网络参数不为零，第一轻量卷积层F1的参数矩阵中除中间二行和中间二列位置上的网络参数不为零外，其他位置上的网络参数都为零，即第一轻量卷积层F1的参数矩阵中除第m/2行、第m/2+1行和第m/2列、第m/2+1列位置上的网络参数不为零外，其他位置上的网络参数都为零。第二轻量卷积层F2的参数矩阵中除中间位置上的网络参数不为零外，其他位置上的网络参数都为零，即第二轻量卷积层F2的参数矩阵中除第m/2行、第m/2列，以及第m/2行、第m/2+1列，以及第m/2+1行、第m/2列，以及第m/2+1行、第m/2+1列的网络参数不为零外，其他位置上的网络参数都为零。那么卷积层A的参数量为m×m个，第一轻量卷积层F1的参数量为4m-4个，第一轻量卷积层F2的参数量为4个，由此可以看出，卷积层A中的参数量多于第一轻量卷积层F1和第二轻量卷积层F2中的参数量。

例如，图15示出了另一种参数可控层的参数量的示例图。图15中卷积层A、第一轻量卷积层F1和第二轻量卷积层F2的卷积核的尺寸为4×4，其中，

、/>

、/>

和/>

代表第一行的四列网络参数，/>

、/>

、/>

和/>

代表第二行的四列网络参数，/>

、/>

、/>

和/>

代表第三行的四列网络参数，/>

、/>

、/>

和/>

代表第四行的四列网络参数。卷积层A的参数矩阵中每行每列的网络参数均不为零，第一轻量卷积层F1的参数矩阵中除/>

，以及

、/>

、/>

、/>

，以及/>

、/>

、/>

、/>

，以及/>

位置上的网络参数不为零外，其他位置上的网络参数都为零。第二轻量卷积层F2的参数矩阵中除/>

、/>

，以及/>

、/>

位置上的网络参数不为零外，其他位置上的网络参数都为零。那么卷积层A的参数量为16个，第一轻量卷积层F1的参数量为12个，第一轻量卷积层F2的参数量为4个。

示例性3

m为2时，参数矩阵可以为：卷积层A的参数矩阵中各位置上网络参数不为零，第一轻量卷积层F1的参数矩阵中除第一行的网络参数不为零外，其他位置上的网络参数都为零。第二轻量卷积层F2的参数矩阵中除第二行的网络参数不为零外，其他位置上的网络参数都为零。那么卷积层A的参数量为4个，第一轻量卷积层F1的参数量为2个，第一轻量卷积层F2的参数量为2个，由此可以看出，卷积层A中的参数量多于第一轻量卷积层F1和第二轻量卷积层F2中的参数量。

m为2时，参数矩阵还可以为：卷积层A的参数矩阵中各位置上网络参数不为零，第一轻量卷积层F1的参数矩阵中除第一行，以及第二行、第一列的网络参数不为零外，其他位置上的网络参数都为零。第二轻量卷积层F2的参数矩阵中除第二行、第二列的网络参数不为零外，其他位置上的网络参数都为零。那么卷积层A的参数量为4个，第一轻量卷积层F1的参数量为3个，第一轻量卷积层F2的参数量为1个，由此可以看出，卷积层A中的参数量多于第一轻量卷积层F1和第二轻量卷积层F2中的参数量。

可控单元进行去模糊处理的内部实现过程可以如下：继续参见图12示出的可控单元，在参数可控层中并联的卷积层A、第一轻量卷积层F1和第二轻量卷积层F2提取上一层网络层输出的特征图的局部特征之后，对提取的特征图的局部特征进行加权平均，得到加权平均之后的特征图，将加权平均之后的特征图利用激活函数进行非线性变换。

示例性的，参数可控层中卷积层A提取的局部特征记为

，第一轻量卷积层F1提取的局部特征记为/>

，第二轻量卷积层F2提取的局部特征记为/>

，通过以下公式进行加权平均，得到加权平均之后的特征图：

其中，

代表加权平均之后的特征图，/>

代表卷积层A对应的第一权重，/>

代表第一轻量卷积层F1对应的第二权重，/>

代表第二轻量卷积层F2对应的第三权重。

应理解，第一权重、第二权重和第三权重是在训练第一去模糊模型时确定的，利用模糊度较大的图像训练第一去模糊模型时确定的第一权重，相对于利用模糊度较小的图像训练第一去模糊模型时确定的第一权重大，利用模糊度较大的图像训练第一去模糊模型时确定的第二权重和第三权重，相对于利用模糊度较小的图像训练第一去模糊模型时确定的第二权重和第三权重小。总体来讲，图像的模糊度越大，第一权重的占比越大，第二权重和第三权重的占比越小，图像的模糊度越小，第一权重的占比越小，第二权重和第三权重的占比越大。

例如，利用模糊度较大的图像训练第一去模糊模型时，确定的第一权重为0.8，第二权重为0.1，第三权重为0.1；利用模糊度较小的图像训练第一去模糊模型时，确定的第一权重为0.6，第二权重为0.2，第三权重为0.2。

本申请实施例中，去模糊模块对模糊度较大的图像进行处理时，是通过较大的第一权重以及较小的第二权重和第三权重分别对可控单元的参数可控层中并联的卷积层A、第一轻量卷积层F1和第二轻量卷积层F2提取的特征图的局部特征进行加权平均，此时，可控单元的复杂度较高（去模糊模块的复杂度较高）。去模糊模块对模糊度较小的图像进行处理时，是通过较小的第一权重和较大的第二权重和第三权重对可控单元的参数可控层中并联的卷积层A、第一轻量卷积层F1和第二轻量卷积层F2提取的特征图的局部特征进行加权平均，此时，可控单元的复杂度较低（去模糊模块的复杂度较低）。

例如：可控单元的参数可控层中并联的卷积层A、第一轻量卷积层F1和第二轻量卷积层F2都仅为一层网络层，且网络参数如图14示出的网络参数，那么，卷积层A的参数量为9个，第一轻量卷积层F1的参数量为5个，第二轻量卷积层F2的参数量为1个，可控单元对模糊度较大的图像进行处理时，第一权重为0.8，第二权重为0.1，第三权重为0.1，那么可控单元在进行加权平均运算时，总的参数量为9×0.8+5×0.1＋1×0.1=7.8。可控单元对模糊度较小的模糊度进行处理时，第一权重为0.6，第二权重为0.2，第三权重为0.2，那么可控单元在进行加权平均运算时，总的参数量为9×0.6+5×0.2＋1×0.2=6.6。由此可以看出，去模糊模块对模糊度较大的图像进行处理时，可以通过参数量大（复杂度较高）的可控单元进行处理，去模糊模块对模糊度较小的图像进行处理时，可以通过参数量小（复杂度较低）的可控单元进行处理。

以上结合图5至图15介绍了图像1经过一次去模糊处理得到图像2的实现过程。下面结合附图介绍一种图像1经过多次去模糊处理的实现过程，在该方案中，将图像1经过一次去模糊处理得到图像2之后，用户仍认为去模糊处理得到的图像2不清晰的情况下，使用第一去模糊模型对图像2进行再次去模糊处理，得到图像3。

图16示出了电子设备对图像2进行去模糊处理的过程的示意性流程图。

S54、电子设备响应于对图像2的第二操作，确定图像2的模糊度。

应理解，电子设备在通过方法500得到图像2之后，用户仍认为图像2不清晰的情况下，用户在电子设备的显示界面执行针对图像2的第二操作时，电子设备检测到用户的第二操作并响应于第二操作，确定图像2的模糊度。

示例性的，第二操作可以是用户点击控件的操作。例如，图4中，用户点击去模糊2控件304。

本申请实施例中，电子设备响应于第二操作，确定图像2的模糊度的实现过程与S52的实现过程相同，此处不再赘述。

S55、电子设备基于图像2的模糊度，通过具有第二复杂度的去模糊模块对图像2进行去模糊处理，得到图像3，第二复杂度与图像2的模糊度对应。

示例性的，继续参见图6示出的网络结构，电子设备在利用S53得到图像2之后，将图像2输入模糊度判断模块确定图像2的模糊度，然后将图像2和图像2的模糊度输入去模糊模块中对图像2进行去模糊处理，得到图像3。

本申请实施例中，S55的实现过程与S53的实现过程相同，此处不再赘述。

应理解，图像2相对于图像1是模糊度更小的图像，图像3相对于图像2是模糊度更小的图像，因此，电子设备对图像1进行2次去模糊处理，第2次去模糊效果比第1次去模糊效果更优，进一步提高了图像的去模糊效果。

本申请实施例仅是以去模糊模块对图像进行两次去模糊处理的过程做示例性说明，并不构成对图像进行去模糊处理的次数的限定，例如，去模糊模块对去模糊处理的次数可以为3次、4次等。

本申请实施例中，在用户认为图像1较模糊的情况下，可以通过多次去模糊操作，如第一操作和第二操作，使电子设备通过第一去模糊模型多次确定图像的模糊度，以及多次对图像进行去模糊处理，每次的去模糊效果比前一次去模糊效果更优，进而可以使去模糊之后的图像的效果更优，提升用户体验。

以上结合附图16介绍了一种图像1通过多次去模糊处理，得到图像3的实现过程。

以下结合附图介绍另一种可选的方案的内部实现过程，在该方案中，在图像1通过第一去模糊模模型的一次去模糊处理，得到图像2之后，或者在图像1通过第一去模糊模模型的多次去模糊处理，得到图像3之后，用户仍认为图像2或图像3不清晰的情况下，通过与第一去模糊模型的网络结构不同的第二去模糊模型对图像2或图像3进行去模糊处理，得到图像4。

图17示出了图像2或图像3经过第二去模糊模型的去模糊处理的示意性流程图。

S56、电子设备检测到对图像2或图像3的第三操作。

应理解，电子设备在利用S53得到图像2之后，用户仍认为图像2不清晰的清晰下，或者电子设备在利用S55得到图像3之后，用户仍认为图像3不清晰的情况下，用户在电子设备的显示界面执行针对图像2或图像3的第三操作时，电子设备检测到用户的第三操作。

示例性的，第三操作可以是用户点击控件的操作。例如，在图4中，用户点击去模糊2控件304。

S57、响应于第三操作，通过第二去模糊模型对图像2或图像3进行去模糊处理，得到图像4。

在一种实现方式中，通过第二去模糊模型对图像2或图像3进行去模糊处理，得到图像4，包括：

将图像2或图像3和中间特征图输入融合模块进行融合，得到融合特征图；通过第二去模糊模型对融合特征图进行去模糊处理，得到图像4。

示例性的，图18是本申请实施例提供的另一种去模糊模型的网络结构的示意图。图18的去模糊模型相对于图6的去模糊模型，还包括融合模块620和第二去模糊模型630。融合模块620用于将图像2或图像3和中间特征图输入融合模块进行融合，得到融合特征图。第二去模糊模型630用于对融合特征图进行去模糊处理，得到图像4。

本申请实施例中，中间特征图为通过第一去模糊模型对图像1进行一次去模糊处理的过程中输出的特征图。例如中间特征图为通过第一去模糊模型对图像1进行第1次去模糊处理，得到图像2的过程中输出的特征图，又例如中间特征图为通过第一去模糊模型对图像1进行第2次去模糊处理，得到图像3的过程中输出的特征图。

本申请实施例，将第二图像和中间特征图进行融合可以提取第二图像中丰富的特征信息，提升了去模糊模型的运算效率。

在一些实施例中，中间特征图为通过第一去模糊模型对图像1进行最后一次去模糊处理的过程中输出的特征图。例如，第一去模糊模型对图像1进行了3次去模糊处理，中间特征图为通过第一去模糊模型对图像1进行第3次去模糊处理的过程中输出的特征图。

本申请实施例，将第二图像和中间特征图进行融合可以提取第二图像中更加丰富的特征信息，提升了去模糊模型的运算效率。

在一些实施例中，中间特征图为通过第一去模糊模型对第一图像进行去模糊处理的过程中可控单元输出的特征图，例如，中间特征图为图11中可控单元输出的特征图，又例如，中间特征图为图10中最后一层可控单元输出的特征图。

示例性的，图19是本申请实施例提供的融合模块620的网络结构的示意图。融合模块620包括卷积层A和池化层K，卷积层A用于提取图像2或图像3的局部特征。池化层K用于对卷积层A输出的特征图进行降维压缩，以加快运算速度。本申请实施例可以利用张量积运算将池化层K的输出和中间特征图进行融合。将池化层K的输出和中间特征图进行融合是为了提取图像中更加丰富的特征信息，从而可以提升第二去模糊模型进行去模糊处理的运算速度。

池化层K的作用为降采样。池化层K有多种不同形式的非线性池化函数，而其中“最大池化”是最为常见的。“最大池化”是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效地原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。池化操作后的结果相比其输入缩小了。池化层的引入是仿照人的视觉系统对视觉输入对象进行降维和抽象。在神经网络的工作中，池化层具有以下作用：特征不变性、特征降维、防止过拟合等，常见的池化层包括：最大池化、平均池化、全局平均池化、全局最大池化等。

示例性的，图20是本申请实施例提供的一种第二去模糊模型630的网络结构的示意图。示例性地，第二去模糊模型630包括：3层卷积层A（分别为卷积层A1、卷积层A2和卷积层A3）、下采样层D和上采样层E。本申请实施例对第二去模糊模型630中卷积层A的个数不作限定。例如，图21示出了第二去模糊模型630的另一种网络结构的示意图，第二去模糊模型630包括：下采样层D、卷积层A和上采样层E。

在第二去模糊模型630中，卷积层A用于提取特征图的局部特征，下采样层D用于缩小特征图的分辨率，上采样层E用于扩大特征图的分辨率。

本申请实施例中，第二去模糊模型630中的相邻两层中前一层的输出是后一层的输入，在一些实施例中，第二去模糊模型630中第一层的输入为融合特征图，最后一层的输出为图像4。实现中，电子设备在得到融合特征图之后，将融合特征图输入第二去模糊模型630，经过第二去模糊模型630中卷积层A、下采样层D和上采样层E的去模糊处理，得到图像4。

应理解，图像1在经过第一去模糊模型的单次或多次去模糊处理，得到的图像2或图像3，其模糊度相对于图像1的模糊度大幅度减小，对图像2或图像3的模糊度进行去模糊处理时，不需要进行复杂的运算就可以实现去模糊，因而，本申请实施例提供的第二去模糊模型的网络结构完全可以支撑对图像2或图像3进行去模糊时的运算需求。

本申请实施例中，第二去模糊模型的去模糊的效果优于第一去模糊模型的去模糊的效果的原因在于：

在去模糊模型的训练阶段，是将模糊图像与清晰图像的图像对依次经过第一去模糊模型、融合模块、第二去模糊模型的处理，得到一个训练结果，基于训练结果和清晰图像之间的偏差、误差调节去模糊模型的网络参数，直至去模糊模型收敛。在训练过程中第一去模糊模型和第二去模糊模型均可以学习模糊图像与清晰图像的映射关系，但是，第二去模糊模型是在第一去模糊模型的输出结果的基础上再次学习模糊图像与清晰图像的映射关系，也可以认为第二去模糊模型学习的是第一去模糊模型的输出结果与清晰图像的映射关系。在去模糊模型收敛之后，将图像2或图像3和中间特征图输入融合模块得到融合特征图之后，将融合特征图输入第二去模糊模型，第二去模糊模型可以根据第一去模糊模型的输出结果与清晰图像的映射关系，得到图像4，得到的图像4的去模糊效果比第一去模糊模型的输出结果（图像2或图像3）的去模糊效果更优。

本申请实施例中，在图像经过单次或多次去模糊处理之后，得到图像2或图像3时，用户仍认为图像2或图像3不清晰的情况下，可以通过再次触发去模糊操作，如第三操作，使电子设备通过去模糊模型中的第二去模糊模型对图像2或图像3进行去模糊处理，得到图像4，进而可以使去模糊之后的图像的效果更优，提升用户体验。并且，在通过第二去模糊模型对图像2或图像3进行去模糊处理时，可以将图像2或图像3和第一去模糊模型进行去模糊处理时的中间特征图进行融合之后通过第二去模糊模型再次进行去模糊处理，提升了模型的运算效率，而且，该过程不需要对图像进行模糊度的判断，可直接对图像进行去模糊处理，可以减少网络模型的计算资源，提高了网络模型的运算效率。

在一种实现方式中，通过第二去模糊模型对图像2或图像3进行去模糊处理，得到图像4，包括：

通过第二去模糊模型对图像2或图像3进行去模糊处理，得到图像4。

本申请实施例中，第二去模糊模型630中第一层的输入为图像2或图像3，最后一层的输出为图像4。实现中，电子设备在得到图像2或图像3之后，将图像2或图像3输入第二去模糊模型630，经过第二去模糊模型630中卷积层A、下采样层D和上采样层E的去模糊处理，得到图像4。

以上结合附图5至图21介绍了本申请实施例提供的一种图像处理的方法500的内部实现过程，以下结合附图介绍本申请实施例提供的另一种图像处理的方法600的内部实现过程。

图22是本申请实施例提供的图像处理的方法600的示意性流程图。该方法600可由电子设备执行，也可由电子设备中的处理器或芯片执行，本申请实施例不做任何限定。为了便于描述，以电子设备为例对方法600做详细说明。

S61、电子设备检测到在图库应用中对图像1的去模糊操作。

用户在电子设备的图库应用的显示界面中执行针对图像1的去模糊操作时，电子设备检测到用户的第一操作。

示例性的，去模糊操作可以是用户点击控件的操作。例如，图3中，用户点击去模糊控件302。

S62、电子设备响应于去模糊操作，通过去模糊模型对图像1进行去模糊处理，得到图像2。

应理解，本申请实施例中的去模糊模型包括图20或图21示出的第二去模糊模型。

电子设备响应于去模糊操作，通过图20或图21示出的卷积层A、下采样层D和上采样层E对图像1进行去模糊处理，即可得到图像2。

通常，用户对图库应用中的图像进行去模糊处理时，需要将图像从电子设备的图库应用中输入到第三方软件，例如美图秀秀，PS等，并且得熟练操作第三方软件中较专业的去模糊操作才能实现去模糊，操作繁琐且用时较长，影响用户使用电子设备的体验感，而本申请实施例可以在电子设备的图库应用中直接对图像进行处理，且仅需要触发去模糊操作即可，操作比较简单且用时较段，提升了用户使用电子设备的体验。

以上结合附图22介绍了本申请实施例提供的一种图像处理的方法600的内部实现过程，以下结合附图介绍本申请实施例提供的另一种图像处理的方法700的内部实现过程。

图23是本申请实施例提供的图像处理的方法700的示意性流程图。该方法700可由电子设备执行，也可由电子设备中的处理器或芯片执行，本申请实施例不做任何限定。为了便于描述，以电子设备为例对方法700做详细说明。

S71、电子设备检测到对第一图像的操作。

应理解，第一图像为未进行去模糊处理的原始图像，例如，第一图像可以为上述实施例中的图像1。

还应理解，对第一图像的操作可以为任何能够触发电子设备对第一图像进行去模糊处理的操作。例如，对第一图像的操作可以为上述实施例中的第一操作。

S72、电子设备响应于操作，通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像，M为大于或等于1的整数。

可以理解，当M等于1时，通过第一去模糊模型对第一图像进行一次去模糊处理得到第二图像；当M大于1时，通过第一去模糊模型对第一图像进行多次去模糊处理后得到第二图像。

在通过第一去模糊模型对第一图像进行M次去模糊处理的过程中，无论是进行一次去模糊处理还是多次去模糊处理，每次去模糊处理的过程均相同。在通过第一去模糊模型对第一图像进行多次去模糊处理后得到第二图像的实施例中，前次去模糊处理的输出图作为下次去模糊处理的输入图，如此迭代，在最后一次去模糊处理后输出第二图像。

为了便于描述，以第i次去模糊处理的过程为例，以及，以输入图和输出图作为第i次去模糊处理的输入和输出，对一次去模糊处理的过程做详细说明。

在一些实施例中，第一去模糊模型包括模糊度判断模块和去模糊模块；以及，通过第一去模糊模型对第一图像进行第i次去模糊处理的过程包括：

电子设备通过模糊度判断模块，确定第i次去模糊处理的输入图的第i模糊度，输入图为第一图像或通过第一去模糊模型对第一图像进行i-1次去模糊处理后得到的图，i大于或等于1且小于或等于M；

电子设备基于第i模糊度，通过具有第i复杂度的去模糊模块，对输入图进行去模糊处理，得到第i次去模糊处理的输出图，第i复杂度与第i模糊度对应，输出图为第二图像或第i+1次去模糊处理的输入图。

应理解，第i次去模糊处理是指M次去模糊处理中的任一次。每次去模糊处理时，均需要通过模糊度判断模块以及去模糊模块的处理。

当M等于1时，电子设备通过第一去模糊模型对第一图像仅进行一次去模糊处理，得到第二图像。在该实施例中，第i次去模糊处理为仅有的一次去模糊处理，输入图为第一图像，输出图为第二图像。

例如，在图5对应的方法500中，第一图像可以为图像1，第二图像可以为图像2，第1模糊度为方法500中图像1的模糊度，第1复杂度为方法500中的第一复杂度。

当M大于1时，电子设备通过第一去模糊模型对第一图像进行多次去模糊处理，得到最终的第二图像。在该实施例中，对于第i次去模糊处理，输入图为第一图像或通过第一去模糊模型对第一图像进行i-1次去模糊处理后得到的图，输出图为第二图像或第i+1次去模糊处理的输入图。

当M大于1，i为1时，电子设备通过第一去模糊模型对第一图像进行第1次去模糊处理，输入图为第一图像，输出图为第2次去模糊处理的输入图。当i为M时，电子设备通过第一去模糊模型对第一图像进行第M次去模糊处理，第M次去模糊处理的输入图为第M-1次去模糊处理后得到的输出图，第M次去模糊处理的输出图为第二图像。

例如，M=2，结合图5和图16构成的实施例中，在第1次去模糊处理的过程中，输入图为第一图像，即图像1，输出图为图像2，第1模糊度为方法500中图像1的模糊度，第1复杂度为方法500中的第一复杂度，在第2次去模糊处理的过程中，输入图为第1次去模糊处理后的输出图，即图像2，输出图为第二图像，即图像3，第2模糊度为图16中的图像2的模糊度，第2复杂度为图16中的第二复杂度。

在上述实施例中，第一去模糊模型的模糊度判断模块用于判断图像的模糊度，去模糊模块采用与模糊度对应的复杂度对图像进行去模糊处理，以输出清晰度高的图像。可以理解，去模糊模块具有多个复杂度，一个复杂度与一个模糊度对应，当通过模糊度判断模块确定出图像的模糊度后，去模糊模型可以确定对应于该模糊度的复杂度，采用与该模糊度对应的复杂度的去模糊模块对图像进行去模糊处理，以达到合理利用计算资源的效果。

本申请实施例的去模糊模块的复杂度是指网络复杂度，去模糊模块的网络参数的数量（简称参数量）的多少能够表征网络复杂度的高低，参数量越多，网络复杂度越高，参数量越少，网络复杂度越低。示例性地，网络参数包括权重和偏置，权重用于控制输入网络的数据的重要性，偏置用于控制网络中神经元被激活的容易程度。

通常利用神经网络模型对图像进行去模糊处理时，不同模糊度的图像在神经网络模型中是以相同的计算量进行处理的，也就是说，电子设备采用了相同的计算资源对不同模糊度的图像进行处理，实际上，模糊度较低的图像并不需要与模糊度较高的图像相同的计算量就可以实现去模糊处理，因而，利用这种处理方法对模糊度较低的照片进行去模糊处理时，会增加模型的计算量，浪费了计算资源。

本申请实施例，电子设备通过第一去模糊模型对图像（例如，第i次去模糊处理的输入图）进行去模糊处理，使图像的模糊度降低，提升用户体验。而且在电子设备对图像进行去模糊处理时，通过模糊度判断模块确定图像的模糊度，通过具有与图像的模糊度对应的复杂度的去模糊模块对图像进行去模糊处理，这样，可以针对不同模糊度的图像采用不同复杂度的去模糊模块进行去模糊处理，相比于现有技术中对不同模糊度的图像均采用相同网络模型进行去模糊处理的方式，本申请能够合理利用计算资源，即：当图像的模糊度较大时可以通过与较大模糊度对应的复杂度的去模糊模块对图像进行去模糊处理，采用的计算资源较多，能够提高图像的去模糊效果，当图像的模糊度较小时可以通过与较小模糊度对应的复杂度的去模糊模块对图像进行去模糊处理，采用的计算资源较少，减少了第一去模糊模型的计算资源，提高了第一去模糊模型的运算效率。

此外，当M大于1时，对第一图像进行多次迭代的去模糊处理，每次去模糊处理的去模糊效果比前一次去模糊处理的去模糊效果更优，能更好地提高第一图像的去模糊效果。

在一些实施例中，去模糊模块包括至少一层可控单元，每层可控单元的总参数量用于表征去模糊模块的第i复杂度。

也就是说，去模糊模块的第i复杂度通过每层可控单元的总参数量表征。

本申请实施例中，去模糊模块具有能够动态变化的多个复杂度，相应的，每层可控单元具有能够动态变化的多个总参数量，通过变化的总参数量表征去模糊模块的复杂度。或者说，由于每层可控单元的总参数量是可变的，可变的总参数量能够表征可控单元的复杂度，也就能够表征包括可控单元的去模糊模块的复杂度。

例如，结合图5的实施例，可控单元的总参数量可以用于表征第一复杂度，图像1的模糊度越大，第一复杂度越高，图像1的模糊度越小，第一复杂度越低。再例如，结合图16的实施例，可控单元的总参数量可以用于表征第二复杂度，图像2的模糊度越大，第二复杂度越高，图像2的模糊度越小，第二复杂度越低。再例如，对比图5中的图像1和图16中的图像2，图像1的模糊度大于图像2的模糊度，用于处理图像1的去模糊模块的第一复杂度大于用于处理图像2的去模糊模块的第二复杂度，所以，用于处理图像1的去模糊模块的可控单元的总参数量大于用于处理图像2的去模糊模块的可控单元的总参数量。应理解，本申请实施例对可控单元的数量不做任何限定。例如，在图10中，可控单元的数量可以是3层。再例如，在图11中，可控单元的数量可以是1层。

还应理解，在可控单元的数量为多层的实施例中，多层可控单元中每层可控单元的总参数量是相同的，因而，每层可控单元的总参数量均可以表征去模糊模块的第i复杂度。例如：在图10中，去模糊模块包括3层可控单元，可控单元C1、可控单元C2和可控单元C3的总参数量均相同，任一层可控单元均可以表征去模糊模块的第i复杂度。

本申请实施例，由于去模糊模块的每层可控单元的总参数量能够表征去模糊模块的第i复杂度，那么，基于输入图的第i模糊度，能够确定对应于第i模糊度的可控单元的总参数量，所以，包括具有该总参数量的可控单元的去模糊模块的复杂度是对应于第i模糊度的第i复杂度，因此，通过具有第i复杂度的去模糊模块对输入图进行去模糊处理，在输入图的模糊度较大的情况下，可控单元的总参数量多，去模糊模块的第i复杂度较高，可以提高输入图的去模糊效果，在输入图的模糊度较小的情况下，可控单元的总参数量少，去模糊模块的第i复杂度较低，利用较低复杂度的去模糊模块对输入图进行处理，可以减少第一去模糊模型的计算资源，提高了第一去模糊模型的运算效率。

在一些实施例中，每层可控单元包括并联的N个卷积层，N个卷积层包括第一类卷积层和第二类卷积层，第二类卷积层的参数量小于第一类卷积层的参数量，N为大于1的整数。

应理解，并联的N个卷积层的尺寸相同，仅是各个卷积层包括的参数量存在差异。

本申请实施例对第一类卷积层和第二类卷积层的形式或结构不做任何限定，只要第二类卷积层的参数量小于第一类卷积层的参数量即可。

在一些实施例中，第一类卷积层为网络参数均不为零的卷积层，例如，图14或图15中的卷积层A，第二类卷积层为至少有一个网络参数为零的轻量卷积层，例如，图14或图15中的第一轻量卷积层F1或第二轻量卷积层F2。以图14为例，卷积层的尺寸均为3×3，并联的3个卷积层中，第一类卷积层（卷积层A）的参数量为9，第二类卷积层（第一轻量卷积层F1和第二轻量卷积层F2）的参数量小于9，其中，第一轻量卷积层F1的参数量为5，第二轻量卷积层F2的参数量为1。

在另一些实施例中，第一类卷积层和第二类卷积层可以均为至少有一个网络参数为零的轻量卷积层，不过，第二类卷积层的参数量小于第一类卷积层的参数量。例如，卷积层的尺寸均为3×3，第一类卷积层的网络参数为图14中的第一轻量卷积层F1的网络参数，第二类卷积层的网络参数为图14中的第二轻量卷积层F2的网络参数。

此外，本申请实施例对第一类卷积层中卷积层的数量以及第二类卷积层中卷积层的数量不做任何限定。例如，参考图12，可控单元包括并联的3个卷积层，其中，包括1个第一类卷积层（即，卷积层A）和2个第二类卷积层（即，第一轻量卷积层F1和第二轻量卷积层F2）。再例如，参考图13，可控单元包括3个卷积层，3个卷积层包括2个第一类卷积层（即，2个卷积层A）和1个第二类卷积层（第一轻量卷积层F1）。

在一些实施例中，第一类卷积层包括多个卷积层，该多个卷积层的参数量是相同。例如，第一类卷积层包括多个图14中的卷积层A，多个卷积层A的参数量均为9。

在一些实施例中，第二类卷积层包括多个轻量卷积层，多个轻量卷积层中各个卷积层的参数量是相同。例如：第二类卷积层包括多个图14中的第一卷积层F1，多个轻量卷积层的参数量均为5，或者第二类卷积层包括多个图14中的第二类卷积层F2，多个轻量卷积层的参数量均为1。

在另一些实施例中，第二类卷积层包括多个轻量卷积层，多个轻量卷积层中各个卷积层的参数量不完全相同，应注意，不完全相同包括除完全相同以外的所有情况。换句话说，多个轻量卷积层中至少两个卷积层的参数量不同。例如，参考图14，第二类卷积层包括2个轻量卷积层：1个第一轻量卷积层F1（参数量为5）和1个第二轻量卷积层F2（参数量为1），这种情况下，2个轻量卷积层的参数量完全不同。又例如：第二类卷积层包括3个轻量卷积层：如图14中的2个第一轻量卷积层F1（参数量为5）和1个第二轻量卷积层F2（参数量为1），这种情况下，3个轻量卷积层中2个第一轻量卷积层F1的参数量相同，第二轻量卷积层F2的参数量与2个第一轻量卷积层F1的参数量不同。

需要说明的是，可控单元除了包括上述并联的N个卷积层外，还可以包括其他模块单元，本申请实施例不做任何限定。例如。参考图12和图13，可控单元还可以包括卷积层A和激活函数G，卷积层A和激活函数G所起的作用已在上文的实施例中描述，此处不再赘述。

本申请实施例中，去模糊模块被配置有多组权重，每组权重对应一个复杂度，每组权重包括与N个卷积层一一对应的N个权重, 其中，第i复杂度对应于多组权重中的第i组权重，基于第i组权重对每个卷积层的参数量进行加权融合得到的可控单元的总参数量用于表征第i复杂度。

以图12所示的可控单元为例，可控单元包括并联的3个卷积层，假设去模糊模块被配置有2组权重，每组权重包括与3个卷积层一一对应的3个权重，第1组权重为0.8、0.1、0.1，第二组权重为0.6、0.2、0.2，第1组权重对应的复杂度较高，用于对模糊度较高的图像进行处理，第2组权重对应的复杂度较低，用于对模糊度较低的图像进行处理。那么，基于第1组权重对每个卷积层的参数量进行加权融合得到的可控单元的总参数量为9×0.8+5×0.1＋1×0.1=7.8，该总参数量用于表征去模糊模块的第1复杂度，基于第2组权重对每个卷积层的参数量进行加权融合得到的可控单元的总参数量为9×0.6+5×0.2＋1×0.2=6.6，该总参数量用于表征去模糊模块的第2复杂度。可以看出，第1复杂度对应的参数量（7.8）大于第2复杂度对应的参数量（6.6），具有第1复杂度的可控单元的去模糊模块能够处理模糊度较高的图像，具有第2复杂度的可控单元的去模糊模块能够处理模糊度较低的图像。

本申请实施例，去模糊模块的每层可控单元被设计为包括并联的参数量多的第一类卷积层和参数量少的第二类卷积层的模块，并且，去模糊模块被配置有多组权重，通过多组权重中第i组权重对每个卷积层的参数量进行加权融合得到的每层可控单元的总参数量表征去模糊模块的第i复杂度，实现中，对于模糊度较大和模糊度较小的两个输入图，对模糊度较大的输入图采用的第一类卷积层的权重相对于对模糊度较小的输入图采用的第一类卷积层的权重大，且对模糊度较大的输入图采用的第一类卷积层的权重相对于对模糊度较小的输入图采用的第二类卷积层的权重小，由于第二类卷积层的参数量小于第一类卷积层的参数量，所以对模糊度较大的输入图进行去模糊处理时每层可控单元的总参数量大于对模糊度较小的输入图进行去模糊处理时每层可控单元的总参数量。因而，在输入图的模糊度较大的情况下，每层可控单元的总参数量多，去模糊模块的复杂度较高，利用较高复杂度的去模糊模块对输入图进行处理，可以提高输入图的去模糊效果，在输入图的模糊度较小的情况下，每层可控单元的总参数量少，去模糊模块的复杂度较低，利用较低复杂度的去模糊模块对输入图进行处理，可以减少第一去模糊模型的计算资源，提高了第一去模糊模型的运算效率。

可以理解，常规调节网络模型的复杂度的方法需要在电子设备的内存或显存中存储至少两种不同网络结构的网络模型，并且至少两种网络模型的参数量不相同，这样，才能利用不同参数量的模型实现调节网络模型的复杂度的功能，而本申请通过多组权重调节可控单元的总参数量的大小以调节去模糊模块的复杂度，在电子设备的内存或显存中存储一种包括可控单元的去模糊模块的网络结构以及多组权重就可以实现调节去模糊模块的复杂度的功能，相对于常规调节网络模型的复杂度的方法，本申请可以节约内存资源或显存资源。

在一些实施例中，去模糊模块还包括第一下采样层和第一上采样层，至少一层可控单元包括第一可控单元；以及，电子设备基于第i模糊度，通过具有第i复杂度的去模糊模块，对输入图进行去模糊处理，得到第i次去模糊处理的输出图，包括：

电子设备通过第一下采样层，缩小输入图或基于输入图得到的图的分辨率；基于第i模糊度，通过第一可控单元，提取从第一下采样层输出的图的局部特征；通过第一上采样层，扩大从第一可控单元输出的图的分辨率，以得到第i次去模糊处理的输出图。

电子设备在去模糊模块的第一下采样层中对图像执行下采样操作，能够缩小图像的分辨率。下采样操作可以通过卷积操作、池化操作等实现，本申请实施例对此不作限定。本申请实施例的下采样操作能够对图像进行压缩，一方面减少了特征的数量，导致了参数减少，进而简化了模型计算时的复杂度；另一方面保持了特征的某种不变性（旋转、平移、伸缩等）。并且下采样操作在对图像进行压缩时，能够更多地保留图像的背景信息以及更多地保留纹理信息。简而言之，下采样操作能够去除图像中的冗余信息，保留关键信息。

在本申请实施例中，电子设备通过第一下采样层，缩小输入图或基于输入图得到的图的分辨率的实现过程，与去模糊模块的网络结构有关。

在一些实施例中，第一下采样层是去模糊模块的第一层，那么，电子设备通过第一下采样层，缩小输入图的分辨率。例如：参考图11，第一下采样层为下采样D，电子设备将输入图直接输入下采样层D中，缩小输入图的分辨率。对于输入图的介绍可以参见其他实施例中的描述，此处不再赘述。

在另一些实施例中，去模糊模块的第一下采样层之前还包括至少一层网络层，例如，包括至少一层可控单元和/或卷积层，那么，电子设备通过第一下采样层，缩小基于输入图得到的图的分辨率。例如，参考图11，第一下采样层为下采样D，在下采样D之前还包括一层可控单元C1和一层卷积层A，输入图先经过卷积层A和可控单元C1的处理，得到基于输入图得到的图之后，才能经过下采样层D的处理，缩小基于输入图得到的图的分辨率。

还应理解，电子设备在去模糊模块的第一上采样层中对图像执行上采样操作，能够扩大图像的分辨率。上采样操作可以通过双线性插值、反卷积操作等实现，本申请实施例对此不作限定。

在本申请实施例中，电子设备通过第一上采样层，扩大从第一可控单元输出的图的分辨率，以得到第i次去模糊处理的输出图的实现过程，与去模糊模块的网络结构有关。

在一些实施例中，第一上采样层是去模糊模块的最后一层，那么，电子设备通过第一上采样层，扩大从第一可控单元输出的图的分辨率，可直接得到第i次去模糊处理的输出图。例如：参考图11，第一上采样层上为采样层E，电子设备通过上采样层E扩大从可控单元C输出的图的分辨率之后，直接可以得到第i次去模糊处理的输出图。对于输出图的介绍可以参见其他实施例中的描述，此处不再赘述。

在另一些实施例中，第一上采样层之后还包括至少一层网络层，例如，包括至少一层可控单元和/或卷积层，那么，电子设备通过第一上采样层，扩大从第一可控单元输出的图的分辨率之后，再经过至少一层网络层的处理，才能得到第i次去模糊处理的输出图。例如：参考图10，第一上采样层为上采样层E，在上采样层E之后还包括一层可控单元C3和一层卷积层A，电子设备通过上采样层E扩大从可控单元C2输出的图的分辨率之后，再经过可控单元C3和卷积层A的处理，才能得到第i次去模糊处理的输出图。

本申请实施例中，第一可控单元是指第一下采样层和第一上采样层之间的网络层，即，第一下采样层的输出为第一可控单元的输入，第一可控单元的输出为第一上采样层的输入。

在去模糊模块包括一层可控单元的实施例中，该一层可控单元即为第一可控单元。例如，在图11中，去模糊模块仅包括一层可控单元C，可控单元C即为第一可控单元。

在去模糊模块包括多层可控单元的实施例中，第一可控单元为该多层可控单元中位于第一下采样层和第一上采样层之间的网络层。例如，在图10中，去模糊模块包括3个可控单元：可控单元C1、可控单元C2和可控单元C1，可控单元C2即为第一可控单元。

本申请实施例中，电子设备通过第一可控单元提取从第一下采样层的局部特征时，是通过具有可以表征第i复杂度的总参数量的第一可控单元进行提取的。

应理解，第一可控单元具有能够动态变化的多个总参数量，通过变化的总参数量可以表征去模糊模块的复杂度。可控单元的总参数量可以表征去模糊模块的复杂度已在上文实施例中陈述，此处不再赘述。

由于去模糊模块的复杂度与图像的模糊度一一对应，所以第一可控单元的总参数量与图像的模糊度一一对应，即一个模糊度对应一个第一可控单元的总参数量。当通过模糊度判断模块确定出图像的模糊度后，第一可控单元可以确定对应于该模糊度的总参数量，该总参数量可以表征去模糊模块的复杂度，例如，该总参数量可以表征去模糊模块的第i复杂度，采用具有可以表征第i复杂度的总参数量的第一可控单元提取从第一下采样层输出的图的局部特征，以达到合理利用计算资源的效果。

在一些实施例中，电子设备通过具有可以表征第i复杂度的总参数量的第一可控单元提取从第一下采样层输出的图的局部特征，是通过具有基于对应于第i复杂度的第i组权重得到的总参数量的第一可控单元进行提取的。

可以理解，去模糊模块被配置有多组权重，每组权重对应一个复杂度，每组权重包括与第一可控单元的N个卷积层一一对应的N个权重，其中，第一可控单元的总参数量可以基于多组权重中第i组权重对每个卷积层的参数量进行加权融合得到，其中，第i组权重与第i复杂度对应。以图12所示的可控单元为第一可控单元为例，第一可控单元包括并联的3个卷积层，假设3个卷积层的网络参数如图14所示，以及假设对应于第i复杂度的第i组权重为0.8、0.1、0.1，那么，通过第一可控单元提取局部特征时，通过图14示出的3个卷积层的网络参数分别与从第一下采样层输出的图进行点积和累加操作之后，利用该组权重（0.8、0.1、0.1）对点积和累加结果进行加权平均，得到从第一下采样层输出的图的局部特征。

需要说明的是：去模糊模块除了包括第一下采样层、至少一层可控单元和第一上采样层外，还可以包括其他模块单元，本申请实施例不做任何限定。例如，参考图10，去模糊模块还可以包括卷积层A，卷积层A所起的作用已在上文实施例中描述，此处不再赘述。

本申请实施例，通过第一下采样层缩小输入图或基于输入图得到的图的分辨率，可以过滤输入图中作用较小、信息冗余的特征，保留输入图中关键的特征，以关键的特征对图像进行去模糊处理，从而减少了去模糊模块的计算量；并且，本申请通过第一上采样层扩大了从第一可控单元输出的图的分辨率，从而扩大图像的分辨率，使图像的模糊度降低，提升用户体验。

在本申请实施例中，可以通过两种方式确定第一图像的模糊度，以下做详细说明。

在一些实施例中，电子设备通过模糊度判断模块，确定第i次去模糊处理的输入图的第i模糊度，包括：

电子设备通过模糊度判断模块，计算输入图的图像梯度值；通过模糊度判断模块，根据输入图的图像梯度值确定输入图的第i模糊度。

应理解，图像梯度值是衡量图像灰度变化率的参数，由于越清晰的图像，图像的灰度变化率越大，越模糊的图像，图像的灰度变化率越小，所以本申请实施例可以用图像梯度值表征图像的模糊度。关于图像梯度值的具体描述可参考上文的相关描述，不再赘述。

应理解，模糊度判断模块中可以部署多种用于计算图像梯度值的算法，通过该算法可以计算出图像梯度值，例如，该算法可以是上文的公式一或公式二。

实现中，示例性的，如图8所示，模糊度判断模块包括图像梯度值计算单元6111和模糊度判断单元6112，图像梯度值计算单元6111用于计算图像的图像梯度值，模糊度判断单元6112用于根据图像梯度值确定图像的模糊度。其中，图像梯度值计算单元6111中可以部署多种用于计算图像梯度值的算法。

本申请实施例，电子设备确定第i次去模糊处理的输入图的第i模糊度时，首先计算输入图的图像梯度值，其次根据输入图的图像梯度值确定输入图的第i模糊度，可以较准确地确定输入图的模糊度，并且在确定第i模糊度时，不需要网络参数的参与，降低了第一去模糊模型的参数量，进而减小了第一去模糊模型的计算量，提高了第一去模糊模型的运算效率。

在上述实施例中，示例性地，第i模糊度与第i图像梯度值范围对应，输入图的图像梯度值属于第i图像梯度值范围；以及，电子设备通过模糊度判断模块，根据输入图的图像梯度值确定输入图的第i模糊度，包括：

电子设备通过模糊度判断模块，根据输入图的图像梯度值，将输入图的图像梯度值所属的第i图像梯度值范围对应的第i模糊度确定为输入图的模糊度。

本申请实施例中，模糊度判断模块中配置有多个模糊度与多个图像梯度值范围的对应关系，一个模糊度对应一个图像梯度值范围，该对应关系包括第i模糊度与第i图像梯度值范围的对应关系，这样，电子设备得到输入图的图像梯度值之后，确定输入图的图像梯度值所属的第i图像梯度值范围，将第i图像梯度值范围对应的第i模糊度确定为输入图的模糊度。

实现中，示例性的，模糊度判断单元6112配置有上述多个模糊度与多个图像梯度值范围的对应关系，电子设备通过图像梯度值计算单元6111计算出输入图的图像梯度值之后，通过模糊度判断单元6112将输入图的图像梯度值所属的第i图像梯度值范围对应的第i模糊度确定为输入图的模糊度。

上述实施例中通过输入图的图像梯度值确定模糊度的过程可以参考S52中电子设备通过去模糊模型中的模糊度判断模块确定图像1的模糊度的方式2的相关描述，此处不再赘述。

本申请实施例，电子设备可以通过模糊度判断模块，将输入图的图像梯度值所属的第i图像梯度值范围对应的第i模糊度确定为输入图的模糊度，从而可以较准确地确定输入图的模糊度。

在另一些实施例中，模糊度判断模块包括卷积层和全连接层；以及，通过模糊度判断模块，确定第i次去模糊处理的输入图的第i模糊度，包括：

电子设备通过卷积层，提取输入图的局部特征；通过全连接层，根据输入图的局部特征确定输入图所属的模糊度的概率，并基于输入图所属的模糊度的概率，确定输入图的第i模糊度。

应理解，卷积层是神经网络中的一种层，由至少一个卷积核组成。本申请实施例对卷积层的数量不作限定。卷积层的功能是对输入数据进行特征提取，卷积核与输入图的局部区域进行点积和累加操作，得到输入图的局部特征。

本申请实施例中，卷积层中卷积核的大小为k×k×c，其中，k×k是卷积核的尺寸，c是卷积核的通道，本申请实施例对卷积核的个数、卷积核的尺寸和通道数不作限定。全连接层，在整个神经网络中起到“分类器”的作用。在实际使用中，全连接层可由卷积操作实现。

实现中，示例性的，如图7所示，模糊度判断模块包括卷积层A和全连接层B，卷积层A用于提取输入图的局部特征。应理解，卷积层A是利用卷积核按照预设步长依次扫描输入图，并将每次扫描结果进行内积，即可得到输入图的局部特征。

全连接层用于确定输入图的模糊度。应理解，输入图经过卷积层A提取局部特征，输入图的局部特征可以为二维矩阵，全连接层B将二维矩阵转换成一维向量之后，对一维向量进行线性运算以及非线性运算，非线性运算可以由激活函数执行，通过非线性运算可以将线性运算输出的值域归一化，就可以得到输入图所属的模糊度的类别的概率，将最大概率对应的模糊度确定为输入图的模糊度。全连接层确定输入图的模糊度的具体实现过程可以参见上文实施例中的描述，此处不在赘述。

本申请实施例中，模糊度判断模块可以包括多个卷积层和多个全连接层，本申请实施例对卷积层和全连接层的数量不作限定。

本申请实施例通过模糊度判断模块中的卷积层和全连接层确定输入图的模糊度的实现过程与S52中电子设备通过去模糊模型中的模糊度判断模块，确定图像1的模糊度的方式1相同，此处不再赘述。

本申请实施例，电子设备可以通过卷积层，提取输入图的局部特征，通过全连接层，根据输入图的局部特征确定输入图所属的模糊度的概率，并基于输入图所属的模糊度的概率，确定输入图的第i模糊度，从而能够迅速、准确的确定模糊度。

在一些实施例中，电子设备在通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像之后，该方法还包括：

电子设备通过第二去模糊模型对第二图像进行去模糊处理，得到第三图像，第二去模糊模型与第一去模糊模型不同。

应理解，第二去模糊模型与第一去模糊模型不同是指第二去模糊模型的网络结构与第一去模糊模型的网络结构不同。具体不同之处在于，第二去模糊模型不包含模糊度判断模块，即，第二去模糊模型不需要判断图像的模糊度，只需要通过第二去模糊模型直接对图像进行去模糊处理即可。

还应理解，本申请实施例对第二去模糊模型的网络结构的具体形式不做任何限定，只要能够对图像进行去模糊处理即可。

例如，第二去模糊模型可以为图20或图21示出的网络结构。

本申请实施例，电子设备在第一图像经过M次去模糊处理，得到第二图像之后，用户仍认为第二图像不清晰的情况下，可以通过第二去模糊模型对第二图像进行去模糊处理，得到第三图像，进而可以使去模糊之后的图像的效果更优，提升用户体验。并且，在通过第二去模糊模型对第二图像进行去模糊处理时，不需要对第二图像进行模糊度的判断，可以直接对第二图像进行去模糊处理，从而减少第二去模糊模型的计算资源，提高了第二去模糊模型的运算效率。

在一些实施例中，电子设备通过第二去模糊模型对第二图像进行去模糊处理，得到第三图像，包括：

电子设备将第二图像和中间特征图输入融合模块进行融合，得到融合特征图，中间特征图为通过第一去模糊模型对第一图像进行一次去模糊处理的过程中输出的特征图；通过第二去模糊模型对融合特征图进行去模糊处理，得到第三图像。

在本申请实施例中，中间特征图为通过第一去模糊模型对第一图像进行M次去模糊处理中的任一次去模糊处理的过程中输出的特征图。例如，若M=1，中间特征图对第一图像进行仅有的一次去模糊处理的过程中输出的特征图。再例如，若M=2，中间特征图对第一图像进行第一次或第二次去模糊处理的过程中输出的特征图。

为了提取图像中更加丰富的特征信息，示例性地，在M大于1的情况中，中间特征图为通过第一去模糊模型对第一图像进行第M次去模糊处理的过程中输出的特征图。

换句话说，中间特征图为通过第一去模糊模型对第一图像进行最后一次去模糊处理的过程中输出的特征图。例如，若M=2，中间特征图对第一图像进行第二次去模糊处理的过程中输出的特征图。

可以理解，由于中间特征图为通过第一去模糊模型对第一图像进行第M次去模糊处理的过程中输出的特征图，该中间特征图中的特征信息已经通过第一去模糊模型的多次提取，所以该中间特征图中包含了更丰富更有用的特征信息，因此，将第二图像和中间特征图进行融合可以使第二去模糊模型提取图像中更加丰富且更有用的特征信息，能最大程度地提升去模糊效果以及去模糊处理的运算效率。

在上述实施例中，示例性地，融合模块可以包括卷积层和池化层，例如：融合模块的网络结构可以参见图19示出的网络结构。电子设备通过图19示出的卷积层A提取第二图像的局部特征，通过池化层K对卷积层A输出的特征图进行降维压缩，将池化层K的输出和中间特征图进行融合，例如通过张量积运算进行融合。关于卷积层和池化层的介绍可以参考上文实施例中的描述，此处不再赘述。

本申请实施例，电子设备在通过第二去模糊模型对第二图像进行去模糊处理时，可以将第二图像和中间特征图进行融合之后通过第二去模糊模型进行去模糊处理，由于中间特征图为通过第一去模糊模型对第一图像进行M次去模糊处理中的任一次去模糊处理的过程中输出的特征图，具有和第二图像相关的特征信息，因此，通过第二去模糊模型对融合特征图进行去模糊处理相对于通过第二去模糊模型单独对第二图像进行去模糊处理，第二去模糊模型可以提取图像中更丰富的特征信息以对第二图像进行去模糊处理，不仅能更有效地提升去模糊效果，而且可以提高去模糊处理的运算效率。

在一些实施例中，第二去模糊模型包括第二下采样层、至少一层卷积层和第二上采样层，至少一层卷积层包括第一卷积层；以及，电子设备通过第二去模糊模型对融合特征图进行去模糊处理，得到第三图像，包括：

电子设备通过第二下采样层，缩小融合特征图或基于融合特征图的得到的图的分辨率；通过第一卷积层，提取从第二下采样层输出的图的局部特征；通过第二上采样层，扩大从第一卷积层输出的图的分辨率，以得到第三图像。

应理解，电子设备在第二去模糊模型的第二下采样层中对融合特征图执行下采样操作，能够缩小融合特征图的分辨率。关于下采样操作的详细介绍可以参考上文实施例，此处不再赘述。

本申请实施例中，通过第二下采样层，缩小融合特征图或基于融合特征图的得到的图的分辨率的实现过程与第二去模糊模型的网络结构有关。在一些实施例中，第二下采样层是第二去模糊模型的第一层，那么，电子设备通过第二下采样层，缩小融合特征图的分辨率。例如：参考图21，第二下采样层为下采样D。电子设备可以直接将融合特征图输入下采样D中，缩小融合特征图的分辨率。

在另一些实施例中，第二去模糊模型的第二下采样层之前还包括至少一层网络层，例如，包括至少一层卷积层，那么，电子设备通过第二下采样层，缩小基于融合特征图得到的图的分辨率。例如：参考图20，第二下采样层为下采样D，在下采样D之前还包括一层卷积层A。融合特征图先经过卷积层A的处理，得到基于融合特征图得到的图之后，才能经过下采样层D的处理，缩小基于融合特征图得到的图的分辨率。

还应理解，电子设备在第二去模糊模型的第二上采样层中对融合特征图执行上采样操作，能够扩大融合特征图的分辨率。关于上采样操作的详细介绍可以参考上文实施例，此次不再赘述。

在本申请实施例中，电子设备通过第二上采样层，扩大从第一卷积层输出的图的分辨率，以得到第三图像的实现过程，与第二去模糊模型的网络结构有关。在一些实施例中，第二上采样层是第二去模糊模型的最后一层，那么，电子设备通过第二上采样层，扩大从第一卷积层输出的图的分辨率，得到第三图像。例如：参考图21，第二上采样层上采样E，电子设备通过上采样层E扩大从卷积层A输出的图的分辨率之后，直接可以得到第三图像。

在另一些实施例中，第二上采样层之后还包括至少一层网络层，例如包括至少一层卷积层，那么，电子设备通过第二上采样层，扩大从第一卷积层输出的图的分辨率，以得到第三图像。例如：参考图20，第二上采样层为上采样E，在上采样E之后还包括一层卷积层A3，电子设备通过上采样层E扩大从卷积层A2输出的图的分辨率之后，再经过卷积层A3的处理，才能得到第三图像。

本申请实施例中，第一卷积层是指第二下采样层和第二上采样层之间的网络层。第二下采样层的输出是第一卷积层的输入，第一卷积层的输出是第二上采样层的输入。

在第二去模糊模型包括一层卷积层的实施例中，该一层卷积层即为第一卷积层，例如，在图21中，第二去模糊模型仅包括一层卷积层，卷积层A即为第一卷积层。

在第二去模糊模型包括多层卷积层的实施例中，第一卷积层为该多层卷积层中位于第二下采样层和第二上采样层之间的网络层。例如，在图20中，第二去模糊模型包括3层卷积层：卷积层A1、卷积层A2和卷积层A3，卷积层A2即为第一卷积层。

本申请实施例中，通过第一卷积层提取从第二下采样层输出的图的局部特征的内部实现过程可以为：通过第一卷积层中的网络参数与第二下采样层输出的图进行点积和累加操作，得到第二下采样层输出的图的局部特征。例如，第一卷积层可以为第一类卷积层，通过第一类卷积层提取从第二下采样层输出的图的局部特征的内部实现过程可以为：例如，假设第一卷积层的网络参数为图14中的卷积层A所示的网路参数，那么，通过图14中的卷积层A示出的网络参数与第二下采样层输出的图进行点积和累加操作，得到第二下采样层输出的图的局部特征。

在其他实施例中，第一卷积层可以为第二类卷积层，通过第二类卷积层提取从第二下采样层输出的图的局部特征的内部实现过程和通过第一类卷积层提取从第二下采样层输出的图的局部特征的内部实现过程相同，此处不再赘述。

本申请实施例，电子设备通过第二下采样层，缩小融合特征图或基于融合特征图的得到的图，通过第一卷积层，提取从第二下采样层输出的图的局部特征；通过第二上采样层，扩大从第一卷积层输出的图的分辨率，以得到第三图像，可以实现对第二图像的再次去模糊，得到第三图像，第三图像的去模糊效果优于第二图像的去模糊效果，提升了用户体验，并且该处理过程不需要对第二图像进行模糊度的判断，可直接对第二图像进行去模糊处理，可以减少第二去模糊模型的计算资源，提高了第二去模糊模型的运算效率。

在一些实施例中，在检测到对第一图像的操作之前，还包括：

显示第一显示界面，第一显示界面包括第一图像；以及，在响应于操作，通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像之后，还包括：显示第二显示界面，第二显示界面包括第二图像。

在一些实施例，第一显示界面可以为图3中的（a）的显示界面，第二显示界面可以为图3中的（b）的显示界面。例如：当M=1时，响应于用户点击图3中的（a）的去模糊控件302，通过第一去模糊模型对第一图像进行1次去模糊处理，得到第二图像，此时，显示图3中的（b）的显示界面。

在另一些实施例中，第一显示界面可以为图4中的（a）的显示界面，第二显示界面可以为图4中（d）的显示界面。例如：当M大于1，如M=2时，响应于用户点击第一显示界面（图4中的（a）的显示界面）的去模糊控件302，此时，第一显示界面除了去模糊控件302，还包括去模糊1控件303和去模糊2控件304。响应于用户点击图4中的（b）的去模糊1控件303，通过第一去模糊模型对第一图像进行第1次去模糊处理，响应于用户点击图4中的（c）的去模糊控件304，通过第一去模糊模型对第一图像进行第2次去模糊处理，得到第二图像，此时，第二显示界面（图4中的（d）的显示界面）包括第二图像。

通常，用户对第一图像进行去模糊处理时需要将第一图像从电子设备传输到第三方软件，第三方软件对第一图像进行去模糊，而不能直接在电子设备中对第一图像进行去模糊处理，影响用户使用电子设备的体验。

本申请实施例，用户可以在电子设备的第一显示界面中对第一图像进行去模糊处理，得到第二图像，可以在第二显示界面中查看第二图像，以检验第一图像的去模糊效果，提升用户使用电子设备的体验。

在上述实施例中，通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像，显示第二显示界面，第二显示界面包括第二图像之后，通过第二去模糊模型对第二图像进行去模糊处理，得到第三图像，显示第三显示界面，第三显示界面包括第三图像。

本申请实施例中，第一显示界面可以为图4中的（a）的显示界面，第二显示界面可以为图4中（c）的显示界面，第三显示界面可以为图4中（d）的显示界面。

例如：当M等于1时，响应于用户点击第一显示界面（图4中的（a）的显示界面）的去模糊控件302，此时，第一显示界面除了去模糊控件302，还包括去模糊1控件303和去模糊2控件304。响应于用户点击图4中的（b）的去模糊1控件303，通过第一去模糊模型对第一图像进行去模糊处理，此时，第二显示界面（图4中的（c）的显示界面）包括第二图像。响应于用户点击图4中的（c）的去模糊控件304，通过第二去模糊模型对第二图像进行去模糊处理，得到第三图像，此时，第三显示界面（图4中的（d）的显示界面）包括第三图像。

在一些实施例中，第一显示界面为图库应用的显示界面。

通常用户对第一图像进行去模糊处理时不能直接在电子设备中进行处理，而本申请实施例可以直接在电子设备的图库应用中对第一图像进行处理。

本申请实施例，用户可以在电子设备的图库应用的显示界面中对第一图像进行去模糊处理，得到第二图像，提升用户使用电子设备的体验。

以上结合附图5至图23介绍了本申请实施例提供的图像处理的方法的内部实现过程，以下结合附图介绍了该方法在实现过程中使用的去模糊模型的训练过程。

图24是本申请实施例提供的第一去模糊模型的训练方法800的示意性流程图。

该方法800可由电子设备或服务器执行，也可由电子设备或服务器中的处理器执行，也可以由电子设备或服务器中的芯片执行，本申请实施例不做任何限定。为了便于描述，以电子设备为例对方法800做详细说明。

S81、电子设备选取至少一组训练数据，每组训练数据包括多个模糊图像和一个清晰图像，每组训练数据中的模糊图像的模糊度不相同，一组训练数据中的多个模糊图像对应一个模糊度，各组训练数据中的多个模糊图像对应的模糊度不相同。

本申请实施例中，训练数据可以通过以下方式获得：

首先，采集清晰图像。

本申请实施例在采集清晰图像时，可以使用高帧率（例如240帧/秒 （240 fps））相机采集视频。高帧率相机采集的视频可以保证视频中每帧图像都是清晰的。

其次，对清晰图像进行不同程度的模糊处理。

本申请实施例中，可以利用对相邻图像帧的像素取平均的方法，对清晰图像进行模糊处理，相邻图像帧的数量越多，得到的模糊图像的模糊度越大。示例性的，图25示出了一种模糊图像的示例图。将视频中相邻3帧图像的所有像素值除以所有的像素个数，即可得到模糊图像1，将视频中相邻9帧图像的所有像素值除以所有的像素个数，即可得到模糊图像2，将视频中相邻13帧图像的所有像素值除以所有的像素个数，即可得到模糊图像3，模糊图像1的模糊度＜模糊图像2的模糊度＜模糊图像3的模糊度。

最后，将利用相同数量的相邻帧得到的模糊图像和模糊图像对应的清晰图像作为一组训练数据，以此方法，即可得到训练数据。其中，模糊图像对应的清晰图像为模糊图像在去模糊模型中训练时的标准分析结果。

通常，在对清晰图像进行模糊处理时，是使用双三次降采样、添加噪声等方法处理，这些方法仅能模拟、逼近真实的模糊图像，而不能得到最原生的模糊图像，利用这些方法得到的训练数据去训练模型时，由于训练数据不是最原生的模糊图像，使训练出的模型在进行去模糊处理时，得到的清晰图像与原始的清晰图像差异较大，使模型不能准确的还原出清晰图像，而本申请是利用对相邻图像帧的像素取平均的方法对清晰图像进行模糊处理，可以得到最原生的模糊图像，从而可以提升模型去模糊处理时的准确性。

S82、电子设备基于至少一组训练数据对第一去模糊模型进行训练，直至第一去模糊模型收敛。

应理解，第一去模糊模型的网络结构可以参见图6中的第一去模糊模型610。

在对第一去模糊模型进行训练时，首先，将至少一组训练数据分别输入至初始的第一去模糊模型中，得到初始的第一去模糊模型的训练分析结果。

由于初始时第一去模糊模型尚未训练完成，因此，此时输出的训练分析结果与标准分析结果之间会存在一定的偏差、误差。

其次，根据训练分析结果和标准分析结果计算本轮训练的全局误差。

应理解，在得到各训练分析结果之后，可以根据各训练分析结果与对应的标准分析结果计算本轮训练的全局误差，并判断该全局误差是否满足预设条件，如判断该全局误差是否小于5%。在此，预设条件可以在训练第一去模糊模型时确定，例如，可以设定预设条件为全局误差小于特定阈值，该特定阈值可以是一个百分比数值，其中，该特定阈值越小，则最后训练完成得到的第一去模糊模型越稳定，预测的工况状态的精确度也将越高。

本申请实施例中，全局误差是指损失函数，损失函数可以包括均方差损失、平均绝对误差损失、交叉熵损失函数等，本申请实施例对损失函数的类型不作限定。

然后，若全局误差不满足预设条件，则调整第一去模糊模型的模型参数，并将模型参数调整后的第一去模糊模型确定为初始的第一去模糊模型。

应理解，当本轮训练的全局误差不满足预设条件时，例如，当本轮训练的全局误差为10%时，则可以调整第一去模糊模型的模型参数，并将模型参数调整后的第一去模糊模型确定为初始的第一去模糊模型，然后重新以训练数据进行训练，以反复调整第一去模糊模型的模型参数，使得后续根据训练分析结果与对应的标准分析结果计算得到的全局误差最小化，直到最终的全局误差满足预设条件。

最后，若全局误差满足预设条件，则确定第一去模糊模型已收敛。

应理解，当本轮训练的全局误差满足预设条件时，例如，当本轮训练的全局误差小于5%时，则可以确定第一去模糊模型已收敛。

由于本申请实施例的训练数据是通过对相邻图像帧的像素取平均得到的，所以，通过本申请实施例提供的训练数据对第一去模糊模型进行训练，可以提高第一去模糊模型进行去模糊处理时的准确性。

应注意，在对图像还需要通过第二去模糊模型进行处理的实施例中，在处理图像之前，需要对包括第一去模糊模型和第二去模糊模型的去模糊模型进行训练，对该去模糊模型的训练方式与第一去模糊模型的训练方式相同，此处不再赘述。

本申请实施例中，去模糊模型的网络结构可以参见图18示出的网络结构，此处不再赘述。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

以上结合图5至图25，详细说明了本申请实施例提供的图像处理的方法的内部实现过程，以及该方法在实现过程中使用的去模糊模型的训练过程，下面结合附图详细描述本申请实施例提供的电子设备。

图26是本申请实施例提供的电子设备900的示例性框图。该电子设备900包括处理模块91，处理模块91用于执行以下操作：

检测到对第一图像的操作；

响应于操作，通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像，M为大于或等于1的整数；

其中，第一去模糊模型包括模糊度判断模块和去模糊模块；以及，通过第一去模糊模型对第一图像进行第i次去模糊处理的过程包括：

通过模糊度判断模块，确定第i次去模糊处理的输入图的第i模糊度，输入图为第一图像或通过第一去模糊模型对第一图像进行i-1次去模糊处理后得到的图，i大于或等于1且小于或等于M；

基于第i模糊度，通过具有第i复杂度的去模糊模块，对输入图进行去模糊处理，得到第i次去模糊处理的输出图，第i复杂度与第i模糊度对应，输出图为第二图像或第i+1次去模糊处理的输入图。

应理解，处理模块91可用于执行方法700中电子设备执行的各个步骤，具体描述可参见上文的相关描述，不再赘述。

此外，处理模块91还可用于执行方法500、600、或800中电子设备执行的各个步骤，具体描述可参见上文的相关描述，不再赘述。

应理解，这里的电子设备900以功能单元的形式体现。这里的术语“模块”可以指应用特有集成电路（application specific integrated circuit，ASIC）、电子电路、用于执行一个或多个软件或固件程序的处理器（例如共享处理器、专有处理器或组处理器等）和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。

在本申请的实施例，图26中的电子设备也可以是芯片或者芯片系统，例如：片上系统（system on chip，SoC）。

图27是本申请实施例提供的电子设备1000的示意性结构图。电子设备1000用于执行上述方法实施例中对应的各个步骤和/或流程。

电子设备1000包括处理器101、收发器102和存储器103。其中，处理器101、收发器102和存储器103通过内部连接通路互相通信，处理器101可以实现电子设备1000中各种可能的实现方式中处理单元101的功能。存储器103用于存储指令，处理器101用于执行存储器103存储的指令，或者说，处理器101可以调用这些存储指令实现电子设备1000中处理单元101的功能。

可选地，该存储器103可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器101可以用于执行存储器中存储的指令，并且当该处理器101执行存储器中存储的指令时，该处理器101用于执行上述与电子设备对应的方法实施例的各个步骤和/或流程。

处理器101用于执行以下步骤：

检测到对第一图像的操作；

响应于操作，通过第一去模糊模型对第一图像进行M次去模糊处理，得到第二图像，M为大于或等于1的整数；

其中，第一去模糊模型包括模糊度判断模块和去模糊模块；以及，通过第一去模糊模型对第一图像进行第i次去模糊处理的过程包括：

通过模糊度判断模块，确定第i次去模糊处理的输入图的第i模糊度，输入图为第一图像或通过第一去模糊模型对第一图像进行i-1次去模糊处理后得到的图，i大于或等于1且小于或等于M；

基于第i模糊度，通过具有第i复杂度的去模糊模块，对输入图进行去模糊处理，得到第i次去模糊处理的输出图，第i复杂度与第i模糊度对应，输出图为第二图像或第i+1次去模糊处理的输入图。

应理解，各个器件执行上述各个方法中相应步骤的具体过程在上述方法实施例中已经详细说明，为了简洁，此处不再赘述。

此外，处理器101还可用于执行方法500、600、或800中电子设备执行的各个步骤，具体描述可参见上文的相关描述，不再赘述。

应理解，在本申请实施例中，上述装置的处理器可以是中央处理单元（centralprocessing unit，CPU），该处理器还可以是其他通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。

本申请实施例提供一种计算机程序产品，当所述计算机程序产品在电子设备运行时，使得电子设备执行上述实施例中的技术方案。其实现原理和技术效果与上述方法相关实施例类似，此处不再赘述。

本申请实施例提供一种可读存储介质，所述可读存储介质包含指令，当所述指令在电子设备运行时，使得所述电子设备执行上述实施例的技术方案。其实现原理和技术效果类似，此处不再赘述。

本申请实施例提供一种芯片，所述芯片用于执行指令，当所述芯片运行时，执行上述实施例中的技术方案。其实现原理和技术效果类似，此处不再赘述。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线（digital subscriber line，DSL））或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，高密度数字视频光盘（digital video disc，DVD））、或者半导体介质（例如，固态硬盘（solid state disk，SSD））等。

应理解，说明书通篇中提到的“实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各个实施例未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

还应理解，在本申请中，“当…时”、“若”以及“如果”均指在某种客观情况下UE或者基站会做出相应的处理，并非是限定时间，且也不要求UE或基站实现时一定要有判断的动作，也不意味着存在其它限定。

本领域普通技术人员可以理解：本申请中涉及的第一、第二等各种数字编号仅为描述方便进行的区分，并不用来限制本申请实施例的范围，也表示先后顺序。

本申请中对于使用单数表示的元素旨在用于表示“一个或多个”，而并非表示“一个且仅一个”，除非有特别说明。本申请中，在没有特别说明的情况下，“至少一个”旨在用于表示“一个或者多个”，“多个”旨在用于表示“两个或两个以上”。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，其中A可以是单数或者复数，B可以是单数或者复数。

本文中术语“……中的至少一个”或“……中的至少一种”，表示所列出的各项的全部或任意组合，例如，“A、B和C中的至少一种”，可以表示：单独存在A，单独存在B，单独存在C，同时存在A和B，同时存在B和C，同时存在A、B和C这六种情况，其中A可以是单数或者复数，B可以是单数或者复数，C可以是单数或者复数。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参见前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

本申请中各个实施例之间相同或相似的部分可以互相参考。在本申请中各个实施例、以及各实施例中的各个实施方式/实施方法/实现方法中，如果没有特殊说明以及逻辑冲突，不同的实施例之间、以及各实施例中的各个实施方式/实施方法/实现方法之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例、以及各实施例中的各个实施方式/实施方法/实现方法中的技术特征根据其内在的逻辑关系可以组合形成新的实施例、实施方式、实施方法、或实现方法。以上所述的本申请实施方式并不构成对本申请保护范围的限定。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准总之，以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (19)

1.一种图像处理的方法，其特征在于，包括:

检测到对第一图像的操作；

响应于所述操作，通过第一去模糊模型对所述第一图像进行M次去模糊处理，得到第二图像，M为大于或等于1的整数；

其中，所述第一去模糊模型包括模糊度判断模块和去模糊模块；以及，所述通过所述第一去模糊模型对所述第一图像进行第i次去模糊处理的过程包括：

通过所述模糊度判断模块，确定所述第i次去模糊处理的输入图的第i模糊度，所述输入图为所述第一图像或通过所述第一去模糊模型对所述第一图像进行i-1次去模糊处理后得到的图，i大于或等于1且小于或等于M；

基于所述第i模糊度，通过具有第i复杂度的所述去模糊模块，对所述输入图进行去模糊处理，得到所述第i次去模糊处理的输出图，所述第i复杂度与所述第i模糊度对应，所述输出图为所述第二图像或第i+1次去模糊处理的输入图。

2.根据权利要求1所述的方法，其特征在于，所述去模糊模块包括至少一层可控单元，每层可控单元的总参数量用于表征所述去模糊模块的所述第i复杂度。

3.根据权利要求2所述的方法，其特征在于，所述每层可控单元包括并联的N个卷积层，所述N个卷积层包括第一类卷积层和第二类卷积层，所述第二类卷积层的参数量小于所述第一类卷积层的参数量，N为大于1的整数；

所述去模糊模块被配置有多组权重，每组权重对应一个复杂度，所述每组权重包括与所述N个卷积层一一对应的N个权重，其中，所述第i复杂度对应于所述多组权重中的第i组权重，基于所述第i组权重对每个卷积层的参数量进行加权融合得到的所述每层可控单元的总参数量用于表征所述第i复杂度。

4.根据权利要求3所述的方法，其特征在于，所述第二类卷积层包括多个轻量卷积层，所述多个轻量卷积层中各个轻量卷积层的参数量不完全相同。

5.根据权利要求2至4任一项所述的方法，其特征在于，所述去模糊模块还包括第一下采样层和第一上采样层，所述至少一层可控单元包括第一可控单元；以及，所述基于所述第i模糊度，通过具有第i复杂度的所述去模糊模块，对所述输入图进行去模糊处理，得到所述第i次去模糊处理的输出图，包括：

通过所述第一下采样层，缩小所述输入图或基于所述输入图得到的图的分辨率；

通过所述第一可控单元，提取从所述第一下采样层输出的图的局部特征；

通过所述第一上采样层，扩大从所述第一可控单元输出的图的分辨率，以得到所述第i次去模糊处理的输出图。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述通过所述模糊度判断模块，确定所述第i次去模糊处理的输入图的第i模糊度，包括：

通过所述模糊度判断模块，计算所述输入图的图像梯度值；

通过所述模糊度判断模块，根据所述输入图的图像梯度值确定所述输入图的第i模糊度。

7.根据权利要求6所述的方法，其特征在于，所述第i模糊度与第i图像梯度值范围对应，所述输入图的图像梯度值属于所述第i图像梯度值范围；以及，所述通过所述模糊度判断模块，根据所述输入图的图像梯度值确定所述输入图的第i模糊度，包括：

通过所述模糊度判断模块，将所述输入图的图像梯度值所属的所述第i图像梯度值范围对应的所述第i模糊度确定为所述输入图的模糊度。

8.根据权利要求1至4任一项所述的方法，其特征在于，所述模糊度判断模块包括卷积层和全连接层；以及，所述通过所述模糊度判断模块，确定所述第i次去模糊处理的输入图的第i模糊度，包括：

通过所述卷积层，提取所述输入图的局部特征；

通过所述全连接层，根据所述输入图的局部特征确定所述输入图所属的模糊度的概率，并基于所述输入图所属的模糊度的概率，确定所述输入图的所述第i模糊度。

9.根据权利要求1至4任一项所述的方法，其特征在于，在所述通过第一去模糊模型对所述第一图像进行M次去模糊处理，得到第二图像之后，所述方法还包括：

通过第二去模糊模型对所述第二图像进行去模糊处理，得到第三图像，所述第二去模糊模型与所述第一去模糊模型不同。

10.根据权利要求9所述的方法，其特征在于，所述通过第二去模糊模型对所述第二图像进行去模糊处理，得到第三图像，包括：

将所述第二图像和中间特征图输入融合模块进行融合，得到融合特征图，所述中间特征图为通过所述第一去模糊模型对所述第一图像进行一次去模糊处理的过程中输出的特征图；

通过所述第二去模糊模型对所述融合特征图进行去模糊处理，得到所述第三图像。

11.根据权利要求10所述的方法，其特征在于，所述中间特征图为通过所述第一去模糊模型对所述第一图像进行第M次去模糊处理的过程中输出的特征图，M为大于1的整数。

12.根据权利要求10所述的方法，其特征在于，所述第二去模糊模型包括第二下采样层、至少一层卷积层和第二上采样层，所述至少一层卷积层包括第一卷积层；以及，所述通过所述第二去模糊模型对所述融合特征图进行去模糊处理，得到所述第三图像，包括：

通过所述第二下采样层，缩小所述融合特征图或基于所述融合特征图得到的图的分辨率；

通过所述第一卷积层，提取从所述第二下采样层输出的图的局部特征；

通过所述第二上采样层，扩大从所述第一卷积层输出的图的分辨率，以得到所述第三图像。

13.根据权利要求1至4任一项所述的方法，其特征在于，在所述检测到对第一图像的操作之前，所述方法还包括：

选取至少一组训练数据，每组训练数据包括多个模糊图像和一个清晰图像，一组训练数据中的所述多个模糊图像对应一个模糊度，各组训练数据中的所述多个模糊图像对应的模糊度不相同；

基于所述至少一组训练数据对所述第一去模糊模型进行训练，直至所述第一去模糊模型收敛。

14.根据权利要求13所述的方法，其特征在于，所述每组训练数据的所述多个模糊图像是基于对所述一个清晰图像进行像素平均处理得到的。

15.根据权利要求1至4任一项所述的方法，其特征在于，在所述检测到对第一图像的操作之前，所述方法还包括：

显示第一显示界面，所述第一显示界面包括所述第一图像；以及，

在所述响应于所述操作，通过第一去模糊模型对所述第一图像进行M次去模糊处理，得到第二图像之后，所述方法还包括：

显示第二显示界面，所述第二显示界面包括所述第二图像。

16.根据权利要求15所述的方法，其特征在于，所述第一显示界面为图库应用的显示界面。

17.一种电子设备，其特征在于，包括：

一个或多个处理器；

一个或多个存储器；

所述一个或多个存储器存储有一个或者多个计算机程序，所述一个或者多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述电子设备执行如权利要求1至16中任一项所述的方法。

18.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1至16中任一项所述的方法。

19.一种芯片，其特征在于，所述芯片包括：

存储器：用于存储指令；

处理器，用于从所述存储器中调用并运行所述指令，使得安装有所述芯片的电子设备执行如权利要求1至16中任一项所述的方法。

Images