CN117729445A - 一种图像处理方法、电子设备以及计算机可读存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、电子设备以及计算机可读存储介质，涉及图像处理技术领域。该方法应用于电子设备，方法包括：显示第一界面，第一界面包括第一控件；响应于对第一控件的操作，获取第一待处理图像，第一待处理图像的清晰度小于第一阈值；在第二界面中显示对第一待处理图像进行增强处理后的先验重建图像，先验重建图像的清晰度大于第一待处理图像的清晰度；其中，先验重建图像是基于先验图像对第一待处理图像进行增强处理得到的图像，先验图像为与第一待处理图像包括相同被拍摄对象，且清晰度大于第二阈值的图像，先验重建图像中包括先验图像中包含的被拍摄对象的特征。

Description

一种图像处理方法、电子设备以及计算机可读存储介质

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、电子设备以及计算机可读存储介质。

背景技术

在拍照的场景中，常由于光线较暗、镜头或被拍摄物体移动导致拍摄得到的图像存在降质的问题，此处降质包含噪声、模糊、JPEG压缩及降采样。为了能够拍摄到清晰的图像，目前智能手机、电脑等电子设备中配置有去降质算法，通过去降质算法将拍摄得到的降质图像恢复为清晰的图像。

目前的去降质算法一般是通过在图像中恢复缺失或损坏的信息来减轻或消除图像的降质效果，从而使得图像变得清晰。然而，降质的图像中通常存在噪声、或图像信息缺失过多等问题，导致无法准确的恢复图像中缺失或损坏的信息，尤其无法恢复图像中的细节，因此存在去降质效果不好的问题。

发明内容

有鉴于此，本申请提供了一种图像处理方法、电子设备以及计算机可读存储介质，能够将降质图像恢复为带有图像细节的清晰图像，提高图像质量和显示效果。

第一方面，本申请提供一种图像处理方法，应用于电子设备，方法包括：显示第一界面，第一界面包括第一控件；响应于对第一控件的操作，获取第一待处理图像，第一待处理图像的清晰度小于第一阈值；在第二界面中显示对第一待处理图像进行增强处理后的先验重建图像，先验重建图像的清晰度大于第一待处理图像的清晰度；其中，先验重建图像是基于先验图像对第一待处理图像进行增强处理得到的图像，先验图像为与第一待处理图像包括相同被拍摄对象，且清晰度大于第二阈值的图像，先验重建图像中包括先验图像中包含的被拍摄对象的特征。

其中，第一待处理图像的清晰度小于第一阈值可以是指将降质的图像作为需要先验重建的图像。基于上述过程，电子设备可以获取清晰度小于第一阈值的第一待处理图像，并基于先验图像对第一待处理图像进行增强处理，以得到更清晰的先验重建图像，提高图像质量和显示效果。

在第一方面的一种可能的实现方式中，基于先验图像对第一待处理图像进行增强处理得到先验重建图像的过程包括：将先验图像与第一待处理图像对齐，得到第二待处理图像；融合第一待处理图像与第二待处理图像，得到先验重建图像。

其中，图像对齐可以包括关键点对齐和\或光流对齐。

将先验图像与第一待处理图像对齐后，可以保证第二待处理图像中既包括先验图像中的内容也包括第一待处理图像中的内容，并且，先验图像中的内容与第一待处理图像中的相同或相似的内容在第二待处理图像中的位置相同，以便于将第一待处理图像与第二待处理图像更好的融合，并得到清晰的先验重建图像。

在第一方面的一种可能的实现方式中，将先验图像与第一待处理图像对齐，得到第二待处理图像，包括：将先验图像与第一待处理图像进行关键点对齐，得到第三待处理图像；将第三待处理图像与第一待处理图像进行光流对齐，得到第二待处理图像。

将先验图像与第一待处理图像进行关键点对齐，可以实现物理意义的对齐，之后，再将关键点对齐得到的第三待处理图像与第一待处理图像进行光流对齐，可以使得到的第二待处理图像中的图像纹理更清晰。

在第一方面的一种可能的实现方式中，融合第一待处理图像与第二待处理图像，得到先验重建图像，包括：基于注意力机制融合第一待处理图像与第二待处理图像，得到先验重建图像。

注意力机制可以将多个特征融合为一起，并在融合过程将注意力集中在需要注意的部分，以减少来自其他部分的影响。

在第一方面的另一种可能的实现方式中，基于先验图像对第一待处理图像进行增强处理得到先验重建图像的过程包括：将先验图像以及第一待处理图像输入至先验重建模型，以获得先验重建图像；先验重建模型为基于训练样本集训练得到，先验重新模型具备基于先验图像将低分辨率图像恢复为高分辨率图像的功能；其中，训练样本集包括多组训练样本，每组训练样本包括清晰度小于第三阈值的第一图像、清晰度大于第四阈值的第一图像、以及与第一图像包括相同被拍摄对象且清晰度大于第五阈值的第二图像。

一些示例中，低分辨率图像指图像清晰度较低的降质图像或者上述第一待处理图像，高分辨率图像指图像清晰度较高的先验重建图像。

其中，清晰度小于第三阈值的第一图像以及清晰度大于第四阈值的第一图像均是第一图像，其区别为清晰度不同。此处的第三阈值与第四阈值用于区分两个第一图像之间的清晰度，第三阈值与第四阈值之间的关系可以根据实际情况来确定。例如，在为了保证清晰度大于第四阈值的第一图像比清晰度小于第三阈值的第一图像更清晰，可以使得第三阈值小于或等于第四阈值。

先验重建模型是基于训练样本集预先训练好的，电子设备可以直接利用先验重建模型将低分辨率图像恢复为高分辨率图像，提高效率。并且，为了保证先验重建模型可以将低分辨率图像准确的恢复为高分辨率图像，可以基于多组包括降质的第一图像、清晰的第一图像以及清晰的第二图像的训练样本训练先验重建模型，提高先验重建模型的准确性。

在第一方面的一种可能的实现方式中，第一图像与第二图像为不同光照条件下拍摄得到的。

利用在不同光照条件下拍摄得到的第一图像与第二图像训练先验重建模型，可以保证先验重建模型输出的准确性以及鲁棒性。

在第一方面的一种可能的实现方式中，第一图像中的被拍摄对象与第二图像中的被拍摄对象的姿态不同。

在第一图像中的被拍摄对象与第二图像中的被拍摄对象的姿态不同的情况下，可以保证先验重建模型基于输入的包括处于不同姿态的被拍摄对象的低分辨率图像以及先验图像，准确的输出高分辨率图像，从而提高图像的质量以及显示效果。

在第一方面的一种可能的实现方式中，获取先验图像的过程，包括：识别第一待处理图像中被拍摄对象的人物身份；基于人物身份在第三图像中确定先验图像，第三图像为清晰度大于第二阈值的图像。

在一些实施例中，被拍摄对象可以是人物、动物等。在一些情况下，被拍摄对象也可以是可被识别的其他物体，例如，标志性的风景、建筑、人偶等。

其中，电子设备可以根据人脸识别技术识别被拍摄对象的人物身份。在被拍摄对象为动物或其他物体的情况下，电子设备可以根据图像识别技术实现被拍摄对象的人物身份的识别过程。

在电子设备获取到第一待处理图像后，可以根据第一待处理图像中被拍摄对象的人物身份来确定相应的先验图像，从而保证先验图像中的被拍摄对象与第一待处理图像中的被拍摄对象相同，继而保证电子设备能够利用先验图像对第一待处理图像进行先验重建过程，以得到清晰的先验重建图像。

在第一方面的一种可能的实现方式中，第一界面用于展示图像，第一界面中包括第一待处理图像，第一控件为图像增强控件，图像增强控件用于基于先验图像对第一待处理图像进行增强处理获取先验重建图像。

用户可以通过对第一界面中的第一控件进行操作，以使电子设备可以基于先验图像对第一待处理图像进行增强处理获取先验重建图像，提高图像质量以及显示效果。

第二方面，本申请提供一种电子设备，所述电子设备包括显示屏、存储器和一个或多个处理器；所述显示屏、所述存储器和所述处理器耦合；所述显示屏用于显示所述处理器生成的图像，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述处理器执行所述计算机指令时，使得所述电子设备执行如第一方面及其任一种可能的设计方式所述的方法。

第三方面，本申请提供一种计算机可读存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如上第一方面及其任一种可能的设计方式所述的方法。

第四方面，本申请提供一种计算机程序产品，包括计算机程序/指令，当计算机程序/指令在电子设备上运行时，使得所述电子设备执行如上第一方面及其任一种可能的设计方式所述的方法。

第五方面，本申请提供一种装置，该装置包含在电子设备中，该装置具有实现上述方面及可能的实现方式中任一方法中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，分配模块或单元，扫描模块或单元，回收模块或单元，移动模块或单元和存储模块或单元等。

第六方面，本申请实施例提供了一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现上述第一方面提供的任意一种方法。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

可以理解地，上述提供的第二方面及其任一种可能的设计方式所述的电子设备，第三方面所述的计算机可读存储介质，以及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。

附图说明

图1为本申请实施例提供的一种拍摄降质图像的场景示意图；

图2为本申请实施例提供的一种去降质算法原理分析示意图；

图3为本申请实施例提供的一种人脸超分辨模块去降质的示意图；

图4为本申请实施例提供的一种图像处理方法的示意图；

图5为本申请实施例提供的一种电子设备的结构示意图；

图6为本申请实施例提供的一种电子设备的软件结构框图；

图7为本申请实施例提供的一种图像处理方法流程示意图一；

图8为本申请实施例提供的一种拍照的场景下的图像处理方法的示意图；

图9为本申请实施例提供的一种已得到图像的场景下的图像处理方法的示意图；

图10为本申请实施例提供的另一种已得到图像的场景下的图像处理方法的示意图；

图11为本申请实施例提供的一种图像处理方法流程示意图二；

图12为本申请实施例提供的一种脸部关键点的示意图；

图13为本申请实施例提供的一种关键点对齐的示意图；

图14为本申请实施例提供的一种光流对齐的示意图；

图15为本申请实施例提供的一种光流对齐计算的示意图；

图16为本申请实施例提供的一种图像融合的示意图一；

图17为本申请实施例提供的一种图像融合的示意图二；

图18为本申请实施例提供的一种图像处理方法的示意图；

图19为本申请实施例提供的一种训练数据的示意图；

图20为本申请实施例提供的一种先验重建模型的示意图；

图21为本申请实施例提供的一种图像处理方法的示意图。

具体实施方式

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项（个）”或其类似表达，是指的这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b，或c中的至少一项（个），可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。

需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

在介绍本申请实施例之前，首先对本申请实施例涉及的技术进行详细介绍。

先验，该词起源于经院哲学术语，在通常意义上的理解与“经验”相对，意为先于经验的，但为构成经验所不可或缺的。

在图像处理领域，先验一般是指通过对图像经过一系列处理可以直接得到的信息，这些信息是可以区别于其他图像的特有信息。例如，相关技术中，一张RGB图像为自然图像，将该RGB图像处理为灰度图，该灰度图中仅包括亮度信息，该亮度信息是该RGB图像区别于其他图像的特有信息，因此，该灰度图可以被称为RGB图像的先验信息。

在本申请实施例中，使用到了“先验图像”这一描述。本申请实施例中的先验图像可以是指包括可用于将降质图像恢复为清晰图像的信息的图像。示例性地，先验图像中包括的人像与降质图像中包括的人像为同一个人物的人像，并且，先验图像为清晰的图像。具体关于先验图像此处不做过多赘述，可参见后续实施例中的详细介绍。

以电子设备为手机为例，对拍摄出现降质图像的场景进行说明。在用户打开手机的相机应用进行拍摄的情况下，如图1所示，手机的取景框中显示有被拍摄对象的人脸。一般情况下，用户是手持手机进行拍摄，那么，在用户按下快门的时刻，容易出现手部晃动带动手机晃动的情况；或者，在光线较暗的拍照场景中，由于拍照参数不合适导致图像存在噪点的情况。在这个情况下，拍摄出的图像可能出现降质。如，响应于用户点击用于打开图库的缩略图标的操作，手机可以显示出用户按下快门时拍摄得到图像。如图1所示，可以看到拍摄得到的图像中人脸出现降质的问题。

为了避免拍摄出如图1所示的降质图像，目前相关技术中的去降质算法的思路为，通过增强低分辨率（low resolution，LR）人脸图像得到高分辨率（high resolution，HR）人脸图像。因此，该去降质算法侧重于对LR人脸图像进行分析，以基于LR人脸图像以及分析结果恢复得到相应的HR人脸图像。

进一步地，在将降质图像（如上述LR人脸图像）恢复为清晰图像（如上述HR人脸图像）的过程中，需要找到使图像降质的原因，再根据图像降质的原因建立与图像降质原因相关的数学模型。之后，利用建立的数学模型将降质图像恢复为清晰的图像。

具体地，目前相关技术中的去降质算法中利用人脸超分辨模型对LR人脸图像进行恢复。在确定出人脸超分辨模型之前，可以先基于HR人脸图像以及LR人脸图像分析降质图像与清晰图像之间的关系，并将该二者之间的关系数学化为退化模型。例如，相关技术根据HR人脸图像以及LR人脸图像之间的分析确定出退化模型。退化模型Φ可数学化为如下公式（1）：

公式（1）

其中，表示LR人脸图像，/>表示HR人脸图像，/>表示退化模型的参数，该参数包括模糊核、下采样参数和噪声。

该退化模型Φ用于表示LR人脸图像与HR人脸图像之间的降质关系。如图2所示，通过该退化模型，可以将清晰图像I2退化为降质图像Il。

根据上述退化模型Φ，可以确定出用于模拟退化模型的逆过程，从而得到对应的人脸超分辨率（Face Super-resolution，FSR）模型，即下述公式（2）中的F模型：

公式（2）

其中，表示LR人脸图像，/>表示超分辨率（Face Super-resolution，SR）人脸图像，/>表示F模型的参数，该参数/>可以通过下述公式（3）求解：

公式（3）

其中，表示F模型的最优训练参数，L表示/>和/>之间的损失。

根据退化模型确定出F模型后，就可以将图2中的降质图像Il还原为清晰图像I2。

如此，得到的F模型就可以用于将降质图像处理为清晰的重建图像。如图3所示，若手机拍摄得到了一张降质图像，手机可以将该降质图像输入至预先确定好的F模型中，得到该F模型输出的一张重建图像。然而，由于F模型实质是基于包括人像的多个训练样本进行深度学习预先得到，且训练样本中的人像与降质图像中的人像不同，因此，实际在利用F模型对降质图像进行处理后，得到的重建图像中存在人像的部分细节与降质图像中被拍摄人像的细节存在缺失或不相同的问题。导致最终得到的图像质量不高，且显示效果不好。

为此，本申请实施例提供一种图像处理方法，如图4所示，可以将一张清晰图像作为先验图像，利用该先验图像以及降质图像进行先验重建处理，得到先验重建图像。其中，先验图像以及降质图像中包括的人像为同一个人物的人像，先验图像为清晰的图像，且先验图像中包括人像的图像细节。由于先验重建图像为基于先验图像以及降质图像进行先验重建处理得到的，因此，先验重建图像与降质图像中包括的人像的姿态一致，且先验重建图像中还包括先验图像中包括的部分或全部的人像的图像细节。通过上述方法得到的先验重建图像不仅比降质图像更清晰，且包括更多人像的图像细节，能够有效提高图像质量以及显示效果。

为了更好地理解本申请实施例，首先对本申请实施例提供的电子设备进行介绍。

本申请实施例提供的图像处理方法，可以应用于电子设备，该电子设备具体可以是手机、平板电脑、智慧屏、笔记本电脑、车载设备、可穿戴设备（如智能手表）、超级移动个人计算机（ultra-mobile personal computer，UMPC）、上网本、个人数字助理（personaldigital assistant，PDA）、人工智能（artificial intelligence）设备等终端设备。本申请实施例对电子设备的具体类型、所安装的操作系统均不作限制。

以下，介绍本申请实施例提供的电子设备的硬件结构。

图5示出了电子设备100的结构示意图。电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。

充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。

天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC ，FM，和/或IR技术等。

电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLED，Micro-OLED，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。

在摄像头193拍摄到降质图像的情况下，可以采用本申请实施例提供的图像处理方法，基于与该降质图像对应的先验图像，对该降质图像进行增强处理，得到先验重建图像，从而提高图像质量和显示效果。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network ，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

电子设备100可以通过音频模块170，扬声器，受话器，麦克风，耳机接口，以及应用处理器等实现音频功能。例如音乐播放，录音等。

音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。扬声器，用于将音频电信号转换为声音信号。受话器，用于将音频电信号转换成声音信号。麦克风，用于将声音信号转换为电信号。耳机接口用于连接有线耳机。

传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

按键190包括开机键，音量键等。马达191可以产生振动提示。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。

以下，介绍本申请实施例提供的电子设备的软件结构。

电子设备的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的操作系统为例，示例性说明电子设备100的软件结构。

图6是本发明实施例的电子设备100的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将操作系统分为四层，从上至下分别为应用程序层，应用程序框架层，运行时(runtime)和系统库，以及内核层。

需要说明的是，本申请实施例以一种操作系统举例来说明，在其他操作系统中，只要各个功能模块实现的功能和本申请的实施例类似也能实现本申请的方案。

应用程序层可以包括一系列应用程序包。如图6所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图6所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器，先验重建模块等。

窗口管理器用于管理窗口程序。内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。视图系统包括可视控件，例如显示文字的控件，显示图像的控件等。电话管理器用于提供电子设备100的通信功能。资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图像，布局文件，视频文件等等。通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。

先验重建模块用于基于先验图像对降质图像进行先验重建处理，以得到清晰图像。

Runtime包括核心库和虚拟机。Runtime负责操作系统的调度和管理。

核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是操作系统的核心库。

应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，二维图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

二维图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

下面结合拍照场景，示例性说明电子设备100软件以及硬件的工作流程。

当触摸传感器接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是单击操作，该单击操作所对应的控件为相机取景框界面显示的拍摄控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获图像。在捕获到的图像为降质图像的情况下，应用程序框架层中的先验重建模块可以确定与该降质图像对应的先验图像，并基于该先验图像对降质图像进行先验重建处理，得到清晰图像。

在上述拍照场景中，在用户按下拍摄控件的情况下，电子设备通过摄像头获取降质图像之后，可以执行下述图像处理方法，得到清晰图像。

另一些场景中，用户还可以在图库中选择降质图像，在点击相应的先验重建控件之后，可以执行下述图像处理方法，得到清晰图像。

上述场景在后续的图像处理方法介绍中详细说明，此处不再赘述。

下面，结合附图介绍本申请实施例提供的图像处理方法。

图7为本申请实施例提供的一种图像处理方法流程示意图一，该图像处理方法由电子设备执行。

S701、电子设备获取降质图像以及与降质图像对应的先验图像。

其中，降质图像以及与降质图像对应的先验图像中包括相同的被拍摄对象，如此，电子设备可以利用先验图像中的被拍摄对象，将降质图像中的被拍摄对象进行修复。上述降质图像可以为本申请实施例中的第一待处理图像，降质图像的清晰度小于第一阈值。

进一步地，为了保证降质图像的修复效果，可以采用清晰度大于阈值的图像作为先验图像。如此，利用清晰的先验图像中被拍摄对象的特征，可以有效的将降质图像修复为清晰图像。例如，图4中可以明显的看出降质图像中被拍摄对象的面部以及身体其他部分均发生轮廓重叠降质的情况，而先验图像中被拍摄对象是清晰的，未出现轮廓重叠降质的情况。

一些示例中，由于先验图像的清晰度大于阈值，那么，先验图像中包括图像细节，如痣、皱纹、发丝等。例如，图4中的先验图像中，可以清晰的看到被拍摄对象右眼下部以及下巴左部各有一颗痣，并且，被拍摄对象的嘴角处有皱纹，而在降质图像中这些面部特征均没有体现。如此，可以保证利用清晰的先验图像获取到的先验重建图像中，也包括这些面部特征，从而提高图像的质量。

在降质图像的清晰度小于第一阈值的情况下，本申请中先验图像的清晰度大于第二阈值。第一阈值与第二阈值之间可以没有大小关系。

在一些实施例中，先验图像中被拍摄对象的姿态与降质图像中被拍摄对象的姿态可以相同也可以不同。多数情况下，先验图像中被拍摄对象的姿态与降质图像中被拍摄对象的姿态不同。

其中，被拍摄对象的姿态可以是指图像中被拍摄对象的动作或身体部位。例如，如图4所示，降质图像中被拍摄对象与先验图像中被拍摄对象相同，降质图像中被拍摄对象的身体部位为头部至肩部，且被拍摄对象无动作，先验图像中被拍摄对象的身体部位为头部至腰部，且被拍摄对象的动作为双手交叉放置于胸前。

降质图像以及与降质图像对应的先验图像的获取方式与不同的应用场景对应。例如，在拍照的场景下，降质图像以及与降质图像对应的先验图像可以是由电子设备自行确定的。又如，在已得到图像的场景下，降质图像以及与降质图像对应的先验图像可以是由用户选择的，或者，降质图像是由用户选择，与降质图像对应的先验图像可以是由电子设备自行确定的。

以下，介绍在拍照的场景下，S701的具体实现。

在拍照的场景下，以电子设备为手机为例，手机的显示屏中显示如图8所示的预览界面。预览界面中包括取景框、拍摄控件等。取景框中显示的图像为当前摄像头实时获取到的预览数据。在用户按下拍摄控件的情况下，手机将获取该时刻摄像头捕获的图像，以完成拍摄动作。

在一些实施例中，在拍照的场景中，电子设备可以将摄像头在用户按下拍摄控件时刻捕获的图像作为降质图像。或者，在拍照的场景中，并且在电子设备开启自动处理图像功能的情况下，电子设备可以将摄像头在用户按下拍摄控件时刻捕获的图像作为降质图像。

其中，电子设备开启自动处理图像功能，可以是指电子设备可以执行本申请实施例提供的图像处理方法，以基于先验图像将降质图像处理为先验重建图像，从而得到清晰的图像。

上述预览界面可以是本申请实施例中的第一界面，拍摄控件可以是本申请实施例中的第一控件。

可以理解的是，用户按下拍摄控件的时刻获取到的图像可能并不低质。例如，电子设备在用户按下拍摄控件的时刻获取到的图像实际在人眼看来并不低质，又如，通过图像质量评价算法计算出该图像的降质度，而该降质度表示该图像的降质程度较小。因此，在另一些实施例中，在拍照的场景中，电子设备可以在获取到摄像头在用户按下拍摄控件时刻捕获的图像之后，判断该图像是否为降质图像。或者，在拍照的场景中，并且在电子设备开启自动处理图像功能的情况下，电子设备可以在获取到摄像头在用户按下拍摄控件时刻捕获的图像之后，判断该图像是否为降质图像。

一些示例中，电子设备可以根据图像的清晰程度，判断该图像是否为降质图像。例如，电子设备通过图像质量评价算法计算出该图像的降质度之后，判断该图像的降质度是否大于预设阈值。在该图像的降质度大于预设阈值时，说明该图像存在降质的问题，电子设备可以将该图像作为降质图像，并继续执行后续步骤。相应地，在该图像的降质度小于预设阈值时，说明该图像的降质问题较小，电子设备可以不将该图像作为降质图像。

在上述实施例中，图像质量评价算法可以为灰度方差算法、灰度差分绝对值之和方差算法、灰度差分平方和方差算法以及拉普拉斯梯度算法等任意一种算法或多种算法的组合，具体算法内容可以参见相关技术，此处不做赘述。

又一些示例中，电子设备可以检测电子设备的晃动，并根据检测结果判断该图像是否为降质图像。例如，电子设备在摄像头捕获该图像的时刻检测到电子设备发生晃动，则说明此时获取的图像存在降质的可能性，因此，可以将该图像作为降质图像。

在上述拍照的场景中，在电子设备确定降质图像之后，可以根据降质图像中的人物身份确认与降质图像对应的先验图像。例如，电子设备可以识别降质图像中人物的身份信息，之后，在现有的图库中选择包括与该身份信息相同的人物的图像作为先验图像。

其中，电子设备识别人物身份信息的方式可以为人脸识别等技术，具体可参见相关技术，此处不再赘述。

以下，介绍在已得到图像的场景下，S701的具体实现。

其中，已得到图像的场景是指电子设备已经通过拍摄、与其他电子设备通信等方式得到一张降质的图像，并且该图像已存储于电子设备中的场景。仍以电子设备为手机为例，如图9所示，手机的显示界面中显示多个已存储的图像。

在一些实施例中，在已拍摄得到图像的场景下，电子设备可以将用户选中的图像作为降质图像。例如，如图9所示，手机显示相册展示界面，在相册展示界面中，包括多张图像的缩放图标。如图9所示，用户手指点击一张图像对应的缩放图标后，手机显示该图像的展示界面。图像展示界面中可以包括图像增强控件。在用户点击该图像增强控件的情况下，电子设备可以将该图像作为降质图像。

上述图像展示界面可以是本申请实施例中的第一界面，图像增强控件可以是本申请实施例中的第一控件，上述相册展示界面可以是本申请实施例中的第二界面。

需要说明的是，电子设备也可以一次性获取多个降质图像，之后，再获取与每个降质图像对应的先验图像。例如，如图10所示，用户在手机显示的相册展示界面中长按其中一个图像的缩放图标，以开始批量选择降质图像。在批量选择降质图像的界面中，如图10所示，右上角可以有全选控件，在用户点击该全选控件的情况下，电子设备可以将相册中所有的图像作为降质图像。批量选择降质图像的界面中，在如图10所示，每张降质图像的缩放图标左上角设置有选择控件，选择控件为空心圆圈的形状表示该降质图像未被选中，选择控件为中心有对号的圆圈的形状表示该降质图像被选中。如图10所示，在三张降质图像的缩放图标为中心有对号的圆圈的形状的情况下，响应于用户点击图像增强控件的操作，电子设备将对应的三张降质图像作为待处理的降质图像。

上述相册展示界面可以是本申请实施例中的第一界面，图像增强控件可以是本申请实施例中的第一控件。

其中，用户在点击如图8所示手机的取景框中用于打开图库的缩略图标的情况下，或者，用户在点击图库应用的图标的情况下，手机可以显示如图9所示的相册展示界面。

在电子设备确定降质图像之后，电子设备可以根据用户的选择确定与降质图像对应的先验图像，或者，电子设备可以自行确定与降质图像对应的先验图像。例如，如图9所示，在用户点击图像展示界面中包括的图像增强控件之后，手机可以显示先验图像选择界面，在该先验图像选择界面中包括多个图像的缩放图标，在用户点击以选中其中一个图像对应的缩放图标，并点击确定控件后，电子设备可以将该缩放图标对应的图像作为先验图像。又如，在批量选择多张降质图像的情况下，用户也可以在对应的先验图像选择界面中为每个降质图像选择对应的先验图像。再如，电子设备还可以根据降质图像中的人物身份确认与降质图像对应的先验图像，具体可参见上述实施例，此处不再赘述。

在上述实施例中，图像处理方法中所使用的个人信息仅限于取得个人单独同意的信息，包括但不限于在用户使用该功能前，通知并提醒用户阅读相关用户协议或通知，并签署包括授权相关用户信息的协议。

例如，电子设备在实施本申请实施例提供的图像处理方法时，需要读取存储器中已存储的图像等信息，并对图像中的个人信息进行识别。因此，在电子设备实施本申请实施例提供的图像处理方法之前，电子设备可以显示授权提示信息，该授权提示信息中包括提示文字、同意授权选项以及拒绝授权选项。其中，提示文字用于介绍电子设备在实施上述图像处理方法时所需要用到的个人信息以及个人信息的使用范围。

一些示例中，电子设备在显示提示文字以通知并提醒用户阅读相关用户协议或通知，并且在用户签署包括授权相关用户信息的协议后，电子设备可以执行本申请实施例提供的图像处理方法。例如，在用户阅读提示文字并选中同意授权选项的情况下，电子设备可以执行本申请实施例提供的图像处理方法。在用户阅读提示文字并选中拒绝授权选项的情况下，电子设备无法执行本申请实施例提供的图像处理方法。

在电子设备获取到降质图像以及先验图像之后，可以执行下述S702：

S702、电子设备基于先验图像对降质图像进行先验重建，得到清晰图像。

上述清晰图像可以为本申请中的先验重建图像。其中，电子设备可以采用将先验图像以及降质图像进行融合的方式实现先验重建。

在一些实施例中，电子设备可以将先验图像中与人物相关的图像细节融合至降质图像中，以得到图像细节清晰的清晰图像。例如，电子设备从先验图像中确定出与人物相关的图像细节，之后，在降质图像中找出这些图像细节所在的位置，将图像细节叠加至该位置，以得到清晰图像。

又一些实施例中，电子设备可以将先验图像中特征，融合至降质图像中的对应的位置，以得到清晰图像。其中，图像特征可以是指颜色特征、纹理特征、形状特征等。颜色特征描述了图像中某位置的色彩，纹理特征描述了图像中某位置的物体表面性质，形状特征描述了图像中某位置的物体轮廓。

一些示例中，电子设备从先验图像确定出的图像特征为被拍摄对象右眼下方的痣，之后，从降质图像中确定出被拍摄对象右眼下方对应的位置，之后，将被拍摄对象右眼下方的痣融合至降质图像中的对应位置，以得到清晰图像。

上述实施例中涉及到的融合采用的算法，例如，泊松融合算法、金字塔融合算法等，可以参见相关技术，此处不再赘述。

电子设备执行S702后，可得到清晰图像，电子设备可以将清晰图像存储于电子设备的存储器中，并在用户需要查看该清晰图像时，在显示屏中展示该清晰图像。

在一些实施例中，在拍照的场景中，如图8所示，用户按下拍摄控件后手机发生晃动，经过上述图像处理方法，获取的清晰图像的缩略图标显示于预览界面的左下角。响应于用户点击图8所示预览界面左下角的清晰图像的缩略图标，手机展示图库对应的展示界面，该展示界面中包括有经上述图像处理方法处理得到的清晰图像。

又一些实施例中，在已得到图像的场景下，如图9所示，响应于用户选择降质图像的操作，手机展示先验图像的选择界面，之后，响应于用户选择先验图像并点击确定的操作，手机执行上述图像处理方法得到清晰图像，并把该清晰图像展示于手机的显示屏中，以便于用户查看。

为了更详细的说明本申请实施例提供的图像处理方法，以下，结合图11-图18进行介绍。

图11为本申请实施例提供的一种图像处理方法流程示意图二，该图像处理方法由电子设备执行。

S1101、电子设备获取待处理图像LQ1以及先验图像REF。

先验图像REF可以为通过上述S701相关实施例中的方式获取的先验图像。其中，基于“先验”一词在通常意义上的理解，以及先验图像在本申请实施例中所起到的作用，本申请采用英文单词“reference（参考）”指代先验图像REF。

在一些实施例中，本实施例S1101中的待处理图像与上述实施例S701中的降质图像对应，因此，待处理图像也可以被称为低质量（low quality）图像，由此，S1101中待处理图像采用LQ1与后续步骤中的待处理图像进行区分。上述待处理图像LQ1可以为本申请中的第一待处理图像。

又一些实施例中，待处理图像LQ1还可以是经过预处理的低质量图像。低质量图像可以是上述实施例S701中的降质图像。其中，预处理可以去除低质量图像中的部分噪声，或者，提高低质量图像的清晰度，从而保证后续利用待处理图像LQ1以及先验图像REF能够更准确的确定出先验重建图像REC。

其中，本申请采用英文单词“reconstruction（重建）”指代先验重建图像REC。

一些示例中，预处理可以包括滤波。滤波的方法可以包括基于空域的滤波方法和基于频域的滤波方法中的一种或多种。其中，基于空域的滤波方法可以包括均值滤波、终止滤波以及高斯滤波等中的一种或多个。基于频域的滤波方法包括以下过程：先将图像进行傅里叶变换，之后在频域对图像进行滤波，最后，对滤波后的图像进行逆傅里叶变换得到去噪后的图像，即待处理图像LQ1。以上方法具体可参见相关技术，此处不再赘述。

又一些示例中，预处理还可以包括例如相关技术中利用去降质算法对低质量图像进行的处理，此处可参见上述相关技术的描述，此处不再赘述。

可以理解的，还可以采用其他方式预处理，此处不对具体地预处理方式作限制。

获取到待处理图像LQ1以及先验图像REF之后，为了能够基于待处理图像LQ1以及先验图像REF进行融合实现先验重建，从而得到清晰的先验重建图像，电子设备可以先通过下述S1102以及S1103提取图像中的关键点，并根据关键点对待处理图像LQ1以及先验图像REF进行初步的融合处理。

S1102、电子设备获取待处理图像LQ1的脸部关键点以及先验图像REF的脸部关键点。

由于待处理图像LQ1以及先验图像REF不是完全相同的，那么，被拍摄对象的某些特征在待处理图像LQ1中的位置，与相同的特征在先验图像REF中的位置也不是完全相同的。为了保证待处理图像LQ1以及先验图像REF可以融合，电子设备可以分别从待处理图像LQ1以及先验图像REF找出脸部关键点，以便于后续基于脸部关键点进行图像对齐。

其中，脸部关键点可以包括五官关键点、人脸关键点等。一些示例中，一般五官关键点的数量为六个，如图12所示，两个眼睛的瞳孔处分别一个关键点，鼻尖处一个关键点，嘴巴处三个关键点，其中一个关键点在嘴巴中间，另外两个关键点分别在嘴角处。又一些示例中，脸部关键点还可以是指人脸关键点，人脸关键点分别位于眉毛、眼睛、鼻梁、鼻翼、嘴唇等部分，具体可参见相关技术，此处不再赘述。

需要说明的是，在S1102中，电子设备可以根据当前实际的图像处理需求来确定待处理图像LQ1以及先验图像REF中的关键点。在本申请实施例中以人脸对齐为例，因此电子设备在S1102中提取了待处理图像LQ1的脸部关键点以及先验图像REF的脸部关键点。若实际需要对人体姿态进行对齐，则电子设备在S1102中可以提取待处理图像LQ1的人体关键点以及先验图像REF的人体关键点，此处不对电子设备提取的关键点不作具体限制。

在一些实施例中，待处理图像LQ1以及先验图像REF中人物的姿态可能不同，或者，待处理图像LQ1以及先验图像REF的图像大小可能不同，那么相同特征在两个图像中的位置可能存在不同。例如，在待处理图像LQ1以及先验图像REF的图像大小完全相同的情况下，以相同的方式建立二维坐标系来表述图像中每个像素的位置。此时，被拍摄对象眼睛的瞳孔中心对应的像素在待处理图像LQ1中的位置为（1，2），被拍摄对象眼睛的瞳孔中心对应的像素在先验图像REF中的位置为（2，3）。若电子设备直接将待处理图像LQ1以及先验图像REF进行融合，则会导致融合后的先验重建图像中存在位置（1，2）以及位置（2，3）均存在被拍摄对象眼睛的画像，导致先验重建图像不清楚。

为此，电子设备在执行S1102之后，通过下述S1103将两个图像中不同位置的相同脸部关键点进行对齐，以保证最终得到清楚的先验重建图像。

S1103、电子设备对齐待处理图像LQ1的脸部关键点以及先验图像REF的脸部关键点，以得到关键点对齐后的待处理图像LQ2。

根据上述实施例可知同一个脸部关键点在待处理图像LQ1中的位置以及先验图像REF中的位置可能不相同，因此，可以通过拓扑变换、或旋转平移错切的方式实现不同图像中不同位置的同一个脸部关键点的对齐。

其中，对齐是指以待处理图像LQ1中的内容为基准，对先验图像REF中的内容进行旋转、翻转、错切、缩放和平移使其尽可能的与待处理图像LQ1中的内容接近的过程。

一些示例中，可以通过仿射矩阵对先验图像REF中的内容进行旋转、翻转、错切、缩放和平移。例如，以脸部关键点为眼睛为例，眼睛的瞳孔中心对应的像素在先验图像REF中的位置为（x，y），该位置记为矩阵M1。眼睛的瞳孔中心对应的像素在待处理图像LQ1中的位置为（x’，y’），该位置记为矩阵M2。理论上通过矩阵的旋转原理，可以计算出矩阵M1与矩阵M2之间的关系，也就是说，M1=A·M2。其中，A为未知的仿射矩阵，用于表示矩阵M1中像素所在位置与矩阵M2中像素所在位置的旋转、翻转、错切、缩放和平移的关系。

上述针对眼睛的脸部关键点，可以得到两个与A相关的方程。那么，针对其他四个脸部关键点，相应地可以得到四个与A相关的方程。这样，可以根据六个与A相关的方程得到一组方程式，并利用最小二乘求解的思想求解出A。之后，电子设备可根据已知的仿射矩阵A将先验图像REF中其他像素的位置转换为该像素在待处理图像LQ1中的位置，并将转换后的像素与待处理图像LQ1中相应位置的像素进行叠加，以获得关键点对齐后的待处理图像LQ2。例如，如图13所示，电子设备对齐待处理图像LQ1的脸部关键点以及先验图像REF的脸部关键点，可以得到关键点对齐后的待处理图像LQ2。待处理图像LQ2中包括待处理图像LQ1中的内容以及先验图像REF中的内容，比如，图13中可以看出，先验图像中被拍摄对象右眼下部的痣以及下巴左部的痣均出现在待处理图像LQ2中，并且，先验图像中被拍摄对象嘴角出的皱纹，也出现在了待处理图像LQ2中。

在一些实施例中，电子设备在得到关键点对齐后的待处理图像LQ2后，可以基于待处理图像LQ2进行处理得到先验重建图像。

可选地，电子设备在执行完S1103之后，还可以执行S1104，以保证能够将关键点对齐后的待处理图像LQ2以及先验图像REF进行更准确的匹配，使得关键点对齐后的待处理图像LQ2中的像素与先验图像REF中的像素能够更好的融合，提高先验重建图像的清晰度。上述待处理图像LQ2可以为本申请中的第三待处理图像。

S1104、电子设备将关键点对齐后的待处理图像LQ2以及先验图像REF进行光流对齐，以得到光流对齐后的待处理图像LQ3。

如图14所示为光流对齐后的待处理图像LQ3。可以看出，待处理图像LQ3中与先验图像REF对应的特征部分与待处理图像LQ2对应的特征融合在了一起。例如，在图13所示的待处理图像LQ2中，可以看出被拍摄对象的眉毛的轮廓保留了待处理图像LQ1以及先验图像REF的轮廓，导致待处理图像LQ2中被拍摄对象的眉毛的轮廓整体较大，效果类似两个不同的眉毛形状直接叠加在一起。而在待处理图像LQ3中被拍摄对象的眉毛轮廓与待处理图像LQ1中被拍摄对象的眉毛轮廓更为相似，其中又保留了先验图像REF中被拍摄对象的部分眉毛轮廓，从而使得被拍摄对象的眉毛轮廓更为清晰。

上述待处理图像LQ3可以为本申请中的第二待处理图像。

光流对齐的主要思想为每个像素依次进行匹配，之后，将先验图像中的像素矢量 移动至待处理图像LQ2中与其匹配的像素矢量所在的位置。一些示例中，将每张图像看做一 个三维矩阵的情况下，三维矩阵的高度为H（height），宽度为W（width），通道数为C （channel），那么，该三维矩阵可以认为是由多个像素块组成。如图15所示，先验图像REF以 及待处理图像LQ2均表示为三维矩阵。每个三维矩阵均由多个像素矢量组成。例如，图15中 先验图像REF中的像素矢量p表示为矢量，其中R表示实数。之后，电子设备将该像素 矢量p与待处理图像LQ2中每个像素矢量进行点乘运算，每次点乘运算计算得到的数值大小 可以表示像素矢量p与待处理图像LQ2中对应像素矢量之间的相关性。最后，选择所有点乘 运算计算得到的最大数值，并将计算该数值所用到的待处理图像LQ2中对应像素矢量作为 与先验图像REF中的像素矢量p对应的像素矢量p’，如图15所示。之后，电子设备将先验图像 REF中的像素矢量p移动至待处理图像LQ2中对应的像素矢量p’的位置，如此，便可以实现光 流对齐。

电子设备通过关键点对齐过程，即执行S1103可以将待处理图像LQ1以及先验图像REF实现物理意义的像素级别的对齐，之后，电子设备再通过光流对齐，即执行S1104可以将待处理图像LQ2以及先验图像REF将经过物理意义的像素级别的对齐的图像更好的进行融合，使得得到的待处理图像LQ3中的图像纹理更清晰。

可以理解地，图15中像素矢量p’的位置是一种示例，实际上像素矢量p’的位置可以是待处理图像LQ2中任意位置的像素矢量，具体与点乘运算的结果相关。

之后，电子设备执行S1105：

S1105、电子设备融合待处理图像LQ1与待处理图像LQ3，以得到先验重建图像REC。

在一些实施例中，可以利用Transformer（变换器）注意力机制融合待处理图像LQ1与待处理图像LQ3。例如，仍将待处理图像LQ1与待处理图像LQ3看做三维矩阵。其中，待处理图像LQ1与表示为HWC，待处理图像LQ3表示为H’W’C’。如果将待处理图像LQ3的三维矩阵重新排列，写为二维矩阵的形式，将C’单独作为一维是数据，H’W’数组依次排列为一维数据，相当于重新排列后的矩阵有H’×W’个C’，将其写为矩阵Q，矩阵Q表示待处理图像LQ1中的每个像素矢量，那么，如图16所示，待处理图像LQ1则可以表示为Q=HWC。相应地，如果将待处理图像LQ1的三维矩阵重新排列，写为二维矩阵的形式，将C单独作为一维是数据，HW数组依次排列为一维数据，相当于有H×W个C，将其写为矩阵K，K表示先验图像REF中的每个像素矢量，待处理图像LQ3则可以表示为K=H’W’C’。Transformer的注意力机制计算Q矩阵和K矩阵中所有像素的相似度，计算相关矩阵B=QKT=HWC×（H’W’C’）T，相关矩阵B用于表示Q矩阵和K矩阵中所有像素矢量的相似度，也就是表示待处理图像LQ1中的每个像素矢量与待处理图像LQ3中的每个像素矢量之间的相似关系，如图16所示。之后，将相关矩阵B与待处理图像LQ3的三维矩阵的二维矩阵形式H’W’C’相乘，也就是图16中的矩阵V，可以完成加权的过程，加权后可以得到先验重建图像REC。与注意力机制对应，如图16所示，可以将加权过程中用到的待处理图像LQ3的三维矩阵H’W’C’表示为矩阵V，在上述过程中，V=K。

在上述过程中，以待处理图像LQ1的第一个像素矢量为例，将待处理图像LQ1的第一个像素矢量和待处理图像LQ3中的多个像素矢量匹配，基于相似度原理将先验图像多个像素矢量加权求和得到待处理图像LQ1第一个像素矢量的重建结果。按照上述过程，可计算得到待处理图像LQ1中每一个像素矢量的重建结果，从而基于注意力机制完成待处理图像LQ1与待处理图像LQ3的融合，获得先验重建图像。

另一些实施例中，如图17所示，电子设备可以将关键点对齐后得到的图像的特征、高清先验图像的特征、低质量的待处理图像的特征利用concate方式融合。其中，concate为一种融合函数名称，该函数利用卷积核进行融合。也就是说，通过上述融合函数可以将上述特征所有通道的信息一起融合，可以完成注意力机制的融合，从而得到先验重建图像REC的特征。

需要说明的是，上述融合待处理图像LQ3与先验图像REF可以通过自注意力机制或交叉注意力机制中的任意一种实现，本实施例不做限制。

以下，结合图18介绍图像处理方法，图18为本申请实施例提供的一种图像处理方法流程示意图三，该图像处理方法由电子设备执行。

电子设备在获取到低质量图像以及先验图像REF后，可以先将低质量图像输入至图像预处理模块中进行预处理，以得到待处理图像LQ1。之后，电子设备将待处理图像LQ1以及先验图像REF输入至图像处理模块中。该图像处理模块包括关键点对齐处理模块、光流对齐处理模块以及融合处理模块，其中，关键点对齐处理模块可以执行如上述实施例中的S1102以及S1103、光流对齐处理模块用于执行上述图像处理方法中的S1104，以及融合处理模块用于执行上述图像处理方法中的S1105。最终，图像处理模块可以输出一张先验重建图像REC。

在一些实施例中，电子设备可以自行利用多组训练数据训练得到先验重建模型。电子设备可以预先基于多组训练数据训练得到先验重建模型，以使高清先验图像REF以及待处理图像LQ1被输入至训练得到先验重建模型中后，先验重建模型可以直接输出一张先验重建图像REC。

另一些实施例中，电子设备中配置一个训练好的先验重建模型，就可以完成利用待处理图像LQ以及先验图像REF得到先验重建图像的过程。其中，该先验重建模型可以是由其他电子设备或服务器等训练得到的，电子设备可以从其他电子设备或服务器等处获取到训练好的先验重建模型。又或者，训练好的先验重建模型可以配置于云服务器或云平台中，电子设备可以将待处理图像LQ以及先验图像REF发送至云服务器或云平台，之后电子设备再接收云服务器或云平台发送的先验重建图像。

其中，在电子设备训练先验重建模型的过程中，采用的多组训练数据可以包括处于不同光照条件和姿态的待处理图像、先验图像以及先验重建图像，以提高训练好的先验重建模型的鲁棒性，保证训练好的先验重建模型专注于引入先验图的纹理细节而不会改变低质图的色调及人脸姿态，提高利用先验重建模型获取先验重建图像的准确性。

例如，多组训练数据可以包括如图19所示的图像。其中，如图19所示，降质图像A为待处理图像，清晰图像A’为与降质图像A对应的先验图像。降质图像B为待处理图像，清晰图像B’为与降质图像B对应的先验图像。其中，降质图像A中的光线较亮，降质图像B中的光线较暗。降质图像A中人物为正脸，清晰图像A’中人物为侧脸，降质图像A中人物的姿态与清晰图像A’之间的人物的姿态差距较大。而降质图像B中人物与清晰图像B’中人物均为侧脸，降质图像B中人物的姿态与清晰图像B’之间的人物的姿态差距较大。

在一些实施例中，电子设备可以将获取到的高清图像作为训练数据中的先验重建图像。之后，可以通过对高清图像进行锐化、对比度、模糊、噪声、JPEG压缩、降采样等一种或多种操作，以获取显示质量降低的图像，并将获取到的质量降低的图像作为训练数据中的待处理图像。此外，电子设备可以获取与高清图像中包括相同被拍摄对象，且清晰度大于预设阈值的图像作为先验图像。

其中，高清图像可以为本申请实施例中清晰度大于第四阈值的第一图像，质量降低的图像，也就是待处理图像可以为本申请实施例中清晰度小于第三阈值的第一图像，先验图像可以为本申请实施例中与第一图像包括相同被拍摄对象且清晰度大于第五阈值的第二图像。

需要说明的是，清晰度小于第三阈值的第一图像以及清晰度大于第四阈值的第一图像均是第一图像，其区别为清晰度不同。此处的第三阈值与第四阈值用于区分两个第一图像之间的清晰度，第三阈值与第四阈值之间的关系可以根据实际情况来确定。例如，在为了保证清晰度大于第四阈值的第一图像比清晰度小于第三阈值的第一图像更清晰，可以使得第三阈值小于或等于第四阈值。

进一步地，不同组训练数据中图像包括的被拍摄对象可以不同，以保证先验重建模型可以基于包括任意被拍摄对象的待处理图像以及相应的先验图像得到清晰图像，提高将降质图像修复为清晰图像的效果。

如图20所示，在电子设备中配置有训练好的先验重建模型的情况下，在获取到待处理图像LQ1以及先验图像REF之后，可以将待处理图像LQ1以及先验图像REF输入至训练好的先验重建模型，之后，该先验重建模型可以输出一张先验重建图像REC。

如图20所示，训练好的先验重建模型中至少包括五官关键点对齐模块、光流对齐模块以及注意力融合模块。其中，五官关键点对齐模块用于执行上述图像处理方法中的S1102以及S1103，光流对齐模块用于执行上述图像处理方法中的S1104，注意力融合模块用于执行上述图像处理方法中的S1105。

以下，从各模块交互的角度，结合图21介绍本申请实施例提供的图像处理方法。相机应用在手机中运行时，手机中展示预览界面，该预览界面显示有拍摄控件。响应于用户点击拍摄控件的操作，相机捕获降质图像。之后，相机向图库发送降质图像显示指令，以使手机显示包括降质图像以及先验重建控件的展示界面。响应于用户点击先验重建控件的操作，图库向先验重建模块发送先验重建指令，以使先验重建模块获取降质图像以及与降质图像对应的先验图像，并基于降质图像以及与降质图像对应的先验图像获取先验重建图像。具体地，先验重建模块基于先验重建指令可以执行上述实施例中的步骤，以获取先验重建图像，此处不再赘述。之后，先验重建模块可以向存储器发送先验重建图像，以使存储器存储先验重建图像。

本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括计算机指令，当计算机指令在上述电子设备上运行时，使得该电子设备执行上述方法实施例中的各个功能或者步骤。

本申请实施例还提供一种计算机程序产品，包括计算机程序，当计算机程序在电子设备上运行时，使得电子设备执行上述方法实施例中的各个功能或者步骤。

通过以上实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上内容，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像处理方法，其特征在于，应用于电子设备，所述方法包括：

显示第一界面，所述第一界面包括第一控件；

响应于对所述第一控件的操作，获取第一待处理图像，所述第一待处理图像的清晰度小于第一阈值；

在第二界面中显示对所述第一待处理图像进行增强处理后的先验重建图像，所述先验重建图像的清晰度大于所述第一待处理图像的清晰度；其中，所述先验重建图像是基于先验图像对所述第一待处理图像进行增强处理得到的图像，所述先验图像为与所述第一待处理图像包括相同被拍摄对象，且清晰度大于第二阈值的图像，所述先验重建图像中包括所述先验图像中包含的所述被拍摄对象的特征。

2.根据权利要求1所述的方法，其特征在于，基于所述先验图像对所述第一待处理图像进行增强处理得到所述先验重建图像的过程包括：

将所述先验图像与所述第一待处理图像对齐，得到第二待处理图像；

融合所述第一待处理图像与所述第二待处理图像，得到所述先验重建图像。

3.根据权利要求2所述的方法，其特征在于，将所述先验图像与所述第一待处理图像对齐，得到第二待处理图像，包括：

将所述先验图像与所述第一待处理图像进行关键点对齐，得到第三待处理图像；

将所述第三待处理图像与所述第一待处理图像进行光流对齐，得到第二待处理图像。

4.根据权利要求2或3所述的方法，其特征在于，融合所述第一待处理图像与所述第二待处理图像，得到所述先验重建图像，包括：

基于注意力机制融合所述第一待处理图像与所述第二待处理图像，得到所述先验重建图像。

5.根据权利要求1所述的方法，其特征在于，基于所述先验图像对所述第一待处理图像进行增强处理得到所述先验重建图像的过程包括：

将所述先验图像以及所述第一待处理图像输入至先验重建模型，以获得所述先验重建图像；所述先验重建模型为基于训练样本集训练得到，所述先验重新模型具备基于先验图像将低分辨率图像恢复为高分辨率图像的功能；

其中，所述训练样本集包括多组训练样本，每组所述训练样本包括清晰度小于第三阈值的第一图像、清晰度大于第四阈值的第一图像、以及与所述第一图像包括相同被拍摄对象且清晰度大于第五阈值的第二图像。

6.根据权利要求1-3中任一项所述的方法，其特征在于，获取所述先验图像的过程，包括：

识别所述第一待处理图像中被拍摄对象的人物身份；

基于所述人物身份在第三图像中确定所述先验图像，所述第三图像为清晰度大于第二阈值的图像。

7.根据权利要求1-3中任一项所述的方法，其特征在于，所述第一界面用于展示图像，所述第一界面中包括第一待处理图像，第一控件为图像增强控件，所述图像增强控件用于基于先验图像对所述第一待处理图像进行增强处理获取所述先验重建图像。

8.一种电子设备，其特征在于，所述电子设备包括显示屏、存储器和一个或多个处理器；所述显示屏、所述存储器和所述处理器耦合；所述显示屏用于显示所述处理器生成的图像，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述处理器执行所述计算机指令时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。

10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令在电子设备上运行时，使得所述电子设备执行如权利要求1-7中任一项所述的方法。