CN117036177A - 图像恢复模型的确定方法、图像恢复方法及装置 - Google Patents

Abstract

本公开涉及图像处理技术领域，具体涉及一种图像恢复模型的确定方法、图像恢复方法及装置，该方法包括：获取参考多对焦图像以及初始模型，其中参考多对焦图像中包括多张对焦位置不同的参考图像；根据多张对焦位置不同的所述参考图像确定所述参考多对焦图像对应的全聚焦标签数据；根据所述全聚焦标签数据利用点扩散函数确定输入图像；基于所述输入图像和所述全聚焦标签数据训练所述初始模型得到图像恢复模型。本公开实施例的技术方案提高图像恢复质量以及真实感，加快了恢复速度。

Description

图像恢复模型的确定方法、图像恢复方法及装置

技术领域

本公开涉及图像处理技术领域，具体而言，涉及一种图像恢复模型 的确定方法、图像恢复方法及装置、计算机可读存储介质及电子设备。

背景技术

在光学成像系统的光阑平面添加相位掩膜板进行波前编码，使得光 学系统的PSF对离焦不敏感，再利用数字图像处理技术对编码后的图像 进行处理和恢复，得到大景深的清晰图像。

但是现有技术中的数字图像处理技术对编码后的模糊图像进行解码 时像复原质量较差，真实感不强，图像恢复时间较长，无法实时显示恢 复结果，且占用的计算内存较大。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公 开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现 有技术的信息。

发明内容

本公开的目的在于提供一种图像恢复模型的确定方法、图像恢复方 法及装置、计算机可读存储介质及电子设备，进而至少在一定程度上提 高图像恢复质量以及真实感，加快了恢复速度。

根据本公开的第一方面，提供一种图像恢复模型的确定方法，包括： 获取参考多对焦图像以及初始模型，其中参考多对焦图像中包括多张对 焦位置不同的参考图像；根据多张对焦位置不同的所述参考图像确定所 述参考多对焦图像对应的全聚焦标签数据；根据所述全聚焦标签数据利 用点扩散函数确定输入图像；基于所述输入图像和所述全聚焦标签数据 训练所述初始模型得到图像恢复模型。

根据本公开的第二方面，提供一种图像恢复方法，包括：获取初始 实际拍摄图像；获取图像恢复模型，所述图像恢复模型根据上述图像恢 复模型确定方法确定；利用所述图像恢复模型对所述初始实际拍摄图像 进行图像恢复得到目标大景深图像。

根据本公开的第三方面，提供一种图像恢复模型的确定装置，包括： 第一获取模块，用于获取参考多对焦图像以及初始模型，其中参考多对 焦图像中包括多张对焦位置不同的参考图像；第一确定模块，用于根据 多张对焦位置不同的所述参考图像确定所述参考多对焦图像对应的全聚 焦标签数据；第二确定模块，用于根据所述全聚焦标签数据利用点扩散 函数确定输入图像；模型训练模块，用于基于所述输入图像所述全聚焦 标签数据训练所述初始模型得到图像恢复模型。

根据本公开的第四方面，提供一种图像恢复装置，包括：第二获取 模块，用于获取初始实际拍摄图像；第三获取模块，用于获取图像恢复 模型；图像恢复模块，用于利用所述图像恢复模型对所述初始实际拍摄 图像进行图像恢复得到目标大景深图像；其中，所述图像恢复模型根据 上述任一项所述的图像恢复模型的确定方法确定。

根据本公开的第五方面，提供一种计算机可读介质，其上存储有计 算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第六方面，提供一种电子设备，其特征在于，包括： 一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或 多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述 的方法。

本公开的一种实施例所提供的图像恢复模型的确定方法，获取参考 多对焦图像以及初始模型，其中参考多对焦图像中包括多张对焦位置不 同的参考图像；根据多张对焦位置不同的所述参考图像确定所述参考多 对焦图像对应的全聚焦标签数据；根据所述全聚焦标签数据利用点扩散 函数确定输入图像；基于所述输入图像和所述全聚焦标签数据训练所述 初始模型得到图像恢复模型。相较于现有技术，一方面，提供了图像恢 复模型，相较于现有技术中的对图像的恢复方法能够提升对图像恢复的 速度，进一步的，在确定模型时，利用多张对焦位置不同的所述参考图 像确定所述参考多对焦图像对应的全聚焦标签数据；并根据所述全聚焦 标签数据利用点扩散函数确定输入图像，神经网络具有较好的抗噪声能 力，提高图像恢复质量以及真实感。再进一步的模型中的深度学习算法 推理速度较快，且内存占用少，发热少，拍摄过程较为流畅，不卡顿， 能够很大改善用户拍照时的体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解 释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合 本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地， 下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人 员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他 的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示意性示出本公开示例性实施例中一种图像恢复模型的确定方 法的流程图；

图3示意性示出本公开示例性实施例中一种生成器的结构图；

图4示意性示出本公开示例性实施例中一种判别器的结构图；

图5示意性示出本公开示例性实施例中一种残差模块的结构图；

图6示意性示出本公开示例性实施例中一种图像恢复模型的确定方 法的数据流向图；

图7示意性示出本公开示例性实施例中一种图像恢复方法的流程图；

图8示意性示出本公开示例性实施例中一种移动终端的数据流程图；

图9示意性示出本公开示例性实施例中图像恢复模型的确定装置的 组成示意图

图10示意性示出本公开示例性实施例中图像恢复装置的组成示意 图；

图11示出了可以应用本公开实施例的一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式 能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提 供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构 思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以 任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图 中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描 述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上 独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个 或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或 处理器装置和/或微控制器装置中实现这些功能实体。

在相关技术中，在光学成像系统的光阑平面添加相位掩膜板进行波 前编码，使得光学系统的PSF对离焦不敏感，再利用数字图像处理技术 对编码后的图像进行处理和恢复，得到大景深的清晰图像，传统的数字 图像处理技术对编码后的模糊图像进行解码时，一方面，图像恢复算法 容易受到噪声影响，图像复原质量较差，真实感不强；另一方面，传统 图像处理方法带来的运算量较大，图像恢复时间较长，无法实时显示恢 复结果，且占用的计算内存较大，通常在PC中进行处理，难以直接部 署到轻量化的手机模型中。

图1示出了系统架构的示意图，该系统架构100可以包括终端110 与服务器120。其中，终端110可以是智能手机、平板电脑、台式电脑、 笔记本电脑等终端设备，服务器120泛指提供本示例性实施方式中图像 恢复相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。 终端110与服务器120之间可以通过有线或无线的通信链路形成连接，以进行数据交互。

在一种实施方式中，可以由服务器120可以执行上述图像恢复模型 的确定方法。例如，用户使用终端110拍摄图像或者用户在终端110的 相册中选取参考多对焦图像后，终端110将该参考多对焦图像上传至服 务器120，由服务器120利用对该参考多对焦图像进行图像恢复模型的 训练，向终端110返回图像恢复模型。

可以由终端110执行上述图像恢复方法。例如，用户使用终端110 拍摄图像或者用户在终端110的相册中选取初始实际拍摄图像，并加载 上述图像恢复模型之后，由终端110对该图像进行图像恢复，输出目标 大景深图像。

本公开的示例性实施方式还提供一种用于执行上述图像恢复模型的 确定方法以及上述图像恢复方法的电子设备，该电子设备可以是上述终 端110或服务器120。一般的，该电子设备可以包括处理器与存储器， 存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指 令来执行上述图像图像恢复模型的确定方法以及上述图像恢复方法。

下面结合图2对本示例性实施方式中的图像恢复模型的确定方法进 行说明，图2示出了该图像恢复模型的确定方法的示例性流程，可以包 括：

步骤S210，获取参考多对焦图像以及初始模型，其中参考多对焦 图像中包括多张对焦位置不同的参考图像；

步骤S220，根据多张对焦位置不同的所述参考图像确定所述参考 多对焦图像对应的全聚焦标签数据；

步骤S230，根据所述全聚焦标签数据利用点扩散函数确定输入图 像；

步骤S240，基于所述输入图像和所述全聚焦标签数据训练所述初 始模型得到图像恢复模型。

基于上述方法，相较于现有技术，一方面，提供了图像恢复模型， 相较于现有技术中的对图像的恢复方法能够提升对图像恢复的速度，进 一步的，在确定模型时，利用多张对焦位置不同的所述参考图像确定所 述参考多对焦图像对应的全聚焦标签数据；并根据所述全聚焦标签数据 利用点扩散函数确定输入图像，神经网络具有较好的抗噪声能力，提高 图像恢复质量以及真实感。再进一步的模型中的深度学习算法推理速度 较快，且内存占用少，发热少，拍摄过程较为流畅，不卡顿，能够很大 改善用户拍照时的体验。

下面对图2中的每个步骤进行具体说明。

参考图2，在步骤S210中，获取参考多对焦图像以及初始模型，其 中参考多对焦图像中包括多张对焦位置不同的参考图像。

在本公开的一种示例实施方式中，上述参考多对焦图像可以包括多 张不同对焦位置的参考图像，在获取上述参考多对焦图像时可以首先确 定预设对焦范围，然后按照预设间隔获取多张不同对焦位置的参考图像， 上述预设对焦范围可以是300μm、500μm等，也可以根据用户需求进行 自定义，同样的，上述预设间隔可以是30μm、50μm等，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。

举例而言，若上述预设对焦范围是300μm，预设间隔是30μm，则上 述参考多对焦图像中包括11张不同对焦位置的参考图像。

在本示例实施方式中，上述初始模型可以是GAN模型，也可以是其 他网络结构，在本示例实施方式中不做具体限定。

在步骤S220中，根据多张对焦位置不同的所述参考图像确定所述 参考多对焦图像对应的全聚焦标签数据。

在本示例实施方式中，在得到上述参考多对焦图像之后，可以将上 述参考多对焦图像中的多张参考图像利用Image Stack Fusion的技术， 将不同深度位置的浅景深图像进行融合，得到一张大景深全聚焦(all-in- focus)的清晰图像作为上述全聚焦标签数据。

在步骤S230中，根据所述全聚焦标签数据利用点扩散函数确定输 入图像。

在本示例实施方式中，图像恢复模型是应用于包括带有相位掩模板 的手机光学系统的移动终端的，因此，在得到上述全聚焦标签数据之后， 可以利用上述全聚焦标签数据，卷积带有相位掩模板的手机光学系统的 PSF(Point Spread Function，点扩散函数)，得到对应多个深度的中间图 像，其中上述中间图像的深度与上述参考图像的深度相同。

在得到上述中间图像之后，可以计算多张中间图像的平均值，将3D 的PSF信息融合到2D的图像中，最终得到一张输入图像。在另一种实 施方式中，可以对多张中间图像做加权平均，将3D的PSF信息融合到 2D的图像中，最终得到一张输入图像，其中权重的设置可以根据用户需 求进行自定义设置，在本示例实施方式汇总不做具体限定。

在本示例实施方式中的一种示例实施方式中，在打开上述输入图像 之后，可以对上述输入图像和与之对应的全聚焦标签数据进行裁剪和配 准预处理。可以将上述全聚焦标签数据和输入图像均进行分割成多个图 像，然后将其进行匹配，完成匹配后输入至初始模型对初始模型进行训 练。

在步骤S240中，基于所述输入图像和所述全聚焦标签数据训练所述 初始模型得到图像恢复模型。

在本示例实施方式中，参照图3所示，上述初始模型可以为GAN模 型，其中，GAN模型可以包括生成器和判别器，对于生成器，参照图4 所示，可以采用U-Net架构融合浅层和深层特征，并使用9个残差模块 加强神经网络的特征变换能力；对于判别器，使用感受野为70的 PatchGAN，有助于图像高频细节的恢复，使得生成的图像更加具有真实 感。

其中，上述生成器可以包括第一卷积模块302、第二卷积模块312、 第一下采样模块303、第二下采样模块304、第三下采样模块305、第四 下采样模块306、第一上采样模块308、第二上采样模块309、第三上采 样模块310、第四上采样模块311以及九个残差模块307，输入图像301 输入至上述第一卷积模块302将3通道的图像(H.W.3)变为64通道的 图像(H.W.64)，依次经过第一下采样模块303、第二下采样模块304、 第三下采样模块305、第四下采样模块306得到长和宽均为输入图像301 的十六分之一，512通道的图像(H/16.W/16.512)，即依次经过上述第一 下采样模块303、第二下采样模块304、第三下采样模块305、第四下采 样模块306均而被下采样。然后经过上述九个残差模块307，以及上述 第一上采样模块308、第二上采样模块309、第三上采样模块310、第四 上采样模块311得到64通道的图像(H.W.64)，然后再经过第二卷积模 块312得到输出图像313(H.W.3)。

其中，上述第一卷积模块302连接于上述第二卷积模块312，第一 下采样模块303连接于上述第四上采样模块311，第二下采样模块304 连接于上述第三上采样模块，上述第三下采样模块305连接于上述第二 上采样模块309，第四下采样模块306连接于上述第一上采样模块308。

在本示例实施方式中，上述上采样倍数与上述下采样倍数相同，且 具体的采样倍数可以根据需求与进行自定义，在本示例实施方式中不做 具体限定。

在本示例实施方式中参照图4所示，可以将上述输出图像313输入 至上述判别器得到判别结果406，然后根据上述判别结果406对上述生 成器进行更新。具体而言，上述输出图像313经过第五下采样模块401、 第六下采样模块402、第七下采样模块403、得到长和宽均为输入图像 301的是八分之一，512通道的图像(H/8.W/8.512)，然后经过上述第三 卷积模块404，第四卷积模块405得到待判别图像，最终对待判别图像 的每一个像素进行判别得到判别结果406，以更新上述输出图像313，直 到输出图像313收敛到和所述全聚焦标签数据相同则停止更新上述模型。

参照图5所示，一个残差模块307中包括了两个卷积模块，分为第 五卷积模块501和第六卷积模块502，第五卷积模块501的输入和第六 卷积模块502的输出融合后输入至下一个残差模块307或者上述第一上 采样模块308。

在本示例实施方式中，在对上述初始模型进行训练时，可以计算所 述输出图像与全聚焦标签数据之间的最小均方差损失、生成式对抗损失 以及感知损失；根据所述最小均方差损失、生成式对抗损失以及感知损 失调整所述生成式对抗网络的参数得到所述图像恢复模型。即采用的损 失函数包括了三个部分，分别为对生成式对抗函数、最小均方差损失以 及感知损失函数，具体而言，损失函数可以为：

L_total＝λ₁L_GAN(G,D)+λ₂L_MSE(G)+λ₃L_Perceptual(G)

L_GAN(G,D)＝E_{x,y～pdata(x,y)}[logD(x,y)]+E_x～pdata(x)[log(1-D(x,G(x)))]

L_MSE(G)＝E_{x,y～pdata(x,y)}[||y-G(x)||₂]

L_Perceptual(G)＝E_{x,y～pdata(x,y)}[||VGG(y)-VGG(G(x))||₂]

其中：L_total为总体损失函数；L_GAN为对抗损失函数；L_MSE为最小均 方误差损失函数；L_perceptual为感知损失函数；λ₁,λ₂,λ₃为不同损失函数 项对应的惩罚系数；G为生成器；D为判别器；x为输入图像；y为全聚焦 标签数据(真值，ground-truth)；VGG表示“VGG卷积神经网络”。

在本示例实施方式中，采用最小均方误差损失(MSE Loss)作为基 础的损失函数，并使用GAN Loss进而提升图像的真实性和丰富恢复图 像的细节，为了更加符合视觉效果，还是用了感知损失(Perceptual Loss) 进行优化神经网络。

在本示例实施方式中，将裁剪和校准后的图像对分别作为初始模型 的输入和真值，即将分割后的输入图像以及对应的分割后的所述全聚焦 标签数据作为上述初始模型的输入和真值，输入图像经过一个U-Net结 构的生成器得到输出图像，将输出图像和真值分别送入到判别器中，判 别器对于生成器的输出结果判别为Fake，对真值判别为True，通过生成 器和判别器之间的对抗，以真值和输出值之间的损失函数最小作为目标， 对初始模型的参数进行优化，最终保存优化后的模型参数。

在本示例实施方式中，参照图6所示，以上述预设对焦范围是300μm， 预设间隔是30μm，上述参考多对焦图像601中包括11张不同对焦位置 的参考图像为例对上述图像恢复模型的确定方法据进行详细说明，在将 上述11张不同对焦位置的参考图像利用ImageStack Fusion模块602进 行图像融合得到全聚焦标签数据603，然后将上述全聚焦标签数据603 经过PSF卷积模块604，利用带有相位掩模板的手机光学系统的PSF， 得到对应11个深度的中间图像605，在对上述11张中间图像经过平均 融合模块606得到输入图像607，然后将上述全聚焦标签数据以及上述 输入进行裁剪和配对608并输入至初始模型609中对初始模型进行训练。

在本示例实施方式中，在对上述初始模型进行训练时，可以采用多 张不同对焦位置的参考图像对上述初始模型进行训练以使得得到的图像 恢复模型的精度更高。

在公开的一种示例实施方式中，在得到上述图像恢复模型之后，可 对上述图像恢复模型得到的图像进行评估，具体而言，可以计算输出图 像与全聚焦标签数据之间的峰值信噪比、结构相似性以及感知性损失度 量。具体而言，首先可以计算峰值信噪比PSNR，具体而言：

其中，x为神经网络预测的输出图像；y为目标清晰图像(真值， ground-truth)；m,n分别表示图像的高、宽。

其次计算结构相似性(SSIM)：

其中，μ_x,μ_y分别为x,y的均值，σ_x,σ_y分别为x,y的标准差，σ_xy为 x和y之间的协方差；C₁,C₂为常数。

最后，计算感知性损失度量(LPIPS)：

其中，d为两个图像之间的感知距离(值越小表示两个图像越相似)； l表示神经网络(可以是AlexNet,VGG等神经网络)的层数，H_l,W_l分别 表示图像经过神经网络第l层后，得到的特征图的高、宽；w_l表示第l层的 权重系数；分别表示图像x和图像x₀经过神经网络第l层后得到的特 征图。

将上述峰值信噪比、结构相似性以及感知性损失度量作为评估结果， 在得到上述评估结果之后，判断上述评估结果是否满足预设条件，若不 满足上述预设条件，则更新上述图像恢复模型，若满足，则停止对图像 恢复模型的训练。其中上述预设条件中的各个参数的值可以根据不同场 景以及不同的需求由用户来自定义，在本示例实施方式中不做具体限定。

综上所述，本示例性实施方式中，相较于现有技术，一方面，提供 了图像恢复模型，相较于现有技术中的对图像的恢复方法能够提升对图 像恢复的速度，进一步的，在确定模型时，利用多张对焦位置不同的所 述参考图像确定所述参考多对焦图像对应的全聚焦标签数据；并根据所 述全聚焦标签数据利用点扩散函数确定输入图像，神经网络具有较好的 抗噪声能力，提高图像恢复质量以及真实感。再进一步的模型中的深度 学习算法推理速度较快，且内存占用少，发热少，拍摄过程较为流畅， 不卡顿，能够很大改善用户拍照时的体验。采用最小均方误差损失 (MSE Loss)作为基础的损失函数，并使用GAN Loss进而提升图像的 真实性和丰富恢复图像的细节，为了更加符合视觉效果，还使用了感知 损失(Perceptual Loss)进行优化神经网络。

本公开还提供一种图像恢复方法，参照图7所示，图像恢复方法可 以包括：

步骤S710，获取初始实际拍摄图像；

步骤S720，获取图像恢复模型；

步骤S730，利用图像恢复模型对所述初始实际拍摄图像进行图像恢 复得到目标大景深图像。

其中，上述图像恢复模型根据上述图像恢复模型方法确定。

基于上述方法，相较于现有技术，采用图像恢复模型恢复的图像细 节更加丰富，更加具有真实感，比如可以缓解图像轮廓边缘产生的伪影； 此外，神经网络具有较好的抗噪声能力，对于手机实际拍摄过程中带来 的噪声，往往会对传统图像恢复过程造成干扰，使得图像质量有所下降， 而基于深度学习的算法往往能够保持同没有噪声情况下较为一致的图像 质量。最后，传统的解卷积算法进行图像恢复时，通常是以迭代方式进 行，速度较为缓慢，而深度学习算法推理速度较快，且内存占用少，发 热少，拍摄过程较为流畅，不卡顿，能够很大改善用户拍照时的体验。

下面对上述各个步骤进行详细说明。

在步骤S710中，获取初始实际拍摄图像；

在步骤S720中，获取图像恢复模型；

在本公开的一种示例实施方式中，上述初始实际拍摄图像可以是移 动终端拍摄得到的，且上述移动终端中的摄像模组中包括相位掩膜版， 初始实际拍摄图像还可以是移动终端中存储的历史图像，历史图像在获 取时也是通过设置有相位掩膜版的摄像模组拍摄获取到的。

在本示例实施方式中，上述图像恢复方法可以由移动终端执行，在 获取到初始实际拍摄图像之后，可以对上述初始实际拍摄图像进行图像 信号处理得到能够用于图像恢复模型的RGB或YUV数据，具体而言， 参照图8所示，首先由ISP处理器处理802，ISP处理器802对初始实际 拍摄图像进行分析以捕捉可用于确定Camera Sensor801的一个或多个控制参数的图像统计信息，包括YUV格式或者RGB格式的图像。其中， Camera Sensor801可包括色彩滤镜阵列(如Bayer滤镜)，以及对应的感 光单元，Camera Sensor可获取每个感光单元捕捉的光强度和波长信息， 并提供可由ISP处理器处理的一组初始实际拍摄图像。ISP处理器对初 始实际拍摄图像数据进行处理后得到YUV格式或者RGB格式的图像， 并发送至CPU805。其中，ISP处理器802在对初始实际拍摄图像进行处 理时，按每个图像像素具有16比特的位深度的方式逐个像素地处理初始 实际拍摄图像。

在本示例实施方式中，可以获取上述图像恢复模型的网络架构803 和网络参数804，然后在开启上述图像恢复操作时，利用所述网络架构 和所述网络参数804得到所述图像恢复模型恢复后在显示器806上显示 图像，然后经过编码器807并将恢复后图像存储至存储器808。

在本公开的一种示例实施方式中，上述图像恢复模型可以是轻量化 模型，也可以对大的模型进行压缩和蒸馏，得到轻量化的模型结构，节 约运算时间和计算参数量，节省内存，提高拍摄速度，使得拍摄过程更 加流畅，进一步提升用户拍摄体验。

在步骤S730中，利用图像恢复模型对所述初始实际拍摄图像进行图 像恢复得到目标大景深图像。

在得到上述图像恢复模型以及上述初始实际拍摄图像之后，可以将 上述初始实际拍摄图像输入至上述图像恢复模型中得到目标大景深图像， 其中初始实际拍摄图像的清晰度小于上述目标大景深图像的清晰度。

需要说明的是，上述图像恢复方法不局限于移动终端，也可以应用 到实际的荧光显微镜中，使用更大的神经网络模型以保证更好的性能， 追求更大的景深探索，拍摄各种细胞的神经元图像，病理切片图像，推 动生物医学领域的发展。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包 括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的 处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处 理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图9所示，本示例的实施方式中还提供一种图像恢 复模型的确定装置900，包括第一获取模块910、第一确定模块920、第 二确定模块930以及模型训练模块940。其中：

第一获取模块910可以用于获取参考多对焦图像以及初始模型，其 中参考多对焦图像中包括多张对焦位置不同的参考图像。具体而言，可 以获取预设对焦范围，并按照预设间隔获取多张所述参考图像。

第一确定模块920可以用于根据多张对焦位置不同的所述参考图像 确定所述参考多对焦图像对应的全聚焦标签数据，具体而言，将多张对 焦位置不同的所述参考图像进行堆栈图像融合得到所述全聚焦标签数据。

第二确定模块930可以用于根据所述全聚焦标签数据利用点扩散函 数确定输入图像，具体而言，利用所述全聚焦标签数据卷积所述点扩散 函数得所述中间图像；根据多张所述中间图像得到所述输入图像。将多 张所述中间图像的平均值作为所述输入图像。

模型训练模块940可以用于基于所述输入图像和所述全聚焦标签数 据训练所述初始模型得到图像恢复模型。具体而言，将所述输入图像输 入所述生成式对抗网络得到输出图像；计算所述输出图像与全聚焦标签 数据之间的最小均方差损失、生成式对抗损失以及感知损失；根据所述 最小均方差损失、生成式对抗损失以及感知损失调整所述生成式对抗网 络的参数得到所述图像恢复模型。

进一步的，参考图10所示，本示例的实施方式中还提供一种图像恢 复装置1000，包括第二获取模块1010、第三获取模块1020以及图像恢 复模块1030。其中，

第二获取模块1010可以用于获取初始实际拍摄图像，第三获取模块 1020可以用于获取图像恢复模型；图像恢复模块1030可以用于利用所 述图像恢复模型对所述初始实际拍摄图像进行图像恢复得到目标大景深 图像。

在一种示例实施方式中，第三获取模块1020获取所述图像恢复模型 的网络架构和网络参数；响应图像恢复操作，利用所述网络架构和所述 网络参数得到所述图像恢复模型。

在一种示例实施方式中，图像恢复模块1030将所述实际拍摄图像 输入至所述图像恢复模型得到所述目标大景深模型。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明， 未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

下面以图11中的移动终端1100为例，对该电子设备的构造进行示 例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之 外，图11中的构造也能够应用于固定类型的设备。

如图11所示，移动终端1100具体可以包括：处理器1101、存储器 1102、总线1103、移动通信模块1104、天线1、无线通信模块1105、天 线2、显示屏1106、摄像模块1107、音频模块1108、电源模块1109与 传感器模块1110。

处理器1101可以包括一个或多个处理单元，例如：处理器1110可 以包括AP(Application Processor，应用处理器)、调制解调处理器、 GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的 图像恢复模型的确定方法可以由AP、GPU或DSP来执行，当方法涉及 到神经网络相关的处理时，可以由NPU来执行。

编码器可以对图像或视频进行编码(即压缩)，例如可以将目标图 像编码为特定的格式，以减小数据大小，便于存储或发送。解码器可以 对图像或视频的编码数据进行解码(即解压缩)，以还原出图像或视频 数据，如可以读取目标图像的编码数据，通过解码器进行解码，以还原 出目标图像的数据，进而对该数据进行图像恢复模型的确定的相关处理。 移动终端1100可以支持一种或多种编码器和解码器。这样，移动终端 1100可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG (Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、 H.264、HEVC(High Efficiency Video Coding，高效率视频编码)等视频 格式。

处理器1101可以通过总线1103与存储器1102或其他部件形成连 接。

存储器1102可以用于存储计算机可执行程序代码，所述可执行程 序代码包括指令。处理器1101通过运行存储在存储器1102的指令，执 行移动终端1100的各种功能应用以及数据处理。存储器202还可以存 储应用数据，例如存储图像，视频等文件。

移动终端1100的通信功能可以通过移动通信模块1104、天线1、 无线通信模块1105、天线2、调制解调处理器以及基带处理器等实现。 天线1和天线2用于发射和接收电磁波信号。移动通信模块1104可以 提供应用在移动终端1100上2G、3G、4G、5G等移动通信解决方案。 无线通信模块1105可以提供应用在移动终端1100上的无线局域网、蓝 牙、近场通信等无线通信解决方案。

显示屏1106用于实现显示功能，如显示用户界面、图像、视频等。 摄像模块1107用于实现拍摄功能，如拍摄图像、视频等。音频模块 1108用于实现音频功能，如播放音频，采集语音等。电源模块1109用 于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。 传感器模块1110可以包括深度传感器11101、压力传感器11102、陀螺 仪传感器11103、气压传感器11104等，以实现相应的感应检测功能。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为 系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下 形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微 代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、 “模块”或“系统”。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上 存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式 中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序 代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行 本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方 式的步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信 号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可 读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或 半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介 质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、 可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只 读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适 的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有 形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合 使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为 载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种 传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或 上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存 储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播 或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的 程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输， 包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组 合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行 本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言— 诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或 类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部 分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算 设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器 上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种 类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备， 或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因 特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想 到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者 适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理 并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明 书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指 出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的 精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范 围仅由所附的权利要求来限。

Claims (11)

1.一种图像恢复模型的确定方法，其特征在于，

获取参考多对焦图像以及初始模型，其中参考多对焦图像中包括多张对焦位置不同的参考图像；

根据多张对焦位置不同的所述参考图像确定所述参考多对焦图像对应的全聚焦标签数据；

根据所述全聚焦标签数据利用点扩散函数确定输入图像；

基于所述输入图像和所述全聚焦标签数据训练所述初始模型得到图像恢复模型。

2.根据权利要求1所述的方法，其特征在于，获取参考多对焦图像包括：

获取预设对焦范围，并按照预设间隔获取多张所述参考图像。

3.根据权利要求1所述的方法，其特征在于，所述根据多张对焦位置不同的所述参考图像确定所述参考多对焦图像对应的全聚焦标签数据，包括：

将多张对焦位置不同的所述参考图像进行堆栈图像融合得到所述全聚焦标签数据。

4.根据权利要求3所述的方法，其特征在于，根据所述全聚焦标签数据利用点扩散函数确定输入图像，包括：

利用所述全聚焦标签数据卷积所述点扩散函数得所述中间图像；

根据多张所述中间图像得到所述输入图像。

5.根据权利要求4所述的方法，其特征在于，所述根据多张所述中间图像得到所述输入图像，包括：

将多张所述中间图像的平均值作为所述输入图像。

6.根据权利要求1所述的方法，其特征在于，所述初始模型为生成式对抗网络，基于所述输入图像和所述全聚焦标签数据训练所述初始模型得到图像恢复模型包括：

将所述输入图像输入所述生成式对抗网络得到输出图像；

计算所述输出图像与全聚焦标签数据之间的最小均方差损失、生成式对抗损失以及感知损失；

根据所述最小均方差损失、生成式对抗损失以及感知损失调整所述生成式对抗网络的参数得到所述图像恢复模型。

7.一种图像恢复方法，其特征在于，包括：

获取初始实际拍摄图像；

获取图像恢复模型，所述图像恢复模型根据权利要求1-6任一项所述的图像恢复模型确定方法确定；

利用图像恢复模型对所述初始实际拍摄图像进行图像恢复得到目标大景深图像。

8.一种图像恢复模型的确定装置，其特征在于，包括：

第一获取模块，用于获取参考多对焦图像以及初始模型，其中参考多对焦图像中包括多张对焦位置不同的参考图像；

第一确定模块，用于根据多张对焦位置不同的所述参考图像确定所述参考多对焦图像对应的全聚焦标签数据；

第二确定模块，用于根据所述全聚焦标签数据利用点扩散函数确定输入图像；

模型训练模块，用于基于所述输入图像和所述全聚焦标签数据训练所述初始模型得到图像恢复模型。

9.一种图像恢复装置，其特征在于，包括：

第二获取模块，用于获取实际拍摄图像；

第三获取模块，用于获取图像恢复模型；

图像恢复模块，用于利用图像恢复模型对所述初始实际拍摄图像进行图像恢复得到目标大景深图像；

其中，所述图像恢复模型根据权利要求1-6任一项所述的方法确定。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；以及

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的方法。