CN117274106A - 一种照片修复的方法、电子设备及相关介质 - Google Patents

Abstract

本申请提供了一种照片修复的方法、电子设备及相关介质，实施本申请实施例提供的照片修复的方法，可以在保证实况照片的画面连续性和和谐性的前提下，基于实况照片中的参考图像帧修复实况照片中清晰度不够的图像帧，提高实况照片中的待修复图像帧的清晰度，保证实况照片的每一帧图像帧都能为用户带来高清查看体验，增加用户的使用满意度。

Description

一种照片修复的方法、电子设备及相关介质

技术领域

本申请涉及互联网领域，尤其涉及一种照片修复的方法、电子设备及相关介质。

背景技术

实况照片作为新兴的照片形式广受用户的喜爱，实况照片能够记录一定时间段内容的图像和声音内容，并能够在用户长按实况照片时为用户更生动地展示照片。实况照片最终会自动选择一帧图像帧进行高清处理后得到实况照片的默认封面，默认封面较实况照片中的其他图像帧更为清晰，画面呈现效果更好。然而在用户长按查看实况照片时，电子设备只能为用户呈现清晰度较差的动图，用户无法获得像查看清晰默认封面一样的图像观看体验。

发明内容

第一方面，本申请提供了一种照片修复的方法、电子设备及相关介质，该方法可以包括：

基于用户的修复指令，获取第一实况照片中的参考图像帧，第一实况照片的帧数i≥3，i为正整数，参考图像帧包括第一参考图像帧和第二参考图像帧，第一参考图像帧和第二参考图像帧为基于第一实况照片中不连续的两帧图像帧生成的；

分别计算待修复图像帧与第一参考图像帧的第一像素差值、以及与第二参考图像帧的第二像素差值，待修复图像帧为第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1；

基于每个待修复图像帧对应的第一像素差值和第二像素差值，生成与每个待修复图像帧对应的融合方案，并基于融合方案修复对应的待修复图像帧。

实施第一方面提供的方法，可以基于实况照片中不连续的两帧图像帧生成两帧参考图像帧，并基于两帧参考图像帧与待修复图像帧之间的像素差值生成每个待修复图像帧对应的融合方案（也可以理解为修复方案），并基于修复方案修复实况照片中清晰度较低的待修复图像帧，有助于在提高实况照片中的待修复图像帧的清晰度的同时，保证修复后的待修复图像帧满足第一实况照片中各物体的运动逻辑和轨迹，从而提高用户的使用体验。

实施第一方面提供的方法，在一些实施例中，获取第一实况照片中的参考图像帧，可以包括：

提取第一实况照片中的第一帧图像帧和最后一帧图像帧；

对第一帧图像帧进行预设处理，得到第一参考图像帧；

对最后一帧图像帧进行预设处理，得到第二参考图像帧。

实施上述实施例提供的方法，可以对第一实况照片中的第一帧图像帧和最后一帧图像帧进行预设处理，进而生成参考图像帧，有助于提高第一帧图像帧和最后一帧图像帧的清晰度，从而可以为待修复图像帧提供可靠、准确的修复参考目标，不仅可以保证待修复图像帧的修复准确性，还可以保证实况照片的画面和谐性和连续性。

实施第一方面提供的方法，在一些实施例中，基于每个待修复图像帧对应的第一像素差值和第二像素差值，生成与每个待修复图像帧对应的融合方案，并基于融合方案修复对应的待修复图像帧，可以包括：

基于第一像素差值和第二像素差值的大小，计算第一参考图像帧对于待修复图像帧的第一融合比例，计算第二参考图像帧对于待修复图像帧的第二融合比例；

基于第一融合比例、第二融合比例、第一参考图像帧、第二参考图像帧以及待修复图像帧，生成替换图像帧。

实施上述实施例提供的方法，可以根据第一像素差值和第二像素差值的大小计算每个参考图像帧对于待修复图像帧的融合比例，有助于使得替换图像帧能够符合第一帧图像帧变换至最后一帧图像帧的运动逻辑和轨迹，从而保证了实况照片中每一帧图像帧的连续性，有助于保证修复后的第一实况照片（可以理解为第二实况照片）中的事物运动情况与用户拍摄的第一实况照片中的事物运动情况是相同的，避免修复后的第一实况照片出现失真的情况。

实施第一方面提供的方法，在一些实施例中，目标指令可以为拍摄指令；基于用户的目标指令，获取第一实况照片中的参考图像帧，可以包括：

接收用户的拍摄指令，响应于拍摄指令拍摄得到第一实况照片，获取第一实况照片中的参考图像帧。

实施第一方面提供的方法，在一些实施例中，目标指令可以为修复指令；基于用户的目标指令，获取第一实况照片中的参考图像帧，可以包括：

接收用户针对第一实况照片的修复指令，并基于修复指令获取第一实况照片中的参考图像帧。

实施上述实施例提供的方法，可以允许用户是在拍摄第一实况照片之前输入目标指令，从而在电子设备获取到第一实况照片之后立即开始对第一实况照片进行修复操作；也可以允许用户在获取第一实况照片之后针对第一实况照片输入修复指令，从而在电子设备接收到用户的修复指令之后再开始对第一实况照片进行修复操作。

实施第一方面提供的方法，在一些实施例中，在基于像素差值生成与待修复图像帧对应的融合方案，并基于融合方案修复待修复图像帧之后，该方法还可以包括：

利用替换图像帧替换对应的待修复图像帧，生成第二实况照片。

实施上述实施例提供的方法，可以用替换图像帧替换待修复图像帧，使得最终的第二实况照片比修复前的第一实况照片更加清晰，有助于为用户提供更高清的观看体验，提高用户的使用满意度。

第二方面，本申请提供了一种照片修复的方法，该方法可以包括：

基于用户的目标指令，获取第一实况照片中的参考图像帧，第一实况照片的帧数i≥3，i为正整数，参考图像帧包括第一参考图像帧和第二参考图像帧，第一参考图像帧和第二参考图像帧为基于第一实况照片中不连续的两帧图像帧生成的；

将参考图像帧和待修复图像帧输入插帧神经网络，生成替换图像帧，待修复图像帧为第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1；

利用替换图像帧替换对应的待修复图像帧，生成第二实况照片。

实施上述实施例提供的方法，可以基于实况照片中不连续的两帧图像帧生成两帧参考图像帧，并将两帧参考图像帧与待修复图像帧输入至插帧神经网络，进而生成与各个待修复图像帧对应的替换图像帧，从而达到提高第一实况照片中各个待修复图像帧的清晰度的目的，有助于提高用户的使用体验。

实施第二方面提供的方法，在一些实施例中，获取第一实况照片中的参考图像帧，可以包括：

提取第一实况照片中的第一帧图像帧和最后一帧图像帧；

对第一帧图像帧进行预设处理，得到第一参考图像帧；

对最后一帧图像帧进行预设处理，得到第二参考图像帧。

实施上述实施例提供的方法，可以对第一实况照片中的第一帧图像帧和最后一帧图像帧进行预设处理，进而生成参考图像帧，有助于提高第一帧图像帧和最后一帧图像帧的清晰度，从而可以为待修复图像帧提供可靠、准确的修复参考目标，不仅可以保证待修复图像帧的修复准确性，还可以保证实况照片的画面和谐性和连续性。

实施第二方面提供的方法，在一些实施例中，将参考图像帧和待修复图像帧输入插帧神经网络，生成替换图像帧，可以包括：

将待修复图像帧输入插帧神经网络，利用插帧神经网络提取待修复图像帧的图像特征；

利用插帧神经网络，基于图像特征融合第一参考图像帧和第二参考图像帧，生成替换图像帧。

实施上述实施例提供的方法，可以基于待修复图像帧的图像特征指导第一参考图像帧与第二参考图像帧融合，使得生成的替换图像帧保留待修复图像帧的重要图像特征信息，有助于在得到清晰度更高的替换图像帧的前提下，保证替换图像帧符合实况照片实际记录的图像信息，也避免了修复后的第一实况照片（可以理解为第二实况照片）的多个图像帧出现同质化的现象。

实施第二方面提供的方法，在一些实施例中，图像特征可以包括亮度、色彩和纹理信息中的至少一种。

实施第二方面提供的方法，在一些实施例中，目标指令可以为拍摄指令；基于用户的目标指令，获取第一实况照片中的参考图像帧，可以包括：

接收用户的拍摄指令，响应于拍摄指令拍摄得到第一实况照片，获取第一实况照片中的参考图像帧。

实施第二方面提供的方法，在一些实施例中，目标指令可以为修复指令；基于用户的目标指令，获取第一实况照片中的参考图像帧，可以包括：

接收用户针对第一实况照片的修复指令，并基于修复指令获取第一实况照片中的参考图像帧。

实施上述实施例提供的方法，可以允许用户是在拍摄第一实况照片之前输入修复指令，从而在电子设备获取到第一实况照片之后立即开始对第一实况照片进行修复操作；也可以允许用户在获取第一实况照片之后针对第一实况照片输入修复指令，从而在电子设备接收到用户的修复指令之后再开始对第一实况照片进行修复操作。

第三方面，本申请提供了一种电子设备，该电子设备可以包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得执行如第一方面及第一方面中任一可能的实现方式描述的方法，或执行如第二方面及第二方面中任一可能的实现方式描述的方法。

第四方面，本申请提供了一种计算机可读存储介质，包括指令，当指令在目标终端上运行时，使得执行如第一方面及第一方面中任一可能的实现方式描述的方法，或执行如第二方面及第二方面中任一可能的实现方式描述的方法。

第五方面，本申请提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法，或执行如第一方面及第一方面中任一可能的实现方式描述的方法，或执行如第二方面及第二方面中任一可能的实现方式描述的方法。

可以理解地，上述第三方面提供的电子设备、第四方面提供的计算机可读存储介质和第五方面提供的计算机程序产品均用于执行本申请所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。

附图说明

图1是现有技术中的一种视频修复的场景示意图；

图2是本申请实施例提供的一种照片修复的方法的流程示意图；

图3a-图3c是本申请实施例提供的一种用户输入设置指令的场景示意图；

图4是本申请实施例提供的另一种照片修复的方法的流程示意图；

图5a是本申请实施例提供的一种实况照片的组成示意图；

图5b是本申请实施例提供的一种计算像素差值的场景示意图；

图6是本申请实施例提供的另一种照片修复的方法的流程示意图；

图7是本申请实施例提供的一种生成替换图像帧的场景示意图；

图8是本申请实施例提供的一种电子设备的结构示意图；

图9是本申请实施例提供的一种电子设备的硬件结构示意图；

图10是本申请实施例的一种电子设备的软件结构框图。

具体实施方式

下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：

实况照片（英文名称为live photo）可以记录并动态呈现用户拍照动作前后预设时间段（如1.5秒）内的图像信息和声音信息，其具有静态图像和动态视频片段的媒体格式。实况照片可以包含多个图像帧，在实况照片拍摄完成后，电子设备（或用户终端）会自动挑选一帧图像帧，并将进行锐化和/或高清化处理后的该图像帧设置为实况照片的默认封面。用户可以选择实况照片中其他图像帧作为实况照片的封面照片，但是其清晰度比默认封面低，用户还可以对实况照片进行与普通照片相同的编辑操作。

图像帧是组成视频的最小单位。

像素值是原稿图像被数字化时由计算机赋予的值，它代表了原稿某一小方块的平均亮度信息，或者说是该小方块的平均反射(透射)密度信息。

请参见图1，图1为现有技术中的一种视频修复的场景示意图。

如图1所示，现有技术能够基于确定待修复帧对应的起始帧和结束帧之间运动矢量关系，生成与待修复帧对应的插值帧。进而基于待修复帧与插值帧融合生成目标帧，目标帧即为经过修复后得到的图像帧。其中“确定待修复帧对应的起始帧和结束帧之间运动矢量关系”可以包括：将起始帧和结束帧分别进行分块；在结束帧中确定与起始帧中每个块对应的匹配块，并确定起始帧中每个块相对于结束帧中的匹配块的前向运动矢量；在起始帧中确定与结束帧中每个块对应的匹配块，并确定结束帧中每个块相对于起始帧中的匹配块的后向运动矢量；通过起始帧中每个块的前向运动矢量和结束帧中的每个块的后向运动矢量生成插值帧。

可以看出，现有技术由于需要将图像帧分多块比对运动矢量，其运算量较大，会对如图3a-图3c中的电子设备10带来较大的运行负担，所以对电子设备10的性能有一定的要求。因此，本领域技术人员需要找出一种在保证图像帧修复准确率的前提下，降低图像帧修复难度的方法。

本申请能够提供一种照片修复的方法，能够根据待修复图像帧与参考图像帧之间的像素差值来生成融合方案，并根据融合方案修复待修复图像帧。计算像素差值对电子设备10的运行负担较现有技术的视频修复方法更小，对电子设备10的性能要求更低，且能在提高实况照片清晰度的前提下，保证修复后的待修复图像帧不破坏实况照片的画面连续性和和谐性，有助于提高用户的使用体验。

请参见图2，图2为本申请实施例提供的一种照片修复的方法的流程示意图。

如图2所示，该方法可以包括以下步骤：

S201：电子设备响应于用户的拍摄指令，获取第一实况照片。

其中，第一实况照片的帧数i≥3，i为正整数。

具体地，第一实况照片会记录或获取用户在输入拍摄指令前后预设时间段内的图像信息和声音信息。示例性的，若预设时间段为1.5秒，则在接收到用户输入的拍摄指令后，电子设备10会记录或获取以“接收到用户输入的拍摄指令”的时间节点为中心的前后1.5秒的图像信息和声音信息，最终生成时长为3秒的第一实况照片。更进一步地，实况照片的时长（或上述预设时间段）可以由技术人员根据实际情况设定，也可以由用户根据自身喜好进行设定，在此不做限制。

需要说明的是，用于执行本申请实施例方法的终端设备—电子设备10为智能终端设备，电子设备10可以为各种类型，本申请实施例对其具体类型不作限制。例如，电子设备10可以是手机，还可以包括平板电脑、桌面型计算机、具有触敏表面或触控面板的台式计算机、膝上型计算机（laptop）、手持计算机、笔记本电脑、智慧屏、可穿戴式设备（如智能手表、智能手环等）、增强现实（augmented reality，AR）设备、虚拟现实（virtual reality，VR）设备、人工智能(artificial intelligence，AI)设备、车机、智能耳机，游戏机，还可以是物联网（internet of things，IOT）设备或智能家居设备如智能热水器、智能灯具、智能空调等等。

S202：电子设备基于用户的设置指令确定第一实况照片的修复方式，并对第一实况照片进行修复操作。

其中，请参见图3a-图3c，图3a-图3c为本申请实施例提供的一种用户输入设置指令的场景示意图。

如图3a所示，用户可以在向电子设备10输入拍摄指令之前输入设置指令，用户可以通过点击电子设备10的拍摄界面31中的设置按钮32进入设置界面33。在设置界面33中，用户可以设置第一修复方式和第二修复方式的启动条件，如图3a所示，第一修复方式的启动条件可以是电子设备10的电量小于70%、运行温度大于27摄氏度以及运行内存小于60%，第二修复方式的启动条件可以是电子设备10的电量大于或等于70%、运行温度小于或等于27摄氏度以及运行内存大于或等于60%。

如图3b所示，用户可以在向电子设备10输入拍摄指令之后输入设置指令。具体地，用户可以在电子设备10获取第一实况照片之后，可以点击拍摄界面31左下角的相册图标34进入第一实况照片对应的相册界面35。用户可以通过点击相册界面35中的编辑按钮36，进入编辑界面37，并在编辑界面37设置第一实况照片的修复方式。具体地，用户可以通过点击第一按钮38或第二按钮39来达到选择对应修复方式的目的，如图3b所示，第一按钮38的状态表示用户选择启用第一修复方式来修复第一实况照片，第二按钮39的状态表示用户选择不启用第二修复方式来修复第一实况照片。

如图3c所示，用户可以在电子设备10的“相册”应用程序中输入设置指令。具体地，用户可以在电子设备10中针对已经拍摄完成的实况照片选择修复方式。示例性的，用户可以点击电子设备10中的相册应用程序图标41，进入“所有照片”界面42。然后用户可以选择想要进行修复操作的目标实况照片（如图3c中的照片43），电子设备10可以为用户呈现照片43对应的相册界面44。用户可以通过点击照片43对应的相册界面44中的编辑按钮36，进入编辑界面37，并在编辑界面37设置第一实况照片的修复方式。与图3b相同，用户可以通过点击第一按钮38或第二按钮39来达到选择对应修复方式的目的。如图3c所示，第一按钮38的状态表示用户选择不启用第一修复方式来修复第一实况照片，第二按钮39的状态表示用户选择启用第二修复方式来修复第一实况照片。

请参见图4，图4为本申请实施例提供的另一种照片修复的方法的流程示意图。

如图4所示，该方法可以包括以下步骤：

S401：电子设备基于用户的目标指令，获取第一实况照片中的参考图像帧。

其中，电子设备10基于用户的目标指令，获取第一实况照片中的参考图像帧，可以包括：

在目标指令为拍摄指令时，接收用户的拍摄指令，响应于拍摄指令拍摄得到第一实况照片，获取第一实况照片中的参考图像帧；

在目标指令为修复指令时，接收用户针对第一实况照片的修复指令，并基于修复指令获取第一实况照片中的参考图像帧。

需要说明的是，第一实况照片的帧数i≥3，i为正整数；参考图像帧包括第一参考图像帧和第二参考图像帧，第一参考图像帧和第二参考图像帧为基于第一实况照片中不连续的两帧图像帧生成的。可以理解地，在本申请实施例中，“修复指令”可以相当于图2相关内容提及的“设置指令”。

在一些可能的实施方式中，电子设备在基于用户的修复指令，获取第一实况照片中的参考图像帧之前，还可以接收用户的修复指令。示例性的，用户可以在拍摄第一实况照片之前输入修复指令，从而在电子设备获取到第一实况照片之后立即开始对第一实况照片进行修复操作；用户也可以在获取第一实况照片之后针对第一实况照片输入修复指令，从而在电子设备接收到用户的修复指令之后再开始对第一实况照片进行修复操作。

在一些可能的实施方式中，获取第一实况照片中的参考图像帧，可以包括：

提取第一实况照片中的第一帧图像帧和最后一帧图像帧；

对第一帧图像帧和最后一帧图像帧进行预设处理，生成参考图像帧。

其中，预设处理可以提高第一帧图像帧和最后一帧图像帧的清晰度，可以使得第一帧图像帧和最后一帧图像帧所记录的物体和/或景色更加清晰，满足用户的观赏或使用需求。可选地，预设处理可以包括添加滤镜和锐化等，具体的预设处理方式或方案本申请实施例在此不做限制，技术人员可以根据实际情况进行设定。

在另一些可能的实施方式中，该方法还可以包括：

对第一帧图像帧进行预设处理，得到第一参考图像帧；

对最后一帧图像帧进行预设处理，得到第二参考图像帧。

S402：电子设备分别计算待修复图像帧与第一参考图像帧的第一像素差值、以及与第二参考图像帧的第二像素差值。

其中，待修复图像帧为第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1。

示例性的，请参见图5a，图5a为本申请实施例提供的一种实况照片的组成示意图。如图5a所示，若按时间流顺序排列，第一实况照片包括第一图像帧1、第二图像帧2、第三图像帧3、第四图像帧4和第五图像帧5，则可以认为第一图像帧1为第一帧图像帧，第五图像帧5为最后一帧图像帧，第二图像帧2、第三图像帧3和第四图像帧4为待修复图像帧。其中，可以基于第一图像帧1和第五图像帧5生成第一实况照片的第一参考图像帧和第二参考图像帧。

在一些可能的实施方式中，在计算待修复图像帧与参考图像帧的像素差值之前，该方法还可以包括：

接收用户的设置指令。

其中，设置指令相关解释和举例内容可以参照图2中相关内容和实施例，在此不做赘述。

在另一些可能的实施方式中，可以依次计算待修复图像帧与第一参考图像帧和第二参考图像帧中各个像素点的像素差值。示例性的，请参照图5b，图5b为本申请实施例提供的一种计算像素差值的场景示意图。如图5b所示，设按时间流顺序排列，第一实况照片包括第一图像帧1……第二图像帧2和第三图像帧3，则电子设备10可以基于第一图像帧1生成第一参考图像帧51，基于第三图像帧3生成第二参考图像帧52，可以确定除第一图像帧1和第三图像帧3以外的图像帧均为待修复图像帧（本申请实施例仅以第二图像帧2为例说明待修复图像帧的修复过程）。进一步地，第一参考图像帧51包含第一像素点1（设像素值为100）、第二像素点2（设像素值为50）、第三像素点3（设像素值为150）和第四像素点4（设像素值为200），第二参考图像帧52包含第五像素点5（设像素值为100）、第六像素点6（设像素值为50）、第七像素点7（设像素值为250）和第八像素点8（设像素值为150），第二图像帧2包括第九像素点9（设像素值为130）、第十像素点10（设像素值为50）、第十一像素点11（设像素值为100）和第十二像素点12（设像素值为200）。其中，第一像素点1、第五像素点5和第九像素点9为对应的像素点，第二像素点2、第六像素点6和第十像素点10为对应的像素点，第三像素点3、第七像素点7和第十一像素点11为对应的像素点，第四像素点4、第八像素点8和第十二像素点12为对应的像素点。可以看出，第九像素点9与在第一参考图像帧1中对应像素点的第一像素差值为-30，与在第二参考图像帧2中对应像素点的第二像素差值为-30，第十像素点10与在第一参考图像帧1中对应像素点的第一像素差值为0，与在第二参考图像帧2中对应像素点的第二像素差值为0，第十一像素点11与在第一参考图像帧1中对应像素点的第一像素差值为50，与在第二参考图像帧2中对应像素点的第二像素差值为150，第十二像素点12与在第一参考图像帧1中对应像素点的第一像素差值为0，与在第二参考图像帧2中对应像素点的第二像素差值为-50。需要说明的是，上述像素差值均是由参考图像帧对应像素点的像素值减去待修复图像帧中对应像素点的像素值得到的。

S403：电子设备基于每个待修复图像帧对应的第一像素差值和第二像素差值，生成与每个待修复图像帧对应的融合方案，并基于融合方案修复对应的待修复图像帧。

在一些可能的实施方式中，基于像素差值生成与待修复图像帧对应的融合方案，并基于融合方案修复待修复图像帧，可以包括：

基于第一像素差值和第二像素差值的大小，计算第一参考图像帧对于待修复图像帧的第一融合比例，计算第二参考图像帧对于待修复图像帧的第二融合比例；

基于第一融合比例、第二融合比例、第一参考图像帧、第二参考图像帧和待修复图像帧，生成替换图像帧。

示例性的，可以基于以下公式计算第一融合比例和第二融合比例：

其中，为第一融合比例，/>为第二融合比例，/>为第一像素差值，/>为第二像素差值。

示例性的，基于上述公式和图5b相关内容，可以计算出第九像素点9对应的第一融合比例为50%、第二融合比例为50%，第十像素点10对应的第一融合比例为0、第二融合比例为0，第十一像素点11对应的第一融合比例为25%、第二融合比例为75%，第十二像素点对应的第一融合比例为0、第二融合比例为100%。进一步地，可以计算除第二图像帧2对应的替换图像帧的各像素点像素值：与第九像素点对应的第十三像素点的像素值为100，与第十像素点对应的第十四像素点的像素值为50，与第十一像素点对应的第十五像素点的像素值为125，与第十二像素点对应的第十六像素点的像素值为150。

在另一些可能的实施方式中，在基于第一融合比例、第二融合比例、第一参考图像帧、第二参考图像帧和待修复图像帧，生成替换图像帧之后，该方法还可以包括：

利用替换图像帧替换对应的待修复图像帧，生成第二实况照片。

更进一步地，用第二实况照片替换第一实况照片。可能地，电子设备10可以在相册中同时保存第一实况照片或第二实况照片，或者，用户可以对第二实况照片进行编辑操作，使第二实况照片还原至第一实况照片。

可以看出，本申请实施例方法可以基于实况照片中的参考图像帧修复实况照片中清晰度不够的图像帧，提高实况照片中的待修复图像帧的清晰度，保证实况照片的每一帧图像帧都能为用户带来高清查看体验，增加用户的使用满意度。

请参见图6，图6为本申请实施例提供的另一种照片修复的方法的流程示意图。

如图6所示，该方法可以包括以下步骤：

S601：电子设备基于用户的目标指令，获取第一实况照片中的参考图像帧。

其中，电子设备10基于用户的目标指令，获取第一实况照片中的参考图像帧，可以包括：

在目标指令为拍摄指令时，接收用户的拍摄指令，响应于拍摄指令拍摄得到第一实况照片，获取第一实况照片中的参考图像帧；

在目标指令为修复指令时，接收用户针对第一实况照片的修复指令，并基于修复指令获取第一实况照片中的参考图像帧。

需要说明的是，第一实况照片的帧数i≥3，i为正整数；参考图像帧包括第一参考图像帧和第二参考图像帧，第一参考图像帧和第二参考图像帧为基于第一实况照片中不连续的两帧图像帧生成的。可以理解地，在本申请实施例中，“修复指令”可以相当于图2相关内容提及的“设置指令”。

在一些可能的实施方式中，电子设备在基于用户的修复指令，获取第一实况照片中的参考图像帧之前，还可以接收用户的修复指令。示例性的，用户可以在拍摄第一实况照片之前输入修复指令，从而在电子设备获取到第一实况照片之后立即开始对第一实况照片进行修复操作；用户也可以在获取第一实况照片之后针对第一实况照片输入修复指令，从而在电子设备接收到用户的修复指令之后再开始对第一实况照片进行修复操作。在一些可能的实施方式中，获取第一实况照片中的参考图像帧，可以包括：

提取第一实况照片中的第一帧图像帧和最后一帧图像帧；

对第一帧图像帧和最后一帧图像帧进行预设处理，生成参考图像帧。

其中，预设处理可以提高第一帧图像帧和最后一帧图像帧的清晰度，可以使得第一帧图像帧和最后一帧图像帧所记录的物体和/或景色更加清晰，满足用户的观赏或使用需求。可选地，预设处理可以包括添加滤镜和锐化等，具体的预设处理方式或方案本申请实施例在此不做限制，技术人员可以根据实际情况进行设定。

在另一些可能的实施方式中，该方法还可以包括：

对第一帧图像帧进行预设处理，得到第一参考图像帧；

对最后一帧图像帧进行预设处理，得到第二参考图像帧。

S602：电子设备将参考图像帧和待修复图像帧输入插帧神经网络，生成替换图像帧。

其中，待修复图像帧为第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1。具体的待修复图像帧的距离说明可以参考图5a及其相关实施例内容。

在一些可能的实施方式中，将将参考图像帧和待修复图像帧输入插帧神经网络，生成替换图像，可以包括：

将待修复图像帧输入插帧神经网络，利用插帧神经网络提取待修复图像帧的图像特征；

利用插帧神经网络，基于图像特征融合第一参考图像帧和第二参考图像帧，生成替换图像帧。

具体地，图像特征可以包括图像帧的亮度、色彩和纹理信息中的至少一种。

示例性的，请参见图7，图7为本申请实施例提供的一种生成替换图像帧的场景示意图。

如图7所示，设按时间流顺序排列，第一实况照片包括第四图像帧4……第五图像帧5和第六图像帧6，则电子设备10可以基于第四图像帧4生成第一参考图像帧71，基于第六图像帧6生成第二参考图像帧72，可以确定除第四图像帧4和第六图像帧6以外的图像帧均为待修复图像帧（本申请实施例仅以第五图像帧5为例说明待修复图像帧的修复过程）。将第一参考图像帧71、第二参考图像帧72和第五图像帧5输入插帧神经网络，插帧神经网络可以提取第五图像帧5对应的图像特征，再利用该图像特征指导第一参考图像帧71与第二参考图像帧72进行图像融合，进而得到替换图像帧，有利于在保证待修复图像帧（如上文所述的第五图像帧5）的图像特征不变的情况下提高待修复图像帧的清晰度，使得替换图像帧符合实况照片实际记录的图像信息，从而为用户提供更好的使用体验。

S603：电子设备利用替换图像帧替换对应的待修复图像帧，生成第二实况照片。

更进一步地，用第二实况照片替换第一实况照片。可能地，电子设备10可以在相册中同时保存第一实况照片或第二实况照片，或者，用户可以对第二实况照片进行编辑操作，使第二实况照片还原至第一实况照片。

在一些可能的实施方式中，基于图2、图4与图6所述的照片修复的方法，本申请实施例方法还可以应用于视频修复的场景，电子设备10可以对用户拍摄的视频或者用户保存的视频进行修复操作。示例性的，若用户拍摄了第一视频，则电子设备10可以获取第一视频中参考图像帧，然后基于用户的设置指令和参考图像帧修复待修复图像帧；若用户保存了第二视频，则用户可以在电子设备10的“相册”软件中第二视频对应的展示界面进行编辑操作，并由用户指定第二视频的修复方式（如图2的对应实施例图3a-图3b中涉及的第一修复方式和第二修复方式）。其中，在视频修复的场景下，用户输入设置指令的方式也可以参考图3a-图3b的相关内容，在此不做赘述。

请参见图8，图8为本申请实施例提供的一种电子设备的结构示意图。

如图8所示，电子设备10可以包括：交互模块810、获取模块820和计算模块830；

交互模块810，可以用于接收用户的拍摄指令；

交互模块810，还可以用于接收用户的修复指令；

获取模块820，可以用于基于用户的拍摄指令获取第一实况照片，第一实况照片的帧数i≥3，i为正整数；

计算模块830，可以用于基于用户的目标指令，获取第一实况照片中的参考图像帧；

计算模块830，还可以用于计算待修复图像帧与参考图像帧的像素差值，待修复图像帧为第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1；

计算模块830，还可以用于基于像素差值生成与待修复图像帧对应的融合方案，并基于融合方案修复待修复图像帧。

在一些可能的实施方式中，电子设备10还可以包括：

计算模块830，还可以用于提取第一实况照片中的第一帧图像帧和最后一帧图像帧；

计算模块830，还可以用于对第一帧图像帧和最后一帧图像帧进行预设处理，生成参考图像帧。

在另一些可能的实施方式中，电子设备10还可以包括：

计算模块830，还可以用于对第一帧图像帧进行预设处理，得到第一参考图像帧；

计算模块830，还可以用于对最后一帧图像帧进行预设处理，得到第二参考图像帧。

在另一些可能的实施方式中，电子设备10还可以包括：

计算模块830，还可以用于计算待修复图像帧与第一参考图像帧的第一像素差值；

计算模块830，还可以用于计算待修复图像帧与第二参考图像帧的第二像素差值。

在另一些可能的实施方式中，电子设备10还可以包括：

计算模块830，还可以用于基于第一像素差值和第二像素差值的大小，计算第一参考图像帧对于待修复图像帧的第一融合比例，计算第二参考图像帧对于待修复图像帧的第二融合比例；

计算模块830，还可以用于基于第一融合比例、第二融合比例、第一参考图像帧、第二参考图像帧以及待修复图像帧，生成替换图像帧。

在另一些可能的实施方式中，电子设备10还可以包括：

计算模块830，还可以用于利用替换图像帧替换对应的待修复图像帧，生成第二实况照片。

在另一些可能的实施方式中，电子设备10还可以包括：

计算模块830，还可以用于将参考图像帧和待修复图像帧输入插帧神经网络，生成替换图像帧，待修复图像帧为第一实况照片中除参考图像帧意外的其他图像帧。

在另一些可能的实施方式中，电子设备10还可以包括：

交互模块810，还可以用于将待修复图像帧输入插帧神经网络，利用插帧神经网络提取待修复图像帧的图像特征；

交互模块810，还可以用于利用插帧神经网络，基于图像特征融合第一参考图像帧和第二参考图像帧，生成替换图像帧。

请参见图9，图9为本申请实施例提供的一种电子设备的硬件结构示意图。电子设备10用于执行前文方法实施例提供的图像推荐方法。

电子设备10可以包括处理器101，存储器102，无线通信模块103，移动通信模块104，天线103A，天线104A，电源开关105，传感器模块106，对焦马达107，摄像头108，显示屏109等。其中，传感器模块106可以包括陀螺仪传感器106A，加速度传感器106B，环境光传感器106C，图像传感器106D，距离传感器106E等。其中，无线通信模块103可以包括WLAN通信模块，蓝牙通信模块等。上述多个部分可以通过总线传输数据。

处理器101可以包括一个或多个处理单元，例如：处理器101可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

存储器102可以用于存储计算机可执行程序代码，可执行程序代码可以包括指令。处理器101通过运行存储在存储器102的指令，从而执行电子设备10的各种功能应用以及数据处理。存储器102可以包括存储程序区和存储数据区。具体实现中，存储器102可以包括高速随机存取的存储器，并且也可包括非易失性存储器，例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。

电子设备10的无线通信功能可以通过天线103A，天线104A，移动通信模块104，无线通信模块103，调制解调处理器以及基带处理器等实现。

天线103A和天线104A可以用于发射和接收电磁波信号。电子设备10中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。

移动通信模块104可以提供应用在电子设备10上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块104可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块104可以由天线104A接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块104还可以对经调制解调处理器调制后的信号放大，经天线104A转为电磁波辐射出去。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备输出声音信号，或通过显示屏109显示图像或视频。

无线通信模块103可以提供应用在电子设备10上的包括无线局域网(wirelesslocal area networks，WLAN)，蓝牙(bluetooth，BT)，全球导航卫星系统(globalnavigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块103可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块103经由天线103A接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器101。无线通信模块103还可以从处理器101接收待发送的信号，对其进行调频，放大，经天线103A转为电磁波辐射出去。

电源开关105可用于控制电源向电子设备10的供电。

陀螺仪传感器106A可以用于确定电子设备10的运动姿态。在一些实施例中，可以通过陀螺仪传感器106A确定电子设备10围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器106A可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器106A检测电子设备10抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备10的抖动，实现防抖。陀螺仪传感器106A还可以用于导航，体感游戏场景。

加速度传感器106B可检测电子设备10在各个方向上(一般为三轴)加速度的大小。当电子设备10静止时可检测出重力的大小及方向。还可以用于识别用户终端姿态，例如，加速度传感器106B可以应用于横竖屏切换，计步器等应用。

环境光传感器106C用于感知环境光亮度。电子设备10可以根据感知的环境光亮度自适应调节显示屏109的亮度。环境光传感器106C也可用于拍照时自动调节白平衡。

图像传感器106D，又称为感光元件，可以利用光电器件的光电转换功能将感光面上的光像转换为与光像成相应比例关系的电信号。图像传感器可以是电荷耦合器件(charge coupled device，CCD)传感器或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)传感器。

距离传感器106E可以用于测量距离。电子设备10可以通过红外或激光测量距离。在一些拍摄场景中，电子设备10可以利用距离传感器106E测距以实现快速对焦。

对焦马达107可用于快速对焦。电子设备10可以通过对焦马达107控制镜片的移动，实现自动对焦。

电子设备10可以通过ISP，摄像头108，视频编解码器，GPU，显示屏109以及应用处理器等实现拍摄功能。

ISP用于处理摄像头108反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点和亮度进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头108中。

摄像头108可用于捕获静态图像或视频。物体通过镜头生成光学图像投射到图像传感器。图像传感器可以把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP可以将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备10可以包括1个或N个摄像头108，N为大于1的正整数。

视频编解码器用于对数字图像压缩或解压缩。电子设备10可以支持一种或多种图像编解码器。这样，电子设备10代开或保存多种编码格式的图片或视频。

电子设备10可以通过GPU，显示屏109，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏109和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器101可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏109用于显示图像，视频等。显示屏109包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备10可以包括1个或N个显示屏109，N为大于1的正整数。

可以理解的是，本发明实施例示意的结构并不构成对电子设备10的具体限定。在本申请另一些实施例中，电子设备10可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

电子设备10中各器件所执行的操作，具体可参考前文方法实施例的相关描述，这里不再详细展开。

电子设备10的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的移动操作系统为例，示例性说明电子设备10的软件结构。

请参见图10，图10为本申请实施例的一种电子设备的软件结构框图。

分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将移动操作系统分为四层，从上至下分别为应用程序层，应用程序框架层/核心服务层，系统库和运行时，以及内核层。

应用程序层可以包括一系列应用程序包。

如图10所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。

如图10所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。

窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。

视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。

电话管理器用于提供用户终端的通信功能。例如通话状态的管理(包括接通，挂断等)。

资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。

通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，用户终端振动，指示灯闪烁等。

运行时可以指程序运行时所需的一切代码库、框架等。例如，对于C语言来说，运行时包括一系列C程序运行所需的函数库。对于Java语言来说，除了核心库之外，运行时还包括Java程序运行所需的虚拟机等。上述核心库可包括Java语言需要调用的功能函数。

系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。

表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。

媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。

三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。

2D图形引擎是2D绘图的绘图引擎。

内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。

应理解，上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

本申请还提供一种用户终端，该用户终端可以包括：存储器和处理器。其中，存储器可用于存储计算机程序；处理器可用于调用所述存储器中的计算机程序，以使得该用户终端执行上述任意一个实施例中用户终端侧执行的方法。

本申请还提供一种用户终端，该用户终端可以包括：存储器和处理器。其中，存储器可用于存储计算机程序；处理器可用于调用所述存储器中的计算机程序，以使得该用户终端执行上述任意一个实施例中用户终端侧执行的方法。

本申请还提供了一种芯片系统，所述芯片系统包括至少一个处理器，用于实现上述任一个实施例中用户终端侧所涉及的功能。

在一种可能的设计中，所述芯片系统还包括存储器，所述存储器用于保存程序指令和数据，存储器位于处理器之内或处理器之外。

该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

可选地，该芯片系统中的处理器可以为一个或多个。该处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时，该处理器可以是逻辑电路、集成电路等。当通过软件实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现。

可选地，该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起，也可以和处理器分离设置，本申请实施例并不限定。示例性地，存储器可以是非瞬时性处理器，例如只读存储器ROM，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型，以及存储器与处理器的设置方式不作具体限定。

示例性地，该芯片系统可以是现场可编程门阵列（field programmable gatearray，FPGA），可以是专用集成芯片（application specific integrated circuit，ASIC），还可以是系统芯片（system on chip，SoC），还可以是中央处理器（central processorunit，CPU），还可以是网络处理器（network processor，NP），还可以是数字信号处理电路（digital signal processor，DSP），还可以是微控制器（micro controller unit，MCU），还可以是可编程控制器（programmable logic device，PLD）或其他集成芯片。

本申请还提供一种计算机程序产品，所述计算机程序产品包括：计算机程序（也可以称为代码，或指令），当所述计算机程序被运行时，使得计算机执行上述任一个实施例中用户终端侧所执行的方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序（也可以称为代码，或指令）。当所述计算机程序被运行时，使得计算机执行上述任一个实施例中用户终端侧所执行的方法。

本申请的各实施方式可以任意进行组合，以实现不同的技术效果。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如红外、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，（例如，软盘、硬盘、磁带）、光介质（例如，DVD）、或者半导体介质（例如固态硬盘（solidstate disk，SSD））等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

总之，以上所述仅为本申请技术方案的实施例而已，并非用于限定本申请的保护范围。凡根据本申请的揭露，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (16)

1.一种照片修复的方法，其特征在于，所述方法包括：

基于用户的目标指令，获取第一实况照片中的参考图像帧，所述第一实况照片的帧数i≥3，i为正整数，所述参考图像帧包括第一参考图像帧和第二参考图像帧，所述第一参考图像帧和所述第二参考图像帧为基于所述第一实况照片中不连续的两帧图像帧生成的；

分别计算待修复图像帧与所述第一参考图像帧的第一像素差值、以及与所述第二参考图像帧的第二像素差值，所述待修复图像帧为所述第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1；

基于每个所述待修复图像帧对应的第一像素差值和第二像素差值，生成与每个所述待修复图像帧对应的融合方案，并基于所述融合方案修复对应的待修复图像帧。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一实况照片中的参考图像帧，包括：

提取所述第一实况照片中的第一帧图像帧和最后一帧图像帧；

对所述第一帧图像帧进行预设处理，得到第一参考图像帧；

对所述最后一帧图像帧进行所述预设处理，得到第二参考图像帧。

3.根据权利要求2所述的方法，其特征在于，所述基于每个所述待修复图像帧对应的第一像素差值和第二像素差值，生成与每个所述待修复图像帧对应的融合方案，并基于所述融合方案修复对应的待修复图像帧，包括：

基于所述第一像素差值和所述第二像素差值的大小，计算所述第一参考图像帧对于所述待修复图像帧的第一融合比例，计算所述第二参考图像帧对于所述待修复图像帧的第二融合比例；

基于所述第一融合比例、所述第二融合比例、所述第一参考图像帧、所述第二参考图像帧和所述待修复图像帧，生成替换图像帧。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述目标指令为拍摄指令；所述基于用户的目标指令，获取第一实况照片中的参考图像帧，包括：

接收所述用户的拍摄指令，响应于所述拍摄指令拍摄得到第一实况照片，获取所述第一实况照片中的参考图像帧。

5.根据权利要求4所述的方法，其特征在于，所述目标指令为修复指令；所述基于用户的目标指令，获取第一实况照片中的参考图像帧，包括：

接收所述用户针对第一实况照片的修复指令，并基于所述修复指令获取所述第一实况照片中的参考图像帧。

6.根据权利要求5所述的方法，其特征在于，在所述基于每个所述待修复图像帧对应的第一像素差值和第二像素差值，生成与每个所述待修复图像帧对应的融合方案，并基于所述融合方案修复对应的待修复图像帧之后，所述方法还包括：

利用基于所述融合方案生成的替换图像帧替换对应的待修复图像帧，生成第二实况照片。

7.一种照片修复的方法，其特征在于，所述方法包括：

基于用户的目标指令，获取第一实况照片中的参考图像帧，所述第一实况照片的帧数i≥3，i为正整数，所述参考图像帧包括第一参考图像帧和第二参考图像帧，所述第一参考图像帧和所述第二参考图像帧为基于所述第一实况照片中不连续的两帧图像帧生成的；

将所述参考图像帧和待修复图像帧输入插帧神经网络，生成替换图像帧，所述待修复图像帧为所述第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1；

利用所述替换图像帧替换对应的待修复图像帧，生成第二实况照片。

8.根据权利要求7所述的方法，其特征在于，所述获取所述第一实况照片中的参考图像帧，包括：

提取所述第一实况照片中的第一帧图像帧和最后一帧图像帧；

对所述第一帧图像帧进行预设处理，得到第一参考图像帧；

对所述最后一帧图像帧进行所述预设处理，得到第二参考图像帧。

9.根据权利要求8所述的方法，其特征在于，所述将所述参考图像帧和待修复图像帧输入插帧神经网络，生成替换图像帧，包括：

将所述待修复图像帧输入所述插帧神经网络，利用所述插帧神经网络提取所述待修复图像帧的图像特征；

利用所述插帧神经网络，基于所述图像特征融合所述第一参考图像帧和所述第二参考图像帧，生成所述替换图像帧。

10.根据权利要求9所述的方法，其特征在于，所述图像特征包括亮度、色彩和纹理信息中的至少一种。

11.根据权利要求7-10任一项所述的方法，其特征在于，所述目标指令为拍摄指令；所述基于用户的目标指令，获取第一实况照片中的参考图像帧，包括：

接收所述用户的拍摄指令，响应于所述拍摄指令得到第一实况照片，获取所述第一实况照片中的参考图像帧。

12.根据权利要求11所述的方法，其特征在于，所述目标指令为修复指令；所述基于用户的目标指令，获取第一实况照片中的参考图像帧，包括：

接收所述用户针对所述第一实况照片的修复指令，并基于所述修复指令获取所述第一实况照片中的参考图像帧。

13.一种电子设备，其特征在于，所述电子设备包括：计算模块；

所述计算模块，用于基于用户的目标指令，获取第一实况照片中的参考图像帧，所述第一实况照片的帧数i≥3，i为正整数，所述参考图像帧包括第一参考图像帧和第二参考图像帧，所述第一参考图像帧和所述第二参考图像帧为基于所述第一实况照片中不连续的两帧图像帧生成的；

所述计算模块，还用于分别计算待修复图像帧与所述第一参考图像帧的第一像素差值、以及与所述第二参考图像帧的第二像素差值，所述待修复图像帧为所述第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1；

所述计算模块，还用于基于每个所述待修复图像帧对应的第一像素差值和第二像素差值，生成与每个所述待修复图像帧对应的融合方案，并基于所述融合方案修复对应的待修复图像帧。

14.一种电子设备，其特征在于，所述电子设备包括：计算模块；

所述计算模块，用于基于用户的修复指令，获取第一实况照片中的参考图像帧，所述第一实况照片的帧数i≥3，i为正整数，所述参考图像帧包括第一参考图像帧和第二参考图像帧，所述第一参考图像帧和所述第二参考图像帧为所述第一实况照片中不连续的两帧图像帧；

所述计算模块，还用于将所述参考图像帧和待修复图像帧输入插帧神经网络，生成替换图像帧，所述待修复图像帧为所述第一实况照片中的第N帧图像帧，其中，N=2、3、……i-1；

所述计算模块，还用于利用所述替换图像帧替换对应的待修复图像帧，生成第二实况照片。

15.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得执行如权利要求1-6或7-12任一项所述的方法。

16.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在目标终端上运行时，使得执行如权利要求1-6或7-12任一项所述的方法。