CN117376606A - 视频补帧方法、装置、电子设备及存储介质 - Google Patents

Abstract

本说明书提供一种视频补帧方法，其特征在于，所述方法包括：对待补帧的视频进行解码，得到所述视频包含的多个视频帧；检测所述多个视频帧中的掉帧位置；基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置；对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码，得到补帧后的视频。本说明书的视频补帧方法能够基于相邻帧的像素点信息生成补偿视频帧，从而提高补帧后的视频播放流畅度。

Description

视频补帧方法、装置、电子设备及存储介质

技术领域

本说明书一个或多个实施例涉及视频处理技术领域，尤其涉及一种视频补帧方法、装置、电子设备及存储介质。

背景技术

视频掉帧，指的是由于网络信号差、系统性能不足、显卡性能不足，导致原始视频中的部分视频帧无法正常播放，进而出现视频播放卡顿、跳跃现象，造成用户的视频观看体验不佳。

在相关技术中，为了解决视频丢帧问题，通常可以利用帧间预测方式进行视频补偿。其中，帧间预测方式通常是判断丢帧位置前后相邻的两帧视频帧中适合放置于丢帧位置的视频帧，将该视频帧直接代替丢帧的视频帧，并对视频进行重新编码以得到补偿后的视频。

由此可见，在以上示出的实施例中，帧间预测方式虽然能补偿丢失的视频帧，但将掉帧位置前后相邻的两帧视频帧中的某一帧视频帧直接代替丢失的视频帧的方式会带来补偿后的视频播放不流畅的问题。

发明内容

本申请提供一种视频补帧方法，所述方法包括：

对待补帧的视频进行解码，得到所述视频包含的多个视频帧；

检测所述多个视频帧中的掉帧位置；

基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置；

对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码，得到补帧后的视频。

可选的，所述生成补偿视频帧的方式，包括以下至少之一：

模型预测方式；

基于历史视频帧的统计预测方式。

可选的，所述生成补偿视频帧的方式包括模型预测方式，其中，所述基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，包括：

将与所述掉帧位置相邻的至少两个视频帧的像素点信息输入训练完成的预测模型，得到所述预测模型输出的所述补偿视频帧的像素点信息；

基于所述补偿视频帧的像素点信息，生成所述补偿视频帧。

可选的，所述生成补偿视频帧的方式包括基于历史视频帧的统计预测方式，其中，所述基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，包括：

针对所述多个视频帧中互为相邻的视频帧，两两计算视频帧中各个像素点的像素值的差值；

根据所述差值和与所述掉帧位置相邻的视频帧中各个像素点的像素值，预测所述补偿视频帧中各个像素点的像素值；

基于所述补偿视频帧中各个像素点的像素值，生成所述补偿视频帧。

可选的，所述检测所述多个视频帧中的掉帧位置，包括：

针对所述多个视频帧中互为相邻的视频帧的时间戳，确定两个视频帧的时间戳所标识的时刻之间的间隔时长是否达到预设时长；

如果是，则确定所述两个视频帧之间存在至少一个掉帧位置。

可选的，所述方法还包括：

检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值；

若所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值，通过图像插值算法给所述补偿视频帧或所述多个视频帧生成更多像素插值，以使所述补偿视频帧或所述多个视频帧的分辨率达到所述预先配置的分辨率阈值。

本申请还提供一种视频补帧装置，所述装置包括：

解码单元，用于对待补帧的视频进行解码，得到所述视频包含的多个视频帧；

检测单元，用于检测所述多个视频帧中的掉帧位置；

补偿单元，用于基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置；

编码单元，用于对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码，得到补帧后的视频。

可选的，所述装置还包括：

第二检测单元，用于检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值；

插值单元，用于在所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值时，对所述补偿视频帧或所述多个视频帧进行图像插值处理。

本申请还提供一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行上述方法。

本申请还提供一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，实现上述方法。

通过以上方式，本申请将待补帧的视频解码并得到多个视频帧，检测得到视频帧中的掉帧位置，基于与掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置，可以实现基于相邻帧的像素点信息生成补偿视频帧，从而提高补帧后的视频播放流畅度。

附图说明

为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是一示例性的实施例示出的一种视频补帧示意图；

图2是一示例性的实施例示出的一种视频补帧方法的流程示意图；

图3是一示例性的实施例示出的一种检测视频掉帧位置的示意图；

图4是一示例性的实施例示出的一种视频帧像素插值示意图；

图5是一示例性的实施例示出的一种视频补帧装置所在电子设备的硬件结构图；

图6是一示例性的实施例示出的一种视频补帧装置的框图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

视频由多帧视频帧组成，视频掉帧现象指的是视频在以视频流形式进行传输的过程中，由于网络信号差、系统性能不足、显卡性能不足等原因造成的视频帧丢失。视频掉帧会导致视频图像卡顿、跳跃、延迟，从而影响视频的播放效果，造成用户方在视频观看时体验不佳。

在相关技术中，为了解决视频丢帧问题，通常通过帧压缩方式或帧间预测方式得到对掉帧视频补偿后的视频。帧压缩方式是通过预测补偿、码率控制和错误恢复等技术来尽可能还原原始图像，以减轻视频丢帧的影响。帧间预测方式通常是判断丢帧位置前后相邻的两帧视频帧中适合放置于丢帧位置的视频帧，将该视频帧直接代替丢帧的视频帧，并对视频进行重新编码以得到补偿后的视频。

由此可见，在以上示出的实施例中，一方面，帧压缩方式虽然可以一定程度上减轻视频丢帧的影响，但丢失的视频帧无法完全恢复。另一方面，帧间预测方式虽然能补偿丢失的视频帧，但将掉帧位置前后相邻的两帧视频帧中的某一帧视频帧直接代替丢失的视频帧的方式必然会带来补偿后的视频图像质量不佳的问题。目前尚需要一种提高补帧后的视频图像质量的视频掉帧补偿方法。

有鉴于此，本说明书旨在提出一种视频补帧方法，首先对视频解码得到多个视频帧，在多个视频帧中确定出掉帧位置，然后基于相邻帧的像素点信息生成补偿视频帧，用补偿视频帧在掉帧位置处补偿掉帧的视频帧，从而提高补帧后的视频播放流畅度的技术方案。

在实现时，可以对待补帧的视频进行解码，得到所述视频包含的多个视频帧；进一步地，可以检测所述多个视频帧中的掉帧位置；进一步地，可以基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置；进一步地，可以对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码，得到补帧后的视频。

例如，请参见图1，图1是一示例性的实施例示出的一种视频补帧示意图。如图1所示，针对待补帧的视频101，首先可以对待补帧的视频101进行解码，得到待补帧的视频101包含的多个视频帧102；进一步地，可以检测多个视频帧102中的掉帧位置；进一步地，基于与掉帧位置相邻的视频帧的像素点信息，可以生成补偿视频帧103，并可以将补偿视频帧103添加至掉帧位置；进一步地，可以对掉帧位置添加了补偿视频帧103的多个视频帧进行编码，得到补帧后的视频104。

由此可见，在本说明书中的技术方案中，本申请将待补帧的视频解码并得到多个视频帧，检测得到视频帧中的掉帧位置，基于与掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置，可以实现基于相邻帧的像素点信息生成补偿视频帧，从而提高补帧后的视频播放流畅度。

下面通过具体实施例，结合具体的应用场景对本申请进行描述。

请参见图2，图2是一示例性的实施例示出的一种视频补帧方法的流程示意图。所述方法可以执行以下步骤：

步骤202：对待补帧的视频进行解码，得到所述视频包含的多个视频帧。

例如，如图1所示，对待补帧的视频101进行解码，得到所述视频包含的多个视频帧102。

其中，待补帧的视频是指视频以视频流的形式进行传输过程中，存在视频丢帧并需要进行视频补帧的视频。视频解码是将经过编码压缩的视频数据转换回原始视频信号的过程。在编码过程中，为了减小视频的存储和传输成本，视频数据被压缩并编码成特定格式。因此，在播放或处理视频时，需要对编码后的视频数据进行解码操作，以还原为原始的视频帧序列，使得压缩后的视频数据能够被播放和处理。视频帧是构成视频的静态图像，它们按照一定的顺序排列，以一定的帧率播放，从而呈现出连续的动态影像。每个视频帧都是视频处理和播放的基本单位。

步骤204：检测所述多个视频帧中的掉帧位置。

例如，如图1所示，对待补帧的视频101进行解码后，在所述视频包含的多个视频帧102中检测掉帧位置，得到掉帧位置处的掉帧的视频帧。

其中，掉帧位置是指在待补帧的视频中，发生视频掉帧的位置。所述掉帧位置对应的掉帧的视频帧的数量可以为一个或多个，对于所述掉帧位置对应的掉帧的视频帧的数量，本说明书中对此并不进行限制。掉帧的视频帧指的是在视频播放或处理过程中丢失的视频帧。

步骤206：基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置。

例如，如图1所示，基于与所述掉帧位置相邻的视频帧的像素点信息生成补偿视频帧103，并将所述补偿视频帧103添加至所述掉帧位置。

其中，像素点信息包括像素点的位置坐标、像素点的亮度值、像素点的颜色信息等。将所述补偿视频帧添加至所述掉帧位置的方式可以为在掉帧位置插入所述补偿视频帧。对于像素点信息的具体形式和补偿视频帧具体插入方式，本说明书中对此并不进行限制。

步骤208：对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码，得到补帧后的视频。

例如，如图1所示，对在所述掉帧位置添加所述补偿视频帧103后的多个视频帧，即对多个视频帧102和补偿视频帧103进行编码，得到补帧后的视频104。

其中，视频编码视频编码是将视频信号转换为数字数据的过程，它通过对视频信号进行空间和时间上的压缩，以减小数据量并保持画面质量。视频编码的主要目标是在给定的带宽和存储容量下，实现高效的视频传输和存储。补帧后的视频是指对待补帧的视频进行视频补帧后，再次进行视频编码形成的视频。

在示出的一种实施方式中，所述生成补偿视频帧的方式，包括以下至少之一：

模型预测方式；

基于历史视频帧的统计预测方式。

例如，如图1所示，生成补偿视频帧103的方式，包括以下至少之一：模型预测方式；基于历史视频帧的统计预测方式。模型预测方式是基于与所述掉帧位置相邻的多个视频帧102生成的模型，预测出补偿视频帧103的方式。基于历史视频帧的统计预测方式是基于掉帧位置之前的未掉帧视频帧，基于统计算法预测出补偿视频帧103的方式。

其中，与所述掉帧位置相邻的视频帧可以是与所述掉帧位置相邻的左右两帧视频帧，或多帧视频帧，对于相邻视频帧的数量，本说明书对此并不进行限制。历史视频帧是指掉帧位置之前的未掉帧的一帧或多帧视频帧，对于历史视频帧的数量，本说明书对此并不进行限制。基于统计预测出补偿视频帧的方式可以是基于插值的方法、基于光流场法的方法、基于深度学习的方法、基于运动估计的方法等，关于具体的基于统计预测出补偿视频帧的方式，本说明书对此并不进行限制。

在示出的一种实施方式中，所述生成补偿视频帧的方式包括模型预测方式，其中，所述基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，包括：

将与所述掉帧位置相邻的至少两个视频帧的像素点信息输入训练完成的预测模型，得到所述预测模型输出的所述补偿视频帧的像素点信息；

基于所述补偿视频帧的像素点信息，生成所述补偿视频帧。

例如，如图1所示，将与所述掉帧位置相邻的多个视频帧102的像素点信息输入训练完成的预测模型，得到所述预测模型输出的所述补偿视频帧103的像素点信息。

需要说明的是，相邻视频帧的同一位置像素点信息对应得到补偿视频帧的同一位置像素点信息。其中，在训练模型的时候，会确定模型的优化目标。

在一种可能的实现方式中，如果输入的两个视频帧的像素点信息，则输出两个视频帧的像素点信息平均值。

除此之外，也可以按需训练其他优化目标，从而结合多个视频帧的像素点信息生成与掉帧的视频帧图像相似的补偿视频帧。这种方式相较于直接将某一历史视频帧直接复制后作为补偿视频帧的实现方式，使得补偿后的视频中的各个视频帧之间过渡更加自然，补帧后的视频更接近未掉帧的视频，视频掉帧效果更好。

在示出的一种实施方式中，所述生成补偿视频帧的方式包括基于历史视频帧的统计预测方式，其中，所述基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，包括：

针对所述多个视频帧中互为相邻的视频帧，两两计算视频帧中各个像素点的像素值的差值；

根据所述差值和与所述掉帧位置相邻的视频帧中各个像素点的像素值，预测所述补偿视频帧中各个像素点的像素值；

基于所述补偿视频帧中各个像素点的像素值，生成所述补偿视频帧。

例如，如图1所示，针对所述多个视频帧102中互为相邻的视频帧，两两计算多个视频帧102中各个像素点的像素值的差值；根据所述差值和与所述掉帧位置相邻的视频帧中各个像素点的像素值，预测所述补偿视频帧103中各个像素点的像素值；基于所述补偿视频帧103中各个像素点的像素值，生成所述补偿视频帧103。

其中，两两计算视频帧中各个像素点的像素值的差值是为了获取相邻两帧视频帧中各个像素点的像素值的变化趋势，并依据相邻两帧视频帧中各个像素点的像素值的变化趋势预测得到补偿视频帧中各个像素点的像素值，具体的预测方法可以是插值算法等，本说明书对此并不进行限制。考虑到视频帧由各个像素点构成，所以可以基于所述补偿视频帧中各个像素点的像素值，生成所述补偿视频帧。

在示出的一种实施方式中，所述检测所述多个视频帧中的掉帧位置，包括：

针对所述多个视频帧中互为相邻的视频帧的时间戳，确定两个视频帧的时间戳所标识的时刻之间的间隔时长是否达到预设时长；

如果是，则确定所述两个视频帧之间存在至少一个掉帧位置。

例如，请参见图3，图3是一示例性的实施例示出的一种检测视频掉帧位置的示意图。如图3所示，待补帧的视频301经过视频解码后，得到全部视频帧302。全部视频帧302以每一帧视频帧在待补帧的视频301中的播放顺序进行排序。每一帧视频帧包含一个时间戳，相邻两帧视频帧的时间戳所标识的时刻之间的间隔时长根据视频的帧率确定。假设某个视频的帧率为1fps，则第一帧视频帧的时间戳为十点零零分零零秒，即10：00：00，第二帧视频帧的时间戳为十点零零分零一秒，即10：00：01，第三帧视频帧的时间戳为十点零零分零二秒，即10：00：02，第四帧视频帧的时间戳为十点零零分零三秒，即10：00：03，第五帧视频帧的时间戳为十点零零分零四秒，即10：00：04。预设时长可以设置为两倍的两个视频帧的时间戳所标识的时刻之间的间隔时长，即2秒。因为第二帧视频帧到第四帧视频帧的时间戳间隔为2秒，达到了预设时长，所以可以确定第二帧视频帧到第四帧视频帧之间存在至少一个掉帧位置。

其中，视频帧的时间戳是指每一帧视频帧在整个视频中的时间位置，可以通过时间戳来标记每一帧的位置和时间信息。在视频未掉帧的情况下，相邻两帧视频帧之间的时间戳所标识的时刻之间的间隔时长由视频的帧率确定。视频的帧率是指视频每秒显示的帧数。

在示出的一种实施方式中，可以根据其他相邻视频帧的时间戳和视频帧率，确定在某一掉帧位置的视频帧掉帧数量，基于所述掉帧数量生成所述补偿视频帧。

在示出的一种实施方式中，可以比较所述视频包含的多个视频帧的帧序号与所述视频在未掉帧情况下包含的全部帧序号，确定所述视频的掉帧数量，基于所述掉帧数量生成所述补偿视频帧。

在示出的一种实施方式中，为了确定视频帧掉帧位置和掉帧数量，所述多帧视频帧以每一帧视频帧在所述视频中的播放顺序进行排序。预先配置按照递增顺序为原始视频中的各个视频帧添加帧序号，使得接收方通过检测帧序号，确定丢失了哪几个视频帧。

在示出的一种实施方式中，为了提高补帧后视频的分辨率，提高补帧后视频的质量，所述方法还包括：

检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值；

若所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值，则对所述补偿视频帧或所述多个视频帧进行图像插值处理。

例如，请参见图4，图4是一示例性的实施例示出的一种视频帧像素插值示意图。如图4所示，在待补帧的视频经过视频解码后，首先检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值；进一步地，若所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值，则对所述补偿视频帧或所述多个视频帧进行图像插值处理，从而在图4的虚线圆圈处生成新的像素点。

其中，视频帧像素插值算法是用于在视频处理中对图像进行放大或缩小时，通过计算和估计像素之间的值，生成新的像素。视频帧像素插值算法包括双线性插值、双三次插值、Lanczos插值、双立方插值、深度学习插值算法等。对于视频帧像素插值算法的具体选择，本说明书中对此并不进行限制。预先配置的分辨率阈值可以为未掉帧视频原有分辨率数值，也可以为自定义数值，本说明书中对此并不进行限制。

与上述视频补帧方法的实施例对应的，本说明书还提供了一种视频补帧装置的实施例。

请参见图5，图5是一示例性的实施例示出的一种视频补帧装置所在电子设备的硬件结构图。在硬件层面，该设备包括处理器502、内部总线504、网络接口506、内存508以及非易失性存储器510，当然还可能包括其他所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现，比如由处理器502从非易失性存储器510中读取对应的计算机程序到内存508中然后运行。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

请参见图6，图6是一示例性的实施例示出的一种视频补帧装置的框图。该视频补帧装置可以应用于如图5所示的电子设备中，以实现本说明书的技术方案。所述装置可以包括：

解码单元602，用于对待补帧的视频进行解码，得到所述视频包含的多个视频帧；

第一检测单元604，用于检测所述多个视频帧中的掉帧位置；

补偿单元606，用于基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置；

编码单元608，用于对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码，得到补帧后的视频。

在本实施例中，所述生成补偿视频帧的方式，包括以下至少之一：

模型预测方式；

基于历史视频帧的统计预测方式。

在本实施例中，所述补偿单元，包括：

输入子单元，用于将与所述掉帧位置相邻的至少两个视频帧的像素点信息输入训练完成的预测模型，得到所述预测模型输出的所述补偿视频帧的像素点信息；

第一生成子单元，用于基于所述补偿视频帧的像素点信息，生成所述补偿视频帧。

在本实施例中，所述补偿单元，包括：

计算子单元，用于针对所述多个视频帧中互为相邻的视频帧，两两计算视频帧中各个像素点的像素值的差值；

预测子单元，用于根据所述差值和与所述掉帧位置相邻的视频帧中各个像素点的像素值，预测所述补偿视频帧中各个像素点的像素值；

第二生成子单元，用于基于所述补偿视频帧中各个像素点的像素值，生成所述补偿视频帧。

在本实施例中，所述检测单元，包括：

判断子单元，用于针对所述多个视频帧中互为相邻的视频帧的时间戳，确定两个视频帧的时间戳所标识的时刻之间的间隔时长是否达到预设时长；

确定子单元，用于在所述判断子单元的判断结果为是时，确定所述两个视频帧之间存在至少一个掉帧位置。

在本实施例中，所述装置还包括：

第二检测单元，用于检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值；

插值单元，用于在所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值时，对所述补偿视频帧或所述多个视频帧进行图像插值处理。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例只是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

在一个典型的配置中，计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书一个或多个实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

以上所述仅为本说明书一个或多个实施例的较佳实施例而已，并不用以限制本说明书一个或多个实施例，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例保护的范围之内。

Claims (10)

1.一种视频补帧方法，其特征在于，所述方法包括：

对待补帧的视频进行解码，得到所述视频包含的多个视频帧；

检测所述多个视频帧中的掉帧位置；

基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置；

对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码，得到补帧后的视频。

2.根据权利要求1所述的方法，其特征在于，所述生成补偿视频帧的方式，包括以下至少之一：

模型预测方式；

基于历史视频帧的统计预测方式。

3.根据权利要求2所述的方法，其特征在于，所述生成补偿视频帧的方式包括模型预测方式，其中，所述基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，包括：

将与所述掉帧位置相邻的至少两个视频帧的像素点信息输入训练完成的预测模型，得到所述预测模型输出的所述补偿视频帧的像素点信息；

基于所述补偿视频帧的像素点信息，生成所述补偿视频帧。

4.根据权利要求2所述的方法，其特征在于，所述生成补偿视频帧的方式包括基于历史视频帧的统计预测方式，其中，所述基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，包括：

针对所述多个视频帧中互为相邻的视频帧，两两计算视频帧中各个像素点的像素值的差值；

根据所述差值和与所述掉帧位置相邻的视频帧中各个像素点的像素值，预测所述补偿视频帧中各个像素点的像素值；

基于所述补偿视频帧中各个像素点的像素值，生成所述补偿视频帧。

5.根据权利要求1所述的方法，其特征在于，所述检测所述多个视频帧中的掉帧位置，包括：

针对所述多个视频帧中互为相邻的视频帧的时间戳，确定两个视频帧的时间戳所标识的时刻之间的间隔时长是否达到预设时长；

如果是，则确定所述两个视频帧之间存在至少一个掉帧位置。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值；

若所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值，则对所述补偿视频帧或所述多个视频帧进行图像插值处理。

7.一种视频补帧装置，其特征在于，所述装置包括：

解码单元，用于对待补帧的视频进行解码，得到所述视频包含的多个视频帧；

第一检测单元，用于检测所述多个视频帧中的掉帧位置；

补偿单元，用于基于与所述掉帧位置相邻的视频帧的像素点信息，生成补偿视频帧，并将所述补偿视频帧添加至所述掉帧位置；

编码单元，用于对在所述掉帧位置添加所述补偿视频帧后的多个视频帧进行编码，得到补帧后的视频。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

第二检测单元，用于检测所述补偿视频帧或所述多个视频帧的分辨率是否小于预先配置的分辨率阈值；

插值单元，用于在所述补偿视频帧或所述多个视频帧的分辨率小于预先配置的分辨率阈值时，对所述补偿视频帧或所述多个视频帧进行图像插值处理。

9.一种电子设备，包括通信接口、处理器、存储器和总线，所述通信接口、所述处理器和所述存储器之间通过总线相互连接；

所述存储器中存储机器可读指令，所述处理器通过调用所述机器可读指令，执行权利要求1至6任一项所述的方法。

10.一种机器可读存储介质，所述机器可读存储介质存储有机器可读指令，所述机器可读指令在被处理器调用和执行时，实现权利要求1至6任一项所述的方法。