CN114268832A - 一种修复方法、电子设备及计算机存储介质 - Google Patents

Abstract

本申请实施例公开了一种修复方法，包括：对接收到的视频流进行解码得到当前视频帧，当当前视频帧中存在花屏或者绿屏时，基于当前视频帧，从已存储的用户的视频数据中选取出修复帧，利用修复帧修复当前视频帧，得到修复后的当前视频帧，将修复后的当前视频帧显示在电子设备的当前界面上。本申请实施例还同时提供了一种电子设备及计算机存储介质。

Description

一种修复方法、电子设备及计算机存储介质

技术领域

本申请涉及视频通话中的花屏或绿屏的修复技术，尤其涉及一种修复方法、电子设备及计算机存储介质。

背景技术

目前，视频在播放过程中，时常会出现花屏或者绿屏，其中，花屏指的是所显示的图像上有与常色不同的条纹，斑点或者色块，或有位置颠倒、错乱、屏幕抖动、扭曲的部分，绿屏指的是所显示的图像上有出现闪烁，泛绿或泛白光的光线变化的部分。

其中，为了提高视频播放质量，通常地，先从视频中查找到花屏视频帧的参考视频帧，然后利用参考视频帧和参考视频帧的光流信息对花屏视频帧进行修复，然而，该方法需要依赖参考视频帧才能够实现对花屏视频帧进行修复，针对实时视频来说，会出现无法找到参考视频帧的情况出现，所以该修复方法具有一定的局限性；由此可以看出，现有的实时视频中存在视频质量较差的技术问题。

发明内容

本申请实施例提供一种修复方法、电子设备及计算机存储介质，能够提高实时视频中的视频质量。

本申请的技术方案是这样实现的：

第一方面，本申请实施例提供了一种修复方法，包括：

对接收到的视频流进行解码得到当前视频帧；

当所述当前视频帧中存在花屏或者绿屏，基于所述当前视频帧，从已存储的所述用户的视频数据中选取出修复帧；

利用所述修复帧修复所述当前视频帧，得到修复后的当前视频帧；

将修复后的当前视频帧显示在所述电子设备的当前界面上。

第二方面，本申请实施例提供一种电子设备，包括：

接收模块，用于对接收到的视频流进行解码得到当前视频帧；

选取模块，用于当所述当前视频帧中存在花屏或者绿屏时，基于所述当前视频帧，从预先存储的所述用户的视频数据中选取出修复帧；

修复模块，用于利用所述修复帧修复所述当前视频帧，得到修复后的当前视频帧；

显示模块，用于将修复后的当前视频帧显示在所述电子设备的当前界面上。

第三方面，本申请实施例提供一种电子设备，包括：处理器以及存储有所述处理器可执行指令的存储介质；所述存储介质通过通信总线依赖所述处理器执行操作，当所述指令被所述处理器执行时，执行上述一个或多个实施例所述的修复方法。

第四方面，本申请实施例提供了一种计算机存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行上述一个或多个实施例所述修复方法。

本申请实施例提供了一种修复方法、电子设备及计算机存储介质，包括：对接收到的视频流进行解码得到当前视频帧，当当前视频帧中存在花屏或者绿屏时，基于当前视频帧，从已存储的视频数据中选取出修复帧，利用修复帧修复当前视频帧，得到修复后的当前视频帧，将修复后的当前视频帧显示在电子设备的当前界面上；也就是说，在本申请实施例中，针对对接收到的视频流进行解码得到当前视频帧中存储花屏或者绿屏的情况，从已存储的视频数据中为当前视频帧选取修复帧，以对当前视频帧进行修复，使得修复后的当前视频帧恢复至无花屏或者绿屏的状态，最后将无花屏或者绿屏的修复后的当前视频帧显示在当前界面上，如此，使得电子设备经过上述修复处理，可以对存在花屏或者绿屏的视频帧进行修复，最终将修复后的视频帧显示在当前界面上，防止出现接收到的视频流显示在当前界面上存在花屏或者绿屏的情况，从而提高了实时视频的视频质量。

附图说明

图1为本申请实施例提供的一种可选的修复方法的流程示意图；

图2为本申请实施例提供的一种可选的视频帧的实例的示意图；

图3为本申请实施例提供的一种可选的修复方法的实例一的流程示意图；

图4为本申请实施例提供的一种可选的修复方法的实例二的流程示意图；

图5为本申请实施例提供的一种可选的电子设备的结构示意图；

图6为本申请实施例提供的另一种可选的电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

本申请实施例提供了一种修复方法，该方法应用于电子设备中，图1为本申请实施例提供的一种可选的修复方法的流程示意图，如图1所示，该修复方法可以包括：

S101：对接收到的视频流进行解码得到当前视频帧；

目前，为了修复花屏视频帧，通常从目标视频帧中查找到花屏视频帧的参考图像帧，如此，根据参考图像帧和参考图像帧的光流信息来对花屏视频帧进行修复，针对实时视频来说，会出现无法找到参考视频帧的情况出现，所以该修复方法具有一定的局限性，导致实时视频的视频质量较差。

为了实时视频中视频质量较差的缺陷，本申请实施例提供一种修复方法，首先，接收视频流，这里，视频流可以为视频通话对应的视频流，也可以为直播所产生的视频流，这里，本申请实施例对此不作具体限定。

在接收到视频流之后，电子设备对接收到的视频流进行解码，通常情况下，由于视频流都是按照视频帧的时间顺序排序的，所以，对接收到的视频流进行解码可以得到排序好的视频帧，这里，按照顺序获取每一个视频帧，将每一个视频帧依次确定为当前视频帧。

S102：当当前视频帧中存在花屏或者绿屏时，基于当前视频帧，从已存储的视频数据中选取出修复帧；

通过S101获取到当前视频帧时候，需要对当前视频帧进行检测，这里，电子设备通过自身的人工智能检测模块对当前视频帧进行检测，得到检测结果，当检测结果指示当前视频帧存在花屏或者绿屏时，确定当前视频帧中存在花屏或者绿屏，当检测结果指示当前视频帧不存在花屏或者绿屏时，确定当前视频帧不存在花屏或者绿屏，如此，便可以确定出当前视频帧是否存在花屏或者绿屏

针对当前视频帧中存在花屏或者绿屏时，为了实现对当前视频帧的修复，基于当前视频帧，从已存储的视频数据中选取出修复帧。

其中，上述已存储的视频数据可以是存储在本地的视频数据，也可以是存储在云服务器上的视频数据，这里，本申请实施例对此不作具体限定。

针对当前视频帧中不存在花屏或者绿屏的情况来说，在一种可选的实施例中，上述方法还包括：

当当前视频帧中不存在花屏或者绿屏时，将当前视频帧显示在当前界面上，并将当前视频帧发送至云服务器进行存储。

在一种可选的实施例中，上述方法还包括：

从云服务器获取已存储的视频数据。

也就是说，将不存在花屏或者绿屏的当前视频帧直接显示在当前界面上，并且将当前视频帧发送至云服务器进行存储，在云服务器形成视频数据，即为已存储的视频数据，如此，可以避免本地存储视频数据所占用的电子设备的存储空间。

需要说明的是，针对当前视频帧来说，已存储的视频数据中可以包括本次视频流的已接收部分，还可以包括历史视频数据，这里，本申请实施例对此不作具体限定。

为了选取出修复帧，大致可以分为两种情况，一种是当前视频帧存在部分花屏，一种是当前视频帧存在全部花屏或者绿屏，针对当前视频帧存在部分花屏的情况来说，在一种可选的实施例中，S102可以包括：

当当前视频帧存在部分花屏时，根据预设的图像场景的识别算法对当前视频帧进行识别，得到当前视频帧的场景类型；

根据当前视频帧的场景类型，从已存储的视频数据中选取出修复帧。

具体来说，当当前视频帧为部分花屏时，说明该当前视频帧中还存在部分图像是清晰的，所以，可以根据图像场景的识别算法，对当前视频帧进行识别，得到当前视频帧的场景类别，再根据当前视频帧的场景类型，从已存储的视频数据中选取出修复帧。

其中，上述图像场景的识别算法可以是检测出当前视频帧中的所包含的物像，然后根据物像来确定当前图像帧的场景，例如，当前视频帧中包含多个办公桌，可以确定出该场景类型为办公室场景，当前视频帧中包含床和衣柜，可以确定出该场景类型为卧室场景；上述图像场景的识别算法还可以为人工智能算法，利用人工智能算法来识别当前视频帧就可以得到当前视频帧的场景类型，这里，本申请实施例对图像场景的识别算法不作具体限定。

进一步地，在确定出当前视频帧的场景类型之后，为了实现从已存储的视频数据中选取出修复帧，在一种可选的实施例中，根据当前视频帧的场景类型，从已存储的视频数据中选取出修复帧，包括：

当当前视频帧属于视频流中的第一帧时，从已存储的视频数据中的历史视频数据中，选取出属于当前视频帧的场景类型的视频帧，将属于当前视频帧的场景类型的视频帧，确定为修复帧；

当当前视频帧不属于视频流的第一帧时，从已存储的视频数据中的视频流的已接收部分中，选取出属于当前视频帧的场景类型的视频帧，将属于当前视频帧的场景类型的视频帧，确定为修复帧。

具体来说，在确定出当前视频帧的场景类型之后，还要对当前视频帧是否为视频流的第一帧进行判断，当当前视频帧属于视频流中的第一帧时，那么本次视频流没有可借鉴的，所以可以从已存储的视频数据中历史视频数据中来选取修复帧，其中，从历史视频数据中选取出属于当前视频帧的场景类型的视频帧，例如，当当前视频帧的场景类型为办公室场景时，可以从历史视频数据中选取出办公室场景对应的视频帧，并将该选取出的视频帧确定为修复帧。

另外，当当前视频帧不属于视频流的第一帧时，可以从已存储的视频数据中视频流的已接收部分中，即本次视频流中当前视频帧之前的视频帧中来选取，选取出属于当前视频帧的场景类型的视频帧作为修复帧。

如此，针对当前视频帧是否为第一帧，从已存储的视频数据中不同的视频数据中选取出修复帧，以利用修复帧来修复当前视频帧。

另外，针对当前视频帧存在全部花屏或者绿屏的情况来说，在一种可选的实施例中，S102可以包括：

当当前视频帧存在全部花屏或者绿屏，且当前视频帧与第一视频帧之间的间隔帧数大于预设的帧数阈值时，从已存储的视频数据中视频流的已接收部分中，选取出当前视频帧的第二视频帧，将第二视频帧确定为修复帧；

当间隔帧数小于等于预设的帧数阈值时，基于当前视频帧对应的音频数据，从已存储的视频数据中选取出修复帧；

当当前视频帧存在全部花屏或者绿屏，且当前视频帧属于视频流的已接收部分的第一帧时，基于当前视频帧对应的音频数据，从已存储的视频数据中选取出修复帧。

具体来说，当当前视频帧为全部花屏或者绿屏时，说明此时当前视频帧本身并无可获取的信息，所以，需要进一步确定当前视频帧是否为偶发性的视频帧，为了确定出当前视频帧是否为偶发性的视频帧，本申请实施例中，需要获取第一视频帧，其中，第一视频帧为视频流的已接收部分的中当前视频帧中的上一帧，由此可以看出，当前视频帧如果存在第一视频帧，那么当前视频帧不属于本次视频流的第一帧。

那么，在获取到第一视频帧之后，确定当前视频帧与第一视频帧之间的间隔帧数，然后判断间隔帧数是否大于预设的帧数阈值，若大于，则从已存储的视频数据中视频流的已接收部分中选取第二视频帧，第二视频帧为视频流的已接收部分中当前视频帧中的上一帧，并将第二视频帧作为修复帧，即利用第二视频帧来修复当前视频帧。

如此，当前视频帧为全部花屏或者绿屏时，针对当前视频帧不属于本次视频流的第一帧且当前视频帧属于偶发性的视频帧的情况，可以利用第二视频帧来修复当前视频帧。

那么，针对其他情况，即针对当前视频帧属于视频流的第一帧，或者当前视频帧不属于偶发性的视频帧的情况，基于当前视频帧对应的音频数据，从已存储的视频数据中选取修复帧。

为了实现基于当前视频帧对应的音频数据，从已存储的视频数据中选取出修复帧，在一种可选的实施例中，基于当前视频帧对应的音频数据，从已存储的视频数据中选取出修复帧，包括：

根据预设的音频场景的识别算法，对当前视频帧对应的音频数据进行识别，得到当前视频帧的场景类型；

根据当前视频帧的场景类型，从已存储的视频数据中历史视频数据中，选取出修复帧。

具体来说，上述音频场景的识别算法对当前视频帧对应的音频数据进行识别可以为：对音频数据先进行语音到文字的转换，然后利用文字信息确定出场景类型，例如，通过转换得到的文字包括会议时间和会议室时，确定该场景类型为办公室场景，上述音频场景的识别算法还可以是人工智能的识别算法，将音频数据输入至人工智能的识别算法中，输出得到场景类型，这里，本申请实施例对此不作具体限定。

在利用上述音频场景的识别算法得到当前视频帧的场景类型之后，由于当前视频帧属于视频流的第一帧或者偶发性的视频帧，所以本次视频流无可借鉴的帧，所以，在根据当前视频帧的场景类型，从已存储的视频数据中历史视频数据中选取修复帧。

另外，为了确定出修复帧，在一种可选的实施例中，上述方法还可以包括：

当基于当前视频帧的音频数据，从已存储的视频数据中未选取出修复帧时，根据当前时刻所属的播放时段，从已存储的视频数据中历史视数据中，选取出播放时段出现次数最多的视频帧，将出现次数最多的视频帧确定为修复帧。

具体来说，可以获取当前时刻，并确定当前时刻所属的播放时段，该播放时段是预先划分好的，包含于已存储的视频数据中，所以，可以从历史视频数据中选取出播放时段出现次数最多的视频帧，例如，以视频通话为例来说，当前时刻为20:11时，当前时刻所属的播放时段为20:00-20:30，该时段对应的出现次数最多的视频帧为用户坐在沙发上进行视频通话的视频帧，那么，就将该视频帧确定为修复帧。

最后，还可以利用地理位置信息确定修复帧，在一种可选的实施例中，上述方法还可以包括：

当基于当前视频帧的音频数据，从已存储的视频数据中未选取出修复帧时，基于电子设备的地理位置信息，从已存储的视频数据中历史视频数据中，选取出地理位置信息对应的视频帧，将地理位置信息对应的视频帧确定为修复帧。

具体来说，通过电子设备的定位模块先获取电子设备的地理位置信息，然后从历史视频数据中选取出地理位置信息对应的视频帧，例如，当地理位置信息为A，那么从历史视频数据中选取出A对应的视频帧，将其作为修复帧，如此，可以选取出修复帧。

另外，需要说明的是，针对当前视频帧属于视频流的第一帧，或者当前视频帧不属于偶发性的全部花屏或者绿屏的视频帧来说，除了上述两种方式来选取修复帧，还可以直接根据当前时刻，或者根据电子设备的地理位置信息来从历史视频数据中选取修复帧，还可以先根据音频数据选取修复帧，如果未选取出，再根据当前时刻来选取修复帧，如果还未选取出，最后根据电子设备的地理位置信息选取出修复帧，还可以先根据音频数据选取修复帧，如果未选取出，再根据电子设备的地理位置信息选取出修复帧，如果还未选取出，最后根据当前时刻来选取修复帧，这里，本申请实施例对此不作具体限定。

S103：利用修复帧修复当前视频帧，得到修复后的当前视频帧；

S104：将修复后的当前视频帧显示在电子设备的当前界面上。

通过上述S101-S102选取出修复帧之后，可以利用修复帧来修复当前视频帧。这里，可以采用以下两种方式来修复当前视频帧：在一种可选的实施例中，S103，包括：

当当前视频帧为部分花屏时，根据修复帧，确定当前视频帧中花屏位置处所对应的修复帧的图像部分，并将花屏位置处替换为修复帧的图像部分；

当当前视频帧为全部花屏或者绿屏，将当前视频帧替换为修复帧。

也就是说，针对修复可以分为两种情况，其中，针对当前视频帧为部分花屏的情况来说，当前视频帧只是部分图像花屏，可以从修复帧中确定出当前视频帧中花屏位置处所对应的修复帧的图像部分，然后，将花屏位置处替换为图像部分，如此，得到修复后的当前视频帧，例如，当前视频帧的花屏位置处所对应的修复帧的图像部分为一把椅子，那么就将花屏位置处替换为一把椅子，以达到修复当前视频帧的目的。

针对当前视频帧为全部花屏或者绿屏的情况来说，直接将当前视频帧替换为修复帧，得到修复后的当前视频帧。

在得到修复后的当前视频帧之后，将修复后的当前视频帧显示在当前界面上，并将修复后的当前视频帧存储至云服务器中即可，这样，用户看到的都是修复后的视频帧，从而提高了实时视频的视频质量。

这样，通过当前视频帧中花屏或者绿屏的情况以及是否为本次视频流的第一帧来修复当前视频帧，并利用已存储的视频数据选取修复帧来修复当前视频帧，使得每一个待修复的视频帧都能够得到的修复，并且使得修复后的当前视频帧更加贴近于真实的当前视频帧，提高了实时视频的视频质量。

下面举实例对上述一个或多个实施例中所述的修复方法进行描述。

图2为本申请实施例提供的一种可选的视频帧的实例的示意图，如图2所示，视频流为视频通话的视频流为例，在视频通话的过程中，电子设备在接收到与其进行视频通话的电子设备的视频流之后，解码得到视频帧，获取为花屏或者绿屏的视频帧，即为当前视频帧，并将当前视频帧传给人工智能识别模块，在人工智能识别模块中，利用人工智能识别算法识别出当前视频帧的场景后，在人工智能识别模块并检测出花屏数据，再比对花屏图像，对花屏图像自动填充。

例如，图2中的下面的桌椅，判断出是办公室场景，那缺少的元素基本在办公室过程，对花屏的地方自动填充场景元素。

其中，填充规则，首先判断是办公室场景，然后判断出花屏位置处应该是窗户还是桌子，如果是桌子，则从前面没有花屏的桌子图片自动平移过来，进行对比类似填充。

图3为本申请实施例提供的一种可选的修复方法的实例一的流程示意图，如图3所示，该修复方法可以包括：

S301：开始视频通话，接收视频通话的视频流，对视频流进行解码得到当前视频帧，获取为花屏或者绿屏的当前视频帧；

S302：计算当前视频帧与第一视频帧的间隔帧数；

S303：判断间隔帧数是否大于标准值X；若为是，执行S304；否则，执行S305；

S304：获取第二视频帧；执行S306；

S305：使用长时间花屏策略；结束。

S306：利用第二视频帧修复当前视频帧。

也就是说，视频通话过程中，偶现整屏绿屏或者花屏的视频帧，可以通过找到最近的视频帧进行自动填充。其中，最近的视频帧为上述第二视频帧，判断偶现规则可以为：两次出现整屏绿屏或者花屏数据对应的视频帧的间隔帧数大于预设阈值，即标准值X，如果大于X则说明可以使用最近的视频帧自动填充。否则不可以自动填充。

图4为本申请实施例提供的一种可选的修复方法的实例二的流程示意图，如图4所示，上述长时间花屏策略可以包括：

S401：将未出现花屏或者绿屏的当前视频帧存储至云服务器；

S402：开始视频通话时，确定出现长时间花屏或者绿屏的当前视频帧；

S403：根据当前视频帧的通话语音确定场景类型，判断是否确定出场景类型；若为是，执行S404；否则，执行S405；

S404：从云服务器中获取场景类型对应的视频帧，将对应的视频帧作为修复帧。

S405：获取通话时段，根据通话时段确定修复帧；当未确定出修复帧时，执行S406；

S406：获取通话地理位置信息，根据通话地理位置信息确定修复帧；当未确定出修复帧时，执行S407；

S407：根据当前视频帧的通话语音，通话时段和通话地理位置信息综合确定得到修复帧；执行S408；

S408：利用修复帧修复当前视频帧，将修复后的当前视频帧显示在当前界面上并存储至云服务器中。

其中，上述通话语音相当于上述音频数据，上述通话时段相当于上述当前时刻所属的播放时段，上述通话地理位置信息相当于上述电子设备的地理位置信息。

也就是说，如果视频通话过程中长时间花屏或者绿屏，通过通话语音，判断当前视频帧的场景类型，比如，“在家呢？”人工智能算法将之前存储在云服务器的图片，保留下来，进行填充。如果通话语音无法判断，则可以通过平时生活习惯，在某一个时刻概率性从已存储的视频数据中选取出该时段出现次数最多的视频帧，将其作为修复帧，或者通过定位数据找到确定生活位置，从已存储的视频数据中选取出该位置对应的视频帧，将其作为修复帧。

通过上述实例，有效改善了视频通话过程中的花屏和绿屏问题，优化了用户的体验度，可以对未出现的场景或者缺失场景进行修复。

本申请实施例提供了一种修复方法，包括：对接收到的视频流进行解码得到当前视频帧，当当前视频帧中存在花屏或者绿屏时，基于当前视频帧，从已存储的视频数据中选取出修复帧，利用修复帧修复当前视频帧，得到修复后的当前视频帧，将修复后的当前视频帧显示在电子设备的当前界面上；也就是说，在本申请实施例中，针对对接收到的视频流进行解码得到当前视频帧中存储花屏或者绿屏的情况，从已存储的视频数据中为当前视频帧选取修复帧，以对当前视频帧进行修复，使得修复后的当前视频帧恢复至无花屏或者绿屏的状态，最后将无花屏或者绿屏的修复后的当前视频帧显示在当前界面上，如此，使得电子设备经过上述修复处理，可以对存在花屏或者绿屏的视频帧进行修复，最终将修复后的视频帧显示在当前界面上，防止出现接收到的视频流显示在当前界面上存在花屏或者绿屏的情况，从而提高了实时视频的视频质量。

基于同一发明构思，本申请实施例提供一种电子设备，图5为本申请实施例提供的一种可选的电子设备的结构示意图，如图5所示，该电子设备包括：接收模块51、选取模块52、修复模块53和显示模块54；其中，

接收模块51，用于对接收到的视频流进行解码得到当前视频帧；

选取模块52，用于当当前视频帧中存在花屏或者绿屏时，基于当前视频帧，从已存储的视频数据中选取出修复帧；

修复模块53，用于利用修复帧修复当前视频帧，得到修复后的当前视频帧；

显示模块54，用于将修复后的当前视频帧显示在电子设备的当前界面上。

在一种可选的实施例中，选取模块52基于当前视频帧，从已存储的视频数据中选取出修复帧中，包括：

当当前视频帧存在部分花屏时，根据预设的图像场景的识别算法对当前视频帧进行识别，得到当前视频帧的场景类型；

根据当前视频帧的场景类型，从已存储的视频数据中选取出修复帧。

在一种可选的实施例中，选取模块52根据当前视频帧的场景类型，从已存储的视频数据中选取出修复帧中，包括：

当当前视频帧属于视频流中的第一帧时，从已存储的视频数据中的历史视频数据中，选取出属于当前视频帧的场景类型的视频帧，将属于当前视频帧的场景类型的视频帧，确定为修复帧；

当当前视频帧不属于视频流中的第一帧时，从已存储的视频数据中的视频流的已接收部分中，选取出属于当前视频帧的场景类型的视频帧，将属于当前视频帧的场景类型的视频帧，确定为修复帧。

在一种可选的实施例中，选取模块52基于当前视频帧，从已存储的视频数据中选取出修复帧中，包括：

当当前视频帧存在全部花屏或者绿屏，且当前视频帧与第一视频帧之间的间隔帧数大于预设的帧数阈值时，从已存储的视频数据中视频流的已接收部分中，选取出当前视频帧的第二图像帧，将第二视频帧确定为修复帧；其中，第一视频帧为视频流的已接收部分的花屏或者绿屏的图像帧中当前视频帧中的上一帧；第二视频帧为视频流的已接收部分的中当前视频帧中的上一帧；

当间隔帧数小于等于预设的帧数阈值时，基于当前视频帧对应的音频数据，从已存储的视频数据中选取出修复帧；

当当前视频帧为全部花屏或者绿屏，且当前视频帧属于视频流的第一帧时，基于当前视频帧对应的音频数据，从已存储的视频数据中选取出修复帧。

在一种可选的实施例中，选取模块52基于当前视频帧对应的音频数据，从已存储的视频数据中选取出修复帧中，包括：

根据预设的音频场景的识别算法，对当前视频帧对应的音频数据中的音频数据进行识别，得到当前视频帧的场景类型；

根据当前视频帧的场景类型，从已存储的视频数据中历史视频数据中，选取出修复帧。

在一种可选的实施例中，该电子设备还用于：

当基于当前视频帧的音频数据，从已存储的视频数据中未选取出修复帧时，根据当前时刻所属的播放时段，从已存储的视频数据中历史视频数据中，选取出播放时段出现次数最多的视频帧，将出现次数最多的视频帧确定为修复帧。

在一种可选的实施例中，该电子设备还用于：

当基于当前视频帧的音频数据，从已存储的视频数据中未选取出修复帧时，基于电子设备的地理位置信息，从已存储的视频数据中历史视频数据中，选取出地理位置信息对应的视频帧，将地理位置信息对应的视频帧确定为修复帧。

在一种可选的实施例中，修复模块53，具体用于：

当当前视频帧为部分花屏时，根据修复帧，确定当前视频帧中花屏位置处所对应的修复帧的图像部分，并将花屏位置处替换为修复帧的图像部分；

当当前视频帧为全部花屏或者绿屏，将当前视频帧替换为修复帧。

在一种可选的实施例中，该电子设备，还用于：

当当前视频帧中不存在花屏或者绿屏时，将当前视频帧显示在当前界面上，并将当前视频帧发送至云服务器进行存储。

在一种可选的实施例中，该电子设备，还用于：

从云服务器获取已存储的视频数据。

图6为本申请实施例提供的另一种可选的电子设备的结构示意图，如图6所示，本申请实施例提供一种电子设备600，包括：处理器61以及存储有所述处理器可执行指令的存储介质62；所述存储介质62通过通信总线63依赖所述处理器61执行操作，当所述指令被所述处理器执行时，执行上述一个或多个实施例中处理器侧执行的所述的修复方法。

需要说明的是，实际应用时，终端中的各个组件通过通信总线63耦合在一起。可理解，通信总线63用于实现这些组件之间的连接通信。通信总线63除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为通信总线63。

本申请实施例提供了一种计算机存储介质，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行上述一个或多个实施例所述的修复方法。

其中，计算机可读存储介质可以是磁性随机存取存储器(ferromagnetic randomaccess memory，FRAM)、只读存储器(Read Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(ElectricallyErasable Programmable Read-Only Memory，EEPROM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。

Claims (13)

1.一种修复方法，其特征在于，所述方法应用于电子设备中，包括：

对接收到的视频流进行解码得到当前视频帧；

当所述当前视频帧中存在花屏或者绿屏时，基于所述当前视频帧，从已存储的视频数据中选取出修复帧；

利用所述修复帧修复所述当前视频帧，得到修复后的当前视频帧；

将修复后的当前视频帧显示在所述电子设备的当前界面上。

2.根据权利要求1所述的方法，其特征在于，所述基于所述当前视频帧，从已存储的视频数据中选取出修复帧，包括：

当所述当前视频帧存在部分花屏时，根据预设的图像场景的识别算法对所述当前视频帧进行识别，得到所述当前视频帧的场景类型；

根据所述当前视频帧的场景类型，从已存储的视频数据中选取出所述修复帧。

3.根据权利要求2所述的方法，其特征在于，所述基于所述当前视频帧的场景类型，从已存储的视频数据中选取出所述修复帧，包括：

当所述当前视频帧属于所述视频流的第一帧时，从已存储的视频数据中的历史视频数据中，选取出属于所述当前视频帧的场景类型的视频帧，将属于所述当前视频帧的场景类型的视频帧，确定为所述修复帧；

当所述当前视频帧不属于所述视频流的第一帧时，从已存储的视频数据中所述视频流的已接收部分中，选取出属于所述当前视频帧的场景类型的视频帧，将属于所述当前视频帧的场景类型的视频帧，确定为所述修复帧。

4.根据权利要求1所述的方法，其特征在于，所述基于所述当前视频帧，从已存储的视频数据中选取出修复帧，包括：

当所述当前视频帧存在全部花屏或者绿屏，且所述当前视频帧与第一视频帧之间的间隔帧数大于预设的帧数阈值时，从已存储的视频数据中所述视频流的已接收部分中，选取出所述当前视频帧的第二视频帧，将所述第二视频帧确定为所述修复帧；其中，所述第一视频帧为所述视频流的已接收部分的花屏或者绿屏的视频帧中所述当前视频帧中的上一帧；所述第二视频帧为所述视频流的已接收部分中所述当前视频帧中的上一帧；

当所述间隔帧数小于等于预设的帧数阈值时，基于所述当前视频帧对应的音频数据，从已存储的视频数据中选取出所述修复帧；

当所述当前视频帧为全部花屏或者绿屏，且所述当前视频帧属于所述视频流的第一帧时，基于所述当前视频帧对应的音频数据，从已存储的视频数据中选取出所述修复帧。

5.根据权利要求4所述的方法，其特征在于，所述基于所述当前视频帧对应的音频数据，从已存储的视频数据中选取出所述修复帧，包括：

根据预设的音频场景的识别算法，对所述当前视频帧对应的音频数据进行识别，得到所述当前视频帧的场景类型；

根据所述当前视频帧的场景类型，从已存储的视频数据中历史视频数据中，选取出所述修复帧。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当基于所述当前视频帧的音频数据，从已存储的视频数据中未选取出所述修复帧时，根据当前时刻所属的播放时段，从已存储的视频数据中历史视频数据中，选取出所述播放时段出现次数最多的视频帧，将出现次数最多的视频帧确定为所述修复帧。

7.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当基于所述当前视频帧的音频数据，从已存储的视频数据中未选取出所述修复帧时，基于所述电子设备的地理位置信息，从已存储的视频数据中历史视频数据中，选取出所述地理位置信息对应的视频帧，将所述地理位置信息对应的视频帧确定为所述修复帧。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述利用所述修复帧修复所述当前视频帧，包括：

当所述当前视频帧为部分花屏时，根据所述修复帧，确定所述当前视频帧中花屏位置处所对应的所述修复帧的图像部分，并将所述花屏位置处替换为所述修复帧的图像部分；

当所述当前视频帧为全部花屏或者绿屏，将所述当前视频帧替换为所述修复帧。

9.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当所述当前视频帧中不存在花屏或者绿屏时，将所述当前视频帧显示在所述当前界面上，并将所述当前视频帧发送至云服务器进行存储。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

从所述云服务器获取已存储的视频数据。

11.一种电子设备，其特征在于，包括：

接收模块，用于对接收到的视频流进行解码得到当前视频帧；

选取模块，用于当所述当前视频帧中存在花屏或者绿屏时，基于所述当前视频帧，从已存储的视频数据中选取出修复帧；

修复模块，用于利用所述修复帧修复所述当前视频帧，得到修复后的当前视频帧；

显示模块，用于将修复后的当前视频帧显示在所述电子设备的当前界面上。

12.一种电子设备，其特征在于，包括：处理器以及存储有所述处理器可执行指令的存储介质；所述存储介质通过通信总线依赖所述处理器执行操作，当所述指令被所述处理器执行时，执行上述的权利要求1至10任一项所述的修复方法。

13.一种计算机存储介质，其特征在于，存储有可执行指令，当所述可执行指令被一个或多个处理器执行的时候，所述处理器执行所述的权利要求1至10任一项所述的修复方法。

Images