CN115604404A - 用于多路视频流的切换方法、切换装置及存储介质 - Google Patents

Abstract

本发明公开了一种用于多路视频流的切换方法及装置，方法包括：首先获取多路视频流，并确定多路视频流的关键帧，将预先设置的时间同步补充增强信息分别嵌入多路视频流的关键帧中，响应于接收到终端发送的多路视频流的切换请求，获取多路视频流中的切换前关键帧和切换后关键帧，基于切换前关键帧和切换后关键帧，实现多路视频流的切换，通过获得用于切换的关键帧并嵌入经过校准的时间同步补充增强信息，它能够解决多路视频流的切换问题，提高用户体验。

Description

用于多路视频流的切换方法、切换装置及存储介质

技术领域

本发明属于视频切换技术领域，特别是一种用于多路视频流的切换方法、切换装置及存储介质。

背景技术

现有技术中，在获得多个不同视频数据后，通常通过关键帧配准的方式，找出时间上同步的关键帧进行视频融合。这种方式实现起来简单，但是当视频流产生的速度很快或者是视频流数据量较大时，会存在明显的延迟；同时，这种方式默认多个视频流是时间同步的，然而实际应用中获取多个视频流的方式不同，实际上保持完全的同步是不可能的。同步的目的是为了视频流的切换，比如多镜头相机由于角度的切换需要由一个镜头的数据切换到另一个镜头的数据，为了提高切换时视频播放的流畅度，需要对切换视频进行同步，以提高切换后视频播放的效果。

因此，如何解决现有视频切换技术、尤其是多个不同视频切换过程中带来的不同步困扰，成为一个亟待解决的问题。

发明内容

本发明的目的是提供一种用于多路视频流的切换方法及装置，以解决现有技术中的不足，通过获得用于切换的关键帧并嵌入经过校准的时间同步补充增强信息，它能够解决多路视频流的切换问题，提高用户体验。

本申请的一个实施例提供了一种用于多路视频流的切换方法，所述方法包括：

获取多路视频流，并确定所述多路视频流的关键帧，所述多路视频流包括关键帧和非关键帧；

将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中；

响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧；

基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换。

可选的，所述将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，包括：

以预设方式将经过校准的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，且同一视频流的相邻关键帧的时间同步补充增强信息的间隔时间不大于预设时间值。

可选的，所述以预设方式将经过校准的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，包括：

以预设json文本格式将所述时间同步补充增强信息，嵌入所述多路视频流的关键帧，其中，所述预设json文本格式内容包括同步所述时间同步补充增强信息、索引信息以及时区信息。

可选的，所述响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧，包括：

基于切换请求，获取切换前视频流和切换后视频流；

获取切换前视频流的切换前关键帧；

基于所述切换前关键帧的时间同步补充增强信息，获取所述切换后视频流的切换后关键帧，其中所述切换前关键帧的时间同步补充增强信息和所述切换后关键帧的时间同步补充增强信息相近。

可选的，所述基于所述切换前关键帧的时间同步补充增强信息，获取所述切换后视频流的切换后关键帧，包括：

基于所述切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，并将所述第一最接近关键帧设置为切换后关键帧。

可选的，所述基于所述切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，并将所述第一最接近关键帧设置为切换后关键帧之后，所述方法还包括：

以时间顺序往前查找所述切换后视频流中的第二最接近关键帧；

若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值小于第二设定值，则将所述第二最接近关键帧设置为切换后关键帧。

可选的，所述方法还包括：

若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值大于第二设定值，则设置所述第一最接近关键帧和所述第二最接近关键帧之间的非关键帧作为切换后关键帧。

可选的，所述基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换，包括：

利用切换前视频流中的所述切换前关键帧和切换后视频流中的所述切换后关键帧，进行切换前视频流和切换后视频流的切换，以实现所述多路视频流的切换。

本申请的又一实施例提供了一种用于多路视频流的切换装置，所述装置包括：

获取模块，用于获取多路视频流，并确定所述多路视频流的关键帧，所述多路视频流包括关键帧和非关键帧；

嵌入模块，用于将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中；

响应模块，用于响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧；

实现模块，用于基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换。

可选的，所述嵌入模块，包括：

嵌入单元，用于以预设方式将经过校准的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，且同一视频流的相邻关键帧的时间同步补充增强信息的间隔时间不大于预设时间值。

可选的，所述嵌入单元，包括：

嵌入子单元，用于以预设json文本格式将所述时间同步补充增强信息，嵌入所述多路视频流的关键帧，其中，所述预设json文本格式内容包括同步所述时间同步补充增强信息、索引信息以及时区信息。

可选的，所述响应模块，包括：

第一获取单元，用于基于切换请求，获取切换前视频流和切换后视频流；

第二获取单元，用于获取切换前视频流的切换前关键帧；

第三获取单元，用于基于所述切换前关键帧的时间同步补充增强信息，获取所述切换后视频流的切换后关键帧，其中所述切换前关键帧的时间同步补充增强信息和所述切换后关键帧的时间同步补充增强信息相近。

可选的，所述第三获取单元，包括：

往后查找子单元，用于基于所述切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，并将所述第一最接近关键帧设置为切换后关键帧。

可选的，所述往后查找子单元之后，所述装置还包括：

往前查找子单元，用于以时间顺序往前查找所述切换后视频流中的第二最接近关键帧；

第一设置子单元，用于若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值小于第二设定值，则将所述第二最接近关键帧设置为切换后关键帧。

可选的，所述装置还包括：

第二设置子单元，用于若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值大于第二设定值，则设置所述第一最接近关键帧和所述第二最接近关键帧之间的非关键帧作为切换后关键帧。

可选的，所述实现模块，包括：

实现单元，用于利用切换前视频流中的所述切换前关键帧和切换后视频流中的所述切换后关键帧，进行切换前视频流和切换后视频流的切换，以实现所述多路视频流的切换。

本申请的又一实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项中所述的方法。

本申请的又一实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项中所述的方法。

与现有技术相比，本发明首先获取多路视频流，并确定多路视频流的关键帧，将预先设置的时间同步补充增强信息分别嵌入多路视频流的关键帧中，响应于接收到终端发送的多路视频流的切换请求，获取多路视频流中的切换前关键帧和切换后关键帧，基于切换前关键帧和切换后关键帧，实现多路视频流的切换，通过获得用于切换的关键帧并嵌入经过校准的时间同步补充增强信息，它能够解决多路视频流的切换问题，提高用户体验。

附图说明

图1为本发明实施例提供的一种用于多路视频流的切换方法的计算机终端的硬件结构框图；

图2为本发明实施例提供的一种用于多路视频流的切换方法的流程示意图；

图3为本发明实施例提供的一种用于多路视频流的切换装置的结构示意图。

具体实施方式

下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本发明实施例首先提供了一种用于多路视频流的切换方法，该方法可以应用于电子设备，如计算机终端，具体如普通电脑、量子计算机等。

下面以运行在计算机终端上为例对其进行详细说明。图1为本发明实施例提供的一种用于多路视频流的切换方法的计算机终端的硬件结构框图。如图1所示，计算机终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述计算机终端还可以包括用于通信功能的传输装置106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的用于多路视频流的切换方法对应的程序指令/模块，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

参见图2，图2为本发明实施例提供的一种用于多路视频流的切换方法的流程示意图，可以包括如下步骤：

S201：获取多路视频流，并确定所述多路视频流的关键帧，所述多路视频流包括关键帧和非关键帧。

具体的，获取多路视频流，并确定多路视频流的关键帧的方法可以是通过直接播放视频流，在播放过程中，指定视频流中的某个图像或某几个图像为关键帧，即指定某个或某几个画面为关键帧。具体实现时，可以在播放过程中实时检测是否输入指定关键帧信息，如果有，则将当前帧记录为关键帧；否则，继续播放。

需要说明的是，获取多路视频流的设备，例如相机的时间需要经过网络时间协议NTP基准服务器进行同步校准，相机开机至少进行一次NTP同步校准。校准频率按固定时间间隔进行校准，可以采用每分钟一次校准。使用基准服务器的时间对相机的标准时间进行校准，以保证时间同步补充增强信息时间的准确性，其中时间同步补充增强信息的设置频率应该高于相机的同步校准频率。

示例性的，终端接收第一视频的多路视频流和第二视频的多路视频流，其中，第一视频的多路视频流包括第一视频的视频帧的不同图像帧，以及第二视频的多路视频流也包括第二视频的视频帧的不同图像帧。

S202：将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中。

具体的，时间同步补充增强信息可以是与多路视频流的关键帧对应的时间戳，也可以是与关键帧对应的序号信息，还可以是与关键帧对应的可以表示关键帧顺序的信息，本示例性实施例对此不做特殊限制，例如，当在当前视频流中定位了目标关键帧，时间同步补充增强信息指的就是与目标关键帧对应的时间戳信息。具体可以根据用户需求进行自定义设置，例如可以设置为900ms或1000ms等，在此不做限制。所述将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，可以包括：

以预设方式将经过校准的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，且同一视频流的相邻关键帧的时间同步补充增强信息的间隔时间不大于预设时间值。

其中，以预设方式将经过校准的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，可以包括以预设json文本格式将所述时间同步补充增强信息，嵌入所述多路视频流的关键帧，其中，所述预设json文本格式内容包括同步所述时间同步补充增强信息、索引信息以及时区信息。

需要说明的是，关键帧位置参数可以为关键帧的帧序列标号，预设时间值可以为1至3秒，也可以设置大于3秒的时间，但若预设时间值太长，可能影响切换的流畅度。

示例性的，时间同步补充增强信息的内容以json文本格式，主要为sync_info段落，其中可以包含：

同步网络时间协议的时间ts(以毫秒为单位)

在一种可选的实施方式中，ts的获取方法可以通过如下伪代码：

int64_t getTs(){

struct timeval stTv；

gettimeofday(&stTv,NULL)；(获取当前时间)

return(int64_t)stTv.tv_sec*1000+stTv.tv_usec/1000；

}

需要说明的是，如单位是秒，则乘以1000；如单位是微秒，则除以1000，以使得单位统一，且获得ts的时区为统一的UTC时间。

其中，索引信息index是以0开始的64bit单调递增整数型数据，每次输出一个时间同步补充增强信息时加1，且是唯一指引，接收端如果收到重复index的时间同步补充增强信息可予以丢弃。

时区信息可以设置为“UTC”或“UTC+8”时区格式，并且可以通过以下伪代码进行设置：

{

"sync_info":{

"ts":1655946642426,

"index":101,

"tz":"UTC",

}

}

S203：响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧。

具体的，响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧，可以包括：

步骤1：基于切换请求，获取切换前视频流和切换后视频流。

具体的，切换请求是一个携带着切换信息的指令，所以基于切换请求就可以确定切换信息，并获取切换前视频流和切换后视频流。切换请求可以是从终端接收到的一个指令，也可以是根据当前网络的发送速率获取到的一个指令，还可以是以其他方式接收到的一个指令。示例性的，当接收到来自终端发送的切换请求指令时，可以根据切换指令确定切换信息，切换信息可以是时间信息，也可以是切换位置的标识信息，还可以是视频流的暂停或锁定信息，还可以是其他信息，本示例性实施例对此不做特殊限制。

步骤2：获取切换前视频流的切换前关键帧。

具体的，首先确定切换前视频流中的切换前关键帧，即需要进行视频流切换的图像帧。

步骤3：基于所述切换前关键帧的时间同步补充增强信息，获取所述切换后视频流的切换后关键帧，其中所述切换前关键帧的时间同步补充增强信息和所述切换后关键帧的时间同步补充增强信息相近。

其中，所述基于所述切换前关键帧的时间同步补充增强信息，获取所述切换后视频流的切换后关键帧，可以包括：基于所述切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，并将所述第一最接近关键帧设置为切换后关键帧。

其中，第一最接近关键帧即为按照时间顺序往后查找切换后视频流中的查找到的第一个关键帧。

在一种可选的实施方式中，基于所述切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，并将所述第一最接近关键帧设置为切换后关键帧之后，还可以包括：

1.以时间顺序往前查找所述切换后视频流中的第二最接近关键帧；

2.若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值小于第二设定值，则将所述第二最接近关键帧设置为切换后关键帧。

其中，若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值大于第二设定值，则设置所述第一最接近关键帧和所述第二最接近关键帧之间的非关键帧作为切换后关键帧。

具体的，基于切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，以时间顺序往前查找切换后视频流中的第二最接近关键帧；如第一最接近关键帧的时间同步补充增强信息的时间信息与切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，其中第一预设时间值，例如为3秒以上，且切换前关键帧的时间同步补充增强信息的时间信息与第二最接近关键帧的时间同步补充增强信息的时间信息的差值小于第二预设时间值，其中第二预设时间值，例如为1秒以下，则将第二最接近关键帧设置为切换后关键帧。

示例性的，切换前关键帧的时间同步补充增强信息为800ms，以时间顺序往后查找切换后视频流中的第一最接近关键帧。在多个切换后视频流关键帧中确定与切换前关键帧对应的时间同步补充增强信息，将切换前关键帧对应的时间同步补充增强信息和多个切换后视频流关键帧中的时间同步补充增强信息进行比较；根据比较结果在多个切换后视频流关键帧中确定第一最接近关键帧，例如确定的第一最接近关键帧的时间同步补充增强信息为805ms。

需要说明的是，第一最接近关键帧和切换前关键帧差异时间太大，直接切换会影响流畅度，第二最接近关键帧和切换前关键帧差异时间较小，虽然是时间往前切换，但是时间较短的话，用户没有感知，同样可以提高用户感知。

同样的，如第一最接近关键帧的时间同步补充增强信息的时间信息与切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一预设时间值(如3秒以上)，且切换前关键帧的时间同步补充增强信息的时间信息与第二最接近关键帧的时间同步补充增强信息的时间信息的差值大于第二预设时间值(如1秒以上)，则选择第一最接近关键帧和第二最接近关键帧之间的非关键帧作为切换后关键帧。也就是说，如发生的丢帧问题，前后关键帧的时间信息都差异较大，这时可直接使用切换后视频流的两个关键帧之间的非关键帧作为切换后关键帧进行视频流切换，以提高视频切换的流畅度。

示例性的，给第一视频和第二视频的关键帧设置时间同步补充增强信息，当需要进行第一视频到第二视频的视频流切换时，将第一视频的切换前的最后一个关键帧作为切换前关键帧，随后基于切换帧的时间同步补充增强信息，去第二视频中查找设定时间间隔内的切换后关键帧，即切换后关键帧的时间同步补充增强信息和切换前关键帧的时间同步补充增强信息时间间隔应小于预设时间值，优选切换后关键帧的时间同步补充增强信息应大于切换前关键帧的时间同步补充增强信息。

优选的，选择切换后关键帧的时间同步补充增强信息大于切换前关键帧的时间同步补充增强信息的图像帧作为切换后关键帧。比如第一视频包括切换前关键帧的时间同步补充增强信息为1秒，向后的第一最接近关键帧的时间同步补充增强信息若为1005ms时以及向前的第二最接近关键帧的时间同步补充增强信息若为998ms时，则优先选择向后的第一最接近关键帧的时间同步补充增强信息为1005ms的画面帧为切换后关键帧。

比如第一视频包括切换前关键帧的时间同步补充增强信息为1秒，第二视频最接近的切换后关键帧的第一最接近关键帧和第二最接近关键帧时间同步补充增强信息分别为1010ms、998ms，若第一最接近关键帧的时间同步补充增强信息的时间信息1010ms与切换前关键帧的时间同步补充增强信息的时间信息1秒的差值大于第一预设时间值，如第一预设时间值为6ms，且所述切换前关键帧的时间同步补充增强信息的时间信息1秒与第二最接近关键帧的时间同步补充增强信息的时间信息998ms的差值小于第二预设时间值，如第二预设时间值为3ms，则将所述第二最接近关键帧设置为切换后关键帧。

在一种可选的实施方式中，若所述第一最接近关键帧的时间同步补充增强信息的时间信息1秒与所述切换前关键帧的时间同步补充增强信息的时间信息1008ms的差值大于第一预设时间值，且所述切换前关键帧的时间同步补充增强信息的时间信息1秒与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值1004ms大于第二预设时间值，则设置所述第一最接近关键帧和所述第二最接近关键帧之间的非关键帧作为切换后关键帧。

示例性的，第一视频包括切换前关键帧的时间同步补充增强信息为1秒，第二视频的第一最接近关键帧的时间同步补充增强信息为1005ms，第二视频的第二最接近关键帧的时间同步补充增强信息为998ms，则选择第二视频的时间同步补充增强信息为1005ms的画面帧为切换后关键帧，如第二视频的第一最接近关键帧的时间同步补充增强信息为1010ms，，第二视频的第二最接近关键帧的时间同步补充增强信息为998ms，则选择第二视频的时间同步补充增强信息为998ms的画面帧为切换后关键帧。如第二视频的第一最接近关键帧的时间同步补充增强信息为1010ms，第二视频的第二最接近关键帧的时间同步补充增强信息为995ms，则选择第二视频的时间同步补充增强信息为995ms的画面帧和时间同步补充增强信息为1010ms的画面帧之间的非关键帧作为切换后关键帧。

S204：基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换。

具体的，利用切换前视频流中的所述切换前关键帧和切换后视频流中的所述切换后关键帧，进行切换前视频流和切换后视频流的切换，以实现所述多路视频流的切换。

在一种可选的实施方式中，由于在通常情况下切换后关键帧的时间信息是等于或晚于切换前关键帧的时间信息的，可以通过解析第一视频的多路视频流和第二视频的多路视频流，并将第一视频的多路视频流切换前的最后一个关键帧作为切换前关键帧，基于切换前关键帧的时间同步补充增强信息，确定第二视频的多路视频流中设定时间间隔内的切换后关键帧，最后根据切换前关键帧的时间同步补充增强信息和切换后关键帧的时间同步补充增强信息，进行预设方式的处理，实现多路视频流的切换。

可见，本申请用于多路视频流的帧级时间对齐与同步，其技术原理是通过在视频帧数据中嵌入经过校准的时间同步补充增强信息，后续进行视频切换或播出设备，通过解析多路视频流或者多机的帧视频时间进行相应的时间对齐处理，实现多路视频内容同步播出和切换的目的。

与现有技术相比，本发明首先获取多路视频流，并确定多路视频流的关键帧，将预先设置的时间同步补充增强信息分别嵌入多路视频流的关键帧中，响应于接收到终端发送的多路视频流的切换请求，获取多路视频流中的切换前关键帧和切换后关键帧，基于切换前关键帧和切换后关键帧，实现多路视频流的切换，通过获得用于切换的关键帧并嵌入经过校准的时间同步补充增强信息，它能够解决多路视频流的切换问题，提高用户体验。

本申请的又一实施例提供了一种用于多路视频流的切换装置，应用于上述任一项所述的一种用于多路视频流的切换方法，如图3所示的一种用于多路视频流的切换装置的结构示意图，所述装置包括：

获取模块301，用于获取多路视频流，并确定所述多路视频流的关键帧，所述多路视频流包括关键帧和非关键帧；

嵌入模块302，用于将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中；

响应模块303，用于响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧；

实现模块304，用于基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换。

具体的，所述嵌入模块，包括：

嵌入单元，用于以预设方式将经过校准的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，且同一视频流的相邻关键帧的时间同步补充增强信息的间隔时间不大于预设时间值。

具体的，所述嵌入单元，包括：

嵌入子单元，用于以预设json文本格式将所述时间同步补充增强信息，嵌入所述多路视频流的关键帧，其中，所述预设json文本格式内容包括同步所述时间同步补充增强信息、索引信息以及时区信息。

具体的，所述响应模块，包括：

第一获取单元，用于基于切换请求，获取切换前视频流和切换后视频流；

第二获取单元，用于获取切换前视频流的切换前关键帧；

第三获取单元，用于基于所述切换前关键帧的时间同步补充增强信息，获取所述切换后视频流的切换后关键帧，其中所述切换前关键帧的时间同步补充增强信息和所述切换后关键帧的时间同步补充增强信息相近。

具体的，所述第三获取单元，包括：

往后查找子单元，用于基于所述切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，并将所述第一最接近关键帧设置为切换后关键帧。

具体的，所述往后查找子单元之后，所述装置还包括：

往前查找子单元，用于以时间顺序往前查找所述切换后视频流中的第二最接近关键帧；

第一设置子单元，用于若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值小于第二设定值，则将所述第二最接近关键帧设置为切换后关键帧。

具体的，所述装置还包括：

第二设置子单元，用于若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值大于第二设定值，则设置所述第一最接近关键帧和所述第二最接近关键帧之间的非关键帧作为切换后关键帧。

具体的，所述实现模块，包括：

实现单元，用于利用切换前视频流中的所述切换前关键帧和切换后视频流中的所述切换后关键帧，进行切换前视频流和切换后视频流的切换，以实现所述多路视频流的切换。

与现有技术相比，本发明首先获取多路视频流，并确定多路视频流的关键帧，将预先设置的时间同步补充增强信息分别嵌入多路视频流的关键帧中，响应于接收到终端发送的多路视频流的切换请求，获取多路视频流中的切换前关键帧和切换后关键帧，基于切换前关键帧和切换后关键帧，实现多路视频流的切换，通过获得用于切换的关键帧并嵌入经过校准的时间同步补充增强信息，它能够解决多路视频流的切换问题，提高用户体验。

本发明实施例还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

具体的，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S201：获取多路视频流，并确定所述多路视频流的关键帧，所述多路视频流包括关键帧和非关键帧；

S202：将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中；

S203：响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧；

S204：基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换。

具体的，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

与现有技术相比，本发明首先获取多路视频流，并确定多路视频流的关键帧，将预先设置的时间同步补充增强信息分别嵌入多路视频流的关键帧中，响应于接收到终端发送的多路视频流的切换请求，获取多路视频流中的切换前关键帧和切换后关键帧，基于切换前关键帧和切换后关键帧，实现多路视频流的切换，通过获得用于切换的关键帧并嵌入经过校准的时间同步补充增强信息，它能够解决多路视频流的切换问题，提高用户体验。

本发明实施例还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

具体的，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

具体的，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S201：获取多路视频流，并确定所述多路视频流的关键帧，所述多路视频流包括关键帧和非关键帧；

S202：将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中；

S203：响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧；

S204：基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换。

与现有技术相比，本发明首先获取多路视频流，并确定多路视频流的关键帧，将预先设置的时间同步补充增强信息分别嵌入多路视频流的关键帧中，响应于接收到终端发送的多路视频流的切换请求，获取多路视频流中的切换前关键帧和切换后关键帧，基于切换前关键帧和切换后关键帧，实现多路视频流的切换，通过获得用于切换的关键帧并嵌入经过校准的时间同步补充增强信息，它能够解决多路视频流的切换问题，提高用户体验。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种用于多路视频流的切换方法，其特征在于，所述方法包括：

获取多路视频流，并确定所述多路视频流的关键帧，所述多路视频流包括关键帧和非关键帧；

将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中；

响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧；

基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换。

2.根据权利要求1所述的方法，其特征在于，所述将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，包括：

以预设方式将经过校准的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，且同一视频流的相邻关键帧的时间同步补充增强信息的间隔时间不大于预设时间值。

3.根据权利要求2所述的方法，其特征在于，所述以预设方式将经过校准的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中，包括：

以预设json文本格式将所述时间同步补充增强信息，嵌入所述多路视频流的关键帧，其中，所述预设json文本格式内容包括同步所述时间同步补充增强信息、索引信息以及时区信息。

4.根据权利要求1所述的方法，其特征在于，所述响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧，包括：

基于切换请求，获取切换前视频流和切换后视频流；

获取切换前视频流的切换前关键帧；

基于所述切换前关键帧的时间同步补充增强信息，获取所述切换后视频流的切换后关键帧，其中所述切换前关键帧的时间同步补充增强信息和所述切换后关键帧的时间同步补充增强信息相近。

5.根据权利要求4所述的方法，其特征在于，所述基于所述切换前关键帧的时间同步补充增强信息，获取所述切换后视频流的切换后关键帧，包括：

基于所述切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，并将所述第一最接近关键帧设置为切换后关键帧。

6.根据权利要求5所述的方法，其特征在于，所述基于所述切换前关键帧的时间同步补充增强信息，以时间顺序往后查找切换后视频流中的第一最接近关键帧，并将所述第一最接近关键帧设置为切换后关键帧之后，所述方法还包括：

以时间顺序往前查找所述切换后视频流中的第二最接近关键帧；

若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值小于第二设定值，则将所述第二最接近关键帧设置为切换后关键帧。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

若所述第一最接近关键帧的时间同步补充增强信息的时间信息与所述切换前关键帧的时间同步补充增强信息的时间信息的差值大于第一设定值，且所述切换前关键帧的时间同步补充增强信息的时间信息与所述第二最接近关键帧的时间同步补充增强信息的时间信息的差值大于第二设定值，则设置所述第一最接近关键帧和所述第二最接近关键帧之间的非关键帧作为切换后关键帧。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换，包括：

利用切换前视频流中的所述切换前关键帧和切换后视频流中的所述切换后关键帧，进行切换前视频流和切换后视频流的切换，以实现所述多路视频流的切换。

9.一种用于多路视频流的切换装置，其特征在于，所述装置包括：

获取模块，用于获取多路视频流，并确定所述多路视频流的关键帧，所述多路视频流包括关键帧和非关键帧；

嵌入模块，用于将预先设置的时间同步补充增强信息分别嵌入所述多路视频流的关键帧中；

响应模块，用于响应于接收到终端发送的所述多路视频流的切换请求，获取所述多路视频流中的切换前关键帧和切换后关键帧；

实现模块，用于基于所述切换前关键帧和切换后关键帧，实现所述多路视频流的切换。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时实现所述权利要求1至8任一项中所述的方法。

Images