CN111436009B - 一种实时视频流传送、显示方法以及传送和播放系统 - Google Patents

Abstract

本发明公开一种实时视频流传送、显示方法以及传送和播放系统，涉及视频技术领域。该方法包括：当服务器接收到客户端发送的视频请求后，如果当前没有缓存GOP序列，从视频源获取视频数据后，向客户端发送视频流，同时缓存最近的GOP序列以及将所述GOP序列进行解码之后的视频帧序列，并设置延时时间t；如果当前已经缓存所述GOP序列和所述视频帧序列，若当前时间未超过延时时间t，向客户端发送所述缓存GOP序列，若已经超过延时时间t，那么服务器将所述视频帧序列中从与当前推送的X帧对应的视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将该编码GOP序列发送给客户端。本发明技术方案在当多个客户端提取视频流时，提高同步显示视频的实时性。

Description

一种实时视频流传送、显示方法以及传送和播放系统

技术领域

本发明涉及视频技术领域，特别涉及一种实时视频流传送、显示方法以及传送和播放系统。

背景技术

随着网络技术的发展，人们已经不仅仅局限于使用下载、拷贝的方式来获取视频数据，通过网络传输视频流已经变成了一个常用的手段。以车载DVR为例，目前大多DVR设备都支持实时提取视频流，但是在传输视频流时，经常存在的一个问题是需要等待视频数据的缓冲，开始播放后视频画面不同步，会有延迟，究其原因是视频数据采用了压缩技术，只有接收到了关键帧，才能开始正常的进行视频解码和播放。当关键帧的时间间隔很长时间，就需要较长的等待时间，在用户体验上就比较差。

发明内容

为了克服如上所述的技术问题，本发明提出一种实时视频流传送、显示方法以及传送和播放系统，该方法通过设置视频服务器当前缓存的GOP序列的延时时间t，当接收到客户端发送的视频请求时，若已经超过延时时间t，那么服务器将所述视频帧序列中从与当前推送的X帧对应的视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将该编码GOP序列发送给客户端，这样当多个客户端提取视频流时，提高了同步显示视频的实时性。

本发明所采用的具体技术方案如下：

第一方面，本发明提出一种实时视频流传送方法，应用于服务器，包括：

接收到客户端发送的视频请求后，

如果当前没有缓存GOP序列，从视频源获取视频数据后，向客户端发送视频流，同时缓存最近的GOP序列以及将所述GOP序列进行解码之后的视频帧序列，并设置延时时间t；

如果当前已经缓存所述GOP序列和所述视频帧序列，

若当前时间未超过延时时间t，向客户端发送所述缓存GOP序列，

若当前时间已经超过延时时间t，假设当前发送的是X帧，则从所述视频帧序列中查找与X帧对应的视频帧Y，并将所述视频帧序列中从视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将缓存中的所述GOP序列更新为所述编码GOP序列，并重新设置延时时间t。

进一步地，还包括：

记录所有客户端的最新的视频帧的显示时间戳，所述显示时间戳在生成所述编码GOP序列时将用于生成新的显示时间戳。

第二方面，本发明提出一种实时视频流传送装置，所述装置包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如第一方面任一所述的实时视频流传送方法。

第三方面，本发明提出一种实时视频流显示方法，应用于客户端，包括：

向服务器发送视频请求；

接收所述服务器发送的视频流数据；

通过对所述视频流数据进行解码得到视频帧序列，并根据所述视频帧序列对应的显示时间戳进行播放。

第四方面，本发明提出一种实时视频流传送和播放系统，其特征在于，包括：

服务器和多个客户端，所述服务器和客户端通过通信网络进行连接；

其中，所述服务器，

接收到客户端发送的视频请求后，

如果当前没有缓存GOP序列，从视频源获取视频数据后，向客户端发送视频流，同时缓存最近的GOP序列以及将所述GOP序列进行解码之后的视频帧序列，并设置延时时间t；

如果当前已经缓存所述GOP序列和所述视频帧序列，

若当前时间未超过延时时间t，向客户端发送所述缓存GOP序列，

若当前时间已经超过延时时间t，假设当前发送的是X帧，则从所述视频帧序列中查找与X帧对应的视频帧Y，并将所述视频帧序列中从视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将缓存中的所述GOP序列更新为所述编码GOP序列，并重新设置延时时间t；

所述客户端，

向服务器发送视频请求；

接收所述服务器发送的视频流数据；

通过对所述视频流数据进行解码得到视频帧序列，并根据所述视频帧序列对应的显示时间戳进行播放。

本发明提供的技术方案带来的有益效果是：

本发明通过服务器端在接收到客户端发送的视频请求后，如果当前没有缓存GOP序列，从视频源获取视频数据后，向客户端发送视频流，同时缓存最近的GOP序列以及将所述GOP序列进行解码之后的视频帧序列，并设置延时时间t；如果当前已经缓存所述GOP序列和所述视频帧序列，若当前时间未超过延时时间t，向客户端发送所述缓存GOP序列，若当前时间已经超过延时时间t，假设当前发送的是X帧，则从所述视频帧序列中查找与X帧对应的视频帧Y，并将所述视频帧序列中从视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将缓存中的所述GOP序列更新为所述编码GOP序列，并重新设置延时时间t。这样，可以通过调整本发明技术方案的延时时间t来提高各个客户端同步显示视频的实时性。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1所示为本发明一种实时视频流传送和播放系统示意图；

图2示出了本发明实施例所涉及的一种实时视频流传送装置结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方案作进一步地详细描述。

在进行视频数据传输时，为了降低传输带宽或者控制码率，会减少I帧的数量，或者说会增加GOP(group of pictures，指I帧、B帧、P帧的组合，以I帧开始，B帧或者P帧结尾)序列的长度。当一个GOP序列的周期较大时(比如超过10s)，客户端无法立即获得I帧，从而无法马上显示视频画面。如图1所示为本发明一种实时视频流传送和播放系统示意图，包括：

视频源101、服务器102和多个客户端103，所述视频源101与所述服务器102通过通信网络进行连接，所述服务器102和客户端103通过通信网络进行连接；

其中，所述视频源101，用于提供视频数据，所述通信网络包括有线网络或无线网络。

视频源101只要能输出实时视频数据即可，本发明技术方案不作限制。在一种可能的实现中，视频源101可以是车载DVR，即车载数字视频录像机。

所述服务器102，接收到客户端103发送的视频请求后，

所述服务器102可以是桌上型计算机、笔记本、掌上电脑及云端服务器、智能手机等计算设备等，如果当前没有缓存GOP序列，从视频源获取视频数据后，向客户端103发送视频流，同时缓存最近的GOP序列以及将所述GOP序列进行解码之后的视频帧序列，并设置延时时间t；

如果当前已经缓存所述GOP序列和所述视频帧序列，

若当前时间未超过延时时间t，向客户端103发送所述缓存GOP序列，

若当前时间已经超过延时时间t，假设当前发送的是X帧，则从所述视频帧序列中查找与X帧对应的视频帧Y，并将所述视频帧序列中从视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将缓存中的所述GOP序列更新为所述编码GOP序列，并重新设置延时时间t。

需要说明的是，通过设置上述延时时间t，能够控制允许各个客户端之间最大不同步的时间，因此，可以根据不同场景需求对该时间进行调整，本发明技术方案不作限制。

在一种可能的实现中，服务端接收到客户端的数据请求后，向车载DVR发送数据提取指令，车载DVR开始向服务端发送编码后的视频数据。

服务端接收并扫描视频数据，在推送数据流到客户端的同时保存最近的一个GOP序列，记为{I1，BP1，BP2，BP3，BP4，BP5，BP6，BP7，BP8，BP9}，其中，I1表示该GOP序列中的I帧，BPi表示该GOP序列中的第i个B帧或者P帧。

服务端在将数据流推送给客户端的同时，对数据帧进行实时解码，并保存成帧序列{F1，F2，F3，F4，F5，F6，F7，F8，F9，F10}，缓存在内存，F10表示最新的视频画面。

根据实际需要设置延时时间t，在服务端开始推送一个GOP序列后的t时间内，如果有新客户端请求视频数据，则无需额外处理，直接推送当前缓存中的GOP序列。

当新客户端向服务器发送视频请求时，若当前延时时间超过预先设置的延时时间t时，在一种可能的实际操作中，服务器当前推送的是BP4帧，则服务端在缓存中查找与BP4对应的画面F4，并将从F4开始的画面帧进行编码，直至当前的GOP组结束，即对画面帧F4、F5、F6、F7、F8、F9和F10进行编码，形成新的编码GOP序列{I2，BP1’，BP2’，BP3’，BP4’，BP5’，BP6’}，其中I2表示该编码GOP序列中的I帧，BPi’表示第i个B帧或者P帧。同时，重新设置延时时间t。

在新的延时时间t内，服务器将新的GOP序列{I2，BP1’，BP2’，BP3’，BP4’，BP5’，BP6’}取代旧的GOP序列{I1，BP1，BP2，BP3，BP4，BP5，BP6，BP7，BP8，BP9}推送给客户端。

如图2示出了本发明实施例所涉及的一种实时视频流传送装置结构示意图。该装置包括：处理器201、存储器202和总线203。

处理器201包括一个或一个以上处理核心，处理器202通过总线203与处理器201相连，存储器203用于存储程序指令，处理器201执行存储器202中的程序指令时实现上述一种实时视频流传送方法。

可选的，存储器202可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随时存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

本发明还提供一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现上述方法实施例提供的实时视频流传送方法。

可选的，本发明还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各方面所述的实时视频流传送方法。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储与一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

所述客户端103，

可以是支持播放视频流的各种平板、手机等移动终端或其他计算机设备，本发明技术方案中不作限制；

向服务器102发送视频请求；

接收所述服务器102发送的视频流数据；

通过对所述视频流数据进行解码得到视频帧序列，并根据所述视频帧序列对应的显示时间戳进行播放。

本实施例通过服务器端在接收到客户端发送的视频请求后，如果当前没有缓存GOP序列，从视频源获取视频数据后，向客户端发送视频流，同时缓存最近的GOP序列以及将所述GOP序列进行解码之后的视频帧序列，并设置延时时间t；如果当前已经缓存所述GOP序列和所述视频帧序列，若当前时间未超过延时时间t，向客户端发送所述缓存GOP序列，若当前时间已经超过延时时间t，假设当前发送的是X帧，则从所述视频帧序列中查找与X帧对应的视频帧Y，并将所述视频帧序列中从视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将缓存中的所述GOP序列更新为所述编码GOP序列，并重新设置延时时间t。这样，可以通过调整本发明技术方案的延时时间t来提高各个客户端同步显示视频的实时性。

在图1实施例中所涉及的实时视频流传送方法，还包括：

记录所有客户端的最新的视频帧的显示时间戳，所述显示时间戳在生成所述编码GOP序列时将用于生成新的显示时间戳。

服务端需要记录所有客户端的最新的视频帧的显示时间戳，该值在生成新的GOP序列时将作为一个偏移量用于生成新的显示时间戳，避免客户端播放时出现时间戳错误的问题。在一种可能的实际操作中，在向客户端发送GOP序列{I1，BP1，BP2，BP3，BP4，BP5，BP6，BP7，BP8，BP9}时，向客户端发送的GOP序列所带的时间戳无需额外处理；在另一种可能的实际操作中，当生成GOP序列{I2，BP1’，BP2’，BP3’，BP4’，BP5’，BP6’}后，当前显示时间戳将更新为原BP4的显示时间戳。

以上所述仅为本发明的较佳实施例，并不用于以限制发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种实时视频流传送方法，其特征在于，应用于服务器，包括：

接收到客户端发送的视频请求后，

如果当前没有缓存GOP序列，从视频源获取视频数据后，向客户端发送视频流，同时缓存最近的GOP序列以及将所述GOP序列进行解码之后的视频帧序列，并设置延时时间t；

如果当前已经缓存所述GOP序列和所述视频帧序列，

若当前时间未超过延时时间t，向客户端发送所述缓存GOP序列，

若当前时间已经超过延时时间t，假设当前发送的是X帧，则从所述视频帧序列中查找与X帧对应的视频帧Y，并将所述视频帧序列中从视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将缓存中的所述GOP序列更新为所述编码GOP序列，并重新设置延时时间t。

2.根据权利要求1所述的实时视频流传送方法，其特征在于，还包括：

记录所有客户端的最新的视频帧的显示时间戳，所述显示时间戳在生成所述编码GOP序列时将用于生成新的显示时间戳。

3.一种实时视频流传送装置，其特征在于，所述装置包括存储器和处理器，所述存储器存储有至少一段程序，所述至少一段程序由所述处理器执行以实现如权利要求1至2任一所述的实时视频流传送方法。

4.一种实时视频流显示方法，其特征在于，应用于客户端，包括：

向服务器发送视频请求；

接收所述服务器使用如权利要求1至2任一所述的实时视频流传送方法发送的视频流数据；

通过对所述视频流数据进行解码得到视频帧序列，并根据所述视频帧序列对应的显示时间戳进行播放。

5.一种实时视频流传送和播放的系统，其特征在于，包括：

视频源、服务器和多个客户端，所述视频源与所述服务器通过通信网络进行连接，所述服务器和客户端通过通信网络进行连接；

其中，所述视频源，用于提供视频数据；

所述服务器，

接收到客户端发送的视频请求后，

如果当前没有缓存GOP序列，从视频源获取所述视频数据后，向客户端发送视频流，同时缓存最近的GOP序列以及将所述GOP序列进行解码之后的视频帧序列，并设置延时时间t；

如果当前已经缓存所述GOP序列和所述视频帧序列，

若当前时间未超过延时时间t，向客户端发送所述缓存GOP序列，

若当前时间已经超过延时时间t，假设当前发送的是X帧，则从所述视频帧序列中查找与X帧对应的视频帧Y，并将所述视频帧序列中从视频帧Y开始的所有视频帧进行编码，得到编码GOP序列，并将缓存中的所述GOP序列更新为所述编码GOP序列，并重新设置延时时间t；

所述客户端，

向服务器发送视频请求；

接收所述服务器发送的视频流数据；

通过对所述视频流数据进行解码得到视频帧序列，并根据所述视频帧序列对应的显示时间戳进行播放。