CN110351576A - 一种在工业场景下进行实时视频流快速显示的方法及其系统 - Google Patents

一种在工业场景下进行实时视频流快速显示的方法及其系统 Download PDF

Info

Publication number
CN110351576A
CN110351576A CN201910637824.2A CN201910637824A CN110351576A CN 110351576 A CN110351576 A CN 110351576A CN 201910637824 A CN201910637824 A CN 201910637824A CN 110351576 A CN110351576 A CN 110351576A
Authority
CN
China
Prior art keywords
frame
display terminal
video stream
video
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910637824.2A
Other languages
English (en)
Other versions
CN110351576B (zh
Inventor
庄浩
张继勇
刘鑫
刘紫鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huarui Xinzhi Baoding Technology Co.,Ltd.
HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd.
Original Assignee
Huarui Xinzhi Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huarui Xinzhi Technology (beijing) Co Ltd filed Critical Huarui Xinzhi Technology (beijing) Co Ltd
Priority to CN201910637824.2A priority Critical patent/CN110351576B/zh
Publication of CN110351576A publication Critical patent/CN110351576A/zh
Application granted granted Critical
Publication of CN110351576B publication Critical patent/CN110351576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23106—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving caching operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440218—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及视频直播技术领域，公开了一种在工业场景下进行实时视频流快速显示的方法及其系统，即通过先在缓冲服务器侧缓存属于GOP画面帧的I帧/和P帧，并在收到来自显示终端的码流请求消息后，根据MPEG视频流中当前实时画面帧的类别，在向显示终端传送首帧之后选择性插入包含缓存I帧/和P帧的次帧，如此可基于GOP画面帧的编码特点，确保显示终端在收到首帧之后能够解码获取对应首帧的视频图像，并在不等待音频同步的情况下，直接展示该视频图像，进而可在成功解码后的第一时间打开画面，有效缩短黑屏时长，提升用户体验，特别适用于在工业场景下对设备进行实时监控应用。

Description

一种在工业场景下进行实时视频流快速显示的方法及其系统
技术领域
本发明属于视频直播技术领域，具体涉及一种在工业场景下进行实时视频流快速显示的方法及其系统。
背景技术
在工业场景下的设备监控领域，为了让管理人员能够查看设备的运行状态，通常利用摄像机技术、互联网络技术和移动视频播放技术等，使管理人员能够使用显示终端(例如平板电脑或智能手机等)在远端随时查看设备的实时视频图像。但是由于视频流格式的特殊性，在网络条件同等情况下，视频流打开的第一个画面的速度也不尽相同，有时打开较快，有时打开较慢，让使用者体验很差，例如目前在安卓系统下且基于普通H.264视频格式的实时视频直播技术存在一个显著缺点：在随机一个时刻打开实时视频时，可能出现一段时间的黑屏现象(出现黑屏的原因很简单，就是解码器没有得到能解码出视频图像的数据)。因此需要提供一种可快速打开实时视频画面的新技术，以便提升用户体验。
发明内容
为了解决当前在随机打开实时视频时所存在的较长时间黑屏现象问题，本发明目的在于提供一种在工业场景下进行实时视频流快速显示的方法及其系统。
本发明所采用的技术方案为：
一种在工业场景下进行实时视频流快速显示的方法，包括如下步骤：
S101.缓冲服务器在收到来自直播视频源的MPEG视频流后，将所述MPEG视频流中的且属于GOP画面帧的I帧/和P帧缓存在服务器侧缓冲区中；
S102.缓冲服务器在收到来自显示终端的码流请求消息后，按照如下方式向显示终端传送码流：
(A1)若所述MPEG视频流中的当前实时画面帧为I帧，则将该I帧作为首帧传送至显示终端，然后将位于该I帧之后的其它后续实时画面帧也依次传送至显示终端；
(A2)若所述MPEG视频流中的当前实时画面帧为P帧，则将该P帧作为首帧传送至显示终端，然后将缓存的且用于解码该P帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该P帧之后的其它后续实时画面帧也依次传送至显示终端；
S103.显示终端在收到来自缓冲服务器的码流后，按照如下方式进行快速显示：
(B1)若首帧为I帧，则直接解码该首帧，得到相应的第一视频帧图像，然后直接将该第一视频帧图像输出至显示界面进行展示；
(B2)若首帧为P帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中的且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第二视频帧图像，最后直接将该第二视频帧图像输出至显示界面进行展示。
优化的，在所述步骤S101中且从所述MPEG视频流中获取新实时画面帧后，按照如下方式进行缓存：
(C1)若新实时画面帧为I帧，则将服务器侧缓冲区中已缓存的所有I帧/和P帧删除，然后缓存该I帧；
(C2)若新实时画面帧为P帧，则在服务器侧缓冲区中缓存该P帧；
(C3)若新实时画面帧为B帧，则不缓存。
优化的，当所述MPEG视频流中还包含有属于GOP画面帧的B帧时：
在所述步骤S102中，缓冲服务器还按照如下方式向显示终端传送码流：
(A3)若所述MPEG视频流中的当前实时画面帧为B帧，则将该B帧作为首帧传送至显示终端，然后将缓存的且用于解码该B帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该B帧之后的其它后续实时画面帧也依次传送至显示终端；
在所述步骤S103中，显示终端还按照如下方式进行快速显示：
(B3)若首帧为B帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第三视频帧图像，最后直接将该第三视频帧图像输出至显示界面进行展示。
优化的，所述直播视频源为布置在工业现场的网络摄像机。
优化的，在所述步骤S102中，缓冲服务器还将来自直播视频源的且与所述MPEG视频流对应的音频流实时传送至显示终端；
在所述步骤S103中，显示终端先在终端侧缓冲区中依次缓存基于音频流解码得到的音频帧信号，然后采用音频同步到视频的策略使音频帧信号与视频帧图像同步，并在完成同步时，才将音频帧信号输出至语音喇叭进行播放。
进一步优化的，当在显示终端侧设置有音频缓冲时间和/或视频缓冲时间时，所述终端侧缓冲区的最大缓冲时间阈值取所述音频缓冲时间和所述视频缓冲时间中存在一者的设置值或存在两者的最小设置值。
优化的，所述终端侧缓冲区的最大缓冲时间阈值在出现播放卡顿时，按照如下顺序逐次递增设置：100ms，1000ms，2000ms和3000ms。
优化的，在将视频帧图像输出至显示界面前，若该视频帧图像是采用YUV方式进行颜色编码的，则将该视频帧图像的颜色编码方式由YUV方式转换为RGB方式。
本发明所采用的另一种技术方案为：
一种在工业场景下进行实时视频流快速显示的系统，包括依次通信相连的直播视频源、缓冲服务器和显示终端；
所述直播视频源，用于向所述缓冲服务器实时传送MPEG视频流；
所述缓冲服务器，一方面用于将所述MPEG视频流中的且属于GOP画面帧的I帧/和P帧缓存在服务器侧缓冲区中，另一方面用于在收到来自所述显示终端的码流请求消息后，按照如下方式向显示终端传送码流：
(A1)若所述MPEG视频流中的当前实时画面帧为I帧，则将该I帧作为首帧传送至显示终端，然后将位于该I帧之后的其它后续实时画面帧也依次传送至显示终端；
(A2)若所述MPEG视频流中的当前实时画面帧为P帧，则将该P帧作为首帧传送至显示终端，然后将缓存的且用于解码该P帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该P帧之后的其它后续实时画面帧也依次传送至显示终端；
所述显示终端，用于在收到来自所述缓冲服务器的码流后，按照如下方式进行快速显示：
(B1)若首帧为I帧，则直接解码该首帧，得到相应的第一视频帧图像，然后直接将该第一视频帧图像输出至显示界面进行展示；
(B2)若首帧为P帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中的且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第二视频帧图像，最后直接将该第二视频帧图像输出至显示界面进行展示。
优化的，所述缓冲服务器在收到来自所述显示终端的码流请求消息后，还用于还按照如下方式向显示终端传送码流：
(A3)若所述MPEG视频流中的当前实时画面帧为B帧，则将该B帧作为首帧传送至显示终端，然后将缓存的且用于解码该B帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该B帧之后的其它后续实时画面帧也依次传送至显示终端：
所述显示终端在收到来自所述缓冲服务器的码流后，还用于按照如下方式进行快速显示：
(B3)若首帧为B帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第三视频帧图像，最后直接将该第三视频帧图像输出至显示界面进行展示。
本发明的有益效果为：
(1)本发明创造提供了一种可快速打开实时视频画面的新方法及其系统，即通过先在缓冲服务器侧缓存属于GOP画面帧的I帧/和P帧，并在收到来自显示终端的码流请求消息后，根据MPEG视频流中当前实时画面帧的类别，在向显示终端传送首帧之后选择性插入包含缓存I帧/和P帧的次帧，如此可基于GOP画面帧的编码特点，确保显示终端在收到首帧之后能够解码获取对应首帧的视频图像，并在不等待音频同步的情况下，直接展示该视频图像，进而可在成功解码后的第一时间打开画面，有效缩短黑屏时长，提升用户体验，特别适用于在工业场景下对设备进行实时监控应用。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的在工业场景下进行实时视频流快速显示的方法流程示意图。
图2是本发明提供的在工业场景下进行实时视频流快速显示的系统结构示意图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步阐述。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明的示例实施例。然而，可用很多备选的形式来体现本发明，并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解，在本文描述的一些流程中，包含了按照特定顺序出现的多个操作，但是这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如S101、S102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作同样按顺序执行或并行执行。
应当理解，尽管本文可以使用术语第一、第二等等来描述各种单元，这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。
应当理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况，本文中术语“/和”是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况，另外，本文中字符“/”，一般表示前后关联对象是一种“或”关系。
应当理解，当将单元称作与另一个单元“连接”、“相连”或“耦合”时，它可以与另一个单元直相连接或耦合，或中间单元可以存在。相対地，当将单元称作与另一个单元“直接相连”或“直接耦合”时，不存在中间单元。应当以类似方式来解释用于描述单元之间关系的其他单词(例如，“在……之间”对“直接在……之间”,“相邻”对“直接相邻”等等)。
本文使用的术语仅用于描述特定实施例，并不意在限制本发明的示例实施例。如本文所使用的，单数形式“一”、“一个”以及“该”意在包括复数形式，除非上下文明确指示相反意思。还应当理解术语“包括”、“包括了”、“包含”和/或“包含了”在本文中使用时,指定所声明的特征、整数、步骤、操作、单元和/或组件的存在性,并且不排除一个或多个其他特征、数量、步骤、操作、单元、组件和/或他们的组合存在性或增加。
还应当注意到在一些备选实施例中，所出现的功能/动作可能与附图出现的顺序不同。例如,取决于所涉及的功能/动作,实际上可以实质上并发地执行,或者有时可以以相反的顺序来执行连续示出的两个图。
在下面的描述中提供了特定的细节,以便于对示例实施例的完全理解。然而,本领域普通技术人员应当理解可以在没有这些特定细节的情况下实现示例实施例。例如可以在框图中示出系统，以避免用不必要的细节来使得示例不清楚。在其他实例中，可以不以不必要的细节来示出众所周知的过程、结构和技术，以避免使得示例实施例不清楚。
实施例一
如图1所示，本实施例提供的所述在工业场景下进行实时视频流快速显示的方法，包括如下步骤S101～S103。
S101.缓冲服务器在收到来自直播视频源的MPEG视频流后，将所述MPEG视频流中的且属于GOP画面帧的I帧/和P帧缓存在服务器侧缓冲区中。
在所述步骤S101中，所述缓冲服务器为在网络侧用于辅助进行视频直播的现有设备，其可以但不限于为APP(Application，应用程序)服务器或WEB服务器。所述直播视频源用于编码生成具有GOP(Group of Pictures，意思是画面组，一个GOP就是一组连续的画面)画面帧的MPEG(Moving Picture Experts Group，动态图像专家组，其是ISO与IEC于1988年成立的专门针对运动图像和语音压缩制定国际标准的组织；MPEG视频流的编码特点是将画面帧分为I帧、P帧和B帧三种，其中，I帧即是帧内编码图像帧，可以理解为这一帧画面的完整保留，在解码时只需要本帧数据就可以完成最终画面的生成，I帧通常是每个GOP的第一个帧，并经过适度地压缩，可以做为随机访问的参考点；P帧即是前向预测编码图像帧，表示这一帧跟之前的一个I帧或P帧的差别，在解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面；B帧即是双向预测编码图像帧，其记录的是本帧与前后帧的差别，在解码时不仅要取得之前的缓存画面，还需要解码之后的画面，通过前后画面与本帧数据的叠加，得到最终画面，在有些MPEG视频流中可必不存在)视频流以及与所述MPEG视频流对应的音频流(即同步的现场声音)等，其可以但不限于为布置在工业现场的网络摄像机，以便随时采集针对监控设备的实时视频流。
在所述步骤S101中，所述MPEG视频流为现有常用的编码视频流，缓冲服务器可采用现有常规方式从中获取I帧、P帧和B帧等。优化的，为了在确保缓存I帧/和P帧实时可用的同时及时清除冗余帧，降低对缓冲区空间的需求，在从所述MPEG视频流中获取新实时画面帧后，可以但不限于按照如下方式进行缓存：(C1)若新实时画面帧为I帧，则将服务器侧缓冲区中已缓存的所有I帧/和P帧删除，然后缓存该I帧；(C2)若新实时画面帧为P帧，则在服务器侧缓冲区中缓存该P帧；(C3)若新实时画面帧为B帧，则不缓存。在情况(C1)中，由于I帧通常是每个GOP的第一个帧，用于作为解码同组GOP中后续P帧或B帧的参考帧，因此在实时收到新I帧后，缓存的且前一个GOP的I帧/和P帧在后续解码中将无用，因此及时删除，可降低对缓冲区空间的需求，同时不影响缓存I帧/和P帧实时可用性。在情况(C2)中，由于不确定是否还需要该P帧作为解码后续帧(即P帧或B帧)的参考帧，因此先缓存为宜。在情况(C3)中，由于B帧不会作为任何帧的解码参考帧，因此无需缓存。
S102.缓冲服务器在收到来自显示终端的码流请求消息后，按照如下方式向显示终端传送码流：
(A1)若所述MPEG视频流中的当前实时画面帧为I帧，则将该I帧作为首帧传送至显示终端，然后将位于该I帧之后的其它后续实时画面帧也依次传送至显示终端；
(A2)若所述MPEG视频流中的当前实时画面帧为P帧，则将该P帧作为首帧传送至显示终端，然后将缓存的且用于解码该P帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该P帧之后的其它后续实时画面帧也依次传送至显示终端。
在所述步骤S102中，所述显示终端为用户侧的且可进行实时视频画面播放的现有电子设备，例如平板电脑或智能手机等，其在经过常规方式的认证、登录和授权等之后且在随机一个时刻打开直播程序时，可生成所述码流请求消息，并将该码流请求消息上传至所述缓冲服务器，以便请求获取实时视频流。在情况(A1)中，由于当前实时画面帧为I帧，在传送至显示终端后，可直接解码获取视频图像，因此无需特别处理；而在情况(A2)中，由于当前实时画面帧为P帧，在传送至显示终端后，需要依赖解码时间戳(DTS，Decoding TimeStamp，这个时间戳的意义在于告诉显示终端该在什么时候解码这一帧的数据，每个画面帧除包含该解码时间戳之外，还会包含用于告诉显示终端该在什么时候展示这一帧的显示时间戳PTS)位于该P帧之前的最近I帧/和解码时间戳位于该最近I帧与该P帧之间的所有P帧才能解码获取该P帧的视频图像，因此为了使显示终端不丢弃该P帧并快速显示该P帧的视频图像，需要将缓存的且用于解码该P帧的I帧/和P帧作为插入的次帧(用于提供前画面)传送至显示终端。
在所述步骤S102中，优化的，当所述MPEG视频流中还包含有属于GOP画面帧的B帧时，缓冲服务器还按照如下方式向显示终端传送码流：
(A3)若所述MPEG视频流中的当前实时画面帧为B帧，则将该B帧作为首帧传送至显示终端，然后将缓存的且用于解码该B帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该B帧之后的其它后续实时画面帧也依次传送至显示终端。
在情况(A3)中，由于当前实时画面帧为B帧，在传送至显示终端后，同样需要依赖解码时间戳位于该B帧之前的最近I帧/和解码时间戳位于该最近I帧与该B帧之间的所有P帧(其中，对于解码时间戳位于该B帧之前的最近P帧，在所述MPEG视频流中位于该B帧之后)才能解码获取该P帧的视频图像，因此为了使显示终端不丢弃该B帧并快速显示该B帧的视频图像，需要将缓存的且用于解码该B帧的I帧/和P帧作为插入的次帧(用于提供前画面，后画面由位于该次帧之后的最近P帧提供)传送至显示终端。
此外，在所述步骤S102中，若所述直播视频源还编码生成有与所述MPEG视频流对应的音频流，则缓冲服务器还将来自直播视频源的且与所述MPEG视频流对应的音频流实时传送至显示终端，以便进行非及时地同声播放。
S103.显示终端在收到来自缓冲服务器的码流后，按照如下方式进行快速显示：
(B1)若首帧为I帧，则直接解码该首帧，得到相应的第一视频帧图像，然后直接将该第一视频帧图像输出至显示界面进行展示；
(B2)若首帧为P帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中的且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第二视频帧图像，最后直接将该第二视频帧图像输出至显示界面进行展示。
在所述步骤S103中，解码首帧并得到相应视频帧图像的方法可为常规解码方法，将视频帧图像输出至显示界面进行展示的方法也可为常规显示方法。在情况(B1)中，由于首帧为I帧，可直接解码获取视频图像，并直接(考虑在工业场景下对设备进行监控的过程中，视频图像的价值远高于音频信号的价值，因此无需等待音视频同步再进行输出展示)进行输出展示，实现最快的画面打开；至于该I帧之后的其它P帧或B帧，可按照解码时间戳顺序正常解码得到对应的视频图像。在情况(B2)中，由于首帧为P帧且在次帧中包含有解码时间戳位于该P帧之前的最近I帧/和解码时间戳位于该最近I帧与该P帧之间的所有P帧(它们用于提供前画面)，也可在收到次帧后解码获取视频图像，并直接(同样考虑在工业场景下对设备进行监控的过程中，视频图像的价值远高于音频信号的价值，因此无需等待音视频同步再进行输出展示)进行输出展示，实现第一时间的画面打开，同时也无需舍弃已传送的且具有实时性的首个P帧，拒绝出现直播延后；至于次帧之后的其它P帧或B帧，也可以基于该次帧中I帧和P帧且按照解码时间戳顺序正常解码得到对应的视频图像。另外，虽然可以从次帧中获取显示时间戳位于该第二视频图像之前的在先视频图像，但考虑直播实时性，舍弃进行输出展示。
在所述步骤S103中，优化的，当所述MPEG视频流中还包含有属于GOP画面帧的B帧时，显示终端还按照如下方式进行快速显示：
(B3)若首帧为B帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第三视频帧图像，最后直接将该第三视频帧图像输出至显示界面进行展示。
在情况(A3)中，由于首帧为B帧且在次帧中包含有解码时间戳位于该B帧之前的最近I帧/和解码时间戳位于该最近I帧与该B帧之间的部分P帧(它们用于提供前画面，另外，对于解码时间戳位于该B帧之前的且用于提供后画面的最近P帧，则位于该次帧之后)，也可在收到次帧以及位于该次帧之后的最近P帧后，解码获取视频图像，并直接(同样考虑在工业场景下对设备进行监控的过程中，视频图像的价值远高于音频信号的价值，因此无需等待音视频同步再进行输出展示)进行输出展示，实现第一时间的画面打开，同时也无需舍弃已传送的且具有实时性的首个B帧，同样拒绝出现直播延后；至于次帧之后的其它P帧或B帧，也可以基于该次帧中I帧和P帧且按照解码时间戳顺序正常解码得到对应的视频图像。另外，虽然可以从次帧以及该次帧之后的最近P帧中获取显示时间戳位于该第三视频图像之前的在先视频图像，但考虑直播实时性，也舍弃进行输出展示。
在所述步骤S103中，若所述直播视频源还编码生成有与所述MPEG视频流对应的音频流，则显示终端先在终端侧缓冲区中依次缓存基于音频流解码得到的音频帧信号，然后采用音频同步到视频的策略使音频帧信号与视频帧图像同步，并在完成同步时，才将音频帧信号输出至语音喇叭进行播放。前述所涉及的音频流解码方式和同步策略均可采用现有方式，由于是采用音频同步到视频的策略，可确保视频图像的第一时间展示，实现在工作场景下的监控及时目的。进一步优化的，当在显示终端侧设置有音频缓冲时间和/或视频缓冲时间时，所述终端侧缓冲区的最大缓冲时间阈值取所述音频缓冲时间和所述视频缓冲时间中存在一者的设置值或存在两者的最小设置值。另外，所述终端侧缓冲区的最大缓冲时间阈值还可以在出现播放卡顿时，按照如下顺序逐次递增设置：100ms，1000ms，2000ms和3000ms。
另外，在所述步骤S103中且在将视频帧图像输出至显示界面前，具体的，若该视频帧图像是采用YUV(其是被欧洲电视系统所采用的一种颜色编码方法，是PAL和SECAM模拟彩色电视制式采用的颜色空间)方式进行颜色编码的，则将该视频帧图像的颜色编码方式由YUV方式转换为RGB(即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一)方式。
综上，采用本实施例所提供的在工业场景下进行实时视频流快速显示的方法，具有如下技术效果：
(1)本实施例提供了一种可快速打开实时视频画面的新方法，即通过先在缓冲服务器侧缓存属于GOP画面帧的I帧/和P帧，并在收到来自显示终端的码流请求消息后，根据MPEG视频流中当前实时画面帧的类别，在向显示终端传送首帧之后选择性插入包含缓存I帧/和P帧的次帧，如此可基于GOP画面帧的编码特点，确保显示终端在收到首帧之后能够解码获取对应首帧的视频图像，并在不等待音频同步的情况下，直接展示该视频图像，进而可在成功解码后的第一时间打开画面，有效缩短黑屏时长，提升用户体验，特别适用于在工业场景下对设备进行实时监控应用。
实施例二
如图2所示，本实施例提供了一种实现实施例一所述的在工业场景下进行实时视频流快速显示的方法的硬件系统，包括依次通信相连的直播视频源、缓冲服务器和显示终端；
所述直播视频源，用于向所述缓冲服务器实时传送MPEG视频流；
所述缓冲服务器，一方面用于将所述MPEG视频流中的且属于GOP画面帧的I帧/和P帧缓存在服务器侧缓冲区中，另一方面用于在收到来自所述显示终端的码流请求消息后，按照如下方式向显示终端传送码流：
(A1)若所述MPEG视频流中的当前实时画面帧为I帧，则将该I帧作为首帧传送至显示终端，然后将位于该I帧之后的其它后续实时画面帧也依次传送至显示终端；
(A2)若所述MPEG视频流中的当前实时画面帧为P帧，则将该P帧作为首帧传送至显示终端，然后将缓存的且用于解码该P帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该P帧之后的其它后续实时画面帧也依次传送至显示终端；
所述显示终端，用于在收到来自所述缓冲服务器的码流后，按照如下方式进行快速显示：
(B1)若首帧为I帧，则直接解码该首帧，得到相应的第一视频帧图像，然后直接将该第一视频帧图像输出至显示界面进行展示；
(B2)若首帧为P帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中的且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第二视频帧图像，最后直接将该第二视频帧图像输出至显示界面进行展示。
优化的，所述缓冲服务器在收到来自所述显示终端的码流请求消息后，还用于还按照如下方式向显示终端传送码流：
(A3)若所述MPEG视频流中的当前实时画面帧为B帧，则将该B帧作为首帧传送至显示终端，然后将缓存的且用于解码该B帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该B帧之后的其它后续实时画面帧也依次传送至显示终端：
所述显示终端在收到来自所述缓冲服务器的码流后，还用于按照如下方式进行快速显示：
(B3)若首帧为B帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第三视频帧图像，最后直接将该第三视频帧图像输出至显示界面进行展示。
本实施例提供的所述在工业场景下进行实时视频流快速显示的系统的工作过程、工作细节和技术效果，可以参见实施例一，于此不再赘述。
以上所描述的多个实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备执行各个实施例或者实施例的某些部分所述的方法。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
最后应说明的是，本发明不局限于上述可选的实施方式，任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制，本发明的保护范围应当以权利要求书中界定的为准，并且说明书可以用于解释权利要求书。

Claims (10)

1.一种在工业场景下进行实时视频流快速显示的方法，其特征在于，包括如下步骤：
S101.缓冲服务器在收到来自直播视频源的MPEG视频流后，将所述MPEG视频流中的且属于GOP画面帧的I帧/和P帧缓存在服务器侧缓冲区中；
S102.缓冲服务器在收到来自显示终端的码流请求消息后，按照如下方式向显示终端传送码流：
(A1)若所述MPEG视频流中的当前实时画面帧为I帧，则将该I帧作为首帧传送至显示终端，然后将位于该I帧之后的其它后续实时画面帧也依次传送至显示终端；
(A2)若所述MPEG视频流中的当前实时画面帧为P帧，则将该P帧作为首帧传送至显示终端，然后将缓存的且用于解码该P帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该P帧之后的其它后续实时画面帧也依次传送至显示终端；
S103.显示终端在收到来自缓冲服务器的码流后，按照如下方式进行快速显示：
(B1)若首帧为I帧，则直接解码该首帧，得到相应的第一视频帧图像，然后直接将该第一视频帧图像输出至显示界面进行展示；
(B2)若首帧为P帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中的且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第二视频帧图像，最后直接将该第二视频帧图像输出至显示界面进行展示。
2.如权利要求1所述的一种在工业场景下进行实时视频流快速显示的方法，其特征在于，在所述步骤S101中且从所述MPEG视频流中获取新实时画面帧后，按照如下方式进行缓存：
(C1)若新实时画面帧为I帧，则将服务器侧缓冲区中已缓存的所有I帧/和P帧删除，然后缓存该I帧；
(C2)若新实时画面帧为P帧，则在服务器侧缓冲区中缓存该P帧；
(C3)若新实时画面帧为B帧，则不缓存。
3.如权利要求1所述的一种在工业场景下进行实时视频流快速显示的方法，其特征在于，当所述MPEG视频流中还包含有属于GOP画面帧的B帧时：
在所述步骤S102中，缓冲服务器还按照如下方式向显示终端传送码流：
(A3)若所述MPEG视频流中的当前实时画面帧为B帧，则将该B帧作为首帧传送至显示终端，然后将缓存的且用于解码该B帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该B帧之后的其它后续实时画面帧也依次传送至显示终端；
在所述步骤S103中，显示终端还按照如下方式进行快速显示：
(B3)若首帧为B帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第三视频帧图像，最后直接将该第三视频帧图像输出至显示界面进行展示。
4.如权利要求1所述的一种在工业场景下进行实时视频流快速显示的方法，其特征在于：所述直播视频源为布置在工业现场的网络摄像机。
5.如权利要求1或3所述的一种在工业场景下进行实时视频流快速显示的方法，其特征在于：
在所述步骤S102中，缓冲服务器还将来自直播视频源的且与所述MPEG视频流对应的音频流实时传送至显示终端；
在所述步骤S103中，显示终端先在终端侧缓冲区中依次缓存基于音频流解码得到的音频帧信号，然后采用音频同步到视频的策略使音频帧信号与视频帧图像同步，并在完成同步时，才将音频帧信号输出至语音喇叭进行播放。
6.如权利要求5所述的一种在工业场景下进行实时视频流快速显示的方法，其特征在于，当在显示终端侧设置有音频缓冲时间和/或视频缓冲时间时，所述终端侧缓冲区的最大缓冲时间阈值取所述音频缓冲时间和所述视频缓冲时间中存在一者的设置值或存在两者的最小设置值。
7.如权利要求1或3所述的一种在工业场景下进行实时视频流快速显示的方法，其特征在于：
所述终端侧缓冲区的最大缓冲时间阈值在出现播放卡顿时，按照如下顺序逐次递增设置：100ms，1000ms，2000ms和3000ms。
8.如权利要求1或3所述的一种在工业场景下进行实时视频流快速显示的方法，其特征在于，在将视频帧图像输出至显示界面前，若该视频帧图像是采用YUV方式进行颜色编码的，则将该视频帧图像的颜色编码方式由YUV方式转换为RGB方式。
9.一种在工业场景下进行实时视频流快速显示的系统，其特征在于，包括依次通信相连的直播视频源、缓冲服务器和显示终端；
所述直播视频源，用于向所述缓冲服务器实时传送MPEG视频流；
所述缓冲服务器，一方面用于将所述MPEG视频流中的且属于GOP画面帧的I帧/和P帧缓存在服务器侧缓冲区中，另一方面用于在收到来自所述显示终端的码流请求消息后，按照如下方式向显示终端传送码流：
(A1)若所述MPEG视频流中的当前实时画面帧为I帧，则将该I帧作为首帧传送至显示终端，然后将位于该I帧之后的其它后续实时画面帧也依次传送至显示终端；
(A2)若所述MPEG视频流中的当前实时画面帧为P帧，则将该P帧作为首帧传送至显示终端，然后将缓存的且用于解码该P帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该P帧之后的其它后续实时画面帧也依次传送至显示终端；
所述显示终端，用于在收到来自所述缓冲服务器的码流后，按照如下方式进行快速显示：
(B1)若首帧为I帧，则直接解码该首帧，得到相应的第一视频帧图像，然后直接将该第一视频帧图像输出至显示界面进行展示；
(B2)若首帧为P帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中的且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第二视频帧图像，最后直接将该第二视频帧图像输出至显示界面进行展示。
10.如权利要求9所述的一种在工业场景下进行实时视频流快速显示的系统，其特征在于：
所述缓冲服务器在收到来自所述显示终端的码流请求消息后，还用于还按照如下方式向显示终端传送码流：
(A3)若所述MPEG视频流中的当前实时画面帧为B帧，则将该B帧作为首帧传送至显示终端，然后将缓存的且用于解码该B帧的I帧/和P帧作为插入的次帧传送至显示终端，最后将位于该B帧之后的其它后续实时画面帧也依次传送至显示终端：
所述显示终端在收到来自所述缓冲服务器的码流后，还用于按照如下方式进行快速显示：
(B3)若首帧为B帧，则在终端侧缓冲区中依次缓存该首帧以及位于该首帧之后的其它后续帧，并依赖后续帧中且解码时间戳位于该首帧之前的最近I帧/和解码时间戳位于该最近I帧与该首帧之间的所有P帧解码该首帧，得到相应的第三视频帧图像，最后直接将该第三视频帧图像输出至显示界面进行展示。
CN201910637824.2A 2019-07-15 2019-07-15 一种在工业场景下进行实时视频流快速显示的方法及其系统 Active CN110351576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910637824.2A CN110351576B (zh) 2019-07-15 2019-07-15 一种在工业场景下进行实时视频流快速显示的方法及其系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910637824.2A CN110351576B (zh) 2019-07-15 2019-07-15 一种在工业场景下进行实时视频流快速显示的方法及其系统

Publications (2)

Publication Number Publication Date
CN110351576A true CN110351576A (zh) 2019-10-18
CN110351576B CN110351576B (zh) 2021-11-05

Family

ID=68176373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910637824.2A Active CN110351576B (zh) 2019-07-15 2019-07-15 一种在工业场景下进行实时视频流快速显示的方法及其系统

Country Status (1)

Country Link
CN (1) CN110351576B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918092A (zh) * 2020-08-12 2020-11-10 广州繁星互娱信息科技有限公司 视频流处理方法、装置、服务器及存储介质
CN115334344A (zh) * 2022-08-08 2022-11-11 青岛海信宽带多媒体技术有限公司 一种应用于智能机顶盒的频道切换方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257628A (zh) * 2008-03-20 2008-09-03 武汉大学 一种实现视频码流帧率可调整的压缩方法
CN101646074A (zh) * 2008-08-05 2010-02-10 中兴通讯股份有限公司 视频数据的实时传输方法
US20100226444A1 (en) * 2009-03-09 2010-09-09 Telephoto Technologies Inc. System and method for facilitating video quality of live broadcast information over a shared packet based network
CN101998147A (zh) * 2009-08-14 2011-03-30 华为技术有限公司 媒体数据的传输方法、网络侧设备及通信系统
CN102378065A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 基于mpeg-4的流媒体服务器端配置缓冲区的方法及系统
CN103338386A (zh) * 2013-07-10 2013-10-02 航天恒星科技有限公司 基于简化时间戳的音视频同步方法
CN106507161A (zh) * 2016-11-29 2017-03-15 腾讯科技（深圳）有限公司 视频直播方法及直播装置
CN107690077A (zh) * 2017-09-05 2018-02-13 北京京东尚科信息技术有限公司 监测视频直播卡顿的方法和装置
CN108370416A (zh) * 2015-12-17 2018-08-03 皇家Kpn公司 从视频流生成输出视频

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101257628A (zh) * 2008-03-20 2008-09-03 武汉大学 一种实现视频码流帧率可调整的压缩方法
CN101646074A (zh) * 2008-08-05 2010-02-10 中兴通讯股份有限公司 视频数据的实时传输方法
US20100226444A1 (en) * 2009-03-09 2010-09-09 Telephoto Technologies Inc. System and method for facilitating video quality of live broadcast information over a shared packet based network
CN101998147A (zh) * 2009-08-14 2011-03-30 华为技术有限公司 媒体数据的传输方法、网络侧设备及通信系统
CN102378065A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 基于mpeg-4的流媒体服务器端配置缓冲区的方法及系统
CN103338386A (zh) * 2013-07-10 2013-10-02 航天恒星科技有限公司 基于简化时间戳的音视频同步方法
CN108370416A (zh) * 2015-12-17 2018-08-03 皇家Kpn公司 从视频流生成输出视频
CN106507161A (zh) * 2016-11-29 2017-03-15 腾讯科技（深圳）有限公司 视频直播方法及直播装置
CN107690077A (zh) * 2017-09-05 2018-02-13 北京京东尚科信息技术有限公司 监测视频直播卡顿的方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111918092A (zh) * 2020-08-12 2020-11-10 广州繁星互娱信息科技有限公司 视频流处理方法、装置、服务器及存储介质
CN115334344A (zh) * 2022-08-08 2022-11-11 青岛海信宽带多媒体技术有限公司 一种应用于智能机顶盒的频道切换方法及装置
CN115334344B (zh) * 2022-08-08 2023-08-18 青岛海信宽带多媒体技术有限公司 一种应用于智能机顶盒的频道切换方法及装置

Also Published As

Publication number Publication date
CN110351576B (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN106789991A (zh) 一种基于虚拟场景的多人互动方法及系统
KR101687640B1 (ko) 동기화된 컨텐츠 재생 방법
CN103959802B (zh) 影像提供方法、发送装置以及接收装置
CN112562433A (zh) 一种基于全息终端的5g强互动远程专递教学系统及其工作方法
CN102098529B (zh) 用于处理立体图像流的压缩图像流的方法和系统
CN106488265A (zh) 一种发送媒体流的方法和装置
CN110213459A (zh) 显示方法和显示装置
US9883244B2 (en) Multi-source video navigation
JP2011525746A (ja) 三次元ビデオ映像処理方法及びその装置
CN110868600A (zh) 目标跟踪视频推流方法、显示方法、装置和存储介质
CN108282598A (zh) 一种软件导播系统及方法
CN106878764A (zh) 一种虚拟现实的直播方法、系统及其用途
KR100606785B1 (ko) 네트워크를 통한 원격 멀티미디어 서비스 제공시스템에서의 동영상 및 이미지 데이터의 동기화 방법
JP2008500752A (ja) ビデオデータの適応型復号
CN110351576A (zh) 一种在工业场景下进行实时视频流快速显示的方法及其系统
WO2014005558A1 (zh) 一种供用户上传3d视频到视频网站的系统和方法
WO2020215454A1 (zh) 一种屏幕录制的方法、客户端和终端设备
CN112235606A (zh) 一种多层视频处理方法、系统和可读存储介质
CN108471548A (zh) 直播视频快速播放方法及装置
JP3774662B2 (ja) 画像処理装置、画像処理システム、画像処理方法、プログラム、及び記録媒体
Leszczuk et al. Assessing quality of experience for high definition video streaming under diverse packet loss patterns
CN102884804B (zh) 音频信号和视频信号的同步误差校正方法及装置
CN110139128B (zh) 一种信息处理方法、拦截器、电子设备及存储介质
Tang et al. Audio and video mixing method to enhance WebRTC
CN102413350A (zh) 蓝光3d视频处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210930

Address after: 3 / F, xindongyuan North building, 3501 Chengfu Road, Haidian District, Beijing 100083

Applicant after: HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd.

Applicant after: Huarui Xinzhi Baoding Technology Co.,Ltd.

Address before: 100000 room 91818, floor 9, building 683, zone 2, No. 5, Zhongguancun South Street, Haidian District, Beijing

Applicant before: HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd.

GR01 Patent grant
GR01 Patent grant