CN110913165A - 基于级联框架的视频会议系统的视频流轮播方法和装置 - Google Patents

基于级联框架的视频会议系统的视频流轮播方法和装置 Download PDF

Info

Publication number
CN110913165A
CN110913165A CN201911000575.2A CN201911000575A CN110913165A CN 110913165 A CN110913165 A CN 110913165A CN 201911000575 A CN201911000575 A CN 201911000575A CN 110913165 A CN110913165 A CN 110913165A
Authority
CN
China
Prior art keywords
terminal
video stream
video
mcu
main mcu
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911000575.2A
Other languages
English (en)
Inventor
陈荣观
陈玉龙
黄小柠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Star-Net Wisdom Technology Co Ltd
Original Assignee
Fujian Star-Net Wisdom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Star-Net Wisdom Technology Co Ltd filed Critical Fujian Star-Net Wisdom Technology Co Ltd
Priority to CN201911000575.2A priority Critical patent/CN110913165A/zh
Publication of CN110913165A publication Critical patent/CN110913165A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1073—Registration or de-registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/764—Media network packet handling at the destination 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions

Abstract

本发明提供一种基于级联框架的视频会议系统的视频流轮播方法，包括：获取视频会议服务器的注册信息，指定第一级的所述视频会议服务器为主MCU，其余所述视频会议服务器为从MCU；在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据；轮询周期开始时，向所述主MCU发送画面切换任务，将所述视频数据显示于视频子窗，得到混屏画面；本发明还提供一种基于级联框架的视频会议系统的视频流轮播装置，包括注册模块、预解码模块以及显示模块。本发明提供的一种基于级联框架的视频会议系统的视频流轮播方法和装置，能自动且流畅地切换终端视频，提升用户体验。

Description

基于级联框架的视频会议系统的视频流轮播方法和装置
技术领域
本发明涉及视频会议技术领域，具体涉及一种基于级联框架的视频会议系统的视频流轮播方法和系统。
背景技术
受限于单台服务器性能(如CPU，内存，网卡带宽等)的影响，针对于召开大型视频会议时，业界一般采用多台MCU视频会议服务器进行级联的方式来满足召开大型视频会议的需求。
视频画面轮询功能，通常是受限于混屏方数以及显示效果采取的方案。考虑到用户观看视频画面的体验，一般最多选择4x4布局显示方式。但是，当参会的终端数量众多时，如果人为通过会控系统将终端视频画面拉入混屏处理，其操作繁琐且工作量巨大，视频画面轮询功能就是针对这种场景的解决方案，周期性地自动将各个终端会场的视频画面拉入混屏处理，视频画面轮流呈现所有会场的混屏画面。
目前，基于级联框架的视频会议系统的视频画面轮询功能，由于上行链路中的一条视频流通道在不同时间段承载的是不同终端发上来的视频流，并且一条视频流通道绑定一个解码器，同一个解码器在处理属于不同GOP组的视频帧，解码时容易出现解码失败，混屏画面无法及时更新轮播画面，造成自动切换卡顿或黑屏的现象，影响了用户体验。
发明内容
本发明要解决的技术问题之一，在于提供一种基于级联框架的视频会议系统的视频流轮播方法，能自动且流畅地切换终端视频，提升用户体验。
本发明要解决的技术问题之一是这样实现的：
一种基于级联框架的视频会议系统的视频流轮播方法，包括：
获取视频会议服务器的注册信息，指定第一级的所述视频会议服务器为主MCU，其余所述视频会议服务器为从MCU；
在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据；
轮询周期开始时，向所述主MCU发送画面切换任务，将所述视频数据显示于视频子窗，得到混屏画面。
优选的，在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据，进一步具体为：
在每一轮询周期开始前的设定时间点，通知所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据。
优选的，所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据，进一步具体为：
所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取终端视频流，并通知所述终端发送IDR帧，然后在所述主MCU接收到所述IDR帧后，对视频流进行解码，得到视频数据。
优选的，所述设定时间根据主MCU接收抖动缓冲器最小缓存值、终端视频流的发送帧率、终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间进行计算，公式为：
设定时间＝主MCU接收抖动缓冲器最小缓存值/终端视频流的发送帧率+终端关键帧响应时间+主MCU解码预估时间+网络延迟预估时间+信令交互预估时间
其中，设定时间的单位为秒，主MCU接收抖动缓冲器最小缓存值的单位为帧，终端视频流的发送帧率率的单位为帧/秒，终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间的单位为秒。
优选的，在“在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据”之前，所述方法还包括：
根据视频子窗的数量n，在每一从MCU到主MCU的上行链路创建不少于2n条视频流通道，每一所述视频流通道用于传输一路所述指定终端视频流。
本发明要解决的技术问题之二，在于提供一种基于级联框架的视频会议系统的视频流轮播装置，能自动且流畅地切换终端视频，提升用户体验。
本发明要解决的技术问题之二是这样实现的：
一种基于级联框架的视频会议系统的视频流轮播装置，包括：注册模块、预解码模块以及显示模块；
所述注册模块，用于获取视频会议服务器的注册信息，指定第一级的所述视频会议服务器为主MCU，其余所述视频会议服务器为从MCU；
所述预解码模块，用于在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据；
所述显示模块，用于轮询周期开始时，向所述主MCU发送画面切换任务，将所述视频数据显示于视频子窗，得到混屏画面。
优选的，所述预解码模块进一步具体为：
所述预解码模块，用于在每一轮询周期开始前的设定时间点，所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据。
优选的，所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据，进一步具体为：
所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，并通知所述终端发送IDR帧，然后在所述主MCU接收到所述IDR帧后，对视频流进行解码，得到视频数据。
优选的，所述设定时间根据主MCU接收抖动缓冲器最小缓存值、终端视频流的发送帧率、终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间进行计算，公式为：
设定时间＝主MCU接收抖动缓冲器最小缓存值/终端视频流的发送帧率+终端关键帧响应时间+主MCU解码预估时间+网络延迟预估时间+信令交互预估时间
其中，设定时间的单位为秒，主MCU接收抖动缓冲器最小缓存值的单位为帧，终端视频流的发送帧率率的单位为帧/秒，终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间的单位为秒。
优选的，所述装置还包括通道管理模块；
所述通道管理模块，用于根据所述视频子窗的数量n，在每一从MCU到主MCU的上行链路创建不少于2n条视频流通道，每一所述视频流通道用于传输传输一路所述指定终端视频流。
本发明具有如下优点：
通过获取视频会议服务器的注册信息，指定主MCU与从MCU并进行统一管理，在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，即在所述轮询周期需要呈现在混屏画面中的视频流，然后进行解码得到视频数据，并在所述轮询周期内显示，保证轮询画面切换时有可用的解码视频数据，克服视频画面轮询时，自动切换卡顿或黑屏的现象，使轮询画面切换平滑，无卡顿黑屏现象，提升用户体验。
附图说明
下面参照附图结合实施例对本发明作进一步的说明。
图1为本发明实施例提供的基于级联框架的视频会议系统的视频流轮播方法流程示意图；
图2为本发明实施例提供基于级联框架的视频会议系统的视频流轮播装置的结构示意图；
图3为现有技术的一种基于级联框架的视频会议系统结构示意图；
图4为本发明实施例提供的一种基于级联框架的视频会议系统的视频流轮播装置使用场景示意图。
具体实施方式
请参考图1，本发明实施例提供的一种基于级联框架的视频会议系统的视频流轮播方法，包括：
获取视频会议服务器的注册信息，指定第一级的所述视频会议服务器为主MCU，其余所述视频会议服务器为从MCU；
在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据；
轮询周期开始时，向所述主MCU发送画面切换任务，将所述视频数据显示于视频子窗，得到混屏画面。
指定终端视频流为在所述轮询周期需要呈现在混屏画面中的终端视频流，通过对接收到指定视频流进行提前解码，可以保证在所述轮询周期开始的时间点，轮询画面切换时，有可用的解码视频数据，克服视频画面轮询时，自动切换卡顿和黑屏的现象。
在一较佳实施例中，在每一轮询周期开始前的设定时间点，通知所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据。
有针对性地获取所述轮询周期中所要显示的终端视频流，可以减轻网络传输的负担，同时避免让主MCU进行无效的解码，浪费解码器的运算能力。
在一较佳实施例中，所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取终端视频流，并通知所述终端发送IDR帧，然后在所述主MCU接收到所述IDR帧后，对视频流进行解码，得到视频数据。
IDR帧属于I帧，解码器收到IDR帧时，将所有的参考帧队列丢弃，从IDR帧开始，重新算一个新的序列开始编码，可使错误不致传播；IDR帧本身无需参考帧进行解码，且能为其后面视频流的解码提供依据，可以保证在所述轮询周期开始的时间点，轮询画面切换时，有可用的解码视频数据，克服视频画面轮询时，自动切换卡顿和黑屏的现象。
在“在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据”之前，所述方法还包括：
根据视频子窗的数量n，在每一从MCU到主MCU的上行链路创建不少于2n条视频流通道，每一所述视频流通道用于传输一路所述指定终端视频流。
根据视频子窗的数量n来管理上行链路的视频流通道数量，可以使提前设定时间获取的每一终端视频流，均可以通过独立的通道进行上传，在保证切换效果的同时，不浪费链路通道资源。
请参考图3至图4，在本发明一具体实施方式中，通过MCU管理模块来实现上述方法中的MCU管理以及会控信令控制部分，实际的媒体流转发以及视频编解码混屏则由视频会议服务器处理。所述MCU管理模块与级联框架的视频会议系统的所有视频会议服务器间均设有信令通道，所有的视频会议服务器(包括MCU1、MCU2以及MCU3)都注册到所述MCU模块上，所述MCU模块获取视频会议服务器的注册信息，通过所述信令通道发送控制信令对所述视频会议服务器进行管理和控制。
在创建基于级联框架的视频会议时，MCU管理模块根据用户的会议需求指定第一级视频会议服务器为主MCU，其它视频会议服务器为从MCU(视频会议服务器本身并没有主从关系，只有在创建基于级联框架视频会议时，根据级联框架本身的分级，才指定第一级视频会议服务器为主MCU)；主MCU，主要用于视频流解码、混屏、编码以及视频画面分发；从MCU，主要于将需要进行混屏的终端视频流发送给主MCU，以及接收主MCU下发的视频画面；主MCU与从MCU之间设有中继链路，用于传输视频流。
MCU管理模块通知主MCU在每一轮询周期开始前的设定时间点(具体时长可以根据实际需要进行设定，比如1秒)，直接从所述终端和/或通过从MCU从所述终端，获取指定视频流(即在所述轮询周期需要呈现在混屏画面中的终端视频流)；所述指定视频流可能由主MCU从终端直接获取得到(比如图4所示挂载在MCU1的终端1-1～1-K)，也可能通过从MCU从终端获取并转发给MCU得到(比如图4所示挂载在MCU2的终端2-1～2-K或者挂载在MCU3的终端3-1～3-K)。通过对接收到视频流进行提前解码，可以保证在所述轮询周期开始的时间点，轮询画面切换时，有可用的解码视频数据，克服视频画面轮询时，自动切换卡顿和黑屏的现象。
轮询周期开始时，MCU管理模块向所述主MCU发送画面切换任务，将所述视频数据显示于视频子窗，得到混屏画面，此时上一轮询周期的画面脱离视频子窗的绑定(即过时轮询终端会场脱离混屏子窗绑定)，这些终端会场的解码画面在本轮询周期内，不再更新到混屏画面中，轮询画面切换时，前一轮使用的中继通道不再转发前一轮的视频流，也不再对前一轮的终端视频流进行解码。
较佳地，所述设定时间可以根据主MCU接收抖动缓冲器最小缓存值、终端视频流的发送帧率、终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间进行计算，公式为：
设定时间＝主MCU接收抖动缓冲器最小缓存值/终端视频流的发送帧率+终端关键帧响应时间+主MCU解码预估时间+网络延迟预估时间+信令交互预估时间
其中，设定时间的单位为秒，主MCU接收抖动缓冲器最小缓存值的单位为帧，终端视频流的发送帧率率的单位为帧/秒，终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间的单位为秒。
在每一轮询周期开始前的设定时间点，所述MCU管理模块根据所述轮询周期中要显示的终端信息，下发控制信令给从MCU，通知从MCU将所述轮询周期要进入混屏处理的终端视频流经上行中继链路转发到主MCU进行提前解码；从MCU在转发终端视频流的同时发送关键帧请求给终端(比如通过rtcp发送FIR报文)，挂载在主MCU下的终端(比如图4所示的挂载在MCU1的终端1-1～1-K)，则由主MCU直接向所述终端发送关键帧请求(比如通过rtcp发送FIR报文)；所述终端响应所述关键帧请求，发送IDR帧，用于MCU服务器更新GOP组，IDR帧作为一个GOP组的第一帧数据，可以不依赖前后帧独立解码，主MCU内的解码器根据所述IDR帧对所述终端的视频流进行解码。
IDR帧属于I帧，解码器收到IDR帧时，将所有的参考帧队列丢弃，从IDR帧开始，重新算一个新的序列开始编码，可使错误不致传播；IDR帧本身无需参考帧进行解码，且能为其后面视频流的解码提供依据，可以保证在所述轮询周期开始的时间点，轮询画面切换时，有可用的解码视频数据，克服视频画面轮询时，自动切换卡顿和黑屏的现象。
在“在每一轮询周期开始前的设定时间点，所述主MCU获取终端视频流，然后进行解码得到视频数据”前，所述方法还包括：根据所述视频子窗的数量n，在每一从MCU到主MCU的上行链路创建不少于2n条视频流通道，每一所述视频流通道用于传输需要通过主MCU上解码并显示于视频子窗的一路指定终端视频流。
MCU管理模块的视频轮询控制步骤如下：
1、在每个轮询周期开始前的设定时间，MCU管理模块下发控制信令给从MCU，通知从MCU将所述轮询切换周期要进入轮询的终端的视频转发到主MCU；
2、从MCU发送关键帧请求给指定终端，并将接收到的指定终端视频流转发到主MCU；
3、主MCU对指定视频流进行提前解码(提前解码，指的是相较于轮询切换前就开始解码)；
4、当到达轮询切换时刻，MCU管理模块下发轮询画面切换控制信令给主MCU；
5、主MCU接收轮询画面切换控制信令后，将所述轮询周期需要显示的解码画面更新到混屏画面的对应子窗口位置；上一轮询周期的画面脱离混屏子窗口的绑定，即过时轮询终端会场脱离混屏子窗绑定，这些终端会场的解码画面在本轮询周期内，不再更新到混屏画面中；
6.重复1～5步骤。
假设视频会议最高支持4x4混屏布局(即16个视频子窗)，在开启视频画面轮询功能的情况下，一个轮询周期可以一次性更新16个终端会场的视频画面。由于可能存在当前轮询周期与下一轮轮询周期显示的16个混屏的终端视频流均来自同一从MCU的情况，因此在MCU2到MCU1的上行中继链路创建不少于32条(即16的2倍)视频流通道(比如rtp/rtcp通道)用于中继转发MCU2接收到的终端视频流；同样地，在MCU3到MCU1的上行中继链路也创建32条视频流通道(比如rtp/rtcp通道)用于中继转发MCU3接收到的终端视频流。
通过上述方法，在基于级联框架的视频会议系统中，通过获取视频会议服务器的注册信息，指定主MCU与从MCU并进行统一管理，在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，即在所述轮询周期需要呈现在混屏画面中的视频流，然后进行解码得到视频数据，并在所述轮询周期内显示，保证轮询画面切换时有可用的解码视频数据，克服视频画面轮询时，自动切换卡顿或黑屏的现象，使轮询画面切换平滑，无卡顿黑屏现象，提升用户体验。
基于同样的思路，本发明实施例还提供一种基于级联框架的视频会议系统的视频流轮播装置，如图2所示，包括：注册模块、预解码模块以及显示模块；
所述注册模块，用于获取视频会议服务器的注册信息，指定第一级的所述视频会议服务器为主MCU，其余所述视频会议服务器为从MCU；
所述预解码模块，用于在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据；
所述显示模块，用于轮询周期开始时，向所述主MCU发送画面切换任务，将所述视频数据显示于视频子窗，得到混屏画面。
所述预解码模块进一步具体为：
所述预解码模块，用于在每一轮询周期开始前的设定时间点，所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据。
所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据，进一步具体为：
在一较佳实施例中，所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，并通知所述终端发送IDR帧，然后在所述主MCU接收到所述IDR帧后，对视频流进行解码，得到视频数据。
所述设定时间根据主MCU接收抖动缓冲器最小缓存值、终端视频流的发送帧率、终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间进行计算，公式为：
设定时间＝主MCU接收抖动缓冲器最小缓存值/终端视频流的发送帧率+终端关键帧响应时间+主MCU解码预估时间+网络延迟预估时间+信令交互预估时间
其中，设定时间的单位为秒，主MCU接收抖动缓冲器最小缓存值的单位为帧，终端视频流的发送帧率率的单位为帧/秒，终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间的单位为秒。
在一较佳实施例中，所述装置还包括通道管理模块；
所述通道管理模块，用于根据所述视频子窗的数量n，在每一从MCU到主MCU的上行链路创建不少于2n条视频流通道，每一所述视频流通道用于传输传输一路所述指定终端视频流。
本发明通过获取视频会议服务器的注册信息，指定主MCU与从MCU并进行统一管理，在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，即在所述轮询周期需要呈现在混屏画面中的视频流，然后进行解码得到视频数据，并在所述轮询周期内显示，保证轮询画面切换时有可用的解码视频数据，克服视频画面轮询时，自动切换卡顿或黑屏的现象，使轮询画面切换平滑，无卡顿黑屏现象，提升用户体验。
虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (10)

1.一种基于级联框架的视频会议系统的视频流轮播方法，其特征在于，包括：
获取视频会议服务器的注册信息，指定第一级的所述视频会议服务器为主MCU，其余所述视频会议服务器为从MCU；
在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据；
轮询周期开始时，向所述主MCU发送画面切换任务，将所述视频数据显示于视频子窗，得到混屏画面。
2.根据权利要求1所述的基于级联框架的视频会议系统的视频流轮播方法，其特征在于：在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据，进一步具体为：
在每一轮询周期开始前的设定时间点，通知所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据。
3.根据权利要求2所述的基于级联框架的视频会议系统的视频流轮播方法，其特征在于：所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据，进一步具体为：
所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取终端视频流，并通知所述终端发送IDR帧，然后在所述主MCU接收到所述IDR帧后，对视频流进行解码，得到视频数据。
4.根据权利要求1至3任一项所述的基于级联框架的视频会议系统的视频流轮播方法，其特征在于：所述设定时间根据主MCU接收抖动缓冲器最小缓存值、终端视频流的发送帧率、终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间进行计算，公式为：设定时间＝主MCU接收抖动缓冲器最小缓存值/终端视频流的发送帧率+终端关键帧响应时间+主MCU解码预估时间+网络延迟预估时间+信令交互预估时间
其中，设定时间的单位为秒，主MCU接收抖动缓冲器最小缓存值的单位为帧，终端视频流的发送帧率率的单位为帧/秒，终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间的单位为秒。
5.根据权利要求1至3任一项所述的基于级联框架的视频会议系统的视频流轮播方法，其特征在于：在“在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据”之前，所述方法还包括：
根据视频子窗的数量n，在每一从MCU到主MCU的上行链路创建不少于2n条视频流通道，每一所述视频流通道用于传输一路所述指定终端视频流。
6.一种基于级联框架的视频会议系统的视频流轮播装置，其特征在于，包括：注册模块、预解码模块以及显示模块；
所述注册模块，用于获取视频会议服务器的注册信息，指定第一级的所述视频会议服务器为主MCU，其余所述视频会议服务器为从MCU；
所述预解码模块，用于在每一轮询周期开始前的设定时间点，所述主MCU获取指定终端视频流，然后进行解码得到视频数据；
所述显示模块，用于轮询周期开始时，向所述主MCU发送画面切换任务，将所述视频数据显示于视频子窗，得到混屏画面。
7.根据权利要求6所述的基于级联框架的视频会议系统的视频流轮播装置，其特征在于，所述预解码模块进一步具体为：
所述预解码模块，用于在每一轮询周期开始前的设定时间点，所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据。
8.根据权利要求7所述的基于级联框架的视频会议系统的视频流轮播装置，其特征在于：所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，然后进行解码得到视频数据，进一步具体为：
所述主MCU根据所述轮询周期中要显示的终端信息，直接从所述终端和/或通过从MCU从所述终端获取指定终端视频流，并通知所述终端发送IDR帧，然后在所述主MCU接收到所述IDR帧后，对视频流进行解码，得到视频数据。
9.根据权利要求6至8任一项所述的基于级联框架的视频会议系统的视频流轮播装置，其特征在于：所述设定时间根据主MCU接收抖动缓冲器最小缓存值、终端视频流的发送帧率、终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间进行计算，公式为：设定时间＝主MCU接收抖动缓冲器最小缓存值/终端视频流的发送帧率+终端关键帧响应时间+主MCU解码预估时间+网络延迟预估时间+信令交互预估时间
其中，设定时间的单位为秒，主MCU接收抖动缓冲器最小缓存值的单位为帧，终端视频流的发送帧率率的单位为帧/秒，终端关键帧响应时间、主MCU解码预估时间、网络延迟预估时间以及信令交互预估时间的单位为秒。
10.根据权利要求6至8任一项所述的基于级联框架的视频会议系统的视频流轮播装置，其特征在于：还包括通道管理模块；
所述通道管理模块，用于根据所述视频子窗的数量n，在每一从MCU到主MCU的上行链路创建不少于2n条视频流通道，每一所述视频流通道用于传输一路所述指定终端视频流。
CN201911000575.2A 2019-10-21 2019-10-21 基于级联框架的视频会议系统的视频流轮播方法和装置 Pending CN110913165A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911000575.2A CN110913165A (zh) 2019-10-21 2019-10-21 基于级联框架的视频会议系统的视频流轮播方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911000575.2A CN110913165A (zh) 2019-10-21 2019-10-21 基于级联框架的视频会议系统的视频流轮播方法和装置

Publications (1)

Publication Number Publication Date
CN110913165A true CN110913165A (zh) 2020-03-24

Family

ID=69815942

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911000575.2A Pending CN110913165A (zh) 2019-10-21 2019-10-21 基于级联框架的视频会议系统的视频流轮播方法和装置

Country Status (1)

Country Link
CN (1) CN110913165A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112379768A (zh) * 2020-11-12 2021-02-19 北京中电兴发科技有限公司 一种应用于嵌入式云存储系统的降功耗方法
CN113542657A (zh) * 2020-04-15 2021-10-22 成都鼎桥通信技术有限公司 画面黑屏后的恢复方法和装置
CN113965814A (zh) * 2021-08-30 2022-01-21 国网山东省电力公司信息通信公司 基于视频会议场景的多会场关键帧提取方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611562A (zh) * 2012-02-06 2012-07-25 华为技术有限公司 一种建立多级联通道的方法、装置和系统
CN105227895A (zh) * 2014-06-30 2016-01-06 宝利通公司 Mcu堆叠中的视频布局及处理的方法
CN107277430A (zh) * 2017-07-27 2017-10-20 福建星网智慧科技股份有限公司 一种视频会议系统的视频流轮播方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102611562A (zh) * 2012-02-06 2012-07-25 华为技术有限公司 一种建立多级联通道的方法、装置和系统
CN105227895A (zh) * 2014-06-30 2016-01-06 宝利通公司 Mcu堆叠中的视频布局及处理的方法
CN107277430A (zh) * 2017-07-27 2017-10-20 福建星网智慧科技股份有限公司 一种视频会议系统的视频流轮播方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
侯黎静: "《高清晰会议电视系统的工程设计方法》", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *
韩媛媛: "《检察机关专线网视频会议系统设计及实施》", 《中国优秀硕士学位论文全文数据库（电子期刊）》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542657A (zh) * 2020-04-15 2021-10-22 成都鼎桥通信技术有限公司 画面黑屏后的恢复方法和装置
CN112379768A (zh) * 2020-11-12 2021-02-19 北京中电兴发科技有限公司 一种应用于嵌入式云存储系统的降功耗方法
CN112379768B (zh) * 2020-11-12 2021-05-18 北京中电兴发科技有限公司 一种应用于嵌入式云存储系统的降功耗方法
CN113965814A (zh) * 2021-08-30 2022-01-21 国网山东省电力公司信息通信公司 基于视频会议场景的多会场关键帧提取方法及系统

Similar Documents

Publication Publication Date Title
US8205236B2 (en) Contents distribution system, contents distribution method thereof and contents distribution program thereof
EP2863632B1 (en) System and method for real-time adaptation of a conferencing system to current conditions of a conference session
KR101150102B1 (ko) 고속 채널 변경 서버 및 장치
CN110913165A (zh) 基于级联框架的视频会议系统的视频流轮播方法和装置
US10560725B2 (en) Aggregated region-based reduced bandwidth video streaming
CN106488265A (zh) 一种发送媒体流的方法和装置
CA2722460A1 (en) Screen sharing and video conferencing system and method
US9961303B2 (en) Video conference virtual endpoints
US20130135427A1 (en) Techniques For a Rate-Adaptive Video Conference Bridge
CN111147860B (zh) 一种视频数据的解码方法及装置
CN112291498B (zh) 音视频数据传输的方法、装置和存储介质
CN102118602B (zh) 一种在多画面中显示辅流视频的方法及系统
CN114546308A (zh) 应用界面投屏方法、装置、设备以及存储介质
CN113542660A (zh) 一种实现会议多画面高清显示的方法、系统及存储介质
CN108156413B (zh) 视频会议的传输方法及装置、mcu
EP2637404A1 (en) Method and device for controlling multiple auxiliary streams, and network system
CN111083427B (zh) 嵌入式终端、4k视频会议系统的数据处理方法
CN104954729B (zh) 视频会议数据处理方法及系统
CN115086746B (zh) 用于直播系统的视频轮巡方法、直播系统以及电子设备
CN114449344B (zh) 视频流传输方法、装置、电子设备及存储介质
CN111385590A (zh) 直播数据处理方法、装置及终端
CN110971860B (zh) 一种显示方法和装置
CN112995596A (zh) 全景视频传输方法、装置、电子设备和存储介质
CN113382280B (zh) 用于互动直播系统的方法和装置、电子设备
US11824915B2 (en) Method, computer program and system for streaming a video conference in a multi-point videoconferencing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200324

WD01 Invention patent application deemed withdrawn after publication