CN111669538A - 一种实时音视频动态合流技术 - Google Patents

一种实时音视频动态合流技术 Download PDF

Info

Publication number
CN111669538A
CN111669538A CN202010555980.7A CN202010555980A CN111669538A CN 111669538 A CN111669538 A CN 111669538A CN 202010555980 A CN202010555980 A CN 202010555980A CN 111669538 A CN111669538 A CN 111669538A
Authority
CN
China
Prior art keywords
audio
video
data
confluence
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010555980.7A
Other languages
English (en)
Inventor
姚致原
韩露
王周俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Weiniu Technology Co ltd
Original Assignee
Shanghai Weiniu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Weiniu Technology Co ltd filed Critical Shanghai Weiniu Technology Co ltd
Priority to CN202010555980.7A priority Critical patent/CN111669538A/zh
Publication of CN111669538A publication Critical patent/CN111669538A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/155—Conference systems involving storage of or access to video conference sessions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种实时音视频动态合流技术，涉及通讯技术领域。终端采用了RTC通用协议进行音视频的发送和接受，而在服务端对所有参与人的音视频进行解码，合流，重编码再分发给各个终端，同时在合流时采用了多路并行处理，极大降低了因为音视频编解码以及数据处理运算带来的延迟。实现了服务器端音视频数据实时合流处理，且在服务器端因为有经过解码处理，合流处理后的音视频原始数据可以直接在服务器端用于内容存储和直播。同时，经过合流之后，每个终端只需要一路上行一路下行就可以实现多人互动，并且跟整个房间人数无关，无论参会者数量是多少，单个终端始终是一路上下行，大大降低了对带宽环境的要求，增加了可以应对的场景。

Description

一种实时音视频动态合流技术
技术领域
本发明涉及通讯技术领域，具体为一种实时音视频动态合流技术。
背景技术
目前传统视频会议有两种，采用多点直接互联的星形网络架构，以及改进型的服务器中继转发架构。前者对每一个终端，需要点对点的直连房间内的所有参会者，以进行音视频数据的上行和下行传输，这种架构下，每个终端需要进行n-1路音视频的上下行传输，终端带宽负荷巨大。后者在前者基础上引入了媒体服务器，每个终端与媒体服务器连接，将1路音视频数据上传到服务器，由服务器复制转发给房间内的其他参会者，对每个终端来说，上行发送的音视频数据只需要一路，下行则需要接受n-1路数据，在上行总体带宽远小于下行的网络条件下表现要好于前者，但是对下行带宽要求是一样的。
这两种方式下行的多路数据对网络要求过高，而且随着参会人数增加会越来越大。同时都没有解决需要内容存储和直播的情况，没有音视频解码和重新编码的过程，无法直接转换成可存储和直播的媒体格式。
发明内容
针对现有技术的不足，本发明提供了一种实时音视频动态合流技术，使用后，极大降低了因为音视频编解码以及数据处理运算带来的延迟。
为实现以上目的，本发明通过以下技术方案予以实现：一种实时音视频动态合流技术，包括以下步骤：
步骤1：音视频分离，将终端音视频流上行到服务器之后，先解调进行音视频分离。
步骤2：分别将音视频解码成原始数据并对原始数据进行预处理。
步骤3：将预处理的数据输入到音视频合流组件。
步骤4：合流后输出视频数据和音频数据。
步骤5：音视频数据进行编码。
步骤6：音频数据分别与视频数据进行调制成音视频流发送到对应终端，另有一路音视频编码后发送到存储和直播服务。
优选的，所述步骤2中的预处理包括：统一原始数据颜色格式、画面缩放以及确定合流坐标。
优选的，所述步骤4中输出的视频数据为1路、音频数据为n+1路，其中n路为输出到终端，1路为输出到存储)。
优选的，所述步骤6中n路音频数据分别与视频数据进行调制成音视频流发送到对应终端。
本发明提供了一种实时音视频动态合流技术。具备以下有益效果：
(1)、该实时音视频动态合流技术，与传统视频会议不同，本技术方案实现了服务器端音视频数据实时合流处理，且在服务器端因为有经过解码处理，合流处理后的音视频原始数据可以直接在服务器端用于内容存储和直播。
同时，经过合流之后，每个终端只需要一路上行一路下行就可以实现多人互动，并且跟整个房间人数无关，无论参会者数量是多少，单个终端始终是一路上下行，大大降低了对带宽环境的要求，增加了可以应对的场景。
附图说明
图1为本发明工作流程图；
图2为本发明Venue A/V Mixer工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1-2，本发明提供一种技术方案：一种实时音视频动态合流技术，终端采用了RTC通用协议进行音视频的发送和接受，而在服务端对所有参与人的音视频进行解码，合流，重编码再分发给各个终端，同时在合流时采用了多路并行处理，极大降低了因为音视频编解码以及数据处理运算带来的延迟。
实时合流工作流程以3方参与的会话为例，见附图1:Venue RTC整体工作流程。各个终端音视频流上行到服务器之后，先解调进行音视频分离，然后分别将音视频解码成原始数据，对原始数据进行预处理(包括统一颜色格式，画面缩放，确定合流坐标等)之后，输入到音视频合流组件(Venue实时音视频动态合流技术/V Mixer)，输出1路视频数据和4路音频数据。对音视频数据进行编码后，3路音频数据分别与视频数据进行调制成音视频流发送到对应终端，另有一路音视频编码后发送到存储和直播服务。
音视频合流组件工作流程见附图2:Venue A/V Mixer工作流程。视频合流因为对所有终端可见，所有终端看到的画面是一致的，所有只需一路合流。音频合流因为每一终端需要摒除自己发出的音频，同时接收除自己外的所有音频，因此需要分开合流。存档和直播的一路数据需要接收所有音频和视频，所以需要单独一路合流。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (4)

1.一种实时音视频动态合流技术，其特征在于，包括以下步骤：
步骤1：音视频分离，将终端音视频流上行到服务器之后，先解调进行音视频分离；
步骤2：分别将音视频解码成原始数据并对原始数据进行预处理；
步骤3：将预处理的数据输入到音视频合流组件；
步骤4：合流后输出视频数据和音频数据；
步骤5：音视频数据进行编码；
步骤6：音频数据分别与视频数据进行调制成音视频流发送到对应终端，另有一路音视频编码后发送到存储和直播服务。
2.根据权利要求1所述的一种实时音视频动态合流技术，其特征在于：所述步骤2中的预处理包括：统一原始数据颜色格式、画面缩放以及确定合流坐标。
3.根据权利要求1所述的一种实时音视频动态合流技术，其特征在于：所述步骤4中输出的视频数据为1路、音频数据为n+1路，其中n路为输出到终端，1路为输出到存储。
4.根据权利要求3所述的一种实时音视频动态合流技术，其特征在于：步骤6中n路，音频数据分别与视频数据进行调制成音视频流发送到对应终端。
CN202010555980.7A 2020-06-17 2020-06-17 一种实时音视频动态合流技术 Pending CN111669538A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010555980.7A CN111669538A (zh) 2020-06-17 2020-06-17 一种实时音视频动态合流技术

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010555980.7A CN111669538A (zh) 2020-06-17 2020-06-17 一种实时音视频动态合流技术

Publications (1)

Publication Number Publication Date
CN111669538A true CN111669538A (zh) 2020-09-15

Family

ID=72388565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010555980.7A Pending CN111669538A (zh) 2020-06-17 2020-06-17 一种实时音视频动态合流技术

Country Status (1)

Country Link
CN (1) CN111669538A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019927A (zh) * 2020-09-23 2020-12-01 Oppo广东移动通信有限公司 视频直播方法、连麦设备、rtc媒体服务器及主播设备

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2519002A1 (en) * 2010-01-22 2012-10-31 ZTE Corporation Method and system for implementing three-party call of videophone by mobile terminals
CN102883133A (zh) * 2012-10-17 2013-01-16 西安融科通信技术有限公司 基于单服务器实现大容量会议服务的系统及方法
CN103067188A (zh) * 2012-12-14 2013-04-24 北京思特奇信息技术股份有限公司 一种网络电话会议系统及其实现方法
CN103338348A (zh) * 2013-07-17 2013-10-02 天脉聚源(北京)传媒科技有限公司 一种网络音视频会议的实现方法、系统和服务器
US9154736B1 (en) * 2014-07-16 2015-10-06 Omnivision Technologies, Inc. Video conferencing with a mobile platform
CN105187760A (zh) * 2015-07-30 2015-12-23 武汉随锐亿山科技有限公司 一种多点控制单元集群系统及方法
CN108495141A (zh) * 2018-03-05 2018-09-04 网宿科技股份有限公司 一种音视频的合成方法及系统
CN108616487A (zh) * 2016-12-09 2018-10-02 北京视联动力国际信息技术有限公司 基于视联网的混音方法和装置
CN108881783A (zh) * 2017-05-09 2018-11-23 腾讯科技（深圳）有限公司 实现多人会话的方法和装置、计算机设备和存储介质
CN108965779A (zh) * 2017-11-28 2018-12-07 北京视联动力国际信息技术有限公司 一种音视频流的传输方法、录播方法、装置及系统
CN109474604A (zh) * 2018-11-27 2019-03-15 视联动力信息技术股份有限公司 一种视联网音频流处理方法及系统
CN111131760A (zh) * 2019-12-31 2020-05-08 视联动力信息技术股份有限公司 一种视频录制方法和装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2519002A1 (en) * 2010-01-22 2012-10-31 ZTE Corporation Method and system for implementing three-party call of videophone by mobile terminals
CN102883133A (zh) * 2012-10-17 2013-01-16 西安融科通信技术有限公司 基于单服务器实现大容量会议服务的系统及方法
CN103067188A (zh) * 2012-12-14 2013-04-24 北京思特奇信息技术股份有限公司 一种网络电话会议系统及其实现方法
CN103338348A (zh) * 2013-07-17 2013-10-02 天脉聚源(北京)传媒科技有限公司 一种网络音视频会议的实现方法、系统和服务器
US9154736B1 (en) * 2014-07-16 2015-10-06 Omnivision Technologies, Inc. Video conferencing with a mobile platform
CN105187760A (zh) * 2015-07-30 2015-12-23 武汉随锐亿山科技有限公司 一种多点控制单元集群系统及方法
CN108616487A (zh) * 2016-12-09 2018-10-02 北京视联动力国际信息技术有限公司 基于视联网的混音方法和装置
CN108881783A (zh) * 2017-05-09 2018-11-23 腾讯科技（深圳）有限公司 实现多人会话的方法和装置、计算机设备和存储介质
CN108965779A (zh) * 2017-11-28 2018-12-07 北京视联动力国际信息技术有限公司 一种音视频流的传输方法、录播方法、装置及系统
CN108495141A (zh) * 2018-03-05 2018-09-04 网宿科技股份有限公司 一种音视频的合成方法及系统
CN109474604A (zh) * 2018-11-27 2019-03-15 视联动力信息技术股份有限公司 一种视联网音频流处理方法及系统
CN111131760A (zh) * 2019-12-31 2020-05-08 视联动力信息技术股份有限公司 一种视频录制方法和装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112019927A (zh) * 2020-09-23 2020-12-01 Oppo广东移动通信有限公司 视频直播方法、连麦设备、rtc媒体服务器及主播设备

Similar Documents

Publication Publication Date Title
EP1683356B1 (en) Distributed real-time media composer
CN108055496B (zh) 一种视频会议的直播方法和系统
US7830409B2 (en) Split screen video in a multimedia communication system
US8233026B2 (en) Scalable video encoding in a multi-view camera system
US6956600B1 (en) Minimal decoding method for spatially multiplexing digital video pictures
US8767591B2 (en) Multi-point video conference system and media processing method thereof
US7394481B2 (en) Method for realizing multi-picture
US9596433B2 (en) System and method for a hybrid topology media conferencing system
CN109640028B (zh) 一种将多个视联网终端和多个互联网终端进行组会的方法和装置
US20100268541A1 (en) Audio processing method, system, and control server
US9961303B2 (en) Video conference virtual endpoints
CN112543297A (zh) 一种视频会议直播方法、装置和系统
CN110475094B (zh) 视频会议处理方法、装置及可读存储介质
US7180535B2 (en) Method, hub system and terminal equipment for videoconferencing
CN111541860A (zh) 一种实时音频传输系统及其使用方法
CN100454821C (zh) 一种视频会议系统多mcu之间资源共享的方法
CN111669538A (zh) 一种实时音视频动态合流技术
CN101662643A (zh) 一种将实时监控图像/录像引入视频会议的方法
CN110611639A (zh) 流媒体会议的音频数据处理方法和装置
CN112019488B (zh) 一种语音处理的方法、装置、设备和存储介质
CN112153321A (zh) 一种会议录制方法、装置及会议录制系统
CN101662642B (zh) 一种将实时监控图像直接引入视频会议的方法
Sun et al. A coded-domain video combiner for multipoint continuous presence video conferencing
CN115734028A (zh) 一种基于级联编码的媒体流推送方法及系统
RU39030U1 (ru) Система видеоконференцсвязи

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200915

RJ01 Rejection of invention patent application after publication