CN102868880B - 一种基于远程呈现的媒体传输方法及系统 - Google Patents

一种基于远程呈现的媒体传输方法及系统 Download PDF

Info

Publication number
CN102868880B
CN102868880B CN201110191518.4A CN201110191518A CN102868880B CN 102868880 B CN102868880 B CN 102868880B CN 201110191518 A CN201110191518 A CN 201110191518A CN 102868880 B CN102868880 B CN 102868880B
Authority
CN
China
Prior art keywords
media
terminal
coding
long
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110191518.4A
Other languages
English (en)
Other versions
CN102868880A (zh
Inventor
叶小阳
阳彦字
孙博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201110191518.4A priority Critical patent/CN102868880B/zh
Priority to PCT/CN2012/072739 priority patent/WO2012155659A1/zh
Priority to EP12785453.7A priority patent/EP2731331A4/en
Priority to US14/130,264 priority patent/US9344475B2/en
Publication of CN102868880A publication Critical patent/CN102868880A/zh
Application granted granted Critical
Publication of CN102868880B publication Critical patent/CN102868880B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于远程呈现的媒体传输方法，包括：建立连接时，由本侧媒体传输系统的主远程呈现终端与远端端点进行信令交互，建立本侧媒体传输系统与远端端点之间的媒体逻辑通道；本侧媒体传输系统与远端端点之间通过一个媒体逻辑通道或分别通过多个媒体逻辑通道对同一类型的媒体流进行发送，以及通过一个媒体逻辑通道或分别通过多个媒体逻辑通道对同一类型的媒体流进行接收。本发明还相应地公开了一种基于远程呈现的媒体传输系统。通过本发明，对某一会场的远程呈现系统进行呼叫时，只需要呼叫一个号码，从而操作简便，并且，远程呈现系统内可以交互坐席信息，实现听声辨位的效果，并解决码流之间的同步等问题，从而能够提高用户体验。

Description

一种基于远程呈现的媒体传输方法及系统
技术领域
本发明涉及远程呈现技术，尤其涉及一种基于远程呈现的媒体传输方法及系统。
背景技术
远程呈现(telepresence)是一种高级的远程视频会议系统。远程呈现以其真实的临场感深受高端用户的喜爱，在远程呈现系统中，听声辨位、真身大小、眼神交流直接关系到用户是否能够有身临其境的感受，因此是衡量远程呈现系统非常重要的技术指标。
在传统视频会议系统中，每个会场仅有一个视频会议终端，除了辅流视频外，该视频会议终端编码和发送一路音频和/或一路视频，接收并解码输出一路音频和/或视频。由于声音的输入源和输出只有一个，用户无法感受到声音从会场的哪个方位发出，并且，由于视频输入源和输出源只有一个，因此本端的采集编码画面需要捕捉会场整体画面，如果是多点会议只能选看某一会场或者多个远端会场的拼接画面，从而无论是发送还是接收的视频都无法达到真人大小的要求。
在远程呈现会议系统中，单个会场可以有多个音频和/或视频的输入输出设备，多屏会场中，每个屏幕显示一处坐席与会者的图像，相应的每处坐席与会者对应了一路音频输入，通过音频的方位信息和专业摄像头定向区域采集，可以实现听声辨位和真人大小，进一步实现眼神交流的逼真效果。
但是，当前远程呈现系统一般都是从传统的视频会议系统发展而来，多屏会场由多个视频会议终端和多音视频外设组成，一个会场的多个视频会议终端分别与远端端点(可以是视频会议终端或者多点控制单元(MCU))建立信令连接和媒体逻辑通道，最终在上述多个端点对之间传送音视频码流，通过分列的音箱、显示设备输出多路码流。这种方式操作比较繁琐，并且在一个会场需要多个视频会议终端处理信令，各终端分别占用一个IP地址、或者端点ID号(如H.323ID)、或者会议号，缺乏各终端之间相互信息处理的机制(比如坐席信息)，而且多路码流之间的同步非常困难，影响用户体验。
发明内容
有鉴于此，本发明的主要目的在于提供一种基于远程呈现的媒体传输方法及系统，操作简便，且能提高用户体验。
为达到上述目的，本发明的技术方案是这样实现的：
一种基于远程呈现的媒体传输方法，媒体传输系统包括一个主远程呈现终端和至少一个辅远程呈现终端，该方法包括：
建立连接时，由本侧媒体传输系统的主远程呈现终端与远端端点进行信令交互，建立所述本侧媒体传输系统与远端端点之间的媒体逻辑通道；
本侧媒体传输系统与远端端点之间通过一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行发送，以及通过一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行接收。
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：分别建立本侧各远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述本侧媒体传输系统与远端端点之间分别通过多个媒体逻辑通道对同一类型的媒体流进行发送为：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块进行编码；各远程呈现终端的媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给对应的媒体传输模块；各远程呈现终端的媒体传输模块分别把编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：分别建立本侧各远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述本侧媒体传输系统与远端端点之间分别通过多个媒体逻辑通道对同一类型的媒体流进行接收为：各远程呈现终端的媒体传输模块通过建立的媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备或视频输出设备位置的对应关系，将媒体码流分别转给对应的媒体编解码模块处理；各远程呈现终端的媒体编解码模块分别对接收到的媒体码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：建立主远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述本侧媒体传输系统与远端端点之间分别通过多个媒体逻辑通道对同一类型的媒体流进行发送为：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；各媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块；主远程呈现终端的媒体传输模块分别把本侧媒体编解码模块编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：建立主远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述本侧媒体传输系统与远端端点之间分别通过多个媒体逻辑通道对同一类型的媒体流进行接收为：主远程呈现终端的媒体传输模块通过建立的各媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备和/或视频输出设备的对应关系，将收到的媒体码流分别转给对应远程呈现终端的媒体编解码模块处理；各远程呈现终端的媒体编解码模块分别对接收到的音频和/或视频码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个用于发送媒体流的媒体逻辑通道，记录本侧音频输入设备和/或视频输入设备的媒体类型和位置；
所述本侧媒体传输系统与远端端点之间通过一个媒体逻辑通道对同一类型的媒体流进行发送为：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；各媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块；主远程呈现终端的媒体传输模块将所述编码后的媒体码流通过主远程呈现终端与远端端点之间的媒体逻辑通道发送，发送的媒体包头中携带相应的媒体类型和位置信息。
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个接收媒体码流的媒体逻辑通道，记录本侧音频输出设备和/或视频输出设备的媒体类型和位置；
所述本侧媒体传输系统与远端端点之间通过一个媒体逻辑通道对同一类型的媒体流进行接收为：主远程呈现终端的媒体传输模块从所述媒体逻辑通道接收远端的媒体码流，通过解析包头所标识的媒体类型和位置信息，将所述媒体码流转给对应远程呈现终端的媒体编解码模块处理；各远程呈现终端的媒体编解码模块分别对接收到的音频和/或视频码流进行解码，之后输出到相应的音频输出设备和/或视频输出设备进行播放。
通过IP地址和端口号区分媒体逻辑通道，不同的媒体逻辑通道对应的IP地址和/或端口号不同。
一种基于远程呈现的媒体传输系统，包括：主远程呈现终端和至少一个辅远程呈现终端；其中，
所述主远程呈现终端，用于在建立所述媒体传输系统与远端端点之间的连接时，与远端端点进行信令交互，建立所述媒体传输系统与远端端点之间的媒体逻辑通道；以及通过建立的一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行发送，通过建立的一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行接收；
所述辅远程呈现终端，用于通过主远程呈现终端建立的媒体逻辑通道进行媒体流发送及接收。
该系统还包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，分别建立系统中各远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块进行编码；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给对应的媒体传输模块；
所述媒体传输模块，用于把媒体编解码模块编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
该系统还包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，分别建立系统中各远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的的媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述媒体传输模块，用于通过建立的媒体逻辑通道接收远端的媒体码流，并根据媒体逻辑通道与音频输出设备或视频输出设备位置的对应信息，将媒体码流分别转给对应的媒体编解码模块处理；
所述媒体编解码模块，用于对接收到的媒体码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
该系统还包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块，其中，辅远程呈现终端的媒体编解码模块通过相应的媒体传输模块把编码后的媒体码流转给主远程呈现终端的媒体传输模块，主远程呈现终端的媒体编解码模块直接把编码后的媒体码流转给主远程呈现终端的媒体传输模块；
所述主远程呈现终端的媒体传输模块，用于分别把系统中各媒体编解码模块编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
该系统还包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述主远程呈现终端的媒体传输模块，用于通过建立的各媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备和/或视频输出设备的对应关系，将收到的媒体码流分别转给对应远程呈现终端的媒体编解码模块处理，其中，直接将媒体码流转给主远程呈现终端的媒体编解码模块，通过相应的媒体传输模块将媒体码流转给辅远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对接收到的音频和/或视频码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
该系统还包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个用于发送媒体流的媒体逻辑通道，记录本侧音频输入设备和/或视频输入设备的媒体类型和位置；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，主远程呈现终端的媒体编解码模块把编码后的媒体码流转给相应的媒体传输模块，辅远程呈现终端的媒体编解码模块把编码后的媒体码流通过相应的媒体传输模块转给主远程呈现终端的媒体传输模块；
主远程呈现终端的媒体传输模块，用于将收到的编码后的媒体码流通过主远程呈现终端与远端端点之间的媒体逻辑通道发送，发送的媒体包头中携带相应的媒体类型和位置信息。
该系统还包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个接收媒体逻辑通道，记录本侧音频输出设备和/或视频输出设备的媒体类型和位置；
所述主远程呈现终端的媒体传输模块，用于从所述媒体逻辑通道接收远端的媒体码流，通过解析包头所标识的媒体类型和位置信息，将所述媒体码流转给对应远程呈现终端的媒体编解码模块处理，其中，直接将媒体码流转给主远程呈现终端的媒体编解码模块，通过相应的媒体传输模块将媒体码流转给辅远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对接收到的音频和/或视频码流进行解码，之后输出到相应的音频输出设备和/或视频输出设备进行播放。
媒体逻辑通道通过IP地址和端口号区分，不同的媒体逻辑通道对应的IP地址和/或端口号不同。
本发明基于远程呈现的媒体传输方法及系统，建立连接时，由本侧媒体传输系统的主远程呈现终端与远端端点进行信令交互，建立所述本侧媒体传输系统与远端端点之间的媒体逻辑通道；所述本侧媒体传输系统与远端端点之间通过多个媒体逻辑通道，或者通过一个媒体逻辑通道进行媒体传输。通过本发明，对某一会场的远程呈现系统进行呼叫时，只需要呼叫一个号码(IP地址、或者端点ID号、或者会议号)，从而操作简便，并且，远程呈现系统内可以交互坐席信息，实现听声辨位的效果，并解决码流之间的同步等问题，从而能够提高用户体验。
附图说明
图1为本发明基于远程呈现的媒体传输方法流程示意图；
图2为本发明实施例1基于远程呈现的媒体传输系统通过多个媒体逻辑通道进行媒体发送的流程示意图；
图3为本发明实施例2基于远程呈现的媒体传输系统通过多个媒体逻辑通道进行媒体接收的流程示意图；
图4为本发明实施例3基于远程呈现的媒体传输系统通过多个媒体逻辑通道进行媒体发送的流程示意图；
图5为本发明实施例4基于远程呈现的媒体传输系统通过多个媒体逻辑通道进行媒体接收的流程示意图；
图6为本发明实施例5基于远程呈现的媒体传输系统通过一个媒体逻辑通道进行媒体发送的流程示意图；
图7为本发明实施例6基于远程呈现的媒体传输系统通过一个媒体逻辑通道进行媒体接收的流程示意图；
图8为本发明实施例7所述的基于远程呈现的媒体传输方法流程示意图；
图9为本发明实施例8所述的基于远程呈现的媒体传输方法流程示意图；
图10为本发明实施例一种基于远程呈现的媒体传输系统结构示意图；
图11为本发明实施例另一种基于远程呈现的媒体传输系统结构示意图；
图12为本发明实施例再一种基于远程呈现的媒体传输系统结构示意图；
图13为本发明实施例再一种基于远程呈现的媒体传输系统结构示意图；
图14为本发明实施例再一种基于远程呈现的媒体传输系统结构示意图；
图15为本发明实施例再一种基于远程呈现的媒体传输系统结构示意图。
具体实施方式
本发明的基本思想是：建立连接时，由本侧媒体传输系统的主远程呈现终端与远端端点进行信令交互，建立所述本侧媒体传输系统与远端端点之间的媒体逻辑通道；所述本侧媒体传输系统与远端端点之间通过多个媒体逻辑通道，或者通过一个媒体逻辑通道进行媒体传输。
图1为本发明基于远程呈现的媒体传输方法流程示意图，如图1所示，该方法包括：
步骤101：建立连接时，由本侧媒体传输系统的主远程呈现终端与远端端点进行信令交互，建立本侧媒体传输系统与远端端点之间的媒体逻辑通道。
需要说明的是，主远程呈现终端与远端端点进行信令交互过程中，一般需要交互两侧的远程呈现终端音视频输入输出设备的数量、远程呈现终端位置信息、媒体类型。实际应用中，并非需要在交互消息中分别携带上述每一种信息，其中某些信息可以通过其他信息进行推断，例如，主远程呈现终端向远端端点发送的消息中携带：远程呈现系统中具有左、中、右路视频，则远端端点可以进一步获取该远程呈现系统具有三路视频输入设备。
主远程呈现终端与远端端点进行信令交互过程中，可以根据音频输入设备、音频输出设备、视频输入设备和/或视频输出设备所处的位置信息，建立期望的通道与媒体类型(如音频、视频)和位置(如左路、中路、右路)的映射关系，并交互所述映射关系。
需要说明的是，建立和打开媒体逻辑通道时，主远程呈现终端需要记录媒体类型和位置信息与媒体逻辑通道标识的对应关系。
步骤102：本侧媒体传输系统与远端端点之间通过一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行发送，以及通过一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行接收。
下面通过具体实施例对本发明的技术方案作进一步详细说明。
实施例1
图2为本发明实施例1基于远程呈现的媒体传输系统通过多个媒体逻辑通道进行媒体发送的流程示意图，如图2所示，该方法包括：
步骤201：主远程呈现终端建立本侧与远端端点之间的呼叫，主远程呈现终端的信令处理模块负责信令交互，并分别进行媒体能力协商和建立本侧各远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的的媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息。
步骤202：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块进行编码，各远程呈现终端的媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给对应的媒体传输模块。
步骤203：各远程呈现终端的媒体传输模块分别把编码后的媒体码流通过与媒体源类型和位置对应的媒体逻辑通道进行发送，即通过与所述音频输入设备和/或视频输入设备位置相对应的媒体逻辑通道发送给远端端点。
实施例2
图3为本发明实施例2基于远程呈现的媒体传输系统通过多个媒体逻辑通道进行媒体接收的流程示意图，如图3所示，该方法包括：
步骤301：主远程呈现终端建立本侧与远端端点之间的呼叫，主远程呈现终端的信令处理模块负责信令交互，并分别进行媒体能力协商，建立各媒体传输模块与远端端点之间用于接收媒体流的媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息。
步骤302：各远程呈现终端的媒体传输模块通过建立的媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备或视频输出设备位置的对应关系，将媒体码流分别转给对应的媒体编解码模块处理。
步骤303：各远程呈现终端的媒体编解码模块分别对接收到的媒体码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
实施例3
图4为本发明实施例3基于远程呈现的媒体传输系统通过多个媒体逻辑通道进行媒体发送的流程示意图，如图4所示，该方法包括：
步骤401：主远程呈现终端建立本侧与远端端点之间的呼叫，主远程呈现终端的信令处理模块负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息。
步骤402：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块，各媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块。
需要说明的是，主远程呈现终端的媒体编解码模块直接将编码后的媒体码流转给主远程呈现终端的媒体传输模块，辅远程呈现终端的媒体编解码模块通过相应的媒体传输模块将编码后的媒体码流转给主远程呈现终端的媒体传输模块。
步骤403：主远程呈现终端的媒体传输模块分别把本侧媒体编解码模块编码后的媒体码流通过与媒体源(音视频输入设备位置)类型和位置相对应的媒体逻辑通道发送给远端端点。
实施例4
图5为本发明实施例4基于远程呈现的媒体传输系统通过多个媒体逻辑通道进行媒体接收的流程示意图，如图5所示，该方法包括：
步骤501：主远程呈现终端建立本侧与远端端点之间的呼叫，主远程呈现终端的信令处理模块负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息。
步骤502：主远程呈现终端的媒体传输模块通过建立的各媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备和/或视频输出设备的对应关系，将收到的媒体码流分别转给对应远程呈现终端的媒体编解码模块处理。
需要说明的是，主远程呈现终端的媒体传输模块直接将媒体码流转给主远程呈现终端的媒体编解码模块，而通过辅远程呈现终端的媒体传输模块将媒体码流转给所述辅远程呈现终端的媒体编解码模块。
步骤503：各远程呈现终端的媒体编解码模块分别对接收到的音频和/或视频码流进行解码，并输出到对应的音频输出设备和/或视频输出设备进行播放。
实施例5
图6为本发明实施例5基于远程呈现的媒体传输系统通过一个媒体逻辑通道进行媒体发送的流程示意图，如图6所示，该方法包括：
步骤601：主远程呈现终端建立本侧与远端端点之间的呼叫，主远程呈现终端的信令处理模块负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间的一个用于发送媒体流的媒体逻辑通道，记录本侧音频输入设备和/或视频输入设备的媒体类型和位置。
步骤602：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块，各媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块。
需要说明的是，主远程呈现终端的媒体编解码模块直接将编码后的媒体码流转给主远程呈现终端的媒体传输模块，辅远程呈现终端的媒体编解码模块通过相应的媒体传输模块将编码后的媒体码流转给主远程呈现终端的媒体传输模块。
步骤603：主远程呈现终端的媒体传输模块将所述编码后的媒体码流通过主远程呈现终端与远端端点之间的媒体逻辑通道发送。
需要说明的是，发送前打包时，需要在媒体包头标识相应的媒体类型和位置信息。
实施例6
图7为本发明实施例6基于远程呈现的媒体传输系统通过一个媒体逻辑通道进行媒体接收的流程示意图，如图7所示，该方法包括：
步骤701：主远程呈现终端建立本侧与远端端点之间的呼叫，主远程呈现终端的信令处理模块负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间的一个接收媒体码流的媒体逻辑通道，记录本侧音频输出设备和/或视频输出设备的媒体类型和位置。
步骤702：主远程呈现终端的媒体编解码模块从该媒体逻辑通道接收远端的媒体码流，并将该媒体码流转给对应远程呈现终端的媒体编解码模块处理。
具体的，主远程呈现终端通过解析媒体包头所标识的媒体类型和位置信息，将媒体码流转发到相应的媒体编解码模块进行解码。主远程呈现终端的媒体传输模块直接将媒体码流转给主远程呈现终端的媒体编解码模块，而通过辅远程呈现终端的媒体传输模块将媒体码流转给所述辅远程呈现终端的媒体编解码模块。
步骤703：各远程呈现终端的媒体编解码模块分别对接收到的音频和/或视频码流进行解码，并输出到相应的音频输出设备和/或视频输出设备进行播放。
实施例7
本实施例中，基于远程呈现的媒体传输系统至少包括两个以上远程呈现终端和多个音视频输入/输出设备，其中一个远程呈现终端(后文称“主远程呈现终端”)负责信令和媒体的代理，至少包括协议信令处理模块、媒体编解码模块、媒体传输模块；另外一个或以上远程呈现终端(后文称“辅远程呈现终端”)至少包括媒体编解码模块和媒体传输模块。一个或多个辅远程呈现终端分别与主远程呈现终端相连，主远程呈现终端和辅远程呈现终端分别连接有至少一路音频输入、一路音频输出、一路视频输入和一路视频输出设备。主远程呈现终端在网守(GK)上进行注册并对外提供注册的端点ID号。
本实施例中，主远程呈现终端建立的与远端端点之间的媒体逻辑通道分别在本端各远程呈现终端与远端端点之间建立，即分别使用本端各终端不同的地址，本端远程呈现终端与远端之间的码流直接由本端各远程呈现终端分别处理，本端的主、辅远程呈现终端分别处理相应的媒体流收发功能。
图8为本发明实施例7所述的基于远程呈现的媒体传输方法流程示意图，如图8所示，该方法包括：
步骤801：用户通过连接主远程呈现终端的中控界面或者遥控器，输入被叫远端端点的号码(如IP地址、或者H.323ID，或者会议号等)发起呼叫，远端端点处理该呼叫，建立连接。如通过H.225协议完成呼叫连接，呼叫时只需要使用本端主远程呈现终端的IP地址或者H.323ID。
步骤802：所述主远程呈现终端获取辅远程呈现终端的信息，包括本次呼叫中本端使用的各辅远程呈现终端媒体处理能力集、媒体收发地址。
步骤803：所述主远程呈现终端与远端端点之间进行媒体能力协商。包括所述主远程呈现终端根据上述辅远程呈现终端和主远程呈现终端的信息，以及根据终端的位置进行标识，构造包含需要建立的通道媒体类型、数量、位置标识信息的能力集给远端端点，比如可以采用H.245协议，在发送能力集时告知对方本端支持的能力集以及能力描述类型，通过能力描述类型区分不同位置的不同码流。
例如，在H.245的终端能力集(terminalCapabilitySet)消息结构中，增加多路音频和/或视频的描述符，并约定不同值对应不同的类型和位置，如1、2、3分别表示左、中、右路音频，4、5、6分别表示左、中、右路视频。通过terminalCapabilitySet发送本端能力集并接收远端端点发送的能力集，进行能力协商确定各媒体逻辑通道对应的媒体类型和位置，如媒体逻辑通道1对应接收远端端点左路音频，通道6对应接收远端端点右路视频。
步骤804：打开双向媒体逻辑通道。本端主远程呈现终端发送H.245打开媒体逻辑通道(openLogicalChannel)消息，结构中描述上述通道标识与媒体类型和位置的对应关系，以及通道本身的特征描述，至少包括媒体发送地址，分别使用本端各终端的地址(IP地址和端口号)。远端端点回复打开逻辑通道确认消息openLogicalChannelAck，该消息至少包括该通道的接收地址(IP地址和端口号)，本端主远程呈现终端记录该发送通道信息，包括通道标识与媒体类型和位置的对应关系，接收和发送地址等。分别通过上述方式建立多个发送逻辑通道。远端端点通过上述方式打开到本端的多个媒体逻辑通道。
步骤805：本端主远程呈现终端通知各远程呈现终端的媒体传输模块通过相应通道收发媒体流数据。
步骤806：本端各远程呈现终端分别与远端端点之间传输多路码流。本端通过不同媒体逻辑通道发送码流时，音频或视频I/O设备采集的码流发送给对应位置的终端的编解码模块进行编码，然后由对应的媒体传输模块进行发送，发送时根据媒体源所在位置通过上述与上述记录的媒体逻辑通道信息选择相应的通道进行发送，如左路音频通过通道1进行发送。
本端通过不同媒体逻辑通道接收码流时，本端媒体传输模块接收到媒体码流，根据上述记录的媒体逻辑通道信息，如接收到的左路视频，转发到相应的媒体编解码模块进行解码，输出到对应位置的音频或视频设备播放。
步骤807：结束时，本端主远程呈现终端通知各远程呈现终端的媒体传输模块停止媒体流监听。
步骤808：由主远程呈现终端负责完成终止会议，先关闭各媒体逻辑通道，最后完成会话拆除。
实施例8
本实施例中，各媒体逻辑通道建立在主远程呈现终端与远端端点之间，所有媒体流通过主远程呈现终端收发，由主远程呈现终端完成与辅远程呈现终端之间的码流转发。
图9为本发明实施例8所述的基于远程呈现的媒体传输方法流程示意图，如图9所示，该方法包括：
步骤901：用户通过连接主远程呈现终端的中控界面或者遥控器，输入被叫远端端点的号码(如IP地址、或者H.323ID、或者会议号等)发起呼叫，远端端点处理该呼叫，建立连接。如通过H.225协议完成呼叫连接，呼叫时只需要使用本端主远程呈现终端的IP地址或者H.323ID。
步骤902：主远程呈现终端获取辅远程呈现终端的信息，包括根据本次呼叫本端使用的各辅远程呈现终端媒体处理能力集，媒体收发地址(含IP地址和端口号)。
步骤903：所述主远程呈现终端与远端端点之间进行媒体能力协商。包括所述主远程呈现终端根据上述辅远程呈现终端和主远程呈现终端的信息，以及根据终端的位置进行标识，构造包含需要建立的通道媒体类型、数量、位置标识信息的能力集给远端端点，比如可以采用H.245协议，在发送能力集时告知对方本端支持的能力集以及能力描述类型，通过能力描述类型区分不同位置的不同码流。
例如在H.245的terminalCapabilitySet消息结构中，增加多路音频和/或视频的描述符，并约定不同值对应不同的类型和位置，如1、2、3分别表示左、中、右路音频，4、5、6分别表示左、中、右路视频。通过terminalCapabilitySet发送本端能力集并接收远端端点发送的能力集，进行能力协商确定各媒体逻辑通道对应的媒体类型和位置，如媒体逻辑通道1对应接收远端端点左路音频，通道6对应接收远端端点右路视频。
步骤904：打开双向媒体逻辑通道。本端主远程呈现终端发送openLogicalChannel消息，消息中使用本端主远程呈现终端的地址区分不同通道，相同IP地址和不同的端口号，。远端端点回复打开逻辑通道确认消息openLogicalChannelAck，该消息至少包括该通道的接收地址(IP地址和端口号)，本端主远程呈现终端记录该发送通道信息，包括通道标识与媒体类型和位置的对应关系，接收和发送地址等。分别通过上述方式建立多个发送逻辑通道。远端端点通过上述方式打开多个到本端主远程呈现终端的媒体逻辑通道。
步骤905：本端主远程呈现终端建立与各辅远程呈现终端之间的媒体转发通道，并维护上述主远程呈现终端与辅远程呈现终端之间的转发通道和主远程呈现终端与远端端点之间的收发通道的映射关系。
步骤906：本端通过不同媒体逻辑通道发送码流时，音频和/或视频I/O设备采集的码流发送给对应位置的终端的编解码模块进行编码，然后由对应的辅远程呈现终端媒体传输模块通过对应的转发通道转给主远程呈现终端，主远程呈现终端根据媒体源所在位置通过上述记录的与远端端点之间的相应的媒体逻辑通道进行发送，如左路音频则通过通道1进行发送。
本端通过不同媒体逻辑通道接收码流时，本端主远程呈现终端媒体传输模块接收到媒体码流，根据上述记录的媒体逻辑通道信息，如接收到的左路视频，通过上述建立的相应的主远程呈现终端与辅远程呈现终端之间的转发通道转发到相应的辅远程呈现终端的媒体编解码模块进行解码，输出到对应位置的音频或视频设备播放。
步骤907：结束时，本端主远程呈现终端通知各终端的媒体传输模块停止媒体流监听，并关闭辅远程呈现终端与主远程呈现终端之间的转发通道。
步骤908：由主远程呈现终端负责完成终止会议，先关闭各媒体逻辑通道，最后完成会话拆除。
需要说明的是，本发明中所述主远程呈现终端建立与远端端点(可以是MCU或者远程呈现终端)的连接，可以是点对点会议或者多点会议，具体的，可以是所述主远程呈现终端主动发起呼叫，也可以是所述主远程呈现终端接受远端端点的呼叫。
本发明还相应地提出一种基于远程呈现的媒体传输系统，该系统包括：主远程呈现终端和至少一个辅远程呈现终端；其中，
所述主远程呈现终端，用于在建立所述媒体传输系统与远端端点之间的连接时，与远端端点进行信令交互，建立所述媒体传输系统与远端端点之间的媒体逻辑通道；以及通过建立的一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行发送，通过建立的一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行接收；
所述辅远程呈现终端，用于通过主远程呈现终端建立的媒体逻辑通道进行媒体流发送及接收。
图10为本发明实施例一种基于远程呈现的媒体传输系统结构示意图，如图10所示，该系统还可以包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，分别建立系统中各远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块进行编码；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给对应的媒体传输模块；
所述媒体传输模块，用于把媒体编解码模块编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
图11为本发明实施例另一种基于远程呈现的媒体传输系统结构示意图，如图11所示，该系统还可以包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，分别建立系统中各远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的的媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述媒体传输模块，用于通过建立的媒体逻辑通道接收远端的媒体码流，并根据媒体逻辑通道与音频输出设备或视频输出设备位置的对应信息，将媒体码流分别转给对应的媒体编解码模块处理；
所述媒体编解码模块，用于对接收到的媒体码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
图12为本发明实施例再一种基于远程呈现的媒体传输系统结构示意图，如图12所示，该系统还包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块，其中，辅远程呈现终端的媒体编解码模块通过相应的媒体传输模块把编码后的媒体码流转给主远程呈现终端的媒体传输模块，主远程呈现终端的媒体编解码模块直接把编码后的媒体码流转给主远程呈现终端的媒体传输模块；
所述主远程呈现终端的媒体传输模块，用于分别把系统中各媒体编解码模块编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
图13为本发明实施例再一种基于远程呈现的媒体传输系统结构示意图，如图13所示，该系统还包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述主远程呈现终端的媒体传输模块，用于通过建立的各媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备和/或视频输出设备的对应关系，将收到的媒体码流分别转给对应远程呈现终端的媒体编解码模块处理，其中，直接将媒体码流转给主远程呈现终端的媒体编解码模块，通过相应的媒体传输模块将媒体码流转给辅远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对接收到的音频和/或视频码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
图14为本发明实施例再一种基于远程呈现的媒体传输系统结构示意图，如图14所示，该系统还包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个用于发送媒体流的媒体逻辑通道，记录本侧音频输入设备和/或视频输入设备的媒体类型和位置；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，主远程呈现终端的媒体编解码模块把编码后的媒体码流转给相应的媒体传输模块，辅远程呈现终端的媒体编解码模块把编码后的媒体码流通过相应的媒体传输模块转给主远程呈现终端的媒体传输模块；
主远程呈现终端的媒体传输模块，用于将收到的编码后的媒体码流通过主远程呈现终端与远端端点之间的媒体逻辑通道发送，发送的媒体包头中携带相应的媒体类型和位置信息。
图15为本发明实施例再一种基于远程呈现的媒体传输系统结构示意图，如图15所示，该系统还包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个接收媒体逻辑通道，记录本侧音频输出设备和/或视频输出设备的媒体类型和位置；
所述主远程呈现终端的媒体传输模块，用于从所述媒体逻辑通道接收远端的媒体码流，通过解析包头所标识的媒体类型和位置信息，将所述媒体码流转给对应远程呈现终端的媒体编解码模块处理，其中，直接将媒体码流转给主远程呈现终端的媒体编解码模块，通过相应的媒体传输模块将媒体码流转给辅远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对接收到的音频和/或视频码流进行解码，之后输出到相应的音频输出设备和/或视频输出设备进行播放。
本发明中，不同的媒体逻辑通道可以通过IP地址和端口号进行区分，不同的媒体逻辑通道对应的IP地址和/或端口号不同。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (14)

1.一种基于远程呈现的媒体传输方法，其特征在于，媒体传输系统包括一个主远程呈现终端和至少一个辅远程呈现终端，该方法包括：
建立连接时，由本侧媒体传输系统的主远程呈现终端与远端端点进行信令交互，建立所述本侧媒体传输系统与远端端点之间的媒体逻辑通道；
本侧媒体传输系统与远端端点之间通过一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行发送，以及通过一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行接收；具体地，通过IP地址和端口号区分媒体逻辑通道，不同的媒体逻辑通道对应的IP地址和/或端口号不同。
2.根据权利要求1所述的方法，其特征在于，
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：分别建立本侧各远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述本侧媒体传输系统与远端端点之间分别通过多个媒体逻辑通道对同一类型的媒体流进行发送为：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块进行编码；各远程呈现终端的媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给对应的媒体传输模块；各远程呈现终端的媒体传输模块分别把编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
3.根据权利要求1所述的方法，其特征在于，
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：分别建立本侧各远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述本侧媒体传输系统与远端端点之间分别通过多个媒体逻辑通道对同一类型的媒体流进行接收为：各远程呈现终端的媒体传输模块通过建立的媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备或视频输出设备位置的对应关系，将媒体码流分别转给对应的媒体编解码模块处理；各远程呈现终端的媒体编解码模块分别对接收到的媒体码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
4.根据权利要求1所述的方法，其特征在于，
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：建立主远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述本侧媒体传输系统与远端端点之间分别通过多个媒体逻辑通道对同一类型的媒体流进行发送为：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；各媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块；主远程呈现终端的媒体传输模块分别把本侧媒体编解码模块编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
5.根据权利要求1所述的方法，其特征在于，
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：建立主远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述本侧媒体传输系统与远端端点之间分别通过多个媒体逻辑通道对同一类型的媒体流进行接收为：主远程呈现终端的媒体传输模块通过建立的各媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备和/或视频输出设备的对应关系，将收到的媒体码流分别转给对应远程呈现终端的媒体编解码模块处理；各远程呈现终端的媒体编解码模块分别对接收到的音频和/或视频码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
6.根据权利要求1所述的方法，其特征在于，
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个用于发送媒体流的媒体逻辑通道，记录本侧音频输入设备和/或视频输入设备的媒体类型和位置；
所述本侧媒体传输系统与远端端点之间通过一个媒体逻辑通道对同一类型的媒体流进行发送为：音频输入设备和/或视频输入设备将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；各媒体编解码模块分别对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块；主远程呈现终端的媒体传输模块将所述编码后的媒体码流通过主远程呈现终端与远端端点之间的媒体逻辑通道发送，发送的媒体包头中携带相应的媒体类型和位置信息。
7.根据权利要求1所述的方法，其特征在于，
所述建立本侧媒体传输系统与远端端点之间的媒体逻辑通道为：对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个接收媒体码流的媒体逻辑通道，记录本侧音频输出设备和/或视频输出设备的媒体类型和位置；
所述本侧媒体传输系统与远端端点之间通过一个媒体逻辑通道对同一类型的媒体流进行接收为：主远程呈现终端的媒体传输模块从所述媒体逻辑通道接收远端的媒体码流，通过解析包头所标识的媒体类型和位置信息，将所述媒体码流转给对应远程呈现终端的媒体编解码模块处理；各远程呈现终端的媒体编解码模块分别对接收到的音频和/或视频码流进行解码，之后输出到相应的音频输出设备和/或视频输出设备进行播放。
8.一种基于远程呈现的媒体传输系统，其特征在于，该系统包括：主远程呈现终端和至少一个辅远程呈现终端；其中，
所述主远程呈现终端，用于在建立所述媒体传输系统与远端端点之间的连接时，与远端端点进行信令交互，建立所述媒体传输系统与远端端点之间的媒体逻辑通道；以及通过建立的一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行发送，通过建立的一个媒体逻辑通道或者分别通过多个媒体逻辑通道对同一类型的媒体流进行接收；
所述辅远程呈现终端，用于通过主远程呈现终端建立的媒体逻辑通道进行媒体流发送及接收；具体地，媒体逻辑通道通过IP地址和端口号区分，不同的媒体逻辑通道对应的IP地址和/或端口号不同。
9.根据权利要求8所述的系统，其特征在于，该系统还包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，分别建立系统中各远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块进行编码；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给对应的媒体传输模块；
所述媒体传输模块，用于把媒体编解码模块编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
10.根据权利要求8所述的系统，其特征在于，该系统还包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，分别建立系统中各远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的的媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述媒体传输模块，用于通过建立的媒体逻辑通道接收远端的媒体码流，并根据媒体逻辑通道与音频输出设备或视频输出设备位置的对应信息，将媒体码流分别转给对应的媒体编解码模块处理；
所述媒体编解码模块，用于对接收到的媒体码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
11.根据权利要求8所述的系统，其特征在于，该系统还包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间用于发送媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输入设备和/或视频输入设备位置的对应信息；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，并把编码后的媒体码流转给主远程呈现终端的媒体传输模块，其中，辅远程呈现终端的媒体编解码模块通过相应的媒体传输模块把编码后的媒体码流转给主远程呈现终端的媒体传输模块，主远程呈现终端的媒体编解码模块直接把编码后的媒体码流转给主远程呈现终端的媒体传输模块；
所述主远程呈现终端的媒体传输模块，用于分别把系统中各媒体编解码模块编码后的媒体码流通过与媒体源类型和位置相对应的媒体逻辑通道发送给远端端点。
12.根据权利要求8所述的系统，其特征在于，该系统还包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，建立主远程呈现终端的媒体传输模块与远端端点之间用于接收媒体流的多个媒体逻辑通道，记录各媒体逻辑通道与音频输出设备和/或视频输出设备位置的对应信息；
所述主远程呈现终端的媒体传输模块，用于通过建立的各媒体逻辑通道分别接收远端的多路媒体码流，并根据媒体逻辑通道与音频输出设备和/或视频输出设备的对应关系，将收到的媒体码流分别转给对应远程呈现终端的媒体编解码模块处理，其中，直接将媒体码流转给主远程呈现终端的媒体编解码模块，通过相应的媒体传输模块将媒体码流转给辅远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对接收到的音频和/或视频码流进行解码，之后输出到对应的音频输出设备和/或视频输出设备进行播放。
13.根据权利要求8所述的系统，其特征在于，该系统还包括多路音频输入设备和/或视频输入设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个用于发送媒体流的媒体逻辑通道，记录本侧音频输入设备和/或视频输入设备的媒体类型和位置；
所述音频输入设备和/或视频输入设备，用于将采集的音频和/或视频数据发送给对应位置的远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对输入的音频和/或视频数据进行编码，主远程呈现终端的媒体编解码模块把编码后的媒体码流转给相应的媒体传输模块，辅远程呈现终端的媒体编解码模块把编码后的媒体码流通过相应的媒体传输模块转给主远程呈现终端的媒体传输模块；
主远程呈现终端的媒体传输模块，用于将收到的编码后的媒体码流通过主远程呈现终端与远端端点之间的媒体逻辑通道发送，发送的媒体包头中携带相应的媒体类型和位置信息。
14.根据权利要求8所述的系统，其特征在于，该系统还包括多路音频输出设备和/或视频输出设备，所述主远程呈现终端至少包括：信令处理模块、媒体编解码模块、媒体传输模块，所述辅远程呈现终端至少包括：媒体编解码模块、媒体传输模块；其中，
所述信令处理模块，用于负责信令交互，并进行媒体能力协商，对每一种媒体类型建立主远程呈现终端的媒体传输模块与远端端点之间的一个接收媒体逻辑通道，记录本侧音频输出设备和/或视频输出设备的媒体类型和位置；
所述主远程呈现终端的媒体传输模块，用于从所述媒体逻辑通道接收远端的媒体码流，通过解析包头所标识的媒体类型和位置信息，将所述媒体码流转给对应远程呈现终端的媒体编解码模块处理，其中，直接将媒体码流转给主远程呈现终端的媒体编解码模块，通过相应的媒体传输模块将媒体码流转给辅远程呈现终端的媒体编解码模块；
所述媒体编解码模块，用于对接收到的音频和/或视频码流进行解码，之后输出到相应的音频输出设备和/或视频输出设备进行播放。
CN201110191518.4A 2011-07-08 2011-07-08 一种基于远程呈现的媒体传输方法及系统 Expired - Fee Related CN102868880B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110191518.4A CN102868880B (zh) 2011-07-08 2011-07-08 一种基于远程呈现的媒体传输方法及系统
PCT/CN2012/072739 WO2012155659A1 (zh) 2011-07-08 2012-03-21 一种基于远程呈现的媒体传输方法及系统
EP12785453.7A EP2731331A4 (en) 2011-07-08 2012-03-21 METHOD AND SYSTEM FOR MULTIMEDIA TRANSMISSION BASED ON TELEPRESENCE
US14/130,264 US9344475B2 (en) 2011-07-08 2012-03-21 Media transmission method and system based on telepresence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110191518.4A CN102868880B (zh) 2011-07-08 2011-07-08 一种基于远程呈现的媒体传输方法及系统

Publications (2)

Publication Number Publication Date
CN102868880A CN102868880A (zh) 2013-01-09
CN102868880B true CN102868880B (zh) 2017-09-05

Family

ID=47176252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110191518.4A Expired - Fee Related CN102868880B (zh) 2011-07-08 2011-07-08 一种基于远程呈现的媒体传输方法及系统

Country Status (4)

Country Link
US (1) US9344475B2 (zh)
EP (1) EP2731331A4 (zh)
CN (1) CN102868880B (zh)
WO (1) WO2012155659A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868873B (zh) * 2011-07-08 2017-10-17 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
CN102843542B (zh) * 2012-09-07 2015-12-02 华为技术有限公司 多流会议的媒体协商方法、设备和系统
CN104219486B (zh) * 2013-06-01 2019-05-17 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置
CN104219484B (zh) * 2013-06-01 2019-05-31 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置
CN104219487B (zh) * 2013-06-01 2019-05-07 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104519023B (zh) * 2013-09-29 2019-08-27 中兴通讯股份有限公司 能力协商处理方法、装置及远程呈现端点
CN104519304B (zh) * 2013-09-29 2018-07-20 中兴通讯股份有限公司 端点信息交互处理方法、装置及远程呈现端点
CN104519305A (zh) * 2013-09-29 2015-04-15 中兴通讯股份有限公司 端点信息交互处理方法、装置及远程呈现端点
WO2015058394A1 (zh) * 2013-10-25 2015-04-30 华为技术有限公司 一种多路辅流控制的方法、控制设备、节点和系统
CN104601339B (zh) * 2013-10-30 2018-05-25 华为技术有限公司 网真会议的控制方法、装置、服务器和终端设备
CN105516065B (zh) * 2014-09-26 2018-08-14 华为技术有限公司 一种媒体控制方法和设备
CN105657327A (zh) * 2014-11-28 2016-06-08 中兴通讯股份有限公司 一种音视频处理方法、装置及系统
CN109151231B (zh) * 2017-06-27 2022-07-19 中兴通讯股份有限公司 客服系统、呼入业务的处理方法以及业务的处理方法
KR101861561B1 (ko) * 2017-07-24 2018-05-29 (주)유프리즘 복수 개의 영상회의용 단말을 이용하여 멀티 스크린 영상회의를 제공할 수 있는 영상회의 서버 및 그 방법
CN113890659A (zh) * 2021-03-17 2022-01-04 广州市保伦电子有限公司 一种基于管道的音频广播方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统
CN101370114A (zh) * 2008-09-28 2009-02-18 深圳华为通信技术有限公司 视频及音频处理方法、多点控制单元和视频会议系统
CN101534413A (zh) * 2009-04-14 2009-09-16 深圳华为通信技术有限公司 一种远程呈现的系统、装置和方法
WO2011029402A1 (zh) * 2009-09-10 2011-03-17 华为终端有限公司 视频图像数据处理方法、装置及视频会议系统及终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101471804B (zh) 2007-12-28 2011-08-10 华为技术有限公司 一种音频处理方法、系统和控制服务器
US8355041B2 (en) * 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
NO332009B1 (no) * 2008-12-12 2012-05-21 Cisco Systems Int Sarl Fremgangsmate for a igangsette kommunikasjonsforbindelser
EP2285068B1 (en) * 2009-08-07 2014-06-25 BlackBerry Limited Method, mobile device and computer readable medium for mobile telepresence
US8537195B2 (en) * 2011-02-09 2013-09-17 Polycom, Inc. Automatic video layouts for multi-stream multi-site telepresence conferencing system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101198008A (zh) * 2008-01-03 2008-06-11 中兴通讯股份有限公司 一种实现多屏多画面的方法和系统
CN101370114A (zh) * 2008-09-28 2009-02-18 深圳华为通信技术有限公司 视频及音频处理方法、多点控制单元和视频会议系统
CN101534413A (zh) * 2009-04-14 2009-09-16 深圳华为通信技术有限公司 一种远程呈现的系统、装置和方法
WO2011029402A1 (zh) * 2009-09-10 2011-03-17 华为终端有限公司 视频图像数据处理方法、装置及视频会议系统及终端

Also Published As

Publication number Publication date
EP2731331A1 (en) 2014-05-14
US20140139618A1 (en) 2014-05-22
US9344475B2 (en) 2016-05-17
EP2731331A4 (en) 2015-04-01
WO2012155659A1 (zh) 2012-11-22
CN102868880A (zh) 2013-01-09

Similar Documents

Publication Publication Date Title
CN102868880B (zh) 一种基于远程呈现的媒体传输方法及系统
CN102868873B (zh) 一种远程呈现方法、终端和系统
CN101370114B (zh) 视频及音频处理方法、多点控制单元和视频会议系统
KR100880150B1 (ko) 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법
JP5320406B2 (ja) オーディオ処理の方法、システム、及び制御サーバ
CN102655584B (zh) 一种远程呈现技术中媒体数据发送和播放的方法及系统
EP2214410B1 (en) Method and system for conducting continuous presence conferences
CN101478642A (zh) 视频会议系统的多画面混图方法及装置
CN101198008A (zh) 一种实现多屏多画面的方法和系统
CN102404547B (zh) 一种实现视频会议级联的方法及终端
CN110062191B (zh) 一种基于视联网的多方组会方法和服务器
WO2007140668A1 (fr) procédé et appareil pour réaliser une surveillance à distance dans un système de téléconférence
CN102892032B (zh) 实时互动高清网络视频通讯系统
CN104980683A (zh) 一种视频电话会议的实现方法及装置
CN102223515B (zh) 远程呈现会议系统、远程呈现会议的录制与回放方法
CN101931783A (zh) 一种视频会议双流发送系统及方法
CN101094381A (zh) 一种会议电视系统中的多画面远端摄像机遥控方法
CN203015009U (zh) 实时互动高清网络视频通讯系统
CN104519304B (zh) 端点信息交互处理方法、装置及远程呈现端点
CN108989740A (zh) 一种视频会议系统和方法
CN102752296B (zh) 一种电网调度业务的一体化数字的记录方法
CN110225290A (zh) 一种便携式的视频会议网关装置及方法
CN104219484B (zh) 远程呈现端点的能力交互方法及装置
CN205992958U (zh) 一种视频会议系统
CN106304006A (zh) 一种应急通信系统多功能终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170905

Termination date: 20210708