CN102868873A - 一种远程呈现方法、终端和系统 - Google Patents

一种远程呈现方法、终端和系统 Download PDF

Info

Publication number
CN102868873A
CN102868873A CN2011101914938A CN201110191493A CN102868873A CN 102868873 A CN102868873 A CN 102868873A CN 2011101914938 A CN2011101914938 A CN 2011101914938A CN 201110191493 A CN201110191493 A CN 201110191493A CN 102868873 A CN102868873 A CN 102868873A
Authority
CN
China
Prior art keywords
audio
channel
input
video
code stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101914938A
Other languages
English (en)
Other versions
CN102868873B (zh
Inventor
叶小阳
王东
吴永明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201110191493.8A priority Critical patent/CN102868873B/zh
Priority to US14/130,475 priority patent/US9172912B2/en
Priority to EP12784928.9A priority patent/EP2731330A4/en
Priority to PCT/CN2012/072751 priority patent/WO2012155660A1/zh
Publication of CN102868873A publication Critical patent/CN102868873A/zh
Application granted granted Critical
Publication of CN102868873B publication Critical patent/CN102868873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1069—Session establishment or de-establishment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种远程呈现方法、终端和系统，系统包括：远程呈现终端、多路音频和/或视频输入/输出设备、远端端点；远程呈现终端具有多路音、视频输入/输出接口，用于与远端端点建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；对多路音频输入设备和/或多路视频输入设备的输入码流编码，并基于建立的媒体逻辑通道，根据码流对应的输入/输出位置发送给远端端点，接收来自远端端点的多路音频和/或视频码流，进行解码并根据码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备播放。通过本发明，解决了现有远程呈现系统的部署复杂、互通和码流同步等问题。

Description

一种远程呈现方法、终端和系统
技术领域
本发明涉及远程呈现(telepresence)技术，尤其涉及一种远程呈现方法、终端和系统。
背景技术
远程呈现是一种高级的远程视频会议系统。远程呈现以其真实的临场感深受高端用户的喜爱，在远程呈现系统中，听声辨位、真身大小、眼神交流直接关系到用户是否能够有身临其境的感受，因此是衡量远程呈现系统非常重要的技术指标。
在传统视频会议系统中，一个视频会议终端除了辅流视频外，通常还具备以下功能：编码并发送一路音频和/或一路视频，接收并解码输出一路音频和/或视频。由于声音的输入源和输出只有一路，因此用户无法感受到声音是从会场的哪个方位发出。由于视频的输入源和输出只有一路，因此本端的采集编码画面需要捕捉会场整体画面；如果是多点会议，则只能选看某一会场或者多个远端会场的拼接画面，无论是发送还是接收的视频都无法达到真人大小的要求。
而远程呈现系统要求的用户体验是有多路音、视频码流，提供各路音频的方位信息达到听声辨位；根据推算需要1∶1显示远端参会者的图像，则往往一个会场需要多路视频输入和多路视频输出。现有的一些远程呈现终端通过传统的视频会议终端集成而来，在单个会场部署多个视频会议终端，且每个视频会议终端可以分别连接有一个音、视频输入/输出设备，再通过音、视频输入/输出设备的部署组装技术，基本达到听声辨位和真人大小的效果。但是这种多个视频会议终端集成的方式(通常在单个会场部署多个视频会议终端，需要对每个视频会议终端分别进行呼叫)在解决单一会议号呼叫、码流同步等方面有较大困难；更重要的是，多个终端集成使得系统部署十分复杂，必须专业的集成和部署人员才能完成，使用过程中出现细微问题都必须有专业人员进行现场维护，从而给远程呈现这种高端应用的推广造成很大障碍。且由于部分视频会议终端的功能并未在集成系统中完全被使用，因此会造成一定程度上的资源浪费。另外，由于集成方案的复杂和非标准化，这种方案也造成了不同厂商部署的远程呈现系统之间要实现互通也变得极其困难。
发明内容
有鉴于此，本发明的主要目的在于提供一种远程呈现方法、终端和系统，以解决现有远程呈现系统的部署复杂，且在解决单一会议号呼叫、码流同步方面存在较大困难的问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种远程呈现系统，该系统包括：远程呈现终端，以及与所述远程呈现终端相连的多路音频输入/输出设备、和/或多路视频输入/输出设备，还包括与所述远程呈现终端互通的远端端点；
所述远程呈现终端，具有多路音、视频输入/输出接口，连接所述多路音频输入/输出设备和/或多路视频输入/输出设备，用于与所述远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；还用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并基于建立的媒体逻辑通道，根据所述码流对应的输入/输出位置发送给所述远端端点，接收来自所述远端端点的多路音频和/或视频码流，进行解码并根据所述码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备进行播放；
所述多路音频输入设备，用于将采集的音频数据输入所述远程呈现终端；
所述多路视频输入设备，用于将采集的视频数据输入所述远程呈现终端；
所述多路音频输出设备，用于将远程呈现终端解码所得的音频数据输出；
所述多路视频输出设备，用于将远程呈现终端解码所得的视频数据输出；
所述远端端点，用于与所述远程呈现终端进行多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，建立媒体逻辑通道，并基于建立的媒体逻辑通道与所述远程呈现终端进行音频和/或视频码流的交互。
所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：
所述远程呈现终端向所述远端端点发送本端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。
所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；
各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。
所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；
不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。
所述远程呈现终端进一步用于，
根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；
根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
所述远程呈现终端进一步用于，对发送和/或接收的多路音频和/或视频码流进行同步处理。
所述远端端点为多点控制单元(MCU)或远端远程呈现终端。
本发明还提供了一种远程呈现终端，具有多路音、视频输入/输出接口，用于连接多路音频输入/输出设备和/或多路视频输入/输出设备，该终端包括：协议信令处理模块、媒体编解码模块和媒体传送模块；其中，
所述协议信令处理模块，用于与远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；
所述媒体编解码模块，用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并提供给所述媒体传送模块；对所述媒体传送模块提供的来自远端端点的音频和/或视频码流进行解码，并根据所述码流对应的输入/输出位置转给对应位置的音频输出设备和/或视频输出设备进行播放；
所述媒体传送模块，用于将所述码流根据对应的输入/输出位置发送给所述远端端点；接收来自所述远端端点的音频和/或视频码流，根据所述码流对应的输入/输出位置，提供给所述媒体编解码模块进行解码。
所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：
所述协议信令处理模块向所述远端端点发送本端远程呈现终端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。
所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；
各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。
所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；
不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。
所述协议信令处理模块进一步用于，
根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；
根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
所述媒体传送模块进一步用于，对发送和/或接收的多路音频和/或视频码流进行同步处理。
本发明还提供了一种远程呈现方法，远程呈现终端具有多路音、视频输入/输出接口，用于连接多路音频输入/输出设备和/或多路视频输入/输出设备，该方法包括：
远程呈现终端与远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；
所述远程呈现终端对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并基于建立的媒体逻辑通道，根据所述码流对应的输入/输出位置发送给所述远端端点；接收来自所述远端端点的多路音频和/或视频码流，进行解码并根据所述码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备进行播放。
所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：
所述远程呈现终端向所述远端端点发送本端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。
所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；
各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。
所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；
不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。
所述建立媒体逻辑通道，具体为：
根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；
根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
该方法进一步包括：所述远程呈现终端对发送和/或接收的多路音频和/或视频码流进行同步处理。
所述远端端点为MCU或远端远程呈现终端。
本发明所提供的一种远程呈现方法、终端和系统，由于一个远程呈现终端具备多路音频输入/输出接口、多路视频输入/输出接口，能够实现与多路音、视频输入/输出设备的相连，因此，对单一会场只需要部署一个远程呈现终端即可处理多路音、视频码流，部署简单，且能够实现单一会议号呼叫；由于对单一会场实现多路音、视频数据的采集，其数据来源更加精确，由于每路音、视频输入设备采集相对固定范围的数据，因此能够实现远程呈现系统所要求的听声辨位和真人大小的效果。
附图说明
图1为本发明实施例的一种远程呈现系统的结构示意图；
图2为本发明实施例一的一种远程呈现方法的码流接收流程的示意图；
图3为本发明实施例二的一种远程呈现方法的码流发送流程的示意图；
图4为本发明实施例三的一种远程呈现方法的码流接收流程的示意图；
图5为本发明实施例四的一种远程呈现方法的码流发送流程的示意图；
图6为本发明实施例的一种远程呈现方法的流程图。
具体实施方式
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
本发明所提供的一种远程呈现系统，如图1所示，主要包括：远程呈现终端，以及与远程呈现终端相连的多路音频输入/输出设备、和/或多路视频输入/输出设备，还包括与远程呈现终端互通的远端端点；
远程呈现终端，具有多路音、视频输入/输出接口，连接多路音频输入/输出设备和/或多路视频输入/输出设备，能完成多路音、视频码流的采集输入、编解码、输出播放、同步处理等；用于与远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；还用于对多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并基于建立的媒体逻辑通道，根据码流对应的输入/输出位置发送给远端端点，接收来自远端端点的多路音频和/或视频码流，进行解码并根据码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备进行播放；
多路音频输入设备，用于将音频采集终端所采集的音频数据输入远程呈现终端；
多路视频输入设备，用于将视频采集终端所采集的视频数据输入远程呈现终端；
多路音频输出设备，用于将远程呈现终端解码所得的音频数据输出到相应的音频设备进行播放；
多路视频输出设备，用于将远程呈现终端解码所得的视频数据输出到相应的视频设备进行播放；
远端端点，用于与远程呈现终端进行多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，建立媒体逻辑通道，并基于建立的媒体逻辑通道与远程呈现终端进行音频和/或视频码流的交互。
其中，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：远程呈现终端向远端端点发送本端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。
所述媒体逻辑通道包括发送通道和接收通道，其中，
可以多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；
各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息至少包括：码流类型、码流对应的输入位置信息和输出位置信息。
也可以多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；
不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。
进一步的，所述远程呈现终端还可用于，
根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；
根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
远程呈现终端进一步用于，对发送和/或接收的多路音频和/或视频码流进行同步处理。
较佳的，远程呈现终端可以进一步包括：协议信令处理模块、媒体编解码模块和媒体传送模块；其中，
协议信令处理模块，用于与远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；
媒体编解码模块，用于对多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并提供给媒体传送模块；对媒体传送模块提供的来自远端端点的音频和/或视频码流进行解码，并根据码流对应的输入/输出位置转给对应位置的音频输出设备和/或视频输出设备进行播放；
媒体传送模块，负责接收和发送多路音频和/或视频码流，用于将码流根据对应的输入/输出位置发送给远端端点；接收来自远端端点的音频和/或视频码流，根据码流对应的输入/输出位置，提供给媒体编解码模块进行解码。
所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：协议信令处理模块向远端端点发送本端远程呈现终端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。
所述协议信令处理模块进一步用于，
根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；
根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
媒体传送模块进一步用于，对发送和/或接收的多路音频和/或视频码流进行同步处理。
需要说明的是，在具体实施过程中，上述媒体编解码模块既可以作为远程呈现终端的内部结构进行部署，也可以作为远程呈现终端的外接组件进行部署，无论采用何种部署方式，其媒体编解码模块所实现的功能是相同的。
另外，所述远端端点可以为多点控制单元(MCU，Multipoint Control Unit)或远端远程呈现终端。远程呈现终端与作为远端端点的MCU交互，以及与作为远端端点的远端远程呈现终端交互时，其远程呈现终端在实现功能上没有区别。
较佳的，图1所示的系统中还可以包括：与远程呈现终端相连的中控系统，该中控系统用于提供用户操作界面(发起呼叫等等)，实现与用户的交互。
下面结合图1所示的系统，以多路音频码流分别通过不同的接收通道接收，且多路视频码流也分别通过不同的接收通道接收为例，对本发明实施例一的一种远程呈现方法的码流接收流程进行详细阐述，如图2所示，该流程主要包括：
步骤201，远程呈现终端建立与远端端点之间的呼叫，协议信令处理模块负责信令交互、多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
首先组建远程呈现系统，至少包括一远程呈现终端和多个音、视频输入/输出设备；所述远程呈现终端分别有多路音频输入和多路音频输出接口，以及多路视频输入和多路视频输出接口；所述音、视频输入/输出设备分别与远程呈现终端的对应接口相连，所述对应是指媒体类型(音/视频)对应，以及设备的位置信息对应。所述远程呈现终端连接到网络并在网守Gatekeeper上进行注册，对外提供注册的端点ID号或IP地址。Gatekeeper是一种采用软交换方式的交换服务器，负责VoIP网路上的讯号交换及控制功能。
所述远程呈现终端建立与远端端点(可以是MCU或者远端的远程呈现终端)的连接，可以组建点对点会议或者多点会议，可以是所述远程呈现终端主动发起呼叫，也可以是所述远程呈现终端接受远端端点的呼叫。其中，呼叫连接包括：会话建立、远程呈现终端信息交互和媒体能力(编解码能力)协商。
媒体逻辑通道包括：发送通道和接收通道，本实施例中特指接收通道。接收通道的建立过程包括：远端端点发送打开逻辑通道消息给本端终端，携带远端的发送地址(IP地址和端口号)，协商后的媒体编解码能力，输入设备的位置信息；本端的远程呈现终端向远端端点回复确认消息，携带本端的接收地址(IP地址和端口号)，输出设备的位置信息。通道信息包括该媒体逻辑通道对应的发送和接收地址，媒体编解码能力，音频和/或视频输入设备的位置信息，以及音频和/或视频设备输出的位置信息，传输通道标识等等。
其中，多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；
不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。
步骤202，远程呈现终端的媒体传送模块通过建立的接收通道分别接收远端端点的多路码流，并解析每一路码流通道对应的输出设备的位置信息，码流转交给媒体编解码模块进行解码。
远程呈现终端的媒体传送模块通过上述建立的媒体接收逻辑通道接收远端端点发送的码流，根据需要选择解析码流区分信息(如码流类型、位置信息等等)，解析每一路码流通道对应的输出设备的位置信息，并转交给媒体编解码模块进行解码。
步骤203，远程呈现终端的媒体编解码模块对接收到的多路音频和/或视频码流分别进行解码，并根据其位置信息输出到相应的音频/视频播放设备。
下面再结合图1所示的系统，以多路音频码流分别通过不同的发送通道发送，且多路视频码流也分别通过不同的发送通道发送为例，对本发明实施例二的一种远程呈现方法的码流发送流程进行详细阐述，如图3所示，该流程主要包括：
步骤301，远程呈现终端建立与远端端点之间的呼叫，协议信令处理模块负责信令交互、多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道。
具体操作与步骤201中类似，此处不再赘述。本实施例中的媒体逻辑通道特指发送通道。媒体逻辑通道的建立过程包括：
本端远程呈现终端携带发送地址(IP地址和端口号)，协商后的媒体编解码能力，输入设备的位置信息给远端端点；远端端点向本端回复远端的接收地址(IP地址和端口号)，输出设备的位置信息。所述通道信息包括该媒体逻辑通道对应的发送和接收地址，媒体编解码能力，音频和/或视频输入设备的位置信息，以及音频和/或视频设备输出的位置信息，通道标识等等。
步骤302，远程呈现终端所连接的音、视频输入设备分别采集媒体数据，并根据输入设备的位置信息提交给媒体编解码模块对应的编码器进行编码，转交给媒体传送模块。
远程呈现终端所连接的外部音频和/或视频设备采集音视频码流，由媒体编解码模块根据协商的媒体能力进行编码，并转交给媒体传送模块由上述建立的相应的媒体发送逻辑通道进行发送，根据需要选择携带码流区分信息(如码流类型、位置信息等等)。
步骤303，远程呈现终端的媒体传送模块将编码后的多路码流根据位置信息分别通过相应的发送通道进行发送。
根据建立的不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息的对应关系，远程呈现终端的媒体传送模块根据码流对应的输入设备的位置信息，选择对应的发送通道进行发送。
在会议结束时，需要先关闭各媒体逻辑通道，然后远程呈现终端完成与远端端点之间的会话拆除。
下面再结合图1所示的系统，以多路音频码流通过一个接收通道接收，且多路视频码流通过一个接收通道接收为例，对本发明实施例三的一种远程呈现方法的码流接收流程进行详细阐述，如图4所示，该流程主要包括：
步骤401，远程呈现终端建立与远端端点之间的呼叫，协议信令处理模块负责信令交互、多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，根据协商的媒体编解码能力建立接收通道。
该实施例中，远程呈现终端与远端端点之间只建立一个发送、接收通道，用于发送、接收音频码流，并只建立一个发送、接收通道，用于发送、接收视频码流。
步骤402，远程呈现终端通过建立的接收通道接收远端端点的码流，媒体传送模块解析码流中的数据包头信息，得到码流类型、以及码流对应的输入位置信息和输出位置信息。
步骤403，远程呈现终端的媒体编解码模块对接收到的音频和/或视频码流分别进行解码，并根据其位置信息输出到相应的音频/视频播放设备进行播放。
下面再结合图1所示的系统，以多路音频码流通过一个发送通道发送，且多路视频码流通过一个发送通道发送为例，对本发明实施例四的一种远程呈现方法的码流接收流程进行详细阐述，如图5所示，该流程主要包括：
步骤501，远程呈现终端建立与远端端点之间的呼叫，协议信令处理模块负责信令交互、多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，根据协商的媒体编解码能力建立发送通道。
该实施例中，远程呈现终端与远端端点之间只建立一个发送、接收通道，用于发送、接收音频码流，并只建立一个发送、接收通道，用于发送、接收视频码流。
步骤502，远程呈现终端所连接的音、视频输入设备分别采集媒体数据，通过媒体编解码模块进行编码后，转交给媒体传送模块。
步骤503，远程呈现终端的媒体传送模块将编码后的码流携带数据包头信息后，通过建立的发送通道进行发送。
包头信息至少包括：码流类型、码流对应的输入位置信息和输出位置信息。
需要说明的是，在本发明的实施例中还可以包括多路音频码流混成一路通过一个发送通道发送，一个接收通道接收，而多路视频码流通过多个发送通道分别发送，多个接收通道分别接收的情况；以及多路视频码流混成一路通过一个发送通道发送，一个接收通道接收，而多路音频码流通过多个发送通道分别发送，多个接收通道分别接收的情况。其通过一个发送通道发送，一个接收通道接收的实现方式与上述图5和图4所示的操作类似；通过多个发送通道分别发送，多个接收通道分别接收的实现方式与上述图3和图2所示的操作类似。此处不再赘述。
下面以三路音、视频输入/输出接口为例，对本发明的远程呈现方法进一步详细说明。组建本实施例的远程呈现终端系统，至少包括一个远程呈现终端和多个音、视频输入/输出设备，所述远程呈现终端分别有三路音频输入和三路音频输出接口，以及三路视频输入和三路视频输出接口，将所述的音频、视频输入/输出设备分别与所述远程呈现终端正确位置的接口相连。该实施例中，多路音、视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收，如图6所示，具体流程包括：
步骤601，远程呈现终端(即本端终端)连接到网络并通过H.225RAS协议在注册服务器Gatekeeper上进行注册，对外提供注册的H.323ID号或者IP地址。
步骤602，远程呈现终端通过H.225协议建立与远端端点(可以是MCU或者远程呈现终端)的连接，可以是点对点会议或者多点会议，可以是所述远程呈现终端主动发起呼叫，也可以是所述远程呈现终端接受远端端点的呼叫。呼叫信令中携带所述远程呈现终端的IP地址和/或H.323ID号。
步骤603，本端终端与远端端点建立H.225呼叫连接后，本端终端构建本端的能力集并向远端端点发送能力集，接收远端的反馈信息。所述能力集包括三路输出音频的解码能力和参数，与外部音频输出设备相连的接口位置，比如分别用1、2、3表示左路音频输出、中路音频输出、右路音频输出；三路输出视频的解码能力和参数，与外部视频输出设备相连的接口位置。例如：在H.245的终端能力集(terminalCapabilitySet)消息结构中增加左、中、右路音频描述符，左、中、右路视频的描述符，并约定不同值对应不同的类型和位置，如1、2、3分别表示左、中、右路音频，4、5、6分别表示左、中、右路视频。
步骤604，本端终端接收远端端点的能力集，并进行反馈。如：远端端点支持三路视频解码输出，包括H.264、H.263解码；支持三路音频输出，包括G.711、G.728解码，根据远端端点的能力集中携带的外部音/或视频输出设备相连的接口位置、以及本端终端连接的外部音/或视频输入设备接口位置确定能力协商结果，协商后本端左侧音频输入接口的码流用G.711编码发给远端端点左侧音频接口输出，本端左侧视频输入接口的码流用H.264编码发给远端端点左侧视频接口输出，同样建立起本端中路、右路音视频与远端端点之间的输出接口位置对应关系。
步骤605，本端终端建立到远端端点的发送通道。本端终端根据远端端点发送的能力集及本端的能力集，包括媒体编解码能力、待建立通道对应的远端媒体输出位置以及本端终端媒体输入位置，确定通道的发送地址、通道标识、媒体输出位置信息，通过H.245openLogicalChannel(打开逻辑通道)消息打开媒体逻辑通道，其中至少需要携带该通道发送地址(IP地址和端口号，如10.11.12.13:10200)、编码类型和参数(如G.711a音频)、通道标识号(如通道号为2标识左路发送音频)、本端媒体输入位置(如位置1表示左路音频输入)。远端端点接收到该消息后，用H.245openLogicalChannelAck(打开逻辑通道确认)消息回复，其中至少携带该通道的标识号、接收地址(IP地址和端口号，如10.11.12.14:5058)、对应的音频输出设备接口位置标识(如位置7表示左路音频输出)。
步骤606，本端终端建立接收远端端点码流的媒体逻辑通道。本端终端接收远端端点的H.245openLogicalChannel消息，根据通道信息中的媒体能力(如H.264)和输入位置信息(如位置4表示左路视频输入)，以及本端媒体输出位置信息，确定本端终端的接收地址并反馈openLogicalChannelAck消息，其中至少包括上述接收地址(如10.11.12.13:10206)、本端媒体输出位置信息(如位置10表示左路视频输出)。同时，本端终端记录该通道信息，至少包括通道标识、媒体能力和媒体输入输出位置信息。
步骤607，本端终端分别与远端端点之间通过上述建立的媒体逻辑通道传输多路码流。
包括发送码流，本端终端所连接的音频或视频输入设备分别采集音视频数据，并由媒体编解码模块进行编码，然后交给媒体传送模块，根据设备接口的位置与媒体逻辑通道的对应关系，分别通过上述建立的对应媒体逻辑通道发送码流；
接收码流，本端终端媒体传送模块接收到远端端点发送的码流，根据媒体逻辑通道对应的输出设备位置信息，交给媒体编解码模块对应的解码器进行解码，并输出到对应接口位置的外部音频或视频输出设备进行播放。
步骤608，结束会议时，本端终端先关闭媒体逻辑通道并停止媒体的收发，最后完成会话拆除。
对于多路音频码流通过一个发送通道发送，一个接收通道接收，且多路视频码流通过一个发送通道发送，一个接收通道接收的情况，其远程呈现方法的操作流程与图6所示的流程类似。只是，在建立媒体逻辑通道时，根据协商的媒体编解码能力建立一个音频码流的发送和接收通道，一个视频码流的发送和接收通道；在码流传输时，各路音频码流通过同一个媒体逻辑通道传输，各路视频码流通过同一个媒体逻辑通道传输，且各路音频和/或视频码流通过数据包头信息进行区分，本端的远程呈现终端和远端端点在接收到码流后，通过解析数据包头信息，将对应的码流发送到对应位置音频输出设备和/或多路视频输出进行播放。
综上所述，本发明由于一个远程呈现终端具备多路音频输入/输出接口、多路视频输入/输出接口，能够实现与多路音、视频输入/输出设备的相连，因此，对单一会场只需要部署一个远程呈现终端即可处理多路音、视频码流，部署简单，且能够实现单一会议号呼叫；由于对单一会场实现多路音、视频数据的采集，其数据来源更加精确，由于每路音、视频输入设备采集相对固定范围的数据，因此能够实现远程呈现系统所要求的听声辨位和真人大小的效果。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (20)

1.一种远程呈现系统，其特征在于，该系统包括：远程呈现终端，以及与所述远程呈现终端相连的多路音频输入/输出设备、和/或多路视频输入/输出设备，还包括与所述远程呈现终端互通的远端端点；
所述远程呈现终端，具有多路音、视频输入/输出接口，连接所述多路音频输入/输出设备和/或多路视频输入/输出设备，用于与所述远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；还用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并基于建立的媒体逻辑通道，根据所述码流对应的输入/输出位置发送给所述远端端点，接收来自所述远端端点的多路音频和/或视频码流，进行解码并根据所述码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备进行播放；
所述多路音频输入设备，用于将采集的音频数据输入所述远程呈现终端；
所述多路视频输入设备，用于将采集的视频数据输入所述远程呈现终端；
所述多路音频输出设备，用于将远程呈现终端解码所得的音频数据输出；
所述多路视频输出设备，用于将远程呈现终端解码所得的视频数据输出；
所述远端端点，用于与所述远程呈现终端进行多路音频和/或视频码流输入/输出位置信息交互和媒体能力协商，建立媒体逻辑通道，并基于建立的媒体逻辑通道与所述远程呈现终端进行音频和/或视频码流的交互。
2.根据权利要求1所述远程呈现系统，其特征在于，所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：
所述远程呈现终端向所述远端端点发送本端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。
3.根据权利要求1所述远程呈现系统，其特征在于，所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；
各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。
4.根据权利要求1所述远程呈现系统，其特征在于，所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；
不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。
5.根据权利要求4所述远程呈现系统，其特征在于，所述远程呈现终端进一步用于，
根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；
根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
6.根据权利要求1所述远程呈现系统，其特征在于，所述远程呈现终端进一步用于，对发送和/或接收的多路音频和/或视频码流进行同步处理。
7.根据权利要求1至6任一项所述远程呈现系统，其特征在于，所述远端端点为多点控制单元(MCU)或远端远程呈现终端。
8.一种远程呈现终端，其特征在于，具有多路音、视频输入/输出接口，用于连接多路音频输入/输出设备和/或多路视频输入/输出设备，该终端包括：协议信令处理模块、媒体编解码模块和媒体传送模块；其中，
所述协议信令处理模块，用于与远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；
所述媒体编解码模块，用于对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并提供给所述媒体传送模块；对所述媒体传送模块提供的来自远端端点的音频和/或视频码流进行解码，并根据所述码流对应的输入/输出位置转给对应位置的音频输出设备和/或视频输出设备进行播放；
所述媒体传送模块，用于将所述码流根据对应的输入/输出位置发送给所述远端端点；接收来自所述远端端点的音频和/或视频码流，根据所述码流对应的输入/输出位置，提供给所述媒体编解码模块进行解码。
9.根据权利要求8所述远程呈现终端，其特征在于，所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：
所述协议信令处理模块向所述远端端点发送本端远程呈现终端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。
10.根据权利要求8所述远程呈现终端，其特征在于，所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；
各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。
11.根据权利要求8所述远程呈现终端，其特征在于，所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；
不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。
12.根据权利要求11所述远程呈现终端，其特征在于，所述协议信令处理模块进一步用于，
根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；
根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
13.根据权利要求8所述远程呈现终端，其特征在于，所述媒体传送模块进一步用于，对发送和/或接收的多路音频和/或视频码流进行同步处理。
14.一种远程呈现方法，其特征在于，远程呈现终端具有多路音、视频输入/输出接口，用于连接多路音频输入/输出设备和/或多路视频输入/输出设备，该方法包括：
远程呈现终端与远端端点之间建立会话，进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商，并建立媒体逻辑通道；
所述远程呈现终端对所述多路音频输入设备和/或多路视频输入设备的输入码流进行编码，并基于建立的媒体逻辑通道，根据所述码流对应的输入/输出位置发送给所述远端端点；接收来自所述远端端点的多路音频和/或视频码流，进行解码并根据所述码流对应的输入/输出位置转给自身对应位置的音频输出设备和/或视频输出设备进行播放。
15.根据权利要求14所述远程呈现方法，其特征在于，所述进行多路音频和/或视频码流输入/输出位置信息交互以及媒体能力协商包括：
所述远程呈现终端向所述远端端点发送本端的能力集，其中包括本端的媒体编解码能力和本端远程呈现终端的音、视频码流输入/输出位置信息；接收所述远端端点的能力集，其中包括远端的媒体编解码能力和音、视频码流输入/输出位置信息。
16.根据权利要求14所述远程呈现方法，其特征在于，所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流通过一个发送通道发送，并通过一个接收通道接收；和/或，多路视频码流通过一个发送通道发送，并通过一个接收通道接收；
各路音频和/或视频码流通过数据包头信息进行区分，所述包头信息包括：码流类型、码流对应的输入位置信息和输出位置信息。
17.根据权利要求14所述远程呈现方法，其特征在于，所述媒体逻辑通道包括发送通道和接收通道，其中，
多路音频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；和/或，多路视频码流分别通过不同的发送通道发送，并通过不同的接收通道接收；
不同的发送通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系；不同的接收通道分别与各路音频和/或视频码流的类型、以及输入/输出位置信息建立对应关系。
18.根据权利要求17所述远程呈现方法，其特征在于，所述建立媒体逻辑通道，具体为：
根据协商的媒体编解码能力，本端的发送地址和远端的接收地址，待建立通道对应的远端音频或视频码流输出位置信息，以及本端音频或视频码流输入位置信息，建立发送通道；
根据协商的媒体编解码能力，远端的发送地址和本端的接收地址，待建立通道对应的远端音频或视频码流输入位置信息，以及本端的音频或视频码流输出位置信息，建立接收通道。
19.根据权利要求14所述远程呈现方法，其特征在于，该方法进一步包括：所述远程呈现终端对发送和/或接收的多路音频和/或视频码流进行同步处理。
20.根据权利要求14至19任一项所述远程呈现方法，其特征在于，所述远端端点为MCU或远端远程呈现终端。
CN201110191493.8A 2011-07-08 2011-07-08 一种远程呈现方法、终端和系统 Active CN102868873B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110191493.8A CN102868873B (zh) 2011-07-08 2011-07-08 一种远程呈现方法、终端和系统
US14/130,475 US9172912B2 (en) 2011-07-08 2012-03-21 Telepresence method, terminal and system
EP12784928.9A EP2731330A4 (en) 2011-07-08 2012-03-21 TELEPRESENCE METHOD AND DEVICE AND SYSTEM THEREFOR
PCT/CN2012/072751 WO2012155660A1 (zh) 2011-07-08 2012-03-21 一种远程呈现方法、终端和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110191493.8A CN102868873B (zh) 2011-07-08 2011-07-08 一种远程呈现方法、终端和系统

Publications (2)

Publication Number Publication Date
CN102868873A true CN102868873A (zh) 2013-01-09
CN102868873B CN102868873B (zh) 2017-10-17

Family

ID=47176253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110191493.8A Active CN102868873B (zh) 2011-07-08 2011-07-08 一种远程呈现方法、终端和系统

Country Status (4)

Country Link
US (1) US9172912B2 (zh)
EP (1) EP2731330A4 (zh)
CN (1) CN102868873B (zh)
WO (1) WO2012155660A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103369292A (zh) * 2013-07-03 2013-10-23 华为技术有限公司 一种呼叫处理方法及网关
WO2014176965A1 (zh) * 2013-09-29 2014-11-06 中兴通讯股份有限公司 能力协商处理方法、装置及远程呈现端点
WO2014190811A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190812A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104219487A (zh) * 2013-06-01 2014-12-17 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104519305A (zh) * 2013-09-29 2015-04-15 中兴通讯股份有限公司 端点信息交互处理方法、装置及远程呈现端点
WO2016050071A1 (zh) * 2014-09-29 2016-04-07 中兴通讯股份有限公司 端点能力集的配置方法及装置
CN106303551A (zh) * 2015-05-18 2017-01-04 阿里巴巴集团控股有限公司 一种视频采集方法及相关设备与系统
CN107911361A (zh) * 2017-11-14 2018-04-13 网易（杭州）网络有限公司 支持多会话的语音管理方法、装置、终端设备及存储介质
CN113079357A (zh) * 2021-04-08 2021-07-06 天地伟业技术有限公司 一种实现音视频交互的编码器及系统
CN113890659A (zh) * 2021-03-17 2022-01-04 广州市保伦电子有限公司 一种基于管道的音频广播方法
CN114422739A (zh) * 2021-12-23 2022-04-29 海能达通信股份有限公司 基于媒体能力优化链路的方法、装置及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868873B (zh) * 2011-07-08 2017-10-17 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
US9215406B2 (en) * 2013-03-14 2015-12-15 Polycom, Inc. Immersive telepresence anywhere
CN105530450A (zh) * 2014-10-24 2016-04-27 上海良相智能化工程有限公司 一种智能可视电话摄像机
US11064453B2 (en) * 2016-11-18 2021-07-13 Nokia Technologies Oy Position stream session negotiation for spatial audio applications
CN106454276A (zh) * 2016-11-30 2017-02-22 拾联（厦门）信息科技有限公司 一种音视频集成装置及集成视频监控系统
JP2022051975A (ja) * 2019-02-12 2022-04-04 ソニーグループ株式会社 情報処理装置および情報処理方法
CN112689118B (zh) * 2020-12-29 2023-12-08 厦门亿联网络技术股份有限公司 一种多屏网真终端的数据传输方法和装置
CN113259690A (zh) * 2021-07-05 2021-08-13 人民法院信息技术服务中心 一种跨网系的音视频实时在线协同系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883197A (zh) * 2003-11-14 2006-12-20 坦德伯格电信公司 分布式实时媒体创作器
US20080246834A1 (en) * 2007-03-16 2008-10-09 Tandberg Telecom As Telepresence system, method and computer program product
US20080273078A1 (en) * 2007-05-01 2008-11-06 Scott Grasley Videoconferencing audio distribution

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5335011A (en) * 1993-01-12 1994-08-02 Bell Communications Research, Inc. Sound localization system for teleconferencing using self-steering microphone arrays
US6037970A (en) 1996-04-05 2000-03-14 Sony Corporation Videoconference system and method therefor
SE521936C2 (sv) * 1996-06-26 2003-12-23 Telia Ab Metod för att effektivt använda bandbredd vid tillhandahållande av tjänster via ett digitalt cellulärt radiokommunikationssystem
JP2001111627A (ja) * 1999-10-04 2001-04-20 Toshiba Corp 通信システムおよび通信路結合方法
US6590604B1 (en) * 2000-04-07 2003-07-08 Polycom, Inc. Personal videoconferencing system having distributed processing architecture
US8948059B2 (en) * 2000-12-26 2015-02-03 Polycom, Inc. Conference endpoint controlling audio volume of a remote device
US7765302B2 (en) * 2003-06-30 2010-07-27 Nortel Networks Limited Distributed call server supporting communication sessions in a communication system and method
US7606181B1 (en) * 2003-06-30 2009-10-20 Nortel Networks Limited Apparatus, method, and computer program for processing audio information of a communication session
ATE344583T1 (de) * 2003-07-21 2006-11-15 France Telecom Zugriffsregelung für eine multimedia-sitzung gemäss netzwerk-betriebsmittelverfügbarkeit
US8819128B2 (en) * 2003-09-30 2014-08-26 Apple Inc. Apparatus, method, and computer program for providing instant messages related to a conference call
US8996619B1 (en) * 2004-03-31 2015-03-31 Apple Inc. Apparatus, method, and computer program for controlling a target device using instant messages
US8599239B2 (en) * 2004-04-21 2013-12-03 Telepresence Technologies, Llc Telepresence systems and methods therefore
US7612793B2 (en) 2005-09-07 2009-11-03 Polycom, Inc. Spatially correlated audio in multipoint videoconferencing
US8305422B2 (en) * 2005-11-08 2012-11-06 Sharp Kabushiki Kaisha Communication device, communication method, communication system, program, and computer-readable storage medium
US8760485B2 (en) 2006-03-02 2014-06-24 Cisco Technology, Inc. System and method for displaying participants in a videoconference between locations
US8072481B1 (en) * 2006-03-18 2011-12-06 Videotronic Systems Telepresence communication system
US7710448B2 (en) * 2006-04-20 2010-05-04 Cisco Technology, Inc. System and method for preventing movement in a telepresence system
US20070250567A1 (en) * 2006-04-20 2007-10-25 Graham Philip R System and method for controlling a telepresence system
US7679639B2 (en) * 2006-04-20 2010-03-16 Cisco Technology, Inc. System and method for enhancing eye gaze in a telepresence system
US7692680B2 (en) * 2006-04-20 2010-04-06 Cisco Technology, Inc. System and method for providing location specific sound in a telepresence system
EP2151122B1 (en) * 2007-02-14 2014-01-22 Teliris, Inc. Telepresence conference room layout, dynamic scenario manager, diagnostics and control system and method
US8237769B2 (en) * 2007-09-21 2012-08-07 Motorola Mobility Llc System and method of videotelephony with detection of a visual token in the videotelephony image for electronic control of the field of view
US8289362B2 (en) * 2007-09-26 2012-10-16 Cisco Technology, Inc. Audio directionality control for a multi-display switched video conferencing system
JP5036527B2 (ja) 2007-12-27 2012-09-26 パナソニック株式会社 接続装置および接続方法
US8577011B1 (en) * 2008-01-09 2013-11-05 Shoretel, Inc. Distributed call pickup group for VoIP system
GB0905317D0 (en) * 2008-07-14 2009-05-13 Musion Ip Ltd Video processing and telepresence system and method
US8649426B2 (en) * 2008-09-18 2014-02-11 Magor Communications Corporation Low latency high resolution video encoding
NO332009B1 (no) * 2008-12-12 2012-05-21 Cisco Systems Int Sarl Fremgangsmate for a igangsette kommunikasjonsforbindelser
NO329739B1 (no) * 2008-12-23 2010-12-13 Tandberg Telecom As Fremgangsmate, anordning og dataprogram for a prosessere bilder i en konferanse mellom et flertall av videokonferanseterminaler
WO2011038226A2 (en) * 2009-09-24 2011-03-31 Getthere L.P. Collaboration and travel ecosystem
CN102223201B (zh) * 2010-04-15 2014-01-01 中兴通讯股份有限公司 一种编解码器能力协商方法及终端
CN101883317A (zh) * 2010-05-18 2010-11-10 中兴通讯股份有限公司 移动终端及用户位置通知方法
US8928659B2 (en) * 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
CN102655584B (zh) * 2011-03-04 2017-11-24 中兴通讯股份有限公司 一种远程呈现技术中媒体数据发送和播放的方法及系统
CN102868873B (zh) * 2011-07-08 2017-10-17 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
CN102868880B (zh) * 2011-07-08 2017-09-05 中兴通讯股份有限公司 一种基于远程呈现的媒体传输方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883197A (zh) * 2003-11-14 2006-12-20 坦德伯格电信公司 分布式实时媒体创作器
US20080246834A1 (en) * 2007-03-16 2008-10-09 Tandberg Telecom As Telepresence system, method and computer program product
US20080273078A1 (en) * 2007-05-01 2008-11-06 Scott Grasley Videoconferencing audio distribution

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104219483B (zh) * 2013-06-01 2019-10-25 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置
CN104219487B (zh) * 2013-06-01 2019-05-07 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190811A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
WO2014190812A1 (zh) * 2013-06-01 2014-12-04 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104219483A (zh) * 2013-06-01 2014-12-17 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104219487A (zh) * 2013-06-01 2014-12-17 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104219486A (zh) * 2013-06-01 2014-12-17 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置、数据流
CN104219486B (zh) * 2013-06-01 2019-05-17 中兴通讯股份有限公司 远程呈现端点的能力交互方法及装置
US10291882B2 (en) * 2013-07-03 2019-05-14 Huawei Technologies Co., Ltd. Call processing method and gateway
WO2015000303A1 (zh) * 2013-07-03 2015-01-08 华为技术有限公司 一种呼叫处理方法及网关
US11290685B2 (en) 2013-07-03 2022-03-29 Huawei Technolgoies Co., Ltd. Call processing method and gateway
CN103369292B (zh) * 2013-07-03 2016-09-14 华为技术有限公司 一种呼叫处理方法及网关
CN103369292A (zh) * 2013-07-03 2013-10-23 华为技术有限公司 一种呼叫处理方法及网关
CN104519305A (zh) * 2013-09-29 2015-04-15 中兴通讯股份有限公司 端点信息交互处理方法、装置及远程呈现端点
EP3051766A4 (en) * 2013-09-29 2016-10-05 Zte Corp METHOD AND DEVICE FOR PROCESSING CAPACITY TREATMENT AND TELEPRESCENT POINT
CN104519023A (zh) * 2013-09-29 2015-04-15 中兴通讯股份有限公司 能力协商处理方法、装置及远程呈现端点
WO2014176965A1 (zh) * 2013-09-29 2014-11-06 中兴通讯股份有限公司 能力协商处理方法、装置及远程呈现端点
WO2016050071A1 (zh) * 2014-09-29 2016-04-07 中兴通讯股份有限公司 端点能力集的配置方法及装置
CN106303551A (zh) * 2015-05-18 2017-01-04 阿里巴巴集团控股有限公司 一种视频采集方法及相关设备与系统
CN107911361A (zh) * 2017-11-14 2018-04-13 网易（杭州）网络有限公司 支持多会话的语音管理方法、装置、终端设备及存储介质
CN107911361B (zh) * 2017-11-14 2020-05-08 网易（杭州）网络有限公司 支持多会话的语音管理方法、装置、终端设备及存储介质
CN113890659A (zh) * 2021-03-17 2022-01-04 广州市保伦电子有限公司 一种基于管道的音频广播方法
CN113079357A (zh) * 2021-04-08 2021-07-06 天地伟业技术有限公司 一种实现音视频交互的编码器及系统
CN114422739A (zh) * 2021-12-23 2022-04-29 海能达通信股份有限公司 基于媒体能力优化链路的方法、装置及存储介质

Also Published As

Publication number Publication date
US20140146129A1 (en) 2014-05-29
CN102868873B (zh) 2017-10-17
EP2731330A1 (en) 2014-05-14
EP2731330A4 (en) 2015-04-15
US9172912B2 (en) 2015-10-27
WO2012155660A1 (zh) 2012-11-22

Similar Documents

Publication Publication Date Title
CN102868873B (zh) 一种远程呈现方法、终端和系统
CN102868880B (zh) 一种基于远程呈现的媒体传输方法及系统
KR100880150B1 (ko) 멀티 포인트 화상회의 시스템 및 해당 미디어 프로세싱방법
US9888046B2 (en) Systems, methods and media for identifying and associating user devices with media cues
US7417959B2 (en) Audio/video-conferencing using content based messaging
CN104365088B (zh) 用于视频图像分享和控制的方法、系统及介质
EP1526732B1 (en) Audio/video- conferencing with presence-information using content based messaging
US8649300B2 (en) Audio processing method, system, and control server
CN100562094C (zh) 一种会议电视系统中的多画面远端摄像机遥控方法
CN101478642A (zh) 视频会议系统的多画面混图方法及装置
WO2007140668A1 (fr) procédé et appareil pour réaliser une surveillance à distance dans un système de téléconférence
US9438857B2 (en) Video conferencing system and multi-way video conference switching method
WO2015127799A1 (zh) 协商媒体能力的方法和设备
US7551573B2 (en) Method and system for maintaining video connectivity
CN102239691A (zh) 用于创建通信会话的方法
US9013537B2 (en) Method, device, and network systems for controlling multiple auxiliary streams
US11102451B2 (en) Videoconferencing server for providing multi-screen videoconferencing by using a plurality of videoconferencing terminals and method therefor
CN113726534A (zh) 会议控制方法、装置、电子设备及存储介质
KR20160016655A (ko) 다자간 멀티미디어 공유 서비스 제공 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant