CN102655584A - 一种远程呈现技术中媒体数据发送和播放的方法及系统 - Google Patents

一种远程呈现技术中媒体数据发送和播放的方法及系统 Download PDF

Info

Publication number
CN102655584A
CN102655584A CN2011100533445A CN201110053344A CN102655584A CN 102655584 A CN102655584 A CN 102655584A CN 2011100533445 A CN2011100533445 A CN 2011100533445A CN 201110053344 A CN201110053344 A CN 201110053344A CN 102655584 A CN102655584 A CN 102655584A
Authority
CN
China
Prior art keywords
data
bit stream
video
audio
multichannel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011100533445A
Other languages
English (en)
Other versions
CN102655584B (zh
Inventor
叶小阳
王东
阳彦字
彭远疆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201110053344.5A priority Critical patent/CN102655584B/zh
Priority to US14/001,762 priority patent/US9363474B2/en
Priority to PCT/CN2011/082884 priority patent/WO2012119465A1/zh
Publication of CN102655584A publication Critical patent/CN102655584A/zh
Priority to US15/159,651 priority patent/US9532000B2/en
Application granted granted Critical
Publication of CN102655584B publication Critical patent/CN102655584B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种远程呈现技术中媒体数据发送的方法及系统，通过采集与坐席相对应的视频或音频数据，对采集到的数据分别进行处理，得到根据采集位置区分的多路码流数据和对应的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。本发明还公开了一种远程呈现技术中媒体数据播放的方法及系统，通过上述方法和系统，能够在数据传输的过程中直接标识相应的采集位置，即对应的播放位置，使得接收端的与会者可以体验到听声辨位，身临其境的感受。进一步的，有效解决了多路音频或视频数据之间的同步问题。

Description

一种远程呈现技术中媒体数据发送和播放的方法及系统
技术领域
本发明涉及视频会议技术，特别是指一种远程呈现技术中媒体数据发送和播放的方法及系统。
背景技术
远程呈现(telepresence)是一种高级的远程会议系统。远程呈现以其真实的临场感深受高端用户的喜爱，在远程呈现系统中，听声辨位、真身大小、眼神交流直接关系到用户是否能够有身临其境的感受，因此是衡量远程呈现系统非常重要的技术指标。在传统视频会议系统中，每个会场听到的声音是整个会议中前几个声音最大的会场混音叠加后的声音，每个会场声音的输入源和输出只有一个，用户无法感受到声音从会场的哪个方位发出。
在远程呈现会议系统中，各个会场有的是单屏会场有的是多屏会场。多屏会场中，每个屏幕显示一处坐席与会者的图像，相应的每处坐席与会者对应了一路音频输入。如果要达到听声辨位的效果，在多屏会场中，发言者图像显示在会场哪个屏，声音即从该屏所在方位发出，即实现声音跟随图像。例如三屏会场中，左席发言，那么应该听到声音从左侧发出；中席发言，其应该听到声音从中间发出；右席发言，与会人员应该听到声音从右侧发出。
这种情况下，不同方位的音频输入输出，需要区别对待进行不同的混音，传统的单路音频混音方法显然不能满足这种情况。同时在单屏和多屏会场互通的多点会议中，单屏和多屏会场如何混音输出，同时不影响两个会场听声辨位的效果，也是需要解决的问题。进一步的，若采用多路码流分别传输的方式，则多路码流之间的严格同步非常困难，难以达到视频会议对音频的同步要求。
发明内容
有鉴于此，本发明的主要目的在于提供一种远程呈现技术中媒体数据发送和播放的方法及系统，解决了现有的电视会议系统中，采用多路码流分别传输的方式来传输媒体数据，不易实现音频同步或视频同步的问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明提供了一种远程呈现技术中媒体数据发送的方法，所述方法包括：
采集与坐席相对应的音频或视频数据，对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；
对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
其中，所述包含多路音频或视频的数据包，包括：数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携带多路码流数据的内容。
其中，所述对采集到的音频或视频数据分别进行处理，具体为：将每一个采集位置采集到的音频或视频数据都分别处理为一路码流数据。
本发明还提供了一种远程呈现技术中媒体数据播放的方法，所述方法包括：
接收端接收到包含多路音频或视频的数据包后，解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息；
将多路音频数据或视频数据，按照各路码流数据的采集位置信息所对应的播放位置输出完成播放。
其中，所述解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息，具体为：读取数据包头部分的码流标识得到码流数据的采集位置信息，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。
本发明还提供了一种远程呈现技术中媒体数据发送的系统，所述系统包括：一个或多个音视频采集设备、多路码流数据处理模块和多路码流数据传输模块，其中，
所述一个或多个音视频采集设备，用于分别采集与坐席相对应的音频或视频数据，将采集到的数据发送给多路码流数据处理模块；
所述多路码流数据处理模块，用于对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息，将多路码流数据和所述采集位置信息发送给多路码流数据传输模块；
所述多路码流数据传输模块，用于对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
其中，所述包含多路音频或视频的数据包，包括：数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携带多路码流数据的内容。
其中，所述多路码流数据处理模块对采集到的音频或视频数据分别进行处理，具体为：将每一个采集位置采集到的音频或视频数据都分别处理为一路码流数据。
本发明还提供了一种远程呈现技术中媒体数据播放的系统，所述系统包括：多个音视频播放设备、多路码流数据处理模块和多路码流数据传输模块，其中，
多路码流数据传输模块，用于接收并解析发送端的多路码流数据传输模块发送的包含多路音频或视频的数据包，将解析出的多路音频数据或视频数据，以及各路码流数据的采集位置信息，发送给接收端的多路码流数据处理模块；
多路码流数据处理模块，用于将多路音频数据或视频数据，发送给各路码流数据的采集位置信息所对应的音视频播放设备完成播放。
本发明所提供的远程呈现技术中媒体数据发送和播放的方法及系统，采集与坐席相对应的视频或音频数据，对采集到的视频或音频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。能够在数据传输的过程中直接标识相应的采集位置，即对应的播放位置，使得接收端的与会者可以体验到听声辨位，身临其境的感受。进一步的，也不需要另外进行音频同步或视频同步。
附图说明
图1为本发明一种远程呈现技术中媒体数据发送和播放的方法流程示意图；
图2为本发明所述包含多路音频或视频的数据包的结构示意图；
图3为在三个单屏会场与一个多屏会场组网时应用本发明通信的音频视频码流走向示意图；
图4为两个三个单屏会场组网时应用本发明通信的音频视频码流走向示意图；
图5为本发明一种远程呈现技术中媒体数据发送和播放的系统结构示意图。
具体实施方式
本发明的基本思想是：采集与坐席相对应的视频或音频数据，对采集到的视频或音频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
下面结合附图和具体实施例对本发明的技术方案进一步详细阐述。
图1为本发明一种远程呈现技术中媒体数据发送和播放的方法流程示意图，如图1所示，所述方法包括：
步骤101，采集与坐席相对应的音频或视频数据；
具体的，所述采集与坐席相对应的音频或视频数据，具体为：通过安装在不同采集位置上的视频采集设备和音频采集设备来完成。
步骤102，对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；
具体的，所述对采集到的音频或视频数据分别进行处理，具体为：将每一个采集位置采集到的视频或音频数据都分别处理为一路码流数据。其中，所述分别处理是根据采集位置的不同进行区分。例如：三屏会场中有左、中、右三个采集位置，针对左侧视频和音频采集设备采集到的数据，分别处理得到左侧视频码流数据和左侧音频码流数据，所述左侧音频码流数据即对应接收端播放的左声道；针对右侧视频和音频采集设备采集到的数据，分别处理得到右侧视频码流数据和右侧音频码流数据，所述右侧音频码流数据即对应接收端播放的右声道；针对中间视频和音频采集设备采集到的数据，分别处理得到中间视频码流数据和中间音频码流数据。其中，中间音频码流数据可以是对应接收端播放的中间声道，也可以同时对应接收端播放的左声道和右声道，对于与会者来说同时听到左右声道播放相同的声音，会感觉声音来自中间，即正前方。进一步的，针对多余3个屏幕的会场，则通过调整不同声道的音量大小，来体现音频数据的采集位置，原则上越接近于采集位置的声道的音量越大。
步骤103，对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
具体的，所述多路码流数据进行编码，具体为：根据传输协议对多路码流进行编码。所述包含多路音频或视频的数据包，包括：在数据包头部分为每一路的视频或音频数据添加码流标识，并且标明码流长度，然后将码流数据的具体内容添加到数据包体部分。其中，所述添加的码流标识，用于对应码流数据各自的采集位置。图2为本发明所述包含多路音频或视频的数据包的结构示意图，如图2所示，数据包头21中包含：码流1标识22、码流1长度23、码流2标识24、码流2长度25。数据包体26中包含：码流1数据27和码流2数据28。在本发明的包含多路音频或视频的数据包中可以为多路码流分别添加码流标识，并标明码流长度，这样可以将多路码流打包为一个包含多路音频或视频的数据包，使得多路码流同步的问题得到很好的解决。进一步的，由于添加了对应采集位置信息的码流标识，因此可以在接收端依据采集位置还原音频数据的播放位置，实现了听声辨位。
在步骤103之后，接收端为了播放所述包含多路音频或视频的数据包，本方法还包括：
步骤104，接收端接收到包含多路音频或视频的数据包后，解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息；
具体的，所述解析包含多路音频或视频的数据包，具体为：读取数据包头部分的码流标识得到码流数据的采集位置，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。
步骤105，将多路音频数据或视频数据，按照各路码流数据的采集位置信息所对应的播放位置输出完成播放。
具体的，将解析出的码流数据内容输出到会场中的对应的播放位置完成播放，则与会者可以得到听声辨位的体验。
图3为在三个单屏会场与一个多屏会场组网时应用本发明通信的音频视频码流走向示意图，如图3所示，3个单屏会场分别为：单屏会场31、单屏会场32和单屏会场33，所述三个单屏会场和1个三屏会场34进行组网，其中3个单屏会场的视频依次显示在三屏会场的左、中、右屏幕，各单屏会场可以选看三屏会场34的任一坐席视频。
首先三屏会场34中多个音频采集设备采集的音频码流，都输入到音频处理器设备，由音频处理器设备处理后分成左右两个声道的音频码流数据，再由负责三屏会场34的远程呈现多媒体终端对两个声道码流分别进行编码，并打包为包含多路音频的数据包进行发送。本实施例中以实时传送协议(Real-timeTransport Protocol，RTP)包结构为例，表1为包含多路音频或视频的数据包在RTP协议中的扩展结构。
Figure BDA0000048962080000071
表1
如表1所示，其中，标准的RTP头结构部分按照RFC3550定义的规范填充。扩展部分描述如下：
RTP H-Ext ID域用2个字节表示RTP扩展头标识，例如：赋值0x0011；
length域用2个字节表示扩展RTP头域的长度，一路码流的位置信息和长度一共占2个字节，因此通过填充和解析本域数值来获取后面一共含有几路码流；本实施例中以同一数据包中含左、右两路音频码流为例，因此length域的数值为4个字节；
posID1域用4个字节表示码流1的位置信息，例如：0001B表示左声道码流，0010B表示右声道码流，如果有多余2路码流可以用该域进行具体的区分；
length1表示posID1对应的码流的长度；
posID2域用4个字节表示码流2的位置信息；
length2表示posID2对应的码流的长度；
进一步的，表1中还有posID3和length3可以根据需要进一步扩展，来携带更多声道的音频数据码流。
RTP payload为数据体部分，按照posID1、posID2的顺序依次存放其对应的音频码流数据。
远程呈现系统多媒体终端按上述方式打包编码后的数据发送给多点处理单元(Multipoint Control Unit，MCU)35，由MCU35将包含多路音频的数据包发送给接收端。
3个单屏会场也可以按照上述方式编码打包各自的音频码流数据向MCU35发送；如果单屏会场没有音频处理器设备，可以由单屏会场各自的远程呈现系统多媒体终端直接发送左、右声道数据相同的包给MCU35。MCU35接收上述会场远程呈现系统多媒体终端发送的码流数据后，解析扩展的RTP数据包头可以获取各路码流数据对应的位置信息和码流长度，根据视频显示位置进行混音发送处理；例如本实施例中，MCU35把单屏会场31的音频码流数据混入到左声道数据中；单屏会场32的音频码流数据同时混入到左右声道数据中；单屏会场33的音频码流数据混入到右声道数据中，然后按照上述扩展的RTP数据包结构打包发送给三屏会场34的远程呈现系统多媒体终端。
MCU35把单屏会场32、单屏会场33、单屏会场34的音频码流数据中，左声道和右声道数据分别混音，然后按照上述扩展的RTP数据包结构发送码流给单屏会场31的远程呈现系统多媒体终端。单屏会场31的远程呈现系统多媒体终端接收数据包后解析出左、右声道码流位置信息和对应码流数据，分别解码，并把左、右声道数据分别通过音频处理器设备输出到左右音箱，达到听声辨位的效果。如果单屏会场只有一个音箱，则左右声道数据都输出到同一音箱。
MCU35把单屏会场31、单屏会场33、单屏会场34的音频码流数据中，左声道和右声道数据分别混音，然后按照上述扩展的RTP数据包结构发送码流给单屏会场32的远程呈现系统多媒体终端。单屏会场32的处理和上述单屏会场31处理方式相同。
MCU35把单屏会场31、单屏会场32、单屏会场34的音频码流数据中，左声道和右声道数据分别混音，然后按照上述扩展的RTP数据包结构发送码流给单屏会场33的远程呈现系统多媒体终端。单屏会场33的处理和上述单屏会场31处理方式相同。
进一步的，本实施例中的视频数据也可以按照上述方法打包为包含多路视频的数据包进行传输，其中，posID1、posID2可以标识出视频码流数据的采集位置，同样可以对应接收端会场中的多个屏幕的播放位置。特别需要说明的，对于单屏会场可以根据需要在解析出的多路码流视频数据间进行切换。
图4为两个三个单屏会场组网时应用本发明通信的音频视频码流走向示意图，如图4所示，两个三屏会场点对点进行组网，三屏会场41的左、中、右坐席的视频依次显示在三屏会场42的左、中、右屏幕，三屏会场42的左、中、右坐席的视频依次显示在三屏会场41的左、中、右屏幕。三屏会场41的多个音频采集设备采集的音频码流都输入到音频处理器设备，由音频处理器设备处理后分成左右两个声道的码流数据，再由远程呈现多媒体终端对两个声道码流分别进行编码和打包，然后发送给对端的远程呈现多媒体终端，打包部分与图3所述实施例中描述相同。三屏会场42的远程呈现多媒体终端接收到含有左右两声道的码流数据后，解析出左、右声道码流位置信息和对应码流数据，分别解码，并把左、右声道数据分别通过音频处理器设备输出到左右音箱，达到听声辨位的效果。本实施例中如果通过MCU43组网，处理方式类似，但码流数据需要通过MCU43分别中转给参加会议的会场的远程呈现多媒体终端。如果有3个或以上会场参与会议，则必须有MCU43参与码流数据的处理。
图5为本发明一种远程呈现技术中媒体数据发送和播放的系统结构示意图，如图5所示，所述系统发送端包括：一个或多个音视频采集设备51、多路码流数据处理模块52和多路码流数据传输模块53，其中，
所述一个或多个音视频采集设备51，用于分别采集与坐席相对应的音频或视频数据，将采集到的数据发送给多路码流数据处理模块52；
所述多路码流数据处理模块52，用于对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息，将多路码流数据和所述采集位置信息发送给多路码流数据传输模块53；
具体的，所述多路码流数据处理模块52对采集到的音频或视频数据分别进行处理，具体为：将每一个采集位置采集到的音频或视频数据都分别处理为一路码流数据。其中，所述分别处理是根据采集位置的不同进行区分。例如：三屏会场中有左、中、右三个采集位置，针对左侧视频和音频采集设备采集到的数据，分别处理得到左侧视频码流数据和左侧音频码流数据，所述左侧音频码流数据即对应接收端播放的左声道；针对右侧视频和音频采集设备采集到的数据，分别处理得到右侧视频码流数据和右侧音频码流数据，所述右侧音频码流数据即对应接收端播放的右声道；针对中间视频和音频采集设备采集到的数据，分别处理得到中间视频码流数据和中间音频码流数据。其中，中间音频码流数据可以是对应接收端播放的中间声道，也可以同时对应接收端播放的左声道和右声道，对于与会者来说同时听到左右声道播放相同的声音，会感觉声音来自中间，即正前方。进一步的，针对多余3个屏幕的会场，则通过调整不同声道的音量大小，来体现音频数据的采集位置，原则上越接近于采集位置的声道的音量越大。
所述多路码流数据传输模块53，用于对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
具体的，所述多路码流数据进行编码，具体为：根据传输协议对多路码流进行编码。所述包含多路音频或视频的数据包，包括：在数据包头部分为每一路的视频或音频数据添加码流标识，并且标明码流长度，然后将码流数据的具体内容添加到数据包体部分。其中，所述添加的码流标识，用于对应码流数据各自的采集位置信息。在本发明的包含多路音频或视频的数据包中可以为多路码流分别添加码流标识，并标明码流长度，这样可以将多路码流打包为一个包含多路音频或视频的数据包，使得多路码流同步的问题得到很好的解决。进一步的，由于添加了对应采集位置的码流标识，因此可以在接收端依据采集位置还原音频数据的播放位置，实现了听声辨位。
进一步的，在接收端，本系统还包括：多路码流数据传输模块54、多路码流数据处理模块55和多个音视频播放设备56，其中，
多路码流数据传输模块54，用于接收并解析发送端的多路码流数据传输模块53发送的包含多路音频或视频的数据包，将解析出的多路码流数据，以及各路码流数据的采集位置信息，发送给接收端的多路码流数据处理模块55；
多路码流数据处理模块55，用于将多路音频数据或视频数据，发送给各路码流数据的采集位置信息所对应的音视频播放设备56完成播放。
具体的，所述多路码流数据传输模块54解析包含多路音频或视频的数据包，具体为：读取数据包头部分的码流标识得到码流数据的采集位置信息，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。然后将解析出的码流数据内容输出到会场中的对应采集位置的播放位置完成播放，则与会者可以得到听声辨位的体验。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种远程呈现技术中媒体数据发送的方法，其特征在于，所述方法包括：
采集与坐席相对应的音频或视频数据，对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息；
对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
2.根据权利要求1所述的方法，其特征在于，所述包含多路音频或视频的数据包，包括：数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携带多路码流数据的内容。
3.根据权利要求1或2所述的方法，其特征在于，所述对采集到的音频或视频数据分别进行处理，具体为：将每一个采集位置采集到的音频或视频数据都分别处理为一路码流数据。
4.一种远程呈现技术中媒体数据播放的方法，其特征在于，所述方法包括：
接收端接收到包含多路音频或视频的数据包后，解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息；
将多路音频数据或视频数据，按照各路码流数据的采集位置信息所对应的播放位置输出完成播放。
5.根据权利要求4所述的方法，其特征在于，所述解析出多路音频数据或视频数据，以及各路码流数据的采集位置信息，具体为：读取数据包头部分的码流标识得到码流数据的采集位置信息，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。
6.一种远程呈现技术中媒体数据发送的系统，其特征在于，所述系统包括：一个或多个音视频采集设备、多路码流数据处理模块和多路码流数据传输模块，其中，
所述一个或多个音视频采集设备，用于分别采集与坐席相对应的音频或视频数据，将采集到的数据发送给多路码流数据处理模块；
所述多路码流数据处理模块，用于对采集到的音频或视频数据分别进行处理，得到根据采集位置区分的多路码流数据和各路码流数据的采集位置信息，将多路码流数据和所述采集位置信息发送给多路码流数据传输模块；
所述多路码流数据传输模块，用于对多路码流数据进行编码，并把编码后的多路音频数据和所述采集位置信息统一打包，和/或编码后的多路视频数据和所述采集位置信息统一打包，分别发送包含多路音频或视频的数据包。
7.根据权利要求6所述的系统，其特征在于，所述包含多路音频或视频的数据包，包括：数据包头部分和数据包体部分，其中，数据包头部分携带每一路的音频或视频数据的码流标识，并且标明码流长度，所述码流标识对应所述采集位置信息；数据包体部分携带多路码流数据的内容。
8.根据权利要求6或7所述的系统，其特征在于，所述多路码流数据处理模块对采集到的音频或视频数据分别进行处理，具体为：将每一个采集位置采集到的音频或视频数据都分别处理为一路码流数据。
9.一种远程呈现技术中媒体数据播放的系统，其特征在于，所述系统包括：多个音视频播放设备、多路码流数据处理模块和多路码流数据传输模块，其中，
多路码流数据传输模块，用于接收并解析发送端的多路码流数据传输模块发送的包含多路音频或视频的数据包，将解析出的多路音频数据或视频数据，以及各路码流数据的采集位置信息，发送给接收端的多路码流数据处理模块；
多路码流数据处理模块，用于将多路音频数据或视频数据，发送给各路码流数据的采集位置信息所对应的音视频播放设备完成播放。
10.根据权利要求9所述的系统，其特征在于，所述多路码流数据传输模块解析包含多路音频或视频的数据包，具体为：读取数据包头部分的码流标识得到码流数据的采集位置信息，根据码流长度，从数据包体部分解析出相应的多路音频数据或视频数据。
CN201110053344.5A 2011-03-04 2011-03-04 一种远程呈现技术中媒体数据发送和播放的方法及系统 Active CN102655584B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201110053344.5A CN102655584B (zh) 2011-03-04 2011-03-04 一种远程呈现技术中媒体数据发送和播放的方法及系统
US14/001,762 US9363474B2 (en) 2011-03-04 2011-11-24 Method and system for sending and playing media data in telepresence technology
PCT/CN2011/082884 WO2012119465A1 (zh) 2011-03-04 2011-11-24 一种远程呈现技术中媒体数据发送和播放的方法及系统
US15/159,651 US9532000B2 (en) 2011-03-04 2016-05-19 Method and system for sending and playing media data in telepresence technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110053344.5A CN102655584B (zh) 2011-03-04 2011-03-04 一种远程呈现技术中媒体数据发送和播放的方法及系统

Publications (2)

Publication Number Publication Date
CN102655584A true CN102655584A (zh) 2012-09-05
CN102655584B CN102655584B (zh) 2017-11-24

Family

ID=46731104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110053344.5A Active CN102655584B (zh) 2011-03-04 2011-03-04 一种远程呈现技术中媒体数据发送和播放的方法及系统

Country Status (3)

Country Link
US (2) US9363474B2 (zh)
CN (1) CN102655584B (zh)
WO (1) WO2012119465A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016082579A1 (zh) * 2014-11-24 2016-06-02 中兴通讯股份有限公司 语音输出方法及装置
CN106162038A (zh) * 2015-03-25 2016-11-23 中兴通讯股份有限公司 一种音频发送方法及装置
CN107195308A (zh) * 2017-04-14 2017-09-22 苏州科达科技股份有限公司 音视频会议系统的混音方法、装置及系统
CN107547813A (zh) * 2016-06-29 2018-01-05 深圳市巨龙科教高技术股份有限公司 一种采集处理多路音频信号的系统和方法
CN108880696A (zh) * 2017-05-12 2018-11-23 中兴通讯股份有限公司 频率配置握手方法及系统、终端及计算机可读存储介质
CN111641855A (zh) * 2020-05-18 2020-09-08 海信视像科技股份有限公司 一种双屏显示设备及其音频输出方法
CN111857645A (zh) * 2020-07-31 2020-10-30 北京三快在线科技有限公司 一种音频数据处理、播放方法、装置、介质及无人设备
CN112351251A (zh) * 2020-10-21 2021-02-09 深圳迈瑞生物医疗电子股份有限公司 图像处理系统和终端设备
CN112509590A (zh) * 2020-12-03 2021-03-16 合肥星空物联信息科技有限公司 一种音频传输方法和装置
CN112672076A (zh) * 2020-12-11 2021-04-16 展讯半导体(成都)有限公司 一种图像的显示方法和电子设备
CN113674751A (zh) * 2021-07-09 2021-11-19 北京字跳网络技术有限公司 音频处理方法、装置、电子设备和存储介质
CN115550599A (zh) * 2022-09-22 2022-12-30 苏州科达科技股份有限公司 网呈会场的音视频输出方法、电子设备及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102868873B (zh) * 2011-07-08 2017-10-17 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
CN103024339B (zh) * 2012-10-11 2015-09-30 华为技术有限公司 一种基于视频源实现混音的方法和装置
US20140192200A1 (en) * 2013-01-08 2014-07-10 Hii Media Llc Media streams synchronization
CN104902217B (zh) * 2014-03-05 2019-07-16 中兴通讯股份有限公司 一种在网真会议系统中显示布局的方法及装置
CN112689118B (zh) * 2020-12-29 2023-12-08 厦门亿联网络技术股份有限公司 一种多屏网真终端的数据传输方法和装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883197A (zh) * 2003-11-14 2006-12-20 坦德伯格电信公司 分布式实时媒体创作器
CN1929593A (zh) * 2005-09-07 2007-03-14 宝利通公司 多点视频会议中的空间相关音频
CN101073257A (zh) * 2004-12-22 2007-11-14 中兴通讯股份有限公司 在会议电视系统中传输多路视频的方法
CN101150727A (zh) * 2007-10-19 2008-03-26 深圳华为通信技术有限公司 多路视频信号传输和电视墙显示的方法、系统以及处理设备
US20080273078A1 (en) * 2007-05-01 2008-11-06 Scott Grasley Videoconferencing audio distribution
CN101427574A (zh) * 2006-04-20 2009-05-06 思科技术公司 在远程呈现系统中提供特定于位置的声音的系统和方法
CN101471804A (zh) * 2007-12-28 2009-07-01 华为技术有限公司 一种音频处理方法、系统和控制服务器
CN101674476A (zh) * 2009-09-18 2010-03-17 北京协进科技发展有限公司 一种无线直播方法、装置和系统
CN101809998A (zh) * 2007-09-26 2010-08-18 思科技术公司 用于多显示切换视频会议系统的音频方向性控制
CN101938626A (zh) * 2010-09-15 2011-01-05 杭州海康威视数字技术股份有限公司 一种视频会议终端、系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003018580A (ja) * 2001-06-29 2003-01-17 Matsushita Electric Ind Co Ltd コンテンツ配信システムおよび配信方法
US20030149792A1 (en) * 2002-02-06 2003-08-07 Leonid Goldstein System and method for transmission of data through multiple streams
US7177985B1 (en) * 2003-05-30 2007-02-13 Mips Technologies, Inc. Microprocessor with improved data stream prefetching
EP1784020A1 (en) 2005-11-08 2007-05-09 TCL & Alcatel Mobile Phones Limited Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
US7499547B2 (en) * 2006-09-07 2009-03-03 Motorola, Inc. Security authentication and key management within an infrastructure based wireless multi-hop network
CN101132516B (zh) 2007-09-28 2010-07-28 华为终端有限公司 一种视频通讯的方法、系统及用于视频通讯的装置
US20120050456A1 (en) * 2010-08-27 2012-03-01 Cisco Technology, Inc. System and method for producing a performance via video conferencing in a network environment

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883197A (zh) * 2003-11-14 2006-12-20 坦德伯格电信公司 分布式实时媒体创作器
CN101073257A (zh) * 2004-12-22 2007-11-14 中兴通讯股份有限公司 在会议电视系统中传输多路视频的方法
CN1929593A (zh) * 2005-09-07 2007-03-14 宝利通公司 多点视频会议中的空间相关音频
CN101427574A (zh) * 2006-04-20 2009-05-06 思科技术公司 在远程呈现系统中提供特定于位置的声音的系统和方法
US20080273078A1 (en) * 2007-05-01 2008-11-06 Scott Grasley Videoconferencing audio distribution
CN101809998A (zh) * 2007-09-26 2010-08-18 思科技术公司 用于多显示切换视频会议系统的音频方向性控制
CN101150727A (zh) * 2007-10-19 2008-03-26 深圳华为通信技术有限公司 多路视频信号传输和电视墙显示的方法、系统以及处理设备
CN101471804A (zh) * 2007-12-28 2009-07-01 华为技术有限公司 一种音频处理方法、系统和控制服务器
CN101674476A (zh) * 2009-09-18 2010-03-17 北京协进科技发展有限公司 一种无线直播方法、装置和系统
CN101938626A (zh) * 2010-09-15 2011-01-05 杭州海康威视数字技术股份有限公司 一种视频会议终端、系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J.ROSENBERG,H.SCHULZRINNE,ET AL: "SIP:session initiation protocol", 《NETWORK WORKING GROUP》 *
王世刚，祝宇宏，王金芳，官克存: "MPEG_4多路视频编码器硬件解决方案", 《吉林大学学报》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016082579A1 (zh) * 2014-11-24 2016-06-02 中兴通讯股份有限公司 语音输出方法及装置
CN106162038A (zh) * 2015-03-25 2016-11-23 中兴通讯股份有限公司 一种音频发送方法及装置
CN107547813A (zh) * 2016-06-29 2018-01-05 深圳市巨龙科教高技术股份有限公司 一种采集处理多路音频信号的系统和方法
CN107195308B (zh) * 2017-04-14 2021-03-16 苏州科达科技股份有限公司 音视频会议系统的混音方法、装置及系统
CN107195308A (zh) * 2017-04-14 2017-09-22 苏州科达科技股份有限公司 音视频会议系统的混音方法、装置及系统
CN108880696A (zh) * 2017-05-12 2018-11-23 中兴通讯股份有限公司 频率配置握手方法及系统、终端及计算机可读存储介质
CN108880696B (zh) * 2017-05-12 2022-04-15 中兴通讯股份有限公司 频率配置握手方法及系统、终端及计算机可读存储介质
CN111641855A (zh) * 2020-05-18 2020-09-08 海信视像科技股份有限公司 一种双屏显示设备及其音频输出方法
CN111857645A (zh) * 2020-07-31 2020-10-30 北京三快在线科技有限公司 一种音频数据处理、播放方法、装置、介质及无人设备
CN112351251A (zh) * 2020-10-21 2021-02-09 深圳迈瑞生物医疗电子股份有限公司 图像处理系统和终端设备
CN112509590A (zh) * 2020-12-03 2021-03-16 合肥星空物联信息科技有限公司 一种音频传输方法和装置
CN112672076A (zh) * 2020-12-11 2021-04-16 展讯半导体(成都)有限公司 一种图像的显示方法和电子设备
CN113674751A (zh) * 2021-07-09 2021-11-19 北京字跳网络技术有限公司 音频处理方法、装置、电子设备和存储介质
CN115550599A (zh) * 2022-09-22 2022-12-30 苏州科达科技股份有限公司 网呈会场的音视频输出方法、电子设备及存储介质

Also Published As

Publication number Publication date
US9532000B2 (en) 2016-12-27
CN102655584B (zh) 2017-11-24
US9363474B2 (en) 2016-06-07
US20130335518A1 (en) 2013-12-19
WO2012119465A1 (zh) 2012-09-13
US20160269683A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
CN102655584A (zh) 一种远程呈现技术中媒体数据发送和播放的方法及系统
CN102868873B (zh) 一种远程呈现方法、终端和系统
CN102868880B (zh) 一种基于远程呈现的媒体传输方法及系统
JP5345081B2 (ja) 常駐会議を行うための方法およびシステム
CN103338348B (zh) 一种网络音视频会议的实现方法、系统和服务器
CN101370114B (zh) 视频及音频处理方法、多点控制单元和视频会议系统
CN108076306A (zh) 会议实现方法、装置、设备和系统、计算机可读存储介质
CN104426832A (zh) 一种多终端多声道独立播放方法及装置
US9497390B2 (en) Video processing method, apparatus, and system
CN101540652B (zh) 多视角视频码流的终端异构自匹配传输方法
CN110225416A (zh) 一种视频的传输方法、网络终端、智能终端以及存储装置
CN102118602A (zh) 一种在多画面中显示辅流视频的方法及系统
CN114125363A (zh) 一种具有无线麦克风蓝牙传输的音视频会议系统的控制方法
EP1871110B1 (en) A method for transmitting the multichannel video sources on video conferencing system
CN101489090B (zh) 多路媒体流传输和接收的方法、装置及系统
CN208509118U (zh) 信号多路输出的电路和会议机应用系统
JP6514649B2 (ja) データ送信装置、データ受信装置、データ送受信システム、データ送信方法及びデータ受信方法
CN201352834Y (zh) 基于数字电视hdtv平台的高清会议系统
CN102316114B (zh) 基于专线信道的ip协议信息传输方法和装置
CN205081880U (zh) 一种网络可视化分布式任务协作装置
CN109218655A (zh) 无纸化多媒体会议方法、无纸化多媒体会议系统
TWI798890B (zh) 用於產生立體聲語音效果的藍牙語音通信系統及相關的電腦程式產品
CN203301628U (zh) 高端视频会议终端
CN116866287A (zh) 音视频信号交换处理方法、接口板及交换设备
CN116456138A (zh) 一种镜像投屏系统及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant