CN100479528C - 一种支持多音轨的方法、系统及流媒体服务器 - Google Patents

一种支持多音轨的方法、系统及流媒体服务器 Download PDF

Info

Publication number
CN100479528C
CN100479528C CN200610111991.6A CN200610111991A CN100479528C CN 100479528 C CN100479528 C CN 100479528C CN 200610111991 A CN200610111991 A CN 200610111991A CN 100479528 C CN100479528 C CN 100479528C
Authority
CN
China
Prior art keywords
streaming media
media server
road
data
road video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200610111991.6A
Other languages
English (en)
Other versions
CN1917649A (zh
Inventor
刘维昱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN200610111991.6A priority Critical patent/CN100479528C/zh
Publication of CN1917649A publication Critical patent/CN1917649A/zh
Priority to PCT/CN2007/001714 priority patent/WO2008028388A1/zh
Priority to RU2009109836/09A priority patent/RU2009109836A/ru
Priority to US12/394,953 priority patent/US20090172763A1/en
Application granted granted Critical
Publication of CN100479528C publication Critical patent/CN100479528C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H04L65/1101—Session protocols
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4856—End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种无线通信领域中支持多音轨的方法、系统及流媒体服务器，用以解决现有技术中需要多个直播编码器所产生的费用较高，难维护的问题。本发明通过多个流媒体服务器来分担支持多音轨的任务，由一个流媒体服务器接收一路视频数据和多路音频数据，但只能输出其中确定的一路音频数据；或由一个流媒体服务器接收一路视频数据和多路中的一路音频数据。用户在门户网站上选择需要的语言，连接到流媒体服务器获取一路视频数据和一路音频数据。该系统包括一个直播编码器、多个流媒体服务器、无线网络、门户网站和终端设备。其中流媒体服务器包括接收单元、复制单元和发送单元。

Description

一种支持多音轨的方法、系统及流媒体服务器
技术领域
本发明涉及通信领域，特别是在无线多媒体领域中对多音轨内容支持的方法、系统及流媒体服务器。
背景技术
目前手机随着技术的发展已具备部分电脑的功能，可以无线上网，在线收看电视、电影等流媒体内容。但目前模拟信号数据流只包含一路音频和一路视频信息，即一路音频只对应一个音轨(对应一种语言)。若不同的用户希望接收到不同的语言时，必须由多个直播编码器对应接收一路音频和一路视频信息，即有两种语言至少需要两个直播编码器。相应的会话描述协议SDP文件中只包含一路音频和一路视频的信息定义，如下所示：
v＝0
o＝-2631350701 1507213 IN IP4 192.168.18.101
s＝b3 14
c＝IN IP4 236.130.128.182/1
b＝RR:0
t＝0 0
m＝video 8686 RTP/AVP 96
b＝AS:1920
a＝rtpmap:96 H264/90000
a＝fmtp:96
profile-level-id＝4D4015；
sprop-parameter-sets＝Z01AFZZWCwJNgyRAAAD6AAAYahgwADgnADqargAK，aO88gA＝＝；packetization-mode＝1
a＝cliprect:0，0，576，352
a＝framerate:25.
a＝mpeg4-esid:21
a＝x-envivio-verid:0002229A
m＝audio 8688 RTP/AVP 97
b＝AS:32
a＝rtpmap:97 mpeg4-generic/16000/2
a＝fmtp:97 profile-level-id＝15；config＝1410；streamtype＝5；ObjectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3
a＝mpeg4-esid:101
a＝lang:eng
a＝x-envivio-verid:0002229a
随着手机技术的发展和用户需求的增多，以上方案已经不能适应目前的需求，用户希望收看到不同语言的多种电视节目。目前是把一路视频通过视频复制器复制出多个，然后再与多路音频匹配，再发送到多个直播编码器进行编码。请参阅图1，一条实的箭线表示一路视频，一条虚的箭线表示一路音频，三条虚的箭线表示三路音频，即三种不同的语言。视频复制器需要将一路视频复制出两路，分别与三路音频匹配，再将一路音频和一路视频发送到一个直播编码器上，三路音频需要三个直播编码器，直播编码器通过两个端口(一个视频端口和一个音频端口)将信息发送到流媒体服务器上，由流媒体服务器通过无线网络将信息转发给终端设备。这样增大了对直播编码器和视频复制器的需求，然而目前直播编码器价格非常高，增加运营成本，且后续维护也极不方便。
发明内容
本发明提供一种支持多音轨的方法、系统及流媒体服务器，用以解决现有技术中存在对多路音轨支持不够，费用较高以及维护困难的问题。
本发明提供以下技术方案：
一种支持多音轨的方法，包括步骤：
直播编码器将处理后的一路视频数据和多路音频数据发送到多个流媒体服务器，其中流媒体服务器的数量不少于音频数据的路数；
流媒体服务器根据用户的请求复制所述一路视频数据和所述多路音频数据中的一路音频数据并发送到终端设备，其中每个流媒体服务器仅输出所述多路音频数据中的一路音频数据。
所述直播编码器生成的SDP文件中包含一路视频数据和多路音频数据的参数信息以及一路视频数据和多路音频数据的端口号，所述流媒体服务器通过监听所述端口接收一路视频数据和多路音频数据。
所述流媒体服务器根据所述SDP文件在本地配置文件中定义该流媒体服务器在输出所述一路视频数据情况下仅能输出的一路音频数据。
所述直播编码器生成的SDP文件中包含一路视频数据和多路音频数据的参数信息以及一路视频数据和多路音频数据的端口号，将所述SDP文件分解出多个包含一路视频数据和所述多路音频数据中的一路音频数据的参数信息以及对应端口号的SDP文件，各流媒体服务器通过监听所述多个SDP文件中的一个SDP文件指定的端口接收一路视频数据和所述多路音频数据中的一路音频数据。
在所述直播编码器上通过音轨编号或音轨标签指定音轨和语言的对应关系，所述流媒体服务器根据音轨编号或音轨标签输出对应的音轨上的音频数据。
在所述流媒体服务器的配置文件中指定一种语言对应的音轨编号或音轨标签，所述流媒体服务器根据该配置文件的定义输出该语言的音频数据。
在门户网站上建立各语言选择项到对应的流媒体服务器的媒体链接，该媒体链接中包含语言所对应的音轨编号或音轨标签。
一种流媒体服务器，包括：
接收单元，用于接收直播编码器输出的一路视频数据和多路音频数据；
复制单元，用于复制所述一路视频数据和仅复制所述多路音频数据中的一路音频数据；
发送单元，用于将所述复制单元复制后的所述一路视频数据和一路音频数据发送到所述终端设备；其中，
所述流媒体服务器的数量不少于音频数据的路数。
一种流媒体服务器，包括：
接收单元，用于接收直播编码器输出的一路视频数据和所述多路音频数据中的一路音频数据；
复制单元，用于复制所述接收单元接收到的一路视频数据和一路音频数据；
发送单元，用于将所述复制单元复制后的一路视频数据和一路音频数据发送到所述终端设备；其中，
所述流媒体服务器的数量不少于音频数据的路数。
一种支持多音轨的系统，包括直播编码器，与该直播编码器连接的多个流媒体服务器；
所述直播编码器用于对接收到的一路视频模拟信号和多路音频模拟信号进行模数变换，并将处理后的一路视频数据和多路音频数据发送到多个流媒体服务器，其中流媒体服务器的数量不少于音频数据的路数；
所述流媒体服务器用于根据用户的请求复制所述一路视频数据和所述多路音频数据中的一路音频数据并发送到终端设备，其中每个流媒体服务器仅输出所述多路音频数据中的一路音频数据。
本系统还包括：
门户网站，用于建立各语言选择项到对应的流媒体服务器的媒体链接，用户通过在门户网站上选择需要的语言连接到相应的流媒体服务器。
本发明有益效果如下：
本发明通过多个流媒体服务器来分担支持多音轨的任务，由一个流媒体服务器接收一路视频和多路音频信号，但只能输出多路中的一路音频信号；或由一个流媒体服务器接收一路视频和多路中的一路音频信号。由多个流媒体服务器共同支持多路音频信号的输出，从而满足了用户对多语言的需求，并且节省了网络资源，不再需要视频复制器和过多的直播编码器，进而降低了成本，且较容易维护。同时，本发明适用于各种无线网络系统。
附图说明
图1为现有技术中支持多音轨的网络结构图；
图2A为本发明实施例中用户接收流媒体内容的网络结构图；
图2B为本发明实施例中多个服务器支持多音轨的基本流程图；
图3A为本发明实施例中服务器接收多音频的网络结构图；
图3B为本发明实施例中接收多音频的服务器的结构示意图；
图4为本发明实施例中服务器接收多音频的具体流程图；
图5为本发明实施例中服务器接收单音频的具体流程图。
具体实施方式
为了解决现有技术中由于使用多个直播编码器支持多音轨所产生较高费用及难维护的问题，本发明使用一个直播编码器和多个流媒体服务器来支持多音轨的信息传播，各流媒体服务器在输出一路视频信号时仅能输出一路音频信号。用户登录到门户网站选择需要的语言，获取到相应的流媒体服务器的链接。
参见图2A，本发明中用户接收流媒体内容的基本网络结构包括直播编码器21、流媒体服务器22、WAP(无线应用协议)/WEB门户网站23、无线网络24和终端设备25。
直播编码器21，用于接收视频和音频的模拟电视信号，将其转换成数字信号并压缩，然后将压缩信号发送到流媒体服务器22。
流媒体服务器22，用于接收直播编码器21发送的压缩信号，并根据终端设备25发送的请求将需要的信号复制后发送给用户。
WAP/WEB门户网站23，用于为用户提供网络服务界面，并提供相关服务的链接。
无线网络24，用于提供终端设备25与网络中的流媒体服务器22和WAP/WEB门户网站23的交互平台。
终端设备25，用于通过RTSP(实时流协议)/RTP(实时传输协议)协议连接到流媒体服务器22，其中经过无线网络24；通过WAP/HTTP(超文本链接协议)协议连接到WAP/WEB门户网站23，其中经过无线网络24；用户通过此设备收看流媒体内容。终端设备25包括手机、PDA(个人数字助理)等，可以通过无线方式访问网络的设备都属于本发明中所述终端设备25。
用户从终端设备25通过无线网络24登录到WAP/WEB门户网站23，从WAP/WEB门户网站23中选择想要收看的节目和语言，获得相应的路径链接URL(Uniform Resource Locator，统一资源定位)，通过此链接与流媒体服务器22建立连接。流媒体服务器22收到终端设备25的请求URL后，解析相应的SDP文件，获得直播编码器21发送数据的端口。通过监听相应的端口，获得直播编码器21发送的音频信号和视频信号，并将其复制一份后再通过无线网络24发送到终端设备25。由终端设备25进行解码和显示。
所述WAP/WEB门户网站23提供的链接信息如下所示：
  Sex and City(英文)   RTSP://IP1/TV.SDP
  Sex and City(中文)   RTSP://IP2/TV.SDP
  Sex and City(粤语)   RTSP://IP3/TV.SDP
用户从中选择一种语言，并获取相应的音轨路径链接。
对于语言和音轨的对应关系，需要事先指定。指定的方式分两种：
1、如第一个音轨是英文，第二个音轨是中文，第三个音轨是粤语等。需要在直播编码器编码时通过界面指定各种语言的音轨顺序。具体可以参考对应的直播编码器操作手册。
2、编码器在编码时为每个音轨增加了标签。则可以用不同的标签标识不同的语言，如标签为Chinese，English，French，German——标签名称，不一定代表具体语言，可以根据需要用其他语言替换，如需要日语，则可以用German的标签代表日语。
参见图2B，本发明中多个流媒体服务器支持多音轨的方法基本流程如下：
步骤201：直播编码器21将接收到的一路视频和多路音频模拟信号经模数变换和压缩后发送到多个流媒体服务器22，其中流媒体服务器22的数量不少于音频信号的路数。
步骤202：多个流媒体服务器22接收一路视频和多路音频信号或多路中的一路音频信号。
步骤203：用户通过终端设备25访问WAP/WEB门户网站23，选择一种语言，获得与流媒体服务器22的路径链接。
步骤204：用户向流媒体服务器22发出请求。
步骤205：流媒体服务器22根据用户的请求在本地复制一路视频和指定的一路音频信号发送到终端设备25。
本实施例中流媒体服务器接收一路视频和多路音频信号，多个流媒体服务器支持多音轨，在配置文件中通过音轨编号或音轨标签指定一路音轨，表明该服务器在一路视频下仅能输出的音频信号所对应的音轨；或每个流媒体服务器接收一路视频和多路音频中的一路，由多个流媒体服务器支持全部音频信号的输出，流媒体服务器的数量不少于音频信号的路数，网络流量拥塞时可由多个流媒体服务器在输出同一路视频信号时输出同一路音频信号。
参见图3A，本实施例中支持多音轨的网络结构包括直播编码器21、两个流媒体服务器22、两个无线网络24，以及两个终端设备25。还包括WAP/WEB门户网站23，本图中未示出。本实施例以两个流媒体服务器为例进行说明，实际中可根据需要设置流媒体服务器的数量。
直播编码器21，用于接收一路视频和两路音频的模拟电视信号，将其转换成数字信号并压缩，生成SDP文件，然后将压缩好的一路视频和两路音频的数字信号发送到两个流媒体服务器22。
两个流媒体服务器22，用于接收直播编码器21发送的一路视频和两路音频的数字信号，两个流媒体服务器接收到的内容相同。根据本地配置文件中的参数设置复制一路视频和多路中指定的一路音频信号发送到无线网络24。流媒体服务器22中的配置文件指定了不同音轨上的不同音频信号。另一种方式是接收直播编码器21发送的一路视频和两路中的一路音频的数字信号，两个流媒体服务器接收同一路视频信号下的不同路音频信号，在这种方式下，没有在本地配置文件中增加音轨参数信息。
多个流媒体服务器可以有相同的配置文件，即在输出相同的视频信号的情况下输出相同的音频信号，由无线网络24指示终端设备25连接到某个流媒体服务器。
两个无线网络24，用于为流媒体服务器22和终端设备25以及终端设备25和WAP/WEB门户网站23提供交互平台。
两个终端设备25，用于通过无线网络24连接到WAP/WEB门户网站23，接收无线网络24转发的流媒体信号，用户通过此设备收看流媒体内容。释放播放过的内容。若多个终端设备25请求同一路视频下的同一路音频信号时，无线网络24可以通过组播方式向上述终端设备25发送流媒体数据流；若只有一个终端设备25请求发送时，无线网络24可以采用单播方式发送。
两个流媒体服务器22后续连接的无线网络24没有固定的连接要求，可以交叉连接，两个无线网络24可以是同一个无线网络，同理无线网络24后续连接的可以是两个终端设备25中的任一个，根据实际情况决定。
其中，参见图3B，所述流媒体服务器22包括：接收单元221、复制单元222和发送单元223。所述接收单元221接收所述直播编码器输出的流媒体数据流，该流媒体数据流包含一路视频和多路音频信号；所述复制单元222根据终端设备25的请求读取本地的配置文件，配置文件中已指定多路音频信号中的一路音频信号，复制所述一路视频和指定的一路音频信号；所述发送单元223将复制后的所述一路视频和一路音频信号发送到终端设备25。
在另一种方案中，流媒体服务器22结构同图3B中所示，包括接收单元221、复制单元222和发送单元223。所述接收单元221根据本地SDP文件中的参数信息以及端口号接收所述直播编码器输出的流媒体数据流，该流媒体数据流包含一路视频和多路音频中的一路音频信号；所述复制单元222根据终端设备25的请求复制所述一路视频和一路音频信号；所述发送单元223将复制后的所述一路视频和一路音频信号发送到用户终端设备25。
参见图4，本实施例中由多个服务器支持多音轨，每个流媒体服务器接收同样的一路视频和多路音频信号的方法具体流程如下：
步骤401：直播编码器21生成SDP文件，并将该文件放到两个流媒体服务器22上。同时定义第一音轨是英文，第二个音轨是中文，可以用编号或者标签标识音轨。该SDP文件包含二路音轨和一路视频的参数信息，其中每路信号都被指定通过特定的端口传递。一个SDP文件的实例如下：
v＝0
o＝-2631350701 1507213 IN IP2 192.168.18.101    //会话发起端的用户名为“-”，会话标识符为2631350701，会话版本为1507213，网络类型是internet，地址类型为ipv4，地址为192.168.18.101
s＝b3 14
c＝IN IP2 236.130.128.182/1    //连接数据描述，网络类型为internet，地址类型为ipv4，地址为236.130.128.182
b＝RR:0
t＝0 0
m＝video 8686 RTP/AVP 96       //开始视频媒体信息描述。视频媒体数据将发送到8686端口，发送协议是基于UDP的RTP协议，格式为96(动态RTP载荷类型)
b＝AS:1920    //带宽描述，带宽为15kbps
a＝rtpmap:96 H264/90000        //对载荷类型96进行说明，为H264编码方式，采样时钟为90000Hz
a＝fmtp:96                                         profile-level-id＝4D4015；
sprop-parameter-sets＝Z01AFZZWCwJNgyRAAAD6AAAYahgwADgnADqargAK，a
O88gA＝＝；packetization-mode＝1    //进一步给出载荷类型96的参数
a＝cliprect:0，0，576，352
a＝framerate:25.    //帧率，每秒钟15帧
a＝mpeg4-esid:21    //对应于编号为201的流(视频文件可能包含多个视频流和音频流，每个流给出一个编号，本例中该视频流编号为201)
a＝x-envivio-verid:0002229A
m＝audio 8688 RTP/AVP 97    //开始第一路音频媒体信息描述。音频媒体数据将发送到8688端口，发送协议是基于UDP的RTP协议，格式为97(动态RTP载荷类型)
b＝AS:32
a＝rtpmap:97 mpeg4-generic/16000/2
a＝fmtp:97  profile-level-id＝15；config＝1410；streamtype＝5；ObjectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3
a＝mpeg4-esid:101
a＝lang:eng    //每个音轨的标识.并不代表一定是这个语言.只是用来区别不同的音轨
a＝x-envivio-verid:0002229A
m＝audio 8690RTP/AVP 14    //开始第二路音频媒体信息描述。
b＝AS:48
a＝rtpmap:14 MPA/48000/2
a＝mpeg4-esid:102
a＝lang:chi
a＝x-envivio-verid:0002229A
步骤402：直播编码器21接收一路视频和二路音频的模拟信号。
步骤403：在直播编码器21中模拟信号经过模数变换转换成数字信号，并对该数字信号进行压缩。
步骤404：两个流媒体服务器22通过监听接收到的SDP文件中指定的端口接收直播编码器21实时发送的一路视频和二路音频信号的流媒体数据流。
步骤405：两个流媒体服务器22接收该流媒体数据流，并在本地配置文件中相应的增加相关信息，指定一路音轨。两个流媒体服务器22的配置文件不同，在同一视频下指定不同的音频，以一个流媒体服务器22为例，如在配置文件中指定第二音轨，对应的语言为中文。配置文件举例如下：
Audio_channel_id＝n(1，2，3)
或
Audio_language＝English(Chinese，English，YueYu)
步骤406：终端设备25通过无线网络24访问WAP/WEB门户网站23，用户选择一种语言，例如，选择语言为中文，则相应的读取该音轨所在的路径地址RTSP://IP2/TV.SDP，对应着直播编码器21定义的音轨Sex and City(中文)，通过IP2定位到相应的流媒体服务器22，根据TV.SDP文件定位到该流媒体服务器22中具体的某路视频和音频信号。终端设备25与配置文件中指定该路视频下语言为中文的流媒体服务器22建立连接，并向该流媒体服务器22发送请求。
步骤407：被连接的流媒体服务器22接收到终端设备25发送的请求后，读取配置文件，配置文件中指定本流媒体服务器22在用户选择的一路视频下只能发送中文音频信号或只支持第二音轨。
步骤408：被连接的流媒体服务器22在本地中查找一路视频和该路视频下仅能输出的一路中文音频信号并将其复制，然后将该一路视频和一路中文音频信号通过无线网络24发送到终端设备25。
步骤409：终端设备25接收到一路视频和一路中文音频信号后对其进行解码，并播放给用户。
参见图5，本实施例中多个流媒体服务器支持多音轨，每个流媒体服务器只接收一路视频和多路中的一路音频的方法具体流程如下：
步骤501：直播编码器21生成的SDP文件中包含一路视频和多路音频的参数信息以及对应的端口号，同时定义第一音轨是英文，第二个音轨是中文，可以用编号或者标签标识音轨。将一个包含全部信息的SDP文件通过手工或自动的方式拆分成包含一路音频的两个SDP文件，并将两个拆分后的SDP文件分别放到两个流媒体服务器22上，两个流媒体服务器22上的SDP文件中指定同一路视频和不同路音频信号的参数信息以及对应端口号。在一个流媒体服务器22上的SDP文件包含一路视频和两路中的一路音频的参数信息，其中一路视频和一路音频被指定了特定的端口传递。以其中一个流媒体服务器22为例，该流媒体服务器22支持第一音轨，对应的语言是英文。SDP文件的实例如下所示：
v＝0
o＝-2631350701 1507213 IN IP4 192.168.18.101
s＝b3 14
c＝IN IP4 236.130.128.182/1
b＝RR:0
t＝00
m＝video 8686 RTP/AVP 96
b＝AS:1920
a＝rtpmap:96 H264/90000
a＝fmtp:96                             profile-level-id＝4D4015；
sprop-parameter-sets＝Z01AFZZWCwJNgyRAAAD6AAAYahgwADgnADqargAK，a
O88gA＝＝；packetization-mode＝1
a＝cliprect:0，0，576，352
a＝framerate:25.
a＝mpeg4-esid:21
a＝x-envivio-verid:0002229A
m＝audio 8688 RTP/AVP 97
b＝AS:32
a＝rtpmap:97 mpeg4-generic/16000/2
a＝fmtp:97    profile-level-id＝15；config＝1410；streamtype＝5；ObjectType＝64；mode＝AAC-hbr；SizeLength＝13；IndexLength＝3；IndexDeltaLength＝3
a＝mpeg4-esid:101
a＝lang:eng
a＝x-envivio-verid:0002229A
其中音轨端口为m＝audio 8688 RTP/AVP 97，对应音轨为a＝lang:eng。
另一个流媒体服务器22上的SDP文件包含一路视频和一路音频的参数信息，其中一路视频和一路音频被指定了特定的端口传递，该流媒体服务器22支持第二音轨，对应的语言是中文。SDP文件的实例。如下所示：
v＝0
o＝-2631350701 1507213 IN IP4 192.168.18.101
s＝b3 14
c＝IN IP4 236.130.128.182/1
b＝RR:0
t＝00
m＝video 8686 RTP/AVP 96
b＝AS:1920
a＝rtpmap:96 H264/90000
a＝fmtp:96                               profile-level-id＝4D4015；
sprop-parameter-sets＝Z01AFZZWCwJNgyRAAAD6AAAYahgwADgnADqargAK，a
O88gA＝＝；packetization-mode＝1
a＝cliprect:0，0，576，352
a＝framerate:25.
a＝mpeg4-esid:21
a＝x-envivio-verid:0002229A
m＝audio 8690 RTP/AVP 14
b＝AS:48
a＝rtpmap:14 MPA/48000/2
a＝mpeg4-esid:102
a＝lang:chi
a＝x-envivio-verid:0002229A
其中音轨端口为m＝audio 8690RTP/AVP 14，对应音轨为a＝lang:chi。
步骤502：直播编码器21接收一路视频和两路音频的模拟信号。其中第一音轨是英文，第二个音轨是中文。
步骤503：在直播编码器21中模拟信号经过模数变换转换成数字信号，并对该数字信号进行压缩。
步骤504：一个流媒体服务器22通过监听接收到的SDP文件中指定的端口接收直播编码器21实时发送的一路视频和多路中的一路英文音频信号的流媒体数据流。
步骤505：终端设备25通过无线网络24访问WAP/WEB门户网站23。用户通过终端设备25选择一种语言，例如，选择语言为英文，则相应的读取该音轨所在的路径地址RTSP://IP1/TV.SDP，对应着直播编码器21中的音轨Sex and City(英文)，与此路径指定的只接收该视频下的英文音频信号的流媒体服务器22建立连接。
步骤506：被连接的流媒体服务器22接收到终端设备25发送的请求后，在本地中将该一路视频和一路英文音频信号复制一份后，然后将一路视频和一路英文音频信号通过无线网络24发送到终端设备25。
步骤507：终端设备25接收到一路视频和一路英文音频信号后对其进行解码，并播放给用户。
本发明通过多个流媒体服务器来分担支持多音轨的任务，由一个流媒体服务器接收一路视频和多路音频信号，但只能输出多路中的一路音频信号；或由一个流媒体服务器接收一路视频和多路中的一路音频信号。由多个流媒体服务器共同支持多路音频信号的输出，从而满足了用户对多语言的需求，并且节省了网络资源，不再需要视频复制器和过多的直播编码器，进而降低了成本，且较容易维护。同时，本发明适用于各种无线网络，如GPRS(通用分组无线业务)、EDGE(GSM用的增强型数据速率)、WCDMA(宽带码分多址)、CDMA2000(码分多址接入2000)、TD-SCDMA(时分同步码分多址接入)、DVB-H(数字电视网络)、DMB(数字多媒体广播)、ISDB-T(综合服务数字广播-地面)等。在移动网络中终端可以通过点到点(单播技术)方式使用该互动技术，也可以通过组播DVB-H、DMB、MBMS(Multimedia Broadcast MulticastService，多媒体广播组播服务)或BCMCS(Broadcast and Multicast Services，广播多播业务)等的方式应用该技术。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若对本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1、一种支持多音轨的方法，其特征在于，包括以下步骤：
直播编码器将处理后的一路视频数据和多路音频数据发送到多个流媒体服务器，其中流媒体服务器的数量不少于音频数据的路数；
流媒体服务器根据用户的请求复制所述一路视频数据和所述多路音频数据中的一路音频数据并发送到终端设备，其中每个流媒体服务器仅输出所述多路音频数据中的一路音频数据。
2、如权利要求1所述的支持多音轨的方法，其特征在于，所述直播编码器生成的会话描述协议SDP文件中包含一路视频数据和多路音频数据的参数信息以及一路视频数据和多路音频数据的端口号，所述流媒体服务器通过监听所述端口接收一路视频数据和多路音频数据。
3、如权利要求2所述的支持多音轨的方法，其特征在于，所述流媒体服务器根据所述SDP文件在本地配置文件中定义该流媒体服务器在输出所述一路视频数据情况下仅能输出的一路音频数据。
4、如权利要求1所述的支持多音轨的方法，其特征在于，所述直播编码器生成的SDP文件中包含一路视频数据和多路音频数据的参数信息以及一路视频数据和多路音频数据的端口号，将所述SDP文件分解出多个包含一路视频数据和所述多路音频数据中的一路音频数据的参数信息以及对应端口号的SDP文件，各流媒体服务器通过监听所述多个SDP文件中的一个SDP文件指定的端口接收一路视频数据和所述多路音频数据中的一路音频数据。
5、如权利要求1、2或3所述的支持多音轨的方法，其特征在于，在所述直播编码器上通过音轨编号或音轨标签指定音轨和语言的对应关系，所述流媒体服务器根据音轨编号或音轨标签输出对应的音轨上的音频数据。
6、如权利要求5所述的支持多音轨的方法，其特征在于，在所述流媒体服务器的配置文件中指定一种语言对应的音轨编号或音轨标签，所述流媒体服务器根据该配置文件的定义输出该语言的音频数据。
7、如权利要求5所述的支持多音轨的方法，其特征在于，在门户网站上建立各语言选择项到对应的流媒体服务器的媒体链接，该媒体链接中包含语言所对应的音轨编号或音轨标签。
8、一种流媒体服务器，其特征在于，包括：
接收单元，用于接收直播编码器输出的一路视频数据和多路音频数据；
复制单元，用于复制所述一路视频数据和仅复制所述多路音频数据中的一路音频数据；
发送单元，用于将所述复制单元复制后的所述一路视频数据和一路音频数据发送到终端设备；其中，
所述流媒体服务器的数量不少于音频数据的路数。
9、一种流媒体服务器，其特征在于，包括：
接收单元，用于接收直播编码器输出的一路视频数据和多路音频数据中的一路音频数据；
复制单元，用于复制所述接收单元接收到的一路视频数据和一路音频数据；
发送单元，用于将所述复制单元复制后的一路视频数据和一路音频数据发送到终端设备；其中，
所述流媒体服务器的数量不少于音频数据的路数。
10、一种支持多音轨的系统，其特征在于，包括直播编码器，与该直播编码器连接的多个流媒体服务器；
所述直播编码器用于对接收到的一路视频模拟信号和多路音频模拟信号进行模数变换，并将处理后的一路视频数据和多路音频数据发送到多个流媒体服务器，其中流媒体服务器的数量不少于音频数据的路数；
所述流媒体服务器用于根据用户的请求复制所述一路视频数据和所述多路音频数据中的一路音频数据并发送到终端设备，其中每个流媒体服务器仅输出所述多路音频数据中的一路音频数据。
11、如权利要求10所述的支持多音轨的系统，其特征在于，还包括：
门户网站，用于建立各语言选择项到对应的流媒体服务器的媒体链接，用户通过在门户网站上选择需要的语言连接到相应的流媒体服务器。
CN200610111991.6A 2006-08-30 2006-08-30 一种支持多音轨的方法、系统及流媒体服务器 Expired - Fee Related CN100479528C (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN200610111991.6A CN100479528C (zh) 2006-08-30 2006-08-30 一种支持多音轨的方法、系统及流媒体服务器
PCT/CN2007/001714 WO2008028388A1 (fr) 2006-08-30 2007-05-28 Procédé, système et serveur de flux multimédia pour le support de multiples pistes audio
RU2009109836/09A RU2009109836A (ru) 2006-08-30 2007-05-28 Способ, система и потоковый медиасервер для предоставления нескольких аудиоканалов
US12/394,953 US20090172763A1 (en) 2006-08-30 2009-02-27 Method, system and stream media server for supporting multi audio tracks

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200610111991.6A CN100479528C (zh) 2006-08-30 2006-08-30 一种支持多音轨的方法、系统及流媒体服务器

Publications (2)

Publication Number Publication Date
CN1917649A CN1917649A (zh) 2007-02-21
CN100479528C true CN100479528C (zh) 2009-04-15

Family

ID=37738514

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200610111991.6A Expired - Fee Related CN100479528C (zh) 2006-08-30 2006-08-30 一种支持多音轨的方法、系统及流媒体服务器

Country Status (4)

Country Link
US (1) US20090172763A1 (zh)
CN (1) CN100479528C (zh)
RU (1) RU2009109836A (zh)
WO (1) WO2008028388A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290037B2 (en) * 2007-06-28 2012-10-16 Polytechnic Institute Of New York University Feedback assisted transmission of multiple description, forward error correction coded, streams in a peer-to-peer video system
CN101414999B (zh) * 2007-10-19 2011-08-31 华为技术有限公司 会话描述协议中获取频道与媒体关系的方法、频道信息的发送方法以及相关设备
US8719337B1 (en) * 2009-04-27 2014-05-06 Junaid Islam IPv6 to web architecture
US8527649B2 (en) 2010-03-09 2013-09-03 Mobixell Networks Ltd. Multi-stream bit rate adaptation
US8832709B2 (en) 2010-07-19 2014-09-09 Flash Networks Ltd. Network optimization
US8688074B2 (en) 2011-02-28 2014-04-01 Moisixell Networks Ltd. Service classification of web traffic
WO2014067073A1 (zh) * 2012-10-30 2014-05-08 深圳市多尼卡电子技术有限公司 音视频文件的编辑、播放的方法、装置及广播系统
CN104079870B (zh) * 2013-03-29 2017-07-11 杭州海康威视数字技术股份有限公司 单路视频多路音频的视频监控方法及系统
US20150039389A1 (en) 2013-08-01 2015-02-05 The Nielsen Company (Us), Llc Methods and apparatus for metering media feeds in a market
US9888296B2 (en) * 2015-03-27 2018-02-06 Bygge Technologies Inc. Real-time wireless synchronization of live event audio stream with a video recording
US10091561B1 (en) * 2015-03-05 2018-10-02 Harmonic, Inc. Watermarks in distributed construction of video on demand (VOD) files
CN104796759A (zh) * 2015-04-07 2015-07-22 无锡天脉聚源传媒科技有限公司 一种从多路音频中提取一路音频的方法及装置
CN106302377B (zh) * 2015-06-29 2019-10-15 华为技术有限公司 媒体会话处理方法和相关设备及通信系统
CN105898354A (zh) * 2015-12-07 2016-08-24 乐视云计算有限公司 视频文件的多音轨存储方法和装置
US10574717B1 (en) * 2016-06-29 2020-02-25 Amazon Technologies, Inc. Network-adaptive live media encoding system
CN108810575B (zh) * 2017-05-04 2021-10-29 杭州海康威视数字技术股份有限公司 一种发送目标视频的方法和装置
FR3131491A1 (fr) * 2021-12-23 2023-06-30 Orange procédé de gestion de sauts temporels lors de la lecture d’un contenu multimédia.

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7721307B2 (en) * 1992-12-09 2010-05-18 Comcast Ip Holdings I, Llc Method and apparatus for targeting of interactive virtual objects
CN1867068A (zh) * 1998-07-14 2006-11-22 联合视频制品公司 交互式电视节目导视系统及其方法
US7051360B1 (en) * 1998-11-30 2006-05-23 United Video Properties, Inc. Interactive television program guide with selectable languages
US6772438B1 (en) * 1999-06-30 2004-08-03 Microsoft Corporation Method and apparatus for retrieving data from a broadcast signal
EP1158799A1 (en) * 2000-05-18 2001-11-28 Deutsche Thomson-Brandt Gmbh Method and receiver for providing subtitle data in several languages on demand
KR100460916B1 (ko) * 2002-11-08 2004-12-09 현대자동차주식회사 자동차 극장에서 다국적 언어 지원장치 및 방법
CN1208968C (zh) * 2002-11-21 2005-06-29 北京中科大洋科技发展股份有限公司 制作和发送及接收广播式准视频点播节目的装置和方法
US7930716B2 (en) * 2002-12-31 2011-04-19 Actv Inc. Techniques for reinsertion of local market advertising in digital video from a bypass source
CN1700651A (zh) * 2004-05-21 2005-11-23 天津标帜科技有限公司 利用internet流媒体协议的音像系统
US20070047590A1 (en) * 2005-08-26 2007-03-01 Nokia Corporation Method for signaling a device to perform no synchronization or include a synchronization delay on multimedia stream
CN100493091C (zh) * 2006-03-10 2009-05-27 清华大学 基于会话初始化协议的流媒体直播p2p网络方法

Also Published As

Publication number Publication date
US20090172763A1 (en) 2009-07-02
RU2009109836A (ru) 2010-10-10
WO2008028388A1 (fr) 2008-03-13
CN1917649A (zh) 2007-02-21

Similar Documents

Publication Publication Date Title
CN100479528C (zh) 一种支持多音轨的方法、系统及流媒体服务器
CN1820507B (zh) 用于数字多媒体广播的系统和方法
CN1906947B (zh) 在网络上传输数字服务的方法和实现该方法的设备
CN102498722B (zh) 利用选择mpeg-2传输流多路复用的多媒体流的基础分组进行该流的分发
KR100878534B1 (ko) Ｄａｂ 시스템에서 ｉｐｄｃ 서비스를 제공하는 장치 및방법
CN100583880C (zh) 用于广播多媒体内容的系统
CN1937609B (zh) 流媒体平台支持多音轨内容的方法、系统及流媒体服务器
CN100534023C (zh) 降低在流式会话期间传输信道差错所造成的影响
CN101895750B (zh) 面向机顶盒和pc的实时流媒体服务器及工作方法
CN101237340B (zh) 用于实现多媒体业务中组播频道的系统及方法
CN106165434A (zh) 用于将媒体数据流式传送的定向广告插入
CN101238732A (zh) 在广播系统中发送/接收广播服务的接入信息的方法和装置及其系统
CN103024454B (zh) 在广播电视节目中向受众传送互动入口信息的方法及其系统
CN101895737A (zh) 多媒体解码方法及装置、视频监控方法及系统
CN102131114A (zh) 一种播放列表提供方法及系统
US20020159464A1 (en) Method of and system for providing parallel media gateway
DE60302640D1 (de) Nachrichtenrundfunksystem in einem Funkkommunikationsnetz
CN1225853C (zh) 在数字广播网中传递信息的方法
CN101969447A (zh) 一种提供流媒体服务的方法和系统
CN202514011U (zh) 高速公路有线/无线综合视频监控系统
CN106034257A (zh) 一种基于广播电视的多媒体应用系统
CN201018611Y (zh) 基于avs-m的视音频信号前端处理系统
CN103701827A (zh) 基于自适应流媒体服务网关系统实现流媒体播放的方法
KR100704116B1 (ko) 멀티미디어 서비스를 위한 다중 실시간 인코딩 방법 및 그서버 장치
CN101127895A (zh) 无限制的多网合一多媒体发布平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090415

Termination date: 20120830