CN102763364A - 使用超级帧收发多信道音频信号的方法及装置 - Google Patents

使用超级帧收发多信道音频信号的方法及装置 Download PDF

Info

Publication number
CN102763364A
CN102763364A CN2009801058948A CN200980105894A CN102763364A CN 102763364 A CN102763364 A CN 102763364A CN 2009801058948 A CN2009801058948 A CN 2009801058948A CN 200980105894 A CN200980105894 A CN 200980105894A CN 102763364 A CN102763364 A CN 102763364A
Authority
CN
China
Prior art keywords
supeframe
channel audio
additional signal
regeneration
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801058948A
Other languages
English (en)
Inventor
李用主
徐廷一
白承权
张大永
姜京玉
洪镇祐
林钟秀
金镇雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electronics and Telecommunications Research Institute ETRI filed Critical Electronics and Telecommunications Research Institute ETRI
Publication of CN102763364A publication Critical patent/CN102763364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明涉及一种收发多信道音频信号的方法及装置。本发明的多信道音频信号发信装置，包含：多信道音频下混合器，接收多信道音频信号之后转换成下混合音频信号和附加信号；超级帧产生器，产生包含多个附加信号帧的超级帧；打包器，以用于打包所述超级帧，所述超级帧包括，包含于该超级帧的附加信号帧的数量信息和长度信息。根据本发明，可以在DMB的播放环境中降低数据传输率，从而有效地收发多信道音频信号。

Description

使用超级帧收发多信道音频信号的方法及装置
技术领域
本发明涉及一种收发多信道音频信号的方法及装置，尤其涉及一种利用超级帧收发多信道音频信号的方法及装置。
背景技术
最近对多信道音频编码的方法的研究较多。在动态图像专家组(MPEG)环绕技术中也形成对多信道音频的编码/译码方式的标准化，使用将下混合的多信道音频分成立体声音频信号和附加信号而编码的方法。这时，适应于其应用，下混合的立体声音频信号根据高级音频编码(Advanced Audio Coding，AAC)，位片算数编码(Bit Sliced Arithmetic Coding，BSAC)等音频编码方法编码。
同时，数字多媒体广播(Digital Multimedia Broadcasting，DMB)作为可在移动环境收信的多媒体服务，通过手机、掌上电脑(PDA)、车用接收机等终端形成服务。该DMB只支持立体声音频，最近也研究扩张该技术，提供多信道音频的方法。如此，在基于立体声的DMB中提供多信道音频服务时最重要的一点是需要维持与现有的基于立体声的DMB服务之间的逆互换性，有效地传输数据。
相比立体声音频，多信道音频具有数据率高的特点，不过相比数字电视(DTV)等类似媒体，DMB具有传输率低的缺点。特别是DMB采用MPEG-2传送流(Transport Stream，TS)，MPEG-2系统规格规定不同的基本码流(Elementary Straem，ES)拥有不同的标志码传输包(PID)。因此，有可能发生即使ES的输出率很低，TS的输出率也可能很高的状况。如前所述，对于因编码多信道音频而形成的附加信号，虽然ES的数据率不高，但是每帧都将其打包为TS传输时，该TS的输出率可以达到ES的输出率的两倍以上。因此，为了通过DMB传输多信道音频，需要与现有DMB维持逆互换性，并且有效地打包多信道音频后传输，以避免数据率不至于很高。
为了主视频及主语音服务，DMB服务规定传输一个视频客体及一个音频客体，此时音频客体可能是单信道或者立体声。最近，随着多媒体技术的发展DTV(Digital TeleVision)，数字多功能光盘(Digital Versatile Disc，DVD)等也提供较多的多信道音频服务，用户对多信道音频服务的需要也增加。在此趋势下，最近进行着通过DMB提供多信道音频的技术开发。DMB将单信道或者立体声音频编码成BSAC或者AAC进行传输，但是多信道音频的传输需要传输追加的数据，所以需要修改现有的传输方法。
同时，MPEG环绕、音源定位编码(Sound Source Location Cue Coding，SSLCC)等多信道编码方法针对将多信道音频分离成下混合立体声和附加信号后传输并再生的方式进行了标准化，而为了逆互换性地进行多信道服务，该多信道编码技术是很好的编码方法。即，若对多信道音频信号进行编码，并分离成下混合立体声信号和附加信号，则下混合立体声信号可以与基于现有的立体声音频服务互换使用。
为了通过DMB提供多信道音频服务，曾提议使用这种多信道音频编码方法，但该方法也是将多信道音频分成下混合立体声信号和附加信号而传输。此时为了与现有DMB的逆互换性，下混合立体声信号编码成BSAC或者AAC，附加信号假设为追加的ES，采用以各个附加信号的帧为区分进行打包并传输的方法。
但是，将附加信号以帧为区分打包传输的时候，DMB的数据传输率会比较高。这种因附加信号的数据传输率的增加是因为附加信号在每个帧都会经过TS打包过程，因此传输一个帧的附加信号，起码传输一个以上的TS包。
发明内容
本发明的目的在于提供一种在DMB的播放环境中降低数据传输率，从而有效地收发多信道音频信号的方法及装置。
而且，本发明的另一个目的在于提供一种具有在能够再生多信道音频的终端，甚至是在不能再生多信道音频的终端上都可以显示单信道或者立体声音频的互换性的收发多信道音频的方法及装置。
并且，本发明的又一个目的在于提供一种利用包含于超级帧的附加信号帧的数量信息及长度信息，更加准确地收发附加信号帧，并且可以与下混合音频信号进行同步的收发多信道音频的方法及装置。
本发明的目的不限于以上的所述，没有提及的本发明的其他目的及优点可以通过以下说明理解，并通过本发明的实施例更加明确地理解。并且，通过权利要求范围提示的技术手段及其组合，可以实现本发明的目的及优点。
为了实现上述目的，本发明的多信道音频信号发信装置，其特征之一为包含：多信道音频下混合器，接收多信道音频信号之后转换成下混合音频信号和附加信号；超级帧产生器，产生包含多个附加信号帧的超级帧；打包器，以用于打包超级帧；超级帧具有，包含于超级帧的附加信号帧的数量信息和长度信息。
而且，本发明的多信道音频信号收信装置，另一个特征在于包含：收信器，接收包含超级帧的包；解包器，将接收的包解包之后，获取包含于包的超级帧；超级帧分析器，利用包含于超级帧的附加信号帧的数量信息以及长度信息，获取包含于超级帧的多个附加信号帧。
并且，本发明的多信道音频信号发信方法，又一个特征在于包含：接收多信道音频信号之后转换成下混合音频信号和附加信号的步骤；产生包含多个附加信号帧的超级帧的步骤；打包所述超级帧的步骤；所述超级帧具备，包含于超级帧的附加信号帧的数量信息和长度信息。
而且，本发明的多信道音频信号收信方法，再一个特征在于包含：接收包含超级帧的包的步骤；解包所接收的包，获取包含于所述包的超级帧的步骤；以及利用包含于超级帧的附加信号帧的数量信息和长度信息，获取包含于所述超级帧的多个附加信号帧的步骤。
如前所述，本发明的优点在于可以在DMB的播放环境中降低数据传输率，从而有效地收发多信道音频信号。
而且，本发明优点还在于提供可以在能够再生多信道音频的终端，甚至是在不能再生多信道音频的终端上显示单信道或者立体声音频的互换性。
而且，本发明的优点还在于利用包含于超级帧的附加信号帧的数量信息及长度信息，更加准确地收发附加信号帧，并且可以与下混合音频信号进行同步。
附图说明
图1是根据本发明一实施例的多信道音频发信装置的组成图；
图2是根据本发明另一实施例的多信道音频传输装置的组成图；
图3是图1及图2所示的超级帧产生器的一个实施例的组成图；
图4是根据本发明的另一实施例的多信道音频发信装置打包的超级帧的组成图；
图5是用于说明根据本发明的多信道音频信号发信方法的顺序图；
图6是根据本发明一实施例的多信道音频收信装置的组成图；
图7是根据本发明另一实施例的多信道音频收信装置的组成图；
图8是图6及图7所示的超级帧分析器的一个实施例的组成图；
图9是用于说明根据本发明的多信道音频信号收信方法的顺序图。
具体实施方式
参照附图来详细说明所述的目的、特征及优点，由此属于本发明技术领域的拥有一般知识的技术人员可以容易地实施本发明的技术思想。在对本发明进行说明时，如果与本发明相关的现有技术的具体说明影响了本发明的主旨，则省略其详细的说明。以下参照附图详细说明本发明的优选实施例。附图中相同的附图标记指同一个或者类似的组成要素。
图1是根据本发明一实施例的多信道音频发信装置的组成图。
如图1所示，根据本发明的一实施例的多信道音频发信装置包含多信道音频下混合器102，立体声音频编码器104，超级帧产生器106，视频编码器108，打包器110及多路复用器112。图1中虽然未提示，但是为了发送多信道音频发信装置产生的流还包含发信器。
多信道音频下混合器102接收多信道音频信号，将接收的多信道音频信号转换成立体声音频信号和附加信号。之后，多信道音频下混合器102向立体声音频编码器104提供立体声音频信号，并向超级帧产生器106提供附加信号。在本发明的其他实施例，多信道音频下混合器102可以将接收的多信道音频信号转换成单信道音频信号和附加信号。
由多信道音频下混合器102提供的立体声音频信号被立体声音频编码器104压缩编码并形成音频ES(Elementary Stream)，将此提供给打包器110。
超级帧产生器106从多信道音频下混合器102接收附加信号，形成一个超级帧(或者超级帧形态的附加信号ES)，该超级帧包含所提供的附加信号的多个帧。在此，附加信号是指表示用于多信道音频的多信道音频信号的空间信息等附加信息。
超级帧产生器106判断即将生成的超级帧应该包含几个附加信号帧，并根据其结果生成超级帧。超级帧产生器106依据已确定的超级帧的长度(例如，150字节)，在不超过此长度的范围内可包含多个附加信号帧。又，也可以无关于超级帧的长度，预先确定超级帧将要包含的附加信号帧的个数(例如，3个附加信号帧)，生成包含所定个数的附加信号帧的超级帧。根据多信道音频的收发和再生环境、传输规格、再生规格、以及其他系统设定等因素，可以改变包含于超级帧的附加信号帧的个数。
并且，生成的超级帧包括包含于该超级帧的附加信号帧的数量信息及附加信号帧的长度信息。这种数量信息和长度信息利用于接收侧接收该超级帧，并从该超级帧获取正确的附加信号。对于超级帧产生器106，在后面详细进行说明。
视频编码器108对输入的视频信号进行编码之后产生视频ES，并将其提供给打包器110。
打包器110接收如同音频ES、超级帧形式的附加信号ES、视频ES的音频/视频信号和如同对象描述符(Object Descriptor，OD)、场景描述符流(BinaryFormat for Scene，BIFS)、初始对象描述符(Initial Object Descriptor，IOD)的信令信息之后打包。在这里，OD用于告知构成客体的基本码流序列号(Elementary Stream ID，ES_ID)，而BIFS起到布置客体的作用。并且，IOD具有向相关的所有流的第一接近点告知OD或者BIFS的ES_ID的作用。
而且，打包器110使被打包的超级帧包含再生时刻信息，该再生时刻信息用于接收侧再生立体声音频信号时，同步立体声音频信号和附加信号。打包器110将包含于超级帧的多个附加信号帧中最先再生的附加信号帧的再生时刻设定为该超级帧的再生时刻信息。对于再生时刻信息，在后面进行更详细的说明。
通过打包器110生成的音频包、附加信号包、视频包、信令信息包都提供给多路复用器112。多路复用器112将接收的包多路复用之后生成如同MPEG-2TS(Transport Stream)的流。这样生成的MPEG-2TS规格的流通过DMB等播放服务传输到再生装置或者存储装置。
图2是根据本发明另一实施例的多信道音频传输装置的组成图。
如图2所示，根据本发明另一实施例的多信道音频传输装置包含多信道音频下混合器202、下混合音频编码器204、超级帧产生器206、视频编码器208、OD产生器210、BIFS产生器212、IOD产生器214、同步层(SL)打包器216、打包基本流(PES)打包器218、14496分段(section)打包器220、节目专用信息(PSI)分段打包器222、TS多路复用器224。虽然图2未表示，但是多信道音频传输装置还包含传输所生成的流的发信器。
多信道音频下混合器202对输入的多信道音频信号进行编码，生成下混合单信道或立体声的下混合音频信号和附加信号。之后，多信道音频下混合器202分别将生成的下混合音频信号发送到下混合音频编码器204，并将附加信号发送到超级帧产生器206。
下混合音频编码器204压缩、编码由多信道音频下混合器202提供的下混合音频信号，以生成音频ES，将此发送到SL打包器216。
超级帧产生器206接收多信道音频下混合器202提供的附加信号，并生成包含多个所提供的附加信号的帧的一个超级帧(或者超级帧形式的附加信号ES)。生成的超级帧被发送到SL打包器216。并且，视频编码器208接收视频信号并进行编码，由此生成视频ES，并将此发送到SL打包器216。
OD产生器210和BIFS产生器212分别生成OD流和BIFS流，并将生成的流发送到SL打包器216。IOD产生器214利用从外部输入的IOD文本数据而生成IOD数据，并发送到PSI分段打包器222。
SL打包器具有生成作为各媒体流(音频ES，附件信号ES，视频ES，OD流，BIFS流)之间的同步包的SL(synchronization layer)包的作用。由SL打包器216产生的音频SL包、附加信号SL包、视频SL包发送到PES打包器218，OD SL包和BIFS SL包发送到14496分段打包器220。
而且，SL打包器216在将附件信号ES转换成附件信号SL包的过程中，使附件信号SL包的报头中包含超级帧的再生时刻信息(CTS：CompositionTime Stamp)。多信道音频收信装置接收多信道音频并进行再生时，该再生时刻信息用于再生的单信道/立体声音频信号与附件信号的同步。
设定超级帧的再生时刻信息时，SL打包器216可以将包含于超级帧的多个附加帧中，在时间上最先再生的附加信号帧的再生时刻设定为超级帧再生时刻信息。例如，包含于某个超级帧的三个附件信号帧分别具有1:10:45(1小时10分45秒)、1:10:46、1:10:47的再生时刻，则该超级帧的再生时刻信息设定为1:10:45。多信道音频收信装置接收了包含这种数据帧的包之后，将超级帧的再生时刻信息设定为包含于超级帧的多个附加信号帧中的在时间上最先再生的附加信号帧的再生时刻(1:10:45)，再根据预先计算的时间间隔(一秒)设定其他两个附加信号帧的再生时刻(1:10:46，1:10:47)。
将由SL打包器216产生的音频SL包、附件信号SL包、视频SL包发送到PES打包器218。PES打包器218将接收的频SL包、附件信号SL包、视频SL包分别转换成音频PES包、附件信号PES包、视频PES包，并发送到TS多路复用器224。
由SL打包器216生成的OD SL包和BIFS SL包发送到14496分段打包器22。14496分段打包器220将接收的OD SL包和BIFS SL包分别转换成OD 14496分段包和BIFS 14496分段包，再发送到TS多路复用器224。
PSI分段打包器222生成包含从IOD产生器214发送的IOD数据的PSI分段，并发送到TS多路复用器224。
TS多路复用器224多路复用所接收的音频PES包、附件信号PES包、视频PES包、OD 14496分段包、BIFS 14496分段包、PSI分段，生成MPEG-2传输流(TS：transport Stream)。这样产生的MPEG-2TS通过发信器发信到多信道音频收信装置。
图3是图1及图2所示的超级帧产生器的一个实施例的组成图。
如图3所示，超级帧产生器302包含超级帧产生控制单元304。超级帧产生控制单元304接收多信道音频下混合器发送的附加信号，并生成包含所提供的附加信号的多个帧的一个超级帧(或是超级帧形式的附加信号ES)。这时，超级帧产生控制单元304判断将要生成的超级帧需要包含几个附加信号帧，并根据判断结果产生超级帧。该内容通过图1进行过说明，所以在此省略。
另外，所产生的超级帧可以包括包含于该超级帧的附加信号帧的数量信息和附加信号帧的长度信息。这种数量信息和长度信息应用于接收侧接收该超级帧，并从超级帧获取正确的附加信号。表1是示出根据本发明的一实施例的多信道音频附件信号超级帧的语法。
表1
Figure BPA00001206125500071
Figure BPA00001206125500081
在表1，Frame_number表示包含于一个超级帧的多信道音频附件信号帧的个数。并且，Frame_length用字符表示多信道音频附件信号帧的长度，Frame_payload表示多信道音频附加信号。如表1所示，超级帧除了以Frame_payload表现的附加信号以外，还包含表示该超级帧包含几个附加信号帧的数量信息(Frame_number)。而且，超级帧包含长度信息(Frame_length)，表示各个附件信号帧的长度或者大小。
表2是示出根据本发明的另一个实施例的多信道音频附件信号超级帧的语法。
表2
如表2所示，根据本发明的另一实施例的超级帧除了Frame_number、Frame_length、Frame_payload以外，还包含填充位(Padding bit)。填充位使用在包含于超级帧的附加信号帧的字节对齐(Byte align)。通常，附件信息帧以字节(Byte)为单位输入，但是若附加信息帧的一个字节中只有部分比特(bit)被输入，则使用填充位，以填充剩下的比特生成一个字节。字节对齐属于本发明领域中公知的内容，所以省略详细的内容。
图4是根据本发明的另一实施例的由多信道音频发信装置打包的超级帧的组成图。
图4表示的超级帧包是由图2表示的多信道音频发信装置的超级帧产生器生成的超级帧经过SL打包、PES打包、TS多路复用而生成的。在图4，TS报头402由TS多路复用生成；PES报头404由PES多路复用生成；SL报头406由SL多路复用生成。并且，帧数量信息408、第一帧长度信息41O、第一帧有效载荷412、第二帧长度信息414、第二帧有效载荷416...等包含于超级帧产生器产生的超级帧。多信道音频收信装置分析该超级帧包，并获取多个附加信号帧时使用包含于超级帧包的帧数量信息408、帧长度信息410，414。
图5是用于说明根据本发明的多信道音频信号发信方法的顺序图。
首先，接收多信道音频信号并转换成下混合音频信号和附加信号(S502)，并生成包含多个附加信号帧的超级帧(S504)。这时，超级帧包括包含于该超级帧的附加信号帧的数量信息及长度信息，还可以包含填充位。
然后，打包生成的超级帧(S506)并发送打包的超级帧(S508)。此时，为了与下混合音频信号同步，该打包的超级帧可以包含再生时刻信息。将包含于超级帧的多个附加信号帧中的在时间上最先再生的附加信号帧的再生时刻设定为再生时刻信息。
图6是根据本发明一实施例的多信道音频收信装置的组成图。
如图6所示，根据本发明的一实施例的多信道音频收信装置包含解复用器602、解包器604、立体声音频译码器606、超级帧分析器608、视频译码器61O、多信道音频产生器612。图6中虽然未示出，但是多信道音频收信装置可以包含接收如MPEG-2流的收信器。
解复用器604将通过收信器接收的流进行解复用，分离出音频包、附加信号包、视频包、信令信号包，并发送到解包器604。
解包器604将从解复用器602接收的音频包、附加信号包、视频包分别转换成音频ES、附加信号ES(超级帧)、视频ES。并且，解包器604解包信令信息包，以产生如OD、BIFS、IOD的信令信息。
立体声音频译码器606译码音频ES之后产生立体声音频信号，将此发送给多信道音频产生器612。立体声音频译码器606产生的立体声音频信号不会使用于生成多信道音频，可以直接作为立体声音频再生。如果多信道音频发信装置的多信道音频下混合器102产生的信号为单信道音频信号，则可以在音频ES产生单信道音频信号。
超级帧分析器608分析超级帧(或者附加信号ES)，获取包含于超级帧的多个附加信号帧。这时，超级帧分析器608使用包含在超级帧的附加信号帧的数量信息以及长度信息。超级帧分析器608首先通过数量信息掌握需要获取的附加信息帧有几个，再通过各个附件信号帧的长度信息，从超级帧准确分离出附加信号帧。
另外，超级帧分析器608具有设定所获取的多个附加信号帧的再生时刻的作用。附加信号与其对应的立体声音频一起产生多信道音频，为此需要同步附加信号和立体声音频信号。附加信号帧的再生时刻信息应用于此同步。多信道音频产生器612接收立体声音频信号，并可使用与该立体声音频信号拥有同样的再生时刻的附加信号，产生多信道音频。
为了设定多个附加信号帧的再生时刻信息，超级帧分析器608首先获取包含在超级帧的再生时刻信息。然后，将该超级帧的再生时刻信息设定为多个附加信息帧中时间上最先再生的附加信号帧的再生时刻。第一个附加信号帧的再生时刻确定之后，利用预先计算的时间间隔确定其他附加信号帧的再生时刻。
例如，包含于超级帧的三个附加信号帧中，第一个附加信号帧的再生时刻是1:10:45(1小时10分45秒)，且各个附加信号帧之间的时间间隔为‘1秒’，则第二个和第三个附加信号帧的再生时刻分别是1:10:46，1:10:47。这种时间间隔可由多种方法确定。例如，假设多信道音频发信装置中的视频/音频信号的帧速率(frame rate)为每秒30帧，则附加信号帧也具有每秒30帧的帧速率，所以附加信号帧之间的时间间隔可以计算为1/30秒。
多信道音频产生器612接收立体声音频译码器504发送的立体声音频信号和超级帧分析器608发送的帧单位的附加信号，由此产生多信道音频。并且，视频译码器610接收解包器604发送的视频ES，并经过译码之后生成视频。
图7是根据本发明另一实施例的多信道音频收信装置的组成图。
如图7所示，根据本发明的另一实施例的多信道音频收信装置包含TS解复用器702、PES解包器704、14496分段解包器706、PSI分段解包器708、SL解包器710、下混合音频译码器712、超级帧分析器714、视频译码器716、OD译码器718、BIFS译码器720、IOD译码器722、多信道音频产生器724。虽然图7中未示出，但多信道音频收信装置还可以包含接收如MPEG-2流的收信器。
TS解复用器702对通过收信器接收的MPEG-2进行解复用，产生音频PES包、附加信号PES包、视频PES包、OD 14496分段包、BIFS 14496分段包、PSI分段包。TS解复用器702将产生的音频PES包、附加信号PES包、视频PES包发送到PES解包器704。而且，TS解复用器702将OD 14496分段包、BIFS 14496分段包发送到14496分段解包器706，将PSI分段包发送到PSI分段解包器708。
PES解包器704将从TS解复用器702接收的音频PES包、附加信号PES包、视频PES包进行解包之后，分别转换成音频SL包、附加信号SL包、视频SL包。
14496分段解包器706将从TS解复用器702接收的OD 14496分段包、BIFS 14496分段包进行解包之后，分别转换成OD SL包、BIFS SL包。
PSI分段解包器708将从TS解复用器702接收的PSI分段包进行解包之后进行译码，由此产生IOD数据，并将此发送到IOD译码器722。
SL解包器710将从PES解包器704接收的音频SL包、附加信号SL包、视频SL包进行解包之后，转换成音频ES、附加信号ES(超级帧)、视频ES。而且，SL解包器710将从14496分段解包器706接收的OD SL包、BIFS SL包进行解包之后，转换成OD流、BIFS流。
下混合音频译码器712将从SL解包器710接收的音频ES进行译码之后，产生下混合音频信号，并将此发送到多信道音频产生器724。由下混合音频译码器712产生的下混合音频信号并不利用于生成多信道音频，可以由下混合音频本身直接再生。下混合音频译码器712产生的下混合音频可以是立体声或者是单信道音频信号。
超级帧分析器714分析超级帧(或者附加信号ES)，获取包含于超级帧的多个附加信号帧。这时，超级帧分析器714利用包含于超级帧的附加信号帧的数量信息以及长度信息。超级帧分析器714首先通过数量信息掌握需要获取的附件信号帧有几个，再通过各个附加信号帧的长度信息，正确分离出附加信号帧。
另外，超级帧分析器714具有设定获取的多个附加信号帧的再生时刻的作用。多信道音频产生器724利用下混合音频信号和附加信号生成多信道音频时的同步中使用各个附加信号帧的再生时刻。
为了设定多个附加信号帧的再生时刻信息，超级帧分析器714首先获取包含在超级帧的再生时刻信息。然后，将该超级帧的再生时刻信息设定为多个附加信息帧中时间上最先再生的附加信号帧的再生时刻。第一个附加信号帧的再生时刻确定之后，利用预先计算的时间间隔确定其他附加信号帧的再生时刻。对于再生时刻设定方法已通过图6说明，所以省略详细的说明。
视频译码器716将从SL解包器710接收的视频ES进行解包之后，转换成视频。而且，OD译码器718解码所接收的OD流，BIFS译码器720将所接收的BIFS流译码为BIFS。IOD译码器解码所接收的IOD数据。
多信道音频产生器724接收下混合音频译码器712发送的下混合音频信号和超级帧分析器714发送的帧单位的附加信号，由此产生多信道音频。
图8是图6及图7所示的超级帧分析器的一实施例的组成图。
如图8所示，超级帧分析器802包含超级帧分析控制单元804。超级帧分析控制单元804分析所接收的超级帧，并产生多个附加信号。此时，超级帧分析控制单元804利用包含于超级帧的附加信号帧的数量信息及长度信息，获取多个附加信号。利用数量信息以及长度信息的方法前面有说明，所以省略详细的说明。
另外，超级帧分析控制单元804设定所获取的多个附加信号帧的再生时刻。超级帧分析控制单元804获取包含在超级帧的再生时刻信息，并将获取的超级帧的再生时刻信息设定为多个附加信息帧中时间上最先再生的附加信号帧的再生时刻。然后，利用预先计算的时间间隔设定其他附加信号帧的再生时刻。对于附加信号帧的再生时刻设定方法已在前举例说明，所以省略详细的说明。
图9是用于说明根据本发明的多信道音频信号收信方法的顺序图。
首先，接收包含超级帧的包(S902)。然后解包所接收的包，获取包含于所接收的包的超级帧(S904)。所获取的超级帧可能包含用于附加信号帧的字节对齐的填充位。然后，利用包含于超级帧的附加信号帧的数量信息以及长度信息，获取包含于超级帧的多个附加信号帧(S906)。
获取附加信号帧后，设定所获取的多个附加信号帧的再生时刻信息(S908)。在再生时刻信息设定步骤(S908)中，首先获取包含在所接收的包的再生时刻信息，并将获取的再生时刻信息设定为多个附加信息帧中时间上最先再生的附加信号帧的再生时刻。然后，利用预先计算的时间间隔设定其他附加信号帧的再生时刻。
如前所述，本发明的方法可以用计算机程序实现。并且，该领域的计算机程序员容易推出构成所述程序的代码以及代码段。而且，所述构成的程序保存于计算机可读的记录介质(信息储藏媒体)，并由计算机解读并实现，进而体现本发明的方法。而且，所述记录介质包含计算机可以解读的所有形态的记录介质(不仅是如CD、VCD的有形媒体，还有如载波形式的无形媒体)。
对于属于本发明的技术领域的拥有一般知识的人，在不超过本发明的技术思想的范围内可以变换、变形及变更，所以前面叙述的本发明不限于所述的实施例以及附图。

Claims (16)

1.一种多信道音频信号发信装置，其特征在于包含：
多信道音频下混合器，接收多信道音频信号之后转换成下混合音频信号和附加信号；
超级帧产生器，产生包含多个附加信号帧的超级帧；
打包器，以用于打包所述超级帧；
所述超级帧包括包含于该超级帧的附加信号帧的数量信息和长度信息。
2.根据权利要求1所述的多信道音频信号发信装置，其特征在于由所述打包器打包的超级帧还包含用于与所述下混合音频信号同步的再生时刻信息。
3.根据权利要求2所述的多信道音频信号发信装置，其特征在于所述再生时刻信息设定为所述多个附加信号帧中，在时间上最先再生的附加信号帧的再生时刻。
4.根据权利要求1所述的多信道音频信号发信装置，其特征在于所述超级帧还包含用于所述附件信号帧的字节对齐的填充位。
5.一种多信道音频信号收信装置，其特征在于包含：
收信器，接收包含超级帧的包；
解包器，将接收的包进行解包，以从所述包获取超级帧；
超级帧分析器，利用包含于所述超级帧的附加信号帧的数量信息以及长度信息，从所述超级帧获取多个附加信号帧。
6.根据权利要求5所述的多信道音频信号收信装置，其特征在于所述超级帧分析器设定所述多个附加信号帧的再生时刻。
7.根据权利要求6所述的多信道音频信号收信装置，其特征在于所述超级帧分析器获取包含于超级帧的再生时刻信息，并将所述超级帧的再生时刻信息设定为所述多个附加信息帧中在时间上最先再生的附加信号帧的再生时刻，并利用预先计算的时间间隔确定其他附加信号帧的再生时刻。
8.根据权利要求5所述的多信道音频信号收信装置，其特征在于用所述超级帧还包含于所述附加信号帧的字节对齐的填充位。
9.一种多信道音频信号发信方法，其特征在于包含：
接收多信道音频信号之后转换成下混合音频信号和附加信号的步骤；
产生包含多个附加信号帧的超级帧的步骤；
打包所述超级帧的步骤；
所述超级帧包括，包含于该超级帧的附加信号帧的数量信息和长度信息。
10.根据权利要求9所述的多信道音频信号发信方法，其特征在于在所述打包步骤中打包的超级帧还包含用于与所述下混合音频信号同步的再生时刻信息。
11.根据权利要求10所述的多信道音频信号发信方法，其特征在于所述再生时刻信息设定为所述多个附加信息帧中在时间上最先再生的附加信号帧的再生时刻。
12.根据权利要求9所述的多信道音频信号发信方法，其特征在于所述超级帧还包含用于所述附加信号帧的字节对齐的填充位。
13.一种多信道音频信号收信方法，其特征在于包含：
接收包含超级帧的包的步骤；
解包所接收的包，从所述包中获取超级帧的步骤；
利用包含于所述超级帧的附加信号帧的数量信息和长度信息，从所述超级帧获取多个附加信号帧的步骤。
14.根据权利要求13所述的多信道音频信号收信方法，其特征在于还包含设定所述多个附加信号帧的再生时刻的步骤。
15.根据权利要求14所述的多信道音频信号收信方法，其特征在于设定所述多个附加信号帧的再生时刻的步骤包含：
获取包含在所述接收的包的所述超级帧的再生时刻信息；
所述超级帧的再生时刻设定为多个附加信息帧中在时间上最先再生的附加信号帧的再生时刻；
利用预先计算的时间间隔设定该其他附加信号帧的再生时刻。
16.根据权利要求13所述的多信道音频信号收信方法，其特征在于所述超级帧还包含用于所述附加信号帧的字节对齐的填充位。
CN2009801058948A 2008-04-30 2009-04-29 使用超级帧收发多信道音频信号的方法及装置 Pending CN102763364A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2008-0040293 2008-04-30
KR20080040293 2008-04-30
PCT/KR2009/002274 WO2009134085A2 (ko) 2008-04-30 2009-04-29 슈퍼 프레임을 이용하여 멀티채널 오디오 신호를 송수신하는 방법 및 장치

Publications (1)

Publication Number Publication Date
CN102763364A true CN102763364A (zh) 2012-10-31

Family

ID=41255560

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801058948A Pending CN102763364A (zh) 2008-04-30 2009-04-29 使用超级帧收发多信道音频信号的方法及装置

Country Status (4)

Country Link
EP (1) EP2276192A4 (zh)
KR (1) KR20090115074A (zh)
CN (1) CN102763364A (zh)
WO (1) WO2009134085A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104053040A (zh) * 2013-03-15 2014-09-17 三星电子株式会社 数据收发装置、数据收发系统以及数据收发方法
CN106653057A (zh) * 2016-09-30 2017-05-10 北京智能管家科技有限公司 一种数据处理方法及装置
US10356484B2 (en) 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013122386A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122385A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transreceiving system, data transmitting method, data receiving method and data transreceiving method
WO2013122387A1 (en) 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, data transmitting method, and data receiving method
WO2013122388A1 (en) * 2012-02-15 2013-08-22 Samsung Electronics Co., Ltd. Data transmission apparatus, data receiving apparatus, data transceiving system, data transmission method and data receiving method
US9237169B2 (en) 2012-06-01 2016-01-12 Apple Inc. Network stream identification for open FaceTime

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070200949A1 (en) * 2006-02-21 2007-08-30 Qualcomm Incorporated Rapid tuning in multimedia applications
KR100917844B1 (ko) * 2006-10-17 2009-09-18 한국전자통신연구원 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104053040A (zh) * 2013-03-15 2014-09-17 三星电子株式会社 数据收发装置、数据收发系统以及数据收发方法
CN104053040B (zh) * 2013-03-15 2019-05-10 三星电子株式会社 数据收发装置、数据收发系统以及数据收发方法
US10356484B2 (en) 2013-03-15 2019-07-16 Samsung Electronics Co., Ltd. Data transmitting apparatus, data receiving apparatus, data transceiving system, method for transmitting data, and method for receiving data
CN106653057A (zh) * 2016-09-30 2017-05-10 北京智能管家科技有限公司 一种数据处理方法及装置

Also Published As

Publication number Publication date
WO2009134085A3 (ko) 2013-03-07
EP2276192A4 (en) 2014-03-12
KR20090115074A (ko) 2009-11-04
EP2276192A2 (en) 2011-01-19
WO2009134085A2 (ko) 2009-11-05

Similar Documents

Publication Publication Date Title
KR101129387B1 (ko) Ｄａｂ 시스템에서 ｉｐ 데이터캐스팅 서비스를 제공하는방법 및 장치
CN106796797B (zh) 发送设备、发送方法、接收设备和接收方法
RU2608355C1 (ru) Уплотнение заголовков пакетов транспортного потока
CN102763364A (zh) 使用超级帧收发多信道音频信号的方法及装置
CN102171750B (zh) 用于输送对齐的多通道音频的方法和设备
JP2017512001A (ja) 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
JP2005006336A (ja) デジタルマルチメディア放送（ｄｍｂ）送信機／受信機及びその送信／受信方法
CN105144724A (zh) 发送方法
KR20050117314A (ko) 데이터 패킷의 접근 지연 시간 단축을 위한 송/수신 장치및 그 방법
JP6908168B2 (ja) 受信装置、受信方法、送信装置および送信方法
KR20080098328A (ko) 디지털 멀티미디어 방송 전송 시스템에서 고품질멀티미디어 서비스를 제공하는 장치 및 방법
KR20030062138A (ko) 디지털 지상파 데이터 방송을 위한 데이터 부호화 장치 및그 방법
CN100479529C (zh) 一种广播网络复用协议的转换方法
KR100501909B1 (ko) 엠펙-4 데이터를 디지털 오디오 방송 데이터에 다중화하는 장치와 그 방법 및 그 역다중화 방법
RU2762400C1 (ru) Способ и устройство обработки вспомогательных потоков медиаданных, встроенных в поток mpeg-h 3d audio
KR100917844B1 (ko) 멀티채널 오디오 신호를 전송 또는 재생하는 장치 및 방법
WO2013040996A1 (zh) 分级编码复用的发送端、终端、系统及方法
CN103177725A (zh) 用于输送对齐的多通道音频的方法和设备
CN101179738B (zh) 一种传输流到中国移动多媒体广播复用协议的转换方法
EP2093911A2 (en) Receiving system and audio data processing method thereof
KR101320544B1 (ko) 재난 서비스 신호를 제공하기 위한 재난 방송 제공 방법 및 이를 구현하는 방송 중계 장치
CN103474076A (zh) 用于输送对齐的多通道音频的方法和设备
KR101531510B1 (ko) 수신 시스템 및 오디오 데이터 처리 방법
KR101435815B1 (ko) 방송 시스템 및 오디오 데이터 처리 방법
KR101336423B1 (ko) 계층적 부호화 장치 및 방법, 복호화 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20121031