JP2008158496A - Reproducing method and device, and program and recording medium - Google Patents

Reproducing method and device, and program and recording medium Download PDF

Info

Publication number
JP2008158496A
JP2008158496A JP2007272856A JP2007272856A JP2008158496A JP 2008158496 A JP2008158496 A JP 2008158496A JP 2007272856 A JP2007272856 A JP 2007272856A JP 2007272856 A JP2007272856 A JP 2007272856A JP 2008158496 A JP2008158496 A JP 2008158496A
Authority
JP
Japan
Prior art keywords
stereo
audio signal
information
signal
encoded
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007272856A
Other languages
Japanese (ja)
Other versions
JP4930320B2 (en
Inventor
Kazutomo Kenmochi
千智 劔持
Mitsuyuki Hatanaka
光行 畠中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007272856A priority Critical patent/JP4930320B2/en
Priority to US11/935,050 priority patent/US8363842B2/en
Priority to TW096141906A priority patent/TWI380287B/en
Priority to EP07254547A priority patent/EP1928212B1/en
Priority to DE602007012644T priority patent/DE602007012644D1/en
Priority to KR1020070120956A priority patent/KR20080049632A/en
Priority to CN2007101954765A priority patent/CN101192407B/en
Publication of JP2008158496A publication Critical patent/JP2008158496A/en
Application granted granted Critical
Publication of JP4930320B2 publication Critical patent/JP4930320B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S5/00Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Abstract

<P>PROBLEM TO BE SOLVED: To prevent abnormal sounds from occurring due to influence of filtering delays when encoded audio data having stereo process information intermittently multiplexed are reproduced from an arbitrary frame. <P>SOLUTION: A monaural audio signal supplied from an input terminal 41 is band-divided by a band divider 44, and the stereo signals are generated by a stereo processor 45 on the basis of stereo process information from a terminal 42. The generated stereo signals are band-synthesized by band synthesizers 51 and 52. State variables of the band divider 44 are initialized when the stereo process information is not input and begin to be updated when the stereo process information is input. The monaural audio signal is copied and output from terminals 55 and 56 until the state variables are all updated, and a stereo audio signal generated through stereo processing by the stereo processor 45 based upon the stereo process information is output after the state variables are all updated. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、ステレオ化情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生するための再生方法及び装置、プログラム並びに記録媒体に関する。   The present invention relates to a reproduction method and apparatus, a program, and a recording medium for decoding and reproducing encoded audio data transmitted by stereo-multiplexing information intermittently multiplexed with encoded information of a monaural audio signal. .

モノラルオーディオ信号とステレオ化情報とが入力され、モノラルオーディオ信号をステレオ化情報に基づいてステレオ化処理してステレオオーディオ信号を生成する再生装置が知られている。   2. Description of the Related Art There is known a playback device that receives a monaural audio signal and stereophonic information and generates a stereo audio signal by performing stereo processing on the monaural audio signal based on the stereogenic information.

このようなモノラルオーディオ信号とステレオ化情報とに基づく一般的なステレオ化処理について図面を参照しながら説明する。図6は、一般的なステレオ化装置の構成例を示すブロック図、図7は、図6のステレオ化装置に入力される信号の一例を示す図である。ステレオ化情報は多重化されて伝送されてもよい。   A general stereo process based on such monaural audio signal and stereo information will be described with reference to the drawings. FIG. 6 is a block diagram illustrating a configuration example of a general stereo device, and FIG. 7 is a diagram illustrating an example of a signal input to the stereo device of FIG. The stereo information may be multiplexed and transmitted.

図6において、入力端子41にはモノラルオーディオ信号が、入力端子42にはステレオ化情報がそれぞれ供給されている。入力端子41からのモノラルオーディオ信号は、切換スイッチ43を介して帯域分割部44に送られ、帯域分割処理されてステレオ化処理部45に送られる。ステレオ化処理部45には、入力端子42からのステレオ化情報が供給され、帯域分割されたモノラルオーディオ信号がステレオ化処理され、得られたステレオ左右チャンネルの各信号が、左チャンネル(Lch)の帯域合成部51及び右チャンネル(Rch)の帯域合成部52にそれぞれ送られる。帯域合成部51からのLchのオーディオ信号は、切換スイッチ53に送られ、切換スイッチ43から遅延部46を介した信号とのいずれかが切換選択されて、切換スイッチ54及び出力端子55に送られる。帯域合成部52からのRchのオーディオ信号は、切換スイッチ54に送られ、切換スイッチ53からの信号とのいずれかが切換選択されて、出力端子56に送られる。   In FIG. 6, a monaural audio signal is supplied to the input terminal 41, and stereo information is supplied to the input terminal 42. The monaural audio signal from the input terminal 41 is sent to the band dividing unit 44 via the changeover switch 43, subjected to band division processing, and sent to the stereo processing unit 45. The stereo processing unit 45 is supplied with the stereo information from the input terminal 42, the band-divided monaural audio signal is stereo-processed, and the obtained stereo left and right channel signals are converted to the left channel (Lch). The data is sent to the band synthesis unit 51 and the right channel (Rch) band synthesis unit 52, respectively. The Lch audio signal from the band synthesizing unit 51 is sent to the changeover switch 53, and one of the signals from the changeover switch 43 via the delay unit 46 is selected and sent to the changeover switch 54 and the output terminal 55. . The Rch audio signal from the band synthesizing unit 52 is sent to the changeover switch 54, and one of the signals from the changeover switch 53 is selected and sent to the output terminal 56.

図7は、図6のステレオ化装置に入力される信号の一例を示し、符号化オーディオデータのフレームあるいはブロック等の伝送単位毎に番号#0,#1,#2,・・・を付しており、Mはモノラルオーディオ信号を、Sはステレオ化情報を示している。この図7の例では、モノラルオーディオ信号Mは常に伝送されるが、ステレオ化情報Sは多重化されて伝送され、5回に1回の割合で伝送されている。この場合、伝送単位#0で送られたステレオ化情報Sは、伝送単位#0から#4までのステレオ化処理に用いられ、伝送単位#5で次のステレオ化情報Sに切り換えられ、この伝送単位#5で送られたステレオ化情報Sは伝送単位#5から#9まで用いられ、以下同様に次のステレオ化情報Sが送られるまで、先に送られたステレオ化情報Sが用いられる。   FIG. 7 shows an example of a signal input to the stereo device of FIG. 6, and numbers # 0, # 1, # 2,... Are assigned for each transmission unit such as a frame or a block of encoded audio data. M represents a monaural audio signal and S represents stereo information. In the example of FIG. 7, the monaural audio signal M is always transmitted, but the stereo information S is multiplexed and transmitted, and is transmitted at a rate of once every five times. In this case, the stereo information S sent in the transmission unit # 0 is used for the stereo processing from the transmission units # 0 to # 4, and is switched to the next stereo information S in the transmission unit # 5. The stereo information S sent in the unit # 5 is used from the transmission units # 5 to # 9. Similarly, the stereo information S sent earlier is used until the next stereo information S is sent.

図6の構成において、ステレオ化情報の入力がある場合には、各切換スイッチ43,53,54は選択B端子側に切り換えられる。すなわち、入力端子41から入力されたモノラルオーディオ信号を帯域分割部44にて帯域分割し、ステレオ化処理部45にて、ステレオ化情報に基づいてステレオ信号を作成する。作成されたステレオ信号は、各チャンネルの帯域合成処理部51,52にて帯域合成され、ステレオ左右チャンネルの各オーディオ信号を出力端子55,56よりそれぞれ出力する。   In the configuration of FIG. 6, when the stereo information is input, the changeover switches 43, 53, and 54 are switched to the selection B terminal side. That is, the monaural audio signal input from the input terminal 41 is band-divided by the band dividing unit 44, and the stereo processing unit 45 creates a stereo signal based on the stereo information. The created stereo signal is subjected to band synthesis by the band synthesis processing units 51 and 52 of the respective channels, and the respective audio signals of the stereo left and right channels are output from the output terminals 55 and 56, respectively.

これに対して、フレーム(伝送単位)の間引き再生による早送り再生のような不連続なフレーム再生を行うと、あるいは任意のフレームから再生を行うと、多重化された符号化情報が抜け落ちる場合がある。このような不連続なフレーム再生等により任意のフレーム(伝送単位)から符号化オーディオデータが入力された場合には、使用可能なステレオ化情報が無い状態が生ずる。例えば図7の伝送単位#2の位置から入力が始まる場合に、伝送単位#0のステレオ化情報Sはフレーム間引き等により入力されておらず、伝送単位#2〜#4の間は使用可能なステレオ化情報が無いことになる。   On the other hand, when discontinuous frame reproduction such as fast-forward reproduction by thinning out reproduction of frames (transmission unit) is performed, or reproduction is performed from an arbitrary frame, multiplexed encoded information may be lost. . When encoded audio data is input from an arbitrary frame (transmission unit) by such discontinuous frame reproduction or the like, there is a state where there is no usable stereo information. For example, when the input starts from the position of the transmission unit # 2 in FIG. 7, the stereo information S of the transmission unit # 0 is not input by frame thinning or the like, and can be used between the transmission units # 2 to # 4. There will be no stereo information.

図6の装置では、ステレオ化情報の有無によって出力オーディオ信号のチャンネル数が変化しないように、使用可能なステレオ化情報が無い状態(例えば図7の伝送単位#2〜#4の間)でも、モノラルオーディオ信号をステレオ左右チャンネルに出力するようにしており、具体的には各切換スイッチ43,53,54を選択A端子側に切り換えることにより、同一のモノラルオーディオ信号を出力端子55,56よりそれぞれ出力している。ここで、切換スイッチ43が選択A端子側に切り換えられると、入力端子41からのモノラルオーディオ信号は遅延部46に送られるが、これは、帯域分割部44では、例えばFIRフィルタ処理のように状態変数を保持しており、処理するたびに状態変数が更新され、遅延が発生することを考慮し、入力されたモノラルオーディオ信号に帯域分割部44で発生する遅延分を同様に与えるためである。帯域合成部等では遅延が発生しないように帯域合成が行われるため、遅延部46での遅延は帯域分割部44のみを考慮している。遅延部46からのモノラルオーディオ信号は、切換スイッチ53を介して、Lch出力端子55より出力されると共に、切換スイッチ54を介してRch出力端子56より出力される。なお、図7の伝送単位#2〜#4の間のように使用可能なステレオ化情報が無いときは、内部の帯域分割部44等の状態変数が初期化される。   In the apparatus of FIG. 6, even in a state where there is no usable stereoization information (for example, between transmission units # 2 to # 4 in FIG. 7) so that the number of channels of the output audio signal does not change depending on the presence or absence of stereoization information. The monaural audio signal is output to the stereo left and right channels. Specifically, the same monaural audio signal is output from the output terminals 55 and 56 by switching the selector switches 43, 53, and 54 to the selection A terminal side. Output. Here, when the changeover switch 43 is switched to the selection A terminal side, the monaural audio signal from the input terminal 41 is sent to the delay unit 46. This is the state in the band division unit 44, for example, as in FIR filter processing. This is because the variable is held and the state variable is updated every time it is processed, and a delay is generated, so that the input monaural audio signal is similarly given the delay generated by the band dividing unit 44. Since band synthesis is performed so that no delay occurs in the band synthesizing unit or the like, only the band dividing unit 44 is considered for the delay in the delay unit 46. The monaural audio signal from the delay unit 46 is output from the Lch output terminal 55 via the changeover switch 53 and output from the Rch output terminal 56 via the changeover switch 54. When there is no usable stereo information as in the transmission units # 2 to # 4 in FIG. 7, the state variables such as the internal band dividing unit 44 are initialized.

従って、図7の伝送単位#2の位置からデータが入力された場合、上記伝送単位#2〜#4の間は、内部の状態変数が初期化されると共に、図6のステレオ化装置の各切換スイッチ43,53,54は選択A端子側に切り換えられ、伝送単位#5の位置のデータが入力されると、各切換スイッチ43,53,54は選択B端子側に切り換えられると共に、内部の状態変数が更新される。なお、各切換スイッチ43,53,54の切換動作や、各部の処理動作については、図示しない制御部により、入力データの内容や内部状態等に応じて制御される。   Therefore, when data is input from the position of the transmission unit # 2 in FIG. 7, the internal state variables are initialized between the transmission units # 2 to # 4, and each of the stereo device of FIG. The change-over switches 43, 53, 54 are switched to the selection A terminal side. When data at the position of transmission unit # 5 is input, the change-over switches 43, 53, 54 are switched to the selection B terminal side, and the internal switches The state variable is updated. Note that the switching operation of each change-over switch 43, 53, 54 and the processing operation of each part are controlled by a control unit (not shown) according to the contents of input data, the internal state, and the like.

ここで、ステレオ化処理等のための符号化情報の一部がモノラルオーディオ信号に多重化されて伝送される符号化方式の具体例について以下説明する。   Here, a specific example of an encoding method in which a part of encoded information for stereo processing or the like is multiplexed and transmitted to a monaural audio signal will be described below.

例えば、HE AAC(High Efficiency Advanced Audio Coding,国際標準規格ISO/IEC 14496-3)、特にHE AAC v2(バージョン2)の符号化方式で符号化されたオーディオデータは、復号化するために必要な符号化情報の一部が多重化されて伝送される。このHE AAC v2の符号化方式は、AAC(Advanced Audio Coding)処理、SBR(Spectral Band Replication)処理、PS(Parametric Stereo)処理の3つの技術を組み合わせて構成しており、SBR処理、PS処理の符号化情報は、一部多重化されて伝送される。   For example, HE AAC (High Efficiency Advanced Audio Coding, international standard ISO / IEC 14496-3), particularly audio data encoded by the encoding method of HE AAC v2 (version 2) is necessary for decoding. Part of the encoded information is multiplexed and transmitted. This HE AAC v2 encoding method is configured by combining three technologies of AAC (Advanced Audio Coding) processing, SBR (Spectral Band Replication) processing, and PS (Parametric Stereo) processing. The encoded information is partially multiplexed and transmitted.

AAC処理は、MPEG(Moving Picture Experts Group)オーディオで規格化された音声圧縮方式における符号化処理であり、SBR処理は、複数の帯域に分割して、高音域を低域より複製することで、帯域拡張を行う符号化処理であり、PS処理は、モノラル信号からステレオ信号を生成するために必要な空間情報等を用いて空間符号化を行う符号化処理である。   The AAC process is an encoding process in a voice compression system standardized by MPEG (Moving Picture Experts Group) audio, and the SBR process is divided into a plurality of bands, and the high sound range is replicated from the low frequency range. The PS process is an encoding process for performing band extension, and the PS process is an encoding process for performing spatial encoding using spatial information or the like necessary for generating a stereo signal from a monaural signal.

上記HE AAC v2方式で符号化された符号化オーディオデータには、上記AAC符号化方式で符号化されたモノラルオーディオデータに相当するAACコアの符号化情報と、上記SBR処理の符号化情報と、上記PS処理の符号化情報とで構成される。SBR処理の符号化情報は、多重化されて間歇的に伝送される符号化情報(sbr header)と常に伝送される符号化情報(sbr data)とで構成され、sbr data(SBRデータ)を復号化するには、sbr header(SBRヘッダ)が必要となる。sbr header(SBRヘッダ)は、一定の規則に従って内容を変更する事が可能であり、伝送されるタイミングも運用に一任されている。PS処理の符号化情報(ps data)は、sbr data(SBRデータ)の拡張領域に内包されて伝送される。そのため、ps data(PSデータ)を復号化するにもsbr header(SBRヘッダ)の情報が必要となる。すなわち、sbr header(SBRヘッダ)は、ステレオ化処理のためのps data(PSデータ)を得るために必要なステレオ化必要情報である。図8にHE AAC v2符号化方式で符号化されたオーディオデータの一例を示す。図8において、ACはAACコアの符号化情報を示し、SHは上記sbr header(SBRヘッダ)を示し、SDは上記sbr data(SBRデータ)を示す。   The encoded audio data encoded by the HE AAC v2 method includes encoded information of the AAC core corresponding to the monaural audio data encoded by the AAC encoding method, encoded information of the SBR process, It is comprised with the encoding information of said PS process. The encoded information of the SBR process is composed of encoded information (sbr header) that is multiplexed and transmitted intermittently and encoded information (sbr data) that is always transmitted, and decodes sbr data (SBR data). To achieve this, an sbr header (SBR header) is required. The content of the sbr header (SBR header) can be changed according to a certain rule, and the timing of transmission is left to the operation. The PS processing encoding information (ps data) is transmitted by being included in an extension area of sbr data (SBR data). Therefore, sbr header (SBR header) information is also required to decode ps data (PS data). In other words, the sbr header (SBR header) is information necessary for stereoization necessary to obtain ps data (PS data) for stereo processing. FIG. 8 shows an example of audio data encoded by the HE AAC v2 encoding method. In FIG. 8, AC indicates coding information of the AAC core, SH indicates the sbr header (SBR header), and SD indicates the sbr data (SBR data).

この図8に示すように、SD(SBRデータ)やその拡張領域に内包されているPSデータを復号化するためには、間歇的に伝送されるSH(SBRヘッダ)が必要となるが、上述したような任意のフレームから再生を行うと、多重化されたSH(SBRヘッダ)が抜け落ちることがある。ここで、特に上位側等で常に多重化されたフレームの監視を行わない場合には、多重化されたSH(SBRヘッダ)が得られるフレームに到達するまでは、AACコアの符号化情報(AC)を用いた復号化処理を行って出力オーディオ信号の生成を行う。この場合のデコード処理としては、上記AACデコード処理がされ、上記SBRの帯域分割、合成処理によりアップサンプリング処理が行われる。   As shown in FIG. 8, in order to decode SD (SBR data) and PS data included in the extension area, SH (SBR header) transmitted intermittently is required. When playback is performed from such an arbitrary frame, multiplexed SH (SBR header) may be lost. Here, especially when the multiplexed frame is not always monitored on the upper side or the like, the encoded information (AC) of the AAC core is reached until the frame where the multiplexed SH (SBR header) is obtained. ) Is used to generate an output audio signal. As the decoding process in this case, the AAC decoding process is performed, and the upsampling process is performed by the band division and synthesis process of the SBR.

多重化されたSH(SBRヘッダ)を含むフレームに達すると、このSH(SBRヘッダ)を用いて上記SD(SBRデータ)やその拡張領域に内包されているPSデータが復号化され、これらのSBRデータやPSデータを用いた完全な(ステレオ化を含む)復号化処理を行って、出力ステレオオーディオ信号の生成を行なう。上記HE AAC v2符号化オーディオデータのデコード処理の場合には、上記AACデコード処理がされ、上記SBR処理にて、帯域分割、高域生成がされた後に、上記PS処理にて符号化された空間情報を元に、帯域分割されたモノラル信号からステレオ信号の生成を行い、SBR処理の帯域合成処理により、出力ステレオオーディオ信号を生成する。   When a frame including multiplexed SH (SBR header) is reached, the SD (SBR data) and PS data included in the extension area are decoded using the SH (SBR header), and these SBRs are decoded. A complete (including stereo) decoding process using data and PS data is performed to generate an output stereo audio signal. In the case of decoding the HE AAC v2 encoded audio data, the AAC decoding process is performed, and after the band division and the high-frequency generation are performed in the SBR process, the space encoded in the PS process is used. Based on the information, a stereo signal is generated from the monaural signal obtained by band division, and an output stereo audio signal is generated by band synthesis processing of SBR processing.

図9は、上記HE AAC v2方式で符号化された符号化オーディオデータの再生装置の構成例を示すブロック図である。この図9の入力端子11には、AACコアの符号化情報、高域生成符号化情報(SBRデータ)、PS符号化情報(PSデータ)が含まれる符号化オーディオデータのビットストリーム(Coded Audio Stream)が伝送されて入力されており、一部の符号化情報は多重化されて伝送される。高域生成符号化情報(SBRデータ)、PS符号化情報(PSデータ)を復号化するには、多重化されて伝送されるSH(SBRヘッダ)が必要となることは上述の通りである。   FIG. 9 is a block diagram showing a configuration example of a reproducing apparatus for encoded audio data encoded by the HE AAC v2 method. The input terminal 11 of FIG. 9 includes a bit stream (Coded Audio Stream) of encoded audio data including AAC core encoded information, high frequency band encoded information (SBR data), and PS encoded information (PS data). ) Is transmitted and input, and some encoded information is multiplexed and transmitted. As described above, SH (SBR header) multiplexed and transmitted is required to decode the high frequency band encoded information (SBR data) and PS encoded information (PS data).

HE AAC v2符号化方式では、SH(SBRヘッダ)の一部が前フレームと異なる場合には、SBR処理の初期化を行う必要がある。SBR処理の初期化により、後述するQMF分析部/合成部やハイブリッド分析部等の状態変数(遅延信号)が初期化される。ここで、状態変数(遅延信号)とは、フィルタ内の遅延素子に保持されるデータ(信号)のことであり、フィルタ処理では、フィルタ長に応じて、信号が入力されてから出力されるまでに遅延が生じるが、この遅延信号を意味する。   In the HE AAC v2 encoding method, when a part of SH (SBR header) is different from the previous frame, it is necessary to initialize the SBR process. By initializing the SBR process, state variables (delayed signals) such as a QMF analysis unit / synthesis unit and a hybrid analysis unit described later are initialized. Here, the state variable (delayed signal) is data (signal) held in the delay element in the filter. In the filter processing, the signal is input after being input according to the filter length. This means a delayed signal.

ところで、HE AAC v2符号化方式で符号化された、AAC符号化情報を復号化して得られるモノラルオーディオデータは、SBR処理のQMF分析とQMF合成処理を行うことでアップサンプリングされる。例えば、AAC復号化後のモノラルオーディオデータが24kHzサンプリングで、SBR処理を行うことで、48kHzサンプリングのオーディオデータとなる。   Incidentally, monaural audio data obtained by decoding AAC encoded information encoded by the HE AAC v2 encoding method is upsampled by performing QMF analysis and QMF synthesis processing of SBR processing. For example, monaural audio data after AAC decoding is 24 kHz sampling and SBR processing is performed, so that audio data of 48 kHz sampling is obtained.

図9において、入力端子11からの符号化オーディオデータは、ペイロードデフォーマッタ12に送られて、AACコア復号部13へのAACコア符号化情報と、高域生成符号化情報(SBRデータ)・PS符号化情報(PSデータ)とに分離される。AACコア復号部13では、入力されたAACコア符号化情報を復号化し、AACコアのモノラルオーディオ信号を生成し、SBR処理部20に送る。SBR処理部20のパーサ14は、ペイロードデフォーマッタ12からの高域生成符号化情報等の多重化情報を取得し、内容を確認して、SBR処理の初期化が必要か否かを判断し、初期化が必要な場合には、初期化制御信号を端子14tより出力して後述するように各部のSBR処理の初期化を行う。また、AACコア復号部13からSBR処理部20に送られたモノラルオーディオ信号は、QMF分析部21にて帯域分割され、切換スイッチ22に送られる。高域生成符号化情報(SBRデータ)が入力された場合には、切換スイッチ22が選択B,C端子に切換接続され、QMF分析部21からの信号が高域生成部23に送られる。高域生成部23では高域周波数信号を生成し、エンベロープ調整部24でエンベロープ調整を行って、切換スイッチ25に送る。   In FIG. 9, encoded audio data from the input terminal 11 is sent to the payload deformator 12, and AAC core encoded information to the AAC core decoding unit 13, high-frequency generation encoded information (SBR data), PS It is separated into encoded information (PS data). The AAC core decoding unit 13 decodes the input AAC core encoded information, generates a monaural audio signal of the AAC core, and sends it to the SBR processing unit 20. The parser 14 of the SBR processing unit 20 acquires multiplexing information such as high-frequency generation encoded information from the payload deformator 12, confirms the contents, and determines whether or not initialization of the SBR processing is necessary. When initialization is required, an initialization control signal is output from the terminal 14t, and SBR processing of each unit is initialized as will be described later. The monaural audio signal sent from the AAC core decoding unit 13 to the SBR processing unit 20 is band-divided by the QMF analysis unit 21 and sent to the changeover switch 22. When the high-frequency generation encoded information (SBR data) is input, the changeover switch 22 is switched and connected to the selection B and C terminals, and the signal from the QMF analysis unit 21 is sent to the high-frequency generation unit 23. The high frequency generator 23 generates a high frequency signal, performs envelope adjustment with the envelope adjuster 24, and sends it to the changeover switch 25.

上記PS符号化情報(PSデータ)からステレオ化情報が得られている場合には、切換スイッチ22,25は選択C端子に切換接続される。切換スイッチ25の選択C端子からの信号は、ハイブリッド分析部27に送られる。ハイブリッド分析部27では入力された帯域分割信号の低域信号を更に帯域分割し、信号解析部29及びステレオ化処理部30に入力する。信号解析部29では、入力信号を解析し、音響調整し、ステレオ化処理部30に入力する。ステレオ化処理部30では、入力された帯域分割信号と、ステレオ化情報から、ステレオ左右チャンネルの信号を生成する。生成されたステレオの各チャンネルの信号は、それぞれ各チャンネルのハイブリッド合成部31,32にて、上記ハイブリッド分析部27にて分割された帯域を合成し、さらに、QMF合成部33,34にて、上記QMF分析部21で帯域分割された帯域を合成し、ステレオ左右チャンネル(Lch,Rch)の出力オーディオ信号を生成する。QMF合成部33からのLchのオーディオ信号は、切換スイッチ36及び出力端子37に送られる。QMF合成部34からのRchのオーディオ信号は、切換スイッチ36に送られ、QMF合成部33からの信号とのいずれかが切換選択されて、出力端子38に送られる。   When the stereo information is obtained from the PS encoded information (PS data), the changeover switches 22 and 25 are connected to the selection C terminal. A signal from the selection C terminal of the changeover switch 25 is sent to the hybrid analysis unit 27. The hybrid analysis unit 27 further divides the band of the input low frequency band signal into the signal analysis unit 29 and the stereo processing unit 30. The signal analysis unit 29 analyzes the input signal, adjusts the sound, and inputs the input signal to the stereo processing unit 30. The stereo processing unit 30 generates stereo left and right channel signals from the input band-divided signal and the stereo information. The generated stereo channel signals are synthesized by the hybrid synthesis units 31 and 32 of the respective channels, and the bands divided by the hybrid analysis unit 27 are further synthesized by the QMF synthesis units 33 and 34, respectively. The band divided by the QMF analysis unit 21 is synthesized to generate an output audio signal of stereo left and right channels (Lch, Rch). The Lch audio signal from the QMF synthesis unit 33 is sent to the changeover switch 36 and the output terminal 37. The Rch audio signal from the QMF synthesizing unit 34 is sent to the changeover switch 36, and one of the signals from the QMF synthesizing unit 33 is selected and sent to the output terminal 38.

上記ステレオ化情報のような多重化情報が伝送されていない場合には、図9の切換スイッチ22,25,35,36は選択A又はB端子に切換接続される。出力オーディオ信号のサンプリング周波数を一定にするために、QMF分析部21とQMF合成部33を用いてアップサンプリングのみを行う、また、出力チャンネル数も一定とするため、Lchのオーディオ信号をRchのオーディオ信号にコピーして出力信号を生成する。   When multiplexed information such as the stereo information is not transmitted, the change-over switches 22, 25, 35, and 36 in FIG. 9 are switched and connected to the selection A or B terminal. In order to make the sampling frequency of the output audio signal constant, only the upsampling is performed using the QMF analysis unit 21 and the QMF synthesizing unit 33. Further, in order to make the number of output channels constant, the Lch audio signal is converted into the Rch audio signal. Copy to signal to generate output signal.

図10は、例えば上記図9の構成における上述したようなデコード動作を説明するためのフローチャートである。   FIG. 10 is a flowchart for explaining the decoding operation as described above in the configuration of FIG.

図10において、上記入力端子11に入力される符号化オーディオデータのビットストリームのような符号化情報に対して、ステップS101で上記HE AAC v2方式の符号化データの復号化処理(デフォーマット処理)を行い、多重化された符号化情報としての上述したような高域生成符号化情報や空間符号化情報を取り出し、また、上記AACコア情報については、ステップS102にてAAC信号処理を行う。次のステップS103では、上記SBR処理を行うか否かが判断され、YESの場合はステップS104に、NOの場合はステップS114に進む。これらの処理は、例えば図9のペイロードデフォーマッタ12、AACコア復号部13での処理に対応する。   In FIG. 10, the HEAAC v2 encoded data decoding process (deformatting process) is performed on the encoded information such as the bit stream of the encoded audio data input to the input terminal 11 in step S101. The above-described high-frequency generation encoded information and spatial encoded information as multiplexed encoded information are extracted, and the AAC core information is subjected to AAC signal processing in step S102. In the next step S103, it is determined whether or not to perform the SBR process. If YES, the process proceeds to step S104, and if NO, the process proceeds to step S114. These processes correspond to, for example, the processes in the payload formatter 12 and the AAC core decoding unit 13 in FIG.

ステップS104では、例えば上記QMF分析部21により、QMF帯域分割処理を行う。次のステップS105で、多重化された符号化情報が復号化済みか否かを判断し、YESのときはステップS106に進み、NOのときはステップS113に進む。ステップS106では、例えば上記高域生成部23により、多重化された高域生成符号化情報(多重化の復号化が済みの情報)を用いて高域信号生成処理を行い、次のステップS107でPS処理を行うか否かを判断する。   In step S104, for example, the QMF analysis unit 21 performs QMF band division processing. In the next step S105, it is determined whether or not the multiplexed encoded information has been decoded. If YES, the process proceeds to step S106, and if NO, the process proceeds to step S113. In step S106, for example, the high frequency generation unit 23 performs high frequency signal generation processing using multiplexed high frequency generation encoded information (multiplexed decoding information), and in the next step S107. It is determined whether or not PS processing is performed.

ステップS107でYES(PS処理を行う)と判断されたとき、ステップS108に進んでハイブリッド分析処理を行い、ステップS109で空間情報によるステレオ信号生成処理を行い、ステップS110でハイブリッド合成処理を行った後、ステップS111に進む。これらの処理は、例えば図9のハイブリッド分析部27からハイブリッド合成部31,32までの処理に対応する。ステップS107でNO(PS処理をしない)と判断されたときは、ステップS111に進む。   If YES in step S107 (PS process is performed), the process proceeds to step S108 to perform a hybrid analysis process, a stereo signal generation process based on spatial information is performed in step S109, and a hybrid synthesis process is performed in step S110. The process proceeds to step S111. These processes correspond to, for example, the processes from the hybrid analysis unit 27 to the hybrid synthesis units 31 and 32 in FIG. When it is determined NO (No PS processing) in step S107, the process proceeds to step S111.

ステップS111では、LchのQMF帯域合成処理を行い、ステップS112でRchのQMF帯域合成処理を行って、得られたオーディオ信号を出力する。また、上記ステップS113ではLchのQMF帯域合成処理を行い、ステップS114で必要に応じてモノラル信号を複製してステレオ信号を生成し、得られたオーディオ信号を出力する。これらの処理は、例えば上記図9の切換スイッチ22,35,36及びQMF合成部33,34での処理に対応する。   In step S111, an Lch QMF band synthesis process is performed. In step S112, an Rch QMF band synthesis process is performed, and the obtained audio signal is output. In step S113, Lch QMF band synthesis processing is performed. In step S114, a monaural signal is duplicated as necessary to generate a stereo signal, and the obtained audio signal is output. These processes correspond to, for example, the processes performed by the changeover switches 22, 35, and 36 and the QMF synthesis units 33 and 34 in FIG.

従来技術として、特許文献1、2には、モノラルオーディオ信号をステレオ化情報に基づいてステレオ化処理してステレオオーディオ信号を生成するための技術が開示され、非特許文献1には、上記HE AAC(High Efficiency Advanced Audio Coding)符号化方式の規格が開示されている。   As conventional techniques, Patent Documents 1 and 2 disclose a technique for generating a stereo audio signal by performing stereo processing on a monaural audio signal based on stereo information, and Non-Patent Document 1 discloses the HE AAC. (High Efficiency Advanced Audio Coding) A coding standard is disclosed.

特表2004−535145号公報Special table 2004-535145 gazette 特開2006−085183号公報JP 2006-085183 A ISO/IEC 14496−3:2005, Information technology - Coding of audio-visual objects - part3:AudioISO / IEC 14496-3: 2005, Information technology-Coding of audio-visual objects-part3: Audio

ところで、上述したフレーム間引き再生のような不連続フレームの再生等により任意のフレームから再生を行った場合、内部の状態変数が初期化され、その後、ステレオ化情報のような一部が多重化された符号化情報が入力されたときに状態変数が更新開始されるため、フィルタ遅延の影響等により異音が発生する。   By the way, when playback is performed from an arbitrary frame, such as by playing back discontinuous frames such as the frame skip playback described above, internal state variables are initialized, and then a part such as stereo information is multiplexed. Since the state variable is started to be updated when the encoded information is input, an abnormal sound is generated due to the influence of the filter delay or the like.

例えば、上記図6の構成において、上記図7の伝送単位#2の位置から入力が始まる場合に、伝送単位#2〜#4の間の使用可能なステレオ化情報が無い状態から、伝送単位#5でステレオ化情報が入力されると、各切換スイッチ43,53,54は選択B端子側に切り換えられる。この選択B端子側に切り換えられたときに初めて帯域分割部44にて帯域分割信号を生成するが、このときの帯域分割部44の状態変数が初期化された状態であるため、伝送単位#5に対応する出力においてこの影響が出てしまう。例えば、出力信号が、減衰する等の影響が考えられる。そのため、異音が発生する原因となってしまう。   For example, in the configuration of FIG. 6, when input starts from the position of transmission unit # 2 in FIG. When the stereo information is input at 5, each change-over switch 43, 53, 54 is switched to the selection B terminal side. The band division signal is generated by the band division unit 44 for the first time when switching to the selection B terminal side. Since the state variable of the band division unit 44 at this time is initialized, the transmission unit # 5 This effect will occur in the output corresponding to. For example, an influence such as attenuation of the output signal can be considered. For this reason, abnormal noise is caused.

また、上記図9の構成の場合には、HE AAC v2方式で符号化されたオーディオデータをフレーム間引き再生等により早送り再生を行う場合等のように、不連続でフレーム再生を行うと、多重化されたsbr header(SBRヘッダ)が抜け落ちる場合がある。例えば、図8の例の場合に、フレーム(伝送単位)#1から再生すると、フレーム#5で始めてSH(SBRヘッダ)が伝送される。この場合、SH(SBRヘッダ)が得られるフレームに到達するまでは、SD(SBRデータ)のSBR符号化情報とPS符号化情報が復号化できないため、切換スイッチ22が選択A端子側、切換スイッチ35が選択A端子側、切換スイッチ36が選択B端子側にそれぞれ接続される構成となり、AACコアのモノラルオーディオ信号は、SBR処理のQMF分析部21とLchのQMF合成部33を用いてモノラルオーディオ信号をアップサンプリングし、ステレオ左右チャンネルに同じ出力オーディオ信号を生成する。   In the case of the configuration shown in FIG. 9 described above, if the frame data is played back discontinuously as in the case of fast-forward playback of the audio data encoded by the HE AAC v2 system by frame skip playback or the like, The sbr header (SBR header) may be dropped. For example, in the case of the example of FIG. 8, when playback is performed from frame (transmission unit) # 1, SH (SBR header) is transmitted starting from frame # 5. In this case, since the SBR encoded information and the PS encoded information of SD (SBR data) cannot be decoded until the frame in which SH (SBR header) is obtained, the changeover switch 22 is connected to the selection A terminal side, the changeover switch. 35 is connected to the selection A terminal side and the changeover switch 36 is connected to the selection B terminal side, and the monaural audio signal of the AAC core is monophonic using the QMF analysis unit 21 of SBR processing and the QMF synthesis unit 33 of Lch. The signal is upsampled to produce the same output audio signal for the stereo left and right channels.

このように不連続でフレーム再生を行う場合、再生装置内のフィルタの状態変数(遅延信号)と入力HE AAC v2符号化方式で符号化されたオーディオデータとで不連続となるため、再生装置の初期化(SBR処理初期化含む)を行い再生装置内部の状態変数の初期化が必要となる。再生装置内部の状態変数(遅延信号)には、QMF分析部21、QMF合成部33,34、ハイブリッド分析部27の状態変数が含まれ、初期化により0に設定される。SH(SBRヘッダ)が伝送されるまでは、SBR符号化情報・PS符号化情報が復号化できないため、AACコア復号部13のモノラルオーディオ信号を切換スイッチ22が選択A端子側、切換スイッチ35が選択A端子側、切換スイッチ36が選択A端子側に切り替わり、QMF分析部21とLchのQMF合成部33を処理することでアップサンプリングして、ステレオ左右チャンネルに出力オーディオ信号として出力する。SH(SBRヘッダ)が伝送されると、再生装置初期化後初めてSBR符号化情報とPS符号化情報が復号化され、SBR処理・PS処理が実行される。QMF分析部21とLchのQMF合成部33はSH(SBRヘッダ)が伝送される前でもアップサンプリングするために処理されるため、状態変数は更新されている。一方、ハイブリッド分析部27、RchのQMF合成部34の状態変数は初期化された状態となっている。そのため後段の処理に影響を及ぼし、出力オーディオ信号に異音が発生する原因となってしまう。このときのステレオ左右チャンネル(Lch,Rch)の出力オーディオ信号の例を図11の(A)、(B)に示す。   When frame playback is performed in a discontinuous manner as described above, the state variable (delayed signal) of the filter in the playback device and the audio data encoded by the input HE AAC v2 encoding method become discontinuous. It is necessary to initialize (including SBR process initialization) and initialize state variables in the playback apparatus. The state variables (delayed signals) inside the playback device include the state variables of the QMF analysis unit 21, the QMF synthesis units 33 and 34, and the hybrid analysis unit 27, and are set to 0 by initialization. Until the SH (SBR header) is transmitted, the SBR encoded information / PS encoded information cannot be decoded. Therefore, the changeover switch 22 selects the monaural audio signal of the AAC core decoding unit 13 and the changeover switch 35 The selection A terminal side and the changeover switch 36 are switched to the selection A terminal side, and the QMF analysis unit 21 and the Lch QMF synthesis unit 33 are processed to perform up-sampling and output to the stereo left and right channels as output audio signals. When SH (SBR header) is transmitted, SBR encoded information and PS encoded information are decoded for the first time after initialization of the playback device, and SBR processing and PS processing are executed. Since the QMF analyzer 21 and the Lch QMF combiner 33 are processed for upsampling even before SH (SBR header) is transmitted, the state variables are updated. On the other hand, the state variables of the hybrid analysis unit 27 and the Rch QMF synthesis unit 34 are initialized. As a result, the subsequent processing is affected, and abnormal noise is generated in the output audio signal. Examples of output audio signals of the stereo left and right channels (Lch, Rch) at this time are shown in FIGS.

図11の(A)、(B)は、使用可能な多重化された符号化情報(ステレオ情報等)が無い状態、例えば、AAC−LC(Low Complexity)符号化情報信号のみが入力され、SBR処理はアップサンプリング(Up Sampling)のみが行われている状態から、時刻t1においてステレオ化情報を含む多重化された符号化情報が有効(使用可能)となり、AAC処理、SBR処理、PS処理が開始された状態を表しており、図11の(A)はLch、(B)はRchの出力オーディオ信号をそれぞれ示している。   11A and 11B show a state in which there is no multiplexed encoded information (stereo information or the like) that can be used, for example, only an AAC-LC (Low Complexity) encoded information signal is input and SBR is input. From the state in which only up-sampling is performed, multiplexed encoded information including stereo information becomes valid (usable) at time t1, and AAC processing, SBR processing, and PS processing start. 11A shows the output audio signal of Lch, and FIG. 11B shows the output audio signal of Rch.

この図11の(A)、(B)において、時刻t1では、上記内部の状態変数の初期化後に初めて多重化された符号化情報を認識するが、状態変数が初期化状態から変化するため、時刻t1〜t2の間は、上記SBR処理のための帯域合成部(RchのQMF合成部34)の状態変数による影響がRchの出力オーディオ信号に現れ、また、時刻t2〜t3の間は、上記PS処理のためのハイブリッドフィルタ(ハイブリッド分析部27)の状態変数による影響がLch,Rchの両オーディオ信号に現れる。このため、出力オーディオ信号に異音が発生することになる。   In (A) and (B) of FIG. 11, at time t1, the encoded information multiplexed for the first time after initialization of the internal state variable is recognized, but the state variable changes from the initialized state. During the time t1 to t2, the influence of the state variable of the band synthesizing unit (Rch QMF synthesizing unit 34) for the SBR processing appears in the output audio signal of Rch, and during the time t2 to t3, The influence of the state variable of the hybrid filter (hybrid analysis unit 27) for PS processing appears in both the Lch and Rch audio signals. For this reason, abnormal noise occurs in the output audio signal.

これを回避する方法として、多重化された符号化情報を常に監視することが考えられるが、この場合、多重化された情報が、通常の符号化情報と同時に伝達されるため、全ての符号化情報を復号化する必要があり、処理量の削減が行えない。   As a method of avoiding this, it is conceivable to always monitor the multiplexed encoded information. In this case, since the multiplexed information is transmitted simultaneously with the normal encoded information, all the encoded information is transmitted. Information needs to be decrypted, and the amount of processing cannot be reduced.

本発明は、このような従来の実情に鑑みて提案されたものであり、多重化された符号化情報や復号化するために必要な情報(SBRヘッダ等)が間歇的に伝送されることにより任意位置から再生を行った場合の内部の状態変数が初期化された状態から、必要な符号化情報が入力されたときのフィルタ遅延等により、出力オーディオ信号に与える悪影響(異音の発生等)を有効に防止し得るような再生方法及び装置、プログラム並びに記録媒体を提供することを目的とする。   The present invention has been proposed in view of such a conventional situation, and is obtained by intermittently transmitting multiplexed encoded information and information necessary for decoding (such as an SBR header). Negative effects on the output audio signal due to filter delays when necessary encoding information is input from the state in which internal state variables are initialized when playback is performed from an arbitrary position (occurrence of abnormal noise, etc.) It is an object of the present invention to provide a reproducing method and apparatus, a program, and a recording medium that can effectively prevent the recording medium.

上述の課題を解決するために、本発明は、ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する際に、ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、フィルタ内部の状態変数が全て更新された場合、モノラルオーディオ信号に対してステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力することを特徴とする。   In order to solve the above-described problem, the present invention decodes encoded audio data that is transmitted after the information required for stereo processing is intermittently multiplexed with the encoding information of a monaural audio signal. When stereo information required is not input during playback, a stereo audio signal using a monaural audio signal is output. When stereo information is input, state variables in the filter are updated. The stereo audio signal using the monaural audio signal is output until all the state variables are updated. When all the state variables in the filter are updated, the monaural audio signal needs to be made stereo. Perform stereo processing based on the stereo information obtained from the information to convert the stereo audio signal. Characterized in that it forms output.

ここで、上記ステレオ化処理は、帯域拡張されたモノラルオーディオ信号に対して行われることが好ましい。   Here, the stereo process is preferably performed on a monaural audio signal whose band has been extended.

また、上記ステレオ化必要情報が入力されない場合、上記モノラルオーディオ信号を帯域分割フィルタ処理により少なくとも2つ以上のサブバンドに分割し、帯域合成フィルタ処理によりアップサンプリングしてモノラルオーディオ信号を用いたステレオオーディオ信号を出力し、上記ステレオ化必要情報が入力された場合、モノラルオーディオ信号のフィルタ内部の状態変数をステレオオーディオ信号のフィルタ状態変数として処理させることが好ましい。   In addition, when the stereo necessary information is not input, the mono audio signal is divided into at least two or more subbands by band division filter processing, and up-sampled by band synthesis filter processing, and stereo audio using the monaural audio signal When a signal is output and the stereo-necessary information is input, it is preferable to process a state variable inside the filter of the monaural audio signal as a filter state variable of the stereo audio signal.

また、上記符号化オーディオデータは、HE AAC(High Efficiency Advanced Audio Coding)の符号化方式におけるモノラルオーディオデータに相当するAACコアの符号化情報と、SBR(Spectral Band Replication)処理の符号化情報と、PS(Parametric Stereo)処理の符号化情報とを有し、上記SBR処理の符号化情報は、多重化されて間歇的に伝送される符号化情報であるSBRヘッダ(sbr header)と常に伝送される符号化情報であるSBRデータ(sbr data)とで構成され、上記PS処理の符号化情報であるPSデータ(ps data)は、上記SBRデータの拡張領域に内包されて伝送され、上記SBRヘッダは上記SBRデータを復号化するために必要とされる上記ステレオ化必要情報であることが挙げられる。   The encoded audio data includes: AAC core encoding information corresponding to monaural audio data in HE AAC (High Efficiency Advanced Audio Coding) encoding scheme; SBR (Spectral Band Replication) processing encoding information; The encoded information of the SBR process is always transmitted as an SBR header (sbr header) that is multiplexed and transmitted intermittently. PS data (ps data), which is encoded information of the PS processing, is included in an extension area of the SBR data and transmitted, and the SBR header is transmitted as SBR data (sbr data) that is encoded information. It is mentioned that it is the said stereoization required information required in order to decode the said SBR data.

本発明によれば、ステレオ化必要情報が入力されない場合から、ステレオ化必要情報が入力された場合でも、異音の発生等の無い良好なステレオオーディオ信号を再生することが可能となる。   According to the present invention, it is possible to reproduce a good stereo audio signal without occurrence of abnormal sound even when stereo necessary information is input from when no stereo required information is input.

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。   Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.

図1は、本発明の実施の形態となる再生装置あるいは再生方法に用いられるステレオ化装置の一例の概略構成を示すブロック図である。この図1において、上述した図6の各部と対応する部分には同一の指示符号を付している。   FIG. 1 is a block diagram showing a schematic configuration of an example of a stereo device used in a playback device or playback method according to an embodiment of the present invention. In FIG. 1, parts corresponding to those in FIG. 6 described above are given the same reference numerals.

図1の入力端子41にはモノラルオーディオ信号が、入力端子42にはステレオ化情報がそれぞれ供給されている。入力端子41からのモノラルオーディオ信号は、スイッチ43X及び遅延部46に送られる。スイッチ43Xからのモノラルオーディオ信号は、帯域分割部44に送られ、帯域分割処理されてステレオ化処理部45に送られる。ステレオ化処理部45には、入力端子42からのステレオ化情報が供給され、帯域分割されたモノラルオーディオ信号がステレオ化処理され、得られたステレオ左右チャンネルの信号の内、左チャンネル(Lch)の信号がスイッチ61を介して帯域合成部51に送られ、右チャンネル(Rch)の信号がスイッチ62を介して帯域合成部52に送られる。帯域合成部51からのLchのオーディオ信号は、切換スイッチ53Xに送られ、遅延部46を介した信号とのいずれかが切換選択されて、切換スイッチ54X及び出力端子55に送られる。帯域合成部52からのRchのオーディオ信号は、切換スイッチ54Xに送られ、切換スイッチ53Xからの信号とのいずれかが切換選択されて、出力端子56に送られる。なお、各切換スイッチ43X,53X,54Xの切換動作や、スイッチ61,62のオン、オフ操作、あるいは各部の処理動作については、図示しない制御部により、入力データの内容や内部状態等に応じて制御される。   The monaural audio signal is supplied to the input terminal 41 in FIG. 1, and the stereo information is supplied to the input terminal 42. The monaural audio signal from the input terminal 41 is sent to the switch 43X and the delay unit 46. The monaural audio signal from the switch 43X is sent to the band dividing unit 44, subjected to band division processing, and sent to the stereo processing unit 45. The stereo processing unit 45 is supplied with the stereo information from the input terminal 42, and the mono audio signal subjected to the band division is stereo-processed. Among the obtained stereo left and right channel signals, the left channel (Lch) is processed. The signal is sent to the band synthesizing unit 51 via the switch 61, and the right channel (Rch) signal is sent to the band synthesizing unit 52 via the switch 62. The Lch audio signal from the band synthesizing unit 51 is sent to the changeover switch 53X, and one of the signals via the delay unit 46 is selected and sent to the changeover switch 54X and the output terminal 55. The Rch audio signal from the band synthesizing unit 52 is sent to the changeover switch 54X, and one of the signals from the changeover switch 53X is selected and sent to the output terminal 56. Note that the switching operation of each change-over switch 43X, 53X, 54X, the ON / OFF operation of the switches 61, 62, or the processing operation of each part is performed by a control unit (not shown) according to the content of input data, the internal state, etc. Be controlled.

この図1に示すようなステレオ化装置に対して、上記図7に示すような入力信号(モノラルオーディオ信号M及び間歇的なステレオ化情報S)が供給される場合に、伝送単位#0で送られたステレオ化情報Sは、伝送単位#0から#4までのステレオ化処理に用いられ、伝送単位#5で次のステレオ化情報Sに切り換えられ、この伝送単位#5で送られたステレオ化情報Sは伝送単位#5から#9まで用いられることは前述した通りである。   When the input signals (monaural audio signal M and intermittent stereo information S) as shown in FIG. 7 are supplied to the stereo device as shown in FIG. 1, it is transmitted in transmission unit # 0. The stereo information S thus used is used for the stereo processing of the transmission units # 0 to # 4, switched to the next stereo information S in the transmission unit # 5, and sent to the stereo unit S5. As described above, the information S is used from transmission units # 5 to # 9.

このように使用可能なステレオ化情報がある場合には、スイッチ43Xは選択B端子に接続され、スイッチ61,62は選択C端子に接続され、各切換スイッチ53X,54Xは選択C端子側に切換接続される。このとき、入力端子41から入力されたモノラルオーディオ信号を帯域分割部44にて帯域分割し、ステレオ化処理部45にて、ステレオ化情報に基づいてステレオ信号を作成し、作成されたステレオ信号を、各チャンネルの帯域合成処理部51,52にて帯域合成して、得られたステレオ左右チャンネル(Lch,Rch)の各オーディオ信号を出力端子55,56よりそれぞれ出力する。   When there is stereo information that can be used in this way, the switch 43X is connected to the selection B terminal, the switches 61 and 62 are connected to the selection C terminal, and the selector switches 53X and 54X are switched to the selection C terminal side. Connected. At this time, the monaural audio signal input from the input terminal 41 is band-divided by the band dividing unit 44, the stereo processing unit 45 creates a stereo signal based on the stereo information, and the created stereo signal is Then, band synthesis is performed by the band synthesis processing units 51 and 52 of the respective channels, and the respective audio signals of the obtained stereo left and right channels (Lch, Rch) are output from the output terminals 55 and 56, respectively.

これに対して、早送り再生のような不連続なフレーム再生等により任意のフレーム(伝送単位)から符号化オーディオデータが入力された場合には、使用可能なステレオ化情報が無い状態が生ずる。例えば図7の伝送単位#2の位置から入力が始まる場合に、伝送単位#0のステレオ化情報Sはフレーム間引き等により入力されておらず、伝送単位#2〜#4の間は使用可能なステレオ化情報が無いことになる。このように使用可能なステレオ化情報が無い伝送単位#2〜#4の間は、内部の帯域分割部44等の状態変数が初期化されると共に、図1のステレオ化装置の各切換スイッチ53X,54Xは選択A端子側に切り換えられ、入力端子41から遅延部46を介したモノラルオーディオ信号は、切換スイッチ53Xを介して、Lch出力端子55より出力されると共に、切換スイッチ54Xを介してRch出力端子56より出力される。これにより、ステレオ化情報の有無によって出力オーディオ信号のチャンネル数が変化しないようにしている。なお遅延部46は、帯域分割部44の例えばFIRフィルタ処理等による遅延を考慮して設けたものである。   On the other hand, when encoded audio data is input from an arbitrary frame (transmission unit) by discontinuous frame playback such as fast-forward playback, there is a state where there is no usable stereo information. For example, when the input starts from the position of the transmission unit # 2 in FIG. 7, the stereo information S of the transmission unit # 0 is not input by frame thinning or the like, and can be used between the transmission units # 2 to # 4. There will be no stereo information. In this way, between the transmission units # 2 to # 4 where there is no usable stereoization information, the state variables of the internal band division unit 44 and the like are initialized, and each change-over switch 53X of the stereoization apparatus of FIG. , 54X are switched to the selection A terminal side, and the monaural audio signal from the input terminal 41 via the delay unit 46 is output from the Lch output terminal 55 via the changeover switch 53X and at the same time Rch via the changeover switch 54X. Output from the output terminal 56. This prevents the number of channels of the output audio signal from changing depending on the presence or absence of the stereo information. The delay unit 46 is provided in consideration of a delay caused by, for example, FIR filter processing of the band dividing unit 44.

次に、上記図7の伝送単位#5の位置のデータが入力され、使用可能なステレオ化情報Sが供給されると、先ずスイッチ43Xが選択B端子に接続され、帯域分割部44にモノラルオーディオ信号が供給されるが、この帯域分割部44の状態変数が十分に更新されるまで、スイッチ61,62、切換スイッチ53X,54Xは選択C端子に接続されない。このため、使用可能なステレオ化情報が無く、内部の状態変数が初期化された状態から、初めてステレオ化情報が入力されると、スイッチ43Xが選択B端子に接続され、帯域分割部44の状態変数を更新しつつ、遅延部46からのモノラルオーディオ信号を、各切換スイッチ53X,54Xの選択A端子を介して、各出力端子55,56より出力する。その後、帯域分割部44の状態変数が十分に更新されたところで、スイッチ61,62が選択C端子に接続されると共に、切換スイッチ53X,54Xが選択C端子側に切換接続され、上述したようなステレオ化された信号が出力オーディオ信号として出力端子55,56よりそれぞれ出力される。従って、帯域分割部44の状態変数が初期化された状態の影響が出力オーディオ信号に及ぶことがなく、異音等の発生が防止されたステレオオーディオ信号が得られる。   Next, when the data of the position of transmission unit # 5 in FIG. 7 is input and usable stereo information S is supplied, first, the switch 43X is connected to the selection B terminal, and the monaural audio is supplied to the band dividing unit 44. Although the signal is supplied, the switches 61 and 62 and the changeover switches 53X and 54X are not connected to the selection C terminal until the state variable of the band dividing unit 44 is sufficiently updated. For this reason, when there is no usable stereo information and the stereo information is input for the first time after the internal state variable is initialized, the switch 43X is connected to the selection B terminal, and the state of the band dividing unit 44 While updating the variable, the monaural audio signal from the delay unit 46 is output from the output terminals 55 and 56 via the selection A terminals of the changeover switches 53X and 54X. Thereafter, when the state variable of the band dividing unit 44 is sufficiently updated, the switches 61 and 62 are connected to the selection C terminal, and the changeover switches 53X and 54X are switched and connected to the selection C terminal side, as described above. The stereo signal is output from the output terminals 55 and 56 as an output audio signal. Therefore, the output audio signal is not affected by the state in which the state variable of the band dividing unit 44 is initialized, and a stereo audio signal in which the occurrence of abnormal noise or the like is prevented can be obtained.

すなわち、本発明においては、ステレオ化情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する際に、ステレオ化情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、ステレオ化情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまでの間、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、フィルタ内部の状態変数が全て更新された場合、モノラルオーディオ信号に対してステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力するようにしている。   That is, in the present invention, stereo information is not input when decoding and reproducing encoded audio data that is transmitted after the stereo information is intermittently multiplexed with the encoded information of a monaural audio signal. In this case, a stereo audio signal using a monaural audio signal is output, and when stereo information is input, update of state variables inside the filter is started, and monaural is performed until all the state variables are updated. When a stereo audio signal using an audio signal is output and all the state variables in the filter are updated, the stereo audio signal is generated by performing stereo processing based on the stereo information on the monaural audio signal. I am trying to output.

次に、上述したHE AAC(High Efficiency Advanced Audio Coding,国際標準規格ISO/IEC 14496-3)、特にHE AAC v2(バージョン2)の符号化方式で符号化された符号化オーディオデータの再生に本発明を適用した再生装置の構成例について、図2を参照しながら説明する。この図2において、上述した図9の各部と対応する部分には同一の指示符号を付している。   Next, the present invention is used to reproduce the above-mentioned HEAAC (High Efficiency Advanced Audio Coding, International Standard ISO / IEC 14496-3), particularly the encoded audio data encoded by the encoding method of HE AAC v2 (version 2). A configuration example of a playback apparatus to which the invention is applied will be described with reference to FIG. In FIG. 2, parts corresponding to those in FIG. 9 described above are denoted by the same reference numerals.

図2の入力端子11には、AACコアの符号化情報、高域生成符号化情報(SBR処理のための帯域拡張符号化情報)、PS符号化情報(ステレオ化のための空間情報)が含まれる符号化オーディオデータのビットストリーム(Coded Audio Stream)が伝送されて入力されており、一部の符号化情報は多重化されて伝送される。すなわち、上記図8と共に説明したように、AACコアの符号化情報ACに対して、上記SBR処理のための符号化情報SD(SBRデータ)は常時多重化されるのに対して、このSD(SBRデータ)を復号化するために必要とされるSH(SBRヘッダ)は間歇的に多重化されている。上記PS処理のためのPSデータは、SD(SBRデータ)の拡張領域に内包されて伝送されており、PSデータを得るためにもSH(SBRヘッダ)が必要とされるため、このSH(SBRヘッダ)はステレオ化必要情報となっている。   The input terminal 11 in FIG. 2 includes coding information of the AAC core, high-frequency generation coding information (band extension coding information for SBR processing), and PS coding information (spatial information for stereo). The encoded audio data bit stream (Coded Audio Stream) is transmitted and input, and a part of the encoded information is multiplexed and transmitted. That is, as described in conjunction with FIG. 8 above, the encoding information SD (SBR data) for the SBR processing is always multiplexed with respect to the encoding information AC of the AAC core, whereas this SD ( SH (SBR header) required for decoding (SBR data) is intermittently multiplexed. The PS data for the PS process is included in the SD (SBR data) extension area and transmitted, and the SH (SBR header) is required to obtain the PS data. The header) is information necessary for stereo.

また、高域生成符号化情報(SBRデータ)、PS符号化情報(PSデータ)を含む場合には、AACコア復号部(AAC Core Coder)13で復号化されるオーディオ信号は最終出力オーディオ信号のハーフサンプリングレートで出力されるため、QMF分析(Analysis)部21とQMF合成(Synthesis)部33,34とを組み合わせることで、アップサンプリングされる。例えば、AACコア復号部13の出力信号がサンプリング周波数24kHzの場合、QMF合成部33,34からの出力オーディオ信号は、サンプリング周波数48kHzの信号となる。   In addition, when high frequency band encoded information (SBR data) and PS encoded information (PS data) are included, the audio signal decoded by the AAC core decoding unit (AAC Core Coder) 13 is the final output audio signal. Since the data is output at the half sampling rate, the upsampling is performed by combining the QMF analysis (Analysis) unit 21 and the QMF synthesis (Synthesis) units 33 and 34. For example, when the output signal of the AAC core decoding unit 13 has a sampling frequency of 24 kHz, the output audio signal from the QMF synthesis units 33 and 34 is a signal having a sampling frequency of 48 kHz.

入力端子11からの符号化オーディオデータ(Coded Audio Stream)は、ペイロードデフォーマッタ(Bitstream Payload Deformatter)12に送られて、AACコア復号部13へのAACコア符号化情報と、高域生成符号化情報・PS符号化情報とに分離される。   The encoded audio data (Coded Audio Stream) from the input terminal 11 is sent to a payload deformer (Bitstream Payload Deformatter) 12, and AAC core encoded information to the AAC core decoding unit 13 and high frequency generation encoded information Separated into PS encoded information.

高域生成符号化情報・PS符号化情報は、SBR処理部20に送られ、SBR処理部20のパーサ(Bitstream Parser)14を介して、ハフマン復号・逆量子化部15に送られ、高域周波数信号生成情報、エンベロープ調整情報、ステレオ化情報が取り出されて各部23,24に送られると共に、Lch複製処理判断部16を介しステレオ化処理部30に送られる。SBR処理部20のパーサ14は、ペイロードデフォーマッタ12からの高域生成符号化情報等の多重化情報を取得し、内容を確認して、SBR処理の初期化が必要か否かを判断し、初期化が必要な場合には、初期化制御信号を端子14tより出力して後述するように各部のSBR処理の初期化を行う。また、Lch複製処理判断部16は、SBR処理初期化後に初めて多重化された符号化情報が得られたことを判定し、判定出力を端子16tより出力して、後述するLchのQMF合成部33の状態変数(遅延信号)をRchのQMF合成部34に複製する処理を行わせる。   The high frequency band generation encoded information / PS encoded information is sent to the SBR processing unit 20, and is sent to the Huffman decoding / inverse quantization unit 15 via the parser (Bitstream Parser) 14 of the SBR processing unit 20. The frequency signal generation information, the envelope adjustment information, and the stereo information are extracted and sent to the units 23 and 24, and also sent to the stereo processing unit 30 via the Lch duplication process determination unit 16. The parser 14 of the SBR processing unit 20 acquires multiplexing information such as high-frequency generation encoded information from the payload deformator 12, confirms the contents, and determines whether or not initialization of the SBR processing is necessary. When initialization is required, an initialization control signal is output from the terminal 14t, and SBR processing of each unit is initialized as will be described later. Also, the Lch duplication process determination unit 16 determines that the encoded information is multiplexed for the first time after the initialization of the SBR process, outputs a determination output from the terminal 16t, and outputs an Lch QMF synthesis unit 33 to be described later. The state variable (delayed signal) of the Rch is copied to the Rch QMF synthesizer 34.

AACコア復号部13では、入力されたAACコア符号化情報を復号化し、AACコアのモノラルオーディオ信号を生成する。生成されたモノラルオーディオ信号を、SBR処理部20のQMF分析部21に送って64帯域に帯域分割し、切換スイッチ22Xに送る。高域生成符号化情報(SBRデータ)が入力された場合には、切換スイッチ22Xが選択B,C端子に切換接続され、QMF分析部21からの信号が高域生成部(HF Generator)23に送られる。高域生成部23では高域周波数信号を生成し、エンベロープ調整部(Envelope Adjuster)24でエンベロープ調整を行って、ハイブリッド分析(Hybrid Analysis)部27及び切換スイッチ35Xに送る。   The AAC core decoding unit 13 decodes the input AAC core encoded information and generates an AAC core monaural audio signal. The generated monaural audio signal is sent to the QMF analysis unit 21 of the SBR processing unit 20 to divide the band into 64 bands, and is sent to the changeover switch 22X. When high-frequency generation encoded information (SBR data) is input, the changeover switch 22X is switched and connected to the selection B and C terminals, and the signal from the QMF analysis unit 21 is input to the high-frequency generation unit (HF Generator) 23. Sent. The high-frequency generator 23 generates a high-frequency signal, performs envelope adjustment with an envelope adjuster 24, and sends it to a hybrid analysis unit 27 and a changeover switch 35X.

上記PS符号化情報(PSデータ)からステレオ化情報が得られている場合には、切換スイッチ22Xは選択C端子に切換接続される。ハイブリッド分析部27では入力された帯域分割信号の低域信号を更に帯域分割し、入力された帯域分割信号の高域信号と共に信号解析(De-correlate)部29及びステレオ化処理(Stereo Processing)部30に入力する。信号解析部29では、入力信号を解析し、音響調整し、ステレオ化処理部30に入力する。ステレオ化処理部30では、入力された帯域分割信号と、ステレオ化情報から、ステレオ左右チャンネルの信号を生成する。生成されたステレオの各チャンネルの信号は、それぞれスイッチ17,18を介して、各チャンネルのハイブリッド合成(Hybrid Synthesis)部31,32に送られる。各ハイブリッド合成部31,32にて、上記ハイブリッド分析部27にて分割された帯域を合成する。ハイブリッド合成部31からの信号は、切換スイッチ35Xを介してQMF合成(Synthesis)部33及び切換スイッチ19に送られ、ハイブリッド合成部32からの信号は、切換スイッチ19を介してQMF合成部34に送られる。各チャンネルのQMF合成部33,34にて、上記QMF分析部21で帯域分割された帯域を合成し、ステレオ左右チャンネル(Lch,Rch)の出力オーディオ信号を生成する。QMF合成部33からのLchのオーディオ信号は、切換スイッチ36X及び出力端子37に送られる。QMF合成部34からのRchのオーディオ信号は、切換スイッチ36Xに送られ、QMF合成部33からの信号とのいずれかが切換選択されて、出力端子38に送られる。   When the stereo information is obtained from the PS encoded information (PS data), the changeover switch 22X is switched and connected to the selection C terminal. The hybrid analysis unit 27 further divides the low-frequency signal of the input band-divided signal, and together with the high-frequency signal of the input band-divided signal, a signal analysis (De-correlate) unit 29 and a stereo processing unit (Stereo Processing) unit Enter 30. The signal analysis unit 29 analyzes the input signal, adjusts the sound, and inputs the input signal to the stereo processing unit 30. The stereo processing unit 30 generates stereo left and right channel signals from the input band-divided signal and the stereo information. The generated stereo channel signals are sent to the hybrid synthesis units 31 and 32 of the respective channels via the switches 17 and 18, respectively. The hybrid synthesis units 31 and 32 synthesize the bands divided by the hybrid analysis unit 27. The signal from the hybrid synthesizing unit 31 is sent to the QMF synthesizing unit 33 and the changeover switch 19 via the changeover switch 35X, and the signal from the hybrid synthesizing unit 32 is sent to the QMF synthesizing unit 34 via the changeover switch 19. Sent. The QMF synthesis units 33 and 34 for each channel synthesize the bands divided by the QMF analysis unit 21 to generate output audio signals of stereo left and right channels (Lch, Rch). The Lch audio signal from the QMF synthesizing unit 33 is sent to the changeover switch 36X and the output terminal 37. The Rch audio signal from the QMF synthesizing section 34 is sent to the changeover switch 36X, and one of the signals from the QMF synthesizing section 33 is selected and sent to the output terminal 38.

ここで、図2の再生装置のスイッチ切換等を含む各部動作は、図示しない制御手段により、入力された符号化情報の内容や、各部の状態等に応じて制御される。   2 is controlled by control means (not shown) in accordance with the contents of the input encoded information, the state of each part, and the like.

この図2に示す再生装置は、上記図9に示した再生装置の構成に比較して、QMF分析部21の後段のスイッチ構成及びエンベロープ調整部24の後段のスイッチ構成が変更され、スイッチ17,18及び切換スイッチ19が追加され、QMF合成部33,34の状態変数を複製する点が異なっている。   The playback device shown in FIG. 2 is different from the configuration of the playback device shown in FIG. 9 in that the switch configuration at the rear stage of the QMF analysis unit 21 and the switch configuration at the rear stage of the envelope adjustment unit 24 are changed. 18 and the changeover switch 19 are added, and the state variables of the QMF synthesis units 33 and 34 are duplicated.

図2の再生装置において、上述したような任意のフレーム(伝送単位)から符号化オーディオデータが入力された場合について説明する。例えば上記図8の伝送単位#2の位置から入力が始まる場合に、伝送単位#0のステレオ化必要情報であるSH(SBRヘッダ)は入力されていないため、伝送単位#2〜#4の間はSD(SBRデータ)が復号化できないため使用可能なステレオ化情報(PSデータ)が得られず、内部のSBR処理部20のQMF分析部21、ハイブリッド分析部27、QMF合成部33,34等の状態変数(遅延信号)が初期化される。次に、上記図8の伝送単位#5の位置のデータが入力されて、ステレオ化必要情報であるSH(SBRヘッダ)が供給されると、SD(SBRデータ)が復号化されて使用可能なステレオ化情報(PSデータ)が得られ、内部のSBR処理部20のQMF分析部21、ハイブリッド分析部27、QMF合成部33,34等の状態変数(遅延信号)が更新される。この状態変数(遅延信号)とは、フィルタ内の遅延素子に保持されるデータ(信号)のことであり、フィルタ処理では、フィルタ長に応じて、信号が入力されてから出力されるまでに遅延が生じるが、この遅延信号を意味する。   The case where encoded audio data is input from an arbitrary frame (transmission unit) as described above in the playback apparatus of FIG. 2 will be described. For example, when input starts from the position of transmission unit # 2 in FIG. 8 above, SH (SBR header), which is information necessary for stereoization of transmission unit # 0, is not input. Since SD (SBR data) cannot be decoded, usable stereo information (PS data) cannot be obtained, and the QMF analysis unit 21, the hybrid analysis unit 27, the QMF synthesis units 33 and 34 of the internal SBR processing unit 20, etc. The state variable (delay signal) is initialized. Next, when data at the position of transmission unit # 5 in FIG. 8 is input and SH (SBR header), which is information necessary for stereoization, is supplied, SD (SBR data) is decoded and usable. Stereo information (PS data) is obtained, and state variables (delayed signals) such as the QMF analysis unit 21, the hybrid analysis unit 27, and the QMF synthesis units 33 and 34 of the internal SBR processing unit 20 are updated. This state variable (delayed signal) is data (signal) held in the delay element in the filter. In the filter processing, a delay is caused between the input and output of the signal according to the filter length. Means this delayed signal.

ここで、使用可能なステレオ化情報(PSデータ)が得られず内部の状態変数が初期化された状態では、各切換スイッチ22X,35X,36Xは、選択A端子側に切換接続される。このとき、AACコア復号部13からのモノラルオーディオ信号をQMF分析部21で帯域分割し、LchのQMF合成部33で帯域合成し、Lch,Rch共に同一のオーディオ信号を出力する。   Here, in a state where usable stereolization information (PS data) is not obtained and the internal state variables are initialized, the changeover switches 22X, 35X, and 36X are switched and connected to the selection A terminal side. At this time, the monaural audio signal from the AAC core decoding unit 13 is band-divided by the QMF analyzing unit 21 and band-combined by the Lch QMF synthesizing unit 33, and the same audio signal is output for both Lch and Rch.

次に、多重化された符号化情報が伝送されると、各切換スイッチ22X,35X,19,36Xは、選択B,C端子に切換接続される。この場合、選択B端子は帯域拡張符号化情報のみのとき、選択C端子は帯域拡張符号化情報(高域生成情報)及びステレオ化情報を含むときにそれぞれ切換接続される。   Next, when the multiplexed encoded information is transmitted, each changeover switch 22X, 35X, 19, 36X is switched and connected to the selection B, C terminals. In this case, the selection B terminal is switched and connected only when the band extension encoded information is included, and the selection C terminal is switched and connected when the band extension encoded information (high band generation information) and the stereo information are included.

以下、ステレオ化必要情報であるSH(SBRヘッダ)が伝送されることによりSD(SBRデータ)が復号化されステレオ化情報(PSデータ)が得られるようになった場合について説明する。SBR処理の符号化情報(SBRデータ)及びステレオ化情報(PSデータ)が得られると、RchのQMF合成部34に初めて信号が送られるようになる。そのため、状態変数(遅延信号)を気にせずに出力オーディオ信号を生成すると、状態変数の初期化信号がRchのオーディオ信号に出力され、異音の原因となってしまう。そこで、本発明の実施の形態では、このタイミングで、Lch複製処理判断部16からの判定出力により、LchのQMF合成部33の状態変数(遅延信号)を、状態変数複製処理にて、RchのQMF合成部34に複製する。この操作により、ステレオ化情報が伝送されるまで選択A端子に接続された状態で再生していたにも拘わらず、LchのQMF合成部33の状態変数と同等の状態変数がRchのQMF合成部34に設定される。上記複製処理が実行されると、各切換スイッチ22X,35X,19,36Xは選択F端子に切換接続される。   Hereinafter, a case where SD (SBR data) is decoded and stereo information (PS data) can be obtained by transmitting SH (SBR header), which is information necessary for stereo, will be described. When coding information (SBR data) and stereo information (PS data) for SBR processing are obtained, a signal is first sent to the Rch QMF synthesizer 34. For this reason, if an output audio signal is generated without worrying about the state variable (delayed signal), the initialization signal of the state variable is output to the Rch audio signal, causing abnormal noise. Therefore, in the embodiment of the present invention, at this timing, the state variable (delayed signal) of the Lch QMF synthesizing unit 33 is converted into the Rch of the Rch by the state variable duplication processing by the judgment output from the Lch duplication processing judgment unit 16. Copy to the QMF synthesis unit 34. By this operation, the state variable equivalent to the state variable of the Lch QMF synthesizing unit 33 is changed to the Rch QMF synthesizing unit even though it is reproduced while being connected to the selection A terminal until the stereo information is transmitted. 34. When the duplication process is executed, the changeover switches 22X, 35X, 19, 36X are connected to the selection F terminal.

通常、帯域合成処理にて、関係の無い適当な信号を遅延信号として用いると、帯域合成処理で意図しない増幅減衰がなされ、異音の原因となり得る。本実施の形態の方法では、初期化後初めて、多重化された符号化情報が得られたフレームでは、出力がモノラルからステレオと切り替わるポイントであるため、RchのQMF合成部34の状態変数(遅延信号)として、LchのQMF合成部33の状態変数(遅延信号)を用いても異音が発生する事は無い。   Usually, when an unrelated appropriate signal is used as a delay signal in the band synthesis process, unintended amplification attenuation is performed in the band synthesis process, which may cause abnormal noise. In the method of the present embodiment, since the output is the point at which the output is switched from monaural to stereo in the frame in which the multiplexed encoded information is obtained for the first time after initialization, the state variables (delays) of the Rch QMF synthesis unit 34 Even if the state variable (delayed signal) of the Lch QMF synthesizer 33 is used as the signal), no abnormal noise is generated.

また、ステレオ化処理(PS処理)では、空間符号化の情報を適用するために、ハイブリッド分析部27による帯域分割、信号解析部29による解析結果と伝送された空間情報によるステレオ信号生成処理及びハイブリッド合成を行う。遅延を要すハイブリッド分析部27も多重化された符号化情報を復号化して初めて処理されるため、デコード内部変数初期化後に初めて多重化された符号化情報が得られたときの状態変数(遅延信号)は初期化された状態となり、信号解析部29の解析に影響し異音の原因となってしまう。すなわち、ハイブリッド分析部27にQMF分析部21で帯域分割された信号が入力されるが、ハイブリッド分析部27の状態変数(遅延信号)は初期化された状態であるため、正しく後段の処理がされない。   Further, in the stereo processing (PS processing), in order to apply spatial coding information, band division by the hybrid analysis unit 27, stereo signal generation processing based on the analysis result by the signal analysis unit 29 and the transmitted spatial information, and hybrid Perform synthesis. Since the hybrid analysis unit 27 that requires delay is also processed for the first time after decoding the encoded information, the state variable (delay when the encoded information is obtained for the first time after the decoding internal variable is initialized) Signal) is initialized, affects the analysis of the signal analysis unit 29, and causes abnormal noise. That is, the signal divided by the QMF analysis unit 21 is input to the hybrid analysis unit 27, but the state variable (delayed signal) of the hybrid analysis unit 27 is in an initialized state, so that subsequent processing is not performed correctly. .

そのため、本実施の形態では、この影響を排除するために、初期化後初めてハイブリッド分析部27を処理する場合には、遅延信号を更新するためにハイブリッド分析部27とステレオ化処理部30のステレオ左右チャンネル生成係数の更新処理を行い、出力には、スイッチ35X,19をそれぞれ端子Fへ切り替え、ハイブリッド分析部27の前で分岐させた信号を各チャンネルのQMF合成部33,34に出力している。   Therefore, in the present embodiment, in order to eliminate this influence, when the hybrid analysis unit 27 is processed for the first time after initialization, the stereo of the hybrid analysis unit 27 and the stereo processing unit 30 is updated in order to update the delay signal. The left and right channel generation coefficients are updated, and the switches 35X and 19 are switched to the terminal F for output, and the signals branched in front of the hybrid analysis unit 27 are output to the QMF synthesis units 33 and 34 of the respective channels. Yes.

具体的には、スイッチ17,18により、ハイブリッド分析部27の状態変数(遅延信号)が十分に更新されるまでステレオ化された信号は切断(スイッチ17,18が共にオフ)され、代わりに各切換スイッチ22X,35Xの選択F端子を介して伝送される信号がLchのQMF合成部33及び切換スイッチ19の選択F端子を介してRchのQMF合成部34に送られる。LchのQMF合成部33からの信号が出力端子37より出力され、LchのQMF合成部33と同じ状態変数のRchのQMF合成部34からの信号が切換スイッチ36Xの選択F端子を介して出力端子38より出力される。   Specifically, the switches 17 and 18 cut off the stereo signal until the state variable (delayed signal) of the hybrid analyzer 27 is sufficiently updated (both switches 17 and 18 are turned off). A signal transmitted via the selection F terminal of the changeover switches 22X and 35X is sent to the Rch QMF synthesis unit 34 via the Lch QMF synthesis unit 33 and the selection F terminal of the changeover switch 19. A signal from the Lch QMF synthesizing unit 33 is output from the output terminal 37, and a signal from the Rch QMF synthesizing unit 34 having the same state variable as that of the Lch QMF synthesizing unit 33 is output via the selection F terminal of the changeover switch 36X. 38.

ハイブリッド分析部27の状態変数(遅延信号)は、上記非特許文献1の8.6.4節に明記されている通り、6QMFサンプルの遅延がある。ステレオ化処理部30のステレオ左右チャンネル生成係数の更新処理は、上記非特許文献1の8.6.4.4節に記載されているように、係数が差分情報として伝送されるため、必要となる。   The state variable (delayed signal) of the hybrid analysis unit 27 has a delay of 6QMF samples as specified in Section 8.6.4 of Non-Patent Document 1. The stereo left / right channel generation coefficient update process of the stereo processing unit 30 is necessary because the coefficient is transmitted as difference information as described in Section 8.6.4.4 of Non-Patent Document 1 above. Become.

ハイブリッド分析部27の状態変数(遅延信号)が十分に更新されると、スイッチ17,18が共にオンされ(選択E端子に接続にされ)、ステレオ化処理部30からのステレオ左右チャンネルの信号がハイブリッド合成部31,32にそれぞれ送られる。各切換スイッチ35X,19,36Xは、選択E端子側にそれぞれ切換接続され、ハイブリッド合成部31からの信号はQMF合成部33を介してステレオLchのオーディオ信号として出力端子37より出力され、ハイブリッド合成部32からの信号はQMF合成部34を介してステレオRchのオーディオ信号として出力端子38より出力される。なお、スイッチ17,18及び切換スイッチ35X,19,36Xが選択E端子に接続されるタイミングとしては、ハイブリッド分析部27の状態変数の更新処理中にもRchのQMF合成部34の状態変数を更新することにより、1フレーム処理内で異音を発生させることなく、切り換えることが可能である。   When the state variable (delayed signal) of the hybrid analyzer 27 is sufficiently updated, both the switches 17 and 18 are turned on (connected to the selection E terminal), and the stereo left and right channel signals from the stereo processing unit 30 are It is sent to the hybrid synthesis units 31 and 32, respectively. The changeover switches 35X, 19, and 36X are respectively switched and connected to the selection E terminal side, and the signal from the hybrid synthesizing unit 31 is output from the output terminal 37 as a stereo Lch audio signal via the QMF synthesizing unit 33. The signal from the unit 32 is output from the output terminal 38 as a stereo Rch audio signal via the QMF synthesis unit 34. As for the timing at which the switches 17 and 18 and the changeover switches 35X, 19 and 36X are connected to the selection E terminal, the state variable of the Rch QMF synthesis unit 34 is updated even during the state variable update processing of the hybrid analysis unit 27. By doing so, it is possible to switch without generating abnormal noise within one frame processing.

図3〜図5は、例えば上記図2の構成における上述したようなデコード動作を説明するためのフローチャートである。   3 to 5 are flowcharts for explaining the decoding operation as described above in the configuration of FIG.

図3において、上記入力端子11に入力される符号化オーディオデータのビットストリームのような符号化情報に対して、ステップS101で上記HE AAC v2方式の符号化データの復号化処理(デフォーマット処理)を行い、多重化された符号化情報としての上述したような高域生成符号化情報(SBRデータ)や空間符号化情報(PSデータ)を取り出し、また、上記AACコア情報については、ステップS102にてAAC信号処理を行う。次のステップS103では、上記SBR処理を行うか否かが判断され、YESの場合はステップS104に、NOの場合はステップS114に進む。これらの処理は、例えば図2のペイロードデフォーマッタ12、AACコア復号部13での処理に対応する。   In FIG. 3, the HEAAC v2 encoded data decoding process (deformatting process) is performed on the encoded information such as the bit stream of the encoded audio data input to the input terminal 11 in step S101. To extract the high-frequency generation encoded information (SBR data) and spatial encoded information (PS data) as multiplexed encoded information as described above, and for the AAC core information in step S102 To perform AAC signal processing. In the next step S103, it is determined whether or not to perform the SBR process. If YES, the process proceeds to step S104, and if NO, the process proceeds to step S114. These processes correspond to, for example, the processes in the payload formatter 12 and the AAC core decoding unit 13 in FIG.

ステップS104では、例えば上記QMF分析部21により、QMF帯域分割処理を行う。次のステップS105で、多重化された符号化情報が復号化済みか否かを判断し、YESのときはステップS106に進み、NOのときはステップS113に進む。ステップS106では、例えば上記高域生成部23により、多重化された高域生成符号化情報(多重化の復号化が済みの情報)を用いて高域信号生成処理を行い、次のステップS107でPS処理を行うか否かを判断する。   In step S104, for example, the QMF analysis unit 21 performs QMF band division processing. In the next step S105, it is determined whether or not the multiplexed encoded information has been decoded. If YES, the process proceeds to step S106, and if NO, the process proceeds to step S113. In step S106, for example, the high frequency generation unit 23 performs high frequency signal generation processing using multiplexed high frequency generation encoded information (multiplexed decoding information), and in the next step S107. It is determined whether or not PS processing is performed.

ステップS107でYES(PS処理を行う)と判断されたとき、ステップS120でPS処理を行った後ステップS111に進み、ステップS107でNO(PS処理をしない)と判断されたときは、直接ステップS111に進む。ステップS120におけるPS処理の具体例については、図4、あるいは図5を参照しながら後述する。   When YES is determined in step S107 (PS process is performed), the PS process is performed in step S120, and then the process proceeds to step S111. When NO is determined in step S107 (PS process is not performed), the process directly proceeds to step S111. Proceed to A specific example of the PS process in step S120 will be described later with reference to FIG. 4 or FIG.

ステップS111では、LchのQMF帯域合成処理を行い、ステップS112でRchのQMF帯域合成処理を行って、得られたオーディオ信号を出力する。また、上記ステップS113ではLchのQMF帯域合成処理を行い、ステップS114で必要に応じてモノラル信号を複製してステレオ信号を生成し、得られたオーディオ信号を出力する。これらの処理は、例えば上記図2の切換スイッチ35X,36XやQMF合成部33,34等での処理に対応する。   In step S111, an Lch QMF band synthesis process is performed. In step S112, an Rch QMF band synthesis process is performed, and the obtained audio signal is output. In step S113, Lch QMF band synthesis processing is performed. In step S114, a monaural signal is duplicated as necessary to generate a stereo signal, and the obtained audio signal is output. These processes correspond to, for example, the processes performed by the changeover switches 35X and 36X and the QMF combining units 33 and 34 shown in FIG.

図4は、本発明の実施の形態の上記ステップS120のPS処理の一具体例を示し、上記図3のステップS107でYES(PS処理を行う)と判断されたとき、ステップS108に進んでハイブリッド分析処理を行い、ステップS109で空間情報によるステレオ信号生成処理を行い、ステップS110でハイブリッド合成処理を行った後、ステップS115に進む。ステップS115では、RchのQMF帯域合成処理の状態変数(遅延信号)、例えば図2のQMF合成部34の状態変数は更新済みか否かを判断し、YESのときは上記図3のステップS111へ、NOのときはステップS116へ進む。ステップS116では、LchのQMF帯域合成処理の状態変数をRchのQMF帯域合成処理の状態変数に複製した後、上記図3のステップS111に進む。これらの処理は、例えば図2のハイブリッド分析部27からQMF合成部33,34までの処理に対応する。   FIG. 4 shows a specific example of the PS process in step S120 according to the embodiment of the present invention. When YES is determined in step S107 in FIG. 3 (PS process is performed), the process proceeds to step S108 and the hybrid process is performed. An analysis process is performed, a stereo signal generation process based on spatial information is performed in step S109, a hybrid synthesis process is performed in step S110, and then the process proceeds to step S115. In step S115, it is determined whether or not the state variable (delay signal) of the Rch QMF band synthesis process, for example, the state variable of the QMF synthesis unit 34 in FIG. 2, has been updated. If YES, the process proceeds to step S111 in FIG. If NO, the process proceeds to step S116. In step S116, after the state variable of the Lch QMF band synthesis process is copied to the state variable of the Rch QMF band synthesis process, the process proceeds to step S111 of FIG. These processes correspond to, for example, the processes from the hybrid analysis unit 27 to the QMF synthesis units 33 and 34 in FIG.

これらの図3、図4に示す具体例においては、符号化情報の一部が多重化されて伝送される符号化オーディオデータの任意のフレームからの再生を行う際に、再生装置の内部状態を初期化し、多重化されて伝送される符号化情報が無い状態でも、少なくとも2つ以上のサブバンドに分割し、遅延が発生する帯域合成フィルタ処理によりアップサンプリングしてモノラルオーディオ信号を出力するようにし、その後、多重化された符号化情報が入力されて最初にモノラル信号からステレオ信号を生成する処理を行う場合に、モノラル信号のフィルタ状態変数(遅延信号)をステレオ信号のフィルタ状態変数として処理させる(ステップS114,S115,S116)ことにより、フィルタ処理の遅延による出力オーディオ信号の異音発生を防止している。   In the specific examples shown in FIG. 3 and FIG. 4, the internal state of the playback device is changed when the encoded audio data transmitted by multiplexing a part of the encoded information is reproduced from an arbitrary frame. Even when there is no encoded information to be transmitted after being initialized and multiplexed, it is divided into at least two or more subbands, and a monophonic audio signal is output by performing upsampling by a band synthesis filter process in which a delay occurs. Thereafter, when the multiplexed encoded information is input and processing for generating a stereo signal from the monaural signal first is performed, the filter state variable (delayed signal) of the monaural signal is processed as the filter state variable of the stereo signal. (Steps S114, S115, and S116) prevents the generation of abnormal noise in the output audio signal due to the delay of the filter processing. It is.

次に、図5は、本発明の実施の形態の上記図3のステップS120のPS処理の他の具体例を示している。すなわち、上記図3のステップS107でYES(PS処理を行う)と判断されたとき、図5のステップS108に進んでハイブリッド分析処理(例えば図2のハイブリッド分析部27での処理)を行った後、ステップS119に進み、上記ハイブリッド分析処理の状態変数(遅延信号)は全て更新済みか否かを判別し、YESのときはステップS109に進み、NOのときはステップS117に進んでいる。ステップS109では、空間情報によるステレオ信号生成処理を行い、ステップS110でハイブリッド合成処理を行った後、ステップS115に進む。ステップS117では、上記ハイブリッド分析処理の状態変数が未だ全て更新されていないため、モノラル信号を複製してステレオ信号を生成したものをハイブリッド合成処理の出力とし、ステップS118に進んで必要な状態変数の更新を行った後、ステップS115に進む。   Next, FIG. 5 shows another specific example of the PS process in step S120 of FIG. 3 of the embodiment of the present invention. That is, when it is determined YES in Step S107 in FIG. 3 (PS processing is performed), the process proceeds to Step S108 in FIG. 5 and the hybrid analysis processing (for example, processing in the hybrid analysis unit 27 in FIG. 2) is performed. In step S119, it is determined whether all the state variables (delay signals) of the hybrid analysis process have been updated. If YES, the process proceeds to step S109. If NO, the process proceeds to step S117. In step S109, a stereo signal generation process based on spatial information is performed. After a hybrid synthesis process is performed in step S110, the process proceeds to step S115. In step S117, since all the state variables of the hybrid analysis process have not yet been updated, a signal obtained by duplicating the monaural signal to generate a stereo signal is used as an output of the hybrid synthesis process. After updating, it progresses to step S115.

ステップS115では、RchのQMF帯域合成処理の状態変数(例えば図2のQMF合成部34の状態変数)は更新済みか否かを判断し、YESのときは上記図3のステップS111へ、NOのときはステップS116へ進む。ステップS116では、LchのQMF帯域合成処理の状態変数をRchのQMF帯域合成処理の状態変数に複製し、上記図3のステップS111に進む。   In step S115, it is determined whether or not the state variable of the Rch QMF band combining process (for example, the state variable of the QMF combining unit 34 in FIG. 2) has been updated. If YES, the process proceeds to step S111 in FIG. If so, the process proceeds to step S116. In step S116, the state variable of the Lch QMF band synthesis process is copied to the state variable of the Rch QMF band synthesis process, and the process proceeds to step S111 of FIG.

これらの図3、図5に示す具体例においては、上記図4と共に説明した具体例の構成に加えて、ステップS119,S117,S118に示すように、フィルタ処理の遅延が出力オーディオ信号に影響しないように、少なくともフィルタ状態変数(遅延信号)全てが更新されるまでは、フィルタ状態変数の更新処理と、出力信号の複製処理を行い、十分にフィルタ状態変数の更新が行われた後で、通常の再生処理を行うことにより、フィルタ処理の遅延による出力オーディオ信号の異音発生を防止している。   In the specific examples shown in FIGS. 3 and 5, in addition to the configuration of the specific example described in conjunction with FIG. 4, the delay of the filter processing does not affect the output audio signal as shown in steps S119, S117, and S118. Thus, at least until all the filter state variables (delayed signals) are updated, the filter state variable update process and the output signal duplication process are performed, and after the filter state variable has been sufficiently updated, Thus, the generation of abnormal sound in the output audio signal due to the delay of the filter processing is prevented.

このような本発明の実施の形態におけるステレオ左右チャンネル(Lch,Rch)の出力オーディオ信号の例を図11の(C)、(D)に示す。各時刻t1〜t3については、上述した図11の(A)、(B)の説明と同様である。すなわち、時刻t1までは使用可能なステレオ化情報が無い状態(例えば、AAC−LC(Low Complexity)符号化情報信号のみが入力され、SBR処理はアップサンプリング(Up Sampling)のみが行われている状態)であり、時刻t1においてステレオ化情報を含む多重化された符号化情報が有効(使用可能)となり、AAC処理、SBR処理、PS処理が開始される。また、図11の(C)はLch、(D)はRchの出力オーディオ信号をそれぞれ示している。   Examples of output audio signals of the stereo left and right channels (Lch, Rch) in the embodiment of the present invention are shown in FIGS. About each time t1-t3, it is the same as that of description of (A) of FIG. 11 mentioned above, and (B). That is, there is no usable stereoization information until time t1 (for example, only an AAC-LC (Low Complexity) encoded information signal is input, and the SBR process is performed only up-sampling). At time t1, the multiplexed encoded information including the stereo information becomes valid (usable), and the AAC process, the SBR process, and the PS process are started. 11C shows an output audio signal of Lch and FIG. 11D shows an output audio signal of Rch, respectively.

図11に示す本発明の実施の形態におけるステレオ左右チャンネルの出力オーディオ信号(C)、(D)は、従来の出力オーディオ信号(A)、(B)と比較すれば明らかなように、時刻t1〜t2の間の上記SBR処理のための帯域合成部(QMF合成部34)の状態変数(遅延信号)による影響も、時刻t2〜t3の間の上記PS処理のためのハイブリッドフィルタ(ハイブリッド分析部27)の状態変数による影響も現れておらず、本発明の実施の形態によれば、内部の状態変数が初期化された状態から、初めて多重化された符号化情報(ステレオ化情報等)が入力された場合でも、異音の発生等の無い良好なステレオオーディオ信号を再生することができる。   The output audio signals (C) and (D) of the stereo left and right channels in the embodiment of the present invention shown in FIG. 11 are time t1 as apparent from comparison with the conventional output audio signals (A) and (B). The influence of the state variable (delayed signal) of the band synthesizing unit (QMF synthesizing unit 34) for the SBR processing between t2 and t2 is also affected by the hybrid filter (hybrid analyzing unit) for the PS processing between times t2 and t3 27), the influence of the state variable does not appear, and according to the embodiment of the present invention, encoded information (stereo information, etc.) multiplexed for the first time from the state in which the internal state variable is initialized. Even when input, it is possible to reproduce a good stereo audio signal without occurrence of abnormal noise.

以上説明した本発明の実施の形態は、ステレオ化情報を含む一部の符号化情報がモノラルオーディオ信号に多重化されて伝送される符号化オーディオデータを復号化処理して再生する際に、使用可能な上記多重化された符号化情報が入力されない状態で内部の状態変数(遅延信号)を初期化し、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、上記内部の状態変数が初期化された状態で上記多重化された符号化情報が入力されたとき、内部の状態変数の更新を開始し、該状態変数が全て更新されるまでの間、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、上記内部の状態変数が全て更新されたとき、上記モノラルオーディオ信号に対して上記多重化された符号化情報に基づくステレオ化処理を含む信号処理を行ってステレオオーディオ信号を生成して出力する。   The embodiment of the present invention described above is used when decoding and reproducing encoded audio data in which a part of encoded information including stereo information is multiplexed and transmitted to a monaural audio signal. The internal state variable (delayed signal) is initialized in a state where the multiplexed encoded information that is possible is not input, and a stereo audio signal using a monaural audio signal is output, and the internal state variable is initialized. When the multiplexed encoded information is input in the recorded state, update of the internal state variable is started, and the stereo audio signal using the monaural audio signal is updated until all the state variables are updated. When all of the internal state variables are updated, a scan based on the multiplexed encoded information for the monaural audio signal is performed. Performs signal processing including Leo process generates and outputs a stereo audio signal.

すなわち、ステレオ化情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する際に、ステレオ化情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、ステレオ化情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまでの間、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するようにし、フィルタ内部の状態変数が全て更新された場合、モノラルオーディオ信号に対してステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力する。   That is, when stereo information is not input when decoding and reproducing encoded audio data that is transmitted after the stereo information is intermittently multiplexed with the encoded information of the monaural audio signal, the monaural audio signal is input. When stereo information is input, update of the state variable inside the filter is started, and the monaural audio signal is used until all the state variables are updated. When the stereo audio signal is output and all the state variables in the filter are updated, the stereo audio processing is performed on the monaural audio signal based on the stereo information, and the stereo audio signal is generated and output.

本発明の他の実施の形態は、符号化情報の一部が多重化されて伝送される符号化オーディオデータの復号化手段と、多重化された符号化情報の一部が伝送されていない場合でも、伝送された符号化情報の一部から出力オーディオ信号を生成する情報を取得する手段と、少なくとも2つ以上の帯域に分割して帯域分割信号を生成するオーディオ信号帯域分割手段と、生成した帯域分割信号に対して、帯域拡張符号化情報が伝送されることで、高域情報を生成する手段と、空間符号化情報が伝送されることにより、帯域分割信号に対して、遅延を要す副帯域分割信号生成手段により副帯域分割信号を生成し、空間符号化情報に基づいてモノラル信号からステレオ信号を生成する手段と、副帯域分割信号を帯域分割信号に合成する副帯域分割信号合成手段と、合成された帯域分割信号を遅延を要すオーディオ信号合成手段により合成し、出力オーディオ信号を生成する手段と、を有する符号化オーディオデータ再生装置において、不連続な位置(フレーム)から再生を行う場合に、符号化オーディオデータ再生装置の遅延を要す副帯域信号生成手段と、オーディオ信号合成手段の状態変数(遅延信号)の初期化を行う手段と、上記初期化後に再生を継続する手段と、上記初期化後に、初めて多重化された符号化情報が伝送され、空間符号化情報が復号化されてモノラル信号からステレオ信号を生成する際に、生成されたステレオ信号のオーディオ信号合成手段の状態変数(遅延信号)としてモノラル信号の状態変数(遅延信号)を用いて処理する手段と、を有する。   According to another embodiment of the present invention, a decoding unit for encoded audio data in which a part of encoded information is multiplexed and transmitted, and a case in which a part of the multiplexed encoded information is not transmitted However, a means for obtaining information for generating an output audio signal from a part of the transmitted encoded information, an audio signal band dividing means for generating a band division signal by dividing the information into at least two or more bands, and A means for generating high frequency information by transmitting band extension coding information to the band division signal, and a delay for the band division signal by transmitting spatial coding information. Means for generating a subband division signal by means of the subband division signal generation means, generating a stereo signal from the monaural signal based on the spatial coding information, and a subband division signal combination for synthesizing the subband division signal into the band division signal. A coded audio data reproducing apparatus comprising: a means for synthesizing the synthesized band-divided signal by an audio signal synthesizing means that requires a delay, and generating an output audio signal; The subband signal generating means that requires a delay of the encoded audio data reproducing apparatus, the means for initializing the state variable (delayed signal) of the audio signal synthesizing means, and the reproduction is continued after the initialization. And, when the encoded information multiplexed for the first time is transmitted after the initialization and the spatial encoding information is decoded to generate the stereo signal from the monaural signal, the audio signal synthesis means of the generated stereo signal Means for processing using a state variable (delayed signal) of a monaural signal as a state variable (delayed signal).

また、このような符号化オーディオデータ再生装置の遅延信号初期化後に、初めて多重化された符号化情報が伝送され、空間符号化情報が復号化されてモノラル信号からステレオ信号が生成される際に、副帯域分割信号生成手段の状態変数(遅延信号)が全て更新されるまでは、状態変数(遅延信号)を更新するために擬似的に副帯域分割信号生成を行う手段と、擬似的に副帯域分割信号生成手段が動作している最中は、副帯域分割信号生成手段に入力されたモノラルの帯域分割信号を複製し、ステレオの帯域分割信号としてオーディオ信号合成手段へ出力する手段と、擬似的に副帯域分割信号生成手段が動作している最中は、モノラル信号からステレオ信号を生成する手段の差分で更新される分割係数を更新する手段と、副帯域分割信号生成手段の遅延信号が全て更新された後に空間符号化情報に基づいてモノラル信号からステレオ信号を生成する手段と、を有する。   In addition, when the encoded signal that has been multiplexed is transmitted for the first time after the delay signal initialization of such an encoded audio data reproducing apparatus, the spatially encoded information is decoded and a stereo signal is generated from the monaural signal. Until the state variable (delayed signal) of the sub-band division signal generation means is all updated, the sub-band division signal generation means for pseudo-subband generation to update the state variable (delay signal) While the band division signal generation means is operating, the means for replicating the monaural band division signal input to the sub band division signal generation means and outputting it as a stereo band division signal to the audio signal synthesis means, In particular, while the subband division signal generating means is operating, means for updating the division coefficient updated by the difference between the means for generating the stereo signal from the monaural signal, and the subband division signal generation And means for generating a stereo signal from the mono signal based on spatial coded information after the delayed signal means is all updated.

すなわち、符号化情報の一部が多重化されて伝送される符号化されたオーディオデータの復号化処理にて、任意のフレームからの通常再生を行う際に、デコーダの遅延信号を初期化し、多重化されて伝送される符号化情報が無い状態でも、少なくとも2つ以上の帯域に分割し、遅延を要す帯域合成フィルタ処理によりアップサンプリングしてモノラルオーディオ信号を複製してステレオオーディオ信号として出力でき、初めて符号化情報が伝送され、空間復号化処理が有効になる場合に、モノラル信号のオーディオ信号帯域合成処理の遅延信号をステレオ信号のオーディオ信号帯域合成処理の遅延信号として処理させることにより、QMF合成フィルタ処理の遅延による出力オーディオ信号の異音を発生させなくする。   That is, in the decoding process of the encoded audio data that is transmitted by multiplexing a part of the encoded information, the delay signal of the decoder is initialized and multiplexed when performing normal reproduction from an arbitrary frame. Even when there is no encoded information to be transmitted, it can be divided into at least two bands and up-sampled by band synthesis filter processing that requires a delay to duplicate the monaural audio signal and output it as a stereo audio signal When the encoded information is transmitted for the first time and the spatial decoding process is enabled, the delay signal of the monaural signal audio signal band synthesis process is processed as the delay signal of the audio signal band synthesis process of the stereo signal. The generation of abnormal noise in the output audio signal due to the delay of the synthesis filter processing is prevented.

また、副帯域分割フィルタ処理の遅延が出力オーディオ信号に影響しないように、少なくとも副帯域分割フィルタ処理の遅延信号全てが更新されるまでは、遅延信号の更新処理と、出力信号の複製処理を行い、全ての遅延信号の更新が行われた後で、通常の再生処理を行うことにより、フィルタ処理の遅延による出力オーディオ信号の異音を発生させなくする。   In addition, delay signal update processing and output signal duplication processing are performed at least until all the delayed signals of the subband division filter processing are updated so that the delay of the subband division filter processing does not affect the output audio signal. After all the delayed signals have been updated, normal reproduction processing is performed, so that no abnormal noise is generated in the output audio signal due to the delay of the filter processing.

これによって、符号化情報の一部が多重化されて伝送されるような空間復号化処理を有する符号化オーディオデータでも、異音が発生することなく、任意位置からの再生が可能となる。   As a result, even encoded audio data having a spatial decoding process in which a part of the encoded information is multiplexed and transmitted can be reproduced from an arbitrary position without generating any abnormal sound.

なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。例えば、上述した本発明の実施の形態においては、ハードウェア構成を有する再生装置あるいは再生方法として説明したが、上述した各工程の処理をソフトウェアにより実現すること、すなわち、CPU(Central Processing Unit)を用いたコンピュータによりプログラムを実行させることで実現することが可能であり、また、このコンピュータプログラムを記録媒体に記録して提供することも可能である。   It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. For example, in the above-described embodiment of the present invention, the playback apparatus or the playback method having a hardware configuration has been described. However, the above-described processing of each process is realized by software, that is, a CPU (Central Processing Unit) is installed. It can be realized by causing the computer to execute the program, and the computer program can be recorded on a recording medium and provided.

本発明の実施の形態となる再生装置の概略構成を示すブロック図である。It is a block diagram which shows schematic structure of the reproducing | regenerating apparatus used as embodiment of this invention. 本発明の実施の形態をHE AAC v2方式で符号化された符号化オーディオデータの再生装置に適用した構成例を示すブロック図である。It is a block diagram which shows the structural example which applied embodiment of this invention to the reproducing | regenerating apparatus of the encoding audio data encoded by the HE AAC v2 system. 図2に示す再生装置の動作を説明するためのフローチャートである。3 is a flowchart for explaining the operation of the playback apparatus shown in FIG. 図3のステップS120のPS処理の一具体例を説明するためのフローチャートである。It is a flowchart for demonstrating one specific example of PS process of step S120 of FIG. 図3のステップS120のPS処理の他の具体例を説明するためのフローチャートである。It is a flowchart for demonstrating the other specific example of PS process of FIG.3 S120. 従来のステレオ化装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the conventional stereo-ized apparatus. 図6のステレオ化装置に入力される信号の一例を示す図である。It is a figure which shows an example of the signal input into the stereophonic apparatus of FIG. HE AAC v2方式のステレオ化装置に入力される信号の一例を示す図である。It is a figure which shows an example of the signal input into the stereo conversion apparatus of HE AAC v2. HE AAC v2方式で符号化された符号化オーディオデータの再生装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the reproducing | regenerating apparatus of the encoding audio data encoded by the HE AAC v2 system. 図9に示す再生装置の動作を説明するためのフローチャートである。10 is a flowchart for explaining the operation of the playback apparatus shown in FIG. 9. 従来の再生装置の出力オーディオ信号と、本発明の実施の形態が適用された再生装置の出力オーディオ信号とを対比して示す波形図である。It is a wave form diagram which contrasts the output audio signal of the conventional reproducing | regenerating apparatus, and the output audio signal of the reproducing | regenerating apparatus to which embodiment of this invention was applied.

符号の説明Explanation of symbols

11 符号化オーディオデータの入力端子、 21 QMF分析部、 23 高域生成部、 27ハイブリッド分析部、 30,45 ステレオ化処理部、 31,32 ハイブリッド合成部、 33,34 QMF合成部、 44 帯域分割部、 51,52 帯域合成部   11 Input terminal for encoded audio data, 21 QMF analyzer, 23 High frequency generator, 27 Hybrid analyzer, 30, 45 Stereo processing unit, 31, 32 Hybrid combiner, 33, 34 QMF combiner, 44 Band division Part, 51, 52 Band synthesis part

Claims (8)

ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する再生方法において、
上記ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第1の工程と、
上記ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第2の工程と、
上記フィルタ内部の状態変数が全て更新された場合、上記モノラルオーディオ信号に対して上記ステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力する第3の工程と
を有することを特徴とする再生方法。
In a reproduction method for decoding and reproducing encoded audio data transmitted by intermittently multiplexing information required for stereo processing and encoded information of a monaural audio signal,
A first step of outputting a stereo audio signal using a monaural audio signal when the stereo-necessary information is not input;
A second step of starting to update a state variable inside the filter and outputting a stereo audio signal using a monaural audio signal until all of the state variables are updated when the stereo-necessary information is input;
When all the state variables in the filter are updated, the stereo audio signal is generated and output by performing a stereo process based on the stereo information obtained from the stereo necessary information on the monaural audio signal. 3. A reproduction method comprising the steps of:
上記ステレオ化処理は、帯域拡張されたモノラルオーディオ信号に対して行われることを特徴とする請求項1記載の再生方法。   2. The reproduction method according to claim 1, wherein the stereo process is performed on a monaural audio signal whose band has been extended. 上記第1の工程では、上記モノラルオーディオ信号を帯域分割フィルタ処理により少なくとも2つ以上のサブバンドに分割し、帯域合成フィルタ処理によりアップサンプリングしてモノラルオーディオ信号を用いたステレオオーディオ信号を出力し、
上記第2の工程では、モノラルオーディオ信号のフィルタ内部の状態変数をステレオオーディオ信号のフィルタ状態変数として処理させることを特徴とする請求項2記載の再生方法。
In the first step, the monaural audio signal is divided into at least two or more subbands by band division filter processing, up-sampled by band synthesis filter processing, and a stereo audio signal using the monaural audio signal is output.
3. The reproduction method according to claim 2, wherein in the second step, a state variable inside the filter of the monaural audio signal is processed as a filter state variable of the stereo audio signal.
上記符号化オーディオデータは、HE AAC(High Efficiency Advanced Audio Coding)の符号化方式におけるモノラルオーディオデータに相当するAACコアの符号化情報と、SBR(Spectral Band Replication)処理の符号化情報と、PS(Parametric Stereo)処理の符号化情報とを有し、上記SBR処理の符号化情報は、多重化されて間歇的に伝送される符号化情報であるSBRヘッダ(sbr header)と常に伝送される符号化情報であるSBRデータ(sbr data)とで構成され、上記PS処理の符号化情報であるPSデータ(ps data)は、上記SBRデータの拡張領域に内包されて伝送され、上記SBRヘッダは上記SBRデータを復号化するために必要とされる上記ステレオ化必要情報であることを特徴とする請求項3記載の再生方法。   The encoded audio data includes AAC core encoding information corresponding to monaural audio data in HE AAC (High Efficiency Advanced Audio Coding) encoding scheme, SBR (Spectral Band Replication) processing encoding information, PS ( The encoded information of the SBR process includes an SBR header (sbr header) that is encoded information that is multiplexed and transmitted intermittently, and an encoded information that is always transmitted. PS data (ps data) that is encoded information of the PS processing is transmitted by being included in an extension area of the SBR data, and the SBR header is the SBR header. 4. The reproduction method according to claim 3, wherein the information necessary for stereoization is required for decoding data. ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する再生装置において、
入力されたモノラルオーディオ信号を帯域分割する帯域分割手段と、
上記帯域分割手段からの信号を上記多重化された符号化情報に含まれる上記ステレオ化情報に基づきステレオ化処理するステレオ化処理手段と、
ステレオ化処理手段からのステレオ左右チャンネルの信号をそれぞれ帯域合成する帯域合成手段と、
上記ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するように制御し、上記ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力するように制御し、上記フィルタ内部の状態変数が全て更新された場合、上記モノラルオーディオ信号に対して上記ステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力するように制御する制御手段と
を有することを特徴とする再生装置。
In a playback apparatus for decoding and reproducing encoded audio data that is transmitted by multiplexing and transmitting information required for stereo processing that is intermittently multiplexed with encoded information of a monaural audio signal,
Band dividing means for dividing the input monaural audio signal into bands;
Stereo processing means for performing a stereo process on the signal from the band dividing means based on the stereo information included in the multiplexed encoded information;
Band synthesizing means for synthesizing the left and right stereo channel signals from the stereo processing means;
When the stereo necessary information is not input, control is performed to output a stereo audio signal using a monaural audio signal. When the stereo necessary information is input, updating of a state variable in the filter is started. Controls to output a stereo audio signal using a monaural audio signal until all the state variables are updated. If all the state variables in the filter are updated, the stereo audio is required for the monaural audio signal. And a control unit configured to perform a stereo process based on the stereo information obtained from the information to generate and output a stereo audio signal.
上記ステレオ化処理は、帯域拡張されたモノラルオーディオ信号に対して行われることを特徴とする請求項5記載の再生装置。   6. The playback apparatus according to claim 5, wherein the stereo process is performed on a monaural audio signal whose band has been extended. ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する処理をコンピュータに実行させるプログラムにおいて、
上記ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第1の工程と、
上記ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第2の工程と、
上記フィルタ内部の状態変数が全て更新された場合、上記モノラルオーディオ信号に対して上記ステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力する第3の工程と
を有することを特徴とするプログラム。
A program for causing a computer to execute a process of decoding and reproducing encoded audio data transmitted by intermittently multiplexing information required for stereo processing and encoded information of a monaural audio signal. In
A first step of outputting a stereo audio signal using a monaural audio signal when the stereo-necessary information is not input;
A second step of starting to update a state variable inside the filter and outputting a stereo audio signal using a monaural audio signal until all of the state variables are updated when the stereo-necessary information is input;
When all the state variables in the filter are updated, the stereo audio signal is generated and output by performing a stereo process based on the stereo information obtained from the stereo necessary information on the monaural audio signal. A program characterized by comprising the steps of 3.
ステレオ化処理に必要とされるステレオ化必要情報がモノラルオーディオ信号の符号化情報に間歇的に多重化されて伝送された符号化オーディオデータを復号化処理して再生する処理をコンピュータに実行させるプログラムが記録された記録媒体において、
上記プログラムは、
上記ステレオ化必要情報が入力されない場合、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第1の工程と、
上記ステレオ化必要情報が入力された場合、フィルタ内部の状態変数の更新を開始し、該状態変数が全て更新されるまで、モノラルオーディオ信号を用いたステレオオーディオ信号を出力する第2の工程と、
上記フィルタ内部の状態変数が全て更新された場合、上記モノラルオーディオ信号に対して上記ステレオ化必要情報により得られたステレオ化情報に基づくステレオ化処理を行ってステレオオーディオ信号を生成して出力する第3の工程と
を有することを特徴とする記録媒体。
A program for causing a computer to execute a process of decoding and reproducing encoded audio data transmitted by intermittently multiplexing information required for stereo processing and encoded information of a monaural audio signal. In the recording medium recorded with
The above program
A first step of outputting a stereo audio signal using a monaural audio signal when the stereo-necessary information is not input;
A second step of starting to update a state variable inside the filter and outputting a stereo audio signal using a monaural audio signal until all of the state variables are updated when the stereo-necessary information is input;
When all the state variables in the filter are updated, the stereo audio signal is generated and output by performing a stereo process based on the stereo information obtained from the stereo necessary information on the monaural audio signal. 3. A recording medium comprising the steps of 3.
JP2007272856A 2006-11-30 2007-10-19 Reproduction method and apparatus, program, and recording medium Expired - Fee Related JP4930320B2 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2007272856A JP4930320B2 (en) 2006-11-30 2007-10-19 Reproduction method and apparatus, program, and recording medium
US11/935,050 US8363842B2 (en) 2006-11-30 2007-11-05 Playback method and apparatus, program, and recording medium
TW096141906A TWI380287B (en) 2006-11-30 2007-11-06 Playback method and apparatus, program, and recording medium
DE602007012644T DE602007012644D1 (en) 2006-11-30 2007-11-22 A mono audio signal playback apparatus and apparatus using stereo process information
EP07254547A EP1928212B1 (en) 2006-11-30 2007-11-22 Playback method and apparatus for monaural audio signal using stereo process information
KR1020070120956A KR20080049632A (en) 2006-11-30 2007-11-26 Playback method and apparatus, program, and recording medium
CN2007101954765A CN101192407B (en) 2006-11-30 2007-11-30 Regeneration method and apparatus, program and recording medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006324775 2006-11-30
JP2006324775 2006-11-30
JP2007272856A JP4930320B2 (en) 2006-11-30 2007-10-19 Reproduction method and apparatus, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2008158496A true JP2008158496A (en) 2008-07-10
JP4930320B2 JP4930320B2 (en) 2012-05-16

Family

ID=39487355

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007272856A Expired - Fee Related JP4930320B2 (en) 2006-11-30 2007-10-19 Reproduction method and apparatus, program, and recording medium

Country Status (5)

Country Link
JP (1) JP4930320B2 (en)
KR (1) KR20080049632A (en)
CN (1) CN101192407B (en)
DE (1) DE602007012644D1 (en)
TW (1) TWI380287B (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013504908A (en) * 2009-09-10 2013-02-07 ドルビー インターナショナル アーベー Improvement of audio signal of FM stereo radio receiver using parametric stereo
JP2016029500A (en) * 2009-10-23 2016-03-03 サムスン エレクトロニクス カンパニー リミテッド Decoder and decoding method
JP2016105180A (en) * 2015-12-28 2016-06-09 ソニー株式会社 Signal processing device and method, and program
US9767814B2 (en) 2010-08-03 2017-09-19 Sony Corporation Signal processing apparatus and method, and program
US9767824B2 (en) 2010-10-15 2017-09-19 Sony Corporation Encoding device and method, decoding device and method, and program
JP2017223996A (en) * 2017-09-14 2017-12-21 ソニー株式会社 Signal processing device and method, and program
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
US10224054B2 (en) 2010-04-13 2019-03-05 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US10692511B2 (en) 2013-12-27 2020-06-23 Sony Corporation Decoding apparatus and method, and program

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110126518A (en) * 2009-02-19 2011-11-23 파나소닉 주식회사 Recording medium, reproduction device, and integrated circuit
CN102254560B (en) * 2010-05-19 2013-05-08 安凯(广州)微电子技术有限公司 Audio processing method in mobile digital television recording
KR101118466B1 (en) * 2010-11-08 2012-03-12 티제이미디어 주식회사 Apparatus for converting mono signal to stereo in video compact disc and method for the same
EP2777042B1 (en) * 2011-11-11 2019-08-14 Dolby International AB Upsampling using oversampled sbr
CN109509478B (en) * 2013-04-05 2023-09-05 杜比国际公司 audio processing device
CN106534762B (en) * 2016-11-16 2019-12-13 深圳市捷视飞通科技股份有限公司 low-delay distributed audio processing method and system

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535145A (en) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット Efficient and scalable parametric stereo coding for low bit rate audio coding
WO2005059898A1 (en) * 2003-12-19 2005-06-30 Telefonaktiebolaget Lm Ericsson Channel signal concealment in multi-channel audio systems

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835895A (en) * 1997-08-13 1998-11-10 Microsoft Corporation Infinite impulse response filter for 3D sound with tap delay line initialization
US6721710B1 (en) * 1999-12-13 2004-04-13 Texas Instruments Incorporated Method and apparatus for audible fast-forward or reverse of compressed audio content
CN1284319C (en) * 2002-04-22 2006-11-08 西安大唐电信有限公司 Implement method of multi-channel AMR vocoder and its equipment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004535145A (en) * 2001-07-10 2004-11-18 コーディング テクノロジーズ アクチボラゲット Efficient and scalable parametric stereo coding for low bit rate audio coding
JP2006085183A (en) * 2001-07-10 2006-03-30 Coding Technologies Ab Efficient and scalable parametric stereo coding for low bitrate audio coding application
WO2005059898A1 (en) * 2003-12-19 2005-06-30 Telefonaktiebolaget Lm Ericsson Channel signal concealment in multi-channel audio systems

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9877132B2 (en) 2009-09-10 2018-01-23 Dolby International Ab Audio signal of an FM stereo radio receiver by using parametric stereo
US8929558B2 (en) 2009-09-10 2015-01-06 Dolby International Ab Audio signal of an FM stereo radio receiver by using parametric stereo
JP2013504908A (en) * 2009-09-10 2013-02-07 ドルビー インターナショナル アーベー Improvement of audio signal of FM stereo radio receiver using parametric stereo
JP2016029500A (en) * 2009-10-23 2016-03-03 サムスン エレクトロニクス カンパニー リミテッド Decoder and decoding method
US10297270B2 (en) 2010-04-13 2019-05-21 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US10224054B2 (en) 2010-04-13 2019-03-05 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US10546594B2 (en) 2010-04-13 2020-01-28 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US10381018B2 (en) 2010-04-13 2019-08-13 Sony Corporation Signal processing apparatus and signal processing method, encoder and encoding method, decoder and decoding method, and program
US9767814B2 (en) 2010-08-03 2017-09-19 Sony Corporation Signal processing apparatus and method, and program
US10229690B2 (en) 2010-08-03 2019-03-12 Sony Corporation Signal processing apparatus and method, and program
US11011179B2 (en) 2010-08-03 2021-05-18 Sony Corporation Signal processing apparatus and method, and program
US9767824B2 (en) 2010-10-15 2017-09-19 Sony Corporation Encoding device and method, decoding device and method, and program
US10236015B2 (en) 2010-10-15 2019-03-19 Sony Corporation Encoding device and method, decoding device and method, and program
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
US10692511B2 (en) 2013-12-27 2020-06-23 Sony Corporation Decoding apparatus and method, and program
US11705140B2 (en) 2013-12-27 2023-07-18 Sony Corporation Decoding apparatus and method, and program
JP2016105180A (en) * 2015-12-28 2016-06-09 ソニー株式会社 Signal processing device and method, and program
JP2017223996A (en) * 2017-09-14 2017-12-21 ソニー株式会社 Signal processing device and method, and program

Also Published As

Publication number Publication date
CN101192407A (en) 2008-06-04
TW200830276A (en) 2008-07-16
JP4930320B2 (en) 2012-05-16
KR20080049632A (en) 2008-06-04
DE602007012644D1 (en) 2011-04-07
TWI380287B (en) 2012-12-21
CN101192407B (en) 2011-04-13

Similar Documents

Publication Publication Date Title
JP4930320B2 (en) Reproduction method and apparatus, program, and recording medium
JP4834539B2 (en) Audio signal synthesis
US8145498B2 (en) Device and method for generating a coded multi-channel signal and device and method for decoding a coded multi-channel signal
CA2579114C (en) Device and method for generating a multi-channel signal or a parameter data set
JP4772279B2 (en) Multi-channel / cue encoding / decoding of audio signals
JP3646938B1 (en) Audio decoding apparatus and audio decoding method
JP4685925B2 (en) Adaptive residual audio coding
JP4597967B2 (en) Audio signal generation
JP5260665B2 (en) Audio coding with downmix
US8370164B2 (en) Apparatus and method for coding and decoding multi-object audio signal with various channel including information bitstream conversion
KR101283783B1 (en) Apparatus for high quality multichannel audio coding and decoding
TWI550598B (en) Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
JP2010505140A (en) Method and apparatus for encoding and decoding object-based audio signals
AU2006222285A1 (en) Device and method for generating an encoded stereo signal of an audio piece or audio data stream
JP2007528025A (en) Audio distribution system, audio encoder, audio decoder, and operation method thereof
US20140310010A1 (en) Apparatus for encoding and apparatus for decoding supporting scalable multichannel audio signal, and method for apparatuses performing same
RU2420026C2 (en) Methods and devices to code and to decode audio signals based on objects
US8363842B2 (en) Playback method and apparatus, program, and recording medium
KR20080030847A (en) Method for encoding and decoding an audio signal

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120117

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120130

R151 Written notification of patent or utility model registration

Ref document number: 4930320

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees