CN101192407A - 再生方法和设备、程序、以及记录介质 - Google Patents

再生方法和设备、程序、以及记录介质 Download PDF

Info

Publication number
CN101192407A
CN101192407A CNA2007101954765A CN200710195476A CN101192407A CN 101192407 A CN101192407 A CN 101192407A CN A2007101954765 A CNA2007101954765 A CN A2007101954765A CN 200710195476 A CN200710195476 A CN 200710195476A CN 101192407 A CN101192407 A CN 101192407A
Authority
CN
China
Prior art keywords
stereo
signal
processing
sound signal
monophonic sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101954765A
Other languages
English (en)
Other versions
CN101192407B (zh
Inventor
剑持千智
畠中光行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101192407A publication Critical patent/CN101192407A/zh
Application granted granted Critical
Publication of CN101192407B publication Critical patent/CN101192407B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明提供了一种再生方法和设备，用于对与立体声处理所需的被间歇复用在非立体声音频信号的编码信息中的立体声处理必需信息一起传输的编码音频数据进行解码处理和再生。该再生方法包括：第一步骤，如果没有提供立体声处理必需信息，则输出使用了非立体声音频信号的立体声音频信号；第二步骤，如果提供了立体声处理必需信息，则开始更新滤波器内的状态变量，并输出使用了非立体声音频信号的立体声音频信号，直到更新完所有的状态变量；以及第三步骤，如果更新完滤波器内的所述状态变量，则对非立体声音频信号执行基于通过立体声处理必需信息获取的立体声处理信息的立体声处理，并生成并输出立体声音频信号。本发明可应用于音频处理领域。

Description

再生方法和设备、程序、以及记录介质
相关申请的交叉参考
本发明包含分别于2006年11月30日和2007年10月19日向日本专利局提交的日本专利申请JP 2006-324775和JP 2007-272856的主题，其全部内容结合于此作为参考。
技术领域
本发明涉及用于对与间歇复用在非立体声音频信号的编码信息中的立体声处理信息一起传输的编码音频数据进行解码处理和再生的再生方法和设备、程序、以及记录介质。
背景技术
已经知道被提供以非立体声音频信号和立体声处理信息、并通过在立体声处理信息的基础上对非立体声音频信号进行立体声处理来生成立体声音频信号的再生设备。
现在将参照附图来描述如上所述的基于非立体声音频信号和立体声处理信息的典型立体声处理。图6是示出典型立体声处理设备的结构例子的框图，图7是示出将被提供给图6的立体声处理设备的信号的例子的示图。立体声处理信息能够以复用的形式传输。
在图6中，非立体声音频信号被提供给输入端41，并且立体声处理信息被提供给输入端42。将来自输入端41的非立体声音频信号通过选择开关43提供给带分割器44以进行带分割，并将所得的经过带分割后的非立体声音频信号提供给立体声处理器45。立体声处理器45被提供以来自输入端42的立体声处理信息，并将经过带分割后的非立体声音频信号立体声处理为左通道(Lch)立体声信号和右通道(Rch)立体声信号。将Lch、Rch立体声信号分别提供给Lch带合成器51和Rch带合成器52。将来自带合成器51的Lch音频信号提供给选择开关53，在选择开关53中选择该Lch音频信号和通过延迟部46从选择开关43提供的信号中的一个，并将所选择的信号提供给选择开关54和输出端55。将来自带合成器52的Rch音频信号提供给选择开关54，在选择开关54中选择该Rch音频信号和来自选择开关53的信号中的一个，并将所选择的信号提供给输出端56。
图7示出了将被提供给图6的立体声处理设备的信号的例子。该信号以编码音频数据为传输单位编号为#0、#1、#2......，如以帧或块为单位。在该图中，M表示非立体声音频信号，S表示立体声处理信息。在图7的例子中，非立体声音频信号M始终被传输，而立体声处理信息S以复用的形式和每5次1个的速率进行传输。在这种情况下，以包含在传输单位#0中的形式提供的立体声处理信息S被用于在对应于传输单位#0～#4的期间中的立体声处理，然后，在对应于传输单位#5的时间切换成下一个立体声处理信息S。在对应于传输单位#5的时间提供的该立体声处理信息S被用于对应于传输单位#5～#9的期间中。此后，类似地利用先前提供的立体声处理信息S，直到提供了下一个立体声处理信息S。
在图6的结构中，当提供了立体声处理信息时，将选择开关43、53、54切换到可选端B。即，通过带分割器44对从输入端41提供的非立体声音频信号进行带分割，并且在立体声处理信息的基础上通过立体声处理器45生成立体声信号。所生成的立体声信号通过各自通道的带合成器51、52进行带合成，然后作为Lch、Rch立体声音频信号分别从输出端55、56中输出。
其间，在不连续帧再生中，如基于通过抽取帧(传输单位)来再生的快进再生，或者在从任意帧开始的再生中，在某些情况下，可能会遗落所复用的编码信息。当由于这样的不连续帧再生等，从任意帧(传输单位)开始提供编码音频数据时，可能会发生可用立体声处理信息的缺失。例如，当在对应于图7的传输单位#2的位置开始输入时，包含在传输单位#0中的立体声处理信息S由于帧抽取等而不存在，使得在对应于传输单位#2～#4的期间中没有可用的立体声处理信息。
在图6的设备中，为了防止它的输出音频信号的通道的数目由于立体声处理信息存在或不存在而发生改变，即使在不存在可用立体声处理信息的情况下(例如，在对应于图7的传输单位#2～#4的期间中)，也设置成将非立体声音频信号输出至立体声左通道和立体声右通道。具体来说，通过切换选择开关43、53、54到可选端A，该设备分别从输出端55、56输出同样的非立体声音频信号。这里，当选择开关43被切换到它的可选端A时，从输入端41发出的非立体声音频信号被提供给延迟部46。这是考虑到带分割器44在每次执行处理时都保存如FIR滤波处理中的状态变量、更新该状态变量并产生一个延迟，从而，给所提供的非立体声音频信号一个在带分割器44中发生的延迟。由于带合成器等以不引起延迟的形式执行其带合成，因而延迟部46只关心带分割器44中的延迟。从延迟部46发出的非立体声音频信号通过选择开关53从Lch输出端55输出，也通过选择开关54从Rch输出端56输出。注意，当如在对应于图7的传输单位#2～#4的期间中没有可用的立体声处理信息时，带分割器44等的内部状态变量被初始化。
因此，如果在对应于图7的传输单位#2的位置提供数据，则在图6的立体声处理设备中，内部状态变量被初始化，并且，选择开关43、53、54也在对应于上述传输单位#2～#4的期间中切换到它们的可选端A。然后，当在对应于传输单位#5的位置上输入数据时，选择开关43、53、54被切换到可选端B，同样更新内部状态变量。注意，选择开关43、53、54的切换操作和相关部件的处理操作通过控制部(未示出)依照输入数据的内容、内部状态等来控制。
这里，下面将描述编码方式的具体例子，通过该方式，用于立体声处理等的编码信息的一部分被复用到将被传输的非立体声音频信号中。
通过例如HE AAC(高效率高级音频编码，国际标准ISO/IEC14496-3)编码方式、尤其是HE AAC v2(版本2)编码方式编码的音频数据被复用到解码所必需的编码信息的一部分中并一起传输。该HE AAC v2编码方式被配置为结合了3项技术，即高级音频编码(AAC)处理、谱带复制(Spectral Band Replication，SBR)处理、以及参数立体声(PS)处理。用于SBR处理和PS处理的编码信息以部分复用的形式进行传输。
AAC处理是一种按照通过MPEG(运动图像专家组)音频来标准化的音频压缩算法进行的编码处理。SBR处理是一种用于通过将输入信号分割为多个子带、并从它的较低频带开始复制高音频带的带扩展的编码处理。PS处理是一种用于利用从非立体声信号生成立体声信号所必需的空间信息等进行的空间编码的编码处理。
通过上述HE AAC v2方式编码的编码音频数据包括与通过上述AAC编码方式编码的非立体声音频数据等价的AAC核心编码信息、用于上述SBR处理的编码信息、以及用于上述PS处理的编码信息。用于SBR处理的编码信息包括被复用并间歇传输的编码信息(sbr头)，以及始终传输的编码信息(sbr数据)。为了解码sbr数据(SBR数据)，需要sbr头(SBR头)。关于sbr头(SBR头)，能够在特定规则下改变它的内容，并且它的传输时间受实际操作的支配。用于PS处理的编码信息(ps数据)以包含在sbr数据(SBR数据)的扩展区域中的形式进行传输。因此，为了解码ps数据(PS数据)，同样需要sbr头(SBR头)信息。即sbr头(SBR头)是获取用于立体声处理的的ps数据(PS数据)所需的立体声处理必需信息。图8示出了通过HE AAC v2编码方式编码的音频数据的例子。在图8中，AC表示AAC核心编码信息，SH表示上述的sbr头(SBR头)，以及SD表示上述的sbr数据(SBR数据)。
如图8中所示，为了解码SBR数据SD以及包含在其扩展区域中的PS数据，需要间歇传输的SBR头SH。然而，在如上所述从任意帧开始的再生中，某些情况下，可能会遗落被复用的SBR头SH。这里，除非通过更高级的方式等不断地特别监视经过复用的帧，将执行利用AAC核心编码信息AC的解码处理以生成输出音频信号，直到从中能获取被复用的SBR头SH的帧到达为止。这种情况下的解码处理包括上述AAC解码处理、和基于上述用于带分割和带合成的SBR处理的上采样处理。
当包含被复用的SBR头SH的帧到达时，利用该SBR头SH来解码上述SBR数据SD以及包含在其扩展区域中的PS数据。然后，执行利用这些SBR数据和PS数据的“完整”解码处理(包括立体声处理)，以生成输出立体声音频信号。在针对上述HE ACC v2编码的音频数据的解码处理中，执行上述的AAC解码处理，然后在上述SBR处理中，执行带分割和高频(HF)分量的生成，此后，根据在上述PS处理中编码的空间信息，由经过带分割的非立体声信号生成立体声信号，最后通过SBR处理中的带合成处理生成输出立体声音频信号。
图9是示出用于通过上述HE AAC v2方式编码的编码音频数据的再生设备的结构例子的框图。通过传输将编码音频流提供到图9的输入端11。编码音频流包括AAC核心编码信息、HF生成编码信息(SBR数据)、以及PS编码信息(PS数据)。编码信息的一部分以复用的形式传输。为了解码HF生成编码信息(SBR数据)和PS编码信息(PS数据)，需要上述的以复用的形式传输的SBR头SH。
在HE AAC v2编码方式中，当SBR头SH的一部分与包含在前一帧中的不同时，需要执行SBR处理的初始化。通过SBR处理的初始化，在稍后将描述的QMF分析器/合成器、混合分析器等中的状态变量(延迟信号)被初始化。在这里所用到的状态变量(延迟信号)是要来表示保存在滤波器内的延迟元件中的数据(信号)。在滤波处理中，依照滤波长度，在从信号的输入到输出的期间中发生延迟，状态变量意味着该延迟信号。
通过这种方法，通过执行SBR处理中的QMF分析和QMF合成，对通过解码由HE AAC v2编码方式编码的AAC编码信息而获取的非立体声音频数据进行上采样。例如，该设备在AAC解码后以24 kHz的采样率对非立体声音频数据进行SBR处理，因此该设备输出采样率为48 kHz的音频数据。
在图9中，将从输入端11发出的编码音频数据提供给负载去格式化器(payload deformatter)12从而分离为提供给AAC核心解码器13的AAC核心编码信息，以及HF生成编码信息(SBR数据)/PS编码信息(PS数据)。AAC核心解码器13解码所提供的AAC核心编码信息，生成AAC核心非立体声信号，并将所生成的信号提供给SBR处理器20。SBR处理器20的剖析器14从负载去格式化器12中获取如HF生成编码信息等的复用信息，检查它们的内容，判断是否需要用于SBR处理的初始化。如果需要初始化，剖析器14就从终端14t中输出初始化控制信号，使得将对相关部件执行用于SBR处理的初始化，如下文所述。从AAC核心解码器13提供给SBR处理器20的非立体声音频信号通过QMF分析器21进行带分割，将所得的经过带分割的信号提供给选择开关22。如果提供了HF生成编码信息(SBR数据)，择切换选择开关22连接至可选端B、C，使得将从QMF分析器21发出的信号提供给HF生成器23。HF生成器23生成HF信号。包络调节器24进行包络调节(envelopeadjustment)。将所得的信号提供给选择开关25。
如果由上述的PS编码信息(PS数据)获取了立体声处理信息，则切换选择开关22、25连接至可选端C。将从选择开关25的可选端C发出的信号提供给混合分析器27。混合分析器27对提供的经过带分割的信号的低频(LF)信号进行进一步的带分割，并将所得的信号提供给信号去相关器(de-correlator)29和立体声处理器30。信号去相关器29对所提供的信号进行去相关，对其进行声音调节，并将所得的信号提供给立体声处理器30。立体声处理器30由所提供的经过带分割的信号和立体声处理信息生成Lch、Rch立体声信号。对于所生成的Lch、Rch立体声信号，各自通道的混合合成器31、32对上述通过混合分析器27获得的经过带分割的信号进行带合成，QMF合成器33、34进一步将通过上述QMF分析器21获取的经过带分割的信号进行带合成，以生成Lch、Rch立体声输出音频信号。将从QMF合成器33发出的Lch音频信号提供给选择开关36和输出端37。将从QMF合成器34发出的Rch音频信号提供给选择开关36，其中，选择该Rch音频信号和从QMF合成器33发出的信号中的一个，并将所选择的信号提供给输出端38。
如果没有传输如上述的立体声处理信息的复用信息，则切换图9的选择开关22、25、35、36以连接可选端A或B。为了保持固定的输出音频信号的采样频率，只利用QMF分析器21和QMF合成器33来执行上采样。另外，为了保持固定的输出通道数目，针对Rch音频信号复制Lch音频信号以生成输出信号。
图10是示出例如在上述图9的结构中的如上所述的解码操作的流程图。
在图10中，在步骤S101中，对如将被提供到上述输入端11的编码音频流的编码信息执行针对通过上述HE AAC v2方式编码的数据的解码(去格式化)处理，以提取例如像上述HF生成编码信息和空间编码信息作为复用编码信息。进一步，在步骤S102中对上述AAC核心信息执行AAC信号处理。在接下来的步骤S103中，判断是否将执行上述SBR处理，如果是YES，过程进行到步骤S104，而如果是NO，过程进行到步骤S114。这些处理对应于例如通过图9的负载去格式化器12和AAC核心解码器13执行的处理。
在步骤S104中，通过例如上述QMF分析器21执行QMF带分割处理。在接下来的步骤S105中，判断是否已经解码了复用编码信息，如果是YES，处理进行到步骤S106，而如果是NO，处理进行到步骤S113。在步骤S106中，通过例如上述HF生成器23利用所复用的HF生成编码信息(已经解码的信息)执行HF信号生成处理，然后，在接下来的步骤S107中，判断是否将执行PS处理。
如果在步骤S107中判断为YES(将执行PS处理)，控制进行到步骤S108，在其中执行混合分析处理。然后，在步骤S109中，执行基于空间信息的立体声信号生成处理，进一步在步骤S110中，执行混合合成处理。此后，控制进行到步骤S111。这些处理对应于例如从图9的混合分析器27执行的处理延伸到混合合成器31、32执行的处理的处理。如果在步骤S107判断为NO(将不执行PS处理)，控制进行到步骤S111。
在步骤S111中，执行Lch QMF带合成处理，并在步骤S112中，执行Rch QMF带合成处理，输出所得的音频信号。此外，在上述步骤S113中，执行Lch QMF带合成处理，在步骤S114中，根据需要，复制非立体声信号来生成立体声信号，并输出所得的音频信号。这些处理对应于例如通过上述图9的选择开关22、35、36由QMF合成器33、34执行的处理。
作为相关技术，国际专利申请(KOHYO)第2004-535145号(专利文献1)的公开译文和日本专利申请公开(KOKAI)第JP2006-085183号(专利文献2)披露了用于在立体声处理信息的基础上通过对非立体声音频信号进行立体声处理来生成立体声音频信号的技术，以及，ISO/IEC 14496-3：2005，Information technology-Coding of audio-visual objects，Part 3：Audio(非专利文献1)披露了上述HE AAC(高效率高级音频编码)编码方式的标准。
发明内容
通过这种方法，在从任意帧开始的再生中，通过例如像上述帧抽取的再生来再生不连续帧，内部状态变量被初始化，此后，当提供了如立体声处理信息的部分复用编码信息时，开始这些状态变量的更新。结果，由于滤波延迟等的影响就会出现异常的声音。
例如，在上述图6的结构中，如果在对应于上述图7的传输单位#2的位置上开始输入，并且当从在对应于传输单位#2～#4的期间中的没有可用立体声处理信息的状态下以包含在传输单位#5中的形式提供立体声处理信息时，将选择开关43、53、56切换到它们的可选端B。带分割器44在这些开关被切换到可选端B之后第一次生成带分割信号。由于带分割器44在该时间点的状态变量处于初始化状态，因而该状态的影响会施加在对应于传输单位#5的输出上。例如，该影响可能包括输出信号的衰减，这会引起不正常的声音。
此外，在上述图9的结构的情况下，当帧被间断再生时，如在通过对由HE AAC v2方式编码的音频数据进行帧抽取而进行的快进再生中，可能存在遗落被复用的sbr头(SBR头)的情况。例如，在图8的例子的情况下，当在帧(传输单位)#1开始再生时，在对应于帧#5的时间第一次传输SBR头SH。在这种情况下，直到从中可获取SBR头SH的帧到达之前，将不能解码SBR编码信息和SBR数据SD中的PS编码信息，使得选择开关22被连接至其可选端A，选择开关35连接到它的可选端A，以及选择开关36连接到它的可选端B。相应地，在SBR处理中利用QMF分析器21和Lch QMF合成器33对AAC核心非立体声音频信号进行上采样，并且对于立体声左通道和右通道生成同样的输出音频信号。
在以这种方式不连续地再生帧的情况下，再生设备内的滤波器的状态变量(延迟信号)和通过HE AAC v2编码方式编码的输入音频数据将导致不连续。因此，需要初始化再生设备(包括SBR处理初始化)，以初始化它的内部状态变量。再生设备中的这些状态变量(延迟信号)包括QMF分析器21、QMF合成器33、34以及混合分析器27的态变量，当初始化时，这些状态变量被设置为0。由于直到传输SBR头SH之前都无法解码SBR编码信息/PS编码信息，再生设备将选择开关22、35、36切换到它们的可选端A，以允许从AAC核心解码器13发出的非立体声音频信号通过由QMF分析器21和Lch QMF合成器33进行的处理来上采样，以将所得的输出音频信号输出到立体声左通道和立体声右通道。当传输SBR头SH时，在再生设备的初始化后第一次解码SBR编码信息和PS编码信息，并执行SBR处理和PS处理。由于即使在传输SBR头SH之前，QMF分析器21和Lch QMF合成器33也执行它们的用于上采样的处理，因此，它们的状态变量被持续更新。此时，混合分析器27和Rch QMF合成器34的每一个的状态变量处于初始化状态。该状态对下面的处理产生影响，因此在输出音频信号中引起不正常的声音。图11A、图11B示出在该处理点时Lch、Rch立体声输出音频信号的例子。
图11A、图11B示出了从缺少可用的复用编码信息(立体声信息等)的状态开始的状态，例如从只提供了AAC-LC(低复杂性)编码信息信号，以及在SBR处理中只执行上采样的状态开始，到包含立体声处理信息的复用编码信息在时间t1变得有效(可用)，因此开始了AAC处理、SBR处理、PS处理的状态。图11A示出的是Lch输出音频信号，而图11B示出的是Rch输出音频信号。
在图11A、图11B中，在时间t1，再生设备在初始化上述内部状态变量之后第一次识别复用编码信息。然而，由于状态变量从它们的初始状态开始改变，用于上述SBR处理的带合成器(Rch QMF合成器34)的状态变量的影响在时间t1与时间t2之间施加在Rch输出音频信号上，而用于上述PS处理的混合过滤器(混合分析器27)的状态变量的影响在时间t2与时间t3之间施加在Lch、Rch输出音频信号上。结果，在输出音频信号中出现不正常的声音。
为了避免该缺点，会想到持续监视复用编码信息。这样，复用编码信息与正常编码信息同时传输。因此，需要解码所有编码信息，这妨碍了处理量的减少。
考虑到上述情况，期望提供一种再生设备和方法、程序、以及记录介质，由于间歇地传输复用编码信息和解码所需的信息(SBR头等)，在从任意位置开始执行再生的情况下，能够有效避免负面影响(不正常声音的出现等)施加在输出音频信号上，该负面影响是当从内部状态变量被初始化的状态提供所需的编码信息时出现的滤波延迟等引起的。
在本发明的一个实施例中，在对与被间歇复用在非立体声音频信号的编码信息中的立体声处理所需的立体声处理必需信息一起传输的编码音频数据进行的解码处理和再生中，这样进行设置：如果没有提供立体声处理必需信息，则输出利用非立体声音频信号的立体声音频信号；如果提供了立体声处理必需信息，则开始更新滤波器中的状态变量，并输出利用非立体声音频信号的立体声音频信号，直到更新了所有的状态变量；以及，如果更新了滤波器中的所有状态变量，则对非立体声音频信号执行基于通过立体声处理必需信息获得的立体声处理信息的立体声处理，以生成并输出立体声音频信号。
这里，优选对经过带扩展的非立体声音频信号执行上述立体声处理。
此外，如果没有提供上述立体声处理必需信息，优选通过带分割滤波处理将上述非立体声音频信号分割为至少两个子带，通过带合成滤波处理上采样所得的经过带分割的非立体声音频信号，并输出利用非立体声音频信号的立体声音频信号。如果提供了上述立体声处理必需信息，则优选将用于非立体声音频信号的滤波器内的状态变量作为用于立体声音频信号的滤波状态变量进行处理。
此外，上述编码音频数据具有与基于HE AAC(高效率高级音频编码)编码方式的非立体声音频信号等价的AAC核心编码信息、用于SBR(谱带复制)处理的编码信息、以及用于PS(参数立体声)处理的编码信息。用于上述SBR处理的编码信息包括作为被始终传输的编码信息的SBR数据(sbr数据)、以及作为以复用的形式被间歇传输的编码信息的SBR头(sbr头)。作为用于上述PS处理的编码信息的PS数据(ps数据)以包含在上述SBR数据的扩展区域中的形式传输。SBR头是解码上述SBR数据所必需的上述立体声处理必需信息。
本发明的各个特征和方面将参照附图在下面实施例的具体描述中详细阐述。
附图说明
图1是示出根据本发明的实施例的再生设备的示意结构的框图；
图2是示出应用了本发明的实施例的用来再生通过HE AAC v2方式编码的编码音频数据的再生设备的结构例子的框图；
图3是示出在图2中所示的再生设备的操作的流程图；
图4是示出在图3的步骤S120中的PS处理的具体例子的流程图；
图5是示出在图3的步骤S120中的PS处理的另一具体例子的流程图；
图6是示出相关技术的立体声处理设备的结构例子的框图；
图7是示出将被提供给图6的立体声处理设备的信号的例子示图；
图8是示出将被提供给HE AAC v2方式的立体声处理设备的信号的例子的示图；
图9是示出用于再生通过HE AAV v2方式编码的编码音频数据的再生设备的结构例子的框图；
图10是示出在图9中所示的再生设备的操作的流程图；以及
图11是将从相关技术的再生设备发出的输出声音信号与从采用了本发明实施例的再生设备发出的输出声音信号进行比较的波形图。
具体实施方式
本发明的具体实施例将在下文参考附图具体描述。
图1是示出用于根据本发明的实施例的再生设备或再生方法的立体声处理设备的示意结构的例子框图。在图1中，与图6中相对应的部件给出相同的附图标号。
将非立体声音频信号提供给图1的输入端41，并将立体声处理信息提供给图1的输入端42。将从输入端41发出的非立体声音频信号提供给开关43X和延迟部46。将从开关43X发出的非立体声音频信号提供给带分割器44以进行带分割，并将所得的经过带分割的非立体声音频信号提供给立体声处理器45。将从输入端42发出的立体声处理信息提供给立体声处理器45，并将经过带分割的非立体声音频信号进行立体声处理，得到左通道(Lch)和右通道(Rch)立体声信号。然后，在所得的Lch和Rch立体声信号中，将Lch信号通过开关61提供给带合成器51，以及将Rch信号通过开关62提供给带合成器52。将从带合成器51发出的Lch音频信号提供给选择开关53X，在其中选择Lch音频信号和通过延迟部46提供给它的信号中的一个，并将所选择的信号提供给选择开关54X和输出端55。将从带合成器52发出的Rch音频信号提供给选择开关54X，在其中选择Rch音频信号和从选择开关53X发出的信号中的一个，并将所选择的信号提供给输出端56。注意，选择开关43X、53X、54X的切换操作，开关61、62的on/off操作，以及相关部件的处理操作由控制部(未示出)依照输入数据的内容、内部状态等来控制。
在将如在上述图7中所示的输入信号(非立体声音频信号M和间歇立体声处理信息S)提供给如在图1中所示的立体声处理设备的情况下，以包含在传输单位#0中的形式传输的立体声处理信息S被用于在对应于传输单位#0～#4的期间中的立体声处理，然后在对应于传输单位#5的时间切换到下一个立体声处理信息S。如前文所述，在对应于传输单位#5的时间提供的立体声处理信息S被用于在对应于传输单位#5～#9的期间中。
如果在这种方式下存在可用的立体声处理信息，则选择开关43X被连接至可选端B，开关61、62被连接到可选端C，并且选择开关53X、54X被切换连接至可选端C。在这种情况下，从输入端41提供的非立体声音频信号通过带分割器44来进行带分割，并且在立体声处理信息的基础上通过立体声处理器45来生成立体声信号。然后，所生成的立体声信号通过各自通道的带合成器51、52来进行带合成，并将所得的Lch、Rch立体声音频信号分别从输出端55、56输出。
期间，当由于不连续的帧再生(如快进再生等)而从任意帧(传输单位)开始提供编码音频数据时，可能发生可用立体声处理信息的缺失。例如，当在对应于图7的传输单位#2的位置开始输入时，由于帧抽取等而没有提供包含在传输单位#0中的立体声处理信息S，导致在对应于传输单位#2～#4的期间中可用立体声处理信息的缺失。在因此缺少可用立体声处理信息的对应于传输单位#2～#4的期间中，在图1的立体声处理设备中，初始化例如带分割器44等的内部状态变量，并也将选择开关53X、54X连接到可选端A。因此，将通过延迟部46从输入端41提供的非立体声音频信号通过选择开关53X从Lch输出端55输出，以及也通过选择开关54X从Rch输出端56输出。这种设置避免了输出音频信号的通道数目由于立体声处理信息的存在/不存在而改变。注意，延迟部46是考虑了通过例如带分割器44执行的FIR滤波处理等而引起的延迟而设置的。
然后，当在对应于上述图7的传输单位#5的位置提供数据并且因此也提供了可用的立体声处理信息S时，首先，将开关43X连接到可选端B，使得将非立体声音频信号提供给带分割器44。然而，直到该带分割器44的状态变量全部更新，不将开关61、62，选择开关53X、54X连接到可选端C。因为这个原因，当从没有可用立体声处理信息并且内部状态变量被初始化的状态第一次提供立体声处理信息时，将开关43X连接到可选端B，使得当更新带分割器44的状态变量时，通过延迟部46提供的非立体声音频信号分别通过选择开关53X、54X的可选端A从输出端55、56输出。此后，当带分割器44的状态变量全部更新时，将开关61、62连接到端子C，以及也切换选择开关53X、54X来连接到可选端C，使得如上述的经过立体声处理的信号作为输出音频信号从输出端55、56分别输出。因此，输出音频信号就不受初始化带分割器44的状态变量的状态的影响，因此可以获得避免了不正常声音的出现的音频信号。
即，在本发明的实施例中，当对与间歇复用在非立体声音频信号的编码信息中的立体声处理信息一起传输的编码音频数据进行解码处理和再生时，如果没有提供立体声处理信息，则设置为输出利用了非立体声音频信号的立体声信号，而如果提供了立体声处理信息，则设置为开始更新滤波器中的状态变量，并输出利用了非立体声音频信号的立体声音频信号，直到更新了全部状态变量。然后，如果更新了滤波器中的所有状态变量，则设置为对非立体声音频信号执行基于立体声处理信息的立体声处理，以生成并输出立体声音频信号。
接下来，将参考图2来描述再生设备的结构例子，该设备采用了本发明的实施例以用于通过上述HE AAC(高效率高级音频编码，国际标准ISO/IEC 14496-3)编码方式、特别是HE AAC v2(版本2)编码方式编码的编码音频数据的再生。在图2中，对应于上述图9的部件给予相同的附图标号。
通过传输将编码音频流提供给图2的输入端11。该编码音频流包含AAC核心编码信息、HF生成编码信息(用于SBR处理的带扩展编码信息)、以及PS编码信息(用于立体声处理的空间信息)。编码信息的一部分以复用的形式传输。即，如上述图8所述，用于上述SBR处理的编码信息SD(SBR数据)总是复用在AAC核心编码信息AC中，而解码该SBR数据SD所必需的SBR头SH被间歇复用在编码信息AC中。用于上述PS处理的PS数据以包含在SBR数据SD的扩展区域中的形式进行传输。由于获取PS数据也需要SBR头SH，因此该SBR头SH是立体声处理必需信息。
此外，如果包含了HF生成编码信息(SBR数据)和PS编码信息(PS数据)，则将要通过AAC核心解码器13解码的音频信号以最终输出音频信号的采样率的一半来进行输出。因此，通过将QMF分析器21与QMF合成器33、34结合，来对音频信号进行上采样。例如，如果从AAC核心解码器13发出的输出信号是采样频率为24kHz的信号，则从QMF合成器33、34发出的输出音频信号是采样频率为48kHz的信号。
将从输入端11发出的编码音频数据提供给比特流负载去格式化器(即，负载去格式化器12)，以分成提供给AAC核心解码器13的AAC核心编码信息，和HF生成编码信息/PS编码信息。
将HF生成编码信息/PS编码信息提供给SBR处理器20，然后通过比特流剖析器(即，SBR处理器20的剖析器14)提供给Huffman(霍夫曼)解码器/去量化器15。在Huffman解码器/去量化器15中，提取HF信号生成信息、包络调节信息、以及立体声处理信息。将所提取出的前两项信息分别提供给HF生成器23和包络调节器24，而将最后一项通过Lch复制处理判断部16提供给立体声处理器30。SBR处理器20的剖析器14从负载去格式化器12获取如HF生成编码信息等的复用信息，检查它们的内容，判断是否需要SBR处理的初始化，如果需要的话，从端子14t输出初始化控制信号，使得对下文将描述的相关部件执行SBR处理初始化。此外，Lch复制处理判断部16判断在SBR处理初始化之后第一次获取复用编码信息，并从端子16t输出一个判断输出，使得Rch QMF合成器34执行将在下文描述的复制Lch QMF合成器33的状态变量(延迟信号)的处理。
AAC核心解码器13解码所提供的AAC核心编码信息，并生成AAC核心非立体声音频信号。解码器13将所生成的非立体声音频信号提供给SBR处理器20的QMF分析器21。QMF分析器21将非立体声音频信号带分割为64个带，并将带分割得到的信号提供给选择开关22X。如果提供了HF生成编码信息(SBR数据)，则切换选择开关22X以连接可选端B、C，使得将从QMF分析器21发出的信号提供给HF生成器23。HF生成器23生成HF信号，以及包络调节器24进行包络调节。包络调节器24将所得的信号提供给混合分析器27和选择开关35X。
如果从上述PS编码信息(PS数据)获取了立体声处理信息，则切换选择开关22X连接至可选端C。混合分析器27进一步对所提供的经过带分割的信号的LF信号进行带分割，并将所得的进一步带分割的信号与前面的带分割信号的HF信号一起提供给信号去相关器29和立体声处理器30。信号去相关器29对所提供的信号进行去关联，对其作出声音调节，并将所得的信号提供给立体声处理器30。立体声处理器30从所提供的经过带分割的信号和立体声处理信息来生成Lch、Rch立体声信号。将所生成的各个通道的立体声信号分别通过开关17、18提供给各个通道的混合合成器31、32。混合合成器31、32将通过上述混合分析器27获得的经过分割的带进行带合成。将来自混合合成器31的所得信号通过选择开关35X提供给QMF合成器33和选择开关19，而将来自混合合成器32的所得信号通过选择开关19提供给QMF合成器34。各个通道的QMF合成器33、34将通过上述QMF分析器21获得的经过分割的带进行带合成，以分别生成Lch、Rch立体声输出音频信号。将从QMF合成器33发出的Lch音频信号提供给选择开关36X和输出端37。将从QMF合成器34发出的Rch音频信号提供给选择开关36X，在其中选择Rch音频信号和从QMF合成器33发出的信号中的一个，并将所选择的信号提供给输出端38。
这里，包括图2的再生设备的切换在内的各个部件的操作由一控制部(未示出)依照输入编码信息的内容、各个部件的状态等控制。
当与如在上述图9中所示的再生设备的结构进行比较时，图2中所示的再生设备在下面几点上不同。改进了QMF分析器21和包络调节器24下面的切换配置。增加了开关17、18以及选择开关19。QMF合成器33、34中的一个的状态变量被复制给另一个。
下面将描述在图2的再生设备中，如上所述的从任意帧(传输单位)开始提供编码音频数据的情况。例如，如果在对应于上述图7的传输单位#2的位置开始输入，则没有提供包含于传输单位#0中的作为立体声处理必需信息的SBR头SH。因此，当接收传输单位#2～#4时，该设备不能解码SBR数据SD，使得不能获取可用的立体声处理信息(PS数据)。因此，该设备初始化它的SBR处理器20的QMF分析器21、混合分析器27、QMF合成器33、34等的内部状态变量(延迟信号)。接下来，当在对应于上述图7的传输单位#5的位置提供了数据、并且因此提供了作为立体声处理必需信息的SBR头SH时，该设备能够解码SBR数据SD，并因此获取了可用的立体声处理信息(PS数据)。结果，该设备更新它的SBR处理器20的QMF分析器21、混合分析器27、QMF合成器33、34等的内部状态变量(延迟信号)。这些状态变量(延迟信号)每一个都表示保存在滤波器内的延迟部件中的数据(信号)。在滤波处理中，依照滤波长度发生了从信号的输入到输出期间内的延迟，并且状态变量表示该延迟信号。
这里，在不能获取可用立体声处理信息(PS数据)并且因此内部状态变量被初始化的状态下，切换选择开关22X、35X、36X以连接到可选端A。在该情况下，QMF分析器21将从AAC核心解码器13发出的非立体声音频信号进行带分割，然后Lch QMF合成器33将经过带分割的信号进行带合成以从左通道和右通道输出同样的音频信号。
然后，当传输复用编码信息时，切换选择开关22X、35X、19、36X以连接到它们的可选端B、C。这样，当编码信息只包含带扩展编码信息时选择可选端B，而当编码信息包含带扩展编码信息(HF生成信息)和立体声处理信息时选择可选端C。
下面将描述传输作为立体声处理必需信息的SBR头SH、从而再生设备解码SBR数据SD，并因此获取了立体声处理信息(PS数据)的情况。当获取了用于SBR处理的编码信息(SBR数据)和立体声处理信息(PS数据)时，该设备准备好将一个信号第一次提供给Rch QMF合成器34。因此，当不考虑状态变量(延迟信号)而生成输出音频信号时，该设备将状态变量初始化信号输出给Rch音频信号，从而导致不正常的声音。考虑到这点，在本发明的实施例中，在该时刻使用从Lch复制处理判断部16发出的判断输出，以在状态变量复制处理中对Rch QMF合成器34复制Lch QMF合成器33的状态变量(延迟信号)。通过该操作，与Lch QMF合成器33的状态变量等价的状态变量被设置到Rch QMF合成器34，尽管实际上再生设备在选择开关连接到可选端A的情况下再生编码音频信号，直到传输了立体声处理信息。当执行上述复制处理时，切换选择开关22X、35X、19、36X以连接至可选端F。
通常，当在带合成处理过程中将无关、任意的信号用作延迟信号时，在带合成处理过程中会发生意想不到的增幅/衰减，从而导致不正常的声音。在根据本发明实施例的方法中，在初始化之后第一次从其中获取到复用编码信息的任意帧标记了从非立体声输出到立体声输出的切换点，使得即使将Lch QMF合成器33的状态变量(延迟信号)用作Rch QMF合成器34的状态变量(延迟信号)，也不会出现不正常的声音。
进一步，在立体声处理(PS处理)中，为了应用空间编码信息，再生设备通过混合分析器27执行带分割，执行基于从信号去相关器29发出的去相关结果和所传输的空间信息的立体声信号生成处理，以及执行混合合成。由于需要延迟的混合分析器27在解码复用编码信息之后也是第一次执行其处理，因此，在解码器内的变量的初始化之后第一次获取复用编码信息时的状态变量(延迟信号)处于被初始化的状态，并且影响了信号去相关器29的去相关，从而导致不正常的声音。即，通过QMF分析器21获得的经过带分割信号被提供给混合分析器27，并且由于混合分析器27的状态变量(延迟信号)处于被初始化的状态，因而将不正确地执行下面的处理。
考虑到这点，在本实施例中，为了削除该影响，当混合分析器27在初始化之后第一次执行其处理时，再生设备执行更新用于混合分析器27和立体声处理器30的Lch、Rch立体声信号生成系数的处理，以更新它们的延迟信号。在输出方面，开关35X、19被切换到可选端F，使得在混合分析器27之前分离的信号被输出到各自通道的QMF合成器33、34。
具体来说，通过开关17、18将立体声信号进行断开(断开开关17、18)，直到混合分析器27的状态变量(延迟信号)被完全更新。作为替代，通过选择开关22X、35X的可选端F提供的信号被传送到Lch QMF合成器33以及通过选择开关19的可选端F传送给Rch QMF合成器34。将从Lch QMF合成器33所得的信号从输出端37输出，而将从状态变量与Lch QMF合成器33相同的RchQMF合成器34所得的信号通过选择开关36X的可选端F从输出端38输出。
如在上面所引的非专利文献1的章节8.6.4中清楚描述的，混合分析器27的状态变量(延迟信号)具有6个QMF采样的延迟。如在上面所引的非专利文献1的章节8.6.4.4中所述，由于生成系数被作为差异信息传输，因而，需要执行更新立体声处理器30的Lch、Rch立体声信号生成系数的处理。
当混合分析器27的状态变量(延迟信号)完全更新后，接通开关17、18(连接到可选端E)，使得从立体声处理器30发出的Lch、Rch立体声信号被分别提供给混合合成器31、32。切换选择开关35X、19、36X分别连接至可选端E，使得从混合合成器31发出的信号在QMF合成器33上进行处理，并将所得的信号作为Lch立体声音频信号从输出端37输出，而从混合合成器32发出的信号在QMF合成器34上进行处理，并将所得的信号作为Rch立体声音频信号从输出端38输出。注意，再生设备即使在更新混合分析器27的状态变量时，也能通过更新Rch QMF合成器34的状态变量将开关17、18和选择开关35X、19、36X连接到它们的可选端E，因此该设备能够在其单个帧的处理中，切换这些开关而不出现不正常的声音。
图3～图5是描述如在上述图2的结构中的解码操作的流程图。
在图3中，在步骤S101中，对例如将被提供给上述输入端11的编码音频流的编码信息执行针对通过上述HE AAC v2方式编码的数据的解码(去格式化)处理，以提取如上述的HF生成编码信息(SBR数据)和空间编码信息(PS数据)，作为复用编码信息。进一步，在步骤S102中，对上述AAC核心信息执行AAC信号处理。在接下来的步骤S103中，判断是否将执行上述的SBR处理。如果是YES，处理进行到步骤S104，而如果是NO，处理进行到步骤S114。这些处理对应于例如通过图2的负载去格式化器12和AAC核心解码器13执行的处理。
在步骤S104中，通过例如上述的QMF分析器21执行QMF带分割处理。在接下来的步骤S105中，判断是否已经解码了复用编码信息。如果是YES，处理进行到步骤S106，而如果是NO，处理进行到步骤S113。在步骤S106中，通过例如上述的HF生成器23利用所复用的HF信号生成编码信息(已经解码的信息)执行HF信号生成处理。在接下来的步骤S107中，判断是否将执行PS处理。
如果在步骤S107中判断为YES(将执行PS处理)，则在步骤S120中执行PS处理之后处理到达步骤S111，而如果在步骤S107中判断为NO(将不执行PS处理)，处理直接进行到步骤S111。后文将参考图4或图5描述在步骤S120中的PS处理的具体例子。
在步骤S111中，执行Lch QMF带合成处理，并且在步骤S112中执行Rch QMF带合成处理。然后，输出所得的音频信号。此外，在上述步骤S113中，执行Lch QMF带合成处理，并在步骤S114中，必要时，复制非立体声音频信号以生成立体声信号。然后输出所得的音频信号。这些处理对应于例如由QMF合成器33、34通过上述图2的选择开关35X、36X等执行的处理。
图4示出的是在本发明的实施例中在上述步骤S120中的PS处理的具体例子。当在上述图3的步骤S107中判断为YES(将执行PS处理)时，处理进行到步骤S108，在其中执行混合分析处理，以及在步骤S109中，执行基于空间信息的立体声信号生成处理。然后，在步骤S110中执行混合合成处理之后，控制进行到步骤S115。在步骤S115中，判断是否已经更新用于Rch QMF带合成处理的状态变量(延迟信号)，例如图2的QMF合成器34的状态变量。如果是YES，处理进行到上述图3的步骤S111，而如果是NO，处理进行到步骤S116。在步骤S116中，复制用于Lch QMF带合成处理的状态变量，作为用于Rch QMF带合成处理的状态变量，此后控制进行到上述图3的S111。这些处理对应于例如从通过图2的混合分析器27执行的处理到通过QMF合成器33、34执行的处理的范围内的处理。
在图3、图4中所示的这些具体例子中，在从与复用在其中的编码信息的一部分一起传输的编码音频数据的任意帧开始执行再生的过程中，设置初始化再生设备的内部状态，从而即使在缺少以复用的形式传输的编码信息情况下将非立体声音频信号带分割为至少两个子带，以及通过从中发生延迟的带合成滤波处理对所得的信号进行上采样，以输出非立体声音频信号。此后，当提供了复用编码信息，并通过将非立体声信号的滤波态变量处理为立体声信号的滤波状态变量来第一次执行从非立体声信号生成立体声信号的处理(步骤S114、S115、S116)时，设置为避免由于滤波处理引起的延迟而导致的不正常声音的出现。
接下来，图5示出了在本发明的实施例中在上述图3的步骤S120中的PS处理的另一个具体例子。即，当在上述图3的步骤S107中判断为YES(将执行PS处理)时，处理进行到图5的步骤S108，在其中执行混合分析处理(例如通过图2的混合分析器27执行的处理)。此后，处理进行到步骤S119，在其中判断是否已经更新了用于上述混合分析处理的所有状态变量(延迟信号)。如果是YES，处理到达步骤S109，而如果是NO，处理到达步骤S117。在步骤S109中，执行基于空间信息的立体声信号生成处理，以及在步骤S110中，执行混合合成处理。此后，处理进行到步骤S115。在步骤S117中，由于还没有更新用于上述混合分析处理的所有状态变量，因而复制非立体声音频信号以生成立体声信号，并将所生成的立体声信号用作混合合成处理的输出。然后，控制进行到步骤S118，在其中更新必需的状态变量，此后处理进行到步骤S115。
在步骤S115中，判断是否更新了用于Rch QMF带合成处理的状态变量(例如，图2的QMF合成器34的状态变量)。如果是YES，处理进行到上述图3的步骤S111，而如果是NO，处理进行到步骤S116。在步骤S116中，复制用于Lch QMF带合成处理的状态变量，作为Rch QMF带合成处理的状态变量，此后控制进行到上述图3的步骤S111。
在图3、图5所示的这些具体例子中，除了参照图4所述的具体例子的结构之外，执行滤波状态变量更新处理和输出信号复制处理，直到至少更新了所有的滤波状态变量(延迟信号)，使得在滤波处理中的延迟将不影响输出音频信号，如在步骤S119、S117、S118中所示。然后，在更新了所有滤波状态变量(延迟信号)之后，执行正常再生处理，因此避免了由于在滤波处理中的延迟而在输出音频信号中出现不正常的声音。
图11C、图11D示出的是在本发明的实施例中的Lch、Rch立体声输出音频信号的例子。上述参照图10A、图10B的描述相似地适用于时刻t1～t3。即，一直到时刻t1都缺少可用立体声处理信息(例如，只提供了AAC-LC(低复杂性)编码信息信号，并在SBR处理中只执行上采样)。在时刻t1，包含立体声处理信息的复用编码信息生效(可用)，因此开始AAC处理、SBR处理、PS处理。图11C示出的是Lch输出音频信号，图11D示出的是Rch输出音频信号。
在本发明的实施例中在图11C、图11D中所示的Lch、Rch立体声输出音频信号免于用于在时刻t1和时刻t2之间进行的上述SBR处理的带合成器(QMF带合成器34)的状态变量(延迟信号)的影响，以及用于在时刻t2和时刻t3之间的上述PS处理的混合过滤器(混合分析器27)的状态变量的影响，这可从与图11A、图11B所示的相关技术的输出音频信号的比较很明显看出。根据本发明的实施例，即使从初始化内部状态变量的状态开始第一次提供复用编码信息(立体声处理信息等)，也能再生出好的立体声音频信号，而没有不正常的声音等。
根据本发明的上述实施例，在对与包含复用在非立体声音频信号中的立体声处理信息的编码信息的一部分一起传输的编码音频数据进行解码处理和再生时，设置为在没有提供上述可用的复用编码信息的状态下，初始化内部状态变量(延迟信号)，并输出利用了非立体声音频信号的立体声音频信号。当在初始化了上述内部状态变量的状态下提供了上述复用编码信息时，设置为开始更新内部状态变量，并输出利用了非立体声音频信号立体声音频信号，直到更新完所有的状态变量。当更新了所有上述状态变量时，设置对上述非立体声音频信号执行包括基于上述复用编码信息的立体声处理的信号处理，以生成并输出立体声音频信号。
也就是说，在对与包含间歇复用在非立体声音频信号中的立体声处理信息的编码信息的一部分一起传输的编码音频数据进行解码处理和再生时，如果没有提供立体声处理信号，则设置为输出利用了非立体声音频信号的立体声音频信号。如果提供了立体声处理信息，则设置为开始更新滤波器中的内部状态变量，并输出利用了非立体声音频信号的立体声音频信号，直到更新完所有的内部状态变量。如果更新了滤波器中的所有内部状态变量，则设置为对非立体声音频信号执行基于立体声处理信息的立体声处理，以生成并输出立体声音频信号。
在本发明的另一个实施例中，提供了一种编码音频数据再生设备。该再生设备包括解码装置、信息获取装置、音频信号带分割装置、高频信息生成装置、立体声信号生成装置、子带分割信号合成装置、以及输出音信号生成装置。解码装置对与复用在其中的编码信息的一部分一起传输的编码音频数据进行解码。即使复用编码信息的一部分没被传输时，信息获取装置也获取用于由所传输的编码信息生成输出音频信号的信息。音频信号带分割装置执行分割成至少两个子带的处理，以生成经过带分割的信号。当传输经过带扩展的编码信息时，高频信息生成装置生成用于所生成的经过带分割的信号的高频信息。立体声信号生成装置使子带分割信号生成装置请求一个延迟，以生成关于带分割信号的子带分割信号，并当传输空间编码信息时，基于空间编码信息从非立体声信号生成立体声信号。子带分割信号合成装置将子带信号合成为带分割信号。输出音频信号生成装置使音频信号合成装置请求一个延迟，以合成所合成的带分割信号来生成输出音频信号。在该再生设备中，在从不连续位置(帧)开始的再生中，提供了子带信号生成装置、状态变量初始化装置、再生继续装置、以及非立体声信号状态变量利用装置。子带信号生成装置请求一个编码音频数据再生装置的延迟。状态变量初始化装置初始化音频信号合成装置的状态变量(延迟信号)。再生继续装置在上述初始化之后继续再生。在当上述初始化之后第一次传输复用编码信息时解码空间编码信息的过程中，以及在从非立体声音频信号生成立体声信号的过程中，非立体声信号状态变量利用装置执行将非立体声音频信号的状态变量(延迟信号)用作用于所生成的立体声信号的音频信号合成装置的状态变量(延迟信号)的处理。
此外，也提供了伪子带分割信号生成装置、复制和输出装置、更新装置、以及立体声信号生成执行装置。伪子带分割信号生成装置在当编码音频数据再生设备的延迟信号的这种初始化之后第一次传输复用编码信息时解码空间编码信息的过程中，以及在从非立体声信号生成立体声信号的过程中，以伪方式执行子带信号生成，直到更新了子带分割信号生成装置的所有状态变量。复制和输出装置在伪子带分割信号生成装置以伪方式工作的过程中，复制提供给子带分割信号生成装置的带分割信号，并将立体声带分割信号输出给音频信号合成装置。分割系数更新装置在伪子带分割信号生成装置以伪方式工作的过程中，通过用于从非立体声信号生成立体声信号的立体声信号生成装置的差异，更新将被更新的分割系数。立体声信号生成执行装置在更新了子带信号生成装置的所有延迟信号之后，在空间编码信息的基础上从非立体声信号生成立体声信号。
也就是说，在通过对于与复用在其中的编码信息的一部分一起传输的编码音频数据的解码处理而从任意帧开始执行正常再生时，设置为初始化解码器的延迟信号，从而即使缺少以复用的形式传输的编码信息时也分割为至少两个子带，以及通过请求一个延迟的带合成滤波处理执行上采样以复制非立体声音频信号，因此所复制的非立体声音频信号能够作为立体声音频信号来输出，而当第一次传输编码信息并且空间信息因此生效时，设置将用于非立体声音频信号的音频信号带合成处理的延迟信号处理为用于立体声信号的音频信号带合成处理的延迟信号，因此可避免由于在QMF合成滤波处理而引起的在输出音频信号中的不正常声音的出现。
此后，执行延迟信号更新处理和输出信号复制处理，直到更新了至少子带分割滤波处理的所有延迟信号，使得子带分割滤波处理中的延迟不会影响输出音频信号。然后，在更新了所有延迟信号后，执行正常再生处理，因此能避免由于滤波处理引起的延迟而在输出音频信号中产生的不正常声音。
由于这些设置，即使在需要空间解码处理的编码音频数据中(该数据与复用在其中的编码信息的一部分一起传输)，也能够实现从任意帧开始的再生而不出现不正常的声音。
注意，本发明不局限于上述实施例，当然能够在不背离本发明的范围和精神的情况下以各种方式修改。例如，在本发明的上述实施例中，披露了具有硬件结构的再生设备和再生方法。然而，能够通过软件实现上述处理步骤，即，使计算机利用CPU(中央处理单元)来执行程序。此外，该计算机程序能作为记录在记录介质上而被提供。
根据本发明的实施例，即使在没有提供立体声处理必需信息到提供了立体声处理必需信息的情况下，也能够再生出没有不正常声音发生的好的立体声音频信号。
本领域技术人员应该明白，各种修改、组合、再组合、变更可以根据设计要求和其它因素而发生，只要它们在所附的权利要求或其等价物的范围以内。

Claims (9)

1.一种再生方法，用于对与被间歇复用在非立体声音频信号的编码信息中的立体声处理所需的立体声处理必需信息一起传输的编码音频数据进行解码处理和再生，所述再生方法包括：
第一步骤，如果没有提供所述立体声处理必需信息，则输出使用所述非立体声音频信号的立体声音频信号；
第二步骤，如果提供了所述立体声处理必需信息，则开始更新滤波器内的状态变量，并输出使用所述非立体声音频信号的立体声音频信号，直到更新完所有的所述状态变量；以及
第三步骤，如果更新完所述滤波器内的所有状态变量，则对所述非立体声音频信号执行基于通过所述立体声处理必需信息获得的立体声处理信息的所述立体声处理，并生成和输出立体声音频信号。
2.根据权利要求1所述的再生方法，其中
所述立体声处理针对经过带扩展的非立体声音频信号执行。
3.根据权利要求1所述的再生方法，其中
在所述第一步骤中，通过带分割滤波处理将所述非立体声音频信号分割成至少两个子带，并通过带合成滤波处理对所述至少两个子带进行上采样，以输出使用所述非立体声音频信号的立体声音频信号，以及
在所述第二步骤中，用于所述非立体声音频信号的滤波器内的状态变量被作为所述立体声音频信号的滤波状态变量加以处理。
4.根据权利要求1所述的再生方法，其中：
所述编码音频数据具有：
AAC核心编码信息，相当于基于HE AAC(高效率高级音频编码)编码方式的所述非立体声音频信号，
用于SBR(谱带复制)处理的编码信息，和
用于PS(参数立体声)处理的编码信息，其中：
所述用于SBR处理的编码信息包括作为被一直传输的编码信息的SBR数据(sbr数据)和作为以复用的形式间歇传输的编码信息的SBR头(sbr头)，
作为所述用于PS处理的编码信息的PS数据(ps数据)以被包含于所述SBR数据的扩展区域中的形式传输，以及
所述SBR头是解码所述SBR数据所需的所述立体声处理必需信息。
5.一种再生设备，用于对与被间歇复用在非立体声音频信号的编码信息中的立体声处理所需的立体声处理必需信息一起传输的编码音频数据进行解码处理和再生，所述再生设备包括：
带分割装置，用于对提供的所述非立体声音频信号进行带分割；
立体声处理装置，用于在包含于复用编码信息中的所述立体声处理信息的基础上，对来自所述带分割装置的信号进行立体声处理；
带合成装置，用于分别对来自所述立体声处理装置的左通道立体声信号和右通道立体声信号进行带合成；以及
控制装置，如果没有提供所述立体声处理必需信息，则执行控制以输出使用所述非立体声音频信号的立体声音频信号；如果提供了所述立体声处理必需信息，则执行控制以开始更新滤波器内的状态变量并输出使用所述非立体声音频信号的立体声音频信号，直至更新完所有的所述状态变量；以及，如果更新完所述滤波器内的所有所述状态变量，则对所述非立体声音频信号执行基于通过所述立体声处理必需信息获得的立体声处理信息的所述立体声处理，以生成并输出立体声音频信号。
6.根据权利要求5所述的再生设备，其中，所述立体声处理针对经过带扩展的非立体声音频信号执行。
7.一种程序，使计算机执行对与被间歇复用在非立体声音频信号的编码信息中的立体声处理所需的立体声处理必需信息一起传输的编码音频数据执行解码处理和再生，所述程序包括：
第一步骤，如果没有提供所述立体声处理必需信息，则输出使用所述非立体声音频信号的立体声音频信号；
第二步骤，如果提供了所述立体声处理必需信息，则开始更新滤波器内的状态变量，并输出使用所述非立体声音频信号的立体声音频信号，直到更新完所有的所述状态变量；以及
第三步骤，如果更新完所述滤波器内的所有所述状态变量，则对所述非立体声音频信号执行基于通过所述立体声处理必需信息获得的立体声处理信息的所述立体声处理，并生成和输出立体声音频信号。
8.一种记录介质，在其上记录了用于使计算机执行对与被间歇复用在非立体声音频信号的编码信息中的立体声处理所需的立体声处理必需信息一起传输的编码音频数据执行解码处理和再生的程序，所述记录介质包括：
第一步骤，如果没有提供所述立体声处理必需信息，则输出使用所述非立体声音频信号的立体声音频信号；
第二步骤，如果提供了所述立体声处理必需信息，则开始更新滤波器内的状态变量，并输出使用所述非立体声音频信号的立体声音频信号，直到更新完所有的所述状态变量；以及
第三步骤，如果更新完所述滤波器内的所有所述状态变量，则对所述非立体声音频信号执行基于通过所述立体声处理必需信息获得的立体声处理信息的所述立体声处理，并生成和输出立体声音频信号。
9.一种再生设备，用于对与被间歇复用在非立体声音频信号的编码信息中的立体声处理所需的立体声处理必需信息一起传输的编码音频数据进行解码处理和再生，所述再生设备包括：
带分割器，用于对提供的所述非立体声音频信号进行带分割；
立体声处理器，用于在包含于复用编码信息中的所述立体声处理信息的基础上，对来自所述带分割器的信号进行立体声处理；
带合成器，用于分别对来自所述立体声处理器的左通道立体声信号和右通道立体声信号进行带合成；以及
控制器，如果没有提供所述立体声处理必需信息，则执行控制以输出使用所述非立体声音频信号的立体声音频信号；如果提供了所述立体声处理必需信息，则执行控制以开始更新滤波器内的状态变量并输出使用所述非立体声音频信号的立体声音频信号，直至更新完所有的状态变量；以及，如果更新完所述滤波器内的所有所述状态变量，则对所述非立体声音频信号执行基于通过所述立体声处理必需信息获得的立体声处理信息的所述立体声处理，以生成并输出立体声音频信号。
CN2007101954765A 2006-11-30 2007-11-30 再生方法和设备、程序、以及记录介质 Expired - Fee Related CN101192407B (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2006324775 2006-11-30
JP2006324775 2006-11-30
JP2006-324775 2006-11-30
JP2007-272856 2007-10-19
JP2007272856 2007-10-19
JP2007272856A JP4930320B2 (ja) 2006-11-30 2007-10-19 再生方法及び装置、プログラム並びに記録媒体

Publications (2)

Publication Number Publication Date
CN101192407A true CN101192407A (zh) 2008-06-04
CN101192407B CN101192407B (zh) 2011-04-13

Family

ID=39487355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101954765A Expired - Fee Related CN101192407B (zh) 2006-11-30 2007-11-30 再生方法和设备、程序、以及记录介质

Country Status (5)

Country Link
JP (1) JP4930320B2 (zh)
KR (1) KR20080049632A (zh)
CN (1) CN101192407B (zh)
DE (1) DE602007012644D1 (zh)
TW (1) TWI380287B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102017641A (zh) * 2009-02-19 2011-04-13 松下电器产业株式会社 记录介质、再生装置、集成电路
CN102254560A (zh) * 2010-05-19 2011-11-23 安凯(广州)微电子技术有限公司 一种移动数字电视录像中的音频处理方法
CN103918029A (zh) * 2011-11-11 2014-07-09 杜比国际公司 使用过采样谱带复制的上采样
CN105247613A (zh) * 2013-04-05 2016-01-13 杜比国际公司 音频处理系统
CN106534762A (zh) * 2016-11-16 2017-03-22 深圳市捷视飞通科技股份有限公司 低延时分布式音频处理方法及系统

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI433137B (zh) 2009-09-10 2014-04-01 Dolby Int Ab 藉由使用參數立體聲改良調頻立體聲收音機之聲頻信號之設備與方法
KR101710113B1 (ko) * 2009-10-23 2017-02-27 삼성전자주식회사 위상 정보와 잔여 신호를 이용한 부호화／복호화 장치 및 방법
JP5850216B2 (ja) 2010-04-13 2016-02-03 ソニー株式会社 信号処理装置および方法、符号化装置および方法、復号装置および方法、並びにプログラム
JP6075743B2 (ja) 2010-08-03 2017-02-08 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5707842B2 (ja) 2010-10-15 2015-04-30 ソニー株式会社 符号化装置および方法、復号装置および方法、並びにプログラム
KR101118466B1 (ko) * 2010-11-08 2012-03-12 티제이미디어 주식회사 Ｖｃｄ 모노 음악의 스테레오 변환 장치 및 그 방법
US9875746B2 (en) 2013-09-19 2018-01-23 Sony Corporation Encoding device and method, decoding device and method, and program
AU2014371411A1 (en) 2013-12-27 2016-06-23 Sony Corporation Decoding device, method, and program
JP6210338B2 (ja) * 2015-12-28 2017-10-11 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP6439843B2 (ja) * 2017-09-14 2018-12-19 ソニー株式会社 信号処理装置および方法、並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835895A (en) * 1997-08-13 1998-11-10 Microsoft Corporation Infinite impulse response filter for 3D sound with tap delay line initialization
US6721710B1 (en) * 1999-12-13 2004-04-13 Texas Instruments Incorporated Method and apparatus for audible fast-forward or reverse of compressed audio content
SE0202159D0 (sv) * 2001-07-10 2002-07-09 Coding Technologies Sweden Ab Efficientand scalable parametric stereo coding for low bitrate applications
CN1284319C (zh) * 2002-04-22 2006-11-08 西安大唐电信有限公司 一种多通道amr声码器的实现方法和设备
SE527866C2 (sv) * 2003-12-19 2006-06-27 Ericsson Telefon Ab L M Kanalsignalmaskering i multikanalsaudiosystem

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102017641A (zh) * 2009-02-19 2011-04-13 松下电器产业株式会社 记录介质、再生装置、集成电路
CN102017641B (zh) * 2009-02-19 2012-08-22 松下电器产业株式会社 再生装置、记录方法、记录介质再生系统
CN102254560A (zh) * 2010-05-19 2011-11-23 安凯(广州)微电子技术有限公司 一种移动数字电视录像中的音频处理方法
CN102254560B (zh) * 2010-05-19 2013-05-08 安凯(广州)微电子技术有限公司 一种移动数字电视录像中的音频处理方法
CN103918029A (zh) * 2011-11-11 2014-07-09 杜比国际公司 使用过采样谱带复制的上采样
CN103918029B (zh) * 2011-11-11 2016-01-20 杜比国际公司 使用过采样谱带复制的上采样
US9530424B2 (en) 2011-11-11 2016-12-27 Dolby International Ab Upsampling using oversampled SBR
USRE48258E1 (en) 2011-11-11 2020-10-13 Dolby International Ab Upsampling using oversampled SBR
CN105247613A (zh) * 2013-04-05 2016-01-13 杜比国际公司 音频处理系统
CN105247613B (zh) * 2013-04-05 2019-01-18 杜比国际公司 音频处理系统
CN106534762A (zh) * 2016-11-16 2017-03-22 深圳市捷视飞通科技股份有限公司 低延时分布式音频处理方法及系统

Also Published As

Publication number Publication date
KR20080049632A (ko) 2008-06-04
JP2008158496A (ja) 2008-07-10
DE602007012644D1 (de) 2011-04-07
CN101192407B (zh) 2011-04-13
TWI380287B (en) 2012-12-21
TW200830276A (en) 2008-07-16
JP4930320B2 (ja) 2012-05-16

Similar Documents

Publication Publication Date Title
CN101192407B (zh) 再生方法和设备、程序、以及记录介质
AU2005281937B2 (en) Generation of a multichannel encoded signal and decoding of a multichannel encoded signal
US8370164B2 (en) Apparatus and method for coding and decoding multi-object audio signal with various channel including information bitstream conversion
RU2355046C2 (ru) Устройство и способ для формирования многоканального сигнала или набора параметрических данных
JP4685925B2 (ja) 適応残差オーディオ符号化
JP5883561B2 (ja) アップミックスを使用した音声符号器
US6115688A (en) Process and device for the scalable coding of audio signals
EP1758100B1 (en) Audio signal encoder and audio signal decoder
CN105593931B (zh) 使用联合编码残余信号的音频编码器、音频解码器、方法及计算机可读介质
EP3573055B1 (en) Multi-channel decoder
KR101055739B1 (ko) 오브젝트 기반 오디오 신호의 부호화 및 복호화 방법과 그 장치
EP2273492B1 (en) Method and apparatus for generating additional information bit stream of multi-object audio signal
US7617097B2 (en) Scalable lossless audio coding/decoding apparatus and method
JP2010515099A5 (zh)
KR20080071971A (ko) 미디어 신호 처리 방법 및 장치
EP1928212A1 (en) Playback method and apparatus for monaural audio signal using stereo process information
JP2002006896A (ja) 音響信号符号化装置、方法およびプログラムを記録した記録媒体、並びに音楽配信システム
JP2007110565A (ja) マルチチャンネル音響復号化装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110413

Termination date: 20151130

EXPY Termination of patent right or utility model