CN102100009A - 处理音频信号的方法和装置 - Google Patents

处理音频信号的方法和装置 Download PDF

Info

Publication number
CN102100009A
CN102100009A CN2009801279620A CN200980127962A CN102100009A CN 102100009 A CN102100009 A CN 102100009A CN 2009801279620 A CN2009801279620 A CN 2009801279620A CN 200980127962 A CN200980127962 A CN 200980127962A CN 102100009 A CN102100009 A CN 102100009A
Authority
CN
China
Prior art keywords
outside
information
default
presupposed information
presupposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801279620A
Other languages
English (en)
Other versions
CN102100009B (zh
Inventor
吴贤午
郑亮源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN102100009A publication Critical patent/CN102100009A/zh
Application granted granted Critical
Publication of CN102100009B publication Critical patent/CN102100009B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/40—Visual indication of stereophonic sound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/20—Vocoders using multiple modes using sound class specific coding, hybrid encoders or object based coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)

Abstract

公开了一种用于处理音频信号的装置及其方法。该装置包括：信息接收单元，其接收包括多个预设信息的下混合信号；外部预设信息接收单元，其接收从外部输入的多个外部预设信息；外部预设应用确定单元，其确定是否将多个外部预设信息应用于下混合信号；外部预设信息选择单元，如果选择了多个外部预设信息，则其选择一个外部预设信息；以及渲染单元，其通过将外部预设信息应用于所有数据区域来控制对象。因此，通过以数据区域为单位单独地选择并且应用外部预设信息或者通过选择同一外部预设信息并且将其应用到整个下混合信号，可以高效地重建音频信号。而且，根据音频源的特性，通过将通过应用外部预设渲染参数而进行调整的对象显示在屏幕上，可以从用户接收反馈信息。

Description

处理音频信号的方法和装置
技术领域
本发明涉及音频信号处理，并且更具体地，涉及用于处理音频信号的装置及其方法。尽管本发明适用于大范围的应用，但是它特别适合于处理经由数字介质、广播信号等接收的音频信号。
背景技术
通常，在用于通过将包括多个对象的音频信号下混合成单声道或立体声信号来生成下混合信号的过程中，从该对象中提取参数(或信息)。这些参数(或信息)在对下混合信号解码中进行使用。而且，对象的位置和增益可以通过由用户进行的选择以及参数来控制。
发明内容
技术问题
然而，包括在下混合信号中的对象应当通过用户的选择来控制。在用户控制对象的情况下，用户不便于直接控制所有对象信号。而且，重现包括多个对象的音频信号的最佳状态可能比专家控制对象的情况更加困难。
技术方案
因此，本发明针对一种用于处理音频信号的装置及其方法，该装置和方法基本上消除了由于现有技术的限制和缺点而引起的一个或多个问题。
本发明的目的在于提供一种用于处理音频信号的装置及其方法，通过该装置和方法可以使用包括预设渲染参数和预设元数据的预设信息来控制对象的电平和位置。
本发明的另一目的在于提供一种用于处理音频信号的装置及其方法，通过该装置和方法可以使用包括在独立于下混合信号输入的比特流中的外部预设信息来控制对象的电平和位置。
本发明的另一目的在于提供一种用于处理音频信号的装置及其方法，通过该装置和方法可以通过根据音频源的特性，使用指示与下混合信号一起输入的预设信息的属性的预设属性信息，将在独立于下混合信号输入的比特流上承载的外部预设信息应用于整个下混合或者下混合信号的数据区域，来控制包括在下混合信号中的对象。
本发明的另一目的在于提供一种用于处理音频信号的装置及其方法，通过该装置和方法可以基于用户进行的选择，使用与从在屏幕上显示的多个外部预设元数据中选择的一个相对应外部预设渲染参数来控制对象的电平和位置。
本发明的又一目的在于提供一种用于处理音频信号的装置及其方法，通过该装置和方法可以以在屏幕上显示对象的方式来从用户接收反馈信息，该对象通过使外部预设渲染参数应用于该对象以及选择的外部预设元数据来控制。
有益效果
因此，本发明提供了如下效果或优点。
首先，本发明单独地选择通过数据区域(或帧单元)应用预设信息，或者选择将同一预设信息应用于整个下混合信号，由此高效地重建音频信号。
第二，本发明在没有每个对象的用户设定的情况下，使用外部预设元数据以及预先设定的预设信息来选择多个外部预设渲染参数中的一个，由此便于调整对象的输出声道的电平。
第三，本发明通过检查对象来选择更适当的外部预设信息，由此调整对象的输出声道的电平或位置，该对象通过使外部预设信息应用于该对象以及选择的预设元数据来控制。
附图说明
附图被包括进来以提供本发明的进一步的理解并且被并入本说明书且构成本说明书的一部分，附图图示了本发明的实施例并且连同描述一起用于解释本发明的原理。
在附图中：
图1A和图1B是根据本发明的一个实施例的根据预设属性信息通过应用预设信息来调整包括在下混合信号中的对象的概念的示图；
图2是根据本发明的一个实施例的根据预设属性信息使用外部预设信息来调整包括在下混合信号中的对象的概念的示图；
图3是应用于包括在下混合信号中的对象的外部预设信息的概念的示图；
图4是根据本发明的一个实施例的音频信号处理装置的框图；
图5A和图5B是根据本发明的一个实施例的静态预设信息接收单元、动态预设信息接收单元和渲染单元的示意性配置的框图；
图6是根据本发明的一个实施例的外部预设信息接收单元和渲染单元的示意性配置的框图；
图7是图5A至图6的一个中示出的预设渲染参数接收单元的示意性配置的框图；
图8是根据本发明的一个实施例的音频信号处理装置的框图；
图9是外部预设信息的比特流结构的示图；
图10至图12是根据本发明的另一实施例的与本发明相关的语法的各种示图；
图13是根据本发明的另一实施例的音频信号处理装置的框图；
图14是根据本发明的另一实施例的音频信号处理装置的显示单元的示图；
图15是根据本发明的另一实施例的显示对其应用外部预设信息的对象的至少一个图示对象的示图；
图16是根据本发明的另一实施例的包括外部预设信息接收单元、外部预设信息应用确定单元、静态预设信息接收单元、动态预设信息接收单元和渲染单元的产品的示意图；
图17A和图17B是根据本发明的另一实施例的产品的关系的示意图，这些产品中的每一个包括外部预设信息接收单元、外部预设信息应用确定单元、静态预设信息接收单元、动态预设信息接收单元和渲染单元；以及
图18是根据本发明的又一实施例的包括外部预设信息接收单元、外部预设信息应用确定单元、静态预设信息接收单元、动态预设信息接收单元和渲染单元的广播信号解码装置的示意性框图。
最佳模式
本发明的另外的特征和优点将在下面的描述中进行阐述，并且部分地从描述中而明显，或者可以通过实践本发明来习得。本发明的目的和其他优点将通过所撰写的说明书及其权利要求以及附图中具体指出的结构来实现和获得。
为了实现这些和其他优点并且根据本发明的目的，如所实施和广泛描述的，根据本发明的一种用于处理音频信号的装置，包括：信息接收单元，该信息接收单元接收包括至少一个对象的下混合信号以及用于渲染包括在下混合信号中的至少一个对象的多个预设信息；外部预设信息接收单元，该外部预设信息接收单元接收从外部输入的多个外部预设信息以及指示应用了外部预设信息的对象数目的应用的对象数目信息；外部预设应用确定单元，该外部预设应用确定单元基于应用的对象数目信息来确定是否将多个外部预设信息应用于下混合信号；外部预设信息选择单元，如果选择了多个外部预设信息，则该外部预设信息选择单元在多个外部预设信息中选择一个外部预设信息；以及渲染单元，该渲染单元通过将外部预设信息应用于所有数据区域来控制对象，其中，外部预设信息包括用于渲染下混合信号的外部预设渲染参数和指示外部预设渲染参数的属性的外部预设元数据。
优选地，外部预设应用确定单元进一步使用指示是否将外部预设信息应用于下混合信号的外部元数据信息。
优选地，外部预设信息接收单元包括外部预设渲染参数接收单元，该外部预设渲染参数接收单元接收作为从外部输入的渲染数据的外部预设渲染参数；以及外部预设元数据接收单元，该外部预设元数据接收单元接收指示外部预设渲染参数的属性的外部预设元数据。
优选地，该装置进一步包括显示单元，该显示单元显示多个外部预设元数据，以在多个外部预设信息中选择一个外部预设信息；以及预设信息输入单元，该预设信息输入单元被输入在多个外部预设元数据中选择一个外部预设元数据的选择信号，其中，预设信息选择单元基于选择信号来选择一个外部预设信息。
更优选地，显示单元进一步显示基于选择信号进行选择的外部预设元数据。
更优选地，显示单元包括指示对象的电平或位置的一个或多个图形元素。
在该情况下，对图形元素进行修改以指示对象的电平或位置以及激活。
更优选地，当显示单元操作地耦合到外部预设信息选择单元时，显示单元一次显示多个外部预设元数据。
优选地，该装置进一步包括输出单元，该输出单元输出修改的对象；以及存储单元，该存储单元存储选择的外部预设信息。
为了进一步实现这些和其他优点并且根据本发明的目的，一种处理音频信号的方法，包括：接收包括至少一个对象的下混合信号、用于渲染包括了下混合信号的至少一个对象的多个预设信息、从外部输入的多个外部预设信息以及指示应用了外部预设信息的对象数目的应用的对象数目信息；基于应用的对象数目信息来确定是否将多个外部预设信息应用于下混合信号；如果选择了多个外部预设信息，则在多个外部预设信息中选择一个外部预设信息；以及通过将外部预设信息应用于所有数据区域来控制对象，其中，外部预设信息包括用于渲染下混合信号的外部预设渲染参数和指示外部预设渲染参数的属性的外部预设元数据。
优选地，该确定进一步使用指示是否将外部预设信息应用于下混合信号的外部元数据信息。
优选地，在渲染之后，该方法进一步包括显示对象的受控电平和选择的外部预设元数据。
优选地，在渲染之后，该方法进一步包括存储选择的外部预设信息。
应当理解，前面的一般描述和后面的详细描述是示例性的和解释性的，并且旨在提供要求保护的本发明的进一步的解释。
具体实施方式
现将详细参考本发明的优选实施例，在附图中图示了本发明的示例。首先，本发明中的术语可以被解释为如下引用。而且，本说明书中没有公开的术语可以被解释为匹配本发明的技术思想的如下意义和概念。因此，本公开的实施例和附图中实现的配置仅是本发明的一个最优选的实施例，并且无法表示本发明的所有技术思想。因此，应当理解，在提交本申请时，可能存在替代它们的各种修改/变化和等同物。
在本公开中，‘信息’是通常包括值、参数、系数、元素等的术语，并且可以偶尔不同地解释其意义，本发明不限于此。
图1A和图1B是根据本发明的一个实施例的通过根据预设属性信息应用预设信息来调整包括在下混合信号中的对象的概念的示图。本发明的音频信号由编码器编码成下混合信号和对象信息。下混合信号或对象信息通过被承载在单个比特流或者独立比特流上来被传输到解码器。预设信息被包括在对象信息中，并且指示预先设定为调整包括在下混合信号中的对象的电平、平移等的信息。预设信息可以包括各种模式，并且能够包括用于实际调整对象的渲染参数和指示相应模式的特性的元数据。这将在稍后参考图2和图3来详细解释。
参考图1A和图1B，包括在比特流中的对象信息具体地包括配置信息区域和多个数据区域(数据区域1、数据区域2、...数据区域n)。配置信息区域是位于对象信息的比特流的前面部分的区域，并且包含共同应用于对象信息的所有数据区域的信息。例如，配置区域信息可以包含包括树结构等的配置信息、数据区域长度信息、对象数目信息等。
相反，数据区域是通过基于包含在配置信息区域中的数据区域长度信息对整个音频信号的时域进行划分而生成的单位，并且能够包括帧。对象信息的数据区域与下混合信号的数据区域相对应，并且包含诸如基于相应的数据区域的对象的属性的对象电平信息、对象增益信息等的对象数据信息。
在根据本发明的一个实施例的音频信号处理方法中，从比特流的对象信息中读取预设属性信息(preset_attribute_information)。预设属性信息指示预设信息被包括在比特流的哪个区域中。具体地，预设属性信息指示预设信息被包括在对象信息的配置信息区域还是对象信息的数据区域中，并且在表1中示出了其详细意义。
[表1]
Figure BPA00001297304500081
参考图1A，如果预设属性信息被设定为0以指示预设信息被包括在配置信息区域中，则以如下方式执行渲染：从配置信息区域中提取的预设信息被等同地应用于下混合信号的所有数据区域。
相反，参考图1B，如果预设属性信息被设定为1以指示预设信息被包括在数据区域中，则以如下方式执行渲染：从数据区域中提取的预设信息被等同地应用于下混合信号的相应的数据区域。例如，将从数据区域1中提取的预设信息应用于数据区域1的下混合信号。而且，从数据区域n中提取的预设信息被应用于数据区域n的下混合信号。
而且，预设属性信息能够指示预设信息是静态的还是动态的。当预设属性信息被设定为0时，如果预设信息被包括在配置信息区域中，则能够称为预设信息是静态的。在该情况下，预设信息被静态地和等同地应用于所有数据区域。
相反，当预设属性信息被设定为1时，如果预设信息被包括在数据区域中，则能够称预设信息是动态的。在该情况下，由于预设信息仅被应用于相应的数据区域以渲染该相应的数据区域的下混合信号，因此预设信息对于每个数据区域是动态应用的。在该情况下，如果预设信息是动态的，则优选的是，预设信息存在于数据区域的扩展区域中。如果预设信息是静态的，则优选的是，预设信息存在于配置信息区域的扩展区域中。
因此，根据本发明的一个实施例的音频信号处理方法能够以如下方式渲染下混合信号：通过预设属性信息根据音频源的特性来使用适用于每个数据区域的预设信息，或者将同一预设信息应用于所有数据区域。
图2是根据本发明的一个实施例的根据预设属性信息使用外部预设信息来调整包括在下混合信号中的对象的概念的示图。
首先，本发明的音频信号被编码为下混合信号和对象信息。如前面参考图1A和图1B的描述中提到的，下混合信号和对象信息作为一个比特流或独立比特流被传输到解码器。在该情况下，传输比特流的对象信息可以进一步包括指示包括在下混合信号中的对象数目的对象数目信息以及预设属性信息和预设信息。
同时，外部预设信息作为外部比特流(并非从编码器)被从外部输入到解码器，并且包括在从编码器传输的对象信息中的预设信息也被输入到解码器，以渲染下混合信号。作为预先设定为调整对象的信息集合，不是从编码器而是从外部环境输入的预设信息在本公开中被称为外部预设信息。包括在外部比特流中的外部预设信息可以包括用于调整对象的增益和/或平移的外部预设渲染参数以及指示外部预设渲染参数的属性的外部预设参数。而且，外部比特流可以进一步包括指示将对其应用外部预设信息的包括在下混合信号中的对象的数目的应用的对象数目信息以及指示是否使用外部预设信息的外部元数据信息。
能够使用对象数目信息和应用的对象数目信息来确定将使用外部预设信息还是预设信息。这将在后面参考图4来详细解释。如果确定使用外部预设信息，则可以以如下方式调整对象：外部预设信息被等同地和静态地应用于下混合信号的所有数据区域。
图3是应用于包括在下混合信号中的对象的外部预设信息的概念的示图。
首先，可以以各种模式来表示外部预设信息，可以根据音频信号的特性或者收听环境来选择的各种模式。而且，可能存在至少一个外部预设信息。而且，外部预设信息可以包括适用于调整对象的外部预设渲染参数和用于表示外部预设渲染参数的属性的外部预设元数据等。能够以文本形式表示外部预设元数据。外部预设元数据可以指示外部预设信息的属性以及外部预设渲染参数的属性(例如，音乐厅模式、卡拉OK模式、新闻模式等)。
外部预设元数据可以包括用于表示外部预设渲染参数的相关信息(诸如外部预设渲染参数的作者、外部预设渲染参数的编写日期、对其应用外部预设渲染参数的对象的名称等)、指示预设信息的文件格式的文件扩展信息等。同时，外部预设渲染参数是基本上适用于对象的数据，并且可以以各种形式(例如，矩阵)来表示以与外部预设元数据相对应。
参考图3，外部预设信息1可以与用于提供声音舞台效果的音乐厅模式相对应，其使得收听者能够收听音乐信号，如同收听者位于音乐厅中。外部预设信息2可以是用于减少音频信号中的声乐对象的电平的卡拉OK模式。而且，外部预设信息n可以是用于提高话音对象的电平的新闻模式。而且，外部预设信息包括外部预设元数据和外部预设渲染参数。如果用户选择外部预设信息2，则与外部预设元数据2相对应的卡拉OK模式将被显示在显示单元上。而且，能够通过将与外部预设元数据2相关的外部预设信息2应用于对象来调整电平。
在该情况下，外部预设渲染参数可以包括单声道外部预设渲染参数、立体声外部预设渲染参数和多声道外部预设渲染参数。外部预设渲染参数根据对象的最终输出声道(或者，包括对象的下混合信号的最终输出声道)来确定。单声道外部预设渲染参数是在对象的输出声道是单声道的情况下应用的外部预设渲染参数。立体声外部预设渲染参数是在对象的输出声道是立体声的情况下应用的外部预设渲染参数。而且，多声道外部预设渲染参数是在对象的输出声道是多声道的情况下应用的外部预设渲染参数。一旦根据配置信息确定了对象的输出声道，就使用确定的输出声道来确定外部预设渲染参数的类型。然后，能够通过将外部预设渲染参数应用于所有数据区域来调整包括在下混合信号中的对象。
图4是根据本发明的一个实施例的音频信号处理装置400的框图。
参考图4，音频信号处理装置400可以包括下混合单元410、预设信息生成单元420、外部预设信息接收单元430、外部预设信息应用确定单元440、静态预设信息接收单元450、动态预设信息接收单元460和渲染单元470。
下混合单元410接收至少一个或多个对象，对象1、对象2、对象3、...、对象n，并且然后通过下混合接收到的至少一个或多个对象来生成下混合信号。在该情况下，对象指源，并且可以包括声乐、吉他、钢琴等。下混合信号的声道数目小于输入信号的声道数目。而且，下混合信号可以包括所有对象。
预设信息生成单元420生成用于在渲染情况下调整包括在音频信号中的对象的预设信息，并且能够生成预设渲染参数、预设信息和指示预设信息的属性的预设属性信息。预设信息生成单元420可以包括预设属性确定单元、预设渲染参数生成单元和预设元数据生成单元。这将在后面参考图13来解释。
根据本发明的一个实施例，外部预设信息接收单元430接收从音频信号处理装置400的外部环境输入的外部预设信息。外部预设信息包括多个外部预设渲染参数和与该外部预设渲染参数相对应的多个外部预设元数据，并且还能够包括指示对其应用外部预设渲染参数的对象的数目的应用对象数目信息。根据本发明的一个实施例的外部预设信息的比特流结构将在后面参考图9来解释。
外部预设信息应用确定单元440接收从预设信息生成单元420输入的预设信息和从外部预设信息接收单元430输入的外部预设信息，并且然后确定是否应用外部预设信息。首先，外部预设信息应用确定单元440从包括在外部预设信息接收单元430中的应用对象数目信息接收单元431接收指示将对其应用外部预设信息的对象的数目的应用对象数目信息。如果通过比较，应用对象数目信息等同于包括在预设信息中的对象数目信息，则能够确定优选地使用外部预设信息。
如果应用对象数目信息不同于对象数目信息，则通过提取指示从预设信息生成单元420输入的预设信息的属性的预设属性信息来确定预设信息被包括在比特流的配置信息区域还是其数据区域中。优选地，预设属性信息用于确定预设信息被包括在比特流的配置信息的扩展区域中还是数据区域的扩展区域[附图中未示出]中。在该情况下，如果确定了预设信息被包括在比特流的配置信息区域中，则激活静态预设信息接收单元450。如果确定预设信息被包括在比特流的数据区域中，则激活动态预设信息接收单元460。
基于预设属性信息，如果静态预设信息接收单元450被激活(表1中的preset_attribute_information＝0的情况)，则预设信息被输入到激活的静态预设信息接收单元以450进行操作。静态预设信息接收单元450可以包括接收与所有数据区域相对应的预设元数据的静态预设元数据接收单元以及接收预设信息的静态预设信息接收单元。这将在后面参考图13详细解释。
如果预设属性信息指示预设信息被包括在数据区域中(表1中的preset_attribute_flag＝1的情况)，则动态预设信息接收单元460被激活。动态预设信息接收单元460能够包括接收与相应的数据区域相对应的预设元数据的动态预设元数据接收单元以及接收每个数据区域的预设信息的动态预设信息接收单元。动态预设元数据接收单元接收并且输出选择的预设元数据，并且动态预设信息接收单元接收预设信息。这将在后面参考图11来详细解释。
渲染单元470接收从下混合包括多个对象的音频信号而生成的下混合信号以及从静态预设信息接收单元450或动态预设信息接收单元460输出的预设渲染参数。同时，如果外部预设信息应用确定单元440确定应用外部预设信息，则渲染单元470从外部预设渲染参数接收单元432接收外部预设渲染参数的输入。预设信息或外部预设渲染参数适用于包括在下混合信号中的对象，由此可以调整对象的电平或位置。
如果音频信号处理装置400包括显示单元[附图中未示出]，则从动态预设元数据接收单元输出的选择的预设元数据、从静态预设元数据接收单元输出的选择的预设元数据或者从外部预设元数据接收单元433输出的选择的外部预设元数据可以被显示在显示单元的屏幕上。
图5A和图5B是根据本发明的实施例的将预设信息应用于渲染单元的方法的框图。首先，图5A示出了将从静态预设信息接收单元450输出的预设信息应用于渲染单元570的方法。在该情况下，静态预设信息接收单元450与前面的图4中示出的静态预设信息接收单元450相同，并且包括静态预设元数据接收单元451和静态预设渲染参数接收单元452。
静态预设渲染参数接收单元452接收用于通过应用于下混合信号的所有数据区域来调整对象的预设渲染参数。在该情况下，预设渲染参数可以包括从多个预设信息中选择的一个预设信息中包括的渲染参数。相反，静态预设元数据接收单元451接收通过与一个预设渲染参数相对应而指示预设渲染参数的属性的预设元数据。
静态预设信息接收单元450接收并且输出预设元数据和与所有数据区域相对应的预设渲染参数。而且，渲染单元570接收预设渲染参数。
渲染单元570通过接收下混合信号以及预设渲染参数来执行每个数据区域的渲染。渲染单元570包括数据区域1渲染单元571、数据区域2渲染单元572、...和数据区域n渲染单元57n。在该情况下，以渲染单元570的所有数据区域渲染单元54X将接收到的预设渲染参数等同地应用于下混合信号的方式来执行渲染。例如，如果从静态预设渲染参数接收单元452输出的预设渲染参数是指示卡拉OK模式的外部重置渲染参数2，则能够将卡拉OK模式应用于范围从第一数据区域到第n数据区域的所有数据区域。
图5B示出了将从动态预设信息接收单元460输出的预设信息应用于渲染单元570的方法。动态预设信息接收单元460与前面的图4中示出的动态预设信息接收单元460相同，并且包括动态预设元数据接收单元461和动态预设渲染参数接收单元462。
动态预设信息接收单元460从每个数据区域的动态预设渲染参数接收预设渲染参数。动态预设信息接收单元460接收并且输出来自动态预设元数据接收单元461的预设元数据。然后，预设渲染参数被输入到渲染单元570。
渲染单元570通过接收下混合信号和预设渲染参数来执行每个数据区域的渲染。渲染单元570包括数据区域1渲染单元571、数据区域2渲染单元572、...和数据区域n渲染单元57n。在该情况下，渲染单元570的每个数据区域渲染单元54X通过接收与每个数据区域相对应的预设渲染参数并且将其应用到下混合信号来执行渲染。
例如，音乐厅模式的预设信息1被应用于第一数据区域。经典模式的预设信息3适用于第二数据区域。卡拉OK模式的预设信息2可以适用于第六数据区域。在该情况下，预设信息n中的‘n’指示外部预设模式的索引。而且，应当理解，每个数据区域地输出与每个预设渲染参数相对应的预设元数据。
图6是根据本发明的实施例的将外部预设信息应用于渲染单元的方法的框图。首先，外部预设信息接收单元430与前面的图3中的外部预设信息接收单元430相同，并且包括外部预设元数据接收单元433和外部预设渲染参数接收单元432。
外部预设渲染参数接收单元432接收用于通过应用于下混合信号的所有数据区域来调整对象的预设渲染参数。在该情况下，外部预设渲染参数可以包括从多个外部预设信息中选择的一个外部预设信息中包括的渲染参数。相反，外部预设元数据接收单元433接收通过与一个外部预设渲染参数相对应而指示外部预设渲染参数的属性的外部预设元数据。
外部预设信息接收单元430接收并且输出外部预设元数据和与所有数据区域相对应的外部预设渲染参数。而且，渲染单元670接收外部预设渲染参数。
渲染单元670通过接收下混合信号以及外部预设渲染参数来执行每个数据区域的渲染。渲染单元670包括数据区域1渲染单元671、数据区域2渲染单元672、...和数据区域n渲染单元67n。在该情况下，以渲染单元670的所有数据区域渲染单元64X将接收到的外部预设渲染参数等同地应用于下混合信号的方式来执行渲染。例如，如果从外部预设渲染参数接收单元432输出的外部预设渲染参数是指示经典模式的外部重置渲染参数3，则能够将卡拉OK模式应用于范围从第一数据区域到第n数据区域的所有数据区域。
图7是包括在音频信号处理装置400的静态预设信息接收单元450中的静态预设渲染参数接收单元452、包括在动态预设信息接收单元460中的动态预设渲染参数接收单元462、或者包括在外部预设信息接收单元430中的外部预设渲染参数接收单元432的示意性配置的框图。
动态/静态/外部预设渲染参数接收单元452/462/432包括输出声道信息接收单元452a/462a/432a和预设渲染参数确定单元452b/462b/432b。输出声道信息接收单元452a/462a/432a接收并且输出指示将从其输出下混合信号中包括的对象的输出声道的数目的输出声道数目信息。在该情况下，输出声道数目信息可以指示单声道、立体声声道或者多声道(5.1声道)，本发明不限于此。
预设渲染参数确定单元452b/462b/432b基于从输出声道信息接收单元452a/462a/432a输入的输出声道数目信息来接收并且输出相应的预设渲染参数或者相应的外部预设渲染参数。在该情况下，外部预设渲染参数可以包括单声道外部预设渲染参数、立体声外部预设渲染参数和多声道外部预设渲染参数中的一个。而且，预设渲染参数可以包括单声道预设渲染参数、立体声预设渲染参数和多声道预设渲染参数中的一个。在预设渲染参数或者外部预设渲染参数是矩阵类型的情况下，其尺寸可以基于对象的数目和输出声道的数目来确定。而且，预设矩阵或者外部预设矩阵可以具有(对象的数目)×(输出声道的数目)的形式。例如，当下混合信号中包括n个对象时，如果来自输出声道信息接收单元452a/462a/432a的输出声道与5.1声道(即，6个声道)相对应，则预设渲染参数确定单元452b/462b/432b可以输出以n×6的形式实现的多声道预设渲染参数或者多声道外部预设渲染参数。在该情况下，矩阵的元素是指示包括在第i个声道中的第a个对象的程度的增益值。
图8是根据本发明的另一实施例的音频信号处理装置800的框图。参考图8，音频信号处理装置800主要包括下混合单元810，对象信息生成单元820、预设信息生成单元830、下混合信号处理单元840、信息处理单元850和多声道解码单元860。
将多个对象(对象1、对象2、...对象n)输入到下混合单元810以生成单声道或立体声下混合信号。而且，多个对象被输入到对象信息生成单元820以生成包括在下混合信号中的指示对象电平的对象电平信息和对象的增益值。在立体声下混合信号的情况下，对象信息生成单元820生成指示包括在下混合声道中的对象的程度的对象增益信息、指示是否存在对象之间的相关的对象相关信息等。随后，下混合信号和对象信息被输入到预设信息生成单元830。然后，预设信息生成单元830生成指示预设信息被包括在比特流的数据区域还是比特流的配置信息区域中的预设属性信息以及包括预先设定为执行渲染以调整对象的电平或位置的预设渲染参数和用于表示预设渲染参数的预设元数据的预设信息。如前面图1至4中示出的音频信号处理装置和方法的描述中提到的，用于生成预设属性信息、预设渲染参数和预设元数据的过程遵循其相同的描述。
而且，预设信息生成单元830能够进一步生成指示比特流中是否存在预设信息的预设存在信息、指示预设信息的数目的预设数目信息和指示预设元数据的长度的预设元数据长度信息。对象信息生成单元820生成的对象信息和预设信息生成单元830生成的预设属性信息、预设信息、预设元数据、预设存在信息、预设数目信息和预设元数据长度信息可以通过被包括在SAOC比特流中来被传输，或者可以以其中还包括下混合信号的一个比特流的形式来被传输。在该情况下，包括下混合信号和预设相关信息的比特流可以被输入到解码装置的信号接收单元(图中未示出)。
信息处理单元850包括对象信息处理单元851、外部预设信息接收单元852、外部预设信息应用确定单元853、静态预设信息接收单元852和动态预设信息接收单元853，并且接收SAOC比特流。如前面参考图1至图7的描述中提到的，基于包括在SAOC比特流中的预设属性信息来确定激活静态预设信息接收单元852还是动态预设信息接收单元853。
根据本发明的一个实施例，外部预设信息接收单元852接收从音频信号处理装置800的外部环境输入的外部预设信息。将接收到的外部预设信息输入到外部预设信息应用确定单元853，以确定外部预设信息是否将用于调整对象。
在使用外部预设信息的情况下，外部预设信息接收单元852接收到的外部预设信息被直接输入到对象信息处理单元851。相反，在使用包括在SAOC比特流中的预设信息的情况下，基于包括在SAOC比特流中的预设属性信息，将预设信息输入到静态预设信息接收单元854或者动态预设信息接收单元855。
静态预设信息接收单元854或者动态预设信息接收单元855经由SAOC比特流接收上述预设属性信息。而且，外部预设信息接收单元852接收外部预设存在信息、外部预设数目信息、外部预设元数据、输出声道信息和外部预设渲染参数(例如，外部预设矩阵)。而且，使用根据图1至图7中示出的音频信号处理方法和装置中描述的各种实施例的方法。
静态预设信息接收单元854、动态预设信息接收单元855或者外部预设信息接收单元852输出经由SAOC比特流接收到的预设元数据和预设渲染数据，或者经由外部比特流接收到的外部预设元数据和外部预设信息。然后，对象信息处理单元851接收输出的数据和信息，以生成用于预处理下混合信号的下混合处理信息和用于使用下混合处理单元上混合经预处理的下混合信号的多声道信息(以连同包括在SAOC比特流中的对象信息一起使用输出的数据和信息的方式)。
通过这样操作，从静态预设信息接收单元854输出的预设渲染数据和预设元数据以及从外部预设信息接收单元852输出的外部预设渲染数据和外部预设元数据与所有数据区域相对应。而且，从动态预设信息接收单元855输出的预设信息和预设元数据与数据区域中的一个相对应。
随后，下混合处理信息被输入到下混合信号处理单元840以变化其中包括下混合信号中包含的对象的声道。因此，能够执行平移。因此，预处理的下混合信号与从信息处理单元850输出的多声道信息一起被输入到多声道解码单元860。然后，能够通过一起上混合输入的预处理的下混合信号和多声道信息来生成多声道音频信号。
在使用多声道信息将包括多个对象的下混合信号解码为多声道信号时，根据本发明的另一实施例的音频信号处理装置便于使用从外部环境作为比特流独立输入的外部预设渲染参数和外部预设元数据来调整对象的电平。
图9是根据本发明的一个实施例的外部预设信息的比特流结构的示图。
参考图9，为了与SAOC比特流兼容，外部预设信息包括文件ID910、外部预设渲染参数920和外部预设元数据930。
为了确定外部预设信息是否可以被应用于下混合信号，即，与SAOC比特流的同步是否可能，文件ID 910可以包括指示对其应用外部预设信息的对象的数目的对象数目信息。而且，文件ID 910可以包括针对同步单独定义的同步字，可以进一步包括指示外部预设信息的数目的外部预设数目信息，并且可以包括被设定为使外部预设信息能够优选地与应用的对象数目无关地使用的标识符。
外部预设渲染参数920可以包含诸如包括在SAOC比特流中的预设渲染参数的内容，并且能够包括参考图3描述的各种外部预设渲染参数。外部预设渲染参数920可以包括用户设定类型的渲染数据以及矩阵类型渲染参数。而且，外部预设渲染参数920可以进一步包括指示外部预设信息的数目和输出声道的数目的输出声道信息。
同时，外部预设元数据930包括与外部预设渲染参数920相对应的元数据。
图10至图12是根据本发明的另一实施例的与本发明相关的语法的各种示图。
参考图10，能够配置要包括在配置信息的扩展区域中的预设信息。
比特流的配置信息区域SAOCSpecificConfig( )具有扩展区域SAOCExtensionConfig( )。如果接收到预设信息，则它可以由SAOCExtensionConfig(9)的容器类型来指示，并且其意义在表2中公开。在图10中，SAOCExtensionConfig(9)的扩展区域包括预设信息PresetConfig( )。
[表2]
  SAOCExtensionConfig( )   意义
  SAOCExtensionConfig(9)   指示预设信息被包括在配置信息的扩展区域中
如图10中所示，预设信息PresetConfig( )可以包括指示预设信息的数目的预设数目信息bsNumPresets、指示用于表示预设元数据(其指示预设信息的属性)的字节数目的预设元数据长度信息bsNumCharPresetLabel[i]以及指示预设元数据bsPresetLabel[i][j]和渲染数据的矩阵类型预设渲染参数bsPresetMatrix。
因此，通过使用包括在比特流的配置信息区域中的预设信息来渲染音频信号，便于回放音频信号。
另一方面，参考图11，预设信息可以被包括在数据区域而不是配置信息区域的扩展区域中。数据区域SAOCFrame( )具有扩展区域SAOCExtensionFrame( )。而且预设信息的扩展区域SAOCExtensionFrame(9)可以包括诸如图8中示出的预设信息PresetConfig( )的预设信息。而且，表3中公开了数据区域的扩展区域的意义。
在使用前述参考图1至图9描述的外部预设信息的情况下，提取包括在外部预设信息中的相应的信息，而不是图10或图11中示出的预设信息PresetConfig( )，并且可以用于调整包括在下混合信号中的对象。
[表3]
  SAOCExtensionFrame( )   意义
  SAOCExtensionFrame(9)   指示预设信息被包括在数据区域的扩展区域中
同时，如SAOCExtensionFrame( )语法中所示，图11中的数据区域的扩展区域可以包括每个数据区域的需要被更新的信息，诸如预设渲染参数等。在该情况下，作为实质渲染数据的预设渲染参数PresetMatrixDate( )包括没有被更新的值，诸如指示预设渲染参数的类型的渲染参数类型bsPresetMatrixType。
因此，图12提出了根据本发明的另一实施例的语法。参考图12，数据区域的扩展区域SAOCExtensionFrame(9)仅包括预设渲染参数bsPresetMatrixElements[i][j]。
因此，根据本发明的一个实施例的音频信号处理方法使得未更新的信息能够被包括在配置信息区域中，由此减少了用于预设信息的传输的比特数目。
图13是根据本发明的另一实施例的音频信号处理装置的框图。首先，音频信号处理装置1300主要包括预设信息生成单元1310、预设属性接收单元1315、外部预设信息接收单元1320、外部预设应用确定单元1325、应用预设输入单元1330、应用预设选择单元1335、预设信息输入单元1340、预设信息选择单元1345、静态预设信息接收单元1350、动态预设信息接收单元1355、渲染单元1360和显示单元1365。
图13中的预设属性接收单元1315、外部预设信息接收单元1320、静态预设信息接收单元1350、动态预设信息接收单元1355和渲染单元1360具有与前面的图4中的预设属性接收单元1315、外部预设信息接收单元1320、静态预设信息接收单元1350、动态预设信息接收单元1355和渲染单元1360相同的配置和功能，并且在下面的描述中省略了它们的细节。
参考图13，预设信息生成单元1310包括预设属性确定单元1311、预设元数据生成单元1312和预设渲染参数生成单元1313。
如前面的描述中提到的，预设属性确定单元1311确定预设属性信息，其指示预设信息通过包括在配置信息区域中而将被应用于所有数据区域还是预设信息通过包括在数据区域中而每个数据区域地应用。随后，预设元数据生成单元1312和预设渲染参数生成单元1313能够生成一个预设元数据和一个预设渲染参数或者与数据区域的数目一样多的预设元数据和预设渲染参数。
预设元数据生成单元1312接收指示预设渲染参数的文本信息，并且然后能够生成预设元数据。另一方面，如果用于调整对象的电平和/或对象的位置的增益被输入到预设渲染参数生成单元1313，则能够生成将应用于对象的预设渲染参数。还能够生成用于应用于每个对象的预设渲染参数。可以实现各种类型的预设渲染参数。例如，预设渲染参数可以被实现为声道电平差(CLD)参数、矩阵等。
预设渲染参数生成单元1313能够进一步生成指示存在多少对象输出声道的输出声道信息。预设元数据生成单元1312生成的预设元数据、预设渲染参数生成单元1313生成的预设渲染参数和预设渲染参数生成单元1313生成的输出声道信息可以通过包括在比特流中来进行传输。具体地，它们可以通过包括在包括下混合信号的比特流的辅助区域中或者通过包括在独立于下混合信号的比特流中来进行传输。
同时，预设信息生成单元1310能够进一步生成指示预设元数据、预设渲染参数和输出声道信息被包括在比特流中的预设存在信息。在该情况下，预设存在信息可以具有指示预设信息等被包括在比特流的哪个区域中的容器类型或者简单地指示预设信息等是否包括在比特流中的标志类型，本发明不限于此。
预设信息生成单元能够生成多个预设信息。而且，多个预设信息中的每一个包括预设渲染参数、预设元数据和输出声道信息。在该情况下，预设信息生成单元能够进一步生成指示预设信息的数目的预设数目信息。
因此，预设信息生成单元能够以比特流的形式生成并且输出预设属性信息、预设元数据和预设渲染参数。
预设属性接收单元1315接收并且输出从预设信息生成单元1310接收到的预设属性信息。而且，在前述表1中公开了预设属性信息的意义。
外部预设应用确定单元1325从外部预设信息接收单元1320接收外部预设信息的输入，并且然后能够基于包括在外部预设信息中的对象数目信息来确定是否可以将外部预设信息应用到下混合信号。外部预设信息可以具有图9中示出的比特流结构。而且，外部预设信息具有与包括在从编码器输入的预设信息中的预设渲染参数、预设元数据、预设存在信息、预设数目信息、对象数目信息和输出声道信息相同的配置和功能。而且，外部预设信息可以包括从外部环境而非编码器输入的比特流中包括的外部预设渲染参数、外部预设元数据、外部预设存在信息、外部预设数目信息、对象数目信息和输出声道信息。
如果对象数目信息等于包括在下混合信号中的对象的数目，则外部预设信息可以应用于下混合信号。如果对象数目信息不同于包括在下混合信号中的对象的数目，则不使用外部预设信息。
如果外部预设应用确定单元1325确定使用外部预设信息，则应用的预设输入单元1330显示用于确定使用外部预设信息还是预设信息来调整对象的元数据，并且然后能够接收用于选择要使用的信息的选择信号的输入。根据本发明的另一实施例，如果外部预设应用确定单元1325确定外部预设信息可用，则可以优选地通过省略该步骤来使用外部预设信息。
如果外部预设应用确定单元1325确定外部预设信息可用，则应用的预设选择单元1335从来自预设信息接收单元1310的预设信息中接收预设信息，并且还从外部预设应用确定单元1325接收外部预设信息。而且，应用预设选择单元1335能够选择并且输出由从应用的预设输入单元1330输入的选择信号指示的预设信息或者外部预设信息。
如果应用的预设选择单元1335选择了预设信息，则能够以如下方式调整对象：基于从预设属性接收单元1315输出的预设属性信息来将预设信息应用于与其中包括预设信息的扩展区域相对应的下混合信号的数据区域或者所有数据区域。相反，如果应用预设选择单元1335选择了外部预设信息，则不论从预设属性接收单元1315输出的预设属性信息如何，外部预设信息被等同地应用于下混合信号的所有数据区域。
如果应用的预设选择单元1335基于从应用的预设输入单元1330输入的选择信号来选择外部预设信息，则预设信息输入单元1340首先在显示单元1365的屏幕上显示从外部预设元数据接收单元1321接收到的多个外部预设元数据，并且然后接收用于选择多个外部预设元数据中的一个的选择信号的输入。预设信息选择单元1345选择由选择信号选择的一个外部预设元数据和与该外部预设元数据相对应的外部预设渲染参数。
在使用外部预设信息的情况下，仅激活静态预设信息接收单元1350。通过选择信号选择的外部预设元数据和与该外部预设元数据相对应的外部预设渲染参数被分别输入到静态预设信息接收单元1350的静态预设元数据接收单元1351和静态预设渲染参数接收单元1352。在该情况下，显示单元1365、预设信息输入单元1340和预设信息选择单元1345可以仅执行一次操作。
相反，如果应用的预设选择单元1335确定使用从预设信息生成单元1310输入的预设信息，则根据从预设属性接收单元1315接收到的预设属性信息来激活静态预设信息接收单元1350或动态预设信息接收单元1355。
在该情况下，如果从预设属性接收单元1315接收到的预设属性信息指示预设信息被包括在配置信息区域的扩展区域中，则将由预设信息选择单元1345选择的预设元数据和与该预设元数据相对应的预设渲染参数输入到静态预设信息接收单元1350的预设元数据接收单元1351和预设渲染参数接收单元1352。
相反，如果从预设属性接收单元1315接收到的预设属性信息指示预设信息被包括在数据区域的扩展区域中，则将预设信息选择单元1345选择的预设元数据和与该预设元数据相对应的预设渲染参数信息输入到动态预设信息接收单元1355的预设元数据接收单元1356和预设渲染参数接收单元1357。在该情况下，显示单元1365、预设信息输入单元1340和预设信息选择单元1345可以按数据区域数目来重复执行以上操作。
而且，选择外部预设渲染参数或者选择预设渲染参数被输出到渲染单元1360，而选择外部预设元数据或者选择预设渲染参数被输出到显示单元1365以显示在显示单元1365的屏幕上。显示单元1365可以包括用于显示多个预设元数据或者外部预设元数据的同一单元，以使得预设信息输入单元1340能够接收选择信号的输入，或者可以包括不同的单元。如果显示单元1365和用于显示用于预设信息输入单元1340的预设元数据或者外部预设元数据的显示单元使用同一单元，则能够以如下方式区分每个动作：描述(例如，‘请选择预设信息。’、‘选择了预设信息N。’等等)、视觉对象、字母等以不同的方式配置在屏幕上。
图14是音频信号处理装置1400的显示单元1365的示图。首先，显示单元1365可以包括至少一个或多个图形对象，其指示使用选择的预设元数据或者外部预设元数据以及与该预设元数据/外部预设元数据相对应的预设渲染参数/外部预设渲染参数进行调整的对象的电平或位置的。参考图14，在经由预设信息选择单元1340从图13中示出的显示在输出单元1365上的多个预设元数据或者外部预设元数据(例如，体育场模式、工作室模式、新闻模式、现场模式等)中选择新闻模式的情况下，与新闻模式相对应的预设渲染参数或者外部预设渲染参数被应用于包括在下混合信号中的每个对象。在该情况下，声乐的电平将升高，而其他对象(吉他、小提琴、鼓、...大提琴)的电平将降低。
包括在显示单元1365中的图形对象被转换为指示相应的对象的电平或位置的激活或改变。例如，参考图14，指示声乐的图形对象的开关被移到右边，而指示重置对象的图形对象的开关被移动到左边。
图形对象能够以各种方式指示使用预设渲染参数或者外部预设渲染参数调整的对象的电平或位置。可以存在指示每个对象的至少一个图形对象。在该情况下，第一图形对象指示在应用预设渲染参数或者外部预设渲染参数之前的对象的电平或位置。而且，第二图形对象能够指示通过应用预设渲染参数或者外部预设渲染参数调整的对象的电平或位置。在该情况下，便于比较应用预设渲染参数或者外部预设渲染参数之前和之后的对象的电平或位置。因此，便于用户了解预设信息或者外部预设信息如何调整每个对象。
图15是根据本发明的又一实施例的用于显示对其应用预设信息或者外部预设信息的对象的至少一个图形对象的示图。参考图15，第一图形对象是柱型，并且第二图形对象可以被表示为第一图形对象内的延长线。在该情况下，第一图形对象指示将预设信息或者外部预设信息应用于对象之前的对象的电平或位置。而且，第二图形对象指示通过将预设信息或者外部预设信息应用于对象所调整的对象的电平或位置。
在图15中，上部分中的图形对象指示在应用预设信息或者外部预设信息之前的对象的电平等于在应用预设信息或者外部预设信息之后的对象的电平的情况。中间部分中的图形对象指示通过应用预设信息或者外部预设信息所调整的对象的电平大于在应用预设信息或者外部预设信息之前的对象的电平。而且，下部分中的图形对象指示通过应用预设信息或者外部预设信息来降低对象的电平。
因此，使用指示应用预设信息或者外部预设信息之前和之后的对象的电平或位置的至少一个或多个图形对象，便于用户了解预设信息或者外部预设信息如何调整每个对象。而且，由于用户能够容易地识别预设信息或者外部预设信息的特征，因此便于用户在必要时选择适当的预设信息或者外部预设信息。
图16是根据本发明的一个实施例的包括外部预设信息接收单元、外部预设信息应用确定单元、静态预设信息接收单元、动态预设信息接收单元和渲染单元的产品的示意图，并且图17A和图17B是根据本发明的另一实施例的产品的关系的示意图，该产品中的每一个包括外部预设信息接收单元、外部预设信息应用确定单元、静态预设信息接收单元、动态预设信息接收单元和渲染单元。
参考图16，有线/无线通信单元1610通过有线/无线通信来接收比特流。具体地，有线/无线通信单元1610包括有线通信单元1616、红外通信单元1612、蓝牙单元1613和无线LAN通信单元1614中的至少一个。
用户认证单元1620接收用户信息输入，并且然后执行用户认证。用户认证单元1620可以包括指纹识别单元1621、虹膜识别单元1622、面部识别单元1623和语音识别单元1624中的一个。在该情况下，用户认证可以以如下方式执行：接收指纹信息、虹膜信息、面部轮廓信息或语音信息的输入；将输入的信息转换为用户信息；并且然后确定用户信息是否匹配登记的用户数据。
输入单元1630是使得用户能够输入各种类型的命令的输入设备。而且，输入单元1630可以包括小键盘单元1631、触摸板单元1632和遥控器单元1633中的至少一个，输入单元1630的示例不限于此。
同时，如果用于从外部预设信息接收单元1642输入的外部预设信息和从有线/无线通信单元1610输入的预设信息中选择将使用的信息的信息经由显示单元1662显示在屏幕上，则用户能够经由输入单元1630输入选择信号。而且，基于选择的信号选择的选择的外部预设信息(或者，预设信息)被输入到控制单元1650。而且，如果从元数据接收单元1641输出的多个外部预设渲染参数的外部预设元数据被显示在显示单元1662的屏幕上，则用户能够经由输入单元1630来选择外部预设元数据。而且，关于选择的外部预设元数据的信息被输入到控制单元1650。
信号解码单元1640包括外部预设信息接收单元1641、外部预设信息应用确定单元1642、静态预设信息接收单元1643、动态预设信息接收单元1644和渲染单元1645。由于它们具有与前面的图4中示出的外部预设信息接收单元430、外部预设信息应用确定单元440、静态预设信息接收单元450和动态预设信息接收单元460相同的配置和功能，因此在下面的描述中将省略它们的细节。
控制单元1650从输入设备接收输入信号，并且控制信号解码单元1640和输出单元1660的所有过程。如前面的描述中提到的，如果关于输入单元1630选择的预设元数据或者外部预设元数据的信息以及选择的预设信息或者外部预设信息的类型作为选择信号被输入到控制单元1650，并且如果指示预设信息被包括在比特流的哪个区域中的预设属性信息(preset_attribute_information)从有线/无线通信单元1610被输入，则静态预设信息接收单元1643和动态预设信息接收单元1644接收与选择的预设元数据相对应的预设渲染参数，并且然后基于该预设属性信息和选择信号，使用接收到的参数来解码音频信号。
同时，如果确定使用外部预设信息，则不论预设属性信息如何，都基于选择信号来将与选择的外部预设元数据相对应的外部预设渲染参数输入到动态预设信息接收单元1643。
而且，输出单元1660是用于输出由信号解码单元1640生成的输出信号等的元件。输出单元1660可以包括扬声器单元1661和显示单元1662。如果输出信号是音频信号，则其经由扬声器单元1661输出。如果输出信号是视频信号，则其经由显示单元1662输出。而且，输出单元1660经由显示单元1662在屏幕上显示由控制单元1650选择的预设元数据或者外部预设元数据。
图17A和17B示出了与图11中示出的产品相对应的终端和服务器之间的关系。
参考图17A，可以观察到可以经由有线/无线通信单元来在第一终端1710和第二终端1720之间执行数据或比特流的双向通信。经由有线/无线通信单元交换的数据或比特流可以包括图1A、图1B、图2和图9中示出的比特流或者包括参考本发明的图1至图16描述的本发明的预设属性信息、预设渲染参数、预设元数据、外部预设渲染参数、外部预设元数据等的数据中的一个。
参考图17B，可以观察到可以在服务器1730和第一终端1740之间执行有线/无线通信。
图18是其中实现根据本发明的一个实施例的广播信号解码装置1800的示意性框图，其中，音频解码器包括预设属性确定单元、外部预设信息接收单元、静态或动态预设信息接收单元和渲染单元。
参考图18，解复用器1820从调谐器1810接收与电视广播相关的多个数据。接收到的数据由解复用器1820来分离，并且然后由数据解码器1830来选择。同时，由解复用器1820选择的数据可以被存储在诸如HDD的存储介质1850中。
由解复用器1820选择的数据被输入到包括音频解码器1841和视频解码器1842的解码器1840，以被解码为音频信号和视频信号。根据本发明的一个实施例，音频解码器1841包括外部预设信息接收单元1841a、外部预设信息应用确定单元1841b、静态预设信息接收单元1841c、动态预设信息接收单元1841d和渲染单元1841e。由于它们具有与外部预设信息接收单元430、外部预设信息应用确定单元440、静态预设信息接收单元450和动态预设信息接收单元460相同的配置和功能，因此在下面的描述中省略了它们的细节。
信号解码单元1841通过使用接收到的比特流、预设元数据(或者外部预设元数据)和预设渲染参数(或者外部预设渲染参数)对音频信号进行解码来生成输出信号，并且然后输出文本类型的预设元数据或者外部预设元数据。
显示单元1870视觉化或显示从音频解码器1842输出的视频信号以及从音频解码器1841输出的外部预设元数据。显示单元1870包括扬声器单元(在附图中未示出)。而且，其中使用外部预设信息调整从音频解码器1841输出的对象的电平的音频信号经由显示单元1870中包括的扬声器单元来输出。而且，解码器1840解码的数据可以被存储在诸如HDD的存储介质1850中。
同时，信号解码装置1800可以进一步包括应用管理器1860，其能够控制通过从用户输入信息而接收到的多个数据。应用管理器1860包括用户接口管理器1861和服务管理器1862。用户接口管理器1861控制用于从用户接收信息输入的接口。例如，用户接口管理器1861能够控制在显示单元1870上视觉化的文本的字体类型、屏幕亮度、菜单配置等。同时，如果广播信号由解码器1840来解码并且由显示单元1870输出，则服务管理器1862能够使用用户输入的信息来控制接收到的广播信号。例如，服务管理器1862能够提供广播频道设定、警报功能设定、成人认证功能等。从应用管理器1860输出的数据通过传输到显示单元1870以及解码器1840而是可用的。
工业实用性
因此，本发明适用于音频信号编码/解码。
尽管这里参考本发明的优选实施例描述和图示了本发明，但是对于本领域的技术人员显然的是，在不偏离本发明的精神和范围的情况下，可以对其进行各种修改和变化。因此，本发明旨在涵盖落入所附权利要求及其等同物的范围内的本发明的修改和变化。

Claims (13)

1.一种用于处理音频信号的装置，包括：
信息接收单元，所述信息接收单元接收包括至少一个对象的下混合信号以及用于渲染所述下混合信号中包括的至少一个对象的多个预设信息；
外部预设信息接收单元，所述外部预设信息接收单元接收从外部输入的多个外部预设信息以及指示被应用了所述外部预设信息的对象的数目的应用对象数目信息；
外部预设应用确定单元，所述外部预设应用确定单元基于所述应用对象数目信息来确定是否将所述多个外部预设信息应用于所述下混合信号；
外部预设信息选择单元，如果选择了所述多个外部预设信息，则所述外部预设信息选择单元在所述多个外部预设信息中选择一个外部预设信息；以及
渲染单元，所述渲染单元通过将所述外部预设信息应用于所有数据区域来控制所述对象，
其中，所述外部预设信息包括用于渲染所述下混合信号的外部预设渲染参数和指示所述外部预设渲染参数的属性的外部预设元数据。
2.根据权利要求1所述的装置，其中，所述外部预设应用确定单元进一步使用指示是否将所述外部预设信息应用于所述下混合信号的外部元数据信息。
3.根据权利要求1所述的装置，其中，所述外部预设信息接收单元包括外部预设渲染参数接收单元，所述外部预设信息接收单元接收作为从外部输入的渲染数据的外部预设渲染参数；以及外部预设元数据接收单元，所述外部预设元数据接收单元接收指示所述外部预设渲染参数的属性的外部预设元数据。
4.根据权利要求1所述的装置，进一步包括：
显示单元，所述显示单元显示所述多个外部预设元数据以在所述多个外部预设信息中选择一个外部预设信息；以及
预设信息输入单元，所述预设信息输入单元被输入有在所述多个外部预设元数据中选择一个外部预设元数据的选择信号，
其中，所述预设信息选择单元基于所述选择信号来选择所述一个外部预设信息。
5.根据权利要求4所述的装置，其中，所述显示单元进一步显示基于所述选择信号的选择的外部预设元数据选择。
6.根据权利要求4所述的装置，其中，所述显示单元包括指示所述对象的电平或位置的一个或多个图形元素。
7.根据权利要求6所述的装置，其中，对所述图形元素进行修改以指示所述对象的电平或位置以及激活。
8.根据权利要求4所述的装置，其中，当所述显示单元操作地耦合到所述外部预设信息选择单元时，所述显示单元一次显示所述多个外部预设元数据。
9.根据权利要求1所述的装置，进一步包括：
输出单元，所述输出单元输出修改的对象；以及
存储单元，所述存储单元存储所选择的外部预设信息。
10.一种处理音频信号的方法，包括：
接收包括至少一个对象的下混合信号、用于渲染所述下混合信号中包括的至少一个对象的多个预设信息、从外部输入的多个外部预设信息以及指示应用了所述外部预设信息的对象的数目的应用对象数目信息；
基于所述应用对象数目信息来确定是否将所述多个外部预设信息应用于所述下混合信号；
如果选择了所述多个外部预设信息，则在所述多个外部预设信息中选择一个外部预设信息；以及
通过将所述外部预设信息应用于所有数据区域来控制所述对象，
其中，所述外部预设信息包括用于渲染所述下混合信号的外部预设渲染参数和指示所述外部预设渲染参数的属性的外部预设元数据。
11.根据权利要求10所述的方法，其中，所述确定进一步使用指示是否将所述外部预设信息应用于所述下混合信号的外部元数据信息。
12.根据权利要求10所述的方法，在所述渲染之后，进一步包括：
显示所述对象的受控电平和所述选择的外部预设元数据。
13.根据权利要求10所述的方法，在所述渲染之后，进一步包括：
存储所述选择的外部预设信息。
CN200980127962.0A 2008-07-15 2009-07-15 处理音频信号的方法和装置 Expired - Fee Related CN102100009B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US8069208P 2008-07-15 2008-07-15
US61/080,692 2008-07-15
PCT/KR2009/003892 WO2010008200A2 (en) 2008-07-15 2009-07-15 A method and an apparatus for processing an audio signal

Publications (2)

Publication Number Publication Date
CN102100009A true CN102100009A (zh) 2011-06-15
CN102100009B CN102100009B (zh) 2015-04-01

Family

ID=41091747

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980127962.0A Expired - Fee Related CN102100009B (zh) 2008-07-15 2009-07-15 处理音频信号的方法和装置

Country Status (5)

Country Link
US (1) US8452430B2 (zh)
EP (2) EP2146342A1 (zh)
KR (2) KR101171314B1 (zh)
CN (1) CN102100009B (zh)
WO (1) WO2010008200A2 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105474310A (zh) * 2013-07-22 2016-04-06 弗朗霍夫应用科学研究促进协会 用于低延迟对象元数据编码的装置及方法
CN107731239A (zh) * 2013-04-03 2018-02-23 杜比实验室特许公司 用于生成和交互式地渲染基于对象的音频的方法和系统
CN111903136A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法和程序

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9473813B2 (en) * 2009-12-31 2016-10-18 Infosys Limited System and method for providing immersive surround environment for enhanced content experience
WO2012045203A1 (en) * 2010-10-05 2012-04-12 Huawei Technologies Co., Ltd. Method and apparatus for encoding/decoding multichannel audio signal
KR20120071072A (ko) 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
KR101935020B1 (ko) * 2012-05-14 2019-01-03 한국전자통신연구원 오디오 데이터 제공 방법 및 장치, 오디오 메타데이터 제공 방법 및 장치, 오디오 데이터 재생 방법 및 장치
CN105229731B (zh) 2013-05-24 2017-03-15 杜比国际公司 根据下混的音频场景的重构
WO2014187986A1 (en) 2013-05-24 2014-11-27 Dolby International Ab Coding of audio scenes
US9380383B2 (en) * 2013-09-06 2016-06-28 Gracenote, Inc. Modifying playback of content using pre-processed profile information
KR102160254B1 (ko) 2014-01-10 2020-09-25 삼성전자주식회사 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
WO2016035731A1 (ja) * 2014-09-04 2016-03-10 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106663431B (zh) * 2014-09-12 2021-04-13 索尼公司 发送装置、发送方法、接收装置以及接收方法
US9774974B2 (en) 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
CN106796797B (zh) 2014-10-16 2021-04-16 索尼公司 发送设备、发送方法、接收设备和接收方法
EP3285257A4 (en) 2015-06-17 2018-03-07 Samsung Electronics Co., Ltd. Method and device for processing internal channels for low complexity format conversion
KR102005929B1 (ko) * 2018-07-26 2019-07-31 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
KR102217832B1 (ko) * 2020-09-18 2021-02-19 삼성전자주식회사 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
KR102290417B1 (ko) * 2020-09-18 2021-08-17 삼성전자주식회사 액티브다운 믹스 방식을 이용한 입체 음향 재생 방법 및 장치
WO2022145158A1 (ja) 2020-12-28 2022-07-07 東京応化工業株式会社 感光性ドライフィルム、積層フィルム、積層フィルムの製造方法及びパターン化されたレジスト膜の製造方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1554098A (zh) * 2001-09-11 2004-12-08 汤姆森特许公司 用于激活自动均衡模式的方法和装置
WO2008039041A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000209699A (ja) 1999-01-14 2000-07-28 Nissan Motor Co Ltd 音声出力制御装置
EP1427252A1 (en) * 2002-12-02 2004-06-09 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing audio signals from a bitstream
JP4165248B2 (ja) * 2003-02-19 2008-10-15 ヤマハ株式会社 音響信号処理装置及びパラメータ表示制御プログラム
US7613306B2 (en) 2004-02-25 2009-11-03 Panasonic Corporation Audio encoder and audio decoder
SE0400997D0 (sv) 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Efficient coding of multi-channel audio
DE102004043521A1 (de) 2004-09-08 2006-03-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals oder eines Parameterdatensatzes
US7903824B2 (en) 2005-01-10 2011-03-08 Agere Systems Inc. Compact side information for parametric coding of spatial audio
CN101253550B (zh) 2005-05-26 2013-03-27 Lg电子株式会社 将音频信号编解码的方法
TW200707197A (en) * 2005-08-01 2007-02-16 Asustek Comp Inc Multimedia apparatus and control method thereof capable of automatically selecting preset audio/video setting according to selected signal source
JP2007058930A (ja) * 2005-08-22 2007-03-08 Funai Electric Co Ltd ディスク再生装置
US7696907B2 (en) 2005-10-05 2010-04-13 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
KR100885700B1 (ko) 2006-01-19 2009-02-26 엘지전자 주식회사 신호 디코딩 방법 및 장치
EP1853092B1 (en) 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
CN101617360B (zh) 2006-09-29 2012-08-22 韩国电子通信研究院 用于编码和解码具有各种声道的多对象音频信号的设备和方法
KR20080048175A (ko) * 2006-11-28 2008-06-02 삼성전자주식회사 휴대 단말기의 음원 재생 시스템 및 재생 방법
JP5302207B2 (ja) * 2006-12-07 2013-10-02 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
EP2595151A3 (en) 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transcoding apparatus
KR100868475B1 (ko) * 2007-02-16 2008-11-12 한국전자통신연구원 객체기반 오디오 서비스를 위한 다중객체 오디오 콘텐츠파일의 생성, 편집 및 재생 방법과, 오디오 프리셋 생성방법
KR20080082917A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
WO2008120933A1 (en) * 2007-03-30 2008-10-09 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
US20090055005A1 (en) 2007-08-23 2009-02-26 Horizon Semiconductors Ltd. Audio Processor
US20090062944A1 (en) * 2007-09-04 2009-03-05 Apple Inc. Modifying media files
WO2009093866A2 (en) 2008-01-23 2009-07-30 Lg Electronics Inc. A method and an apparatus for processing an audio signal
EP2083585B1 (en) * 2008-01-23 2010-09-15 LG Electronics Inc. A method and an apparatus for processing an audio signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1554098A (zh) * 2001-09-11 2004-12-08 汤姆森特许公司 用于激活自动均衡模式的方法和装置
WO2008039041A1 (en) * 2006-09-29 2008-04-03 Lg Electronics Inc. Methods and apparatuses for encoding and decoding object-based audio signals
US20080140426A1 (en) * 2006-09-29 2008-06-12 Dong Soo Kim Methods and apparatuses for encoding and decoding object-based audio signals

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107731239A (zh) * 2013-04-03 2018-02-23 杜比实验室特许公司 用于生成和交互式地渲染基于对象的音频的方法和系统
US11270713B2 (en) 2013-04-03 2022-03-08 Dolby Laboratories Licensing Corporation Methods and systems for rendering object based audio
CN107731239B (zh) * 2013-04-03 2022-04-15 杜比实验室特许公司 用于生成和交互式地渲染基于对象的音频的方法和系统
US11769514B2 (en) 2013-04-03 2023-09-26 Dolby Laboratories Licensing Corporation Methods and systems for rendering object based audio
CN105474310A (zh) * 2013-07-22 2016-04-06 弗朗霍夫应用科学研究促进协会 用于低延迟对象元数据编码的装置及方法
CN111903136A (zh) * 2018-03-29 2020-11-06 索尼公司 信息处理装置、信息处理方法和程序

Also Published As

Publication number Publication date
KR20110052562A (ko) 2011-05-18
WO2010008200A2 (en) 2010-01-21
CN102100009B (zh) 2015-04-01
US20100017003A1 (en) 2010-01-21
EP2146342A1 (en) 2010-01-20
EP2146341A1 (en) 2010-01-20
KR20100008355A (ko) 2010-01-25
US8452430B2 (en) 2013-05-28
EP2146341B1 (en) 2013-09-11
WO2010008200A3 (en) 2010-06-24
KR101171314B1 (ko) 2012-08-10

Similar Documents

Publication Publication Date Title
CN102099854B (zh) 处理音频信号的方法和装置
CN102100009B (zh) 处理音频信号的方法和装置
CN102007532B (zh) 用于处理音频信号的方法和装置
US8195318B2 (en) Method and an apparatus for processing an audio signal
CN101926094B (zh) 用于处理音频信号的方法和设备
US8340798B2 (en) Method and an apparatus for processing an audio signal
CN102007533B (zh) 用于处理音频信号的方法和装置
US8326446B2 (en) Method and an apparatus for processing an audio signal

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150401

Termination date: 20180715