CN102696070B - 处理音频信号的设备及其方法 - Google Patents

处理音频信号的设备及其方法 Download PDF

Info

Publication number
CN102696070B
CN102696070B CN201180005568.7A CN201180005568A CN102696070B CN 102696070 B CN102696070 B CN 102696070B CN 201180005568 A CN201180005568 A CN 201180005568A CN 102696070 B CN102696070 B CN 102696070B
Authority
CN
China
Prior art keywords
information
control
signal
channel
restricted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180005568.7A
Other languages
English (en)
Other versions
CN102696070A (zh
Inventor
吴贤午
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN201510187552.2A priority Critical patent/CN105047206B/zh
Publication of CN102696070A publication Critical patent/CN102696070A/zh
Application granted granted Critical
Publication of CN102696070B publication Critical patent/CN102696070B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034—Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

公开了用于处理音频信号的设备及其方法。本发明包括：接收下混合信号和边信息；从边信息提取控制限制信息；接收用于控制至少一个对象信号的增益或平移的控制信息；基于控制信息和对象信息而不使用控制限制信息来产生第一多声道信息和第一下混合处理信息中的至少一个；以及，通过向下混合信号应用第一多声道信息和第一下混合处理信息中的至少一个来产生输出信号，其中，控制限制信息与指示控制信息的限制程度的参数相关。

Description

处理音频信号的设备及其方法
技术领域
本发明涉及一种用于处理音频信号的设备及其方法。虽然本发明适合于宽范围的应用，但是它特别适合于编码或解码音频信号。
背景技术
通常，在用于将多个对象下混合为单声道或立体声信号的处理中，分别从对象信号提取参数。这些参数可用于解码器。并且，经由用户进行的选择来控制对象中的每个的平移（panning）和增益。
发明内容
技术问题
然而，为了控制每个对象信号，需要适当地定位或平移在下混合中包括的每个源。
此外，对象参数需要通过声道定向的解码方案来被灵活地转换为用于上混合的多声道参数，以提供向下的兼容性。
技术解决方案
因此，本发明涉及一种用于处理音频信号的设备及其方法，所述设备及其方法实质上消除了由于现有技术的限制和缺点导致的问题中的一个或多个。
本发明的一个目的是提供一种用于处理音频信号的设备及其方法，通过所述设备及其方法，控制对象的增益或平移以输出单声道信号、立体声信号或多声道信号。
本发明的另一个目的是提供一种用于处理音频信号的设备及其方法，通过所述设备及其方法，当用户调整对象的增益或平移时，可以控制由于过度抑制或提升特定对象的增益或平移而产生的失真。
本发明的另一个目的是提供一种用于处理音频信号的设备及其方法，通过所述设备及其方法，可以以与控制常规对象的失真不同的方式来控制归因于在卡拉OK模式或独奏模式等中过度抑制特定对象中的过度渲染导致的失真。
本发明的另一个目的是提供一种用于处理音频信号的设备及其方法，通过所述设备及其方法，可以在修改控制以防止由于用户的控制导致失真中、经由要由用户识别的接口输出修改的渲染结果。
本发明的另一个目的是提供一种用于处理音频信号的设备及其方法，通过所述设备及其方法，可以根据用户的意图来禁止用于防止失真的控制。
有益效果
因此，本发明提供了下面的效果或优点。
首先，在控制对象的增益和平移中，本发明限制过度渲染，由此增强声音质量。
其次，当在卡拉OK模式或独奏模式的情况下需要过度控制对象信号时，本发明能够使用独立的控制限制信息来有效率地对控制执行限制。
第三，在对于由用户输入的控制施加限制的情况下，本发明经由接口来输出被限制的控制，由此通过向用户通知修改或改变了用户特定的控制来更有效率地执行控制。
第四，在用户试图100%地应用用户控制而不管声音质量劣化存在或不存在的情况下，本发明关断用于失真防止的控制，并且跳过控制限制信息，由此使得用户能够执行用户特定的渲染。
附图说明
附图被包括来提供本发明的进一步的理解并且被包含到本说明书中并且构成其一部分，附图图示本发明的实施例，并且与说明书一起用于解释本发明的原理。
在附图中：
图1是根据本发明的一个实施例的音频信号处理设备的配置的框图；
图2是根据本发明的第一实施例的在音频信号处理设备中的解码器的配置的框图；
图3是根据本发明的一个实施例的在图2中所示的提取单元220的配置的详细框图；
图4是在图2中所示的控制限制单元230的、根据第一实施例230A的配置的详细框图；
图5是在图2中所示的控制限制单元230的、根据第二实施例230B的配置的详细框图；
图6是用于在图2中所示的用户界面250的屏幕配置的一个示例的图；
图7是用于在图2中所示的用户界面250上显示的屏幕中的修改的控制信息的一个示例的图；
图8是根据本发明的第二实施例的在音频信号处理设备中的解码器的配置的框图；
图9是在图8中所示的控制限制单元330的、根据第一实施例330A的配置的详细框图；
图10是在图8中所示的控制限制单元330的、根据第二实施例330B的配置的详细框图；
图11是在图8中所示的控制限制单元330的、根据第三实施例330B的配置的详细框图；
图12是用于在图8中所示的用户界面340上显示的屏幕上控制限制模式关断命令的输入的屏幕配置的一个示例的图；
图13是用于在图8中所示的用户界面340上显示的屏幕中显示的用户输入屏幕和修改的控制信息显示屏幕的一个示例的图；
图14是其中实现根据本发明的一个实施例的音频信号处理设备的产品的示意框图；以及
图15是用于描述在其中实现了根据本发明的一个实施例的音频信号处理设备的产品之间的关系的图。
具体实施方式
本发明的其他特征和优点将在随后的说明书中阐述，并且，将从说明书中部分地显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所撰写的说明书、其权利要求书以及附图中所特别指出的结构来实现和获得。
为了实现这些和其他优点并且根据本发明的目的，如体现和广泛描述的，提供了一种用于处理音频信号的方法，包括：接收下混合信号和边信息；提取扩展类型标识符，所述扩展类型标识符用于指示扩展区域是否包括来自所述边信息的残余信号；当所述扩展类型标识符指示所述扩展区域包括所述残余信号时，从所述边信息提取用于残余使用模式的控制限制信息；接收用于控制至少一个对象信号的增益或平移的控制信息；基于所述控制信息和所述控制限制信息来估计修改的控制信息；使用所述残余信号从所述下混合信号获得增强的对象信号和一个或多个常规对象信号中的至少一个；以及，使用所述修改的控制信息与增强的对象信号和一个或多个常规对象信号中的至少一个来产生输出信号，其中，在所述残余使用模式的情况下，用于残余使用模式的所述控制限制信息与用于指示所述控制信息的限制程度的参数相关。
根据本发明，产生所述输出信号包括：基于所述修改的控制信息和对象信息来产生下混合处理信息；以及，通过向所述增强的对象信号和一个或多个常规对象信号中的至少一个应用所述修改的控制信息来产生所述输出信号。
根据本发明，所述输出信号的声道的数量等于所述下混合信号的声道的数量。
根据本发明，所述至少一个对象信号包括所述增强的对象信号和一个或多个常规对象信号。
根据本发明，所述控制信息包括用于控制整个一个或多个常规对象信号的增益的一个参数。
根据本发明，当所述扩展类型标识符指示所述扩展区域包括所述残余信号时，所述控制信息包括用于指示卡拉OK模式和独奏模式之一的模式选择信息。
为了进一步实现这些和其他优点并且根据本发明的目的，提供了一种用于处理音频信号的设备，包括：解复用器，其用于接收下混合信号和边信息；提取单元，其用于提取扩展类型标识符，所述扩展类型标识符用于指示扩展区域是否包括来自所述边信息的残余信号，并且当所述扩展类型标识符指示所述扩展区域包括所述残余信号时，所述提取单元从所述边信息提取用于残余使用模式的控制限制信息；控制限制单元，其用于接收用于控制至少一个对象信号的增益或平移的控制信息，并且基于所述控制信息和所述控制限制信息来估计修改的控制信息；残余处理单元，其用于使用所述残余信号从所述下混合信号获得增强的对象信号和一个或多个常规对象信号中的至少一个；以及，对象解码器，其用于使用所述修改的控制信息与增强的对象信号以及一个或多个常规对象信号中的至少一个来产生输出信号，其中，在所述残余使用模式的情况下，用于残余使用模式的所述控制限制信息与用于指示所述控制信息的限制程度的参数相关。
根据本发明，所述对象解码器包括：信息产生单元，其用于基于所述修改的控制信息和对象信息来产生下混合处理信息；以及，下混合处理单元，其用于通过向所述增强的对象信号以及一个或多个常规对象信号中的至少一个应用所述修改的控制信息来产生所述输出信号。
根据本发明，所述输出信号的声道的数量等于所述下混合信号的声道的数量。
根据本发明，所述至少一个对象信号包括所述增强的对象信号和一个或多个常规对象信号。
根据本发明，所述控制信息包括用于控制整个一个或多个常规对象信号的增益的一个参数。
根据本发明，当所述扩展类型标识符指示所述扩展区域包括所述残余信号时，所述控制信息包括用于指示卡拉OK模式和独奏模式之一的模式选择信息。
为了进一步实现这些和其他优点并且根据本发明的目的，提供了一种用于处理音频信号的方法，包括：接收下混合信号和边信息；从所述边信息提取控制限制信息；接收用于控制至少一个对象信号的增益或平移的控制信息；基于所述控制信息和对象信息而不使用所述控制限制信息来产生第一多声道信息和第一下混合处理信息中的至少一个；以及，通过向所述下混合信号应用所述第一多声道信息和所述第一下混合处理信息中的至少一个来产生输出信号，其中，提供与用于指示所述控制信息的限制程度的参数相关的所述控制限制信息。
根据本发明，所述方法进一步包括从所述边信息提取关断使能信息，其中，所述关断使能信息指示是否必须使用或可以选择性地使用所述控制限制信息。
根据本发明，当所述关断使能信息指示可以选择性地使用所述控制限制信息时，在不使用所述控制限制信息的情况下，产生所述第一多声道信息和所述第一下混合处理信息。
根据本发明，当所述关断使能信息指示必须使用所述控制限制信息时，基于所述控制信息和所述控制限制信息来估计修改的控制信息。
根据本发明，所述方法进一步包括：基于所述修改的控制信息、对象信息和所述控制限制信息来产生第二多声道信息和第二下混合处理信息中的至少一个。
根据本发明，当所述输出信号对应于多声道信号时，产生所述第二多声道信息，并且当所述输出信号对应于单声道或立体声信号时，不产生所述第二多声道信息。
根据本发明，当所述输出信号对应于多声道信号时，产生所述第一多声道信息。
当所述输出信号对应于单声道或立体声信号时，不产生所述第一多声道信息。
为了进一步实现这些和其他优点并且根据本发明的目的，提供了一种用于处理音频信号的设备，包括：解复用器，其用于接收下混合信号和边信息；提取单元，其用于从所述边信息提取控制限制信息；控制限制单元，其用于接收用于控制至少一个对象信号的增益或平移的控制信息；信息产生单元，其用于基于所述控制信息和对象信息而不使用所述控制限制信息来产生第一多声道信息和第一下混合处理信息中的至少一个；以及，输出声道产生单元，其用于通过向所述下混合信号应用所述第一多声道信息和所述第一下混合处理信息中的至少一个来产生输出信号，其中，所述控制限制信息与用于指示所述控制信息的限制程度的参数相关。
根据本发明，所述提取单元从所述边信息进一步提取关断使能信息，其中，所述关断使能信息指示是否必须使用或可以选择性地使用所述控制限制信息。
根据本发明，当所述关断使能信息指示可以选择性地使用所述控制限制信息时，在不使用所述控制限制信息的情况下，产生所述第一多声道信息和所述第一下混合处理信息。
根据本发明，当所述关断使能信息指示必须使用所述控制限制信息时，所述控制限制单元基于所述控制信息和所述控制限制信息来估计修改的控制信息。
根据本发明，所述信息产生单元基于所述修改的控制信息、对象信息和所述控制限制信息来产生第二多声道信息和第二下混合处理信息中的至少一个。
根据本发明，当所述输出信号对应于多声道信号时，产生所述第二多声道信息，当所述输出信号对应于单声道或立体声信号时，不产生所述第二多声道信息。
根据本发明，当所述输出信号对应于多声道信号时，产生所述第一多声道信息，当所述输出信号对应于单声道或立体声信号时，不产生所述第一多声道信息。
应当明白，上面的一般说明和下面的详细说明是示例性和解释性的，并且旨在提供所要求保护的本发明的进一步的解释。
本发明的模式
现在详细说明本发明的优选实施例，在附图中图示了优选实施例的示例。首先，在本说明书和权利要求中使用的术语或词语不被解释为限于一般或词典的含义，并且应当基于本发明人能够适当地限定该术语的概念以便以最佳的方式描述本发明人的发明的原理，来被解释为与本发明的技术思想匹配的含义和概念。在本公开中公开的实施例和在附图中所示的配置仅是一个优选实施例，并且不表示本发明的所有技术思想。因此，应当明白，本发明覆盖本发明的修改和改变，只要它们在提交本申请时在所附的权利要求和它们的等同物的范围内。
根据本发明，在本说明书中未公开的术语可以被解释为与本发明的技术思想匹配的下面的含义和概念。具体地说，可以将“编译”选择性地解释为“编码”或“解码”，并且在本公开中的“信息”是通常包括值、参数、系数和元素等的术语，并且其含义有时可以被解释为不同，本发明不限于此。
图1是根据本发明的一个实施例的音频信号处理设备的配置的框图。
参见图1，编码器100包括对象编码器110和边信息产生单元120，并且能够进一步包括复用器130。
对象编码器110通过下混合至少一个或多个对象信号来产生单声道或立体声声道的下混合信号DMX。在该情况下，该至少一个或多个对象信号包括至少一个增强的对象信号（EAO）以及至少一个常规对象信号。例如，增强的对象对应于在歌曲中的伴随的音乐，并且常规对象可以对应于声乐（vocal）。在卡拉OK模式的情况下，在抑制常规对象的同时保持增强的对象。在独奏模式的情况下，在抑制增强的对象的同时保持常规对象。
边信息产生单元120以下面的方式产生关于至少一个对象信号的边信息。首先，在将至少一个对象信号下混合到下混合信号DMX的处理中，边信息产生单元120产生对象信息。在该情况下，对象信息（OI）是关于在下混合信号中包括的对象的信息，并且也是从下混合信号（DMX）产生多个对象信号所需的信息。具体地说，对象信息可以包括对象级别信息和对象相关信息等，本发明不限于此。此外，可以在对象信息中进一步包括下混合增益信息（DMG：下混合增益）和下混合声道级别差（DCLD）。在该情况下，下混合增益信息（DMG）指示在下混合对应的对象前之向每个对象施加的增益。并且，下混合声道级别差（DCLD）指示在下混合信号是立体声信号的情况下向左声道施加的每个对象与向右声道施加的对应的对象的比率。
并且，边信息产生单元120产生扩展类型标识符、残余信号、正常模式的控制限制信息、残余使用模式的控制限制信息和关断使能信息。在该情况下，（正常模式或残余使用模式的）控制限制模式对应于用于为了声音重量增强限制由用户输入确定的控制信息的信息。下面将与解码装置一起详细描述诸如扩展类型标识符等的信息。
复用器130通过将包括对象信息、扩展类型标识符等的边信息与下混合（DMX）复用来产生至少一个比特流。
图2是根据本发明的第一实施例的音频信号处理设备中的解码器的配置的框图。
参见图2，根据本发明的第一实施例的解码器200包括提取单元220和控制限制单元230，并且能够进一步包括解复用器210、残余处理单元240、用户界面250、信息产生单元260和下混合处理单元270。选用地，解码器200能够进一步包括多声道产生单元（未在附图中示出）。此外，下混合处理单元270和信息产生单元260两者可以被称为对象解码器（未在附图中示出）。
解复用器210从至少一个接收到的比特流提取下混合信号DMX和边信息。如在上面编码器的说明中所述，下混合信号是通过下混合至少一个或多个对象信号而产生的信号，并且可以包括单声道或立体声信号。在该情况下，这至少一个对象信号可以包括增强的对象信号以及常规对象。
提取单元220从边信息提取对象信息。如果在边信息中存在残余信号，则提取单元220提取残余信号。此外，提取单元220能够提取扩展类型标识符、用于残余使用模式的控制限制信息，将参见图3描述其细节。残余信号被传递到残余处理单元240。如果必要，对象信息被传递到信息产生单元260或可以被传递到控制限制单元230。
控制限制单元230从用户界面250等接收控制信息，修改接收的控制信号，然后输出修改的控制信息。在该情况下，提供控制信息以对于在下混合信号中包括的至少一个对象控制对象的增益或平移。同时，如果控制信息具有矩阵类型，则可以将它表示为下面的公式。
[公式1]
M ren = m 0 , Lf m 1 , Lf m 2 , Lf . . . m N - 1 , Lf m 0 , Rf m 1 , Rf m 2 , Rf . . . m N - 1 , Rf m 0 , C m 1 , C m 2 , C . . . m N - 1 , C m 0 , Lfe m 1 , Lfe m 2 , Lfe . . . m N - 1 , Lfe m 0 , Ls m 1 , Ls m 2 , Ls . . . m N - 1 , Ls m 0 , Rs m 1 , Rs m 2 , Rs . . . m N - 1 , Rs
在公式1中，N指示对象的总数。并且，Lf、Rf、C、Lfe、Ls和Rs指示多声道（即，左前声道、右前声道、中心声道、低频声道、左环绕声声道和右环绕声声道）。
如果在下混合信号中包括增强的对象并且在残余信号中包括边信息，则控制信息可以包括用于残余使用模式（例如，卡拉OK模式、独奏模式等）的模式选择信息。
同时，控制限制单元230能够使用对象信号（具体上是下混合增益信息（DMG）控制限制信息等），以修改或变换控制信息，这将在下面参见图4和图5来详细描述。控制限制单元230向信息产生单元260或用户界面250传递修改的控制信息。如果修改的控制信息包括关于增强的对象的控制，则它也可以被传递到残余处理单元240。
用户界面250接收用于用户特定的对象控制的命令。如果在下混合信号中包括残余并且可用残余使用模式（例如，卡拉OK模式、独奏模式等），则能够提供用于在残余使用模式中关于增强的对象的控制的独立屏幕，这将在下面参见图6来描述。此外，能够输出从控制限制单元230接收的修改的控制信息，这将在下面参见图7来描述。
在从提取单元220接收残余信号的情况下，残余处理单元240使用接收的残余信号从下混合信号DMX提取增强的对象（EAO）和/或至少一个常规对象。在该情况下，残余信号可以包括在编码器中下混合增强的对象和常规对象的过程中产生的信号，或者可以包括从下混合信号DMX提取增强的对象或至少一个常规对象所需的信号。同时，在用于提取增强的对象（EAO）的处理中，包括对象级别差等的对象信息也可以被进一步用作残余信号。
其后，如果在控制信息中包括关于增强的对象（EAO）的控制，则残余处理单元240基于修改的控制信息对于增强的对象执行控制。随后，残余处理单元240向下混合处理单元270传递至少一个常规对象和增强的对象（EAO）。
信息产生单元260使用从提取单元220接收的对象信息和从控制限制单元230接收的修改的控制信息来产生下混合处理信息。在该情况下，下混合处理信息是向增强的对象和/或常规对象应用以产生处理的下混合信号的信息。如果需要多声道输出，则信息产生单元260能够使用对象信息和修改的控制信息来进一步产生多声道信息。在该情况下，多声道信息是用于通过对下混合信号上混合来产生多声道的信息，并且能够包括空间参数，诸如声道级别差（CLD）等。具体地说，多声道信息包括帧信息（Frameinfo()）、OTT信息（OttData()）等。帧信息（Frameinfo()）可以包括多个参数集和用于指示该参数集被应用到哪个时隙的帧信息。并且，OTT信息可以包括OTT（一对二）盒所需的参数，诸如声道级别差（CLD）、声道相关信息（ICC）等。
但是，如果在残余使用模式的条件中存在下混合信号的声道的数量应当等于输出信号的数量的条件，则信息产生单元260不产生多声道信息，而是仅产生下混合处理信息。在该条件下，由控制限制单元230接收的控制信息可以通过将公式1规划为立体声或单声道而不是多声道而具有专门的配置。
下混合处理单元270通过使用下混合处理信息处理增强的对象和/或常规对象来输出处理的下混合信号。如果上述的条件存在，则下混合处理单元270将处理的下混合信号（即，处理的增强的对象和/或处理的常规对象）输出为时域的输出信号。
图3是根据本发明的一个实施例的在图2中所示的提取单元220的配置的详细框图。
参见图3，提取单元220可以包括标识符提取部分222、限制信息提取部分224和残余提取部分226。
标识符提取部分222从边信息提取扩展类型标识符。在该情况下，扩展类型标识符包括用于指示边信息的扩展区域是否包括残余信号的标识符。并且，向限制信息提取部分224传递所提取的扩展类型标识符。
如果扩展类型标识符指示扩展区域包括残余信号，则限制信息提取部分224从边信息提取用于残余使用模式的限制信息。
在该情况下，控制限制信息是对于用户通过用户界面250输入的控制信息施加限制以便防止声音质量失真或劣化的信息。因为被下混合为下混合信号的至少一个或多个对象具有相关性，所以如果过度地抑制或提升特定对象，则可能引起声音质量会劣化的问题。如果用户试图执行极端渲染，则在施加足够的限制使得声音质量不严重失真方面控制限制信息起到作用。控制限制信息与用于指示对于控制信息的限制程度的参数相关联。
同时，用于残余使用模式的控制限制信息表示适合于残余使用模式（例如，卡拉OK模式、独奏模式等）的控制限制信息。例如，卡拉OK模式或独奏模式是用于执行抑制除了背景音乐之外的所有对象或抑制除了声乐之外的所有对象的极端渲染的模式。因此，如果原样施加正常模式的控制限制信息，则可以不激励卡拉OK模式或独奏模式的本来目的。例如，声乐分量在卡拉OK模式中仍然存在，或者，可能在独奏模式中混合背景音乐分量。因此，如果接收到用于极端渲染的残余信号，则分别接收适合于残余使用模式的控制限制信息。残余使用模式的控制限制信息被传递到前面的参见图2描述的控制限制单元230。
如果扩展类型标识符指示扩展区域包括残余信号，则残余提取部分226从边信息提取残余信号，并且然后向前面的参见图2所述的残余处理单元240传递残余信号。
图4是在图2中所示的控制限制单元230的、根据第一实施例230A的配置的详细框图。并且，图5是在图2中所示的控制限制单元230的、根据第二实施例230B的配置的详细框图。具体地说，在残余使用模式的情况下，根据第一实施例的控制限制单元230A使用用于增强的对象的独立的控制限制信息来修改控制信息。在残余使用模式的情况下，根据第二实施例的控制限制单元230B通过限制对于除了增强的对象之外的常规对象的控制来修改控制信息。
参见图4，控制限制单元230A包括模式确定部分232A和控制信息修改部分234A。
模式确定部分232A是被配置为确定残余使用模式（例如，卡拉OK模式和/或独奏模式）存在与否的部分。可以以解释由用户输入来控制增益和/或平移的数据的方式来确定残余使用模式的存在与否，或者可以基于是否接收到用于选择卡拉OK模式或独奏模式的独立输入来确定残余使用模式的存在与否。在后一种情况下，如果经由在图6或图7中所示的独立的卡拉OK抽头输入控制信息，则可以将输入的控制信息看作用于选择卡拉OK模式或独奏模式的输入。
如果在下混合中包括增强的对象，则模式确定部分232A能够确定在下混合中包括的多个对象中的哪个是增强的对象并且确定残余使用模式存在与否。
如果确定存在残余使用模式，则控制信息修改部分234A使用用于残余使用模式的控制限制信息来修改控制信息，然后输出修改的控制信息。用于残余使用模式的控制限制信息与用于指示在残余使用模式的情况下的控制信息的限制程度的参数相关联。例如，因为通常对于残余使用模式允许极端渲染，所以用于指示限制程度的参数的值可以小于正常模式的参数值。
相反，如果确定不存在残余使用模式，则控制信息修改部分234A能够使用用于正常模式的控制限制信息来修改控制信息。
同时，如果增加以下条件，即在残余使用模式中常规对象能够被一体地控制而不是被独立地控制，则由控制信息修改部分234A接收的控制信息可以包括除了增强的对象之外的常规对象中可互操作的信息。例如，经由诸如如图6（B）中所示的屏幕，可以基于经由耦合的平移钮或耦合的增益控制滑动器输入的信息来产生可互操作的控制信息。
因此，根据第一实施例的控制限制单元230A接收用于残余使用模式的控制限制信息。在残余使用模式的情况下，控制限制单元230A使用接收的控制限制信息来修改关于包括增强的对象的对象的控制信息。
参见图5，根据第二实施例的控制限制单元230B包括模式确定部分232B和控制信息修改部分234B。因为模式确定部分232B执行与前面的第一实施例的模式确定部分232A几乎类似的功能，所以将省略其描述。
不同于前面根据第一实施例的控制限制单元230B，在残余使用模式的情况下，控制信息修改部分234B不修改用于增强的对象的控制信息，而是修改关于常规对象的控制信息。在该情况下，可以接收或自行产生用于修改的控制限制信息。并且该控制限制信息可以不受一次控制常规对象的条件的影响。
不修改关于增强的对象的控制信息，而是修改关于常规对象的控制信息。因此，将修改的控制信息（Mren,limited）的一个示例表示为公式2和公式3。
在公式2中，N指示对象的总数，Lf、Rf、C、Lfe、Ls和Rs指示多声道（即，左前声道、右前声道、中心声道、低频声道、左环绕声声道和右环绕声声道）。Mren,limited指示修改的控制信息。
在公式2中，增强的对象包括第一对象和第二对象（j＝0，1）。
[公式3]
Mren，limited＝IEAOMren+(I-IEAO)Mren，limited_temp
在公式3中，Mren指示接收的控制信息[比较公式1]。
当总的对象数量是N时，增强的对象的索引是j，并且N×N指示对角矩阵，IEAO指示第j个对角元素，即，穿过对应于增强的对象的列的元素，被设置1并且其余元素被设置为0的矩阵。
Mren，limited_temp指示关于常规对象的、使用正常模式的控制限制信息修改的修改控制信息。
同时，用于修改关于常规对象的控制信息的正常模式的控制限制信息经由比特流被接收，或者可以经由在对象信息中的下混合增益信息（DMG）被产生。如在上面的描述中所述，下混合增益信息包括用于指示在下混合（DMX）中包括的每个对象的限度（extent）的增益。因此，当用户基于下混合增益信息来控制对象的增益或平移时，能够确定将施加什么限制程度（即，限制度）。
在上面的描述中，参见图2描述了根据第一实施例的解码器，并且参见图3查看了提取单元220的详细配置，并且，参见图4和图5描述了控制限制单元230的两种实施例。
图6是用于在图2中所示的用户界面250的屏幕配置的一个示例的图，并且，图7是用于在图2中所示的用户界面250上显示的屏幕中的修改的控制信息的一个示例的图。
参见图6，在图6（A）或图6（B）中的残余使用模式（例如，卡拉OK模式、独奏模式）的情况下，可以提供独立的输入窗口（即，卡拉OK抽头）。如在前面的说明中所述，可以将经由残余使用模式的输入窗口输入的控制信息看作用于选择残余使用模式（例如，卡拉OK模式或独奏模式）的输入。
参见图6（A），在用于残余使用模式的独立的输入窗口中存在总共4个对象obj1至obj4。并且，在4个对象中包括增强的对象obj1（EAO）以及常规对象obj2至obj4。并且，在独立的输入窗口中存在能够分别调整对象的增益的增益控制滑动器和能够分别调整对象的平移的平移钮。
同时，如在前面的第一实施例的控制限制单元230A的描述中所述，可以有下面的条件。首先，如果尽管存在增强的对象仍然执行控制限制，则不可能控制常规对象中的每个。因此，应当一次控制所有的对象。并且，图6（B）示出在如果存在这样的条件的情况下的屏幕的一个示例。虽然增强的对象的增益和/或平移是单独可能的，但是因为一次集体地调整常规对象，所以存在同时可调整的耦合的增益控制滑动器和同时可调整的耦合的平移钮。如果用户操纵属于耦合的增益控制滑动器的滑动器（或属于耦合的平移钮的平移钮），则整体地调整耦合的增益控制滑动器或耦合的平移钮。在该情况下，优选的是，显示用于示出一次集体地移位耦合的增益控制滑动器或耦合的平移钮的图像。
图7示出在图2中所示的用户界面250上显示的屏幕中的修改的控制信息的一个示例。在已经修改了控制信息后，如果未显示控制信息的修改，则用户可以试图进一步提高控制程度。例如，当用户执行控制以提高特定对象的增益时，因为对应的控制被限制，所以如果以比用户特定的级别低的增益输出音频，则用户误以为控制不足，并且可能将增益提高得更高。因此，如果修改了用户输入的控制，则优选的是，经由用户界面来输出修改的控制信息。同样，在残余使用模式的情况下，当执行控制限制时，优选地在屏幕上显示修改的控制信息。
参见图7，可以观察到基于控制限制信息修改的控制信息被显示为不可用区域。虽然用户能够将增益控制滑动器提高到该不可用区域，但是可以将修改的控制信息表示为返回到不可用区域下方。可替选地，能够将要由用户提高的增益控制滑动器设置在刚好在不可用区域下方。显示或表示修改的控制信息的方法不被具体的方案和屏幕限制。
图8是根据本发明的第二实施例的在音频信号处理设备中的解码器的配置的框图。图9是在图8中所示的控制限制单元330的、根据第一实施例330A的配置的详细框图。图10是在图8中所示的控制限制单元330的根据第二实施例330B的配置的详细框图。并且，图11是在图8中所示的控制限制单元330的、根据第三实施例330B的配置的详细框图。不同于前面的第一实施例的解码器200，根据第二实施例的解码器300包括与正常模式而不是残余使用模式对应的实施例。有时，第二实施例可能不修改控制信息（每个帧）。
参见图8，根据第二实施例的解码器300包括提取单元320和控制限制单元330，并且能够进一步包括解复用器310、用户界面340、信息产生单元350、下混合处理单元360和多声道产生单元370。同时，下混合处理单元360和多声道产生单元370可以被称为输出声道产生单元。
象第一实施例的解复用器210那样，解复用器310从至少一个比特流中接收下混合信号和边信息。
提取单元320从边信息提取对象信息，并且也提取控制限制信息（用于正常模式）。对象信息和控制限制信息可以参考前面参见图2的说明。
提取单元320能够进一步从边信息提取使能关断信息。在该情况下，如果控制限制信息存在，则使能关断信息是用于指示对于当前帧控制限制信息的使用是强制还是选用的信息。
控制限制单元330从提取单元320接收控制限制信息，然后基于使能关断信息和/或用户关断命令来确定是否要向当前帧应用接收的控制限制信息。与声音质量的劣化的存在与否无关，如果用户不要限制特定的控制，则虽然在比特流中包括控制限制信息，也可以跳过控制限制信息的使用。
如果控制限制单元330确定应用控制限制信息，则控制限制单元330使用控制限制信息来修改控制信息，然后输出修改的控制信息。相反，如果控制限制单元330确定不应用控制限制信息，则控制限制单元330不使用控制限制信息，而是原样向信息产生单元350传递接收的控制信息。控制信息和修改的控制信息可以参考前面的第一实施例的解码器200的说明。但是，第二实施例的控制信息（和控制限制信息）对应于适合于正常模式的控制信息（和控制限制信息），而不是适合于残余使用模式的控制信息（和控制限制信息）。
同时，提供控制限制单元330的第三实施例来提出在应用控制限制信息中的详细公式而不是对于每个帧确定是否应用控制限制信息。
如果修改了控制信息，用户界面340能够输出修改的控制信息。图12是用于在图8中所示的用户界面340上显示的屏幕中的控制限制模式关断命令的输入的屏幕配置的一个示例的图。图13是用于在图8中所示的用户界面340上显示的屏幕中的用户输入屏幕和修改的控制信息显示屏幕的一个示例的图。下面将与图9一起描述图12。
参见图13，与在图7中所示的情况类似，可以观察到将修改的控制信息表示为不可用区域。即使用户特定增益存在于不可用区域中，如图13（A）中所示，也能够调整增益控制滑动器以进入不可用区域。在该情况下，可以如图13（B）中所示表示根据修改的控制信息的修改的增益。具体地说，因为修改的增益可以具有除了不可用区域之外的最大或最小值，所以将增益控制滑动器显示为移动到对应的最大或最小值区域。
相比之下，如果用户特定增益存在于不可用区域中，则能够以使得增益控制滑动器根本不被调整到不可用区域中的方式来显示修改的控制信息。
参见图8，信息产生单元350接收已经从提取单元220接收的对象信息。在该情况下，对象信息与前面的第一实施例200的说明一样良好。其后，在从控制限制单元330接收到用于当前帧的控制信息的情况下，信息产生单元350产生第一下混合处理信息（和第一多声道信息）。在从控制限制单元230接收到用于当前帧的修改信息而不是接收到控制信息的情况下，信息产生单元350产生第二下混合处理信息（和第二多声道信息）。如在前面的第一实施例100的说明中所述，第一下混合处理信息和第二下混合处理信息的每个是用于通过避免增加声道的数量而处理下混合信号的信息。如在前面的第一实施例100的说明中所述，第一多声道信息和第二多声道信息的每个是用于通过对下混合信号或处理的下混合信号进行上混合而产生多声道的信息。
信息产生单元350仅在解码模式中产生第一下混合处理信息和第二下混合处理信息，在解码模式中，最后的输出信号是单声道或立体声信号。信息产生单元350进一步在码转换模式中产生第一多声道信号和第二多声道信号，在码转换模式中，最后的输出信号是多声道信号。如果输入和输出分别是单声道下混合信号和多声道，则不产生下混合处理信息，而是仅产生多声道信息。
下混合处理单元360接收下混合信号DMX，基于下混合处理信息来处理下混合信号DMX，然后输出处理的下混合。在该情况下，下混合信号的声道数量等于处理的下混合信号的声道数量。因为使用下混合处理信息，所以下混合处理单元360对应于其中已经调整了对象的增益和/或平移的输出。具体地说，在立体声下混合和多声道输出的情况下，下混合处理单元360能够通过交叉项来执行对象平移的控制。同时，在单声道下混合多声道输出的情况下，用于下混合DMX的处理绕过下混合处理单元360，并且下混合DMX可以在没有改变的情况下向多声道产生单元370传递。此外，在单声道或立体声输出的情况下，下混合处理单元360能够在时域中将处理的下混合信号输出到单声道或立体声声道中。
如果需要多声道输出，则多声道产生单元370通过向下混合信号DMX或处理的下混合信号应用多声道信息（即，第一多声道信息或第二多声道信息）来产生多声道输出。
在下面的描述中，参考图9至11来描述控制限制单元330的第一至第三实施例330A至330C。第一实施例330A涉及用于基于由用户输入的关断命令或装置设置信息来确定是否应用控制限制信息的实施例。第二实施例330B涉及用于通过除了关断命令或装置设置信息之外进一步参考从比特流提取的使能关断信息来确定是否应用控制限制信息的实施例。并且，第三实施例330C涉及用于在应用控制限制信息中提出详细的公式而不是对于每个帧确定是否应用控制限制信息的实施例。
参考图9，根据第三实施例的控制限制单元330A包括关断确定部分332A和控制信息修改部分334A。
控制限制单元330A基于用户的命令或装置设置信息来确定是否关断控制限制模式。在该情况下，控制限制模式表示使用控制限制信息来产生修改的控制信息以限制控制信息。即使在比特流中存在控制限制信息或解码器能够本身产生控制限制信息，用户也可能想要其本身输入的控制信息根本不被修改。对于该情况，控制限制单元330A能够确定关断控制限制模式。具体地说，在用户输入用于关断控制限制模式的关断命令或在装置设置信息中存储用于关断控制限制模式的命令的情况下，能够确定关断控制限制模式。在图12中示出用于关断命令的屏幕的一个示例。
参考图12（A）和图12（B），在屏幕的底部显示用于控制限制模式的接通命令（ON）的输入单元（例如，无线电按钮）和用于关断命令（OFF）的输入单元（关断命令）。然后用户能够经由该屏幕输入关断用于特定的音频信号的控制限制模式的关断命令。此外，用户能够改变装置设置信息以关断用于非特定的音频信号的控制限制模式。
现在参考图9，如果关断确定部分332A确定关断控制限制模式，则它原样输出控制信息。如在上面的说明中所述，向在图8中所示的信息产生单元350传递控制信息。相反，如果关断确定部分332A确定接通控制限制模式，则它向控制信息修改部分334A传递控制信息。随后，控制信息修改部分334A通过使用控制限制信息对于控制信息施加限制来产生修改的控制信息。并且也向信息产生单元350传递修改的控制信息。因为控制信息修改部分334的配置和作用可以类似于前面的控制信息修改部分234A或234B，所以将从下面的描述中省略它们的细节。
参考图10，象第一实施例那样，根据第二实施例的控制限制单元330B包括关断确定部分332B和控制信息修改部分334B。但是，第二实施例与第一实施例不同在于：关断确定部分332B在确定是否关断控制限制模式中进一步参考使能关断信息。在该情况下，使能关断信息是由提取单元320从边信息提取的信息。并且，使能关断信息指示对于当前帧使用控制限制信息的是强制的还是选用的。换句话说，控制限制信息的强制使用涉及用户是否能够任意地跳过控制限制信息。因此，使能关断信息可以具有是否可以关断控制限制模式或是否可以选择性地关断控制限制模式的相同的思想。
只有经由比特流接收到控制限制信息时，才可以提取使能关断信息。在该情况下，使能关断信息指示在比特流中包括的控制限制信息的使用是否是强制的。
因此，如果使能关断信息指示控制限制信息（用于当前帧）的使用是强制的，则关断确定部分332B不关断控制限制模式，而与用户的关断输入无关。具体地说，关断确定部分332B向控制信息修改部分334B传递控制信息。
相反，如果使能关断信息指示控制限制信息的使用不是强制的而是选用的，则关断确定部分332B根据用户的关断命令或装置设置信息来确定是否关断控制限制模式。具体地说，如果关断命令或装置设置信息意图关断控制限制模式，则关断确定部分332B原样输出控制信息。如果关断命令或装置设置信息意图接通控制限制模式，则关断确定部分332B向控制信息修改部分334B传递控制信息。
因为控制信息修改部分334B以与前面参考图9所述的控制信息修改部分334B相同的方式来输出修改的控制信息，所以将从下面的描述省略其细节。
图11示出根据第三实施例的控制限制单元330C。如在前面的描述中所述，提供第三实施例来提出在应用控制限制信息中的详细公式而不是对于每个帧确定是否应用控制限制信息。
控制信息修改部分334C接收下混合增益信息DMG和控制限制信息，然后通过基于下混合增益信息DMG和控制限制信息来限制控制信息来产生修改的控制信息。在这么做的时候，下面的公式是可用的。
[公式4]
M ren , lim l , m = ( 1 - g DCU ) M ren l , m + g DCU D DS l
在公式4中，指示修改的控制信息，指示控制信息，gDCU指示与控制限制信息对应的参数（或用于指示限制程度的参数），并且指示由下混合增益信息DMG限定的下混合矩阵。
参见公式4，如果用于指示限制度的参数gDCU具有较低值，则修改的控制信息接近原始控制信息。相反，如果用于指示限制度的参数gDCU具有高值，则修改的控制信息接近原始下混合矩阵。
根据公式4，能够解决产生不适合于用户意愿的修改的控制信息当用户输入控制信息[1,3]以提升第二对象时，如果参数gDCU是1，则修改的控制信息结果是[2.8,1.4]。如果如此，则可能引起第二对象反而被抑制的问题。但是，如果通过公式4来限定修改的控制信息，则能够避免上述问题，并且可以在操作量很小方面是有益的。
同时，gDCU可以具有每个对象独立的值，而不是每个对象共同的值。如果如此，则可以将公式4修改为对于与每个对象对应的每列应用不同的gDCU的形式。
同时，在根据公式4的实现方式的情况下，如果向控制限制模式是“接通”的情况应用公式4，则该控制限制模式不被分类为第一模式或第二模式。因此，不必发送用于标识模式的单独比特。
根据本发明的音频信号处理设备可用于使用的各种产品。这些产品可以主要被编组为单独组和便携组。TV、监控器和机顶盒等可以包括在单独组中。并且，PMP、移动电话和导航系统等可以包括在便携组中。
图14示出在其中实现了根据本发明的一个实施例的音频信号处理设备的产品之间的关系。
参见图14，有线/无线通信单元410经由有线/无线通信系统接收比特流。具体地说，有线/无线通信单元410可以包括有线通信单元410A、红外线单元410B、蓝牙单元410C和无线LAN单元410D中的至少一个。
用户认证单元420接收用户信息的输入，然后执行用户认证。用户认证单元420可以包括指纹识别单元420A、虹膜识别单元420B、面部识别单元420C和语音识别单元420D中的至少一个。指纹识别单元420A、虹膜识别单元420B、面部识别单元420C和语音识别单元420D分别接收指纹信息、虹膜信息、面部轮廓信息和语音信息，然后将它们转换为用户信息。确定用户信息的每个是否匹配预先登记的用户数据以执行用户认证。
输入单元430是使得用户能够输入各种命令的输入装置，并且可以包括键盘单元430A、触摸板单元430B和遥控器单元430C中的至少一个，本发明不限于此。
信号编译单元440对于经由有线/无线通信单元410接收的音频信号和/或视频信号执行编码或解码，然后在时域中输出音频信号。信号编码单元440包括音频信号处理设备445。如在前面的说明中所述，音频信号处理设备445对应于本发明的上述实施例（即，编码器100和/或解码器200）。因此，可以通过至少一个或多个处理器来实现音频信号处理设备445和包括其的信号编译单元。
控制单元450从输入装置接收输入信号，并且控制信号解码单元440和输出单元460的全部处理。具体地说，输出单元460是被配置为输出由信号解码单元440等产生的输出信号的部件，并且可以包括扬声器单元460A和显示单元460B。如果输出信号是音频信号，则它被输出到扬声器。如果输出信号是视频信号，则它经由显示器被输出。
图15是用于根据本发明的一个实施例的具有音频信号处理设备的产品的关系的图。图15示出在与在图14中所示的产品对应的终端和服务器之间的关系。
参考图15（A），可以观察到第一终端400.1和第二终端400.2可以经由有线/无线通信单元彼此双向地交换数据或比特流。参考图15（B），可以观察到服务器500和第一终端500.1可以彼此执行有线/无线通信。
根据本发明的音频信号处理方法可以被实现为计算机可执行程序，并且可以被存储在计算机可读记录介质中。并且，具有本发明的数据结构的多媒体数据可以被存储在计算机可读记录介质中。计算机可读介质包括其中存储了由计算机系统可读的数据的所有种类的记录装置。计算机可读介质包括例如ROM、RAM、CD-ROM、磁带、软盘和光学数据存储装置等，并且也包括载波类型的实现方式（例如，经由因特网的传输）。并且，由上述的编码方法产生的比特流可以被存储在计算机可读记录介质中，或者可以经由有线/无线通信网络被发送。
工业实用性
因此，本发明适用于处理和输出音频信号。
虽然已经参考本发明的优选实施例在此描述和图示了本发明，但是对于本领域内的技术人员显然，在不偏离本发明的精神和范围的情况下，可以进行各种修改和改变。因此，意图是本发明覆盖在所附的权利要求及其等同内容的范围内的本发明的修改和改变。

Claims (14)

1.一种用于处理音频信号的方法，包括：
接收下混合信号和边信息；
从所述边信息提取控制限制信息；
接收用于控制至少一个对象信号的增益或平移的控制信息；
基于所述控制信息和对象信息而不使用所述控制限制信息来产生第一多声道信息和第一下混合处理信息中的至少一个；以及，
通过向所述下混合信号应用所述第一多声道信息和所述第一下混合处理信息中的所述至少一个来产生输出信号，
其中，所述控制限制信息与指示所述控制信息的限制程度的参数相关。
2.根据权利要求1所述的方法，进一步包括：
从所述边信息提取关断使能信息，
其中，所述关断使能信息指示是否必须使用或可以选择性地使用所述控制限制信息。
3.根据权利要求2所述的方法，其中，当所述关断使能信息指示可以选择性地使用所述控制限制信息时，在不使用所述控制限制信息的情况下产生所述第一多声道信息和所述第一下混合处理信息。
4.根据权利要求2所述的方法，其中，当所述关断使能信息指示必须使用所述控制限制信息时，基于所述控制信息和所述控制限制信息来估计修改的控制信息。
5.根据权利要求4所述的方法，进一步包括：
基于所述修改的控制信息、对象信息和所述控制限制信息来产生第二多声道信息和第二下混合处理信息中的至少一个，
其中，通过应用所述第二多声道信息和所述第二下混合处理信息进一步产生所述输出信号。
6.根据权利要求5所述的方法，其中，当所述输出信号是多声道信号时，基于所述修改的控制信息、对象信息和所述控制限制信息产生所述第二多声道信息，
当所述输出信号是单声道或立体声信号时，不产生所述第二多声道信息。
7.根据权利要求1所述的方法，其中，当所述输出信号是多声道信号时，基于所述控制信息和对象信息而不使用所述控制限制信息产生所述第一多声道信息，
当所述输出信号是单声道或立体声信号时，不产生所述第一多声道信息。
8.一种用于处理音频信号的设备，包括：
解复用器，所述解复用器用于接收下混合信号和边信息；
提取单元，所述提取单元用于从所述边信息提取控制限制信息；
控制限制单元，所述控制限制单元接收用于控制至少一个对象信号的增益或平移的控制信息；
信息产生单元，所述信息产生单元用于基于所述控制信息和对象信息而不使用所述控制限制信息来产生第一多声道信息和第一下混合处理信息中的至少一个；以及，
输出声道产生单元，所述输出声道产生单元用于通过向所述下混合信号应用所述第一多声道信息和所述第一下混合处理信息中的所述至少一个来产生输出信号，
其中，所述控制限制信息与指示所述控制信息的限制程度的参数相关。
9.根据权利要求8所述的设备，其中，所述提取单元从所述边信息进一步提取关断使能信息，
其中，所述关断使能信息指示是否必须使用或可以选择性地使用所述控制限制信息。
10.根据权利要求9所述的设备，其中，当所述关断使能信息指示可以选择性地使用所述控制限制信息时，在不使用所述控制限制信息的情况下产生所述第一多声道信息和所述第一下混合处理信息。
11.根据权利要求9所述的设备，其中，当所述关断使能信息指示必须使用所述控制限制信息时，所述控制限制单元基于所述控制信息和所述控制限制信息来估计修改的控制信息。
12.根据权利要求11所述的设备，其中，所述信息处理单元基于所述修改的控制信息、对象信息和所述控制限制信息来产生第二多声道信息和第二下混合处理信息中的至少一个，
其中，通过应用所述第二多声道信息和所述第二下混合处理信息进一步产生所述输出信号。
13.根据权利要求12所述的设备，其中，当所述输出信号是多声道信号时，基于所述修改的控制信息、对象信息和所述控制限制信息产生所述第二多声道信息，
当所述输出信号是单声道或立体声信号时，不产生所述第二多声道信息。
14.根据权利要求8所述的设备，其中，当所述输出信号是多声道信号时，基于所述控制信息和对象信息而不使用所述控制限制信息产生所述第一多声道信息，
当所述输出信号是单声道或立体声信号时，不产生所述第一多声道信息。
CN201180005568.7A 2010-01-06 2011-01-06 处理音频信号的设备及其方法 Active CN102696070B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510187552.2A CN105047206B (zh) 2010-01-06 2011-01-06 处理音频信号的设备及其方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US29281110P 2010-01-06 2010-01-06
US61/292,811 2010-01-06
US29687310P 2010-01-20 2010-01-20
US61/296,873 2010-01-20
US29727510P 2010-01-21 2010-01-21
US61/297,275 2010-01-21
PCT/KR2011/000075 WO2011083981A2 (en) 2010-01-06 2011-01-06 An apparatus for processing an audio signal and method thereof

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510187552.2A Division CN105047206B (zh) 2010-01-06 2011-01-06 处理音频信号的设备及其方法

Publications (2)

Publication Number Publication Date
CN102696070A CN102696070A (zh) 2012-09-26
CN102696070B true CN102696070B (zh) 2015-05-20

Family

ID=44305945

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201180005568.7A Active CN102696070B (zh) 2010-01-06 2011-01-06 处理音频信号的设备及其方法
CN201510187552.2A Active CN105047206B (zh) 2010-01-06 2011-01-06 处理音频信号的设备及其方法
CN201180005544.1A Active CN102792378B (zh) 2010-01-06 2011-01-06 处理音频信号的设备及其方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201510187552.2A Active CN105047206B (zh) 2010-01-06 2011-01-06 处理音频信号的设备及其方法
CN201180005544.1A Active CN102792378B (zh) 2010-01-06 2011-01-06 处理音频信号的设备及其方法

Country Status (5)

Country Link
US (3) US9536529B2 (zh)
EP (2) EP2522015B1 (zh)
KR (2) KR101341536B1 (zh)
CN (3) CN102696070B (zh)
WO (2) WO2011083981A2 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MX2012003785A (es) 2009-09-29 2012-05-22 Fraunhofer Ges Forschung Decodificador de señal de audio, codificador de señal de audio, metodo para proveer una representacion de señal de mezcla ascendente, metodo para proveer una representacion de señal de mezcla descendente, programa de computadora y cadena de bits usando un valor de parametro de correlacion-inter-objeto-comun.
TWI459828B (zh) * 2010-03-08 2014-11-01 Dolby Lab Licensing Corp 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
US9479887B2 (en) 2012-09-19 2016-10-25 Nokia Technologies Oy Method and apparatus for pruning audio based on multi-sensor analysis
EP2717261A1 (en) * 2012-10-05 2014-04-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
US11139862B2 (en) * 2012-11-02 2021-10-05 Samsung Electronics Co., Ltd. Configuration of rate matching and interference measurement resources for coordinated multi-point transmission
KR101859453B1 (ko) * 2013-03-29 2018-05-21 삼성전자주식회사 오디오 장치 및 이의 오디오 제공 방법
US9779739B2 (en) * 2014-03-20 2017-10-03 Dts, Inc. Residual encoding in an object-based audio system
KR102614577B1 (ko) 2016-09-23 2023-12-18 삼성전자주식회사 전자 장치 및 그 제어 방법
US10349196B2 (en) * 2016-10-03 2019-07-09 Nokia Technologies Oy Method of editing audio signals using separated objects and associated apparatus
CN109859766B (zh) * 2017-11-30 2021-08-20 华为技术有限公司 音频编解码方法和相关产品

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479787A (zh) * 2006-09-29 2009-07-08 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
DE60326782D1 (de) * 2002-04-22 2009-04-30 Koninkl Philips Electronics Nv Dekodiervorrichtung mit Dekorreliereinheit
KR20050090283A (ko) 2004-03-08 2005-09-13 엘지전자 주식회사 다운로드 받은 음악파일의 이득조정방법
SE0402649D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Advanced methods of creating orthogonal signals
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
MX2007015118A (es) * 2005-06-03 2008-02-14 Dolby Lab Licensing Corp Aparato y metodo para codificacion de senales de audio con instrucciones de decodificacion.
EP1938663A4 (en) * 2005-08-30 2010-11-17 Lg Electronics Inc DEVICE FOR ENCODING AND DECODING AUDIO SIGNAL AND CORRESPONDING METHOD
AU2006291689B2 (en) * 2005-09-14 2010-11-25 Lg Electronics Inc. Method and apparatus for decoding an audio signal
JP4944902B2 (ja) * 2006-01-09 2012-06-06 ノキア コーポレイション バイノーラルオーディオ信号の復号制御
KR100991795B1 (ko) * 2006-02-07 2010-11-04 엘지전자 주식회사 부호화/복호화 장치 및 방법
ES2391116T3 (es) * 2006-02-23 2012-11-21 Lg Electronics Inc. Método y aparato para procesar una señal de audio
ATE505912T1 (de) * 2006-03-28 2011-04-15 Fraunhofer Ges Forschung Verbessertes verfahren zur signalformung bei der mehrkanal-audiorekonstruktion
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US8027479B2 (en) * 2006-06-02 2011-09-27 Coding Technologies Ab Binaural multi-channel decoder in the context of non-energy conserving upmix rules
EP3447916B1 (en) * 2006-07-04 2020-07-15 Dolby International AB Filter system comprising a filter converter and a filter compressor and method for operating the filter system
WO2008007653A1 (fr) 2006-07-14 2008-01-17 Alps Electric Co., Ltd. Structure de régulation d'entraînement d'un actionneur piézoélectrique et commande de lentille équipée de celle-ci
JP5238706B2 (ja) * 2006-09-29 2013-07-17 エルジー エレクトロニクス インコーポレイティド オブジェクトベースオーディオ信号のエンコーディング／デコーディング方法及びその装置
EP2084901B1 (en) * 2006-10-12 2015-12-09 LG Electronics Inc. Apparatus for processing a mix signal and method thereof
BRPI0715312B1 (pt) * 2006-10-16 2021-05-04 Koninklijke Philips Electrnics N. V. Aparelhagem e método para transformação de parâmetros multicanais
PL2068307T3 (pl) 2006-10-16 2012-07-31 Dolby Int Ab Udoskonalony sposób kodowania i odtwarzania parametrów w wielokanałowym kodowaniu obiektów poddanych procesowi downmiksu
US8571875B2 (en) 2006-10-18 2013-10-29 Samsung Electronics Co., Ltd. Method, medium, and apparatus encoding and/or decoding multichannel audio signals
KR101434834B1 (ko) * 2006-10-18 2014-09-02 삼성전자주식회사 다채널 오디오 신호의 부호화/복호화 방법 및 장치
EP2092516A4 (en) * 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING
US20090265164A1 (en) * 2006-11-24 2009-10-22 Lg Electronics Inc. Method for Encoding and Decoding Object-Based Audio Signal and Apparatus Thereof
WO2008066364A1 (en) * 2006-12-01 2008-06-05 Lg Electronics Inc. Apparatus and method for inputting a command, method for displaying user interface of media signal, and apparatus for implementing the same, apparatus for processing mix signal and method thereof
JP5302207B2 (ja) * 2006-12-07 2013-10-02 エルジー エレクトロニクス インコーポレイティド オーディオ処理方法及び装置
EP2118888A4 (en) * 2007-01-05 2010-04-21 Lg Electronics Inc METHOD AND DEVICE FOR PROCESSING AN AUDIO SIGNAL
KR20090122221A (ko) * 2007-02-13 2009-11-26 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
TWI443647B (zh) * 2007-02-14 2014-07-01 Lg Electronics Inc 用以將以物件為主之音訊信號編碼與解碼之方法與裝置
KR20080082917A (ko) * 2007-03-09 2008-09-12 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치
JP4851598B2 (ja) * 2007-03-16 2012-01-11 エルジー エレクトロニクス インコーポレイティド オーディオ信号の処理方法及び装置
WO2008120933A1 (en) 2007-03-30 2008-10-09 Electronics And Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
CN101809654B (zh) * 2007-04-26 2013-08-07 杜比国际公司 供合成输出信号的装置和方法
US8295494B2 (en) * 2007-08-13 2012-10-23 Lg Electronics Inc. Enhancing audio with remixing capability
US20090051637A1 (en) * 2007-08-20 2009-02-26 Himax Technologies Limited Display devices
MX2010004220A (es) * 2007-10-17 2010-06-11 Fraunhofer Ges Forschung Codificacion de audio usando mezcla descendente.
EP2063671B1 (en) 2007-11-22 2012-06-06 Yamaha Corporation Amplifier system
CN101903944B (zh) * 2007-12-18 2013-04-03 Lg电子株式会社 用于处理音频信号的方法和装置
EP2111060B1 (en) 2008-04-16 2014-12-03 LG Electronics Inc. A method and an apparatus for processing an audio signal
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
KR101230691B1 (ko) * 2008-07-10 2013-02-07 한국전자통신연구원 공간정보 기반의 다객체 오디오 부호화에서의 오디오 객체 편집 방법 및 그 장치
KR101614160B1 (ko) * 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
US8023660B2 (en) * 2008-09-11 2011-09-20 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus, method and computer program for providing a set of spatial cues on the basis of a microphone signal and apparatus for providing a two-channel audio signal and a set of spatial cues
US8588947B2 (en) * 2008-10-13 2013-11-19 Lg Electronics Inc. Apparatus for processing an audio signal and method thereof
MX2011011399A (es) 2008-10-17 2012-06-27 Univ Friedrich Alexander Er Aparato para suministrar uno o más parámetros ajustados para un suministro de una representación de señal de mezcla ascendente sobre la base de una representación de señal de mezcla descendete, decodificador de señal de audio, transcodificador de señal de audio, codificador de señal de audio, flujo de bits de audio, método y programa de computación que utiliza información paramétrica relacionada con el objeto.
KR101342425B1 (ko) * 2008-12-19 2013-12-17 돌비 인터네셔널 에이비 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하기 위한 방법 및 다중-채널의 다운믹싱된 오디오 입력 신호에 리버브를 적용하도록 구성된 리버브레이터
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
RU2577199C2 (ru) * 2009-10-20 2016-03-10 Фраунхофер-Гезелльшафт цур Фёрдерунг дер ангевандтен Форшунг Е.Ф. Устройство для обеспечения представления сигнала повышающего микширования на основе представления сигнала понижающего микширования, устройство для обеспечения битового потока, представляющего многоканальный звуковой сигнал, способы, компьютерная программа и битовый поток, использующий передачу сигналов с контролем искажения
EP2360681A1 (en) * 2010-01-15 2011-08-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for extracting a direct/ambience signal from a downmix signal and spatial parametric information
WO2012020982A2 (ko) * 2010-08-10 2012-02-16 엘지전자 주식회사 화이트 스페이스 대역 내 가용 채널 정보 송수신 방법 및 장치
US8800585B2 (en) 2011-12-08 2014-08-12 Kidde Technologies, Inc. High rate discharge (HRD) valve incorporating a rotating lever release mechanism

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479787A (zh) * 2006-09-29 2009-07-08 Lg电子株式会社 用于编码和解码基于对象的音频信号的方法和装置

Also Published As

Publication number Publication date
KR101341536B1 (ko) 2013-12-16
EP2522016A2 (en) 2012-11-14
CN105047206B (zh) 2018-04-27
EP2522015A4 (en) 2015-04-29
US20130058502A1 (en) 2013-03-07
KR101405976B1 (ko) 2014-06-12
WO2011083979A3 (en) 2011-11-10
EP2522015A2 (en) 2012-11-14
KR20120101178A (ko) 2012-09-12
KR20120104420A (ko) 2012-09-20
US20150332684A1 (en) 2015-11-19
CN105047206A (zh) 2015-11-11
US20130132097A1 (en) 2013-05-23
US9502042B2 (en) 2016-11-22
US9042559B2 (en) 2015-05-26
EP2522016A4 (en) 2015-04-22
WO2011083979A2 (en) 2011-07-14
WO2011083981A2 (en) 2011-07-14
WO2011083981A3 (en) 2011-12-01
CN102792378A (zh) 2012-11-21
CN102792378B (zh) 2015-04-29
CN102696070A (zh) 2012-09-26
US9536529B2 (en) 2017-01-03
EP2522015B1 (en) 2017-03-08

Similar Documents

Publication Publication Date Title
CN102696070B (zh) 处理音频信号的设备及其方法
CN102714038B (zh) 用以基于下混信号表示型态而提供上混信号表示型态的装置、用以提供表示多声道音频信号的位流的装置、方法
CN102100009B (zh) 处理音频信号的方法和装置
CN104541524B (zh) 一种用于处理音频信号的方法和设备
CN101479787B (zh) 用于编码和解码基于对象的音频信号的方法和装置
CN101926181B (zh) 用于处理音频信号的方法和装置
ES2464722T3 (es) Método y aparato para procesar una señal de audio
US8615316B2 (en) Method and an apparatus for processing an audio signal
CN103761971B (zh) 一种处理音频信号的方法和装置
CN101044794A (zh) 用于双声道提示码编码方案和类似方案的散射声音整形
US8195318B2 (en) Method and an apparatus for processing an audio signal
US8615088B2 (en) Method and an apparatus for processing an audio signal using preset matrix for controlling gain or panning
WO2009049896A8 (en) Audio coding using upmix
CN102349108B (zh) 解码音频信号的方法和装置
CN101044550A (zh) 产生编码多通道信号的设备和方法、对编码多通道信号进行解码的设备和方法
KR20070080850A (ko) 스케일러블 채널 복호화 방법 및 장치
CN102165519A (zh) 处理信号的方法和装置
CN101903943A (zh) 用于处理信号的方法和装置
CN107112023A (zh) 基于发送无关的表示的节目响度
CN102239520A (zh) 用于处理音频信号的方法和装置
CN102292768B (zh) 用于处理音频信号的装置及其方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant