CN101652810A - 用于处理混合信号的装置及其方法 - Google Patents

用于处理混合信号的装置及其方法 Download PDF

Info

Publication number
CN101652810A
CN101652810A CN200780041131A CN200780041131A CN101652810A CN 101652810 A CN101652810 A CN 101652810A CN 200780041131 A CN200780041131 A CN 200780041131A CN 200780041131 A CN200780041131 A CN 200780041131A CN 101652810 A CN101652810 A CN 101652810A
Authority
CN
China
Prior art keywords
signal
mixed signal
supplementary
source
mixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200780041131A
Other languages
English (en)
Other versions
CN101652810B (zh
Inventor
吴贤午
郑亮源
尹圣龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN101652810A publication Critical patent/CN101652810A/zh
Application granted granted Critical
Publication of CN101652810B publication Critical patent/CN101652810B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/018—Audio watermarking, i.e. embedding inaudible data in the audio signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

公开了一种用于处理信号的方法和装置，更具体地是用于处理信号的装置及其方法，通过它可编码/解码诸如音频信号和视频信号的混合信号。本发明包括从混合信号比特流提取包括至少一个源信号的混合信号；从辅助信息比特流提取辅助信息；获取用户混合参数；以及利用混合信号、辅助信息以及用户混合参数生成再混合信号，其中辅助信息比特流被分成第一首部区和数据区且其中数据区包括至少一个帧数据区和至少一个第二首部区。

Description

用于处理混合信号的装置及其方法
技术领域
本发明涉及用于处理信号的方法和装置，尤其涉及用于处理信号的装置及其方法。
尽管本发明适用于广泛范围的应用，但尤其适用于编码或解码诸如音频信号和视频信号之类的混合信号。
背景技术
一般而言，用户最频繁地生成且广泛地使用立体声信号。近来，多声道信号倾向于被普遍使用。然而，对不是由源信号单元处理而是由声道信号单元处理的混合信号设置有限制。所以，在由声道信号单元处理混合信号的情形中，不能独立地处理构成混合信号的特定源信号。
然而，例如，在观看电影时不可能在演员语音的音量保持不变的同时仅提高背景音乐的音量。并且，问题在于存储辅助信息，因为还没有准备好配置辅助信息的比特流的方法。
在媒体信号存储在记录介质中的情形中，可能不存在用于存储关于媒体信号的辅助信息的辅助数据区。在这种情形中，问题在于媒体信号难以由源信号单元处理。并且，在单独存储或发送辅助信息的情形中存在与一般的音频信号格式的兼容性问题。
此外，在用户通过再混合按源——即按源信号——的混合信号(或合成源信号)再现混合信号后，如果用户稍后尝试回放先前再混合的混合信号，则已经输入的控制信息需要再次完整地输入。
此外，因为混合信号由声道单元处理，所以由用户提供的特定源信号替换混合信号中所包括的源信号是不可能的。
发明内容
技术问题
因此，本发明涉及一种基本上消除了一个或多个由于相关技术的局限和缺点引起的问题的用于处理混合信号的装置及其方法。
本发明的一个目的是提供一种利用混合信号和辅助信息生成再混合信号的方法。
本发明的另一个目的是提供一种配置在生成再混合信号时使用的辅助信息的比特流的方法。
本发明的另一个目的是提供一种用于编码/解码的装置及其方法，通过它用于媒体信号的辅助信息被嵌入以由源信号单元利用辅助信息处理媒体信号。
本发明的另一个目的是提供一种在再混合混合信号时控制混合信号的装置及其方法，通过它由用户输入的控制信息被存储以在再混合该混合信号时使用。
本发明的另一个目的是提供一种用于显示混合信号的界面的装置及其方法，通过它在将摇移或渐隐效果施加到特定区间时可使控制信息的数据大小最小化。
本发明的另一个目的是提供一种当包括在混合信号中的源信号不单独存在时利用类似源信号的信号生成按源信号的辅助信息的方法。
本发明的另一个目的是提供一种用于在解码器中利用混合信号生成用于再混合该混合信号的辅助信息的装置及其方法。
本发明的另一个目的是提供一种用于由用户提供的源信号替换混合信号中所包括的特定源信号的装置及其方法。
本发明的又一个目的是提供一种用于处理信号的装置及其方法，其中混合信号可由用户利用源信号来变换。
本发明的其它特征和优点将在以下的描述中阐述，并且部分地将从描述中显而易见，或者可从本发明的实践中获知。本发明的目的和其它优点可由书面说明书及其权利要求书和附图中具体指出的结构来实现并获得。
技术解决方案
为了实现这些和其它优点并根据本发明的目的，如本文具体体现和广泛描述的，一种根据本发明的信号处理方法包括：从混合信号比特流提取包括至少一个源信号的混合信号；从辅助信息比特流提取辅助信息；获取用户混合参数；以及利用混合信号、辅助信息以及用户混合参数生成再混合信号，其中辅助信息比特流被分成第一首部区和数据区且其中数据区包括至少一个帧数据区和至少一个第二首部区。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理装置包括：利用至少一个源信号获取混合信号；从至少一个源信号获取要再混合的源信号；利用混合信号和要再混合的源信号生成辅助信息；以及分别利用混合信号和辅助信息生成混合信号比特流和辅助信息比特流，其中辅助信息比特流被分成第一首部区和数据区且其中数据区包括至少一个帧数据区和至少一个第二首部区。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：提取嵌入在混合信号的分量中的非感知区中的辅助信息；以及利用辅助信息和混合信号生成再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：利用混合信号和混合信号中所包括的源信号生成用于再混合该混合信号的辅助信息；以及将所述辅助信息嵌入混合信号的分量中的非感知区内。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：提取嵌入第一音频信号的分量中的非感知区内的组合信号；通过对组合信号执行无损解码来重构对应于非感知区的信号分量；以及利用重构的信号分量和第一音频信号生成第二音频信号，其中第二音频信号是嵌入组合信号之前的原始信号，其中组合信号包括位于第一音频的分量的非感知区中的信号分量的无损编码信号分量和辅助信息，且其中辅助信息包括用于再混合该混合信号的信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理装置方法以下步骤：无损编码位于音频信号的分量的非感知区中的信号分量；通过将经无损编码的信号分量和辅助信息组合在一起来生成组合信号；以及将组合信号嵌入非感知区。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：提取存在于混合信号的分量的非感知区中的辅助信息；对从其提取所述辅助信息的混合信号进行编码；以及利用经编码的混合信号和辅助信息生成比特流，其中辅助信息包括用于再混合混合信号的信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：从比特流提取经编码的混合信号和辅助信息；解码经编码的混合信号；以及将辅助信息嵌入经解码混合信号的分量的非感知区内，其中辅助信息包括用于再混合混合信号的信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理装置包括：嵌入信号解码单元，其提取嵌入混合信号的分量内的非感知区中的经编码辅助信息；辅助信息解码单元，其通过解码经编码的辅助信息来生成辅助信息；以及再混合渲染单元，其利用辅助信息和混合信号生成再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：获取混合信号的识别信息；获取与识别信息匹配的源控制信息；以及利用源控制信息和混合信号生成再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的互连至混合信号的处理器的信号处理装置，包括：存储器，其存储按混合信号的识别信息的源控制信息；以及控制单元，其基于混合信号的识别信息读出与混合信号匹配的源控制信息，该控制单元将所读取的源控制信息输出到混合信号的处理器。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：读出对应于混合信号的源控制信息；存储或发送源控制信息，其中源控制信息包括用于识别混合信号的识别信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理装置包括：存储器，其存储对应于混合信号的源控制信息；通信单元，其与不同用户的混合信号控制器通信；以及控制单元，其控制源控制信号通过通信单元发送到不同用户的混合信号控制器。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：接收对应于混合信号的辅助信息和控制信息；以及生成扩展混合参数以基于辅助信息和控制信息扩展混合混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理装置包括：通信单元，其接收对应于混合信号的控制信息；以及参数生成单元，其生成扩展混合参数以基于所述控制信息和辅助信息扩展混合所述混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：获取包括至少一个源信号的混合信号；获取混合参数；以及利用指示混合信号中所包括的特定空间的信号分量生成辅助信息；以及利用混合信号、混合参数以及辅助信息生成再混合信号，其中辅助信息指示混合信号和混合信号中所包括的至少一个源信号中要再混合的源信号之间的关系。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：通过调节混合信号中所包括的特定第一源信号生成第一再混合信号；生成未被包括在混合信号中的单独的第二源信号；以及利用第一再混合信号和第二源信号生成第二再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理方法包括：生成包括至少一个第一源信号的第一混合信号；生成未被包括在第一混合信号中的第二源信号；利用第一混合信号和第二源信号生成第二混合信号；以及利用第一混合信号和第二混合信号生成再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的在经由通信网络连接至用户终端的源信号提供服务器中实施的信号处理方法包括：从用户终端获取源信号的选择信息；根据选择信息生成关于所选源信号的辅助信息；以及将所选源信号和辅助信息发送到用户终端，其中辅助信息是用于利用源信号生成再混合信号的信息。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理装置包括：混合信号解码单元，其获取包括至少一个源信号的混合信号；辅助信息生成单元，其利用指示混合信号中所包括的特定空间的信号分量生成辅助信息；以及再混合渲染单元，其利用混合信号、混合参数以及辅助信息生成再混合信号，其中辅助信息指示混合信号和混合信号中所包括的至少一个或多个源信号中要再混合的源信号之间的关系。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理装置包括：再混合渲染单元，其通过调节混合信号中所包括的特定第一源信号生成第一再混合信号；源信号生成单元，其生成未被包括在混合信号中的单独的第二源信号；以及记录单元，其利用第一再混合信号和第二源信号生成第二再混合信号。
为了进一步实现这些和其它优点并根据本发明的目的，一种根据本发明的信号处理装置包括：混合信号解码单元，其生成包括至少一个第一源信号的第一混合信号；源信号解码单元，其生成未被包括在第一混合信号中的第二源信号；混合信号修改单元，其利用第一混合信号和第二源信号生成第二混合信号；以及再混合信号生成单元，其利用第一混合信号和第二混合信号生成再混合信号，其中第二混合信号仅包括由用户从第一源信号和第二源信号中选择的源信号。
应理解，以上的一般描述和以下的详细描述是示例性和说明性的，并且旨在提供对如所要求保护的本发明的进一步解释。
有益效果
在根据本发明的信号处理方法和装置中，提供一种配置生成再混合信号所需的比特流的方法。因此，数据被更有效地管理且利用比特流构造的数据可具有相互兼容性。
在根据本发明的信号处理方法和装置中，在编码音频信号时，能够利用具有低比特率的辅助信息再混合包括在音频信号中的特定源信号。在这种情形中，需要用于再混合源信号的辅助信息。本发明提供一种用于以将辅助信息嵌入音频信号的方式在不具有辅助数据区的存储介质中或以不具有辅助数据区的数据格式再现再混合信号的装置。
在根据本发明的信号处理方法和装置中，在再混合混合信号时，存储由用户输入的控制信息。所存储的控制信息可在再混合该混合信号时使用。因此，能够无需单独操纵地重复回放符合用户品位的由用户再混合的混合信号。
在根据本发明的信号处理方法和装置中，在将摇移或渐变效果应用到特定区间时，源控制信息可被再现成在未来即使区间内不包括控制信息也具有相同的效果。因此，能够使控制信息的数据大小最小化。
在根据本发明的信号处理方法和装置中，因为由用户存储的源控制信息独立于将由不同用户消费的混合信号或混合信号的辅助信息传播，所以再混合该混合信号的用户能够成为编辑者或改编者。
在根据本发明的信号处理方法和装置中，能够利用具有低比特率的辅助信息再混合包括在混合信号中的特定源信号。并且，可为不具有单独源信号的混合信号生成按源的信号参数。
在根据本发明的信号处理方法和装置中，解码器能够利用混合信号生成按源的信号参数。并且，本发明生成与直接由用户生成的源信号合成的混合信号。
附图描述
包括于此以提供对本发明的进一步理解、并被结合在本申请中且构成其一部分的附图示出本发明的实施方式，其与说明书一起可用来解释本发明的原理。
在附图中：
图1是根据本发明的一个实施例的第一信号处理装置的框图；
图2是在使用立体声信号的情形中图1所示的第一信号处理装置的详细框图；
图3是根据本发明的一个实施例的用于处理媒体信号的域图；
图4是根据本发明的一个实施例的第二信号处理装置的框图；
图5是根据本发明的一个实施例的第三信号处理装置的框图；
图6是在使用立体声信号的情形中图5所示的第三信号处理装置的详细框图；
图7是根据本发明的一个实施例的第四信号处理装置的框图；
图8是根据本发明的一个实施例的一般的编码设备和信号处理装置的组合配置的框图；
图9是根据本发明的一个实施例的一般的解码设备和信号处理装置的组合配置的框图；
图10是根据本发明的一个实施例的第五信号处理装置的框图；
图11是根据本发明的一个实施例的包括混合信号比特流和辅助信息比特流的数据结构的示图；
图12是图10所示的辅助信息比特流的数据结构的详细示图；
图13是根据本发明的一个实施例的第六信号处理装置的框图；
图14是配置图13所示的第六信号处理装置的嵌入单元的详细框图；
图15是根据本发明的一个实施例的嵌入辅助信息的方法的示图；
图16是根据本发明的一个实施例的经整形(reshaped)辅助信息的数据结构的示图；
图17是根据本发明的一个实施例的利用嵌入辅助信息解码音频信号的第七信号处理装置的框图；
图18是根据本发明的一个实施例的通过保存原始信号来嵌入辅助信息的第八信号处理装置的详细框图；
图19是根据本发明的一个实施例的通过保存原始信号来嵌入辅助信息的方法的示图；
图20是根据本发明的一个实施例的用于完全重构原始信号的第八信号处理装置的框图；
图21是根据本发明的一个实施例的将辅助信息嵌入两个声道的音频信号的第一方法的示图；
图22是根据本发明的一个实施例的将辅助信息嵌入两个声道的音频信号的第二方法的示图；
图23是根据本发明的一个实施例的用于去除所嵌入的辅助信息的第九信号处理装置的框图；
图24是根据本发明的一个实施例的用于生成有辅助信息嵌入其中的混合信号的比特流的第十信号处理装置的框图；
图25是图24所示的第十信号处理装置的详细框图；
图26是根据本发明的一个实施例的用于将辅助信息嵌入混合信号的第十一信号处理装置的框图；
图27是根据本发明的一个实施例的用于控制混合信号的第十一信号处理装置的框图；
图28是根据本发明的一个实施例的在摇移效果的情形中用于说明起点信息、终点信息以及起点与终点处的增益因数的示图；
图29是根据本发明的一个实施例的在渐变效应的情形中用于说明起点信息、终点信息以及起点与终点处的增益因数的示图；
图30和31是根据本发明的一个实施例的用于表示源控制信息列表的屏幕画面的示例性示图。
图32是根据本发明的一个实施例的用于控制混合信号的第十二信号处理装置的框图；
图33是根据本发明的一个实施例的处理混合信号的方法的流程图；
图34是根据本发明的一个实施例的生成源控制信息以供使用的过程的示图；
图35是根据本发明的一个实施例的用于控制混合信号的第十三信号处理装置的框图；
图36是根据本发明的一个实施例的处理混合信号的方法的流程图；
图37是根据本发明的一个实施例用于控制混合信号的第十四信号处理装置的框图；
图38是根据本发明的一个实施例的处理混合信号的方法的流程图；
图39是根据本发明的一个实施例的生成辅助信息的方法的流程图；
图40是根据本发明的一个实施例的用于替换特定源信号的第十五信号处理装置的框图；
图41是根据本发明的一个实施例的第十六信号处理装置的框图；
图42是根据本发明的一个实施例的第十七信号处理装置的框图；
图43是根据本发明的一个实施例的混合信号变换单元的内部框图；
图44是根据本发明的一个实施例的利用源信号提供服务器处理信号的方法的示图；
图45是根据本发明的一个实施例的变换混合信号的方法的流程图；以及
图46是根据本发明的一个实施例的变换混合信号的方法的流程图。
本发明的实施方式
现在详细参考在附图中示出其示例的本发明的优选实施例。
图1是根据本发明的一个实施例的第一信号处理装置的框图。
参照图1，第一信号处理装置包括辅助信息生成单元103和辅助信息编码单元105。
辅助信息生成单元103利用一般的混合信号101和构成混合信号的源信号102来生成辅助信息104。
混合信号101可包括单声道、立体声、或多声道音频信号。
源信号102可包括构成混合信号101的源信号的一部分或全部。
并且，辅助信息104表示在由源信号单元处理混合信号时所使用的信息。辅助信息104包括用于再混合该混合信号的混合参数。混合参数包括由编码器利用源信号生成的编码器混合参数，且可选择性地包括仅利用混合信号生成的盲(blind)混合参数。各源信号的增益值、子频带功率等可以是混合参数的示例。将在图2中描述针对辅助信息104的具体定义和生成方法。
本发明包括仅利用构成混合信号的源信号102生成辅助信息104的方法。
并且，辅助信息编码单元105通过对所生成的辅助信息104进行编码来生成经编码的辅助信息信号106。混合信号101和辅助信息信号106被传送到解码设备。
图2是在使用立体声信号的情形中图1所示的第一信号处理装置的详细框图。如前面的描述中所提及的，本发明所使用的混合信号可包括单声道、立体声或多声道音频信号。为了清楚和方便起见，采用立体声信号201作为例子。
可将立体声信号201x1(n)和x2(n)表示为构成立体声信号的源信号的和，其中‘n’指示时间索引。因此，可将立体声信号201表示为公式1。
[公式1]
x ~ 1 ( n ) = Σ i = 1 I a i s ~ i ( n )
x ~ 2 ( n ) = Σ i = 1 I b i s ~ i ( n ) ,
在这种情形中，‘I’指立体声信号中所包括的源信号的数目，且‘si(n)’指源信号。并且，‘ai’和‘bi’分别是用于确定各个源信号的幅度摇移(panning)和增益的值。每个‘si(n)’是独立的。每个‘si(n)’可以是纯源信号，或可包括向其添加小混响和声音效果信号分量的纯源信号。例如，特定的混响信号分量可被表示为两个源信号，即混合到左声道的信号和混合到右声道的信号。
本发明的目的是修改包括源信号的立体声信号，以便再混合M个源信号(0≤M≤I)。可利用不同的增益因数将源信号再混合至立体声信号。可将要再混合信号表示为公式2。
[公式2]
y ~ 1 ( n ) = Σ i = 1 M c i s ~ i ( n ) + Σ i = M + 1 I a i s ~ i ( n )
y ~ 2 ( n ) = Σ i = 1 M d i s ~ i ( n ) + Σ i = M + 1 I b i s ~ i ( n ) ,
在公式2中，‘ci’和‘di’是要再混合的M个源信号的新增益因数。‘ci’和‘di’可由解码器端提供。在这种情形中，辅助信息生成单元206能够利用立体声信号201和M个源信号202生成辅助信息207。
如前面的描述所提及的，本发明的目的是在给出一般立体声信号和较少的辅助信息时通过源信号单元再混合该一般立体声信号。
利用极少量的辅助信息由表示为公式1的混合信号完全地生成表示为公式2的再混合信号是不可能的。
所以，在没有访问每个源信号si(n)的情况下，在给出表示为公式1的一般混合信号的情形中，本发明的目的是感性地模拟表示为公式2的再混合信号。
参照图2，将一般立体声信号201和立体声信号201中所包括的M个源信号202输入到第一信号处理装置。立体声信号201被延迟，以与辅助信息同步，然后可直接用作输出信号。
为了生成辅助信息，立体声信号201和源信号202通过滤波器组203在时间-频率域中分解成按子频带信号204和205。具体地，在时间-频率域中处理立体声信号201和源信号202。并且，稍后将解释时间-频率域。
在各子频带的中心频率上类似地处理按子频带信号204。特定频率上的立体声信号201的子频带对204被表示为x1(k)和x2(k)。在这种情形中，‘k’是各个子频带信号的时间索引。类似地，M个源信号202的子频带信号205被表示为S1(k)，S2(k)，...，SM(k)。为了清楚起见，不使用子频带(频率)索引。
如果给出源信号202的子频带信号205，则辅助信息生成单元206生成按子频带的短时子频带功率E{si 2(k)}。
并且，辅助信息生成单元206利用立体声信号201的子频带对204生成按子频带的增益因数ai和bi。从外部直接给出增益因数ai和bi。利用按子频带的短时子频带功率和按子频带的增益因数生成按子频带的辅助信息207。
辅助信息生成单元206可生成与立体声信号相关联的不同信息，作为辅助信息207以及短时子频带功率和增益因数。
并且，辅助信息编码单元208利用按子频带的辅助信息207生成经编码的辅助信息信号209。
对于多个立体声信号201，增益因数ai和bi应当是固定的。如果增益因数ai和bi可根据时间k变化，则将生成作为时间函数的增益因数。代替直接量化并编码，可将增益因数变换成更适于量化和编码的不同值。
并且，E{si 2(k)}可被归一化为与立体声信号201的子频带功率有关的值。如果一般的编码设备用于有效地编码立体声信号，这使得本发明强烈对抗变化。例如，可将ai和bi变换成表示为公式3的增益和分贝(dB)单位电平差，然后传送。
[公式3]
g i = 10 log 10 ( a i 2 + b i 2 )
l i = 20 log 10 b i a i .
并且，代替直接编码为辅助信息，E{si 2(k)}可被变换成关于立体声信号定义的值，它被表示为公式4，然后传送。
[公式4]
A i ( k ) = 10 log 10 E { s i 2 ( k ) } e { x 1 2 ( k ) } + e { x 2 2 ( k ) } .
为了生成短时，本发明使用单极平均。即，可将E{si 2(k)}计算为公式5。
[公式5]
E { s i 2 ( k ) } = αs i 2 ( k ) + ( 1 - α ) E { s i 2 ( k - 1 ) } ,
在公式5中，α∈[0，1]确定如公式6指数减小的估计窗的时间常数。
[公式6]
T = 1 αf s ,
在公式6中，fs指子频带采样频率。例如，能够使用T＝40ms。
在以下的描述中，E{}指短时平均。如果没有给出ai和bi，则需要通过辅助信息生成单元206生成它们。因为
Figure A20078004113100214
所以可通过公式7计算ai。
[公式7]
a i = E { s ~ i ( n ) x ~ 1 ( n ) } E { s ~ i 2 ( n ) } .
类似地，可通过公式8计算bi。
[公式8]
b i = E { s ~ i ( n ) x ~ 2 ( n ) } E { s ~ i 2 ( n ) } .
图3示出根据本发明的一个实施例的用于处理媒体信号的域。
如前面的描述所提及的，音频信号和辅助信息被处理为如图3所示的时间-频率域中的按子频带的信号。
感性地导出时间-频率域中按子频带的信号。例如，能够使用具有正弦分析和约20ms的合成窗的STFT(短时傅里叶变换)生成按子频带的信号。在这种情形中，能够以一个组具有约比ERB(等效矩形带宽)大两倍的带宽的方式编组STFT系数。
图4是根据本发明的一个实施例的第二信号处理装置的框图。
参照图4，缩减混合单元406通过将多个源信号401相加来生成和信号。与第一信号处理装置不同，第二信号处理装置传送和信号404而不传送立体声信号。
辅助信息生成单元403利用源信号401生成辅助信息405。辅助信息405包括对应于各个源信号的子频带功率和增益因数。并且，辅助信息405可包括对应于再混合渲染单元中的延迟的参数。类似于第一信号处理单元中的，辅助信息405通过变换成更适用于量化和编码的不同值而被传送。
辅助信息编码单元利用所生成的辅助信息405生成辅助信息信号407。
所生成的和信号405和所生成的辅助信息信号407被传送到解码设备。
本发明还包括没能具有缩减混合单元402的编码设备。在这种情形中，不将源信号401变换成和信号404，而是直接传送之。
图5是根据本发明的一个实施例的第三信号处理装置的框图。
参照图5，根据本发明的一个实施例的第三信号处理装置包括辅助信息解码单元503和再混合渲染单元505。
混合信号501和辅助信息信号502被输入到第三信号处理装置。混合信号501可包括单声道、立体声、或多声道音频信号。
辅助信息解码单元503通过解码辅助信息信号504来生成辅助信息502。辅助信息504包括传送的音频信号501中所包括的源信号的增益因数和子频带功率。
利用由用户直接提供的控制信息生成的用户混合参数506可被输入到再混合渲染单元505。
再混合渲染单元505使用混合信号501、所传送的辅助信息504和用户混合参数506生成再混合信号507。稍后将参照图6说明生成再混合信号的方法的细节。
再混合信号507生成为其声道号等于所传送的混合信号的声道号的等同声道混合信号，或者可生成为其声道号大于混合信号的声道号的扩展声道混合信号。
图6是在使用立体声信号的情形中图5所示的第三信号处理装置的详细框图。如前面的描述中所提及的，所传送的混合信号可包括单声道、立体声或多声道音频信号。为了方便起见，假设所传送的混合信号包括立体声信号601。
参照图6，立体声信号601经由滤波器组603在时间-频率域中分解为按子频带信号604。在特定频率上的按子频带的信号604分别表示为x1(k)和x2(k)。
辅助信息解码单元605通过解码所传送的辅助信息信号602生成按子频带的辅助信息606。
利用由用户提供的控制信息生成的用户混合参数608可被输入到再混合渲染单元607。并且，可按子频带提供用户混合参数608。
如前面的描述所提及的，辅助信息606包括表示为按子频带的增益因数ai和bi的子频带功率和要再混合的M个源信号的E{si 2(k)}。
再混合渲染单元607使用按子频带生成的立体声信号604、所传送的辅助信息606和用户混合参数608生成按子频带的再混合信号609(y1(k)，y2(k))。将详细说明生成再混合信号609的方法。再混合信号609经由逆滤波器组610在时域中变换成立体声信号(y1，y2)611。
如下说明由再混合单元607生成再混合信号609的方法。
首先，公式1和公式2对按子频带信号604和609是有效的。在这种情形中，由按子频带的源信号si(k)替换源信号si(n)。
[公式9]
x 1 ( k ) = Σ i = 1 I a i s i ( k )
x 2 ( k ) = Σ i = 1 I b i s i ( k ) ,
按子频带的再混合信号609可被表示为公式10。
[公式10]
y 1 ( k ) = Σ i = 1 M c i s i ( k ) + Σ i = M + 1 I a i s i ( k )
y 2 ( k ) = Σ i = 1 M d i s i ( k ) + Σ i = M + 1 I b i s i ( k ) .
为了生成再混合信号609，可使用最小二乘估计。如果给出按子频带的混合信号(x1(k)，x2(k))604，则如公式11所示具有不同增益的按子频带的再混合信号609可被估计为按子频带的混合信号604的线性组合。
[公式11]
y ^ 1 ( k ) = w 11 ( k ) x 1 ( k ) + w 12 ( k ) x 2 ( k )
y ^ 2 ( k ) = w 21 ( k ) x 1 ( k ) + w 22 ( k ) x 2 ( k ) ,
在公式11中，w11(k)、w12(k)、w21(k)和w22(k)分别是权重因数。在这种情形中，所生成的估计误差可被定义为公式12。
[公式12]
e 1 ( k ) = y 1 ( k ) - y ^ 1 ( k )
= y 1 ( k ) - w 11 ( k ) x 1 ( k ) - w 12 ( k ) x 2 ( k )
e 2 ( k ) = y 2 ( k ) - y ^ 2 ( k )
= y 2 ( k ) - w 21 ( k ) x 1 ( k ) - w 22 ( k ) x 2 ( k ) .
可按子频带生成权重因数w11(k)、w12(k)、w21(k)和w22(k)，以使均方误差E{e1 2(k)}和E{e2 2(k)}最小化。为此，能够使用这样的事实：当e1(k)和e2(k)分别与x1(k)和x2(k)正交时能够使均方误差最小化。所生成的w11(k)和w12(k)可表示为公式13。
[公式13]
w 11 = E { x 2 2 } E { x 1 y 1 } - E { x 1 x 2 } E { x 2 y 1 } E { x 1 2 } E { x 2 2 } - E 2 { x 1 x 2 }
w 12 = E { x 1 x 2 } E { x 1 y 1 } - E { x 1 2 } E { x 2 y 1 } E 2 { x 1 x 2 } - E { x 1 2 } E { x 2 2 } .
在公式13中，可直接生成E{x1 2}、E{x2 2}和E{x1x2}。然而，可利用所传送的辅助信息606(例如，E{si 2}、ai、bi)和由用户提供的控制信息608(例如，增益因数ci和di)由公式14生成E{x1y1}和E{x2y1}。
[公式14]
E { x 1 y 1 } = E { x 1 2 } + Σ i = 1 M a i ( c i - a i ) E { s i 2 }
E { x 2 y 1 } = E { x 1 x 2 } + Σ i = 1 M b i ( c i - a i ) E { s i 2 } .
类似地，可由公式15生成w21和w22。
[公式15]
w 21 = E { x 2 2 } E { x 1 y 2 } - E { x 1 x 2 } E { x 2 y 2 } E { x 1 2 } E { x 2 2 } - E 2 { x 1 x 2 }
w 22 = E { x 1 x 2 } E { x 1 y 2 } - E { x 1 2 } E { x 2 y 2 } E 2 { x 1 x 2 } - E { x 1 2 } E { x 2 2 } ,
在公式15中，E{x1y2}和E{x2y2}可被表示为公式16
[公式16]
E { x 1 y 2 } = E { x 1 x 2 } + Σ i = 1 M a i ( d i - b i ) E { s i 2 }
E { x 2 y 2 } = E { x 2 2 } + Σ i = 1 M b i ( d i - b i ) E { s i 2 } .
如果混合信号604的相位彼此相干或几乎为相干，则表示为公式17的值接近1。
[公式17]
φ = E { x 1 x 2 } E { x 1 2 } E { x 2 2 }
在这种情形中，可将权重表示为公式18。
[公式18]
w 11 = E { x 1 y 1 } E { x 1 2 }
w12＝w21＝0
w 22 = E { x 2 y 2 } E { x 2 2 } .
如前面的描述所提及的，以上生成的按子频带的再混合信号609经由逆滤波器组610在时间-频率域中变换成再混合信号611。
再混合信号611听起来类似于利用由用户提供的控制信息生成的用户混合参数ci和di独立地再混合源信号所生成的再混合信号。
至此主要处理了2声道立体声信号的再混合。然而，如前面的描述所提及的，本发明适用于多声道音频信号的再混合，例如，5.1声道音频信号以及立体声信号。本领域技术人员显而易见的是能够以类似于应用到本公开所描述的立体声信号的方式再混合多声道音频信号。如果是这样的话，可将公式11重写成公式19。
[公式19]
y ^ 1 ( k ) = Σ c = 1 C w 1 c ( k ) x c ( k )
y ^ 2 ( k ) = Σ c = 1 C w 2 c ( k ) x c ( k )
...
y ^ C ( k ) = Σ c = 1 C w Cc ( k ) x c ( k ) .
选择性地，混合信号的声道中特定的一个可保持完整，而不被再混合。例如，再混合施加于5.1环绕声道的前声道，而两个后声道未被修改。为此，将2或3声道再混合算法应用于前声道。
图7是根据本发明的一个实施例的第四信号处理装置的框图。
参照图7，根据本发明的一个实施例的第四信号处理装置包括辅助信息解码单元703、空间信息统一单元705和再混合渲染单元707。
源信号的和信号701和辅助信息信号702被输入到第四信号处理装置。
辅助信息解码单元703通过解码辅助信息信号704来生成辅助信息702。辅助信息704包括增益因数、延迟常数、子频带功率等。
辅助信息统一单元705利用辅助信息704将和信号701分成多个源信号706。
再混合渲染单元707能够利用源信号706生成再混合信号709。在这种情形中，再混合渲染单元707能够利用辅助信息所携带的混合参数生成再混合信号709。
并且，再混合渲染单元707能够利用由用户提供的控制信息所生成的用户混合参数708来生成再混合信号709。
图8是根据本发明的一个实施例的一般编码设备和信号处理装置的组合配置的框图。
参照图8，混合信号801可通过由一般编码设备803进行编码而变换成经编码的混合信号805。混合信号801可包括按声道信号或源信号。并且，一般编码设备803包括在未来开发的编码器以及诸如AAC、MP3编码器的常规编码器等。
根据本发明的再混合信号编码装置804利用混合信号801和该混合信号中所包括的源信号802生成辅助信息信号806。
复用单元807利用经编码的混合信号805和辅助信息信号806生成比特流808。如前面的描述所提及的，辅助信息信号806可被插入到具有与常规设备的兼容性的常规混合信号格式内的辅助数据区中。
图9是根据本发明的一个实施例的一般解码设备和信号处理装置的组合配置的框图。
参照图9，分用单元902将所传送的比特流901分成经编码的混合信号903和辅助信息信号904。
随后，一般解码设备905通过解码经编码的混合信号903生成可用于根据本发明的再混合信号解码装置907的混合信号906。并且，一般解码设备905包括在未来开发的解码器以及诸如AAC、MP3解码器的常规解码器等。混合信号906可包括按声道信号或源信号。根据本发明的再混合信号解码装置907能够利用辅助信息信号和用户混合参数908中的至少一个将混合信号906变换成再混合信号909。
图10是根据本发明的一个实施例的第五信号处理装置的框图。
参照图10，根据本发明的一个实施例的第五信号处理装置包括混合信号解码单元1001、参数生成单元1002和再混合渲染单元1008。任选地，第五信号处理装置可包括效应器1011。
参数生成单元1002可包括盲混合参数生成单元1003、用户混合参数生成单元1004和再混合参数生成单元1005。
再混合参数生成单元1005包括等同混合参数生成单元1006，且可任选地包括扩展混合参数生成单元1007。
再混合渲染单元1008包括等同混合渲染单元1009，且可任选地包括扩展混合渲染单元1010。
混合信号解码单元1001通过解码由编码端传送的经编码的混合信号来生成混合信号。
参数生成单元1002接收由编码端传送的辅助信息和用户控制信息(或配置信息)。并且，用户控制信息可从解码器端生成，而不是由编码器端传送。
用户混合参数生成单元1004利用用户控制信息生成用户混合参数。并且，编码器混合参数可被包括在由编码器端传送的辅助信息中。
盲混合参数生成单元1003能够利用混合信号生成盲混合参数。编码器混合参数或盲混合参数可被选择性地输入到再混合参数生成单元1005。
再混合参数生成单元1005利用辅助信息和用户混合参数生成再混合参数。能够生成适用于再混合信号的声道的再混合参数。
再混合参数生成单元1005中所包括的等同混合参数生成单元1006生成在生成其声道号等于混合信号的声道号的再混合信号时使用的再混合参数。
并且，扩展混合参数生成单元1007生成在生成其声道号大于混合信号的声道号的再混合信号时使用的再混合参数。将再混合参数输入到再混合渲染单元1008。
再混合渲染单元1008中所包括的等同混合渲染单元1009利用再混合参数和混合信号生成其声道号等于混合信号的声道号的等同声道再混合信号。
可包括在再混合渲染单元1008中的扩展混合渲染单元1010利用由扩展混合参数生成单元1007生成的再混合参数和混合信号生成其声道号大于混合信号的声道号的扩展声道再混合信号。扩展混合渲染单元1010可利用由等同声道渲染单元1009生成的再混合信号生成扩展声道再混合信号。
因此，第五信号处理装置按原样输出由编码端传送的混合信号，将混合信号输出到等同声道再混合信号中，或将混合信号输出到扩展声道再混合信号中。任选地，使用由效应器1011提供的信息，再混合渲染单元能够给予再混合信号各种效果。
图11是根据本发明的一个实施例的包括混合信号比特流和辅助信息比特流的数据结构的示图。参照图11，数据结构包括混合信号比特流1101和辅助信息比特流1102。并且，辅助信息比特流1102包括首部区1103和数据区1104。如前面的描述所提及的，根据本发明的信号处理装置接收具有图11所示的数据结构的比特流。信号处理装置通过解码混合信号比特流1101获取包括至少一个源信号的混合信号，并且还通过解码辅助信息比特流1102获取辅助信息。
辅助信息包括指示至少一个源信号中要再混合的源信号和混合信号之间的关系的信息。例如，辅助信息包括电平信息、时延信息、交叉相关性信息、混合信息等。
在这种情形中，电平信息可包括要再混合的源信号的电平，且还可包括要再混合的源信号之间的相对电平，或者要再混合的源信号和混合信号之间的相对电平。并且，混合信号的电平可附加地包括在辅助信息中。
时延信息可包括要再混合的源信号之间的时延信息，或要再混合的源信号和混合信号之间的时延信息。交叉相关性信息可包括要再混合的源信号之间的交叉相关性信息、要再混合的源信号和混合信号之间的交叉相关性、或者混合信号之间的交叉相关性。
并且，混合信息是指示特定源与混合信号混合的程度的信息。例如，如果特定源尝试具有位于右侧的效应，则能够以右声道的大小比左声道大的方式实施混合。因此，混合信息可指示每个源与相对应的声道混合的程度。此外，混合信息可包括关于与混合相关联的时延的信息、关于相关性的信息等以及大小。
根据本发明的信号处理装置能够从辅助信息比特流1102获取混合参数。混合参数利用由用户提供的控制信息生成。可通过编码设备或解码设备生成混合参数。在通过解码设备生成混合参数的情形中，解码设备从用户接收控制信息然后利用控制信息生成混合参数。根据本发明的信号处理装置利用混合信号、辅助信息和混合参数生成再混合信号。在以下的描述中，描述辅助信息比特流中所包括的信息。
图12是图10所示的辅助信息比特流的数据结构的详细示图。
参照图12，首部包括首部-11203，且数据区1202包括多个帧数据1204和多个首部-21205。在首部-11203中包括诸如混合信号中所包括的源信号的名称、源信号的特性、再现方法等高级信息。
并且，首部-11203可包括源信号的增益、源信号的数目、子频带号等。并且，首部-11203可任选地包括源信号再现/配置方法。例如，首部-11203可通过任选地包括预定的用户-混合参数提供再现/配置方法。
此外，首部-11203可任选地包括针对增益和摇移的再混合范围。
根据本发明的信号处理装置利用混合信号、辅助信息和混合参数生成再混合信号。在这种情形中，适当程度的控制，例如特定源信号能量+20dB～-20dB的调节对再现质量几乎没有影响。然而，如果特定源信号的能量被完全抑制或过度修改，则再现的质量可降级。
所以，提出了一种通过设置在根据本发明的信号处理装置中可调节的最大增益衰减水平来确保再现质量的方法。例如，可使用允许最大达-40dB的衰减的方法。在这种情形中，如果用户将衰减水平调节为-80dB，则解码装置不执行相应的调节而是实际用来执行仅达-40dB的衰减。这样做时，能够宣称仅实施达到预定水平的衰减而不是执行由用户指令的衰减。
帧数据1204可包括在各个子频带内归一化的源功率。并且，帧数据1204可包括关于每个帧中所包括的数据类型的信息。
例如，在第一数据类型的情形中，帧数据1204包括最少信息。例如，帧数据1204可包括仅与辅助信息相关联的源功率。
在第二数据类型的情形中，帧数据1204包括另外更新的增益。这对于利用根据时间变化的非静态混合增益生成再混合信号的情形是有用的。
在第三或第四数据类型的情形中，可将帧数据1204分配为保留区以供将来使用。在比特流用于广播的情形中，保留区可包括匹配广播信号的调谐所需的信息，例如，采样频率、子频带数等。
图13是根据本发明的一个实施例的第六信号处理装置的框图。
参照图13，根据本发明的一个实施例的第六信号处理装置包括辅助信息生成单元1303、辅助信息编码单元1305和嵌入单元1307。
混合信号1301和源信号1302被输入到第六信号处理装置。如前面的描述中所提及的，混合信号1301可包括单声道、立体声或多声道音频信号。为了方便起见，参考立体声信号进行描述，这不会对本发明的实现作出限制。
辅助信息生成单元1303利用混合信号1301和源信号1302生成辅助信息1304。在这种情形中，辅助信息1304包括指示混合信号中所包括的源信号与混合信号声道混合的程度的混合信息、包括在混合信号中的源信号之间的时延信息或源信号和混合信号声道之间的时延信息、以及包括在混合信号中的源信号之间的交叉相关性信息或源信号和混合信号声道之间的交叉相关性信息。
辅助信息编码单元1305利用辅助信息1304生成辅助信息信号1306以供传输和存储。
并且，嵌入单元1307将辅助信息信号1306嵌入混合信号1301。对于这种情形，可使用‘数字信号嵌入方法’。如果使用‘数字信号嵌入方法’，则能够在没有音质劣化的情况下将辅助信息嵌入PCM型混合信号1301。
具有辅助信息嵌入其中的混合信号不是总能感性地与原始混合信号区分开。具体地，有辅助信息嵌入其中的输出信号(x1′和x2′)1308可被等价地视为解码设备中的输入信号(x1和x2)1301。
‘数字信号嵌入方法’包括位替换编码法、回声隐藏法、基于扩展频谱的方法等。
位替换编码法包括通过修改经量化的混合信号样本的较低位来插入特定信息的步骤，并使用最低位的修改几乎不影响混合信号的质量的特性。
回声隐藏法包括将大小足以不被人耳听到的回声插入混合信号的步骤。
基于扩展频谱的方法包括通过离散余弦变换、离散傅立叶变换等将混合信号变换成频域信号，对特定二进制信息执行频谱扩展成为PN(伪噪声)序列，并将PN序列加入经频域变换的混合信号。
在本发明的以下描述中，将主要说明嵌入方法中的位替换编码方法，这不会限制本发明的实现。
图14是配置图13所示的第六信号处理装置的嵌入单元的详细框图。
参照图14，嵌入单元1307包括缓冲器1403、掩蔽阈值估计单元1405、比特流整形单元1407和混合信号编码单元1409。
通过位替换编码方法，辅助信息可被嵌入到混合信号分量的非感知区。在这种情形中，根据预定方法以及至少1个位，特定区域中的k个位(K＞0)可用作非感知区的大小(在下文中称为K)。例如，预定方法包括根据心理声学模型得出掩蔽阈值并根据掩蔽阈值分配适当的位。
参照图14，将混合信号1401经由缓冲器1403输入到混合信号编码单元。
掩蔽阈值估计单元1405利用关于所输入的混合信号1401的特性的信息1404得到按预定部分(例如，块)的掩蔽阈值。并且，掩蔽阈值估计单元1405利用掩蔽阈值得到能够不生成听觉失真地进行修改的值K。具体地，按块分配可在将辅助信息1402嵌入混合信号1401时使用的位数。
在本公开中，‘块’指利用帧中存在的单个K值插入的数据单位。在单个帧中可存在至少一个块。因此，如果帧的长度固定，则块的长度可与块数成反比。
比特流整形单元1407可将辅助信息整形成包括K。在这种情形中，同步字、检错码、纠错码等可被包括在整形辅助信息中。
混合信号编码单元1409将整形辅助信息1408嵌入混合信号1401然后输出嵌有辅助信息的混合信号1410。
如前面的描述所提及的，整形辅助信息1408可嵌入在混合信号的K个位中。K的值被插入整形辅助信息1408中然后发送到解码设备。然后解码设备能够利用K值从混合信号提取辅助信息。
辅助信息可通过各种方法之一按块嵌入混合信号中。
第一方法包括用0替换混合信号的K个较低位，并将辅助信息加于此。例如，如果K是3，如果混合信号的样本数据是11101101，且如果要嵌入的辅助信息数据是111，则用0替换11101101的3个较低位以生成11101000并将辅助信息数据111加于此以生成11101111。
第二方法使用抖动，且包括从混合信号的K个较低位减去辅助信息数据、基于K的值再量化混合信号并将辅助信息数据加至经再量化的混合信号的步骤。例如，如果K的值是3，如果混合信号的样本数据是11101101，且如果要嵌入的辅助信息数据是111，则从11101101减去111以生成11100110。对3个较低位以上的位执行再量化以生成11101000(舍入)。随后，将111加入11101000以生成1101111。
因为嵌入在混合信号中的辅助信息是随机比特流，所以它可能不具有白噪声特性。因为在音质特性方面将白噪声类型信号加入混合信号是有利的，所以将辅助信息白化然后加入混合信号。白化适用于除同步字之外的辅助信息信号。在本发明中，白化表示形成具有混合信号的音量或声级的随机信号，它在所有频域相等或几乎相似。
在将辅助信息嵌入混合信号的过程中，能够通过将噪声成形方案应用于辅助信息来使听觉失真最小化。在本发明中，噪声成形表示以将从量化生成的经量化噪声的能量移到可听频带上的高频带的方式修改噪声特性的过程。并且，噪声成形还表示包括从对应混合信号得到掩蔽阈值，生成对应于掩蔽阈值的时变滤波器，并利用所生成的滤波器修改从量化生成的噪声的特性的过程。
图15是根据本发明的一个实施例的嵌入辅助信息的方法的示图。
辅助信息可以各种方式被嵌入混合信号中。并且，图15示出以样本平面的顺序嵌入辅助信息的方法。以K位为单位分布对应块的辅助信息的方式实施嵌入方法。
参照图15，如果K的值是4，且如果单个块1505用N个样本1504构造，则辅助信息可被嵌入在每个样本的4个较低位中。如前面的描述所提及的，本发明不仅仅限于将辅助信息嵌入每个样本的4个较低位的方法。
在每个样本的K个较低位，如图15所示，辅助信息可首先从MSB(最高有效位)嵌入或首先从LSB(最低有效位)嵌入。
附图中所示的箭头1503指嵌入的方向，且括号中的数字指数据排列顺序。
在将要嵌入的辅助信息的位数小于其中嵌入辅助信息的区域中的可嵌入位数的情形中，剩余的位可补零(1506)，随机信号被插入其中，或者剩余的位被原始混合信号替换。
例如，如果构成块的样本数(N)是100，且如果K是4，则可嵌入在块中的位数(W)是400位(WN*K＝100*4＝400)。
在要嵌入的辅助信息的位数(V)是390位(即，V＜W)的情形中，剩余的10位被补零，随机信号被插入其中，剩余的10位被原始混合信号替换，剩余的10位用尾序列填充，或者剩余的10位用其组合填充。尾序列表示指示相应块中辅助信息的结束的位序列。尽管图15示出填充按块的剩余位，但本发明包括通过以上说明的方法填充按插入帧的剩余位。
图16是根据本发明的一个实施例的经整形(reshaped)辅助信息的数据结构的示图。
参照图16，如前面的描述所提及的，辅助信息可通过比特流整形单元整形成包括同步字1603和K值1604。在整形过程中，能够判定辅助信息信号在传输或存储过程中是否被损坏的至少一个检错码或纠错码1606和1608(在下文中仅描述为纠错码)可包括在经整形辅助信息信号中。
纠错码包括CRC(循环冗余校验)。可通过两步包括纠错码。具体地，可包括用于首部1601的其中包括K个值的纠错码-11606和用于辅助信息数据1607的纠错码-21608。此外，其它信息1605可被单独包括在辅助信息信号中。用于辅助信息嵌入方法的识别信息等可被包括在其它信息1605中。
图17是根据本发明的一个实施例的利用所嵌入的辅助信息解码音频信号的第七信号处理装置的框图。
参照图17，根据本发明的一个实施例的第七信号处理装置包括嵌入信号解码单元1702、辅助信息解码单元1704和再混合渲染单元1706。
嵌入信号解码单元1702可检测来自混合信号1701的辅助信息信号1703。
辅助信息解码单元1704通过解码辅助信息信号来生成辅助信息1705。
再混合渲染单元1706利用辅助信息1705和混合信号1701生成再混合信号1708。这样做时，再混合渲染单元1706能够使用由用户提供的控制信息所生成的用户混合参数1707。
图18是根据本发明的一个实施例的通过保存原始信号嵌入辅助信息的第八信号处理装置的详细框图。
因为根据本发明的一个实施例的第八信号处理装置类似于图13所示的第六信号处理装置，所以在以下的描述中省略相同部分的细节。第八信号处理装置与第六信号处理装置的不同之处在于构成编码设备的嵌入单元配置不同。
参照图18，经由缓冲器1803将混合信号1801输入到混合信号编码单元1809。
掩蔽阈值估计单元1805利用关于混合信号1801的特性的信息1804计算掩蔽阈值，然后利用掩蔽阈值得到K值1806。
比特流整形单元1807以在不去除其中将嵌入辅助信息信号1802的区域的混合信号数据1811的情况下组合混合信号数据1811和辅助信息信号1802的方式执行整形。整形方法将参照图19予以详细说明。
并且混合信号编码单元1809能够将经整形的信号1808嵌入混合信号1801。
图19是根据本发明的一个实施例的通过保存原始信号来嵌入辅助信息的方法的示图。
为了清楚和方便起见，在辅助信息被插入构成混合信号的单个声道1901的单个块中的假设上进行描述。
参照图19，混合信号1901的分量可被分成辅助信息未被嵌入的区域1902和辅助信息被嵌入的区域1903。
被嵌入区域1903的混合信号经历无损编码1904。随后，经无损编码的混合信号和辅助信息信号1905被组合并编码以生成组合信号1907。随后，组合信号1907被嵌入混合信号以生成有组合信号嵌入其中的混合信号1908。
因此，如果必要，解码设备可利用组合信号1907完美地重构原始混合信号1901。由于以下原因，该方法是可能的。首先，因为要嵌入的辅助信息信号的数据大小实际上小于可嵌入数据大小，所以能够确保将经无损编码的混合信号插入其中的空间。
在简单地嵌入辅助信息信号的方法中没有生成失真，因为嵌入信号感觉上地等于原始信号但这些信号彼此不完全相同。所以，在原始信号的完美重构是必需的情形中，可使用以上的方法。
图20是根据本发明的一个实施例的用于完美重构原始信号的第八信号处理装置的框图。
参照图20，根据本发明的一个实施例的第八信号处理装置包括嵌入信号解码单元2002、无损解码单元2004和替换单元2006。
嵌入信号解码单元2002从其中嵌入组合信号的混合信号2001提取组合信号2003。
无损解码单元2004利用组合信号2003重构对应于其中嵌入组合信号的区域的混合信号2005。
并且，替换单元2006利用经重构的混合信号2005生成原始信号2007。
可同时使用根据图20的重构过程和利用辅助信息的再混合过程。在这种情形中，代替利用x1′和x2′进行解码，利用x1和x2实施再混合过程。因此，可获得较好的输出。
图21是根据本发明的一个实施例的将辅助信息嵌入两个声道的音频信号的第一方法的示图。
参照图21，第一方法涉及在每个声道的帧构建有多个块(长度B)的情形中将辅助信息插入具有至少一个声道的混合信号的方法。
K的值可按声道或按块具有不同或相等的值。K1、K2、K3和K4的值可存储在对整个帧传送一次的帧首部中。并且，帧首部可位于LSB。在这种情形中，首部能逐个位平面单位地插入，且辅助信息数据能够可选地逐个样本单位或块单位地插入。
图21示出帧内的块数是2的情形。所以，块的大小(B)变为N/2。如果是这样的话，帧中插入的位数变为(K1+K2+K3+K4)*B。
图22是根据本发明的一个实施例的将辅助信息嵌入两个声道的音频信号的第二方法的示图。
参见图22，第二方法涉及通过在两个声道上分割辅助信息来嵌入辅助信息的方法。这样做时，辅助信息以位平面的顺序从LSB或MSB插入两个声道，且还替换地逐个样本单位地插入。所以，混合两种插入。
如图所示该方法可逐个帧单位或块单位地实施。
参照图22，部分1至C(阴影部分)指示对应于头部的部分。为了便于搜索插入帧同步字，它们可以位平面的顺序插入在LSB或MSB中。
并且，部分C+1、C+2...(非阴影部分)指示首部以外的部分。为了便于辅助信息读出，它们可替换地逐个样本单位地插入两个声道中。K值可按声道或块彼此不同或者可彼此相同。
图23是根据本发明的一个实施例的用于去除所嵌入的辅助信息的第九信号处理装置的框图。为了内容的版权保护等目的，辅助信息被修改或从其中插入辅助信息的混合信号中去除。因此，用于再混合的辅助信息根本没有留下。
参照图23，分析单元2302分析嵌入辅助信息的混合信号2301，然后提取诸如辅助信息嵌入区域的信息等的嵌入信息2303。
去除单元2304从嵌有辅助信息的混合信号2301去除辅助信息并生成辅助信息被去除的混合信号2305。为此，可使用如下的各种方法。
在第一方法中，通过分析单元2302检查嵌入的辅助信息是否存在于混合信号中。通过得出嵌入的电平值等确认去除范围。最后，正确地去除其中嵌有辅助信息的位序列。
在第二方法中，在不使音质失真的情况下搜索可嵌入随机噪声的电平值(类似于K的值)。然后加入对应的随机信号以破坏所插入的辅助信息。
在第三方法中，利用全通滤波器修改信号。
在第四方法中，由随机信号替换LSB1位以去除同步字信息。
图24是根据本发明的一个实施例的用于生成其中嵌有辅助信息的混合信号的比特流的第十信号处理装置的框图。
参照图24，编码设备包括辅助信息提取单元2401、混合信号编码单元2402和复用单元2403。
可能发生的是其中嵌有辅助信息的混合信号需要被编码(例如，需要实施AAC(高级音频编码)编码)。在这种情形中，如果实施一般的AAC编码，则在编码过程中，具有极差刚性的嵌入信息可能完全消失。然而，在编码前已经从嵌有辅助信息的混合信号中提取辅助信息之后，如果对混合信号实施压缩编码，则能够将辅助信息与经压缩的混合信号一起发送。该方法将被详细解释如下。
首先，辅助信息提取单元2401从嵌有辅助信息的混合信号中提取辅助信息。为此，图1中所解释的方法适用于辅助信息提取。
随后，混合信号编码单元2402对已经从中提取辅助信息的混合信号执行压缩编码。
并且，复用单元2403通过复用经编码的混合信号和辅助信息来生成比特流。
如果辅助信息是空间信息，则经复用的比特流可以是具有空间信息的压缩比特流。例如，经复用的比特流可包括AAC+MPEG环绕信号。
如果辅助信息是通过与PCM型混合信号时间对齐所使用的信号，则有必要将待编码的混合信号的帧单位与用于插入辅助信息的单位对齐。
并且，需要利用从辅助信息提取过程获取的帧同步信息匹配混合信号的编码起始位置的过程。
此外，能够利用嵌入信息的帧长度信息确定混合信号的帧长度。稍后将解释利用帧长度信息的方法。
由于通过以上说明的方法生成最后位序列具有带有极低数据率的辅助信息，所以可将多声道信号生成为具有极低数据率的信号以供存储和传输。
图25是图24所示的第十信号处理装置的详细框图。
参照图25，编码装置还可包括缓冲单元2505。并且，构成编码设备的辅助信息提取单元2501包括同步信息提取单元2502、首部信息提取单元2503和有效载荷提取单元2504。
首先，同步信息提取单元2502从嵌有辅助信息的混合信号Lo’和Ro’提取辅助信息的同步信息。一旦获取同步信息，与相应同步信息的第一样本相对应的位置变为帧同步值。帧同步值被传送到缓冲单元2505。
缓冲单元2505利用帧同步值识别帧的起始位置。缓冲单元2505缓冲来自相应位置的等于混合信号帧长度的数据，然后将经缓冲的数据传送到混合信号编码单元2506。
同时，首部信息提取单元2503以在提取同步信息之后解码存在的辅助信息的首部区的方式提取解码所需的首部信息。首部信息可在解码与辅助信息中所包括的数据信息相对应的有效载荷信息中使用。
在这种情况下，能够将从首部区提取的辅助信息的帧长度信息传送到缓冲单元2505或混合信号编码单元2506。
混合信号编码单元2506能够利用帧长度信息确定混合信号帧长度。
有效载荷提取单元2504从辅助信息中提取除同步信息和首部信息以外的实际数据信息。
混合信号编码单元2506利用同步信息和帧长度信息编码混合信号。
随后，复用单元2507利用经编码的混合信号和辅助信息来生成比特流。
图26是根据本发明的一个实施例的用于将辅助信息嵌入混合信号的第十一信号处理装置的框图。
参照图26，根据本发明的一个实施例的第十一信号处理装置包括分用单元2601、混合信号解码单元2602和嵌入单元2603。
分用单元2601通过分用比特流提取经编码的混合信号和要嵌入混合信号内的辅助信息。
混合信号解码单元2602解码经编码的混合信号，然后输出经解码的混合信号Ld和Rd。
并且，嵌入单元2603通过将辅助信息嵌入经解码的混合信号来生成嵌有辅助信息的混合信号Ld’和Rd’。混合信号可被存储在诸如CD等的PCM信号存储介质中并可被发送。
图27是根据本发明的一个实施例的用于控制混合信号的第十一信号处理装置的框图。
参照图27，根据本发明的一个实施例的第十一信号处理装置包括混合信号控制设备2710和混合信号处理设备2720。
混合信号控制设备2710互连至混合信号处理设备2720，且包括控制单元2711、存储器2712、输入单元2713、显示器2714和通信单元2715。
在这种情形中，混合信号处理设备2720可与参照图5解释的第三信号处理装置等同，其细节将在以下的描述中省略。
存储器2712是其中存储按混合信号的识别信息的源控制信息的存储设备。在这种情形中，混合信号的识别信息可以是从辅助信息解码单元2723接收的混合信号的辅助信息(si)或混合信号2721本身。
同时，源控制信息可包括按源增益因数、按声道的增益因数和按子频带的按源增益因数中的至少一个。在这种情形中，增益因数可等同于前面参照图6解释的增益因数(ci，di)，这不会限制本发明的实现。
如果增益因数(ci，di)根据时间变化，则时间索引‘k’被附连于此以表示ci(k)和di(k)(k是时间索引)，公式10可被修改为公式20。
[公式20]
y 1 ( k ) = Σ i = 1 M c i ( k ) s i ( k ) + Σ i = M + 1 I a i s i ( k )
y 2 ( k ) = Σ i = 1 M d i ( k ) s i ( k ) + Σ i = M + 1 I b i s i ( k )
同时，源控制信息可包括关于特定部分中的摇移效果的控制信息。例如，能够以人类的语音信号在2分24秒和2分42秒之间的部分中从右声道逐渐移动到左声道的方式描述摇移效果。在这种情形中，仅包括起点信息(例如，ks＝2分24秒)、终点信息(例如，kf＝2分42秒)、起点处的增益因数(例如，ci(ks)＝1，di(ks)＝0)和终点处的增益因数(例如，ci(kf)＝0，di(kf)＝1)。但是，可不包括起点和终点之间的增益因数(ci(k)，di(k)，其中ks＜k＜kf)。
图28是根据本发明的一个实施例的在摇移效果的情形中用于说明起点信息、终点信息以及起点与终点处的增益因数的示图。
参照图28，示出在k＝ks(起点)和k＝kf(终点)处的增益因数(ci(k)，di(k))。并且，起点和终点之间的增益因数被加以阴影。如果起点和终点处的增益因数在存储器2712中被存储为源控制信息，则可通过控制单元2711生成其间的增益因数(阴影部分)。
源控制信息可包括关于特定部分中的渐变效果的控制信息。例如，女性语音信号在1分24秒和1分42秒之间的部分中渐强或渐弱，这被称为渐变效果。在这种情形中，类似摇移效果的情形，仅包括起点信息(例如，ks＝1分24秒)、终点信息(例如，kf＝1分42秒)、起点处的增益因数(例如，ci(ks)＝1，di(ks)＝0)和终点处的增益因数(例如，ci(kf)＝0，di(kf)＝1)。但是，可不包括起点和终点之间的增益因数(ci(k)，di(k)，其中ks＜k＜kf)。
图29是根据本发明的一个实施例的在渐变效果的情形中用于说明起点信息、终点信息以及起点与终点处的增益因数的示图。
参照图29，类似图28所示的情形，可由控制单元2711生成起点和终点之间的增益因数(阴影部分)，即使它们未被存储在存储器2712中。
控制单元2711基于媒体信号的识别信息从存储器2712读出与混合信号匹配的源控制信息(ci)，然后将读出信息输出到混合信号处理设备2720。
较佳地，如果存在与混合信号匹配的控制信息(ci)，则控制单元2711显示源控制信息的列表。
图30和31是根据本发明的一个实施例的用于表示源控制信息列表的屏幕画面的示例性示图。图31示出表示源信息连同源控制信息列表的画面。
如果由用户经由输入单元2713输出对特定源控制信息的选择命令，则从存储器2712读取所选择的控制信息(ci)然后将其输出到混合信号处理设备2720。
在通过图31所示的画面输入对单个混合信号中所包括的源(例如，钢琴、小提琴、女声歌唱、长笛)中的一个(例如，女声歌唱)的选择命令的情形中，控制单元2711仅输出对应于所选择源(例如，女声歌唱)的源控制信息(例如，ci＝[c3(k)，d3(k)])。在经由输入单元输出关于所选的源控制信息的经修改的源控制信息的情形中，控制单元2711将经修改的源控制信息存储在存储器2712中。
同时，在与混合信号匹配的源控制信息(ci)未被存储在存储器2712中的情形中，控制单元2711输出使源控制信息能够经由显示器2714输入的画面。如果经由输入单元2713输入源控制信息，则控制单元2711通过使所输入的信息与混合信号的识别信息相匹配来将所输入的源控制信息存储在存储器2712中。
输入单元2713是用于输入源控制信息、源控制信息修改命令、源控制信息选择命令等的输入设备。
显示器2714是用于显示源控制信息输入画面、源控制信息列表、源控制信息选择画面等的显示设备。
通信单元2715是用于在控制单元的控制下将源控制信息(ci)经由通信网络发送到第二再混合控制设备(附图中未示出)的元件。在这种情形中，源控制信息可包括经编码的位序列，其包括混合信号的识别信息以识别混合信号。此外，稍后将参照图34至36说明第二再混合控制设备(附图中未示出)。
图32是根据本发明的一个实施例的用于控制混合信号的第十二信号处理装置的框图。
参照图32，根据本发明的一个实施例的第十二信号处理装置包括混合信号控制设备3210和混合信号处理设备3220。
混合信号控制设备3210互连至混合信号处理设备3220，且包括控制单元3211、存储器3212、输入单元3213和显示器3214。
在这种情形中，混合信号处理设备3220可与参照图7说明的第四信号处理装置等同，其细节将在以下的描述中省略。
同时，第十二信号处理装置中所包括的控制设备3210的控制单元3211、存储器3212、输入单元3213和显示器3214具有几乎与第十一信号处理装置中所包括的控制设备2710的元件(具有相同的名称)相同的功能，其细节将在以下的描述中省略。
图33是根据本发明的一个实施例的处理混合信号的方法的流程图。
参照图33，首先，用户从多个混合信号最后选择要再混合的特定混合信号(S3301)。
如果这样的话，混合信号处理设备解码混合信号的辅助信息。
混合信号控制设备从混合信号处理设备或外部设备接收混合信号的识别信息(混合信号或混合信号的辅助信息)(S3302)。
随后，基于在步骤S3302接收到的混合信号的识别信息，混合信号控制设备查询与步骤S3301中选择的混合信号匹配的源控制信息是否被存储(S3303)。
如果存在所存储的源控制信息(在步骤S3304中为“是”)，则在显示器上表示源控制信息的列表。如前面的描述所提及的，在图30和31中示出源控制信息列表的示例。
用户输入对特定源控制信息(所有源或部分)的选择命令(S3305)。例如，在显示图30所示的画面时，点击第二再混合信息(‘2.再混合信息2’)。或者，在显示图31所示的画面时，点击第二再混合信息(‘2.再混合信息2’)的图标‘钢琴’。
如果是这样的话，混合信号处理设备读取在步骤S3305中选择的源控制信息(所有源或部分)然后将读取信息输出到混合信号处理设备(S3306)。
在接收到步骤S3306中所输出的源控制信息之后，混合信号处理设备根据源控制信息再混合混合信号(S3308)。
如果用户完全或部分地修改源控制信息(S3309)，则存储经修改的控制信息(S3310)。
同时，如果所存储的源控制信息不存在(在步骤S3304中为‘否’)，则判定用户是否选择存储源控制信息(S3311)。
如果用户选择存储源控制信息(在步骤S3311中为‘是’)，则混合信号控制设备显示源控制信息输入画面。如果用户输入源控制信息，则混合信号控制设备接收相对应的源控制信息(S3312)。
随后，混合信号控制设备通过使所接收的源控制信息与混合信号的识别信息相匹配来存储所接收的源控制信息(S3313)。
图34是根据本发明的一个实施例的生成源控制信息以供使用的过程的示图。
参照图34，第一混合信号控制设备3401经由通信网络向控制信息提供服务器3403提供源控制信息(ci)或直接将源控制信息发送到第二混合信号控制设备3402。在这种情形中，第一混合信号控制设备2401可等同于前面参照图27-32说明的第六信号控制设备2710/3210。
同时，已经接收源控制信息(ci)的第二混合信号控制设备3402利用源控制信息(ci)再混合相应的混合信号。稍后将参照图35说明第二混合信号控制设备3402的细节。
图35是根据本发明的一个实施例的用于控制混合信号的第十三信号处理装置的框图，且图36是根据本发明的一个实施例的处理混合信号的方法的流程图。
参照图35，根据本发明的一个实施例的第十三信号处理装置包括第二混合信号控制设备3510和混合信号处理设备3520。
第二混合信号控制设备3510互连至混合信号处理设备3520，且包括通信单元3511、输入单元3512、控制单元3513和显示器3514。
在这种情形中，混合信号处理设备3520可与参照图5说明的第三信号处理装置相同，其细节将在以下的描述中省略。
通信单元是用于接收对应于混合信号的至少一个源控制信息(ci)的元件。在这种情形中，至少一个源控制信息(ci)可各自构造一位序列且可用单个位序列来构造。源控制信息(ci)可包括由编码设备生成的信息(ci(预先设置))或由普通用户生成的信息(ci(UCC))。
输入单元3512是使得能够从至少一个接收到的源控制信息(Ci)选出一个的输入设备。
控制单元3513控制经由输入单元3512选择的源控制信息(ci)被输出到混合信号处理设备3520。
并且，显示器是用于显示至少一个源控制信息的设备。
参照图36，首先，第二混合信号控制设备3510接收对应于混合信号的至少一个源控制信息(S3601)。
如果是这样的话，显示源控制信息的列表(S3602)。
如果用户选择所显示的源控制信息之一(在步骤S3603中为‘是’)，则所选择的源控制信息被输出到混合信号处理设备3520(S3604)。
图37是根据本发明的一个实施例的用于控制混合信号的第十四信号处理装置的框图。
参照图37，根据本发明的另一个实施例的混合信号控制设备3710包括参数生成单元3713和扩展混合渲染单元3714。
参数生成单元3713接收辅助信息3712和控制信息(ci)然后生成扩展混合参数(UPBS)。或者，通过接收混合信号3711而不是辅助信息3712，参数生成单元3713能够基于所接收的混合信号3711生成辅助信息3712。
同时，控制信息(ci)具有包括按源增益因数、按声道的增益因数和按子频带的按源增益因数(g)以及输出声道配置信息(cf)中的至少一个的概念。按源增益因数、按声道的增益因数和按子频带的按源增益因数(g)中的至少一个的增益因数可等同于前面参照图6说明的增益因数(ci和di)608，本发明的实现不限于此。
由参数生成单元3713生成的扩展混合参数(扩展混合参数比特流，IPBS)是与尝试用大于混合信号3711的声道号大的声道号执行渲染的情况相对应的参数。并且，扩展混合参数可用编码成可传送到另一个设备的位序列来构造。
并且，扩展混合渲染单元3714接收扩展混合参数(UPBS)和混合信号3711然后输出扩展声道混合信号(UCMS)。在这种情形中，扩展声道混合信号(UCMS)具有比混合信号3711大的声道号。
图38是根据本发明的一个实施例的处理混合信号的方法的流程图。
参照图38，首先，接收对应于混合信号的辅助信息(S3801)。
接收包括按源增益因数、按声道的增益因数和按子频带的按源增益因数以及输出声道配置信息中的至少一个的控制信息(S3802)。
利用在步骤S3801接收的辅助信息和在步骤S3802接收的控制信息生成扩展混合参数。
最后，利用扩展混合参数和混合信号生成经再混合的扩展混合混合信号(S3804)。
图39是根据本发明的一个实施例的生成辅助信息的方法的流程图。
为了使编码设备生成辅助信息，单独的源信号是必需的。然而，在各种混合信号中，可能发生的是混合信号中所包括的源信号不单独存在。在这种情形中，可利用类似混合信号中所包括的源信号的信号生成辅助信息。并且，辅助信息包括诸如增益值、子频带功率等参数。
参照图39，如果输入混合信号(S3901)，则判定混合信号的单独源信号是否独立存在(S3902)。
如果单独源信号存在，则利用单独源信号生成辅助信息(S3904)。
如果单独源信号不存在，则判定用于混合信号的MIDI文件是否存在(S3903)。
如果MIDI文件存在，则可利用MIDI文件生成辅助信息(S3906)。例如，利用MIDI文件生成特定源信号(例如钢琴声音)，然后可利用特定源信号生成辅助信息。
如果MIDI文件不存在，则可利用以下方法之一生成辅助信息。
在第一方法中，利用采用与特定源信号的寄存器组相似的寄存器组的乐器生成辅助信息(S3905)。例如，在歌唱的情形中，可利用采用与歌唱的寄存器组相似的寄存器组的乐器生成辅助信息。
在第二方法中，利用指示混合信号中特定空间的声音分量生成辅助信息(S3905)。例如，在歌唱的情形中，指示混合信号中的中间空间的声音分量被分析，以将其视为歌唱。然后利用该声音分量生成辅助信息。
在第三方法中，将第一和第二方法组合起来。具体地，利用采用与特定源信号的寄存器组相似的寄存器组的乐器和指示混合信号中的特定空间的声音分量生成辅助信息(S3905)。
最后，可利用混合信号和辅助信息生成混合信号文件(S3907)。
图40是根据本发明的一个实施例的用于替换特定源信号的第十五信号处理装置的框图。
参照图40，根据本发明的一个实施例的第十五信号处理装置包括再混合渲染单元4002、控制单元4003、再现单元4004、源信号生成单元4005、存储器单元4008、记录单元4009和记录介质4011。在图40中，再现单元4004包括扬声器，这不限制本发明的各个实现。
首先，将混合信号4001输入到再混合渲染单元4002。
再混合渲染单元4002利用辅助信息、混合信号以及用户混合参数生成再混合信号。在这种情形中，可利用从用户处获取的控制信息生成用户混合参数。例如，能够以降低混合信号中所包括的特定源信号(例如歌唱信号)的增益或止音特定源信号的方式生成再混合信号。
控制单元4003使得再混合信号能够经由扬声器4004输出。在输出再混合信号的过程中，可经由源信号生成单元4005输入新源4006。在这种情形中，新源4006可由用户提供或可利用单独设备提供。
随后，可将由源信号生成单元4005生成的源信号存储在存储器4008中。
记录单元4009可利用再混合信号和存储在存储器4008中的新源信号生成新的再混合信号4010。
例如，再混合信号通过止音混合信号中包括的钢琴声音来生成。在输出再混合信号的过程中输入由弹钢琴的用户生成的钢琴信号以生成新的再混合信号。由用户生成的钢琴信号被存储在存储器中，然后可用于通过与再混合信号合成生成新的再混合信号。
新的混合信号4010被存储在记录介质4011中然后向外部输出(4012)。记录介质4011被包括在根据本发明的信号处理装置中，或者可单独存在。
图41是根据本发明的一个实施例的第十六信号处理装置的框图。
参照图41，根据本发明的一个实施例的第十六信号处理装置包括第一辅助信息生成单元4103、第一辅助信息编码单元4104、第二辅助信息生成单元4106和第二辅助信息编码单元4107。
编码设备将混合信号4101发送到解码设备。编码设备能够将混合信号4101直接发送到解码设备。或者，在有多个混合信号4101的情形中，编码设备能够以将混合信号4101缩减混合成一个或两个缩减混合信号的方式发送它们。任选地，可通过针对混合信号传输效率量化和编码缩减混合信号4101来发送它。
可将源信号分成混合信号4101中所包括的信号(s1...sM)4102和混合信号4101中不包括的其它源信号(sQ...sZ)4105。
例如，假设混合信号4101中包括的源信号4102是鼓和贝司(base)信号，且还假设混合信号4101中不包括的源信号4105是歌唱-1、歌唱-2、歌唱-3、钢琴和小提琴信号。在这种情形中，第一辅助信息生成单元4103利用混合信号4101和混合信号4101中所包括的鼓和贝司信号4102生成用于调节鼓和贝司信号的第一辅助信息。在以下的描述中，用于包括在混合信号4101中的源信号4102的辅助信息被称为第一辅助信息。并且，用于未被包括在混合信号4101中的源信号4105的辅助信息被称为第二辅助信息。
第二辅助信息生成单元4106利用歌唱-1、歌唱-2、歌唱-3、钢琴和小提琴信号生成第二辅助信息。第二辅助信息是用于按源信号调节未被包括在混合信号4101中的源信号4105的信息。第一和第二辅助信息中的每一个包括增益因数、按照子频带的功率、延迟常数等。
第一辅助信息编码单元4104编码由第一辅助信息生成单元4103生成的第一辅助信息然后将经编码的信号发送到解码设备。
第二辅助信息编码单元4107编码由第二辅助信息生成单元4106生成的第二辅助信息然后将经编码的信号发送到解码设备。
未被包括在混合信号4101中的源信号4105和相应的第二辅助信息不仅可由编码设备生成还可由其它设备生成。
具体地，未被包括在混合信号4101中的源信号4105和相应的第二辅助信息由与编码设备分离的提供源信号的服务器生成，然后将其提供给解码设备。
或者，未被包括在混合信号4101中的源信号4105和相应的第二辅助信息可直接由用户生成。
解码设备能够利用包括在混合信号4101中的源信号4102和未被包括在混合信号4101中的源信号4105生成新的混合信号。
在前面的示例中，用户仅按口味从包括在混合信号4101中的源信号中选择贝司信号，且还从未被包括在混合信号4101中的源信号4105中选择歌唱-1和钢琴声音，然后生成包括贝司信号、歌唱-1声音和钢琴声音的新混合信号。
用户能够从源信号提供服务器和/或解码设备分别接收未被包括在混合信号4101中的源信号4105中的每一个。所以，用户能够利用分别接收的源信号4105生成新的混合信号。
图42是根据本发明的一个实施例的第十七信号处理装置的框图。
参照图42，根据本发明的一个实施例的第十七信号处理装置包括混合信号修改单元4203、辅助信息修改单元4207和再混合单元4211。
第十七信号处理装置提取从编码设备接收或事先存储的混合信号4201、以及未被包括在混合信号4201中的源信号4202。
混合信号修改单元4203利用混合信号4201和未被包括在混合信号4201中的源信号4202修改混合信号4201。
具体地，混合信号修改单元4203从用户处接收源信号选择信息4208，然后生成新的混合信号4204，其包括由用户从包括在混合信号4201中的源信号中选择的源信号和未被包括在混合信号4201中的源信号4202。
辅助信息修改单元4207从用户处接收源信号选择信息4208然后生成用于按源信号调节新混合信号4204的辅助信息4209。在以下的描述中，用于新的混合信号4204的辅助信息可被称为第三辅助信息4209。
辅助信息修改单元4207能够利用按源信号调节混合信号4201的第一辅助信息和用于调节未被包括在混合信号4201中的源信号4202的第二辅助信息生成用于新的混合信号4204的第三辅助信息4209。
并且，辅助信息修改单元4207能够利用混合信号4201和未被包括在混合信号4201中的源信号4202直接生成第三辅助信息4209。
再混合单元4211从用户处接收控制信息4210，从混合信号修改单元4203接收经修改的混合信号4204、并从辅助信息修改单元4207接收用于新的混合信号4204的第三辅助信息。
再混合单元4211利用控制信息4210、经修改的混合信号4204和用于经修改的混合信号4204的第三辅助信息4209生成经再混合的混合信号4212。
第十七信号处理装置可包括用于提取表示源信号的图标、修改所提取的图标和生成新图标的图标处理单元(图中未示出)。
用户能够在调节混合信号中所包括的相应源信号时使用用符号表示各个源信号的图标。图标可包括用于表示源信号的乐器的图像、歌手的脸部轮廓等或描述乐器名称的文本等。
用户能够利用由编码设备发送的源信号的图标来调节源信号。用户按口味修改由编码设备发送的源信号的图标，然后使用经修改的图标。用户通过访问用于提供源信号的服务器来接收用于源信号的图标，然后使用所接收的图标。并且，用户直接生成用于源信号的图标，然后使用所生成的互连至源信号的图标。
图43是根据本发明的一个实施例的混合信号变换单元的内部框图。
参照图43，混合信号修改单元4203包括源信号提取单元4301、控制单元4302和信号修改单元4303。
首先，源信号提取单元4301提取源信号。在这种情形中，源信号包括混合信号中包括的源信号和未被包括在混合信号中的源信号。
控制单元4302从用户处接收源信号选择信息4304。控制单元4302提取由用户选择的源信号然后将所提取的源信号发送至信号修改单元4303。
信号修改单元4303利用由用户选择的源信号生成新的混合信号。具体地，根据用户作出的选择，信号修改单元4303以从新的混合信号中排除混合信号中所包括的特定源信号、并使未被包括在混合信号中的源信号中的特定源信号能够被包括在新的混合信号中的方式生成包括由用户选择的源信号的新混合信号。
因此，用户能够通过按口味选择特定源信号来将原始混合信号修改成新的混合信号。
图44是根据本发明的一个实施例的利用源信号提供服务器处理信号的方法的示图。
参照图44，用户利用用户终端4402访问源信号提供服务器4401。在这种情形中，用户终端4402包括能够经由通信网络访问服务器的设备，诸如用户PC、移动电话、PDA、PMP等。
源信号提供服务器4401包括可与混合信号一起再现的未被包括在混合信号中的源信号。
源信号提供服务器4401包括要与混合信号一起播放的源信号，其具有与混合信号相同的节拍、节奏等并与混合信号同步。
例如，当歌曲‘十一月的雨(November Rain)’由鼓、贝司、吉他和钢琴演奏时，每个源信号对于同一音乐以同一节奏和节拍演奏。在这种情形中，如果仅源信号中的鼓和贝司信号被包括在混合信号中，则用户能够从所访问源信号的提供服务器下载‘十一月的雨’的吉他或钢琴信号。
用户能够将所下载的吉他或钢琴信号与原始混合信号一起播放。
用户访问源信号提供服务器4401然后选择特定的音乐。
源信号提供服务器4401显示当前所包括的由用户选择的特定音乐的源信号列表。
用户从由源信号提供服务器4401显示的源信号选择特定源。
源信号提供服务器4401提取用户选择的源信号然后将所提取的源信号发送到用户终端4402。任选地，源信号提供服务器4401生成用于用户选择的源信号的辅助信息然后将辅助信息与源信号一起发送到用户终端4402。
用户能够利用解码设备由从源信号提供服务器4401接收的源信号和包括在原始混合信号中的源信号生成新的混合信号。
用户可从源信号提供服务器4401接收源信号并且还能够直接生成针对特定音乐的源信号。用户能够通过利用混合信号中所包括的源信号和直接生成的源信号修改原始混合信号生成新的混合信号。
源信号提供服务器4401可包括用于源信号的图标以及源信号。用户访问源信号提供服务器4401然后下载以使用用于源信号的图标。用户修改从源信号提供服务器4401接收的源信号的图标，然后使用经修改的图标。
图45是根据本发明的一个实施例的变换混合信号的方法的流程图。
参照图45，根据本发明的信号处理装置提取从编码设备接收的或先前存储的混合信号。信号处理装置提取混合信号中包括的源信号(S4501)。
在以下的描述中，混合信号中包括的源信号被称为第一源信号，而未被包括在混合信号中的源信号被称为第二源信号。
信号处理装置提取从编码设备或源信号提供服务器4401接收的或直接由用户生成的第二源信号(S4502)。
信号处理装置利用第一和第二源信号修改混合信号(S4503)。具体地，信号处理装置生成仅包括由用户从第一源信号和第二源信号中选出的源信号的新的混合信号。
图46是根据本发明的一个实施例的变换混合信号的方法的流程图。
参照图46，根据本发明的信号处理装置提取源信号(S4601)。在这种情形中，源信号包括混合信号中所包括的第一源信号和未被包括在混合信号中的第二源信号。
信号处理装置接收由用户选择的源信号(S4602)。
信号处理装置4303利用由用户选择的源信号生成新的混合信号(S4603)。
具体地，信号处理装置以从原始混合信号所包括的源信号中去除未被用户指定的源信号、并将未被包括在混合信号中的源信号中由用户指定的源信号加入混合信号中的方式生成新的混合信号。
信号处理装置生成用于新的混合信号的第三辅助信息以按源信号调节新的混合信号。
根据本发明的信号处理装置能够利用用于混合信号的第一辅助信息和用于未被包括在混合信号中的源信号的第二辅助信息生成用于新的混合信号的第三辅助信息。
并且，信号处理装置能够不使用第一和第二辅助信息而生成第三辅助信息。
具体地，在生成新的混合信号后，信号处理装置能够利用所生成的混合信号直接生成用于新的混合信号的第三辅助信息。
信号处理装置从用户处接收控制信息(S4605)。
并且，信号处理装置利用从用户处接收的控制信息和第三辅助信息生成能够按源信号控制新的混合信号的经再混合的混合信号(S4606)。
工业实用性
尽管本文参考本发明的优选实施例来描述和例示了本发明，但本领域的技术人员将清楚可在本发明中作出各种修改和变形而不会脱离本发明的精神和范围。因此，本发明旨在涵盖落入所附权利要求及其等效技术方案范围内的本发明的修改和变形。

Claims (55)

1.一种信号处理方法，包括：
从混合信号比特流提取包括至少一个源信号的混合信号；
从辅助信息比特流提取辅助信息；
获取用户混合参数；以及
利用所述混合信号、所述辅助信息以及所述用户混合参数生成再混合信号，
其中所述辅助信息比特流被分成第一首部区和数据区。
2.如权利要求1所述的信号处理方法，其特征在于，所述第一首部区包括所述至少一个源信号的名称、所述至少一个源信号的特性、所述至少一个源信号的号码、子频带号和采样频率信息中的至少一个。
3.如权利要求2所述的信号处理方法，其特征在于，所述第一首部区选择性地包括用于摇移和增益的再混合范围和用户混合参数信息中的至少一个。
4.如权利要求1所述的信号处理方法，其特征在于，所述数据区包括至少一个第二首部区，且所述第二首部区包括至少一个源信号的增益信息。
5.如权利要求1所述的信号处理方法，其特征在于，所述数据区包括至少一个帧数据区，且所述至少一个帧数据区包括所述至少一个源信号的功率信息。
6.如权利要求5所述的信号处理方法，其特征在于，所述帧数据区还包括数据类型信息。
7.如权利要求6所述的信号处理方法，其特征在于，所述帧数据区还包括根据所述数据类型信息的所述至少一个源信号的增益信息。
8.一种信号处理方法，包括：
利用至少一个源信号获取混合信号；
从所述至少一个源信号获取要再混合的源信号；
利用所述混合信号和要再混合的所述源信号生成辅助信息；以及
分别利用所述混合信号和所述辅助信息生成混合信号比特流和辅助信息比特流，
其中所述辅助信息比特流被分成第一首部区和数据区。
9.一种信号处理方法，包括：
提取嵌入混合信号的分量中的非感知区中的辅助信息；以及
利用所述辅助信息和所述混合信号生成再混合信号。
10.如权利要求9所述的信号处理方法，其特征在于，所述辅助信息提取包括：
从所述辅助信息的首部区提取其中嵌入所述辅助信息的区域的大小信息；以及
利用所述大小信息从所述混合信号提取所述辅助信息。
11.如权利要求10所述的信号处理方法，其特征在于，所述辅助信息的首部区嵌入所述混合信号的最低有效位(LSB)中。
12.如权利要求9所述的信号处理方法，其特征在于，所述再混合信号生成包括：
利用以控制信息生成的用户混合参数生成所述再混合信号。
13.一种信号处理方法，包括：
利用所述混合信号和所述混合信号中所包括的源信号生成用于再混合所述混合信号的辅助信息；以及
将所述辅助信息嵌入所述混合信号的分量中的非感知区内。
14.如权利要求13所述的信号处理方法，其特征在于，所述辅助信息以样本平面或位平面的顺序嵌入所述非感知区内。
15.如权利要求14所述的信号处理方法，其特征在于，所述辅助信息首先从所述样本平面或位平面的最高有效位(MSB)插入或者首先从所述样本平面或位平面的最低有效位(LSB)插入。
16.如权利要求13所述的信号处理方法，其特征在于，其中嵌入所述辅助信息的区域的大小是利用所述混合信号的掩蔽阈值按其中嵌入所述辅助信息的块得出的。
17.一种信号处理方法，包括：
提取嵌入第一音频信号的分量中的非感知区内的组合信号；
通过对所述组合信号执行无损解码重构对应于所述非感知区的信号分量；以及
利用所述经重构的信号分量和所述第一音频信号生成第二音频信号，
其中所述第二音频信号是嵌入所述组合信号之前的原始信号。
18.如权利要求17所述的信号处理方法，其特征在于，所述组合信号包括辅助信息和利用位于所述第一音频的分量的所述非感知区中的信号分量无损编码的信号分量。
19.如权利要求18所述的信号处理方法，其特征在于，还包括：
利用所述第一音频和所述辅助信息生成第三音频信号。
20.一种信号处理方法，包括：
无损编码位于音频信号的分量的非感知区中的信号分量；
通过将所述经无损编码的信号分量和辅助信息组合在一起来生成组合信号；以及
将所述组合信号嵌入所述非感知区。
21.一种信号处理方法，包括：
提取存在于混合信号的分量的非感知区中的辅助信息；
对从其提取所述辅助信息的混合信号进行编码；以及
利用所述经编码的混合信号和所述辅助信息生成比特流，
其中所述辅助信息包括用于再混合所述混合信号的信息。
22.如权利要求21所述的信号处理方法，其特征在于，所述混合信号编码包括：
提取所述辅助信息的同步信息；以及
利用所述同步信息确定所述混合信号的帧起始位置。
23.一种信号处理方法，包括：
从比特流提取经编码的混合信号和辅助信息；
解码所述经编码的混合信号；以及
将所述辅助信息嵌入所述经解码的混合信号的分量的非感知区内，
其中所述辅助信息包括用于再混合所述混合信号的信息。
24.一种信号处理装置，包括：
嵌入信号解码单元，其提取嵌入混合信号的分量中的非感知区内的经编码的辅助信息；
辅助信息解码单元，其通过解码所述经编码的辅助信息来生成辅助信息；以及
再混合渲染单元，其利用所述辅助信息和所述混合信号生成再混合信号。
25.一种信号处理方法，包括：
获取混合信号的识别信息；
获取与所述识别信息匹配的源控制信息；以及
利用所述源控制信息和所述混合信号生成再混合信号。
26.如权利要求25所述的信号处理方法，其特征在于，所述混合信号的所述识别信息对应于所述混合信号的辅助信息。
27.如权利要求25所述的信号处理方法，其特征在于，所述源控制信息包括按源的增益因数。
28.如权利要求27所述的信号处理方法，其特征在于，所述源控制信息是时间可变的，且所述源控制信息还包括关于施加源控制信息的定时点的信息。
29.如权利要求25所述的信号处理方法，其特征在于，还包括：
如果至少一个源控制信息与所述混合信号匹配，则显示所述源控制信息的列表；以及
如果由用户输入对特定源控制信息的选择命令，则通过读出所选择的源控制信息来输出所选择的源控制信息。
30.如权利要求29所述的信号处理方法，其特征在于，所述源控制信息列表包括所述混合信号的源信息，所述选择命令部分地针对源，且输出所选择的源控制信息包括读出以输出对应于所选择源的源控制信息。
31.如权利要求25所述的信号处理方法，其特征在于，与所述混合信号匹配的所述源控制信息对应于存储值或输入值。
32.一种互连至混合信号的处理器的信号处理装置，包括：
存储器，其存储按所述混合信号的识别信息的源控制信息；以及
控制单元，其基于所述混合信号的识别信息读出与所述混合信号匹配的源控制信息，并将所读取的源控制信息输出到所述混合信号的处理器。
33.如权利要求32所述的信号处理装置，其特征在于，还包括用于输出界面的显示器，其中与所述混合信号匹配的所述源控制信息包括存储在存储器中的值或输入值。
34.一种信号处理方法，包括：
读出对应于混合信号的源控制信息；
存储或发送所述源控制信息，
其中所述源控制信息包括用于识别所述混合信号的识别信息。
35.如权利要求34所述的信号处理方法，其特征在于，所述源控制信息被发送到混合信号控制器。
36.一种信号处理装置，包括：
存储器，其存储对应于混合信号的源控制信息；
通信单元，其与混合信号控制器通信；以及
控制单元，其控制源控制信号通过所述通信单元发送到所述混合信号控制器。
37.一种信号处理方法，包括：
接收对应于混合信号的辅助信息和控制信息；以及
生成扩展混合参数以基于所述辅助信息和所述控制信息扩展混合所述混合信号。
38.如权利要求37所述的信号处理方法，其特征在于，所述控制信息包括增益因数和输出声道配置信息中的至少一个。
39.如权利要求37所述的信号处理方法，其特征在于，还包括利用所述混合信号生成所述辅助信息。
40.一种信号处理装置，包括：
通信单元，其接收对应于混合信号的控制信息；以及
参数生成单元，其生成扩展混合参数以基于所述控制信息和辅助信息扩展混合所述混合信号。
41.一种信号处理方法，包括：
获取包括至少一个源信号的混合信号；
获取混合参数；以及
利用指示所述混合信号中所包括的特定空间的信号分量生成辅助信息；以及
利用所述混合信号、所述混合参数以及所述辅助信息生成再混合信号，
其中所述辅助信息指示所述混合信号和所述混合信号中所包括的至少一个源信号中要再混合的源信号之间的关系。
42.如权利要求41所述的信号处理方法，其特征在于，所述混合参数是利用控制信息生成的。
43.一种信号处理方法，包括：
生成包括至少一个第一源信号的第一混合信号；
生成未被包括在所述第一混合信号中的第二源信号；
利用所述第一混合信号和所述第二源信号生成第二混合信号；以及
利用所述第一混合信号和所述第二混合信号生成再混合信号。
44.如权利要求43所述的信号处理方法，其特征在于，所述第二混合信号是通过降低所述第一源信号的增益生成的。
45.如权利要求43所述的信号处理方法，其特征在于，还包括从用户处获取源信号选择信息，其中所述再混合信号包括根据所述源信号选择信息在所述第一源信号和所述第二源信号之间选择的源信号。
46.如权利要求43所述的信号处理方法，其特征在于，还包括：
生成用于生成所述再混合信号的辅助信息；以及
生成用于生成所述再混合信号的用户混合参数。
47.如权利要求46所述的信号处理方法，其特征在于，还包括获取关于所述第一混合信号的第一辅助信息和关于所述第二源信号的第二辅助信息，用于生成所述再混合信号的辅助信息是利用所述第一辅助信息和所述第二辅助信息生成的。
48.如权利要求46所述的信号处理方法，其特征在于，还包括从用户处获取控制信息，所述用户混合参数是利用所述控制信息生成的。
49.如权利要求48所述的信号处理方法，其特征在于，所述控制信息以用户使用显示在显示器上以指示所述第一源信号或所述第二源信号的可视化工具的方式生成。
50.如权利要求49所述的信号处理方法，其特征在于，所述可视化工具包括图标、文本、按钮和屏幕的特定区域中的至少一个。
51.如权利要求49所述的信号处理方法，其特征在于，所述可视化工具是由编码器发送的，通过修改由所述编码器发送的不同可视化工具生成的，或由所述用户创建的。
52.一种信号处理装置，包括：
混合信号解码单元，其获取包括至少一个源信号的混合信号；
辅助信息生成单元，其利用指示所述混合信号中包括的特定空间的信号分量生成辅助信息；以及
再混合渲染单元，其利用所述混合信号、混合参数以及所述辅助信息生成再混合信号，
其中所述辅助信息指示所述混合信号和所述混合信号中所包括的至少一个或多个源信号中要再混合的源信号之间的关系。
53.一种信号处理装置，包括：
混合信号解码单元，其生成包括至少一个第一源信号的第一混合信号；
源信号解码单元，其生成未被包括在所述第一混合信号中的第二源信号；
混合信号修改单元，其利用所述第一混合信号和所述第二源信号生成第二混合信号；以及
再混合信号生成单元，其利用所述第一混合信号和所述第二混合信号生成再混合信号。
54.如权利要求53所述的信号处理方法，其特征在于，所述再混合信号仅包括由用户在所述第一源信号和所述第二源信号之间选择的源信号。
55.如权利要求53所述的信号处理方法，其特征在于，还包括辅助信息修改单元，其利用关于所述第一混合信号的第一辅助信息和关于所述第二源信号的第二辅助信息生成用于生成所述再混合信号的所述辅助信息。
CN2007800411312A 2006-09-29 2007-10-01 用于处理混合信号的装置及其方法 Expired - Fee Related CN101652810B (zh)

Applications Claiming Priority (13)

Application Number Priority Date Filing Date Title
US84821806P 2006-09-29 2006-09-29
US60/848,218 2006-09-29
US82923306P 2006-10-12 2006-10-12
US60/829,233 2006-10-12
US82935006P 2006-10-13 2006-10-13
US60/829,350 2006-10-13
US86830406P 2006-12-01 2006-12-01
US60/868,304 2006-12-01
US88574207P 2007-01-19 2007-01-19
US60/885,742 2007-01-19
US89416207P 2007-03-09 2007-03-09
US60/894,162 2007-03-09
PCT/KR2007/004805 WO2008039045A1 (en) 2006-09-29 2007-10-01 Apparatus for processing mix signal and method thereof

Publications (2)

Publication Number Publication Date
CN101652810A true CN101652810A (zh) 2010-02-17
CN101652810B CN101652810B (zh) 2012-04-11

Family

ID=39230402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800411312A Expired - Fee Related CN101652810B (zh) 2006-09-29 2007-10-01 用于处理混合信号的装置及其方法

Country Status (5)

Country Link
US (1) US20100040135A1 (zh)
EP (1) EP2084703B1 (zh)
JP (1) JP5174027B2 (zh)
CN (1) CN101652810B (zh)
WO (1) WO2008039045A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014101169A1 (zh) * 2012-12-31 2014-07-03 北京印声科技有限公司 提供增强音频数据流的方法及装置
CN104541326A (zh) * 2012-07-31 2015-04-22 英迪股份有限公司 一种设备和方法,用于处理音频信号
CN105229730A (zh) * 2012-11-09 2016-01-06 斯托明瑞士有限责任公司 多信道信号的非线性逆编码
CN107017000A (zh) * 2016-01-27 2017-08-04 诺基亚技术有限公司 用于编码和解码音频信号的装置、方法和计算机程序
CN107112024A (zh) * 2014-10-24 2017-08-29 杜比国际公司 音频信号的编码和解码
CN110428798A (zh) * 2019-08-02 2019-11-08 湖南国声声学科技股份有限公司深圳分公司 人声与伴奏同步方法、蓝牙设备、终端及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9031242B2 (en) * 2007-11-06 2015-05-12 Starkey Laboratories, Inc. Simulated surround sound hearing aid fitting system
KR101461685B1 (ko) 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
KR101061129B1 (ko) * 2008-04-24 2011-08-31 엘지전자 주식회사 오디오 신호의 처리 방법 및 이의 장치
JP5174527B2 (ja) * 2008-05-14 2013-04-03 日本放送協会 音像定位音響メタ情報を付加した音響信号多重伝送システム、制作装置及び再生装置
US9485589B2 (en) 2008-06-02 2016-11-01 Starkey Laboratories, Inc. Enhanced dynamics processing of streaming audio by source separation and remixing
US8705751B2 (en) 2008-06-02 2014-04-22 Starkey Laboratories, Inc. Compression and mixing for hearing assistance devices
US9185500B2 (en) 2008-06-02 2015-11-10 Starkey Laboratories, Inc. Compression of spaced sources for hearing assistance devices
KR101137360B1 (ko) * 2009-01-28 2012-04-19 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
US20110054917A1 (en) * 2009-08-28 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream
FR2966277B1 (fr) * 2010-10-13 2017-03-31 Inst Polytechnique Grenoble Procede et dispositif de formation d'un signal mixe numerique audio, procede et dispositif de separation de signaux, et signal correspondant
US9246725B2 (en) * 2011-09-06 2016-01-26 Electronics And Telecommunications Research Institute Method of generating and receiving packets in low energy critical infrastructure monitoring system
US8964979B2 (en) * 2011-10-07 2015-02-24 Silicon Image, Inc. Identification and handling of data streams using coded preambles
WO2014007097A1 (ja) 2012-07-02 2014-01-09 ソニー株式会社 復号装置および方法、符号化装置および方法、並びにプログラム
EP2741286A4 (en) * 2012-07-02 2015-04-08 Sony Corp DECODING DEVICE AND METHOD, CODING DEVICE AND METHOD AND PROGRAM
KR20150032649A (ko) 2012-07-02 2015-03-27 소니 주식회사 복호 장치 및 방법, 부호화 장치 및 방법, 및 프로그램
TWI517142B (zh) 2012-07-02 2016-01-11 Sony Corp Audio decoding apparatus and method, audio coding apparatus and method, and program
CN103812824A (zh) * 2012-11-07 2014-05-21 中兴通讯股份有限公司 音频多编码传输方法及相应装置
JP5591423B1 (ja) 2013-03-13 2014-09-17 パナソニック株式会社 オーディオ再生装置およびオーディオ再生方法
US9607624B2 (en) * 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
WO2014171341A1 (ja) * 2013-04-15 2014-10-23 ソニー株式会社 受信装置、受信方法、及び、プログラム
US10535357B2 (en) * 2017-10-05 2020-01-14 Qualcomm Incorporated Encoding or decoding of audio signals
CN111341323B (zh) * 2020-02-10 2022-07-01 厦门快商通科技股份有限公司 声纹识别训练数据扩增方法、系统、移动终端及存储介质

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3503958B2 (ja) * 1992-12-28 2004-03-08 パイオニア株式会社 オムニバスカラオケ演奏装置
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
US5838664A (en) * 1997-07-17 1998-11-17 Videoserver, Inc. Video teleconferencing system with digital transcoding
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6128597A (en) * 1996-05-03 2000-10-03 Lsi Logic Corporation Audio decoder with a reconfigurable downmixing/windowing pipeline and method therefor
US6026168A (en) * 1997-11-14 2000-02-15 Microtek Lab, Inc. Methods and apparatus for automatically synchronizing and regulating volume in audio component systems
WO1999053479A1 (en) * 1998-04-15 1999-10-21 Sgs-Thomson Microelectronics Asia Pacific (Pte) Ltd. Fast frame optimisation in an audio encoder
JP3770293B2 (ja) * 1998-06-08 2006-04-26 ヤマハ株式会社 演奏状態の視覚的表示方法および演奏状態の視覚的表示プログラムが記録された記録媒体
US6122619A (en) * 1998-06-17 2000-09-19 Lsi Logic Corporation Audio decoder with programmable downmixing of MPEG/AC-3 and method therefor
US7103187B1 (en) * 1999-03-30 2006-09-05 Lsi Logic Corporation Audio calibration system
US6546299B1 (en) * 1999-06-01 2003-04-08 Martin Fitzgerald Bradley Machine and method for manipulating digital audio
JP3775156B2 (ja) * 2000-03-02 2006-05-17 ヤマハ株式会社 携帯電話機
US6739418B2 (en) * 2000-04-27 2004-05-25 Mitsubishi Fuso Truck And Bus Corporation Engine operation controller for hybrid electric vehicle
WO2002007481A2 (en) * 2000-07-19 2002-01-24 Koninklijke Philips Electronics N.V. Multi-channel stereo converter for deriving a stereo surround and/or audio centre signal
JP2002058100A (ja) * 2000-08-08 2002-02-22 Yamaha Corp 音像定位制御装置および音像定位制御プログラムが記録された記録媒体
JP2002125010A (ja) * 2000-10-18 2002-04-26 Casio Comput Co Ltd 移動体通信装置及びメロディ着信音出力方法
US6888999B2 (en) * 2001-03-16 2005-05-03 Magix Ag Method of remixing digital information
US7292901B2 (en) * 2002-06-24 2007-11-06 Agere Systems Inc. Hybrid multi-channel/cue coding/decoding of audio signals
JP3726712B2 (ja) * 2001-06-13 2005-12-14 ヤマハ株式会社 演奏設定情報の授受が可能な電子音楽装置及びサーバ装置、並びに、演奏設定情報授受方法及びプログラム
BR0304542A (pt) * 2002-04-22 2004-07-20 Koninkl Philips Electronics Nv Método e codificador para codificar um sinal de áudio de multicanal, aparelho para fornecer um sinal de áudio, sinal de áudio codificado, meio de armazenamento, e, método e decodificador para decodificar um sinal de áudio
EP1394772A1 (en) * 2002-08-28 2004-03-03 Deutsche Thomson-Brandt Gmbh Signaling of window switchings in a MPEG layer 3 audio data stream
KR100542129B1 (ko) * 2002-10-28 2006-01-11 한국전자통신연구원 객체기반 3차원 오디오 시스템 및 그 제어 방법
JP4084990B2 (ja) * 2002-11-19 2008-04-30 株式会社ケンウッド エンコード装置、デコード装置、エンコード方法およびデコード方法
CN1321423C (zh) * 2003-03-03 2007-06-13 三菱重工业株式会社 容器、中子屏蔽体用组合物和中子屏蔽体制造法
US6937737B2 (en) * 2003-10-27 2005-08-30 Britannia Investment Corporation Multi-channel audio surround sound from front located loudspeakers
TWI233091B (en) * 2003-11-18 2005-05-21 Ali Corp Audio mixing output device and method for dynamic range control
US7394903B2 (en) * 2004-01-20 2008-07-01 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Apparatus and method for constructing a multi-channel output signal or for generating a downmix signal
US7805313B2 (en) * 2004-03-04 2010-09-28 Agere Systems Inc. Frequency-based coding of channels in parametric multi-channel coding systems
US7391870B2 (en) * 2004-07-09 2008-06-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E V Apparatus and method for generating a multi-channel output signal
US7332666B2 (en) * 2004-08-05 2008-02-19 Yamaha Corporation Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program
US7452989B2 (en) * 2004-08-09 2008-11-18 Silverbrook Research Pty Ltd Metal-cyanine dye having improved water solubility
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
US7787631B2 (en) * 2004-11-30 2010-08-31 Agere Systems Inc. Parametric coding of spatial audio with cues based on transmitted channels
EP1691348A1 (en) * 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
US7983922B2 (en) * 2005-04-15 2011-07-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Apparatus and method for generating multi-channel synthesizer control signal and apparatus and method for multi-channel synthesizing
US20070083365A1 (en) * 2005-10-06 2007-04-12 Dts, Inc. Neural network classifier for separating audio sources from a monophonic audio signal
US8081762B2 (en) * 2006-01-09 2011-12-20 Nokia Corporation Controlling the decoding of binaural audio signals
US9426596B2 (en) * 2006-02-03 2016-08-23 Electronics And Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US7876904B2 (en) * 2006-07-08 2011-01-25 Nokia Corporation Dynamic decoding of binaural audio signals
EP2092516A4 (en) * 2006-11-15 2010-01-13 Lg Electronics Inc METHOD AND APPARATUS FOR AUDIO SIGNAL DECODING

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541326A (zh) * 2012-07-31 2015-04-22 英迪股份有限公司 一种设备和方法,用于处理音频信号
CN105229730A (zh) * 2012-11-09 2016-01-06 斯托明瑞士有限责任公司 多信道信号的非线性逆编码
WO2014101169A1 (zh) * 2012-12-31 2014-07-03 北京印声科技有限公司 提供增强音频数据流的方法及装置
CN107112024A (zh) * 2014-10-24 2017-08-29 杜比国际公司 音频信号的编码和解码
CN107112024B (zh) * 2014-10-24 2020-07-14 杜比国际公司 音频信号的编码和解码
CN107017000A (zh) * 2016-01-27 2017-08-04 诺基亚技术有限公司 用于编码和解码音频信号的装置、方法和计算机程序
CN107017000B (zh) * 2016-01-27 2021-05-07 诺基亚技术有限公司 用于编码和解码音频信号的装置、方法和计算机程序
CN110428798A (zh) * 2019-08-02 2019-11-08 湖南国声声学科技股份有限公司深圳分公司 人声与伴奏同步方法、蓝牙设备、终端及存储介质
CN110428798B (zh) * 2019-08-02 2021-08-10 湖南国声声学科技股份有限公司深圳分公司 人声与伴奏同步方法、蓝牙设备、终端及存储介质

Also Published As

Publication number Publication date
EP2084703A1 (en) 2009-08-05
EP2084703B1 (en) 2019-05-01
JP5174027B2 (ja) 2013-04-03
EP2084703A4 (en) 2009-09-23
US20100040135A1 (en) 2010-02-18
CN101652810B (zh) 2012-04-11
WO2008039045A1 (en) 2008-04-03
JP2010505143A (ja) 2010-02-18

Similar Documents

Publication Publication Date Title
CN101652810B (zh) 用于处理混合信号的装置及其方法
US20180254048A1 (en) Methods and apparatus to perform audio watermarking and watermark detection and extraction
CN101379552B (zh) 用于编码/解码信号的装置和方法
KR20080082924A (ko) 오디오 신호의 처리 방법 및 장치
JP2006317972A (ja) オーディオデータ編集方法とこれを適用した記録媒体及びデジタルオーディオプレーヤー
US20070168183A1 (en) Audio distribution system, an audio encoder, an audio decoder and methods of operation therefore
JP2008511848A (ja) 符号化されたマルチチャネル信号を発生するための装置および方法並びに符号化されたマルチチャネル信号を復号化するための装置および方法
JP2006507536A (ja) 音声データに複数メッセージをコード化しこれを検出する方法とシステム
CN104681030A (zh) 用于编码/解码信号的装置和方法
EP1932239A1 (en) Method and apparatus for encoding/decoding
US5864813A (en) Method, system and product for harmonic enhancement of encoded audio signals
CN101292285B (zh) 编码和解码多声道音频信号的方法及其装置
US6759585B2 (en) Musical-file-processing apparatus, musical-file-processing method and musical-file-processing method program
US6463405B1 (en) Audiophile encoding of digital audio data using 2-bit polarity/magnitude indicator and 8-bit scale factor for each subband
CN101361277B (zh) 处理音频信号的方法和装置
US6477496B1 (en) Signal synthesis by decoding subband scale factors from one audio signal and subband samples from different one
KR100891672B1 (ko) 믹스 신호의 처리 방법 및 장치
JP2003058194A (ja) 符号化装置、伝送装置、記録装置、復号化装置、再生装置、付加情報付加装置、記録媒体、符号化方法、伝送方法、記録方法、復号化方法、再生方法および付加情報付加方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120411

Termination date: 20181001