CN102436822A - 信号控制装置及其方法 - Google Patents

信号控制装置及其方法 Download PDF

Info

Publication number
CN102436822A
CN102436822A CN2012100237291A CN201210023729A CN102436822A CN 102436822 A CN102436822 A CN 102436822A CN 2012100237291 A CN2012100237291 A CN 2012100237291A CN 201210023729 A CN201210023729 A CN 201210023729A CN 102436822 A CN102436822 A CN 102436822A
Authority
CN
China
Prior art keywords
signal
information
inscape
background sound
rejection coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012100237291A
Other languages
English (en)
Other versions
CN102436822B (zh
Inventor
岛田修
野村俊之
杉山昭彦
宝珠山治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN102436822A publication Critical patent/CN102436822A/zh
Application granted granted Critical
Publication of CN102436822B publication Critical patent/CN102436822B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03GCONTROL OF AMPLIFICATION
    • H03G3/00Gain control in amplifiers or frequency changers
    • H03G3/20Automatic control
    • H03G3/30Automatic control in amplifiers having semiconductor devices
    • H03G3/32Automatic control in amplifiers having semiconductor devices the control being dependent upon ambient noise level or sound level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S2400/00Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Selective Calling Equipment (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Measurement Of Current Or Voltage (AREA)
  • Control By Computers (AREA)

Abstract

本发明提供一种信号控制装置,其特征在于,该信号控制装置是具有能够经由网络或记录介质收发信号的信号分析装置和信号控制装置的信号分析控制系统中的信号控制装置,该信号控制装置包含:信号接收部,其经由网络或记录介质接收包含多个构成要素的信号和由信号分析装置生成的表示所述多个构成要素间的关系的分析信息,所述分析信息用于控制所述输入信号的构成要素间的关系;以及信号控制部,其根据所述分析信息来控制所述多个构成要素间的关系。

Description

信号控制装置及其方法
本申请是申请日为2008年6月26日、申请号为200880022033.9、发明名称为“信号分析装置、信号控制装置及其系统、方法和程序”的发明专利申请的分案申请。
技术领域
本发明涉及信号控制装置及其方法。
背景技术
作为用于抑制多个声源由期望语音和背景噪声构成的输入信号的背景噪声的系统,已知的有噪声抑制系统(以下称为噪声抑制器)。噪声抑制器是用于抑制重叠在期望语音信号上的噪声(noise)的系统。一般情况下,噪声抑制器使用变换为频域的输入信号来估计噪声成分的功率谱,并从输入信号中减去噪声成分的估计功率谱。由此,混合在期望语音信号中的噪声被抑制。另外,这些噪声抑制器通过持续地估计噪声成分的功率谱,也应用于非稳态噪声的抑制。作为与这样的噪声抑制器相关联的技术,例如有专利文件1所记载的技术(以下,称为第一关联技术)。
通常,第一关联技术的噪声抑制器在用于通信的情况下,作为编码器的前处理来发挥功能。噪声抑制器的输出被编码,并在通信路径中传送。在接收部中,信号被解码,生成可听信号。在使用了第一关联技术的噪声抑制器的一输入噪声抑制系统中,一般情况下,未抑制完而残留的残留噪声和被输出的强调语音的畸变处于折中关系。当残留噪声减少时畸变增加,当畸变减少时残留噪声增加。残留噪声和畸变的平衡的最佳状态因各个利用者而异。但是,在噪声抑制器位于编码器之前、即位于发送部内的结构中,利用者不能将残留噪声和畸变的平衡调整为适合自己的喜好。
作为解决该问题的结构,已知有非专利文件1所公开的图58所示的接收侧噪声抑制器(以下,称为第二关联技术)。第二关联技术的结构在接收部中而不是在发送部中包含噪声抑制部9501。噪声抑制部9501对从解码器输入的信号进行噪声抑制处理。因此,利用者能够将残留噪声和畸变的平衡调整为适合自己的喜好。
专利文件1:日本特开2002-204175
非专利文件1:IEEE INTERNATIONAL CONFERENCE ONCONSUMER ELECTRONICS,6.1-4,JAN,2007
在上述第一关联技术中,存在利用者不能将残留噪声和畸变的平衡调整为适合自己喜好的问题。作为解决该问题的手段,有上述的第二关联技术。
但是,在第二关联技术中,由于接收部进行第一关联技术中发送部进行的噪声抑制器的运算,所以存在接收部的运算量增大的问题。另外,在第二关联技术中,还存在如下问题:当接收部具有噪声抑制器以外的重要功能时,不能装入噪声抑制器功能,或者因装入噪声抑制器功能而不能装入其他功能。并且,接收部(或再现部)的运算量增多,因音质和接收机功能的限制而引起便利性降低。另外,第一关联技术和第二关联技术的结构也存在如下问题:以语音和背景噪声的分离为目的,不能应用于一般信号的分离。
发明内容
因此,本发明是鉴于上述课题而发明的,其目的在于提供一种能够用较少的运算量来构成接收部,并且能够按照每个构成要素来控制输入信号的信号分析装置、信号控制装置及其系统、方法和程序。
用于解决上述课题的本发明是一种信号分析装置,其特征在于,该信号分析装置包含:信号接收部,其接收包含多个构成要素的输入信号;以及信号分析部,其根据所述输入信号生成表示所述多个构成要素间的关系的分析信息。
并且,用于解决上述课题的本发明是一种信号控制装置,其特征在于,该信号控制装置包含:信号接收部,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制部,其根据所述分析信息来控制所述多个构成要素间的关系。
并且,用于解决上述课题的本发明是一种信号控制装置,其特征在于,该信号控制装置包含:信号接收部,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制部,其接收用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
并且,用于解决上述课题的本发明是一种信号控制装置,其特征在于,所述信号控制装置包含:信号接收部,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及输出信号生成部,其接收用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
并且,用于解决上述课题的本发明是一种信号分析方法,其特征在于,根据包含多个构成要素的输入信号来生成表示所述多个构成要素间的关系的分析信息。
并且,用于解决上述课题的本发明是一种信号控制方法,其特征在于,接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;根据所述分析信息来控制所述多个构成要素间的关系。
并且,用于解决上述课题的本发明是一种信号控制方法,其特征在于,接收包含多个构成要素的信号、表示所述多个构成要素间的关系的分析信息以及用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
并且,用于解决上述课题的本发明是一种信号控制方法,其特征在于,接收包含多个构成要素的信号、表示所述多个构成要素间的关系的分析信息以及用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
并且,用于解决上述课题的本发明是一种系统,其特征在于,该系统包含:信号接收部,其接收包含多个构成要素的信号;信号分析部,其根据所述信号来生成表示所述多个构成要素间的关系的分析信息;信号接收部,其接收包含所述多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制部,其根据所述分析信息来控制所述多个构成要素间的关系。
并且,用于解决上述课题的本发明是一种系统,其特征在于,信号接收部,其接收包含多个构成要素的信号;信号分析部,其根据所述信号来生成表示所述多个构成要素间的关系的分析信息;信号接收部,其接收包含所述多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制部,其接收用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
并且,用于解决上述课题的本发明是一种系统,其特征在于,信号接收部,其接收包含多个构成要素的信号;信号分析部,其根据所述信号来生成表示所述多个构成要素间的关系的分析信息;信号接收部,其接收包含所述多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及输出信号生成部,其接收用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
并且,用于解决上述课题的本发明是一种信号分析程序,其特征在于,该信号分析程序使信息处理装置执行如下处理:信号接收处理,其接收包含多个构成要素的输入信号;以及信号分析处理,其根据所述输入信号来生成表示所述多个构成要素间的关系的分析信息。
并且,用于解决上述课题的本发明是一种信号控制程序,其特征在于,该信号控制程序包含如下处理:信号接收处理,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制处理,其根据所述分析信息来控制所述多个构成要素间的关系。
并且,用于解决上述课题的本发明是一种信号控制程序,其特征在于,该信号控制程序使信息处理装置执行如下处理:信号接收处理,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制处理,其接收用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
并且,用于解决上述课题的本发明是一种信号控制程序,其特征在于,该信号控制程序包含如下处理:信号接收处理,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及输出信号生成处理,其接收用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
(发明效果)
根据上述手段,本发明由于在发送部中进行信号的分析,所以接收部能够削减信号分析所涉及的运算量。另外,本发明根据来自发送部的信号分析信息,能够在接收部中按照与各声源对应的每个构成要素来控制由多个声源构成的输入信号。
附图说明
图1是表示本发明的第一实施方式的框图。
图2是编码部100的结构例。
图3是解码部150的结构例。
图4是信号分析部101的结构例。
图5是信号控制部151的结构例。
图6是分析信息生成部121的结构例。
图7是背景音信息生成部202的结构例。
图8是信号处理部172的结构例。
图9是抑制系数重构部250的结构例。
图10是背景音信息生成部202的第二结构例。
图11是抑制系数重构部250的第二结构例。
图12是背景音信息生成部202的第三结构例。
图13是分析信息生成部121的第二结构例。
图14是信号处理部172的第二结构例。
图15是抑制系数计算部252的结构例。
图16是信号处理部172的第三结构例。
图17是表示本发明的第三实施方式的框图。
图18是信号控制部350的结构例。
图19是信号处理部360的结构例。
图20是抑制系数重构部450的结构例。
图21是背景音信息修正部460的结构例。
图22是背景音信息修正部460的第二结构例。
图23是背景音信息修正部460的第三结构例。
图24是抑制系数重构部450的第二结构例。
图25是抑制系数重构部450的第三结构例。
图26是信号处理部360的第二结构例。
图27是抑制系数计算部452的结构例。
图28是信号处理部360的第三结构例。
图29是抑制系数计算部452的第二结构例。
图30是表示本发明的第五实施方式的框图。
图31是输出信号生成部550的结构例。
图32是输出信号生成部550的第二结构例。
图33是输出信号生成部550的第三结构例。
图34是构成要素信息变换部563的结构例。
图35是输出信号生成部550的第四结构例。
图36是构成要素信息变换部655的结构例。
图37是本发明的第七实施方式的框图。
图38是输出信号生成部750的结构例。
图39是构成要素信息变换部760的结构例。
图40是输出信号生成部750的第二结构例。
图41是构成要素信息变换部761的结构例。
图42是表示本发明的第九实施方式的框图。
图43是信号分析部900的结构例。
图44是信号分析部900的第二结构例。
图45是分析信息生成部911的结构例。
图46是分析信息生成部911的第二结构例。
图47是表示本发明的第十一实施方式的框图。
图48是编码部1100的结构例。
图49是信号分析部1101的结构例。
图50是解码部1150的结构例。
图51是信号控制部1151的结构例。
图52是信号分析部101的第二结构例。
图53是信号控制部151的第二结构例。
图54是信号分析部101的第三结构例。
图55是信号控制部151的第三结构例。
图56是表示本发明的第十二实施方式的框图。
图57是表示本发明的第十三实施方式的框图。
图58是表示现有例的框图。
符号说明:
1:收发部;
10、13、90:发送部;
15、18、35、55、75:接收部;
100、1100:编码部;
101、900、1101:信号分析部;
102:复用部;
110、120、171、920:变换部;
111:量化部;
121、911、912:分析信息生成部;
150、1150:解码部;
151、350、1151:信号控制部;
152:分离部;
160:逆量化部;
161、173:逆变换部;
172、360:信号处理部;
200、1020:背景音估计部;
201、252、452:抑制系数计算部;
202:背景音信息生成部;
203、207:信号对背景音比计算部;
204:信号对背景音比编码部;
205:背景音编码部;
250、450:抑制系数重构部;
251、451、470:乘法器;
253:减法器;
260:抑制系数解码部;
261:信号对背景音比解码部;
262:抑制系数变换部;
263:背景音解码部;
264:抑制系数生成部;
460:抑制系数修正部;
461:信号对背景音比修正部;
464:背景音修正部;
471:比较部;
472:指定抑制系数控制部;
473:开关;
550、750:输出信号生成部;
560、565:信号控制部;
561、563、564、655、760、761:构成要素信息变换部;
562:描绘部;
651、653、851、853:构成要素参数生成部;
652:描绘信息生成部;
910:量化畸变计算部;
1200:信号分离分析部;
1201:分离滤波器编码部;
1202:分离滤波器解码部;
1203:滤波器;
1210:声音环境分析部;
1211:声音环境信息编码部;
1212:声音环境信息解码部;
1213:声音环境信息处理部;
1300、1301:计算机;
2021:抑制系数编码部。
具体实施方式
参照附图对本发明的信号分析控制系统的实施方式进行详细说明。
参照图1对本发明的信号分析控制系统的第一实施方式进行说明。本发明的信号分析控制系统的结构为:通过传送路径来连接发送部10和接收部15。发送部10接收由多个声源构成的输入信号,并输出传送信号。传送信号经由传送路径被输入到接收部15中。接收部15接收传送信号并输出输出信号。并且,发送部、传送路径、接收部可以分别作为录音部、存储介质、再现部。
发送部10由编码部100、信号分析部101和复用部102构成。输入信号被输入到编码部100和信号分析部101中。信号分析部101用于计算分析信息,该分析信息表示与输入信号中包含的各声源对应的构成要素的关系。信号分析部101将分析信息输出到复用部102中。编码部100对输入信号进行编码。编码部100将编码信号输出到复用部102中。复用部102对编码部100输入的编码信号和信号分析部101输入的分析信息进行复用。复用部102将复用后的信号作为传送信号输出到传送路径中。
接收部15由解码部150、信号控制部151和分离部152构成。首先,传送信号被输入到分离部152中。分离部152将传送信号分离为主信号和分析信息。接着,分离部152将主信号输出到解码部150中,将分析信息输出到信号控制部151中。解码部150对主信号进行解吗,生成解码信号。然后,解码部150将解码信号输出到信号控制部151中。这里,解码信号是由一般的多个声源构成的。信号控制部151根据从分离部152接收到的分析信息,按照与各声源对应的各构成要素来操作从解码部150接收的解码信号。信号控制部151将所操作的信号作为输出信号输出。信号控制部151可以代替与各声源对应的构成要素,而将由多个构成要素组成的构成要素组作为单位来操作。
接着,参照图2对编码部100的结构例进行详细说明。编码部100接收输入信号,并输出编码信号。编码部100由变换部110和量化部111构成。首先,输入信号被输入到变换部110中。接着,变换部110将输入信号分解为频率成分,生成第一变换信号。变换部110将第一变换信号输出到量化部111中。然后,量化部111将第一变换信号进行量化,作为编码信号输出。
变换部110集合多个输入信号样本构成1块,对该块应用频率变换。作为频率变换的例子,已知有傅立叶变换、余弦变换、KL(Karhunen-Loeve)变换等。与这些变换的具体运算相关联的技术及其性质被非专利文件2(DIGITAL CODING OF WAVEFORMS,PRINCIPLESAND APPLICATIONS TO SPEECH AND VIDEO,PRENTICE-HALL,1990.)公开。
变换部110也能对用窗函数将1块输入信号样本进行了加权的结果应用上述变换。作为这样的窗函数,已知有哈明(hamming)、汉宁(hanning)、凯泽窗(kaiser)、布拉克曼窗(blackman)等窗函数。并且,也可以使用更复杂的窗函数。与这些窗函数相关联的技术被非专利文件3(DIGITALSIGNAL PROCESSING,PRENTICE-HALL,1975.)和非专利文件4(MULTIRATE SYSTEMS AND FILTER BANKS,PRENTICE-HALL,1993.)公开。
在由多个输入信号样本构成1块时,变换部110可以允许对各块进行重叠(overlap)。例如,在应用块长的30%的重叠的情况下,属于某个块的信号样本的最后30%可以作为属于下一个块的信号样本的最初30%,在多个块中重复使用。与具有重叠的块化和变换相关联的技术被非专利文件2公开。
另外,变换部110也可以由频带分割滤波器组构成。频带分割滤波器组由多个带通滤波器构成。频带分割滤波器组将所接收的输入信号分割为多个频带,并输出到量化部111中。频带分割滤波器组的各频带可以是等间隔的,也可以是不等间隔的。通过按照不等间隔的方式进行频带分割,能够在低域分割较窄的频带来降低时间分辨率,并在高域分割较宽的频带来提高时间分辨率。在不等间隔分割的代表例中,具有频带朝向低域逐渐减半的八度(Octave)分割和与人的听觉特性对应的临界频带分割等。与频带分割滤波器组及其设计方法相关联的技术被非专利文件4公开。
量化部111除去所输入的信号的冗余性,输出编码信号。作为除去冗余性的方法,按照使所输入的信号的相关最小的方式来进行控制。另外,利用遮蔽效果等听觉特性可以除去听觉上不被认知的信号成分。作为量化方法,已知有线性量化、非线性量化等量化方法。被量化的信号可以使用霍夫曼编码等进一步除去冗余性。
参照图3对解码部150的结构例进行详细说明。解码部150接收主信号,并输出解码信号。解码部150由逆量化部160和逆变换部161构成。逆量化部160对所接收的各频率的主信号进行逆量化,生成由多个频率成分构成的第一变换信号。并且,逆量化部160将第一变换信号输出到逆变换部161中。逆变换部161对第一变换信号进行逆变换,生成解码信号。然后逆变换部161输出解码信号。
逆变换部161应用的逆变换期望的是选择与变换部110应用的变换对应的逆变换。例如,在变换部110集合多个输入信号样本构成1块,并对该块应用频率变换时,逆变换部161对同一数量的样本应用对应的逆变换。并且,在由多个输入信号样本构成1块时,在变换部110允许对各块进行重叠的情况下,与其对应地,逆变换部161对逆变换后的信号应用同一重叠。另外,在用频带分割滤波器组构成变换部110时,则用频带合成滤波器组构成逆变换部161。与频带合成滤波器组及其设计方法相关联的技术被非专利文件4公开。
在图2和图3的编码部100和解码部150的说明中,虽然假定地说明了在内部包含变换部的变换编码,但是也可以应用脉冲编码调制(PCM)、自适应差分脉冲编码调制(ADPCM)、以及CELP等为代表的分析合成编码。与PCM/ADPCM相关联的技术被非专利文件2公开。并且,与CELP相关联的技术被非专利文件5(IEEE INTERNATIONAL CONFERENCEON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING,25.1.1,MAR,1985,pp.937-940)公开。
并且,编码部100也可以不进行编码处理而直接将输入信号输出到复用部102中,解码部150也可以不进行解码处理而将主信号直接输入到信号控制部151中。根据该结构,不能消除伴随着编码/解码处理带来的信号畸变。另外,也可以构成为用编码部100和解码部150进行无畸变的压缩/解压缩处理。根据该结构,信号控制部151能够使输入信号不产生畸变地接收解码信号。
参照图4对信号分析部101的结构例进行详细说明。信号分析部101接收输入信号并输出分析信息。信号分析部101由变换部120和分析信息生成部121构成。变换部120将所接收的输入信号分解为频率成分,生成第二变换信号。变换部120将第二变换信号输出到分析信息生成部121中。分析信息生成部121将第二变换信号分解为与声源对应的构成要素,生成表示多个构成要素间的关系的分析信息。然后,分析信息生成部121输出分析信息。并且,分析信息生成部121也可以将第二变换信号分解为由多个构成要素构成的构成要素组,计算分析信息。信号分析部101也可以在分析信息具有冗余性时,对分析信息进行编码。由此,能够使分析信息的冗余性最小。关于变换部120中的变换方式,也可以使用变换部110中的变换方式。
参照图5对信号控制部151的结构例进行详细说明。信号控制部151接收解码信号和分析信息,并输出输出信号。信号控制部151由变换部171、信号处理部172和逆变换部173构成。变换部171将所接收的解码信号分解为频率成分,生成第二变换信号。信号控制部151将第二变换信号输出到信号处理部172中。信号处理部172使用分析信息将第二变换信号分解为与声源对应的构成要素,变更多个构成要素间的关系,并生成修正解码信号。然后,信号处理部172将修正解码信号输出到逆变换部173中。并且,信号处理部172也可以分解为由多个构成要素构成的构成要素组,变更多个构成要素间的关系。当在分析信息生成部121中对分析信息进行了编码的情况下,信号处理部172进行解码处理之后进行上述处理。逆变换部173对修正解码信号进行逆变换,生成输出信号。然后,逆变换部173输出输出信号。关于逆变换部173中的逆变换方式,可以使用逆变换部161中的逆变换方式。
如以上说明那样,根据本发明的第一实施方式,根据从发送部输出的输入信号的分析信息,能够在接收部中按照与各声源对应的每个构成要素来控制由多个声源构成的输入信号。另外,由于在发送部中进行信号的分析,所以接收部能够削减信号分析所涉及的运算量。
接着,对本发明的第二实施方式进行详细说明。本发明的第二实施方式用于控制作为声源的由目的音和背景音构成的输入信号。第二实施方式的结构如图1所示。信号分析部101和信号控制部151的结构与第一实施方式不同。信号分析部101接收由目的音和背景音构成的输入信号,并将表示目的音和背景音的关系的信息作为分析信息输出到复用部102中。并且,信号控制部151接收解码信号和分析信息,控制目的音和背景音来生成输出信号并将其输出。
第一实施例的信号分析部101计算抑制系数来作为分析信息。抑制系数通过作用于由目的音和背景音构成的输入信号来抑制背景音。信号控制部151使用抑制系数来控制解码信号。信号分析部101的结构如图4所示。本实施例的分析计信息计算部121的结构与第一实施方式的分析计信息计算部121不同。并且,信号控制部151由图5所示。本实施例的信号处理部172的结构与第一实施方式的信号控制部151不同。
参照图6对分析信息生成部121的结构例进行详细说明。分析信息生成部121接收第二变换信号,并输出抑制系数作为分析信息。分析信息生成部121由背景音估计部200和背景音信息生成部202构成。背景音估计部200接收第二变换信号,并进行背景音的估计,生成背景音的信息。背景音估计部200将背景音的信息输出到背景音信息生成部202中。作为背景音的信息,有背景音的振幅绝对值、能量、背景音和输入信号的振幅比、能量比以及它们的平均值等。背景音信息生成部202接收第二变换信号和背景音的信息。背景音信息生成部202根据第二变换信号和背景音的信息来计算抑制系数。并且,背景音信息生成部202输出抑制系数或被编码的抑制系数作为分析信息。
参照图7对背景音信息生成部202的结构例进行详细说明。背景音信息生成部202接收第二变换信号和背景音的信息,并输出抑制系数作为分析信息。背景音信息生成部202由抑制系数计算部201和抑制系数编码部2021构成。抑制系数计算部201使用第二变换信号和背景音的信息来计算用于抑制背景音的合适的抑制系数。然后,抑制系数计算部201将抑制系数输出到抑制系数编码部2021中。作为与抑制系数的计算方法相关联的技术,非专利文件6(IEEE TRANSACTIONS ON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING,VOL.32,NO.6,PP.1109-1121,Dec.1984)公开了基于最小均方误差短时间谱幅度的方法(MMSE STSA),非专利文件7(IEEE TRANSACTIONS ON ACOUSTICS,SPEECH,AND SIGNALPROCESSING,VOL.33,NO.2,PP.443-445,Apr.1985)公开了基于最小均方误差对数谱幅度的方法(MMSE LSA),非专利文件8(EURASIPJOURNAL ON ADVANCES IN SIGNAL PROCESSING,VOLUME 2005,Issue 7,JUL,2005,pp.1110-1126.)公开了基于最小均方误差短时间谱幅度的方法(MMSE STSA),等等。
抑制系数编码部2021接收抑制系数并进行编码。抑制系数编码部2021输出被编码的抑制系数作为分析信息。抑制系数编码部2021进行线性量化、非线性量化等量化,输出通过霍夫曼编码等编码后的抑制系数。由此,能够除去抑制系数的冗余性。并且,抑制系数编码部2021在不需要削减信息量的情况下,可以不进行这些编码处理而输出抑制系数作为分析信息。
接着,参照图8对信号处理部172的结构例进行详细说明。信号处理部172接收第二变换信号和分析信息,输出修正解码信号。信号处理部172由抑制系数重构部250和乘法器251构成。第二变换信号被输入到乘法器251中,分析信息被输入到抑制系数重构部250中。抑制系数重构部250使用所输入的分析信息重构抑制系数,并将抑制系数输出到乘法器251中。乘法器251将第二变换信号和抑制系数相乘,生成修正解码信号。乘法器251将修正解码信号输出到逆变换部173中。
参照图9对抑制系数重构部250的结构例进行详细说明。抑制系数重构部250接收编码后的抑制系数作为分析信息,并输出抑制系数。抑制系数重构部250由抑制系数解码部260构成。抑制系数解码部260对所接收的抑制系数进行解码。在抑制系数未被编码时,抑制系数解码部260不进行解码动作而输出抑制系数。
在第二实施例中,信号分析部101计算信号对背景音比作为分析信息。与其相对应地,信号控制部151根据信号对背景音比来计算抑制系数。信号控制部151使用该抑制系数来控制解码信号。由此,在由目的音和背景音构成的输入信号中能够获得背景音被抑制的信号。
首先,对信号分析部101进行说明。信号分析部101与第一实施例同样由图4所示。本实施例与第一实施例相比,图6所示的分析信息生成部121中包含的背景音信息生成部202的结构不同。
参照图10对本实施例的背景音生成部202进行详细说明。背景音信息生成部202接收第二变换信号和背景音的信息,并输出被编码的信号对背景音比作为分析信息。背景音信息生成部202由抑制系数计算部201、信号对背景音比计算部203及信号对背景音比编码部204构成。抑制系数计算部201使用第二变换信号和背景音的信息,计算用于抑制背景音的合适的抑制系数。然后,抑制系数计算部201向信号对背景音比计算部203输出抑制系数。抑制系数的计算方法可以使用图7所示的第一实施例的抑制系数计算部201的计算方法。信号对背景音比计算部203使用所输入的抑制系数G来计算信号对背景音比R。如果将输入信号设为X,将目的音设为S,将背景音设为N,则以下关系成立。
【式1】
X=S+N
【式2】
S=G×X
【式3】
R = S 2 N 2
该定义的R在背景音是噪声时,作为事前信号对噪声比(事前SNR)是已知的。如果将【式1】和【式2】代入【式3】,则获得【式4】
R = S 2 ( X - S ) 2 = G 2 1 - G 2 .
信号对背景音比计算部203将所计算的信号对背景音比R输出到信号对背景音比编码部204中。信号对背景音比编码部204对所输入的信号对背景音比R进行编码。信号对背景音比编码部204输出编码后的信号对背景音比R作为分析信息。关于编码处理的详情可以使用与抑制系数编码部2021中的编码处理同样的编码处理。由此,能够除去信号对背景音比R的冗余性。并且,信号对背景音比编码部204在没有必要削减信息量的情况下,可以不进行信号对背景音比R的编码处理而输出信号对背景音比作为分析信息。
接着,对本实施例的信号控制部151进行详细说明。信号控制部151与第一实施例同样由图5所示。本实施例和第一实施例的不同之处在于,图8所示的信号处理部172中包含的抑制系数重构部250的结构不同。
参照图11对抑制系数重构部250的结构例进行详细说明。抑制系数重构部250接收被编码的信号对背景音比R作为分析信息,并输出抑制系数G。抑制系数重构部250由信号对背景音比解码部261和抑制系数变换部262构成。信号对背景音比解码部261对所接收到的被编码的信号对背景音比R进行解码,并将信号对背景音比R输出到抑制系数变换部262中。在信号对背景音比R未被编码时,信号对背景音比解码部261不进行解码动作而输出信号对背景音比。抑制系数变换部262将信号对背景音比R变换为抑制系数G。然后,抑制系数变换部262将抑制系数G作为输出。根据【式4】进行从R向G的变换。如果用【式4】对G进行求解,则获得【式5】
G = R 1 + R .
并且,参照图12对背景音信息生成部202的其他结构例进行详细说明。与图10所示的背景音信息生成部202相比,本结构例的背景音信息生成部202不具有抑制系数计算部201,这一点不同。在图12所示的背景音信息生成部202的结构中,作为信号对背景音R的定义,使用【式6】来代替【式3】。该定义的R在背景音是噪声时,作为事后信号对噪声比(事后SNR)是已知的。
【式6】
R = X 2 N 2
即,本结构例的结构为:在背景音是噪声的情况下,代替事前SNR而使用事后SNR作为分析信息。【式6】的R不需要抑制系数G,由输入信号和背景音来计算。由此,信号对背景音比计算部207可以根据第二变换信号和背景音的信息来计算信号对背景音比。然后,信号对背景音比计算部207将信号对背景音比输出到信号对背景音比编码部204中。信号对背景音比编码部204的动作由于与图10所示的信号对背景音比编码部204的动作同样,所以省略说明。
另一方面,将【式1】和【式2】代入【式6】,假定S和N不相关,则获得【式7】
R = 1 1 - G 2 .
即,在信号对背景音比计算部203中可以使用【式7】来计算信号对背景音比R。
在本结构例中,接收侧的图8所示的抑制系数重构部250与上述结构例同样由图11所示。信号对背景音比解码部261对接收到的被编码的信号对背景音比R进行解码,并将信号对背景音比R输出到抑制系数变换部262中。抑制系数变换部262将信号对背景音比R变换为抑制系数G,并输出抑制系数G。根据【式8】来进行从R向G的变换。即,如果利用【式7】对G进行求解,则获得【式8】
G = R - 1 R .
接着对第三实施例进行说明。第三实施例的信号分析部101输出背景音自身作为分析信息。与此相对应地,信号控制部151使用背景音来控制解码信号。
首先,对信号分析部101进行说明。信号分析部101与第一实施例同样由图4所示。本实施例的分析信息生成部121的结构与图6所示的第一实施例的分析信息生成部121的结构不同。
参照图13对本实施例的分析信息生成部121的结构例进行详细说明。与图6所示的第一实施例的分析信息生成部121的结构例相比,背景音信息生成部202由背景音编码部205构成。本结构例的分析信息生成部121接收第二变换信号,并输出被编码的背景音作为分析信息。本结构例的分析信息生成部121由背景音估计部200和背景音编码部205构成。本结构例的背景音估计部200将背景音自身输出到背景音编码部205中。背景音编码部205对所输入的背景音进行编码并输出。由此,能够除去背景音的冗余性。并且,背景音编码部205在没有必要削减信息量的情况下,也可以不进行背景音的编码处理而输出背景音作为分析信息。
关于编码处理,可以使用与抑制系数编码部2021同样的编码处理。
接着对信号控制部151进行说明。信号控制部151与第一实施例同样由图5所示。信号处理部172的结构与图8所示的第一实施例的信号处理部172的结构不同。
参照图14对本实施例的信号处理部172的结构例进行详细说明。与图8所示的第一实施例的信号处理部172的结构例相比,抑制系数重构部250由抑制系数计算部252构成。信号处理部172接收第二变换信号和作为分析信息的被编码的背景音,输出修正解码信号。信号处理部172由抑制系数计算部252和乘法器251构成。第二变换信号被输入到抑制系数计算部252和乘法器251中,被编码的背景音作为分析信息被输入到抑制系数计算部252中。抑制系数计算部252根据背景音和第二变换信号计算抑制系数。然后,抑制系数计算部252将抑制系数输出到乘法器251中。乘法器251将第二变换信号和抑制系数相乘,并将修正解码信号输出到逆变换部173中。
另外,参照图15对抑制系数计算部252的结构进行详细说明。抑制系数计算部252由背景音解码部263和抑制系数生成部264构成。背景音解码部263接收被编码的背景音作为分析信息。然后,背景音解码部263对被编码的背景音进行解码,并将背景音输出到抑制系数生成部264中。在背景音未被编码时,背景音解码部263不进行解码动作而输出背景音。抑制系数生成部264接收背景音和第二变换信号。并且,抑制系数生成部264根据背景音和第二变换信号来计算用于抑制背景音的合适的抑制系数。该抑制系数的计算可以使用与图10所示的抑制系数计算部201同样的计算方法。抑制系数生成部264输出抑制系数。作为与抑制系数的计算方法相关联的技术,有前述非专利文件6、非专利文件7或非专利文件8所公开的技术。
另外,参照图16对信号处理部172的其他结构例进行详细说明。信号处理部172接收第二变换信号和被编码的背景音,并输出背景音被除去的信号作为修正解码信号。本结构例的信号处理部172由背景音解码部263和减法器253构成。第二变换信号被输入到减法器253中,作为分析信息的被编码的背景音被输入到背景音解码部263中。背景音解码部263对被编码的背景音进行解码,并将背景音输出到减法器253中。在分析信息是未被编码的背景音的情况下,不需要背景音解码部263。减法器253从第二变换信号中减去背景音。然后,减法器253将背景音被除去的信号作为修正解码信号输出。在背景音是噪声的情况下,可知该减法为谱减法。与谱减法相关联的技术被非专利文件9(IEEE TRANSACTIONS ONACOUSTICS,SPEECH,AND SIGNAL PROCESSING,VOL.27,NO.2,PP.113-120,April 1979)公开。
并且,减法器253除了减法以外也可以包含附加功能。作为附加功能,例如可以列举以下功能:当减法结果为负时将其校正为0或者微小正值的功能、将减法结果的最小值设定为正值的限制功能、或者通过将背景音信息乘以系数或加上常数来进行修正然后进行相减的功能。
另外,在本实施方式中,发送部10在输入信号由多个信道构成的情况下,可以按照每个信道独立地计算上述第一至第三实施例的分析信息。并且,发送部10可以计算输入信号的所有信道的和,并根据和信号来计算在所有信道中共同的分析信息。或者,发送部10也可以将输入信号分割为多个组,计算各组的输入信号的和,并根据该和信号计算在组中共同的分析信息。与此相对应地,接收部15使用与各信道对应的分析信息来控制解码信号。
并且,在上述第一实施例至第三实施例中说明的分析信息可以作为在多个频带中共同的分析信息来计算。例如,发送部10可以等间隔地分割频带,并按照每个分割的频带来计算分析信息。另外,发送部10也可以按照人的听觉特性,细致地分割低频带,粗略地分割高频带,并按照所分割的单位来计算分析信息。由此能够削减分析信息的信息量。
如以上所说明的那样,根据本发明的第二实施方式,由于在发送部中进行信号的分析,所以能够控制由目的音和背景音构成的输入信号。另外,由于在发送部中对抑制系数或信号对背景音比这样的分析信息进行计算,所以接收部能够削减与分析信息的计算相关的运算量。
接着,参照图17对本发明的第三实施方式进行详细说明。在本发明的第三实施方式中,接收部35具有能够接收信号控制信息的结构,能够独立地控制特定的声源。图17所示的第三实施方式与图1所示的第一实施方式相比,接收部15中包含的信号控制部151由接收部35中包含的信号控制部350构成。并且,在本实施例中,可以将发送部、传送路径、接收部分别作为录音部、存储介质、再现部。以下,省略与图1重复部分的说明。
参照图18对信号控制部350的结构例进行详细说明。信号控制部350由变换部171、信号处理部360和逆变换部173构成。与第一实施方式相比,信号控制部151中包含的信号处理部172在本实施方式中由信号处理部360构成。信号控制部350接收分析信息和信号控制信息,并输出输出信号。信号控制部350根据信号控制信息和分析信息,按照与各声源对应的每个构成要素对从解码部150接收的解码信号进行操作。并且,信号控制部350也可以代替与各声源对应的构成要素,而将由多个构成要素组成的构成要素组作为单位来进行操作。信号处理部360接收来自变换部171的第二变换信号和信号控制信息。信号处理部360根据分析信息和信号控制信息来控制第二变换信号的频率成分的构成要素,生成修正解码信号。信号处理部360将修正解码信号输出到逆变换部173中。
另外,具体来讲,信号处理部360根据分析信息,导出每个频率的分析参数。然后,信号处理部360根据分析参数将第二变换信号分解为与声源对应的构成要素。另外,信号处理部360按照基于信号控制信息的每个频率的参数,生成变更了多个构成要素间的关系的修正解码信号。信号处理部360将修正解码信号输出到逆变换部173中。并且,信号处理部360也可以根据分析参数分解为由多个构成要素构成的构成要素组。
接着,对修正解码信号的生成方法进行具体说明。
如果将某频带f中的解码信号的频率成分(即,第二变换信号)设为Xk(f),k=1,2,...,P(P为解码信号的信道数),将构成要素的频率成分设为Yj(f),j=1,2,...,M(M是构成要素数),将根据信号控制信息而修正了的构成要素的频率成分设为Y’j(f),将修正解码信号设为X’k(f),则使用由分析参数规定的变换函数F501和由信号控制信息规定的变换函数F502,下面的关系成立。
【式9】
Yj(f)=F501(X1(f),X2(f),…,XP(f))
【式10】
Y’j(f)=F502(Yj(f))
【式11】
X’k(f)=F503(Y’j(f))
这里,变换函数F503是将修正构成要素变换为修正解码信号的函数。
并且,综合函数F500、F501、F502、F503,能够获得【式12】
X’(f)=F504(X(f))。
此时,变换函数F504由分析参数和信号控制信息来规定。
作为上述变换函数的具体例,如果将频带f的分析参数B(f)表示为【式13】
Figure BDA0000133788120000211
并且将根据信号控制信息决定的每个频率的参数A(f)表示为【式14】
Figure BDA0000133788120000221
则根据【式9】,【式12】可以表示为【式15】
X ( f ) = X 1 ( f ) X 2 ( f ) . . . X P ( f )
Y(f)=B(f)·X(f),
Y′(f)=A(f)·Y(f)=A(f)·B(f)·X(f),
X′(f)=D(f)·Y′(f)=D(f)·A(f)·B(f)·X(f)。
即,将解码信号变换为修正解码信号的矩阵可以作为D(f)×A(f)×B(f)来计算。这里,D(f)是P行M列的矩阵,例如,可以使用B(f)的逆矩阵作为D(f)。另外,从【式15】可知,使用B(f)的逆矩阵作为D(f),对于将修正构成要素变换为修正解码信号的操作是合适的。
信号控制信息可以由利用者从外部输入。例如,作为从外部输入的信号控制信息,有预先登记在接收部中的利用者的喜好等个人信息、接收部的动作状态(包含将扩音器关闭等的外部环境信息)、接收部的种类和形式、电源和电池的利用状态和余量、天线的种类和状态(被折叠等的形状、朝向等)。并且,信号控制信息也可以按照其他方式自动地获得。信号控制信息可以经由设置在接收部内部或附近的传感器自动获得。例如,作为自动获得的信号控制信息,有外部噪声量、明亮度、时间段、地理位置、气温、影像这样的同步信息以及通过了照相机的条形码信息等。
采用本发明的第三实施方式,根据接收部所接收的信号控制信息,能够独立地控制特定的声源。并且,能够在发送部中进行信号的分析,在接收部中按照与各声源对应的每个构成要素来控制由多个声源构成的输入信号。另外,由于在发送部中进行信号的分析,所以能够削减接收部的信号分析所涉及的运算量。
本发明的第四实施方式使用输入到接收部中的信号控制信息,独立控制由目的音和背景音构成的输入信号的目的音和背景音。参照图17对本实施方式进行详细说明。本实施方式和第二实施方式相比,图1所示的接收部15中包含的信号控制部151由图17所示的接收部35中包含的信号控制部350构成。并且,在本实施方式中,信号控制信息被输入到信号控制部350中。关于信号控制信息,与在第三实施方式中使用的相同,故省略说明。另外,参照图18对信号控制部350的结构进行说明。信号控制部350由变换部171、信号处理部360和逆变换部173构成。与第二实施方式相比,图5所示的信号控制部151中包含的信号处理部172在本实施方式中由信号处理部360构成。
接着,对第一实施例进行说明。第一实施例使用抑制系数作为分析信息。
参照图19对信号处理部360的结构例进行详细说明。与第二实施方式相比,信号处理部360的图8所示的信号处理部172中包含的抑制系数重构部250由抑制系数重构部450构成。抑制系数重构部450从外部接收信号控制信息。信号控制信息与在第三实施方式中使用的相同,故省略说明。
信号处理部360接收第二变换信号、分析信息和信号控制信息,并输出修正解码信号。信号处理部360由抑制系数重构部450和乘法器451构成。第二变换信号被输入到乘法器451中,分析信息和信号控制信息被输入到抑制系数重构部450中。抑制系数重构部450使用所输入的分析信息和信号控制信息来生成修正抑制系数。修正抑制系数用于使用信号控制信息对作为分析信息而接收的抑制系数进行修正。抑制系数重构部450将修正抑制系数输出到乘法器451中。乘法器451将第二变换信号和修正抑制系数进行相乘,生成修正解码信号。乘法器451将修正解码信号输出到逆变换部173中。
参照图20对第一实施例的抑制系数重构部450的结构进行详细说明。抑制系数重构部450包含抑制系数修正部460。第二实施方式的图9所示的抑制系数重构部250不包含抑制系数修正部460。抑制系数修正部460使用从外部输入的信号控制信息来修正抑制系数。该信号控制信息与已经在第三实施方式中使用的相同,故省略说明。
抑制系数重构部450接收作为分析信息的被编码的抑制系数和信号控制信息,并输出修正抑制系数。抑制系数重构部450由抑制系数解码部260和抑制系数修正部460构成。抑制系数解码部260对所接收的抑制系数进行解码。在抑制系数未被编码时,抑制系数解码部260不进行解码动作而将抑制系数输出到抑制系数修正部460中。抑制系数修正部460使用从外部输入的信号控制信息来修正所输入的抑制系数。抑制系数修正部460输出修正抑制系数。
参照图21对抑制系数修正部460的第一结构例进行详细说明。抑制系数修正部460接收抑制系数和信号控制信息,输出修正抑制系数。本结构例的抑制系数修正部460由乘法器470构成。乘法器470计算抑制系数和信号控制信息的积,并输出修正抑制系数。在本结构例中,信号控制信息输入相对于抑制系数的倍率。根据这样的结构,能够利用简单的信号控制信息来控制抑制系数。
参照图22对抑制系数修正部460的第二结构例进行详细说明。抑制系数修正部460接收抑制系数和信号控制信息,输出修正抑制系数。本结构例的抑制系数修正部460由比较部471构成。比较部471对抑制系数和信号控制信息进行比较,输出与该比较结果对应的信号。例如,比较部471在进行最大比较的情况下,输出抑制系数和信号控制信息中较大的值。并且,比较部471也可以进行最小比较。在这些情况下,关于信号控制信息,输入抑制系数的最大值或最小值。根据这样的结构,能够预先规定输出信号的范围,能够避免输出假定外的信号而损害音质。
参照图23对抑制系数修正部460的第三结构例进行详细说明。抑制系数修正部460的第三结构例由上述第一结构例和第二结构例组合而成。抑制系数修正部460接收抑制系数和信号控制信息,输出修正抑制系数。本结构例的抑制系数修正部460由乘法器470、比较部471、指定抑制系数控制部472和开关473构成。指定抑制系数控制部472将信号控制信息输出到乘法器470、比较部471或开关473中。这里,信号控制信息至少包含在乘法器470中使用的抑制系数的倍率和在比较部471中使用的抑制系数的最大值或最小值。另外,信号控制信息也可以包含用于开关473中的选择的控制信息。指定抑制系数控制部472在接收到作为信号控制信息的抑制系数的倍率的情况下,将抑制系数的倍率输出到乘法器470中。乘法器470计算抑制系数和抑制系数的倍率的积,将修正抑制系数输出到开关473中。指定抑制系数控制部472在接收到作为信号控制信息的抑制系数的最大值或最小值的情况下,将抑制系数的最大值或最小值输出到比较部471中。比较部471比较抑制系数和抑制系数的最大值或最小值,并将与该比较结果对应的信号作为修正抑制系数输出到开关473中。指定抑制系数控制部472在接收到用于选择的控制信息的情况下,将控制信息输出到开关47中。开关473在从指定抑制系数控制部472输入控制信息的情况下,根据该信号控制信息选择输出乘法器470的输出或比较部471的输出中的任意一个。
接着对第二实施例进行说明。第二实施例将作为目的音和背景音的构成比的信号对背景音比用作分析信息。第二实施例的信号处理部360与图19所示的第一实施例的信号处理部同样,但是抑制系数重构部450的结构不同。
参照图24对第二实施例的抑制系数重构部450的结构例进行详细说明。与图11所示的第二实施方式的抑制系数重构部250相比,本结构例的抑制系数重构例450还包含信号对背景音修正部461。
抑制系数重构部450接收被编码的信号对背景音比和信号控制信息,输出修正抑制系数。抑制系数重构部450由信号对背景音解码部261、信号对背景音修正部461和抑制系数变换部262构成。信号对背景音比解码部261对所接收的被编码的信号对背景音比进行解码,并将信号对背景音比输出到信号对背景音比修正部461中。在信号对背景音比未被编码时,信号对背景音比解码部261不进行解码动作而输出信号对背景音比。信号对背景音比修正部461使用从外部接收的信号控制信息来修正所输入的信号对背景音比,生成修正信号对背景音比。关于信号对背景音比的修正,也可以应用与第一实施例中的抑制系数修正部460同样的修正方法。即,可以通过输入信号对背景音比的倍率作为信号控制信息来修正信号对背景音比。并且,也可以通过输入信号对背景音比的最大值或最小值作为信号控制信息来修正信号对背景音比。另外,也可以通过输入如下的控制信息作为信号控制信息来进行修正,该控制信息用于选择根据信号对背景音比的倍率来修正的信号对背景音比和根据信号对背景音比的最大值或最小值来修正的信号对背景音比。信号对背景音比修正部461将修正信号对背景音比输出到抑制系数变换部262中。抑制系数变换部262将修正信号对背景音比变换为抑制系数,并输出修正抑制系数。将信号对背景音比变换为抑制系数的方法可以使用与图11所示的抑制系数变换部262同样的变换方法。在第二实施例中,通过信号控制信息对信号对背景音比进行了修正后,变换为修正信号对背景音比抑制系数。信号控制信息与在第三实施方式中使用的相同,故省略说明。
另外,对第三实施例进行说明。与上述第二实施例相比,第三实施例的结构为:将信号对背景音比变换为抑制系数之后,通过信号控制信息来修正抑制系数。
参照图25对第三实施例的抑制系数重构部450进行详细说明。与图11所示的第二实施方式的抑制系数重构部250相比,本实施例的抑制系数重构例450还包含抑制系数修正部460。
抑制系数重构部450接收被编码的信号对背景音比和信号控制信息,输出修正抑制系数。抑制系数重构部450由信号对背景音比解码部261、抑制系数变换部262和抑制系数修正部460构成。信号对背景音比解码部261接收被编码的信号对背景音比并对其进行解码。信号对背景音比解码部261将信号对背景音比输出到抑制系数变换部262中。抑制系数变换部262将被解码的信号对背景音比变换为抑制系数。抑制系数变换部262将抑制系数输出到抑制系数修正部460中。抑制系数修正部460使用从外部接收到的信号控制信息来修正从背景音信息变换部262输入的抑制系数。抑制系数修正部460输出修正抑制系数。信号控制信息与在第三实施方式中使用的相同,故省略说明。抑制系数修正部460的结构与图20所示的第一实施例的抑制系数修正部460同样,故省略说明。
接着对第四实施例进行说明。第四实施例是使用背景音自身作为分析信息的情况下的结构例。参照图26对第四实施例的信号处理部360的第一结构例进行详细说明。图14所示的第二实施例的信号处理部172的抑制系数计算部252在本实施例的信号处理部360中由抑制系数计算部452构成。抑制系数计算部452从外部接收信号控制信息。
信号处理部360接收第二变换信号、被编码的背景音和信号控制信息,输出修正解码信号。信号处理部360由抑制系数计算部452和乘法器251构成。第二变换信号被输入到抑制系数计算部452和乘法器251中,被编码的背景音作为分析信息被输入到抑制系数计算部452中。抑制系数计算部452根据被编码的背景音、第二变换信号和信号控制信息来计算修正抑制系数。然后,抑制系数计算部452将修正抑制系数输出到乘法器251中。乘法器251将第二变换信号和抑制系数相乘,并将修正解码信号输出到逆变换部173中。信号控制信息与在第三实施方式中使用的同样,故省略说明。
参照图27对抑制系数计算部452的结构例进行详细说明。抑制系数计算部452接收第二变换信号、被编码的背景音和信号控制信息,输出抑制系数。抑制系数计算部452由背景音解码部263、背景音修正部464、抑制系数生成部264构成。
背景音解码部263接收被编码的背景音并对其进行解码。背景音解码部263将被解码的背景音输出到背景音修正部464中。在背景音未被编码时,背景音解码部263不进行解码动作而将背景音输出到背景音修正部464中。背景音修正部464使用从外部输入的信号控制信息来修正背景音。关于背景音的修正,可以应用与第一实施例中的抑制系数修正部460同样的修正方法。即,可以通过输入背景音的倍率作为信号控制信息来修正背景音。并且,也可以通过输入背景音的最大值或最小值作为信号控制信息来修正背景音。另外,也可以通过输入如下的控制信息作为信号控制信息来进行修正,该控制信息用于选择根据背景音的倍率来修正的背景音和根据背景音的最大值或最小值来修正的背景音。背景音修正部464将修正后的背景音输出到抑制系数生成部264中。抑制系数生成部264使用第二变换信号和修正后的背景音来计算用于抑制背景音的合适的抑制系数。该抑制系数的计算可以使用与图10所示的抑制系数计算部201同样的计算方法。抑制系数生成部264输出抑制系数。信号控制信息与在第三实施方式中使用的相同,故省略说明。
参照图28对信号处理部360的第二结构例进行详细说明。本结构例的信号处理部360由背景音解码部263、背景音修正部464和减法器253构成。信号处理部360接收第二变换信号、被编码的背景音和信号控制信息,并输出控制了背景音的信号。
第二变换信号被输入到减法器253中。并且,被编码的背景音作为分析信息被输入到背景音解码部263中。背景音解码部263对所输入的被编码的背景音进行解码。然后,背景音解码部263将解码后的背景音输出到背景音修正部464中。在背景音未被编码时,背景音解码部263不进行解码动作而输出背景音。背景音修正部464使用信号控制信息来修正背景音信息,生成修正背景音。背景音修正部464将修正背景音输出到减法器253中。减法器253从第二变换信号中减去修正背景音,输出减法结果。
接着对第五实施例进行说明。与第四实施例相比,本实施例的结构为:根据解码后的背景音来生成抑制系数后,根据信号控制信息来修正抑制系数。
参照图29对抑制系数计算部452进行详细说明。抑制系数计算部452接收第二变换信号、被编码的背景音和信号控制信息,并输出修正抑制系数。抑制系数计算部452由背景音解码部263、抑制系数生成部264、抑制系数修正部460构成。
背景音解码部263接收被编码的背景音并对其进行解码。然后,背景音解码部263将解码后的背景音输出到抑制系数生成部264中。抑制系数生成部264根据第二变换信号和解码后的背景音来生成抑制系数。该抑制系数的计算可以使用与图10所示的抑制系数计算部201同样的计算方法。并且,抑制系数生成部264将抑制系数输出到抑制系数修正部460中。抑制系数修正部460使用所接收的信号控制信息来修正抑制系数,生成修正抑制系数。关于抑制系数的修正,可以应用与图23所示的抑制系数修正部460同样的修正方法。即,可以通过输入抑制系数的倍率作为信号控制信息来修正。并且,也可以通过输入抑制系数的最大值或最小值作为信号控制信息来修正。另外,也可以通过输入如下的控制信息作为信号控制信息来进行修正,该控制信息用于选择抑制系数的倍率和抑制系数的最大值或最小值。抑制系数修正部460输出修正抑制系数。信号控制信息与在第三实施方式中使用的相同,故省略说明。
如以上说明那样,根据本发明的第四实施方式,由于在发送部(或录音部)中进行信号的分析,所以能够削减只进行信号控制的接收部的运算量,并且能够控制由目的音和背景音构成的输入信号。并且,使用由接收部接收到的信号控制信息,能够独立地控制特定的声源。
参照图30对本发明的第五实施方式进行说明。比较图30和表示第三实施方式的图17,不同点在于接收部35由接收部55构成。接收部55把传送信号、信号控制信息和构成要素描绘(rendering)信息作为输入,输出由多个信道构成的输出信号。与第三实施方式相比,不同点在于:将构成要素描绘信息也作为输入,以及输出信号是由多个信道构成的信号。
所谓构成要素描绘信息是指按照每个频率成分表示包含在解码信号中的构成要素和接收部55的输出信号之间的关系的信息。例如,表示混合在解码信号中的各构成要素的定位信息。也可以包含用于使音像模糊等来操作定位感的信息。
通过利用构成要素描绘信息,能够按照每个构成要素来控制针对各信道的输出信号。各构成要素可以从特定的一个信道(例如扩音器)输出,也可以分配给多个信道。
接收部55与在第三实施方式中说明的图17的接收部35相比,不同点在于,信号控制部350由输出信号生成部550构成。输出信号生成部550除了解码信号、分析信息、信号控制信息以外,还输入构成要素描绘信息。
以下,对作为本实施方式的特征的输出信号生成部550的结构例进行说明。第一结构例如图31所示,第二结构例如图32所示,第三结构例如图33所示。
参照图31,第一结构例中的输出信号生成部550由信号控制部560、构成要素信息变换部561、描绘部562构成。在本结构例中,其特征在于,输入到描绘部562中的修正解码信号是根据信号控制信息预先按照每个构成要素来操作的信号。
信号控制部560将解码信号和分析信息作为输入。首先对分析信息进行解码,生成与各频率成分对应的分析参数。接着,根据分析参数将解码信号分解为各构成要素。另外,使用信号控制信息来操作各构成要素,生成修正构成要素,并对所生成的修正构成要素进行重构,将重构后的信号作为修正解码信号向描绘部562输出。并且,信号控制部560生成修正参数,也输出到构成要素信息变换部561中,该修正参数按照每个频率成分表示修正解码信号和修正构成要素的关系,这里,解码信号由一般的多个声源构成。
另外,作为信号控制部560的其他动作例,也可以不生成修正构成要素而使用分析参数和信号控制信息将解码信号变换为修正解码信号。该情况下,将变换为修正解码信号时使用的修正参数输出到构成要素信息变换部561中。
以下,对信号控制部560的动作的具体例进行说明。
如果将某频带f中的解码信号的频率成分设为Xk(f),k=1,2,...,P(P为解码信号的信道数),将构成要素的频率成分设为Yj(f),j=1,2,...,M(M是构成要素数),将根据信号控制信息而修正了的构成要素的频率成分设为Y’j(f),将修正解码信号设为X’k(f),则使用由分析参数规定的变换函数F501和由信号控制信息规定的变换函数F502,下面的关系成立。
【式9】
Yj(f)=F501(X1(f),X2(f),…,XP(f))
【式10】
Y’j(f)=F502(Yj(f))
【式11】
X’k(f)=F503(Y’j(f))
这里,变换函数F503是将修正构成要素变换为修正解码信号的函数,修正参数为表示变换函数F503的逆函数的参数。
作为其他的动作例,如以上所述那样,综合函数F500、F501、F502、F503,能够获得【式12】
X’(f)=F504(X(f))。
此时,变换函数F504由分析参数、信号控制信息和修正参数来规定。
作为上述变换的具体例,如果将频带f的分析参数B(f)表示为【式13】
Figure BDA0000133788120000311
并且将信号控制信息A(f)表示为【式14】
Figure BDA0000133788120000312
则根据【式9】,【式12】可以表示为【式15】
X ( f ) = X 1 ( f ) X 2 ( f ) . . . X P ( f ) .
即,将解码信号变换为修正解码信号的矩阵可以作为D(f)×A(f)×B(f)来计算。这里,D(f)是任意的P行M列的矩阵,如果将修正参数设为E(f),则为【式16】
E(f)=D-1(f)。
例如,如果使用B(f)的逆矩阵作为D(f),则修正参数为E(f)=B(f)。另外,从【式15】可知,使用B(f)的逆矩阵作为D(f),对于将修正构成要素变换为修正解码信号的操作是合适的。
构成要素信息变换部561使用从信号控制部560输出的修正参数,将经由输入端子提供的构成要素描绘信息变换为描绘信息,并将描绘信息输出到描绘部562中。
作为将构成要素描绘信息变换为描绘信息的具体例,如果将构成要素描绘信息U(f)和描绘信息W(f)表示为【式17】
Figure BDA0000133788120000321
Figure BDA0000133788120000322
则能够使得W(f)=U(f)×E(f)。这里,Q是输出信号的信道数。
另外,描绘信息是按照每个频率成分表示修正解码信号和输出信号生成部550的输出信号之间的关系的信息,可以使用信号间的能量差、时间差和相关等来表示。作为描绘信息的一例,已知有非专利文件10(ISO/IEC23003-1:2007 Part 1 MPEG Surround)所公开的信息。
描绘部562使用从构成要素信息变换部561输出的描绘信息对从信号控制部560输出的修正解码信号进行变换,以生成输出信号,并作为输出信号生成部550的输出信号进行输出。
作为变换的方法,已知有非专利文件10所公开的方法。在使用了非专利文件10所公开的MPEG Surround解码器的情况下,作为描绘信息输出提供给MPEG Surround解码器的数据流。另外,也可以不将在MPEGSurround解码器中使用的参数变换为数据流而提供给描绘部。
如上所述,对分解为频率成分的修正解码信号作为信号控制部560的输出而提供给描绘部562的结构进行了说明,但是,在信号控制部560的输出中,在对修正解码信号进行逆变换并作为时间信号提供给描绘部562的情况下,在描绘部562中将时间信号分解为频率成分之后进行处理。描绘部562的输出将对分解为频率成分的信号进行了逆变换的信号作为输出信号而输出。
如果将输出信号的频率成分设为Vk(f),k=1,2,...,Q(Q是输出信号的信道数),并设【式18】
V ( f ) = V 1 ( f ) V 2 ( f ) . . . V Q ( f ) ,
则描绘部的动作为V(f)=W(f)×X’(f)。
接着对第二结构例进行说明。参照图32,第二结构例中的输出信号生成部550由构成要素信息变换部563和描绘部562构成。在本结构例中,其特征在于,使描绘信息包含用于对每个构成要素进行控制的信息,在描绘部562中实现每个构成要素的操作。
构成要素信息变换部563将分析信息、信号控制信息和构成要素描绘信息作为输入。首先,对分析信息进行解码,生成与各频率成分对应的分析参数。接着,根据分析参数和信号控制信息来计算修正分析参数,并根据修正分析参数和构成要素描绘信息来计算描绘信息,并且输出给描绘部562,该描绘信息按照每个频率成分来表示解码信号和输出信号的关系。
另外,作为构成要素信息变换部563的其他动作例,也可以不生成修正分析参数而根据分析参数、信号控制信息和构成要素描绘信息来生成描绘信息,该描绘信息按照每个频率成分表示解码信号和输出信号的关系。
作为上述变换的具体例,如果将频域f的修正分析参数B’(f)设为【式19】
则修正分析参数B’(f)能够计算为A(f)×B(f)。另外,【式17】所示的描绘信息W(f)使用构成要素描绘信息U(f)和修正分析参数B’(f),能够成为W(f)=U(f)×B’(f)。作为其他的动作例,可以不像上述那样计算修正分析参数B’(f),而为W(f)=U(f)×A(f)×B(f)。
描绘部562的动作与在本实施方式的第一结构例中说明的动作相同。具体为V(f)=W(f)×X(f)。
通过采用这样的结构,在描绘信息中可以包含用于控制解码信号所包含的各构成要素的信息。
接着对第三结构例进行说明。参照图33,第三结构例中的输出信号生成部550由构成要素信息变换部564、描绘部562和信号控制部565构成。在本结构例中,其特征在于,能够使用对解码信号进行了描绘的信号,根据信号控制信息来操作各构成要素。
构成要素信息变换部564将分析信息和构成要素描绘信息作为输入,并输出描绘信息。首先,对分析信息进行解码,生成与各频率成分对应的分析参数。接着,根据分析参数和构成要素描绘信息来计算描绘信息,该描绘信息按照每个频率成分表示解码信号和输出信号的关系。作为上述变换的具体例,根据【式13】和【式17】定义的分析参数B(f)和构成要素描绘信息U(f),能够使描绘信息W(f)为W(f)=U(f)×B(f)。
描绘部562根据解码信号和描绘信息,生成描绘信号,并向信号控制部565输出。描绘部562如在本实施方式的第一结构例中说明的那样。如果将某频带f中的描绘信号的频率成分设为Ik(f),k=1,2,...,Q(Q是输出信号的信道数),则描绘信号为I(f)=[I1(f)I2(f)...IQ(f)]T=W(f)×X(f)。
信号控制部565根据描绘信号、构成要素描绘信息和信号控制信息来生成输出信号。输出信号V(f)使用由构成要素描绘信息和信号控制信息规定的变换函数F505,其以下关系成立。
【式20】
V(f)=F505(I(f))
作为上述变换的具体例,如果使用【式14】和【式17】定义的信号控制信息A(f)和构成要素描绘信息U(f),则【式20】表示为
【式21】
V(f)=U(f)·A(f)·U-1(f)·I(f)。
如以上说明的那样,根据本发明的第五实施方式,在接收部中,根据分析信息,能够按照与输入信号的各声源对应的每个构成要素来独立控制。并且,根据构成要素描绘信息能够控制各构成要素的定位。另外,也能够根据信号控制信息来独立控制特定声源。
另外,由于在发送部中进行分析信息的计算,所以接收部能够削减分析信息的计算所涉及的运算量。
对本发明的第六实施方式进行说明。本实施方式以作为声源的混合了目的音和背景音的输入信号为对象,使用传送信号、构成要素描绘信息和信号控制信息,控制目的音和背景音。本实施方式与第五实施方式同样,由图30所示,但在信号分析部101和输出信号生成部550的结构中具有不同点。因此,以下对信号分析部101和输出信号生成部550进行详细说明。
本实施方式中的第一实施例的分析信息是抑制系数的情况。在图30中,信号分析部101输出抑制系数作为分析信息。与此相对应地,输出信号生成部550根据信号控制信息和构成要素描绘信息,使用抑制系数来控制解码信号。关于信号分析部101的结构,由于在第二实施方式的第一实施例中进行了详细说明,所以省略说明。以下对输出信号生成部550进行详细说明。
使用抑制系数对目的音和背景音进行控制的图30的输出信号生成部550的结构与第五实施方式中的输出信号生成部550的第二结构例同样由图32所示,但在构成要素信息变换部563的结构中具有不同点。因此,以下对构成要素信息变换部563进行说明。
图34示出构成要素信息变换部563的结构例。构成要素信息变换部563由构成要素参数生成部651和描绘信息生成部652构成。构成要素参数生成部651根据分析信息对与各频率成分对应的抑制系数进行重构,根据信号控制信息来计算构成要素参数,并提供给描绘信息生成部652。
作为上述变换的具体例,如果将与频域f的各频率成分对应的抑制系数设为gi(f),i=1,2,...,P(P是解码信号的信道数),将用于控制目的音的信号控制信息设为Amain(f),将用于控制背景音的信号控制信息设为Asub(f),则构成要素参数H(f)表示为
【式22】
H ( f ) = A main ( f ) 0 0 A sub ( f ) g 1 ( f ) . . . g P ( f ) 1 - g 1 ( f ) . . . 1 - g P ( f ) .
描绘信息生成部652根据构成要素参数和构成要素描绘信息,输出表示解码信号和输出信号的关系的描绘信息。作为上述变换的具体例,如果在【式17】中考虑M=2的情况,则描绘信息W(f)能够成为W(f)=U(f)×H(f)。
另外,作为构成要素变换部563的其他结构例,也可以综合图34中的构成要素参数生成部651和描绘信息生成部652。在该情况下,对分析信息进行解码,计算与各频率成分对应的抑制系数,并根据抑制系数、信号控制信息和构成要素描绘信息来计算描绘信息,并将描绘信息输出到描绘部652中。
作为上述变换的具体例,如果在【式17】中考虑M=2的情况,则描绘信息W(f)表示为【式23】
W ( f ) = U ( f ) · A main ( f ) 0 0 A sub ( f ) g 1 ( f ) . . . g P ( f ) 1 - g 1 ( f ) . . . 1 - g P ( f ) .
本实施方式中的第二实施例的分析信息是信号对背景音比的情况。在图30中,信号分析部101输出信号对背景音比作为分析信息。与此相对应地,输出信号生成部550根据信号控制信息和构成要素描绘信息,使用信号对背景音比来控制解码信号。与第一实施例相比,只有信号分析部101和输出信号生成部550的结构不同。将信号对背景音比作为分析信息进行计算的信号分析部101由于在第二实施方式的第二实施例中进行了详细说明,所以省略说明。以下对输出信号生成部550的动作进行详细说明。
使用信号对背景音比来控制目的音和背景音的图30的输出信号生成部550的结构与第一实施例同样由图32和图34表示。与第一实施例相比,本实施例的图34的构成要素参数生成部651的结构不同。因此,以下对构成要素参数生成部651进行说明。
构成要素参数生成部651对分析信息进行解码并计算与各频率成分对应的信号对背景音比,基于信号控制信息,从信号对背景音比计算用于控制目的音和背景音的构成要素参数,并提供给描绘信息生成部652。例如,如在第二实施方式中说明的那样,将信号对背景音比变换为抑制系数后,如在第一实施例中所说明的那样,使用【式22】,根据信号控制信息能够计算构成要素参数。并且,作为其他方法,如在第四实施方式中说明的那样,可以根据信号控制信息来操作信号对背景音比,并将操作后的信号对背景音比变换为抑制系数之后计算构成要素参数。该情况下,如果将变换后的抑制系数设为g’i(f),则构成要素参数H(f)为【式24】
H ( f ) = g ′ 1 ( f ) . . . g ′ P ( f ) 1 - g ′ 1 ( f ) . . . 1 - g ′ P ( f ) .
作为图32的构成要素信息变换部563的其他结构例,也可以综合图34中的构成要素参数生成部651和描绘信息生成部652。该情况下,对分析信息进行解码,计算与各频率成分对应的信号对背景音比,根据信号对背景音比、信号控制信息和构成要素描绘信息来计算描绘信息,并将描绘信息输出到描绘部562中。作为具体例,如在第二实施方式中说明的那样,在将信号对背景音比变换为抑制系数之后,如在第一实施例中说明的那样,使用【式23】,根据抑制系数、信号控制信息和构成要素描绘信息来计算描绘信息,并将描绘信息输出到描绘部562中。另外,作为其他方法,也可以如在第四实施方式中说明的那样,根据信号控制信息对信号对背景音比进行操作,将操作后的信号对背景音比变换为抑制系数之后,根据变换后的抑制系数和构成要素描绘信息来计算描绘信息。该情况下,描绘信息W(f)为【式25】
W ( f ) = U ( f ) · g ′ 1 ( f ) . . . g ′ P ( f ) 1 - g ′ 1 ( f ) . . . 1 - g ′ P ( f ) .
本实施方式中的第三实施例的分析信息是背景音的情况。参照图30,信号分析部101计算背景音作为分析信息。与此相对应地,输出信号生成部550根据信号控制信息和构成要素描绘信息,使用背景音来控制解码信号。与第一实施例相比,只有信号分析部101和输出信号生成部550的结构不同。将背景音作为分析信息进行计算的信号分析部101由于在第二实施方式的第三实施例中进行了详细说明,所以省略说明。因此,以下对输出信号生成部550的动作进行详细说明。
使用背景音来控制目的音和背景音的图30的输出信号生成部550的结构例如图35所示。图35与图32所示的第一实施例的不同点在于,构成要素信息变换部563由构成要素信息变换部655构成。以下对构成要素信息变换部655进行说明。
构成要素信息变换部655将解码信号、分析信息、信号控制信息和构成要素描绘信息作为输入,生成按照每个频率成分表示解码信号和输出信号的关系的描绘信息,并将其输出给描绘部562。图36示出构成要素信息变换部655的结构例。构成要素信息变换部655由变换部171、构成要素参数生成部653和描绘信息生成部652构成。变换部171将解码信号分解为各频率成分,以生成第二变换信号,并将第二变换信号输出给构成要素参数生成部653。
构成要素参数生成部653将第二变换信号、分析信息和信号控制信息作为输入。对分析信息进行解码以计算背景音,基于信号控制信息,从第二变换信号和背景音计算用于控制目的音和背景音的构成要素参数,并向描绘信息生成部652输出。
以下示出构成要素参数的计算方法的具体例。在第一方法中,如在第二实施方式的第三实施例中说明的那样,根据背景音和第二变换信号来计算抑制系数。另外,针对抑制系数应用【式22】,根据信号控制信息来计算构成要素参数。在第二方法中,利用在第四实施方式的第四实施例、第五实施例中说明的方法,根据背景音、信号控制信息和第二变换信号来计算抑制系数。针对通过上述方法计算出的抑制系数,应用【式24】计算构成要素参数。
另外,作为图35的构成要素信息变换部655的其他构成例,也可以综合图36中的构成要素参数生成部653和描绘信息生成部652。该情况下,根据与各频率成分对应的第二变换信号、与对分析信息进行了解码的各频率成分对应的背景音、信号控制信息和构成要素描绘信息来计算描绘信息,并将描绘信息输出到描绘部562中。
以下示出描绘信息的计算方法的具体例。在第一方法中,如在第二实施方式的第三实施例中说明的那样,根据背景音,使用解码信号来计算抑制系数。另外,使用【式23】,根据抑制系数、信号控制信息和构成要素描绘信息来计算描绘信息。在第二方法中,利用在第四实施方式的第四实施例、第五实施例中说明的方法,根据背景音、信号控制信息和第二变换信号来计算抑制系数。针对通过上述方法计算的抑制系数,使用【式25】,根据抑制系数和构成要素描绘信息来计算描绘信息。
如以上说明的那样,根据本发明的第六实施方式,能够在接收部中根据分析信息独立地控制由目的音和背景音构成的输入信号。并且,也可以根据构成要素描绘信息来控制目的音和背景音的定位。另外,还能够根据信号控制信息独立控制特定的声源。
另外,由于在发送部中进行分析信息的计算,所以接收部能够削减分析信息的计算所涉及的运算量。
参照图37对本发明的第七实施方式进行说明。比较图37和表示第五实施方式的图30,不同点在于,图30的接收部55在图37中由接收部75构成。接收部75将传送信号和构成要素描绘信息作为输入,并输出由多个信道构成的信号作为输出信号。与第五实施方式中的接收部55的不同点在于:不把信号控制信号作为输入、以及输出信号生成部550由输出信号生成部750构成。另外,本实施方式中的构成要素描绘信息可以包含用于操作解码信号所包含的各构成要素的信息。输出信号生成部750也可以代替与声源对应的各构成要素而将由多个构成要素组成的构成要素组作为单位来操作。
接收部75与在第五实施方式中说明的接收部55相比,不同点在于,输出信号生成部550由输出信号生成部750构成。以下对作为本实施方式的特征的输出信号生成部750的结构例进行说明。
图38示出图37的输出信号生成部750的结构例。输出信号生成部750由构成要素信息变换部760和描绘部562构成。输出信号生成部750与第五实施方式中的图32所示的输出信号生成部550的不同点在于,构成要素信息变换部563由构成要素信息变换部760构成。以下对构成要素信息变换部760的结构例进行说明。
构成要素信息变换部760将分析信息和构成要素描绘信息作为输入,输出描绘信息。首先,对分析信息进行解码,以计算与各频率成分对应的分析参数。另外,使用分析参数和构成要素描绘信息,生成按照每个频率成分表示解码信号和输出信号生成部750的输出信号的关系的描绘信息。
作为上述变换的具体例,描绘信息W(f)能够使用【式13】和【式17】表示为W(f)=U(f)×B(f)。另外,B(f)是频带f的分析参数,U(f)是构成要素描绘信息。
在本结构例中,其特征在于,使描绘信息包含用于进行每个构成要素的控制的信息,在描绘部562中实现每个构成要素的操作。
如以上说明那样,根据本发明的第七实施方式,在接收部中,能够根据分析信息,按照与输入信号的各声源对应的每个构成要素进行独立控制。并且,能够根据构成要素描绘信息来控制各构成要素的定位。
另外,由于在发送部中进行分析信息的计算,所以接收部能够削减分析信息的计算所涉及的运算量。
对本发明的第八实施方式进行说明。本实施方式以作为声源的混合了目的音和背景音的输入信号为对象,使用提供给接收部的构成要素描绘信息来独立控制目的音和背景音,能够控制目的音和背景音的定位。本实施方式与第七实施方式同样,由图37所示,但信号分析部101和输出信号生成部750的结构不同。以下对信号分析部101和输出信号生成部750进行详细说明。
本实施方式中的第一实施例的分析信息是抑制系数的情况。发送部10中的信号分析部101输出抑制系数作为分析信息。与此相对应地,输出信号生成部750使用构成要素描绘信息和抑制系数来控制解码信号。关于使用抑制系数作为分析信息的情况下的信号分析部101,由于在第二实施方式的第一实施例中进行了详细说明,所以省略说明。以下对输出信号生成部750的动作进行详细说明。
使用抑制系数对目的音和背景音进行控制的图37的输出信号生成部750的结构例与第七实施方式的输出信号生成部750同样由图38所示,但构成要素信息变换部760的结构不同。图39示出构成要素信息变换部760的结构例。构成要素信息变换部760由构成要素参数生成部851和描绘信息生成部652构成。
构成要素参数生成部851以分析信息为输入。对分析信息进行解码,并对与各频率成分对应的抑制系数进行重构,计算构成要素参数,并提供给描绘信息生成部652。作为该变换的具体例,如果将与频带f的各频率成分对应的抑制系数设为gi(f),则构成要素参数H(f)在【式22】中为Amain(f)=1、Asub(f)=1的情况。即,为【式26】
H ( f ) = g 1 ( f ) . . . g P ( f ) 1 - g 1 ( f ) . . . 1 - g P ( f ) .
关于描绘信息生成部652,由于在第六实施方式中使用图34进行了说明,所以省略说明。
本实施方式中的第二实施例的分析信息是信号对背景音比的情况。发送部10中的信号分析部101输出信号对背景音比作为分析信息。与此相对应地,输出信号生成部750根据构成要素描绘信息,使用信号对背景音比来控制解码信号。关于使用信号对背景音比作为分析信息的情况下的信号分析部101,由于在第二实施方式的第二实施例中进行了详细说明,所以省略说明。以下对输出信号生成部750的动作进行详细说明。
使用信号对背景音比对目的音和背景音进行控制的图37的输出信号生成部750的结构例与第一实施例同样由图38所示。在本实施例和第一实施例中,表示构成要素信息变换部760的结构的图39的构成要素参数生成部851的结构不同。以下对构成要素参数生成部851进行说明。
构成要素参数生成部851以分析信息为输入,对分析信息进行解码,计算与各频率成分对应的信号对背景音比。另外,根据信号对背景音比来计算构成要素参数,并提供给描绘信息生成部652。作为构成要素参数的计算方法,例如如在第二实施方式的第二实施例中说明的那样,将信号对背景音比变换为抑制系数。另外,如本实施方式的第一实施例中说明的那样,使用【式26】,根据抑制系数来计算构成要素参数。
本实施方式中的第三实施例的分析信息是背景音的情况。发送部10中的信号分析部101输出背景音作为分析信息。与此相对应地,输出信号生成部750根据背景音和构成要素描绘信息来控制解码信号。关于使用信号对背景音比作为分析信息的情况下的信号分析部101,由于在第二实施方式的第三实施例中进行了详细说明,所以省略说明。以下对输出信号生成部750的动作进行详细说明。
使用背景音对目的音和背景音进行控制的图37的输出信号生成部750的结构例如图40所示。图40与图38的第一实施例的不同点在于,构成要素信息变换部760由构成要素信息变换部761构成。由于描绘信息生成部652已经使用图34进行了说明,所以省略说明。
构成要素信息变换部761根据解码信号、分析信息和构成要素描绘信息生成按照每个频率成分来表示解码信号和输出信号的关系的描绘信息,并提供给描绘部562。图41示出构成要素信息变换部761的结构例。构成要素信息变换部761由变换部171、构成要素参数生成部853和描绘信息生成部652构成。变换部171将解码信号分解为各频率成分,以生成第二变换信号,并将第二变换信号提供给构成要素参数生成部853。
构成要素参数生成部853以分析信息和第二变换信号为输入。对分析信息进行解码来计算背景音,并根据第二变换信号和背景音来计算构成要素参数,并提供给描绘信息生成部652。作为构成要素参数的计算方法,例如,如在第二实施方式的第三实施例中说明的那样,将背景音变换为抑制系数。另外,如本实施方式的第一实施例中说明的那样,使用【式26】,根据抑制系数来计算构成要素参数。
如以上说明那样,根据本发明的第八实施方式,在接收部中,能够根据分析信息来独立控制由目的音和背景音构成的输入信号。并且,能够根据构成要素描绘信息来控制目的音和背景音的定位。
另外,由于在发送部中进行抑制系数或信号对背景音比这样的分析信息的计算,所以接收部能够削减分析信息的计算所涉及的运算量。
参照图42对本发明的第九实施方式进行详细说明。与图1所示的本发明的第一实施方式相比,第一实施方式中的发送部10由发送部90构成。另外,包含在发送部10中的信号分析部101由包含在发送部90中的信号分析部900构成。并且,信号分析部900被输入输入信号和来自编码部10的编码信号。
并且在第二实施方式和第八实施方式中,包含在发送部10中的信号分析部101可以由本实施方式的信号分析部900构成。在该情况下,只要向信号分析部900输入输入信号和来自编码部100的编码信号即可。
根据第九实施方式,信号分析部900通过进行将在编码部中产生的量化畸变的影响考虑在内的分析,能够降低在接收部15中进行解码时产生的量化畸变。
参照图43对信号分析部900的第一结构例进行详细说明。
信号分析部900根据输入信号和来自编码部100的编码信号来生成分析信息。编码信号由于是施加了量化畸变的信号,所以可以考虑量化畸变量来生成分析信息。
信号分析部900接收输入信号和来自编码部100的编码信号,输出分析信息。信号分析部900由变换部120、解码部150、量化畸变计算部910、分析信息生成部911和变换部920构成。
输入信号被输入到变换部120中。并且,来自编码部100的编码信号被输入到解码部150中。
解码部150对从编码部100输入的编码信号进行解码。解码部150将解码信号输出到变换部920中。在变换部920中,将解码信号分解为频率成分。变换部920将分解为频率成分的解码信号输出到量化畸变计算部910中。
变换部120将输入信号分解为频率成分。变换部120将分解为频率成分的输入信号输出到量化畸变部910和分析信息生成部911中。量化畸变计算部910对分解为频率成分的解码信号和分解为频率成分的输入信号进行比较,按照每个频率成分计算量化畸变量。例如,可以将分解为频率成分的解码信号的各频率成分的大小和被分解为频率成分的输入信号的各频率成分的大小的差作为其频率中的量化畸变。量化畸变计算部910将各频率的量化畸变量输出到分析信息生成部911中。
分析信息生成部911从变换部120中接收被分解为频率成分的输入信号,从量化畸变计算部910中接收各频率的量化畸变量。分析信息生成部911针对被分解为频率成分的输入信号,按照与声源对应的每个构成要素来分解与各频率成分对应的输入信号。然后,分析信息生成部911生成表示多个构成要素间的关系的分析信息。分析信息生成部911输出分析信息。并且,针对被分解为频率成分的输入信号,分析信息生成部911可以分解为由多个构成要素构成的构成要素组。
分析信息生成部911考虑量化畸变量,在接收部中的解码时,进行分析信息的计算,使得量化畸变降低。例如,分析信息生成部911可以根据被分解为频率成分的输入信号的各频率成分的大小及其频率中的量化畸变的大小来计算分析信息,使得量化畸变被听觉遮蔽。这里,分析信息生成部911在听觉遮蔽中可以利用频率成分的大小较小的成分在频率成分的大小较大的频率的周边频率中很难被听到的情况。将在周边频率中很难从各频率成分的大小中听到的成分的大小作为遮蔽特性。分析信息生成部911在整个频率中计算遮蔽特性。分析信息生成部911在各频率中考虑量化畸变的影响来进行分析信息的校正。根据遮蔽特性,在量化畸变的大小较小的情况下,很难听到量化畸变。在该情况下,由于量化畸变的影响小,所以分析信息生成部911不进行分析信息的校正。根据遮蔽特性,在量化畸变的大小较大的情况下,不被遮蔽。在该情况下,分析信息生成部911对分析信息进行校正,使量化畸变降低。例如,在使用抑制系数作为分析信息的情况下,量化畸变也可以作为较小的抑制系数,以便与背景音同时进行抑制。
如以上所述,分析信息生成部911通过校正分析信息,在接收部中进行了解码时,量化畸变被听觉遮蔽,降低畸变和噪声。
目前为止对考虑听觉遮蔽来降低量化畸变这样的分析信息的校正进行了说明。但是也可以是不考虑听觉遮蔽来校正分析信息使得量化畸变在所有频率中降低的结构。
参照图44对信号分析部900的第二结构例进行详细说明。
信号分析部900接收输入信号和来自编码部100的编码信号,输出分析信息。信号分析部900由变换部120、解码部150、量化畸变计算部910、分析信息生成部912和变换部920构成。
输入信号被输入到变换部120中。并且来自编码部100的编码信号被输入到解码部150中。
解码部150对从编码部100输入的编码信号进行解码。解码部150将解码信号输出到变换部920中。在变换部920中将解码信号分解为频率成分。变换部920将分解为频率成分的解码信号输出到量化畸变计算部910和分析信息生成部912中。
变换部120将输入信号分解为频率成分。变换部120将分解为频率成分的输入信号输出到量化畸变计算部910中。量化畸变计算部910比较被分解为频率成分的解码信号和被分解为频率成分的输入信号,并按照每个频率成分来计算量化畸变量。例如,可以将分解为频率成分的解码信号的各频率成分的大小和分解为频率成分的输入信号的各频率成分的大小的差作为其频率中的量化畸变。量化畸变计算部910将各频率的量化畸变量输出到分析信息生成部912中。
分析信息生成部912从变换部920中接收被分解为频率成分的解码信号,从量化畸变计算部910中接收各频率的量化畸变量。分析信息生成部912针对被分解为频率成分的输入信号,按照与声源对应的每个构成要素来分解与各频率成分对应的输入信号。然后,分析信息生成部912生成表示多个构成要素间的关系的分析信息。分析信息生成部912输出按照使量化畸变降低的方式进行了校正的分析信息。关于使量化畸变降低这样的分析信息的计算,由于与第一结构例相同,所以省略说明。
如以上说明那样,信号分析部900的第一结构例和第二结构例具有如下的效果:通过进行使在解码部100中产生的编码畸变的效果降低的分析信息的生成,能够降低在接收部15中进行解码时产生的量化畸变。
接着对本发明的第十实施方式进行说明。本发明的第十实施方式对作为声源的由目的音和背景音构成的输入信号进行控制。本发明的第十实施方式的结构与本发明的第九实施方式的结构同样由图42和图43所示。在本实施方式中,图43中的本发明的第九实施方式的结构的分析信息生成部911的结构不同。
参照图45对本发明的第十实施方式中的分析信息生成部911的结构例进行详细说明。图6所示的分析信息生成部121和图45所示的分析信息生成部911相比,不同点在于,被输入来自量化畸变计算部910的各频率的量化畸变。另外,分析信息生成部121中包含的背景音估计部200由分析信息生成部911中包含的背景音估计部1020构成。省略与图6、图43的说明重复部分的说明。
分析信息生成部911接收被分解为频率成分的输入信号和各频率的量化畸变,并输出分析信息。分析信息生成部911由背景音信息生成部202和背景音估计部1020构成。
背景音估计部1020接收被分解为频率成分的输入信号和各频率的量化畸变量。背景音估计部1020考虑量化畸变量来进行背景音的估计。例如,背景音估计部1020可以将所估计的背景音加上量化畸变所得的结果作为估计背景音,进行与分析信息生成部121中包含的背景音估计部200相同的处理。背景音估计部1020将考虑了量化畸变的背景音的信息输出到背景音信息生成部202中。背景音信息生成部202根据背景音信息来生成分析信息。并且,背景音信息生成部202输出考虑了量化畸变的分析信息。
接收部15根据考虑了量化畸变的分析信息来进行解码信号的控制。根据该结构,能够在解码信号的控制中进行考虑了量化畸变的高质量的控制。另外,具有能够降低在接收部15中进行解码时产生的量化畸变的效果。
另外,在本发明的第十实施方式的说明中,背景音信息生成部202可以输出抑制系数、信号对背景音比或背景音自身作为分析信息。
在对作为分析信息的抑制系数进行编码并输出的情况下,图43中的分析信息生成部911计算抑制系数并对其进行编码。为了输出抑制系数,可以使用图7所示的结构作为分析信息生成部911中的背景音信息生成部202。在该情况下,图42中的接收部15的信号控制部151为与根据抑制系数来进行解码信号的控制对应的结构。
在对作为分析信息的信号对背景音进行编码并输出的情况下,图43中的分析信息生成部911计算信号对背景音比并对其进行编码。为了对信号对背景音比进行编码,可以使用图10所示的结构或者图12所示的结构作为分析信息生成部911中的背景音信息生成部202。在该情况下,图42中的接收部15的信号控制部151为与根据信号对背景音比来进行解码信号的控制对应的结构。
在对作为分析信息的背景音自身进行编码并输出的情况下,图43中的分析信息生成部911对背景音估计部1020所估计的估计背景音进行编码并输出。
参照图46对输出背景音自身作为分析信息的分析信息生成部911的结构例进行说明。本结构例的分析信息生成部911接收被分解为频率成分的输入信号和各频率的量化畸变量,并输出被编码的背景音。分析信息生成部911由背景音编码部205和背景音估计部1020构成。关于背景音估计部1020的动作,由于与图45的说明重复,所以省略。并且,关于背景音编码部205的动作,由于与图13的说明重复,所以省略。
该情况下,图42中的接收部15的信号控制部151采用与根据背景音来进行解码信号的控制相对应的结构。
以上,本发明的第十实施方式根据考虑了量化畸变的抑制系数、信号对背景音比或背景音来进行解码信号的控制。根据该结构,在解码信号的控制中,能够进行考虑了量化畸变的高质量的控制。另外,具有能够降低在接收部15中进行解码时产生的量化畸变和编码畸变的效果。
接着对本发明的第十一实施方式进行说明。本发明的第十一实施方式降低发送侧部中的运算量、以及根据分析信息在接收侧部与各声源对应的每个构成要素的控制所涉及的运算量。
参照图47对本发明的第十一实施方式进行说明。图1所示的本发明的第一实施方式与图47所示的本发明的第十一实施方式的不同点在于,发送部10由发送部13构成、接收部15由接收部18构成。根据该结构,本发明的第十一实施方式能够共享位于发送部中的变换部,并且能够共享位于接收部中的变换部。其结果,能够降低发送部13和接收部18的运算部。
图1所示的发送部10与图47所示的发送部13的不同点在于,编码部100由编码部1100构成、信号分析部101由信号分析部1101构成。在本实施例中,编码部1100将被分解为频率成分的输入信号输出到信号分析部1101中。
参照图48对编码部1100的结构进行详细说明。图2所示的编码部100与图48所示的编码部1100的不同点在于,作为变换部110的输出的第一变换信号被输出到信号分析部1101中。关于变换部110和量化部111的动作,由于与图2重复,所以省略说明。这里,编码部1100的运算量与图2所示的编码部100相比只是输出的信号不同,所以与编码部100的运算量大致相同。
参照图49对信号分析部1101的结构例进行详细说明。图4所示的信号分析部101与图49所示的信号分析部1101的不同点在于,删除了信号分析部101中包含的变换部120。关于分析信息生成部121的动作,由于与图4的说明重复,所以省略。
信号分析部1101从编码部1100中接收第一变换信号。所接收的第一变换信号被输入到分析信息生成部121中。这里,将图48所示的编码部1100内的变换部110和图4所示的信号分析部101内的变换部120相比,提供给变换部的输入信号相同,如果变换部的动作相同,则作为各自输出的第一变换信号和第二变换信号相同。因此,在变换部110和变换部120的动作相同的情况下,在信号分析部1101中删除变换部120,能够将信号分析部1101输出的第一变换信号作为第二变换信号来使用。根据该结构,信号分析部1101的运算量与信号分析部101相比,削减了相当于变换部120的运算量。
关于接收部,图1所示的接收部15与图47所示的接收部18的不同点在于,解码部150由解码部1150构成、信号控制部151由信号控制部1151构成。
参照图50来说明解码部1150的结构例。图3所示的解码部150与解码部1150的不同点在于,在解码部1150中删除了逆变换部161。关于逆量化部160的动作,由于与图3的说明重复,所以省略。图3所示的解码部150通过逆变换部161将逆量化部160输出的第一变换信号逆变换为时域信号,并作为解码信号输出到图5所示的变换部171中。在图5中,变换部171接收解码信号,并进行变换为第二变换信号的处理。这里,如上所述,在变换部110与变换部120的动作相同的情况下,能够将第一变换信号作为第二变换信号来使用。由此,在本实施例的方式中,解码部1150将逆量化部160输出的第一变换信号输出到信号控制部1151所包含的信号处理部172中。因此,在本实施方式中,逆变换部161被删除。
参照图51对信号控制部1151的结构例进行详细说明。图5所示的信号控制部151与图51所示的信号控制部1151的不同点在于,在信号控制部1151中删除了变换部171。关于信号处理部172和逆变换部173的动作,由于与图5的说明重复,所以省略。
图5的信号控制部151通过变换部171将作为时域信号而输入的解码信号变换为第二变换信号,并输出到信号处理部172中。如上所述,在变换部110和变换部120的动作相同的情况下,能够将第一变换信号作为第二变换信号来使用。由此,包含在信号控制部1151中的信号处理部172能够接收逆量化部160输出的第一变换信号。因此,在本实施例中变换部171被除掉。
这里,如果着眼于从解码部1150向信号控制部1151输入的信号,则图1所示的第一实施方式与图47所示的第十一实施方式的不同点在于,逆量化部160输出的信号是否通过逆变换部161和变换部171。在能够将第一变换信号作为第二变换信号使用的情况下,第一实施方式和第十一实施方式的逆量化部160输出的信号的频率成分和输入到信号控制处理部172中的信号的频率成分都相同。因此,信号控制部1151内的信号处理部172输出与图5所示的信号处理部172相同的结果。并且,解码部1150的运算量与解码部150相比,削减了相当于图3所示的逆变换部161的运算量。另外,信号控制部1151的运算量与信号控制部151相比,削减了相当于图5所示的变换部171的运算量。
以上,本发明的第十一实施方式除了本发明的第一实施方式的效果之外,还具有如下效果:与第一实施方式相比,运算量削减了与变换部120、逆变换部161和变换部160各自的运算量相当的部分。另外,第十一实施方式的运算量削减的结构也能够应用于本发明的第二实施方式至第十实施方式。由此,各实施方式具有与本发明的第十一实施方式相同的运算量削减的效果。
以上,到目前为止,对在本发明的第一实施方式至第十一实施方式中分析由多个声源构成的输入信号、计算分析信息、并在接收侧根据分析信息来控制解码信号的方法进行了说明。这里,进一步使用具体例进行详细说明。输入信号根据利用方法而不同,例如有语音、乐器音等。其他的在以基于声音监视为目的的情况下,也有各机械产生的动作音、操作者的语音和足音等。
在输入信号具有多个构成要素的情况下,本发明涉及的信号分析控制系统的结构为:对输入信号进行分析,并将分析结果作为分析信息进行编码。在构成要素具有多个的情况下,应用与图1所示的结构相同的结构。对信号分析部101和信号控制部151的结构、信号分析部101向复用部102输出的信息、从分离部152向信号控制部151发送的信息分别进行详细说明。
参照图52对信号分析部101的第二结构例进行详细说明。信号分析部101的第二结构例是应用于具有多个构成要素的情况下的结构。该信号分析部101由声音环境分析部1210和声音环境信息编码部1211构成。声音环境分析部1210对输入信号中包含的多个构成要素的信息进行分析。声音环境分析部1210将构成要素分析信息输出到声音环境信息编码部1211中。声音环境信息编码部1211对从声音环境分析部1210输入的构成要素分析信息进行编码。然后,声音环境信息编码部1211将编码后的构成要素分析信息输出到图1所示的复用部102中。这里,图1所示的复用部102进行与从声音环境信息编码部1211输入的构成要素分析信息对应的复用。
进一步对声音环境分析部1210进行详细说明。
作为声音环境分析部1210中的多个声源的信息的分析方法,可以使用各种各样的方法。例如,作为多个声源的信息的分析方法,可以使用非专利文件11(Speech Enhancement,Springer,2005,pp.371--402)所记载的信号分离的方法。并且,作为多个声源的信息的分析方法,可以使用被称为声音情景分析、计算听觉场景分析(Computational Auditory SceneAnalysis)、单一输入信号分离、单信道信号分离等的信号分离方法。根据这些信号分离方法,声音环境分析部1210将输入信号分离成多个各构成要素。另外,声音环境分析部1210从分离后的各构成要素变换为应当输出的构成要素分析信息并输出。该构成要素分析信息可以以各种形式输出。例如,作为构成要素分析信息,有用于抑制背景音的抑制系数、各频率成分中各自的构成要素的比例、各个构成要素自身信号的各频率成分的大小。构成要素的比例例如包含与输入信号的振幅比、与输入信号的能量比以及它们的平均值等。信号的各频率成分的大小例如包含振幅绝对值、能量以及它们的平均值等。并且,根据信号分离的方法,在信号分离的途中,能够获得应当输出的分析结果自身或者能容易变换为应当输出的分析结果的信号。在该情况下,也能够进行如下的处理:不将信号分离进行到最后,从进行信号分离的途中获得应当输出的分析结果。
参照图53对信号控制部151的结构例进行详细说明。信号控制部151的结构例是应用于具有多个构成要素的情况的结构。信号控制部151由声音环境信息解码部1212和声音环境信息处理部1213构成。信号控制部151从解码部150接收解码信号,并从分离部152接收对分析信息进行了编码的信号。声音环境信息解码部1212对如下信号进行解码,该信号是对从分离部152接收的分析信息进行了编码的信号。声音环境信息解码部1212输出解码后的分析信息并输出到声音环境信息处理部1213中。分析信息相当于图52所示的信号分析部101中包含的声音环境分析部1210输出的分析信息。声音环境信息处理部1213根据从声音环境信息解码部1212中输入的分析信息来进行解码信号的控制。该控制方法因控制目的而异。例如,与第二实施方式同样,也可以进行抑制背景音的控制。
以上,在输入信号所包含的构成要素具有多个的情况下,应用本发明能够获得本发明的第一实施方式中的效果。
以上,以将本发明的第一实施方式应用于输入信号所包含的构成要素具有多个的情况的结构为例进行了说明。对于第二实施方式至第十一实施方式也可以同样变更信号分析部和信号控制部或输出信号生成部。并且,如第五实施方式至第八实施方式的结构那样,可以进行使各构成要素的输出定位在由多个信道构成的输出信号上的控制。
另外,在输入信号的信道数是多个的情况下,作为本发明的信号分析部101中的分析方法,可以使用被称为指向性控制、波束成形(Beamforming)、盲信号源分离(Blind Source Separation)、独立成分分析(Independent Component Analysis)的方法。尤其在输入信号的信道数比目的音数多的情况下,不使用上述的背景音信息的估计方法和第十三实施方式中的分析方法,仅使用指向性控制、波束成形(Beamforming)、盲信号源分离(Blind Source Separation)、独立成分分析(IndependentComponent Analysis)可以进行分析。例如,与指向性控制和波束成形相关联的技术被非专利文件12(Microphone Arrays,Springer,2001)和非专利文件13(Speech Enhancement,Springer,2005,pp.229--246)公开。并且,与盲信号源分离和独立成分分析方法相关联的技术被非专利文件14(Speech Enhancement,Springer,2005,pp.271-369)公开。
在使用上述分析方法的情况下,本发明的第一实施方式应用图1所示的结构。另外,对信号分析部101的结构、信号控制部151的结构、信号分析部101向复用部102输出的信息以及从分离部152向信号控制部151发送的信息进行详细说明。输入信号是多个信道的信号。基本动作与第一实施方式的动作相同,由于与图1重复,所以省略说明。
参照图54对信号分析部101的第三结构例进行详细说明。信号分析部101的第三结构例对应输入信号的信道数是多个的情况。本结构例的信号分析部101使用独立成分分析方法作为输入信号的分析方法。本结构例的信号分析部101输出与输入信号中包含的各声源对应的构成要素的信号分离用的滤波器系数作为分析信息。
信号分析部101由信号分离分析部1200和分离滤波器编码部构成。信号分离分析部1200根据独立成分分析的方法计算分离滤波器系数。分离滤波器系数是用于对与输入信号中包含的各声源对应的构成要素进行信号分离的滤波器系数。然后,信号分离分析部1200将分离滤波器系数输出到分离滤波器编码部1201中。分离滤波器编码部1201对从信号分离分析部1200输入的分离滤波器系数进行编码。分离滤波器编码部1201输出编码分离滤波器系数作为分析信息。
参照图55对信号控制部151的第三结构例进行详细说明。信号控制部151的第三结构例对应于输入信号的信道数是多个的情况。
信号控制部151由分离滤波器解码部1202和滤波器1203构成。分离滤波器解码部1202从分离部152中接收作为分析信息被编码的分离滤波器系数。然后,分离滤波器解码部1202对编码分离滤波器系数进行解码,并将分离滤波器系数输出到滤波器1203中。滤波器1203从解码部150接收多个信道的解码信号,从分离滤波器解码部1202接收分离滤波器系数。然后,滤波器1203对多信道的解码信号进行基于分离滤波器系数的滤波器处理。滤波器1203输出将与各声源对应的构成要素的信号分离后的信号。
如以上说明那样,在输入信号的信道数是多个的情况下,本发明的信号分析控制系统在发送部中进行输入信号的分析。根据该结构,在输入信号的信道数是多个的情况下也是,根据发送部中的信号分析信息,可以在接收部中按照与各声源对应的每个构成要素来控制由多个声源构成的输入信号。另外,由于在发送部中进行信号分析,所以接收部能够削减信号分析所涉及的运算量。
并且,图54和图55所示的结构例使用了分离滤波器的滤波器系数作为输入信号的分析信息,但也可以使用在第一实施方式至第十一实施方式中使用的分析信息。因此,图54所示的信号分离分析部1200只要是计算分离滤波器,并进行使用了分离滤波器的信号分离的结构即可。由此,分离滤波器编码部1201由图52所示的声音环境信息编码部1211构成。
另外,作为信号分析部101中的输入信号的分析方法,不仅可以使用独立成分分析,也可以使用非专利文件12至15所公开的方法。并且,也可以将这些分析方法组合到本发明的第一实施方式至第十一实施方式的分析方法中来使用。另外,根据分析方法,在分析途中,能够获得应当输出的分析结果或者能容易变换为应当输出的分析结果的信号。在该情况下,可以不将分析进行到最后而变更分析处理使其输出分析结果。
参照图56对本发明的第十二实施方式进行说明。从第一实施方式至第十一实施方式,只考虑了单方向通信。即,对内设于终端的发送部与内设于其他终端的接收部之间的通信进行了说明。第十二实施方式考虑双方向的通信,在一台收发终端内设应用了本发明的发送部和接收部双方。这里,作为内设发送部和接收部双方的应用了本发明的终端,可以组合第一实施方式至第十一实施方式的任意一个的发送部和接收部来使用。在本发明的第十二实施方式中,通过具有发送部和接收部双方,在用于电视会议终端和手机等的双方向通信时,能够获得本发明的效果。
在广播等进行单方向的语音通信的情况下也能够应用本发明的信号分析控制系统。广播站的发送终端例如只要至少具有图1所示的发送部10即可。所谓广播站,不仅是具有广播许可的广播站,也包含多地点电视会议的主会场等发送语音但几乎不进行接收的地点。该情况下的发送终端也可以使用本发明的第二实施方式至第十一实施方式中的发送部的任意一个。
并且,在只进行接收的地点也能够应用本发明的信号分析控制系统。在只进行接收的地点的接收终端中,例如只要至少具有图1所示的接收部15即可。该接收终端也可以使用本发明的第二实施方式至第十一实施方式中的接收部的任意一个。
另外,参照图57对基于本发明的第十三实施方式的信号处理装置进行详细说明。本发明的第十三实施方式由根据程序控制而动作的计算机1300、1301构成。计算机可以是中央处理装置、处理器、数据处理装置中的任意一个。
计算机1300根据如下的程序进行动作,该程序用于进行第一实施方式至第十二实施方式中的任意一个所涉及的处理,接收输入信号,并输出传送信号。另一方面,计算机1301根据如下的程序进行动作,该程序用于进行第一实施方式至第十二实施方式中的任意一个所涉及的处理,接收传送信号,并输出输出信号。另外,在具有第十二实施方式所说明的发送部和接收部双方的情况下,可以将发送处理和接收处理使用同一计算机来执行处理。
在上述说明的第一实施方式至第十三实施方式中,作为发送部、传送路径、接收部的动作进行了说明,但是也可以分别置换为录音部、存储介质、再现部。例如,图1所示的发送部10可以将传送信号作为比特流输出到存储介质中,也可以将比特流记录在存储介质中。并且,接收部15可以取出记录在存储介质中的比特流,也可以对比特流进行解码来进行处理从而生成输出信号。
以上举出优选实施方式和实施例对本发明进行了说明,但本发明并不限定于上述实施方式和实施例,在其技术思想的范围内能够进行各种变形和实施。
如上所述,第一发明是一种信号分析装置,其特征在于,该信号分析装置包含:信号接收部,其接收包含多个构成要素的输入信号;以及信号分析部,其根据所述输入信号生成表示所述多个构成要素间的关系的分析信息。
并且,第二发明的特征在于,在上述第一发明中,所述构成要素包含目的音和背景音。
并且,第三发明的特征在于,在上述第一发明中,所述信号分析部包含:变换部,其生成将所述输入信号分解为频率成分的变换信号;以及分析信息生成部,其将所述变换信号分解为所述多个构成要素,并生成所述分析信息。
并且,第四发明的特征在于,在上述第三发明中,所述构成要素包含目的音和背景音。
并且,第五发明的特征在于,在上述第四发明中,所述分析信息生成部包含:背景音估计部,其根据所述变换信号估计背景音;以及背景音信息生成部,其根据所述变换信号和所述估计的背景音来生成用于抑制背景音的抑制系数。
并且,第六发明的特征在于,在上述第四发明中,所述分析信息生成部包含:背景音估计部,其根据所述变换信号估计背景音;以及背景音信息生成部,其根据所述变换信号和所述估计的背景音来生成目的音和背景音之比。
并且,第七发明的特征在于,在上述第四发明中,所述分析信息生成部包含背景音估计部,该背景音估计部根据所述变换信号估计背景音。
并且,第八发明是一种信号控制装置,其特征在于,该信号控制装置包含:信号接收部,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制部,其根据所述分析信息来控制所述多个构成要素间的关系。
并且,第九发明的特征在于,在上述第八发明中,所述构成要素包含目的音和背景音。
并且,第十发明的特征在于,在上述第八发明中,所述信号控制部包含:变换部,其生成将所述信号分解为频率成分的变换信号;以及信号处理部,其根据所述分析信息来控制所述变换信号中包含的所述多个构成要素间的关系。
并且,第十一发明的特征在于,在上述第十发明中,所述构成要素包含目的音和背景音。
并且,第十二发明的特征在于,在上述第十一发明中,所述分析信息包含用于抑制所述背景音的抑制系数,所述信号处理部包含将所述变换信号和所述抑制系数相乘的乘法部。
并且,第十三发明的特征在于,在上述第十一发明中,所述分析信息包含表示所述目的音和所述背景音之比的目的音背景音比信息,所述信号处理部包含:抑制系数生成部,其根据所述目的音背景音比信息来生成用于抑制所述背景音的抑制系数;以及乘法部,其将所述变换信号和所述抑制系数相乘。
并且,第十四发明的特征在于,在上述第十一发明中,所述分析信息包含表示所述背景音的背景音信息,所述信号处理部包含:抑制系数生成部,其根据所述背景音信息来生成用于抑制所述背景音的抑制系数;以及乘法部,其将所述变换信号和所述抑制系数相乘。
并且,第十五发明的特征在于,在上述第十一发明中,所述分析信息包含表示所述背景音的背景音信息,所述信号处理部包含减法部,该减法部根据所述背景音信息从所述变换信号中减去所述背景音。
并且,第十六发明是一种信号控制装置,其特征在于,该信号控制装置包含:信号接收部,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制部,其接收用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
并且,第十七发明的特征在于,在上述第十六发明中,所述构成要素包含目的音和背景音。
并且,第十八发明的特征在于,在上述第十六发明中,所述信号控制部包含:变换部,其生成将所述信号分解为频率成分的变换信号;以及信号处理部,其根据所述分析信息和所述信号控制信息来控制所述变换信号中包含的所述多个构成要素。
并且,第十九发明的特征在于,在上述第十八发明中,所述构成要素包含目的音和背景音。
并且,第二十发明的特征在于,在上述第十九发明中,所述分析信息包含用于抑制所述背景音的抑制系数,所述信号处理部包含:抑制系数修正部,其根据所述信号控制信息来修正所述抑制系数,以及乘法部,其将所述变换信号和所述修正抑制系数相乘。
并且,第二十一发明的特征在于,在上述第二十发明中,所述抑制系数修正部包含将所述抑制系数和所述信号控制信息相乘的乘法部。
并且,第二十二发明的特征在于,在上述第二十发明中,所述抑制系数修正部包含对所述抑制系数和所述信号控制信息进行比较的比较部。
并且,第二十三发明的特征在于,在上述第二十发明中,所述抑制系数修正部包含:乘法部,其将所述抑制系数和所述信号控制信息相乘;比较部,其对所述抑制系数和所述信号控制信息进行比较;以及选择部,其根据所述信号控制信息来选择所述乘法部的结果和所述比较部的结果。
并且,第二十四发明的特征在于,在上述第二十三发明中,所述信号控制信息包含抑制系数的最大值或最小值的至少一个。
并且,第二十五发明的特征在于,在上述第十九发明中,所述分析信息包含表示所述目的音和所述背景音之比的目的音背景音比信息,所述信号处理部包含:目的音背景音比信息修正部,其根据所述信号控制信息来修正所述目的音背景音比信息;抑制系数变换部,其将所述修正目的音背景音比变换为抑制系数;以及乘法部,其将所述变换信号和所述抑制系数相乘。
并且,第二十一发明的特征在于,在上述第十九发明中,所述分析信息包含表示所述目的音和所述背景音之比的目的音背景音比信息,所述信号处理部包含:抑制系数变换部,其将所述目的音背景音比变换为抑制系数;抑制系数修正部,其根据所述信号控制信息来修正所述抑制系数;以及乘法部,其将所述变换信号和所述修正抑制系数相乘。
并且,第二十七发明的特征在于,在上述第十九发明中,所述分析信息包含表示所述背景音的背景音信息,所述信号处理部包含:背景音信息修正部,其根据所述信号控制信息来修正所述背景音信息;抑制系数变换部,其将所述修正背景音信息变换为抑制系数;以及乘法部,其将所述变换信号和所述抑制系数相乘。
并且,第二十八发明的特征在于,在上述第十九发明中,所述分析信息包含表示所述背景音的背景音信息,所述信号处理部包含:抑制系数变换部,其将所述背景音信息变换为抑制系数;抑制系数修正部,其根据所述信号控制信息来修正所述抑制系数;以及乘法部,其将所述变换信号和所述修正抑制系数相乘。
并且,第二十九发明的特征在于,在上述第十九发明中,所述分析信息包含表示所述背景音的背景音信息,所述信号处理部包含:背景音信息修正部,其根据所述信号控制信息来修正所述背景音信息;以及减法部,其从所述变换信号中减去所述修正背景音信息。
并且,第三十发明是一种信号控制装置,其特征在于,所述信号控制装置包含:信号接收部,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及输出信号生成部,其接收用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
并且,第三十一发明的特征在于,在上述第三十发明中,所述输出信号控制部包含构成要素信息变换部,该构成要素信息变换部根据所述分析信息将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第三十二发明的特征在于,在上述第三十发明中,所述输出信号生成部接收用于控制特定构成要素的信号控制信息,根据所述信号控制信息、所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
并且,第三十三发明的特征在于,在上述第三十二发明中,所述输出信号生成部包含:信号控制部,其根据所述信号和所述分析信息来生成表示所述信号和所述构成要素的关系的参数,并根据所述信号控制信息来修正所述参数;以及构成要素信息变换部,其根据所述修正参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第三十四发明的特征在于,在上述第三十二发明中,所述输出信号生成部包含:信号控制部,其根据所述分析信息和所述信号控制信息来生成表示所述信号和所述构成要素的关系的参数,并根据所述信号控制信息来修正所述参数;以及构成要素信息变换部,其根据所述修正参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第三十五发明的特征在于,在上述第三十三或第三十四发明中,所述信号控制装置具备描绘部,该描绘部根据所述描绘信息来变换所述信号,并生成所述输出信号。
并且,第三十六发明的特征在于,在上述第三十发明中,所述构成要素包含目的音和背景音。
并且,第三十七发明的特征在于,在上述第三十五发明中,所述输出信号控制部包含构成要素信息变换部,该构成要素信息变换部根据所述分析信息将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第三十八发明的特征在于,在上述第三十六发明中,所述分析信息包含用于抑制所述背景音的抑制系数,所述输出信号生成部包含:信号控制部,其根据所述抑制系数来生成用于控制所述构成要素的构成要素参数;以及构成要素信息变换部,其根据所述构成要素参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第三十九发明的特征在于,在上述第三十六发明中,所述分析信息包含表示所述目的音和所述背景音之比的目的音背景音比信息,所述输出信号生成部包含:信号控制部,其根据所述目的音背景音比信息来生成用于控制所述构成要素的构成要素参数;以及构成要素信息变换部,其根据所述构成要素参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第四十发明的特征在于,在上述第三十六发明中,所述分析信息包含表示所述背景音的背景音信息,所述输出信号生成部包含:信号控制部,其根据所述信号和所述背景音信息来生成用于控制所述构成要素的构成要素参数;以及构成要素信息变换部,其根据所述构成要素参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第四十一发明的特征在于,在上述第三十六至第四十的任意一个发明中,所述信号控制装置具备描绘部,该描绘部根据所述描绘信息来变换所述信号,并生成所述输出信号。
并且,第四十二发明是一种信号分析方法,其特征在于,根据包含多个构成要素的输入信号来生成表示所述多个构成要素间的关系的分析信息。
并且,第四十三发明的特征在于,在上述第四十二发明中,所述构成要素包含目的音和背景音。
并且,第四十四发明的特征在于,在上述第四十二发明中,生成将所述输入信号分解为频率成分的变换信号;将所述变换信号分解为所述多个构成要素,并生成所述分析信息。
并且,第四十五发明的特征在于,在上述第四十四发明中,所述构成要素包含目的音和背景音。
并且,第四十六发明的特征在于,在上述第四十五发明中,作为所述分析信息,根据所述变换信号估计背景音;根据所述变换信号和所述估计的背景音来生成用于抑制背景音的抑制系数。
并且,第四十七发明的特征在于,在上述第四十四发明中,作为所述分析信息,根据所述变换信号估计背景音;根据所述变换信号和所述估计的背景音来生成目的音和背景音之比。
并且,第四十八发明的特征在于,在上述第四十四发明中,根据所述变换信号估计背景音。
并且,第四十九发明是一种信号控制方法,其特征在于,接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;根据所述分析信息来控制所述多个构成要素间的关系。
并且,第五十发明的特征在于,在上述第四十九发明中,所述构成要素包含目的音和背景音。
并且,第五十一发明的特征在于,在上述第四十九发明中,生成将所述信号分解为频率成分的变换信号;根据所述分析信息来控制所述变换信号中包含的所述多个构成要素间的关系。
并且,第五十二发明的特征在于,在上述第五十一发明中,所述构成要素包含目的音和背景音。
并且,第五十三发明的特征在于,在上述第四十九发明中,所述分析信息包含用于抑制所述背景音的抑制系数,将所述变换信号和所述抑制系数相乘,并根据该相乘结果来进行控制。
并且,第五十四发明的特征在于,在上述第五十二发明中,所述分析信息包含表示所述目的音和所述背景音之比的目的音背景音比信息,根据所述目的音背景音比信息来生成用于抑制所述背景音的抑制系数;将所述变换信号和所述抑制系数相乘,并根据该相乘结果来进行控制。
并且,第五十五发明的特征在于,在上述第五十二发明中,所述分析信息包含表示所述背景音的背景音信息,根据所述背景音信息来生成用于抑制所述背景音的抑制系数;将所述变换信号和所述抑制系数相乘,并根据该相乘结果来进行控制。
并且,第五十六发明的特征在于,在上述第五十二发明中,所述分析信息包含表示所述背景音的背景音信息,根据所述背景音信息从所述变换信号中减去所述背景音,并根据该相减结果来进行控制。
并且,第五十七发明是一种信号控制方法,其特征在于,接收包含多个构成要素的信号、表示所述多个构成要素间的关系的分析信息以及用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
并且,第五十八发明的特征在于,在上述第五十七发明中,所述构成要素包含目的音和背景音。
并且,第五十九发明的特征在于,在上述第五十七发明中,生成将所述信号分解为频率成分的变换信号;根据所述分析信息和所述信号控制信息来控制所述变换信号中包含的所述多个构成要素。
并且,第六十发明的特征在于,在上述第五十二发明中,所述构成要素包含目的音和背景音。
并且,第六十一发明的特征在于,在上述第六十发明中,所述分析信息包含用于抑制所述背景音的抑制系数,根据所述信号控制信息来修正所述抑制系数;将所述变换信号和所述修正抑制系数相乘,并根据该相乘结果来进行控制。
并且,第六十二发明的特征在于,在上述第六十一发明中,将所述抑制系数和所述信号控制信息相乘来修正抑制系数。
并且,第六十三发明的特征在于,在上述第六十一发明中,对所述抑制系数和所述信号控制信息进行比较来修正抑制系数。
并且,第六十四发明的特征在于,在上述第六十一发明中,将所述抑制系数和所述信号控制信息相乘;对所述抑制系数和所述信号控制信息进行比较;根据所述信号控制信息,使用所述乘法部的结果和所述比较部的结果的任意一个来进行修正。
并且,第六十五发明的特征在于,在上述第六十一发明中,所述信号控制信息包含抑制系数的最大值或最小值的至少任意一个。
并且,第六十六发明的特征在于,在上述第六十发明中,所述分析信息包含表示所述目的音和所述背景音之比的目的音背景音比信息,根据所述信号控制信息来修正所述目的音背景音比信息;将所述修正目的音背景音比变换为抑制系数;将所述变换信号和所述抑制系数相乘,并根据该相乘结果来进行控制。
并且,第六十七发明的特征在于,在上述第六十发明中,所述分析信息包含表示所述目的音和所述背景音之比的目的音背景音比信息,将所述目的音背景音比变换为抑制系数;根据所述信号控制信息来修正所述抑制系数;将所述变换信号和所述修正抑制系数相乘,并根据该相乘结果来进行控制。
并且,第六十八发明的特征在于,在上述第六十发明中,所述分析信息包含表示所述背景音的背景音信息,根据所述信号控制信息来修正所述背景音信息;将所述修正背景音信息变换为抑制系数;将所述变换信号和所述抑制系数相乘,并根据该相乘结果来进行控制。
并且,第六十九发明的特征在于,在上述第六十发明中,所述分析信息包含表示所述背景音的背景音信息,将所述背景音信息变换为抑制系数;根据所述信号控制信息来修正所述抑制系数;将所述变换信号和所述修正抑制系数相乘,并根据该相乘结果来进行控制。
并且,第七十发明的特征在于,在上述第六十发明中,所述分析信息包含表示所述背景音的背景音信息,根据所述信号控制信息来修正所述背景音信息;从所述变换信号中减去所述修正背景音信息,并根据该相减结果来进行控制。
并且,第七十一发明是一种信号控制方法,其特征在于,接收包含多个构成要素的信号、表示所述多个构成要素间的关系的分析信息以及用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
并且,第七十二发明的特征在于,在上述第七十一发明中,根据所述分析信息将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第七十三发明的特征在于,在上述第七十一发明中,接收用于控制特定构成要素的信号控制信息,根据所述信号控制信息、所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
并且,第七十四发明的特征在于,在上述第七十三发明中,根据所述信号和所述分析信息来生成表示所述信号和所述构成要素的关系的参数,并根据所述信号控制信息来修正所述参数;根据所述修正参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第七十五发明的特征在于,在上述第七十三发明中,根据所述分析信息和所述信号控制信息来生成表示所述信号和所述构成要素的关系的参数,并根据所述信号控制信息来修正所述参数;根据所述修正参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第七十六发明的特征在于,在上述第七十四或第七十五发明中,根据所述描绘信息来变换所述信号,并生成所述输出信号。
并且,第七十七发明的特征在于,在上述第七十一发明中,所述构成要素包含目的音和背景音。
并且,第七十八发明的特征在于,在上述第七十六发明中,根据所述分析信息将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第七十九发明的特征在于,在上述第七十七发明中,所述分析信息包含用于抑制所述背景音的抑制系数,根据所述抑制系数来生成用于控制所述构成要素的构成要素参数;根据所述构成要素参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第八十发明的特征在于,在上述第七十七发明中,所述分析信息包含表示所述目的音和所述背景音之比的目的音背景音比信息,根据所述目的音背景音比信息来生成用于控制所述构成要素的构成要素参数;根据所述构成要素参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第八十一发明的特征在于,在上述第七十七发明中,所述分析信息包含表示所述背景音的背景音信息,根据所述信号和所述背景音信息来生成用于控制所述构成要素的构成要素参数;根据所述构成要素参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
并且,第八十二发明的特征在于,在上述第七十九至第八十一的任意一个发明中,根据所述描绘信息来变换所述信号,并生成所述输出信号。
并且,第八十三发明是一种系统,其特征在于,该系统包含:信号接收部,其接收包含多个构成要素的信号;信号分析部,其根据所述信号来生成表示所述多个构成要素间的关系的分析信息;信号接收部,其接收包含所述多个构成要素的信号和所述分析信息;以及信号控制部,其根据所述分析信息来控制所述多个构成要素间的关系。
并且,第八十四发明是一种系统,其特征在于,信号接收部,其接收包含多个构成要素的信号;信号分析部,其根据所述信号来生成表示所述多个构成要素间的关系的分析信息;信号接收部,其接收包含所述多个构成要素的信号和所述分析信息;以及信号控制部,其接收用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
并且,第八十五发明是一种系统,其特征在于,信号接收部,其接收包含多个构成要素的信号;信号分析部,其根据所述信号来生成表示所述多个构成要素间的关系的分析信息;信号接收部,其接收包含所述多个构成要素的信号和所述分析信息;以及输出信号生成部,其接收用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
并且,第八十六发明是一种信号分析程序,其特征在于,该信号分析程序使信息处理装置执行如下处理:信号接收处理,其接收包含多个构成要素的输入信号;以及信号分析处理,其根据所述输入信号来生成表示所述多个构成要素间的关系的分析信息。
并且,第八十七发明是一种信号控制程序,其特征在于,该信号控制程序包含如下处理:信号接收处理,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制处理,其根据所述分析信息来控制所述多个构成要素间的关系。
并且,第八十八发明是一种信号控制程序,其特征在于,该信号控制程序使信息处理装置执行如下处理:信号接收处理,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及信号控制处理,其接收用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
并且,第八十九发明是一种信号控制程序,其特征在于,该信号控制程序包含如下处理:信号接收处理,其接收包含多个构成要素的信号和表示所述多个构成要素间的关系的分析信息;以及输出信号生成处理,其接收用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
本申请主张以在2007年6月27日申请的日本申请特愿2007-168544号为基础的优先权,并将其公开的全部内容放到本申请中。
产业上的可利用性
根据本发明,能够应用于进行信号分析或控制的装置以及用于使计算机实现信号分析或控制的程序这样的用途。

Claims (24)

1.一种信号控制装置,其特征在于,该信号控制装置是具有能够经由网络或记录介质收发信号的信号分析装置和信号控制装置的信号分析控制系统中的信号控制装置,该信号控制装置包含:
信号接收部,其经由网络或记录介质接收包含多个构成要素的信号和由信号分析装置生成的表示所述多个构成要素间的关系的分析信息,所述分析信息用于控制所述输入信号的构成要素间的关系;以及
信号控制部,其根据所述分析信息来控制所述多个构成要素间的关系。
2.根据权利要求1所述的信号控制装置,其特征在于,
所述构成要素包含目的音和背景音。
3.一种信号控制装置,其特征在于,该信号控制装置是具有能够经由网络或记录介质收发信号的信号分析装置和信号控制装置的信号分析控制系统中的信号控制装置,该信号控制装置包含:
信号接收部,其经由网络或记录介质接收包含多个构成要素的信号和由信号分析装置生成的表示所述多个构成要素间的关系的分析信息,所述分析信息用于控制所述输入信号的构成要素间的关系;以及
信号控制部,其接收用于控制特定构成要素的信号控制信息,根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
4.根据权利要求3所述的信号控制装置,其特征在于,
所述构成要素包含目的音和背景音。
5.一种信号控制装置,其特征在于,该信号控制装置是具有能够经由网络或记录介质收发信号的信号分析装置和信号控制装置的信号分析控制系统中的信号控制装置,所述信号控制装置包含:
信号接收部,其经由网络或记录介质接收包含多个构成要素的信号和由信号分析装置生成的表示所述多个构成要素间的关系的分析信息,所述分析信息用于控制所述输入信号的构成要素间的关系;以及
输出信号生成部,其接收用于控制所述构成要素的输出的构成要素描绘信息,根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
6.根据权利要求5所述的信号控制装置,其特征在于,
所述输出信号生成部接收用于控制特定构成要素的信号控制信息,根据所述信号控制信息、所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
7.根据权利要求6所述的信号控制装置,其特征在于,所述输出信号生成部包含:
信号控制部,其根据所述信号和所述分析信息来生成表示所述信号和所述构成要素的关系的参数,并根据所述信号控制信息来修正所述参数;以及
构成要素信息变换部,其根据所述修正参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
8.根据权利要求6所述的信号控制装置,其特征在于,所述输出信号生成部包含:
信号控制部,其根据所述分析信息和所述信号控制信息来生成表示所述信号和所述构成要素的关系的参数,并根据所述信号控制信息来修正所述参数;以及
构成要素信息变换部,其根据所述修正参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
9.根据权利要求5所述的信号控制装置,其特征在于,
所述构成要素包含目的音和背景音。
10.根据权利要求6所述的信号控制装置,其特征在于,
所述构成要素包含目的音和背景音。
11.根据权利要求7所述的信号控制装置,其特征在于,
所述构成要素包含目的音和背景音。
12.根据权利要求8所述的信号控制装置,其特征在于,
所述构成要素包含目的音和背景音。
13.一种信号控制方法,其特征在于,所述信号控制方法是具有能够经由网络或记录介质收发信号的信号分析装置和信号控制装置的信号分析控制系统中的信号控制方法,所述信号控制方法包含以下步骤:
经由网络或记录介质接收包含多个构成要素的信号和由信号分析装置生成的表示所述多个构成要素间的关系的分析信息,所述分析信息用于控制所述输入信号的构成要素间的关系;以及
根据所述分析信息来控制所述多个构成要素间的关系。
14.根据权利要求13所述的信号控制方法,其特征在于,
所述构成要素包含目的音和背景音。
15.一种信号控制方法,其特征在于,所述信号控制方法是具有能够经由网络或记录介质收发信号的信号分析装置和信号控制装置的信号分析控制系统中的信号控制方法,所述信号控制方法包含以下步骤:
经由网络或记录介质接收包含多个构成要素的信号、由信号分析装置生成的表示所述多个构成要素间的关系的分析信息以及用于控制特定构成要素的信号控制信息,所述分析信息用于控制所述输入信号的构成要素间的关系;以及
根据所述分析信息和所述信号控制信息来控制所述多个构成要素。
16.根据权利要求15所述的信号控制方法,其特征在于,
所述构成要素包含目的音和背景音。
17.一种信号控制方法,其特征在于,所述信号控制方法是具有能够经由网络或记录介质收发信号的信号分析装置和信号控制装置的信号分析控制系统中的信号控制方法,所述信号控制方法包含以下步骤:
经由网络或记录介质接收包含多个构成要素的信号、由信号分析装置生成的表示所述多个构成要素间的关系的分析信息以及用于控制所述构成要素的输出的构成要素描绘信息,所述分析信息用于控制所述输入信号的构成要素间的关系;以及
根据所述分析信息和所述构成要素描绘信息来控制所述构成要素,并生成输出信号。
18.根据权利要求17所述的信号控制方法,其特征在于,所述信号控制方法包含以下步骤:
接收用于控制特定构成要素的信号控制信息,根据所述信号控制信息、所述分析信息和所述构成要素描绘信息来控制所述构成要素;以及
生成输出信号。
19.根据权利要求18所述的信号控制方法,其特征在于,所述信号控制方法包含以下步骤:
根据所述信号和所述分析信息来生成表示所述信号和所述构成要素的关系的参数,并根据所述信号控制信息来修正所述参数;以及
根据所述修正参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
20.根据权利要求18所述的信号控制方法,其特征在于,所述信号控制方法包含以下步骤:
根据所述分析信息和所述信号控制信息来生成表示所述信号和所述构成要素的关系的参数,并根据所述信号控制信息来修正所述参数;以及
根据所述修正参数,将所述构成要素描绘信息变换为表示所述信号和所述输出信号的关系的描绘信息。
21.根据权利要求17所述的信号控制方法,其特征在于,
所述构成要素包含目的音和背景音。
22.根据权利要求18所述的信号控制方法,其特征在于,
所述构成要素包含目的音和背景音。
23.根据权利要求19所述的信号控制方法,其特征在于,
所述构成要素包含目的音和背景音。
24.根据权利要求20所述的信号控制方法,其特征在于,
所述构成要素包含目的音和背景音。
CN201210023729.1A 2007-06-27 2008-06-26 信号控制装置及其方法 Active CN102436822B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007168544 2007-06-27
JP2007-168544 2007-06-27

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN2008800220339A Division CN101689372B (zh) 2007-06-27 2008-06-26 信号分析装置、信号控制装置及其系统、方法

Publications (2)

Publication Number Publication Date
CN102436822A true CN102436822A (zh) 2012-05-02
CN102436822B CN102436822B (zh) 2015-03-25

Family

ID=40185698

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2008800220339A Active CN101689372B (zh) 2007-06-27 2008-06-26 信号分析装置、信号控制装置及其系统、方法
CN201210023729.1A Active CN102436822B (zh) 2007-06-27 2008-06-26 信号控制装置及其方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN2008800220339A Active CN101689372B (zh) 2007-06-27 2008-06-26 信号分析装置、信号控制装置及其系统、方法

Country Status (6)

Country Link
US (1) US9905242B2 (zh)
EP (2) EP2172929B1 (zh)
JP (1) JP5556175B2 (zh)
KR (1) KR20100024426A (zh)
CN (2) CN101689372B (zh)
WO (1) WO2009001886A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2164238B1 (en) * 2007-06-27 2013-01-16 NEC Corporation Multi-point connection device, signal analysis and device, method, and program
GB0911331D0 (en) * 2009-06-30 2009-08-12 Univ Aston Characterising properties or behaviour of biological cells
US9538286B2 (en) 2011-02-10 2017-01-03 Dolby International Ab Spatial adaptation in multi-microphone sound capture

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4980886A (en) * 1988-11-03 1990-12-25 Sprint International Communications Corporation Communication system utilizing dynamically slotted information
KR100458969B1 (ko) 1993-05-31 2005-04-06 소니 가부시끼 가이샤 신호부호화또는복호화장치,및신호부호화또는복호화방법
JPH07203400A (ja) 1993-10-15 1995-08-04 Matsushita Electric Ind Co Ltd マルチメディアレンダリングマーカーとその使用方法
JPH08102687A (ja) * 1994-09-29 1996-04-16 Yamaha Corp 音声送受信方式
JP3568255B2 (ja) * 1994-10-28 2004-09-22 富士通株式会社 音声符号化装置及びその方法
JP3355598B2 (ja) * 1996-09-18 2002-12-09 日本電信電話株式会社 音源分離方法、装置及び記録媒体
JP3679215B2 (ja) * 1997-01-22 2005-08-03 日本放送協会 アナウンスとbgmが混合された信号からアナウンスとbgmのレベルを各別に推定する装置、および該装置を使用して構成したアナウンスとbgmのレベル差を測定する装置
US7415120B1 (en) * 1998-04-14 2008-08-19 Akiba Electronics Institute Llc User adjustable volume control that accommodates hearing
JP4163294B2 (ja) * 1998-07-31 2008-10-08 株式会社東芝 雑音抑圧処理装置および雑音抑圧処理方法
JP2000099096A (ja) * 1998-09-18 2000-04-07 Toshiba Corp 音声信号の成分分離方法及びこれを用いた音声符号化方法
US6782361B1 (en) * 1999-06-18 2004-08-24 Mcgill University Method and apparatus for providing background acoustic noise during a discontinued/reduced rate transmission mode of a voice transmission system
JP3484112B2 (ja) 1999-09-27 2004-01-06 株式会社東芝 雑音成分抑圧処理装置および雑音成分抑圧処理方法
US6351733B1 (en) * 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
JP2001265398A (ja) * 2000-03-16 2001-09-28 Matsushita Electric Ind Co Ltd 適応型雑音抑圧音声符号化装置及び符号化方法
JP2002182687A (ja) * 2000-12-15 2002-06-26 Alpine Electronics Inc 車載音声認識用騒音低減装置のデータ配信システム、車載音声認識用騒音低減装置、及びサーバ
JP4282227B2 (ja) 2000-12-28 2009-06-17 日本電気株式会社 ノイズ除去の方法及び装置
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
JP3786038B2 (ja) 2002-03-14 2006-06-14 日産自動車株式会社 入力信号処理方法および入力信号処理装置
DE60311794T2 (de) * 2002-04-22 2007-10-31 Koninklijke Philips Electronics N.V. Signalsynthese
EP1500084B1 (en) * 2002-04-22 2008-01-23 Koninklijke Philips Electronics N.V. Parametric representation of spatial audio
JP4162604B2 (ja) * 2004-01-08 2008-10-08 株式会社東芝 雑音抑圧装置及び雑音抑圧方法
ATE388599T1 (de) * 2004-04-16 2008-03-15 Dublin Inst Of Technology Verfahren und system zur schallquellen-trennung
US7630396B2 (en) 2004-08-26 2009-12-08 Panasonic Corporation Multichannel signal coding equipment and multichannel signal decoding equipment
US7667728B2 (en) * 2004-10-15 2010-02-23 Lifesize Communications, Inc. Video and audio conferencing system with spatial audio
EP1691348A1 (en) 2005-02-14 2006-08-16 Ecole Polytechnique Federale De Lausanne Parametric joint-coding of audio sources
JP2006262241A (ja) * 2005-03-18 2006-09-28 Casio Comput Co Ltd 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム
JP2007168544A (ja) 2005-12-20 2007-07-05 Yokohama Rubber Co Ltd:The 空気入りタイヤ
JP5337941B2 (ja) * 2006-10-16 2013-11-06 フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー.ファオ マルチチャネル・パラメータ変換のための装置および方法
US8483410B2 (en) * 2006-12-01 2013-07-09 Lg Electronics Inc. Apparatus and method for inputting a command, method for displaying user interface of media signal, and apparatus for implementing the same, apparatus for processing mix signal and method thereof

Also Published As

Publication number Publication date
EP2560164A3 (en) 2013-04-17
CN102436822B (zh) 2015-03-25
KR20100024426A (ko) 2010-03-05
US9905242B2 (en) 2018-02-27
US20100189280A1 (en) 2010-07-29
JPWO2009001886A1 (ja) 2010-08-26
CN101689372A (zh) 2010-03-31
EP2560164A2 (en) 2013-02-20
JP5556175B2 (ja) 2014-07-23
EP2172929A1 (en) 2010-04-07
EP2172929A4 (en) 2012-05-16
WO2009001886A1 (ja) 2008-12-31
EP2172929B1 (en) 2018-08-01
CN101689372B (zh) 2013-05-01

Similar Documents

Publication Publication Date Title
JP4859670B2 (ja) 音声符号化装置および音声符号化方法
KR102187936B1 (ko) 잡음 감소를 위한 다채널 hoa 오디오 신호를 인코딩하는 방법 및 장치와, 잡음 감소를 위한 다채널 hoa 오디오 신호를 디코딩하는 방법 및 장치
JPWO2007088853A1 (ja) 音声符号化装置、音声復号装置、音声符号化システム、音声符号化方法及び音声復号方法
WO2009131066A1 (ja) 信号分析制御及び信号制御のシステム、装置、方法及びプログラム
JP2009533716A (ja) オーディオ符号化並びに復号化における励起の処理
US8036390B2 (en) Scalable encoding device and scalable encoding method
KR20070085532A (ko) 스테레오 부호화 장치, 스테레오 복호 장치 및 그 방법
US9118805B2 (en) Multi-point connection device, signal analysis and device, method, and program
KR20070061847A (ko) 스케일러블 부호화 장치, 스케일러블 복호 장치 및 이들의방법
CN109478407B (zh) 用于处理输入信号的编码装置和用于处理编码后的信号的解码装置
EP1818910A1 (en) Scalable encoding apparatus and scalable encoding method
JP5668923B2 (ja) 信号分析制御システム及びその方法と、信号制御装置及びその方法と、プログラム
CN101689372B (zh) 信号分析装置、信号控制装置及其系统、方法
CN101911183A (zh) 信号分析控制、信号分析、信号控制系统、装置以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant