CN101715643B - 多地点连接装置、信号分析以及装置、其方法及程序 - Google Patents
多地点连接装置、信号分析以及装置、其方法及程序 Download PDFInfo
- Publication number
- CN101715643B CN101715643B CN2008800219204A CN200880021920A CN101715643B CN 101715643 B CN101715643 B CN 101715643B CN 2008800219204 A CN2008800219204 A CN 2008800219204A CN 200880021920 A CN200880021920 A CN 200880021920A CN 101715643 B CN101715643 B CN 101715643B
- Authority
- CN
- China
- Prior art keywords
- information
- signal
- analytical
- constrain
- delineation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 191
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000012937 correction Methods 0.000 claims description 117
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 claims description 86
- 238000006243 chemical reaction Methods 0.000 claims description 62
- 238000000605 extraction Methods 0.000 claims description 8
- 230000005236 sound signal Effects 0.000 claims 36
- 238000002156 mixing Methods 0.000 abstract description 14
- 239000000470 constituent Substances 0.000 abstract description 6
- 230000009466 transformation Effects 0.000 description 155
- 238000012545 processing Methods 0.000 description 116
- 238000013139 quantization Methods 0.000 description 68
- 238000004364 calculation method Methods 0.000 description 52
- 230000009471 action Effects 0.000 description 50
- 238000000926 separation method Methods 0.000 description 48
- 239000000203 mixture Substances 0.000 description 28
- 230000005540 biological transmission Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 27
- 238000005516 engineering process Methods 0.000 description 17
- 230000007613 environmental effect Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003891 environmental analysis Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000000654 additive Substances 0.000 description 7
- 230000000996 additive effect Effects 0.000 description 7
- 238000000205 computational method Methods 0.000 description 7
- 238000012880 independent component analysis Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000001131 transforming effect Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000002715 modification method Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010205 computational analysis Methods 0.000 description 2
- 239000012141 concentrate Substances 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Telephonic Communication Services (AREA)
- Stereophonic System (AREA)
- Circuit For Audible Band Transducer (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本发明提供一种多地点连接装置,包括:第一信号接收部,其接收包括多个构成要素的第一信号和表示在第一信号中所包括的多个构成要素间的关系的第一分析信息;第二信号接收部,其接收包括多个构成要素的第二信号和表示在第二信号中所包括的多个构成要素间的关系的第二分析信息;信号混合部,其对第一信号和第二信号进行混合;和分析信息混合部,其对第一分析信息和第二分析信息进行混合。
Description
技术领域
本发明涉及多地点连接装置、信号分析以及装置、其方法及程序。
背景技术
多地点连接系统作为例如远程会议系统等被广泛利用,该系统相互连接多个地点间,远距离地的参加者能够参加并召开会议。
多地点连接系统的一例在专利文献1中被公开(以下称为现有技术1)。多地点连接系统如图74所示,具有在各地点分散而被配置的终端9000、9001、9002以及控制终端间的数据交换的多地点连接装置(MCU:Multipoint Control Unit)9005。多地点连接装置9005对从各终端输出的信号进行混合并分配到所有终端。在混合时,仅除去从分配目的地的终端输出的信号。例如,对终端9000进行分配的信号为对从终端9001和9002输出的信号进行混合后的信号。
图75表示多地点连接装置9005的结构例。在图75中例示了连接三个地点的例子,但能够成为连接任意个数的地点的结构。在图75中,从设置在第1~第3地点的终端接收到的传送信号经由输入端子输出到译码部9020、9030、9040,在译码部9020、9030、9040中被译码。译码信号进一步被输出到混合部9021、9031、9041。混合部9021对来自第2和第3地点的译码信号进行混合,生成送出到第1地点的混合信号,将混合信号输出到编码部9022。混合部9031对来自第1和第3地点的译码信号进行混合,生成送出到第2地点的混合信号,将混合信号输出到编码部9032。混合部9041对来自第1和第2地点的译码信号进行混合,生成送出到第3地点的混合信号,将混合信号输出到编码部9042。编码部9022、9032、9042对混合信号进行编码,经由输出端子输出到各终端。另外,混合部9021、9031、9041不仅只混合多个信号,而且也能适用预定的各种媒介处理(图像处理、声音处理、数据处理等)。
图74表示终端9000、9001、9002的第一结构例。另外,这些终端能具有相同的结构,因此只表示终端9000的结构例。以下,以终端9000为例进行说明。终端9000由发送部9006和包括译码部9012的接收部9007构成,发送部9006包括噪声抑压部9010和编码部9011。输入信号经由输入端子输入到发送部9006的噪声抑压部9010。在例如一般的携带电话中,通过麦克风捕捉的信号(麦克风信号)成为输入信号。麦克风信号由期望的声音和背景噪声(以下称为噪声)构成,噪声抑压部9010仅抑压噪声,期望的声音尽可能直接保持,作为噪声抑压声音输出到编码部9011。编码部9011基于CELP等的编码方式对从噪声抑压部9010输出的噪声抑压声音进行编码。被编码的信息经由输出端子被输出,在被调制/放大等后,向传输路输出。即发送部9006在噪声抑压处理后进行声音编码等的处理,将信号向传输路输出。接收部9007对从传输路接收的信号进行解调,在数字化后,输出到译码部9012。译码部9012对输入的信号进行译码,作为输出信号输出。输出信号输入到扬声器,作为可听信号被再生。
噪声抑压部9010一般作为噪声抑制器(噪声抑压系统)被公知,对在期望的声音信号上叠加的噪声进行抑压。一般来说,按照下述方式工作,即采用在频域变换的输入信号来推定噪声成分的功率谱,通过从输入信号减去该推定功率谱,抑压在期望的声音信号中混在的噪声。通过继续地推定噪声成分的功率谱,在非稳定的噪声的抑压中也能适用。噪声抑制器的技术的一例在专利文献2中被公开(以下称为现有技术2)。
进而对于削减对噪声的抑压的运算量的技术在非专利文献1中被公开(以下称为现有技术3)。
这些任一个方式的基本的工作都相同。即通过线性变换将输入信号变换到频域,取出振幅成分按每个频率分量来计算抑压系数。组合该抑压系数、各频率分量中的振幅的积和各频率分量的相位,进行逆变换来得到被噪声抑压的输出。此时,抑压系数为0与1之间的值,如果为0则通过完全抑压而输出为0,如果为1则不进行抑压而输入直接被输出。
作为终端9000、9001、9002的第2结构例,举出在图74所示的第1构成例中不存在噪声抑压部9010的情况。该结构不仅相当于终端不具备噪声抑压部9010的情况,而且也相当于利用者断开其功能的情况和噪声抑压部9010的抑压度不充分的情况。这种终端中,混入到期望的声音信号中的噪声等不被充分地抑压,而直接向其他终端传输。此时,噪声混入到会议的参加者所听到的混合信号中,音质变差。因此,存在听错重要的语句或者长时间的利用而疲劳增加的问题。即使采用具有噪声抑压部9010的第1构成例的终端,在噪声抑压部9010的抑压不充分的情况下或将噪声抑压部9010的功能设定为无效的情况下,也存在同样的问题。
在此,一般情况下,抑压不了而残留的残留噪声和被输出的噪声抑压声音的失真存在有取舍关系(tradeoff)。减少残留噪声,则失真增加,减少失真,则残留噪声增加。在现有技术1中,在发送部的噪声抑压部中,进行残留噪声与失真的平衡的调整,即期望的声音与噪声的控制。专利文献1:日本特开2000-83229号公报专利文献2:日本特开2002-204175号公报非专利文献1:2006年5月,プロシ-デイングス·オブ·アイ·シ一·エイ·エス·エス·ピ一、(PROCEEDINGS OFICASSP,VOL.1,PP.473~476,MAY,2006)473~476页
发明内容
但是,在现有技术1中,在接收部中,存在对与各地点的输入信号的各音源对应的各构成要素(例如期望的声音和噪声)不能控制的问题。例如根据接收部侧的环境而残留噪声和失真的平衡的最佳状态不同,但在接收部侧不能调整这种情况。此外,不能按来自各地点的各信号进行控制。
在此,本发明正是鉴于上述课题而作出的发明,其目的在于提供一种在接收部中,能够按与各地点的输入信号的各音源对应的每个构成要素进行控制的技术。
为了解决上述课题,本发明的多地点连接装置的特征在于,包括:第一信号接收部,其接收包括多个构成要素的第一信号和表示在所述第一信号中所包括的多个构成要素间的关系的第一分析信息;第二信号接收部,其接收包括多个构成要素的第二信号和表示在所述第二信号中所包括的多个构成要素间的关系的第二分析信息;信号混合部,其对所述第一信号和所述第二信号进行混合;和分析信息混合部,其对所述第一分析信息和所述第二分析信息进行混合。
为了解决上述课题,本发明的信号分析装置的特征在于,包括:信号接收部,其接收包括多个构成要素的输入信号;信号分析部,其根据所述输入信号生成表示所述多个构成要素间的关系的分析信息;和对象信息提取部,其生成表示所述输入信号的每个频率分量的特性的对象信息。
为了解决上述课题,本发明的信号控制装置的特征在于,包括:信号接收部,其接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息;和输出信号生成部,其接收对所述构成要素的输出进行控制的构成要素描绘信息,基于所述分析信息、所述对象信息和所述构成要素描绘信息生成所述构成要素已被控制的输出信号。
为了解决上述课题,本发明的信号控制装置的特征在于,包括:信号接收部,其接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息;和输出信号生成部,其接收对对象描述信息和特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述对象描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号,其中所述对象描绘信息按每个频率分量表示所述输入信号和所述输出信号之间的关系。
为了解决上述课题,本发明的多地点连接方法的特征在于,接收包括多个构成要素的第一信号和表示在所述第一信号中包括的多个构成要素间的关系的第一分析信息,接收包括多个构成要素的第二信号和表示在所述第二信号中包括的多个构成要素间的关系的第二分析信息,对所述第一信号和所述第二信号进行混合,对所述第一分析信息和所述第二分析信息进行混合。
为了解决上述课题,本发明的信号分析方法的特征在于,根据包括多个构成要素的输入信号来生成表示所述多个构成要素间的关系的分析信息,生成表示所述输入信号的每个频率分量的特性的对象信息。
为了解决上述课题,本发明的信号控制方法的特征在于,接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息,接收对所述构成要素的输出进行控制的构成要素描绘信息,基于所述分析信息、所述对象信息和所述构成要素描绘信息生成所述构成要素已被控制的输出信号。
为了解决上述课题,本发明的信号控制方法的特征在于,接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息,接收对对象描绘信息和特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述对象描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号,其中所述对象描绘信息按每个频率分量表示所述输入信号和所述输出信号之间的关系。
为了解决上述课题,本发明的程序的特征在于,使信息处理装置执行以下处理:接收包括多个构成要素的第一信号和表示在所述第一信号中所包括的多个构成要素间的关系的第一分析信息的处理;接收包括多个构成要素的第二信号和表示在所述第二信号中所包括的多个构成要素间的关系的第二分析信息的处理;对所述第一信号和所述第二信号进行混合的处理;和对所述第一分析信息和所述第二分析信息进行混合的处理。
为了解决上述课题,本发明的程序的特征在于,使信息处理装置执行以下处理:接收包括多个构成要素的输入信号的处理;根据所述输入信号生成表示所述多个构成要素间的关系的分析信息的处理;和生成表示所述输入信号的每个频率分量的特性的对象信息的处理。
为了解决上述课题,本发明的程序的特征在于,使信息处理装置执行以下处理:接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息的处理;和接收对所述构成要素的输出进行控制的构成要素描绘信息,基于所述分析信息、所述对象信息和所述构成要素描绘信息生成所述构成要素被控制的输出信号的处理。
为了解决上述课题,本发明的程序的特征在于,使信息处理装置执行以下处理:接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息的处理;和接收对对象描绘信息和特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述对象描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号的处理,其中所述对象描绘信息按每个频率分量表示所述输入信号和所述输出信号之间的关系。
在本发明中,由发送部进行信号的分析,算出分析信息,在多地点连接装置对分析信息进行混合,基于被混合的分析信息,在接收部中进行输入信号的控制。
因此,在接收部中,能够按与各地点的输入信号的各音源对应的每个构成要素进行控制。例如能够在接收部侧进行以下调整,即来自主会场的声音中也混入有噪声,但从来自副会场的声音除去噪声等的调整。
进而,由于由发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
附图说明
图1为表示本发明的第一实施方式的框图。图2为编码部100的结构例。图3为译码部150的结构例。图4为信号分析部101的结构例。图5为信号控制部151的结构例。图6为多地点连接装置(MCU)2105的结构例。图7为分析信息混合部2114的结构例。图8为多地点连接装置(MCU)2105的第二结构例。图9为分析信息混合部2117的结构例。图10为分析信息计算部121的结构例。图11为背景音信息生成部202的结构例。图12为信号处理部172的结构例。图13为抑压系数译码部260的结构例。图14为分析参数混合部2151的结构例。图15为分析参数混合部2153的结构例。图16为背景音信息生成部202的第二结构例。图17为抑压系数重新构成部250的结构例。图18为背景音信息生成部202的第二结构例。图19为分析参数混合部2151的第二结构例。图20为分析参数混合部2153的第二结构例。图21为分析信息计算部121的第二结构例。图22为信号处理部172的第二结构例。图23为抑压系数计算部252的结构例。图24为信号处理部172的第三结构例。图25为分析参数混合部2151的第三结构例。图26为分析参数混合部2153的第三结构例。图27为表示本发明的第三实施方式的框图。图28为信号控制部350的结构例。图29为信号处理部360的结构例。图30为抑压系数重新构成部450的结构例。图31为抑压系数修正部460的结构例。图32为抑压系数修正部460的第二结构例。图33为抑压系数修正部460的第三结构例。图34为抑压系数重新构成部450的第二结构例。图35为抑压系数重新构成部450的第三结构例。图36为信号处理部360的第二结构例。图37为抑压系数计算部452的结构例。图38为信号处理部360的第三结构例。图39为抑压系数计算部452的第二结构例。图40为表示本发明的第五实施方式的框图。图41为多地点连接装置(MCU)2105的结构例。图42为输出信号生成部2550的结构例。图43为输出信号生成部2550的第二结构例。图44为构成要素信息变换部2565的结构例。图45为输出信号生成部2550的第三结构例。图46为构成要素信息变换2566的结构例。图47为表示本发明的第七实施方式的框图。图48为输出信号生成部2700的结构例。图49为输出信号生成部2700的第二结构例。图50为对象描绘(object rendering)信息修正部2770的结构例。图51为输出信号生成部2700的第三结构例。图52为目标描绘信息修正部2780的结构例。图53为表示本发明的第9实施方式的框图。图54为输出信号生成部2900的结构例。图55为构成要素信息变换部2910的结构例。图56为输出信号生成部2900的第二结构例。图57为构成要素信息变换部3001的结构例。图58为表示本发明的第十一实施方式的框图。图59为信号分析部900的结构例。图60为信号分析部900的第二结构例。图61为分析信息计算部911的结构例。图62为分析信息计算部912的第二结构例。图63为表示本发明的第十三实施方式的框图。图64为编码部1100的结构例。图65为信号分析部1101的结构例。图66为译码部1150的结构例。图67为信号控制部1151的结构例。图68为信号分析部101的第二结构例。图69为信号控制部151的第二结构例。图70为信号分析部101的第三结构例。图71为信号控制部151的第三结构例。图72为表示本发明的第十四实施方式的框图。图73为表示本发明的第十五实施方式的框图。图74为表示现有的多地点会议系统的框图。图75为多地点连接装置9005的结构例。符号的说明
10、2506、90发送部15、35、2507接收部100、1100、2113、2123、2133、2513、9011、9022、9032、9042编码部101、900、1101信号分析部102、2115、2125、2135、2511、2514多路复用部110、120、171、920变换部111量子化部121、911、912、121分析信息计算部150、1150、2111、2121、2131、2511、2521、2531、9012、9020、9030、9040译码部151、2560、2760信号控制部152、2110、2120、2130、2510、2520、2530、2551分离部160逆量子化部161、173逆变换部172、360信号处理部200背景音推定部201、252、452抑压系数计算部201抑压系数计算部202背景音信息生成部203、207信号对背景音比计算部204号对背景音比编码部205背景音编码部250、450抑压系数重新构成部251、451、470乘法部253减法器260抑压系数译码部261信号对背景音比译码部262抑压系数变换部263背景音译码部264抑压系数生成部460抑压系数修正部461信号对背景音比修正部464背景音修正部471比较部472指定抑压系数控制部473开关651、653构成要素参数生成部910量子化失真计算部1020背景音推定部1200信号分离分析部1201分离滤波器编码部1202分离滤波器译码部1203滤波器1210音环境分析部1211音环境信息编码部1212音环境信息译码部1213音环境信息处理部2021抑压系数编码部2100、2101、2102、2300、2301、2302、2500、2501、2502、3000、3001、3002、3300、3301、3302、3401、3402、3403、3404、3405、9001、9002、9006、9007终端2105、2505、3410、3411、9005多地点连接装置(MCU)2112、2122、2132、2116、2126、2136、2512、9021、9031、9041混合部2114、2117、2124、2127、2134、2137、2516分析信息混合部2150、2160分析信息译码部2151、2153分析参数混合部2152分析信息编码部2201、2231背景音混合部2202、2232、2200、2230选择部2203、2233抑压系数混合部2204、2214抑压系数变换部2205抑压系数逆变换部2510对象信息提取部2515对象信息混合部2550、2700、2900输出信号生成部2561、2564描绘信息生成部2563描绘部2565、2566构成要素信息变换部2611目标描绘信息生成部2770、2780目标描绘信息修正部2810目标描绘信息变更部2910、3001构成要素信息变换部3000、3002构成要素参数生成部3500、3501、3502、3503计算机9010噪声抑压部
具体实施方式
采用图1说明本发明的第一实施方式。本实施方式的特征在于基于分析信息按在接收侧终端与各地点的输入信号的各音源对应的每个构成要素进行控制。
如图1所示,本实施方式的多地点连接系统具备在各地点分散来配置的终端2100、2101、2102以及控制终端间的数据交换的多地点连接装置(MCU:Multipoint Control Unit)2105。多地点连接装置2105混合从各终端输出的信号,分配到所有终端。在混合时,只将从分配目的地的终端输出的信号除外。例如向终端2100分配的信号成为混合从终端2101和2102输出的信号后的信号。在图1中,表示连接3地点的例子,但能够成为连接任意个数的地点的结构。
参照图1~图5来说明终端2100、2101、2102的结构例。另外,这些终端能够具有同一结构,因此只表示终端2100的结构例。以下,以终端2100为例进行说明。
参照图1时,终端2100包括发送部10和接收部15,发送部10包括编码部100、信号分析部101和多路复用部102,接收部15包括译码部150、信号控制部151和分离部152。输入信号被输入到位于发送部10的编码部100以及信号分析部101。编码部100对输入信号进行编码,将编码信号输出到多路复用部102。信号分析部101计算在输入信号中所包括的与各音源对应的构成要素的分析信息,输出到多路复用部102。多路复用部102对从编码部100输出的编码信号和从信号分析部101输出的分析信息进行多路复用,作为传输信号输出到传输路。传输信号被输入到接收部15中的分离部152。分离部152将传输信号分离为编码信号和分析信息,编码信号输出到译码部150,分析信息输出到信号控制部151。译码部150对编码信号进行译码并生成译码信号,输出到信号控制部151。在此,译码信号由一般的多个音源构成。信号控制部151基于从分离部152输出的分析信息按与各音源对应的每个构成要素操作从译码部150输出的译码信号,作为输出信号输出。信号控制部151也可以由多个构成要素构成的构成要素群为单位来代替与各音源对应的构成要素,进行操作。
参照图2,对编码部100的构成例详细地进行说明。编码部100接收输入信号,输出编码信号。编码部100由变换部110和量子化部111构成。首先,输入信号被输入到变换部110。接下来,变换部110将输入信号分解为频率分量,生成第一变换信号。变换部110将第一变换信号输出到量子化部111。而且,量子化部111对第一变换信号进行量子化,作为编码信号输出。
变换部110集中多个输入信号样本,构成一块(block),对该块适用频率变换。作为频率变换的例子,公知有傅立叶变换、余弦变换、KL(karhunen loeve,卡洛)变换等。与这些变换的具体的运算相关的技术及其性质,在非专利文献2(1990年、“デイジタル·コ一デイング·オブ·ウエ一ブフオ一ムス”、プレンデイス·ホ一ル(DIGITAL CODING OFWAVEFORMS,PRINCIPLES AND APPLICATIONS TO SPEECH AND VIDEO,PRENTICE-HALL,1990.))中被公开。
变换部110另外对于以窗函数对1块的输入信号样本进行加权的结果,能够适用上述的变换。作为这种窗函数,公知有汉明(hamming)、汉宁(ハニング,hanning)、恺撒(ケイザ一,kaiser)、布拉克曼(ブラツクマン,blackman)等的窗函数。此外,还能采用复杂的窗函数。与这些窗函数相关连的技术在非专利文献3(1975年、「デイジタル·シグナル·プロセシング」、プレンテイス·ホ一ル(DIGIAL SIGNAL PROCESSING,PRENTICE-HALL,1975.))以及非专利文献4(1993年、「マルチレ一トシステムズ·アンド·フイルタバンクス」、プレンテイス·ホ一ル(MULTIRATE SYSTEMS AND FILTER BANKS,PRENTICE-HALL,1993.))中被公开。
变换部110在由多个输入信号样本构成1块时,也可允许对各块叠加(overlap)。在适用块长的30%的叠加部分的情况下,属于某块的信号样本的最后30%作为属于下一个块的信号样本的最初30%以多个块被重复利用。与具有叠加部分的块化和变换相关连的技术在非专利文献2中被公开。
进而,变换部110也可由频带分割滤波器组(filter bank)构成。频带分割滤波器组由多个带通滤波器构成。频带分割滤波器组将接收的输入信号分割为多个频带,输出到量子化部111。频带分割滤波器组的各频带也可为等间隔,也可为不等间隔。通过频带分割为不等间隔,在低频分割为窄频带而减小时间分辨率,在高频分割为大频带而能增大时间分辨率。在不等间隔分割的代表例中,存在朝向低频而频带逐次变为一半的倍频(octave)分割和与人类的听觉特性对应的临界频带分割等。与频带分割滤波器组及其设计法相关连的技术在非专利文献4中被公开。
量子化部111除去被输入的信号的冗余性,输出编码信号。作为除去冗余性的方法,按照被输入的信号的相关性(correlation)为最小的方式进行控制。进而,也可利用屏蔽(masking)效果等的听觉特性,除去听觉上不能被认知的信号分量。作为量子化方法,公知有线性量子化、非线性量子化等的量子化方法。被量子化的信号采用哈夫曼(huffman)编码等来进一步去除冗余性。
参照图3对译码部150的结构例详细地进行说明。译码部150接收主信号,输出译码信号。译码部150由逆量子化部160和逆变换部161构成。逆量子化部160对所接收的各频率的主信号进行逆量子化,生成由多个频率分量构成的第一变换信号。而且,逆量子化部160将第一变换信号输出到逆变换部161。逆变换部161对第一变换信号进行逆变换,生成译码信号。之后,逆变换部161输出译码信号。
逆变换部161所适用的逆变换优选选择与变换部110所适用的变换相对应的逆变换。例如,变换部110集中多个输入信号样本来构成一个块,对该块适用频率变换时,逆变换部161对相同数目的样本适用对应的逆变换。此外,变换部110根据多个输入信号样本构成1块时,在允许对各块叠加(overlap)时,与此对应,逆变换部161对逆变换后的信号适用相同的叠加。进而,在由频带分割滤波器组构成变换部110时,由频带合成滤波器组构成逆变换部161。与频带合成滤波器组及其设计法相关连的技术在非专利文献4中被公开。
在图2以及图3的编码部100和译码部150的说明中,假设在内部包括变换部的变换编码来进行说明,但也可适用脉冲编码调制(PCM)、适应差分脉冲编码调制(ADPCM)、以及以CELP等为代表的分析合成编码。与PCM/ADPCM相关连的技术在非专利文献2中被公开。此外,与CELP相关连的技术在非专利文献5(1985年3月、アイ·イ一·イ一·イ一·インタ一ナシヨナル、カンフアレンス·オン·アク一ステイツク·スピ一チ·アンド·シグナル·プロセシング、25.1.1,(IEEE INTERNATIONALCONFERENCE ON ACOUSTICS,SPEECH,AND SIGNAL PROCESSING,25.1.1,MAR,1985,pp.937~940))中被公开。
此外,编码部100也可不进行编码处理而直接向多路复用部102输出输入信号,译码部150也可不进行译码处理而直接向信号控制部151输入主信号。根据该结构,能够除掉伴随编码/译码处理的信号的失真。进而也可构成为由编码部100以及译码部150进行无失真的压缩/解压处理。通过该结构,信号控制部151能够不使输入信号产生失真来接收译码信号。
参照图4,对信号分析部101的结构例详细地进行说明。信号分析部101接收输入信号,输出分析信息。信号分析部101由变换部120和分析信息计算部121构成。变换部120将所接收的输入信号分解为频率分量,生成第二变换信号。变换部120将第二变换信号输出到分析信息计算部121。分析信息计算部121将第二变换信号分解为与音源对应的构成要素,生成表示多个构成要素间的关系的分析信息。然后,分析信号计算部121输出分析信息。此外,分析信息计算部121也可将第二变换信号分解为由多个构成要素构成的构成要素群,计算分析信息。信号分析部101在分析信息中存在冗余性时,也可编码分析信息。由此,能够最小化分析信息的冗余性。关于变换部120中的变换的方式也可采用变换部110中的变换的方式。
参照图5,对信号控制部151的结构例详细地进行说明。信号控制部151接收译码信号和分析信息,输出输出信号。信号控制部151由变换部171、信号处理部172以及逆变换部173构成。变换部171将所接收的译码信号分解为频率分量,生成第二变换信号。信号控制部151将第二变换信号输出到信号处理部172。信号处理部172采用分析信息将第二变换信号分解为与音源对应的构成要素,变更多个构成要素间的关系,生成修正译码信号。之后,信号处理部172将修正译码信号输出给逆变换部173。此外,信号处理部172也可分解为由多个构成要素构成的构成要素群,变更多个构成要素间的关系。在分析信息计算部121中分析信息被编码的情况下,信号处理部172进行译码处理之后进行上述处理。逆变换部173对修正译码信号进行逆变换,生成输出信号。之后,逆变换部173输出输出信号。关于逆变换部173中的逆变换的方式,能够采用逆变换部161中的逆变换的方式。
接下来,对多地点连接装置2105的第一结构例、第二结构例进行说明。
首先采用图6、图7对第一结构例进行说明。
图6表示多地点连接装置2105的第一结构例。在图6中表示连接3地点的例子,但能构成为连接任意个数的地点。多地点连接装置2105由分离部2110、2120、2130、译码部2111、2121、2131、混合部2112、2122、2132、编码部2113、2123、2133、分析信息混合部2114、2124、2134和多路复用部2115、2125、2135构成。
参照图6,从设置在第一~第三地点的终端输出的传输信号经由输入端子输入到分离部2110、2120、2130。分离部2110、2120、2130将传输信号分别分离为编码信号和分析信息,将编码信号输出到译码部2111、2121、2131,将分析信息输出到分析信息混合部2114、2124、2134。译码部2111、2121、2131对编码信号进行译码来生成译码信号,输出到混合部2112、2122、2132。
分析信息混合部2114混合来自第二和第三地点的分析信息,生成混合分析信息,将混合分析信息输出到多路复用部2115。分析信息混合部2124混合来自第一和第三地点的分析信息,生成混合分析信息,将混合分析信息输出到多路复用部2125。分析信息混合部2134混合来自第一和第二地点的分析信息来生成混合分析信息,将混合分析信息输出到多路复用部2135。
混合部2112混合来自第二和第三地点的译码信号,生成混合信号,将混合信号输出到编码部2113。混合部2122混合来自第一和第三地点的译码信号,生成混合信号,将混合信号输出到编码部2123。混合部2132混合来自第一和第二地点的译码信号,生成混合信号,将混合信号输出到编码部2133。编码部2113、2123、2133对混合信号进行编码,将混合编码信号分别向多路复用部2115、2125、2135输出。
多路复用部2115、2125、2135分别对从编码部2113、2123、2133输出的混合编码信号和从分析信息混合部2114、2124、2134输出的混合分析信息进行多路复用,作为传输信号输出到各地点的传输路。
另外,上述说明的混合分析信息、混合编码信号与由图1的终端2100、2101、2102来说明的分析信息、编码信号相同。从多路复用部2115、2125、2135作为传输信号输出,由终端2100、2101、2102的分离部152被分离时,混合分析信息、混合信号编码信号分别作为分析信息、编码信号被处理。在此,为了明确混合多地点的分析信息和信号,作为混合分析信息、混合编码信号进行说明。对于以下的记载也同样。
此外,译码部2111、2121、2131的详细的动作与译码部150相同,编码部2113、2123、2133的详细的动作与编码部100相同,因此省略说明。
图7为图6的分析信息混合部2114、2124、2134的结构例。另外,这些终端具有相同的结构,因此以下以分析信息混合部2114为例进行说明。
分析信息混合部2114由分析信息译码部2150、2160、分析参数混合部2151和分析信息编码部2152构成。分析信息译码部2150以从分离部2120输出的分析信息作为输入,分析信息译码部2160以从分离部2130输出的分析信息作为输入。分析信息译码部2150、2160对分别输入的分析信息进行译码来变换为分析参数,将分析参数输出到分析参数混合部2151。分析参数混合部2151按每个频率分量混合从分析信息译码部2150、2160输出的各个分析参数,将所混合的分析参数输出到分析信息编码部2152。作为混合方法,也可全部混合所输入的分析参数,也可按照重要度选择分析参数,只混合所选择的分析参数。作为其他的混合方法,也可对所输入的多个分析参数进行多路复用而成为一个分析参数群。分析信息编码部2152对所混合的分析参数进行编码,作为混合分析信息输出。
接下来,采用图8、图9对第二结构例进行说明。
图8表示多地点连接装置2105的第二结构例。图8表示连接三地点的例子,但能构成为连接任意个数的地点。与图6中所示的第一结构例相比较,混合部2116、2126、2136和分析信息混合部2117、2127、2137的结构不同。具体来说,在下述点不同,即混合部2116、2126、2136将在生成混合信号时生成的混合信息输出到分析信息混合部2117、2127、2137。与此对应,分析信息混合部2117、2127、2137利用混合信息混合多个分析信息,将混合分析信息向多路复用部2115、2125、2135输出。
在此,混合信息,在对各终端的译码信号进行加权相加而作成混合信号时,也可作为其加权系数。例如在通常的会话中,所有终端的会话者同时进行发言的情况较少,只一部分终端的会话者进行发言的情况较多。这种情况下,在混合部2116、2126、2136中,只要与来自会话中的终端的译码信号相对应的加权系数比与来自其他终端的译码信号相对应的加权系数大即可。更有效地来说,设与来自会话中的终端的译码信号相对应的加权系数为1,其他的加权系数为0时,能够削减混合部中的加权相加处理的处理量。另外,也能够利用于后述的分析信息混合部中的分析参数的混合处理的选择中。
图9为图8的分析信息混合部2117、2127、2137的结构例。另外,这些终端能够具有相同的结构,因此以下以分析信息混合部2117为例进行说明。
参照图9时,分析信息混合部2117由分析信息译码部2150、2160、分析参数混合部2153和分析信息编码部2152构成。与图7的分析信息混合部2114相比较下述点不同,即分析参数混合部2151被置换为分析参数混合部2153这一点和混合信息被输入到分析参数混合部2153中的这一点。以下,对分析参数混合部2153进行说明。
分析参数混合部2153,利用所输入的混合信息按每个频率分量混合从分析信息译码部2150、2160输出的分析参数,输出到分析信息编码部2152。作为混合方法,也可将所输入的分析参数全部混合,也可按照重要度选择分析参数,只混合所选择的分析参数。作为其他的混合方法,也可对所输入的多个分析参数进行多路复用,而成为一个分析参数群。
如上所说明的那样,根据本发明的第一实施方式,基于各地点的分析信息被混合的分析信息,在接收部中,能够按与各地点的输入信号的各音源相对应的每个构成要素进行控制。
进而,由于以发送部进行分析信息的计算,因此接收部能够减少与分析信息的计算相关的运算量。此外,在多地点连接装置中,混合多个输入信号,混合多个输入信号的分析信息,因此能够减少传输量。进而,在多地点连接装置中,生成与所混合的输入信号相对应的混合分析信息,因此在接收部中不需要生成混合分析信息,能够进一步减少接收部中的与分析信息的计算相关的运算量。
对本发明的第二实施方式进行说明。本实施方式的特征在于,作为音源,以期望的声音(以下称作目的音)和噪声(以下称作背景音)共存后的输入信号作为对象,基于分析信息控制目的音和背景音。
本实施方式的构成,由图1表示。参照图1时,终端2100、2101、2102能够具有相同的结构,因此只表示终端2100的结构例。以下,关于终端以终端2100为例进行说明。本实施方式,与第一实施方式进行比较,在终端2100中的信号分析部101和信号控制部151的结构与多地点连接装置2105的结构方面不同。以下,对各实施例,详细说明终端2100中的信号分析部101、信号控制部151与多地点连接装置2105。
本实施方式中的第一实施例为分析信息是抑压系数(作为被编码的抑压系数进行说明。以下,对所有的实施方式中的分析信息也同样被编码)的情况。信号分析部101算出抑压系数作为分析信息,输出分析信息。与此相对应,多地点连接装置2105对从各终端输出的分析信息进行混合并输出,信号控制部151采用从多地点连接装置2105输出的分析信息来控制译码信号。
首先,对终端2100中的信号分析部101和信号控制部151进行说明。
参照图4,信号分析部101具备变换部120和分析信息计算部121。与第一实施方式相比较,分析信息计算部121的结构不同,因此以下说明分析信息计算部121。
参照图10,对分析信息计算部121的结构例详细地进行说明。分析信息计算部121接收第二变换信号,输出抑压系数作为分析信息。分析信息计算部121由背景音推定部200和背景音信息生成部202构成。背景音推定部200接收第二变换信号,进行背景音的推定,生成背景音的信息。背景音推定部200将背景音的信息输出到背景音信息生成部202。作为背景音的信息,存在背景音的振幅绝对值和能量、背景音与输入信号的振幅比、能量比以及它们的平均值等。背景音信息生成部202接收第二变换信号和背景音地信息。背景音信息生成部202基于第二变换信号和背景音的信息,计算抑压系数。之后,背景音信息生成部202输出抑压系数或被编码的抑压系数作为分析信息。
参照图11,对背景音信息生成部202的结构例详细地进行说明。背景音信息生成部202接收第二变换信号和背景音的信息,输出抑压系数作为分析信息。背景音信息生成部202由抑压系数计算部201、抑压系数编码部2021构成。抑压系数计算部201采用第二变换信号和背景音的信息,计算用于抑压背景音的适当的抑压系数。而且,抑压系数计算部201将抑压系数输出到抑压系数编码部2021。作为与抑压系数的计算方法相关连的技术,在非专利文献6(1984年12月、アイ·イ一·イ一·イ一·トランザクシヨンズ·オン·アク一ステイクク·スピ一チ·アンド·シグナル·プロセシング、第32卷、第6号(IEEE TRANSACTIONS ONACOUSTICS,SPEECH,AND SIGNAL PROCESSING,VOL.32,NO.6,pp.1109~1121,Dec.1984)中基于最小平均平方误差短时间频谱振幅的方法(MMSESTSA)、非专利文献7(1985年4月、アイ·イ一·イ一·イ一·トランザクシヨンズ·オン·アク一ステイクク·スピ一チ·アンド·シグナル·プロセシング、第33卷、第2号(IEEE TRANSACTIONS ONACOUSTICS,SPEECH,AND SIGNAL PROCESSING,VOL.33,NO.2,pp.443~445,Apr.1985))中基于最小平均平方误差对数频谱振幅的方法(MMSE LSA)、非专利文献8(2005年7月,ユ一ラシツプ·ジヤ一ナル·オン·アプライド·シグナル·プロセシング、第2005卷,第7号(EURASIP JOURNALON ADVANCESIN SIGNAL PROCESSING,VOLUME 2005,Issue 7,JUL,2005,pp.1110~1126))中基于最小平均平方误差短时间频谱振幅的方法(MMSESTSA)等中被公开。
抑压系数编码部2021接收抑压系数,进行编码。抑压系数编码部2021输出被编码的抑压系数作为分析信息。抑压系数编码部2021进行线性量子化、非线性量子化等的量子化,通过哈夫曼编码等输出被编码的抑压系数。由此,能够除去抑压系数的冗余性。此外,在不需要削减信息量的情况下,抑压系数编码部2021不进行这些编码处理,也可输出抑压系数作为分析信息。
接下来,参照图12,对信号处理部172的结构例详细地进行说明。信号处理部172接收第二变换信号和分析信息,输出修正译码信号。信号处理部172由抑压系数重新构成部250和乘法器251构成。第二变换信号输入到乘法器251,分析信息输入到抑压系数重新构成部250。抑压系数重新构成部250采用所输入的分析信息,重新构成抑压系数,将抑压系数输出到乘法器251。乘法器251将第二变换信号与抑压系数相乘,生成修正译码信号。乘法器251将修正译码信号输出到逆变换部173。
参照图13,详细说明抑压系数重新构成部250的结构例。抑压系数重新构成部250接收被编码的抑压系数作为分析信息,输出抑压系数。抑压系数重新构成部250由抑压系数译码部260构成。抑压系数译码部260对所接收的抑压系数进行译码。在抑压系数不被编码时,抑压系数译码部260不进行译码动作,输出抑压系数。
接下来,针对多地点连接装置2105,说明第一结构例和第二结构例。
图6表示第一结构例。与第一实施方式相比在分析信息混合部2114、2124、2134的构成方面不同。以下,采用图7、图14,对本实施例的分析信息混合部2114、2124、2134进行说明。另外,它们具有相同的结构,因此以分析信息混合部2114为例进行说明。
参照图7,分析信息混合部2114由分析信息译码部2150、2160、分析参数混合部2151和分析信息编码部2152构成。分析信息译码部2150以从分离部2120输出的分析信息作为输入,分析信息译码部2160以从分离部2130输出的分析信息作为输入。分析信息译码部2150、2160分别译码分析信息,算出抑压系数,将抑压系数输出到分析参数混合部2151。分析参数混合部2151按每个频率分量混合从分析信息译码部2150、2160输出的抑压系数,输出到分析信息编码部2152。分析信息编码部2152对所混合的抑压系数进行编码,生成分析信息,输出分析信息。
参照图14,分析参数混合部2151由选择部2202和抑压系数混合部2203构成。
选择部2202从由分析信息译码部2150、2160输出的抑压系数中选择规定的抑压系数,输出到抑压系数混合部2203。作为选择方法,举出例如只选择从译码信号的能量为阈值以上的终端输出的抑压系数的方法。在此,预先在信号分析部101中将表示输入信号的能量的信息多路复用为分析信息,也可用来代替译码信号的能量。作为其他方法,也可不进行选择将所有的抑压系数输出到抑压系数混合部2203。
抑压系数混合部2203对从选择部2202输出的抑压系数进行混合。作为混合方法,例如能够按照能量的比来进行混合。从选择部2202输出的抑压系数为L’个时,混合后的抑压系数g能够由下式算出。
(式1) 在此,Ei表示与抑压系数gi对应的译码信号的能量。在此,预先在信号分析部101中将表示输入信号的能量的信息多路复用为分析信息,也可用来代替译码信号的能量。作为其他方法,也可对所有的抑压系数进行多路复用并输出。
分析信息编码部2152与图11中的抑压系数编码部2021结构相同,因此省略说明。
接下来,对第二结构例进行说明。图8表示第二结构例。与图6中所示的第一结构例相比较,混合部2116、2126、2136与分析信息混合部2117、2127、2137的结构不同。具体地来说,在下述点不同,即混合部2116、2126、2136将在生成混合信号时生成的混合信息输出到分析信息混合部2117、2127、2137。因此,以下采用图9、图15,对分析信息混合部2117、2127、2137进行说明。
图9表示分析信息混合部2117、2127、2137的结构例。另外,它们具有相同的结构,因此以下以分析信息混合部2117为例进行说明。
参照图9,分析信息混合部2117由分析信息译码部2150、2160、分析参数混合部2153、分析信息编码部2152构成。与图7的分析信息混合部2114相比较在下述点不同,即分析参数混合部2151被置换为分析参数混合部2153这一点以及混合信息被输入到分析参数混合部2153这一点。因此,以下对分析参数混合部2153进行说明。
图15表示分析参数混合部2153的结构例。分析参数混合部2153由选择部2232和抑压系数混合部2233构成。
选择部2232利用从混合部2116输出的混合信息,从由分析信息译码部2150、2160输出的抑压系数中选择规定的抑压系数,输出到抑压系数混合部2233。作为选择方法,举出例如混合信息为与各终端的译码信号相对应的加权系数时,选择加权系数成为阈值以上的终端的抑压系数的方法。作为其他方法,也可不进行选择,而将所有的抑压系数输出到抑压系数混合部2203。
抑压系数混合部2233利用从混合部2116输出的混合信息,对从选择部2232输出的抑压系数进行混合。作为混合方法,例如能够按照能量的比进行混合。在输入到选择部的抑压系数为L’个时,设混合后的抑压系数为g时,混合后的抑压系数g能够由下式算出。
(式2) 在此,Ei表示与抑压系数gi对应的译码信号的能量。预先在信号分析部101中将表示输入信号的能量的信息多路复用化为分析信息,也可用于代替译码信号的能量。mi表示与抑压系数gi对应的从混合部输出的混合信息。作为其他混合方法,也可对所有的抑压系数进行多路复用化并输出。
本实施方式的第二实施例为分析信息为信号对背景音比的情况。第二实施例,参照图1,信号分析部101输出目的音与背景音之比即信号对背景音比作为分析信息。与此对应,多地点连接装置2105将从各终端输出的信号对背景音比进行混合,信号控制部151采用从多地点连接装置2105输出的信号对背景音比来控制译码信号。与第一实施例相比,在终端2100中的信号分析部101、信号控制部151和多地点连接装置2105的结构方面不同。
首先,对终端2100进行说明。
首先,对信号分析部101进行说明。信号分析部101与第一实施例相同,由图4表示。对本实施例与第一实施例进行比较,图10中所示的分析信息计算部121中所包括的背景音信息生成部202的结构不同。
参照图16,对本实施例的背景音生成部202详细地进行说明。背景音信息生成部202接收第二变换信号和背景音的信息,输出被编码的信号对背景音比作为分析信息。背景音信息生成部202由抑压系数计算部201、信号对背景音比计算部203以及信号对背景音比编码部204构成。抑压系数计算部201采用第二变换信号和背景音的信息,计算用于抑压背景音的适当的抑压系数。之后,抑压系数计算部201向信号对背景音比计算部203输出抑压系数。抑压系数的计算方法,能够采用图11所示的第一实施例的抑压系数计算部201的计算方法。信号对背景音比计算部203采用所输入的抑压系数G,计算信号对背景音比R。设输入信号为X,目的音为S,背景音为N时,以下的关系成立。
(式3)X=S+N
(式4)S=G×X
(式5) 基于该定义的R,在背景音为噪声时,公知作为事前信号对噪声比(事前SNR)。
将(式3)和(式4)代入到(式5),得到式6。
(式6) 信号对背景音比计算部203将所计算的信号对背景音比R输出到信号对背景音比编码部204。信号对比背景音比编码部204对所输入的信号对背景音比R进行编码。信号对背景音比编码部204输出被编码的信号对背景音比R作为分析信息。对于编码处理的详细内容,能够采用与抑压系数编码部2021中的编码处理相同的编码处理。由此,能够除去信号对背景音比R的冗余性。此外,信号对背景音比编码部204,在不需要削减信号量的情况下,也可不进行信号对背景音比R的编码处理,而输出信号对背景音比作为分析信息。
接下来,对本实施例的信号控制部151详细地进行说明。信号控制部151与第一实施例相同,由图5表示。本实施例与第一实施例在图12所示的信号处理部172中所包括的抑压系数重新构成部250的结构方面不同。
参照图17,对抑压系数重新构成部250的结构例详细地进行说明。抑压系数重新构成部250,接收被编码的信号对背景音比R作为分析信号,输出抑压系数G。抑压系数重新构成部250由信号对背景比译码部261和抑压系数变换部262构成。信号对背景音比译码部261对所接收的被编码的信号对背景音比R进行译码,将信号对背景音比R输出到抑压系数变换部262。在信号对背景音比R不被编码时,信号对背景音比译码部261不进行译码工作,输出信号对背景音比。抑压系数变换部262将信号对背景音比R变换为抑压系数G。之后,抑压系数变换部262输出抑压系数G。从R向G的变换,基于(式6)进行。针对G求解(式6)时,得到(式7)。
(式7) 通过由乘法器251将G与译码信号进行相乘,从而抑压背景音。
另外,参照图18,对背景音信息生成部202的其他结构例详细地进行说明。与图16所示的背景音信息生成部202相比较,在本结构例的背景音信息生成部202不具备抑压系数计算部201这一点上不同。图18所示的背景音信息生成部202的结构中,采用(式8)来代替(式5)作为信号对背景音比R的定义。该定义的R,在背景音为噪声时,公知作为事后信号对噪声比(事后SNR)。
(式8) 即本结构例,在背景音为噪声时,采用事后SNR作为分析信息来代替事前SNR。(式8)的R不需要抑压系数G,根据输入信号和背景音来计算。由此,信号对背景音比计算部207能够基于第二变换信号和背景音的信息来计算信号对背景音比。之后,信号对背景音比计算部207将信号对背景音比输出到信号对背景音比编码部204。信号对背景音比编码部204的动作,与图16所示的信号对背景音比编码部204的动作相同,因此省略说明。
另一方面,将(式3)和(式4)代入(式8),假定S与N无相关时,得到式9。
(式9) 在信号对背景音比计算部203中,也可采用(式9)来计算信号对背景音比R。
在本结构例中,接收侧的图12所示的抑压系数重新构成部250与上述的结构例相同,由图17表示。信号对背景音比译码部261对所接收的被编码的信号对背景音比R进行译码,将信号对背景音比R输出到抑压系数变换部262。抑压系数变换部262将信号对背景音比R变换为抑压系数G,输出抑压系数G。从R向G的变换,基于(式10)进行。即针对G求解(式9)时,得到式10。(式10) 通过由乘法器251将G与译码信号相乘,来抑压背景音。
接下来,针对多地点连接装置2105,说明第一结构例和第二结构例。
图6表示第一结构例。与第一实施例相比,在分析信息混合部2114、2124、2134的构成方面不同。图7表示分析信息混合部2114、2124、2134的结构例。另外,它们具有相同的结构,因此以下以分析信息混合部2114为例,采用图7、图19来进行说明。
参照图7,分析信息混合部2114由分析信息译码部2150、2160、分析参数混合部2151、分析信息编码部2152构成。分析信息译码部2150将从分离部2120输出的分析信息作为输入,分析信息译码部2160将从分离部2130输出的分析信息作为输入。分析信息译码部2150、2160分别译码分析信息,算出信号对背景音比,将信号对背景音比输出到分析参数混合部2151。分析参数混合部2151按每个频率分量混合从分析信息译码部2150、2160输出的信号对背景音比,输出到分析信息编码部2152。分析信息编码部2152与图18中的信号对背景音比编码部204相同,已经说明过了。
图19表示分析参数混合部2151的结构例。分析参数混合部2151由抑压系数变换部2204、2214、选择部2202、抑压系数混合部2203和抑压系数逆变换部2205构成。抑压系数变换部2204以从分析信息译码部2150输出的信号对背景音比作为输入,抑压系数变换部2214以从分析信息译码部2160输出的信号对背景音比作为输入。抑压系数变换部2204、2214根据信号对背景音比采用(式7)或(式10)算出抑压系数。算出的抑压系数被输出到选择部2202。选择部2202和抑压系数混合部2203与第一实施例中的图14所示的选择部2202和抑压系数混合部2203的作用相同,因此省略详细的说明。在选择部2202中,从所输入的抑压系数中选择规定的抑压系数,将所选择的抑压系数输出到抑压系数混合部2203。抑压系数混合部2203将从选择部2202输出的抑压系数进行混合,输出到抑压系数逆变换部2205。抑压系数逆变换部2205采用(式6)或(式9)将抑压系数变换为信号对背景音比,输出被混合的信号对背景音比。
接下来,对第二结构例进行说明。图8表示第二结构例。与图6中所示的第一结构例相比较,在混合部2116、2126、2136与分析信息混合部2117、2127、2137的结构方面不同。具体地来说,在混合部2116、2126、2136将在生成混合信号时所生成的混合信息输出到分析信息混合部2117、2127、2137方面不同。因此,以下采用图9、图20对分析信息混合部2117、2127、2137进行说明。
图9表示分析信息混合部2117、2127、2137的结构例。另外,它们的结构相同,以下以分析信息混合部2117为例进行说明。
参照图9,分析信息混合部2117由分析信息译码部2150、2160、分析参数混合部2153、分析信息编码部2152构成。与图7的分析信息混合部2114进行比较,在分析参数混合部2151被置换为分析参数混合部2153以及混合信息被输入到分析参数混合部2153方面不同。因此,以下,对分析参数混合部2153进行说明。
图20表示分析参数混合部2153的结构例。分析参数混合部2153由抑压系数变换部2204、2214、选择部2232、抑压系数混合部2233和抑压系数逆变换部2205构成。分析参数混合部2153与图19所示的第一结构例相比较,将选择部2002置换为选择部2232,将抑压系数混合部2203置换为抑压系数混合部2233。
在此,选择部2232、抑压系数混合部2233与本实施方式的第一实施例中的多地点连接装置2105的第二结构例相同。已采用图15进行了说明,因此省略说明。
第三实施例为分析信息是背景音的情况。参照图1时,信号分析部101将背景音本身作为分析信息,信号分析部101进行计算。与此对应,多地点连接装置2105将从各终端输出的背景音混合,信号控制部151采用从多地点连接装置2105输出的背景音来控制译码信号。与第一实施例相比,终端2100中的信号分析部101、信号控制部151、多地点连接装置2105的结构不同。
首先,对终端2100进行说明。
首先,对信号分析部101进行说明。信号分析部101与第一实施例相同,由图4表示。本实施例的分析信息计算部121的结构与图10所示的第一实施例的分析信息计算部121的结构不同。
参照图21,对本实施例的分析信息计算部121的结构例详细地进行说明。与图10所示的第一实施例的分析信息计算部121的结构例相比较,背景音信息生成部202由背景音编码部205构成。本结构例的分析信息计算部121接收第二变换信号,输出被编码的背景音作为分析信息。本结构例的分析信息计算部121由背景音推定部200和背景音编码部205构成。本结构例的背景音推定部200将背景音自身输出到背景音信息生成部202。背景音编码部205对所输入的背景音进行编码并输出。由此,能够除去背景音的冗余性。此外,背景音编码部205在不需要削减信息量的情况下,也可不进行背景音的编码处理,输出背景音作为分析信息。
对于编码处理,能够采用与抑压系数编码部相同的编码处理。
接下来,对信号控制部151进行说明。信号控制部151与第一实施例相同,由图5表示。信号处理部172的结构与图12所示的第一实施例的信号处理部172的结构不同。
参照图22,对本实施例的信号处理部172的结构例详细地进行说明。与图12所示的第一实施例的信号处理部172的结构例相比较,抑压系数重新构成部250由抑压系数计算部252构成。信号处理部172接收第二变换信号和作为分析信息被编码的背景音,输出修正译码信号。信号处理部172由抑压系数计算部252和乘法器251构成。第二变换信号被输入到抑压系数计算部252以及乘法器251,被编码的背景音作为分析信息被输入到抑压系数计算部252。抑压系数计算部252基于背景音和第二变换信号来计算抑压系数。之后,抑压系数计算部252将抑压系数输出到乘法器251。乘法器251将第二变换信号与抑压系数相乘,将修正译码信号输出到逆变换部173。
进而,参照图23,详细地说明抑压系数计算部252的结构。抑压系数计算部252由背景音译码部263和抑压系数生成部264构成。背景音译码部263接收被编码的背景音作为分析信息。之后,背景音译码部263对被编码的背景音进行译码,将背景音输出到抑压系数生成部264。在背景音没有被编码时,背景音译码部263不进行译码操作,输出背景音。抑压系数生成部264接收背景音与第二变换信号。之后,抑压系数生成部264基于背景音和第二变换信号计算用于抑压背景音的适当的抑压系数。该抑压系数的计算也可采用与图11所示的抑压系数计算部201相同的计算方法。抑压系数生成部264输出抑压系数。作为与抑压系数的计算方法相关联的技术,具有在上述的非专利文献6、非专利文献7或者非专利文献8中公开的技术。
进而,参照图24对信号处理部172的其他结构例详细地进行说明。信号处理部172接收第二变换信号和被编码的背景音,输出背景音被除去的信号作为修正译码信号。本结构例的信号处理部172由背景音译码部263和减法器253构成。第二变换信号被输入到减法器253,被编码的背景音作为分析信息输入到背景音译码部263。背景音译码部263对被编码的背景音进行译码,将背景音输出到减法器253。在分析信息为没有被编码的背景音的情况下,不需要背景音译码部263。减法器253从第二变换信号减去背景音。而且,减法器253输出背景音被除去的信号作为修正译码信号。在背景音为噪声的情况下,该减法作为频谱减法被公知。与频谱减法相关连的技术在非专利文献9(1979年4月,アイ·イ一·イ一·イ一·トランザクシヨンズ·オン·アク一ステイクス·スピ一チ·アンド·シグナル·プロセシング、第27卷、第2号、(IEEE TRANSACTIONS ONACOUSTICS,SPEECH,AND SIGNAL PROCESSING,VOL.27,No.2,pp.113~120,April 1979))中公开。
此外,在减法器253中,除了减法,还能包括附加功能。作为附加功能,例如可举出下述功能,即在减法结果为负时将该结果补正为零或微小的正的值的功能、将减法结果的最小值设定为正的值的限制器功能、或者通过对背景音信息乘以系数或相加常数来进行修正后进行减法运算的功能。
接下来,针对多地点连接装置2105说明第一结构例和第二结构例。
图6表示第一结构例。与第一实施例相比,分析信息混合部2114、2124、2134的结构不同。图7中表示分析信息混合部2114、2124、2134的结构例。另外,它们具有相同的结构,因此以下以分析信息混合部2114为例,采用图7、图25进行说明。
参照图7时,分析信息混合部2114由分析信息译码部2150、2160、分析参数混合部2151和分析信息编码部2152构成。分析信息译码部2150以从分离部2120输出的分析信息作为输入,分析信息译码部2160以从分离部2130输出的分析信息作为输入。分析信息译码部2150、2160分别译码所输入的分析信息,算出背景音,将背景音输出到分析参数混合部2151。分析参数混合部2151按每个频率分量混合从分析信息译码部2150、2160输出的背景音,输出到分析信息编码部2152。分析信息编码部2152与图21中的背景音编码部205相同,已被说明。
图25表示分析参数混合部2151的结构例。分析参数混合部2151由选择部2202和背景音混合部2201构成。
选择部2200从由分析信息译码部2150、2160输出的背景音中选择规定的背景音,输出到背景音混合部2201。作为选择方法,例如只选择背景音为阈值以上的背景音。此外,也能够只选择使听觉上的音质恶化的背景音。也可不进行选择,而将所有的背景音输出到背景音混合部2201。
背景音混合部2201混合从选择部2200输出的背景音,输出被混合的背景音。作为混合方法,例如能够采用所输入的所有的背景音的和。此外,也可考虑背景音的相关性(correlation),算出对相关性进行补偿的补偿系数,采用补偿系数来混合背景音。作为其他的方法,也可对所有的背景音进行多路复用来输出。
接下来,图6表示第二结构例。与第一结构例相比,分析信息混合部2117、2127、2137的结构不同。图9表示分析信息混合部2117、2127、2137的结构例。另外,它们具有相同的结构,因此以下以分析信息混合部2117为例进行说明。
接下来,对第二结构例进行说明。图8表示第二结构例。与图6中所示的第一结构例相比较,混合部2116、2126、2136和分析信息混合部2117、2127、2137的结构不同。具体地来说,在混合部2116、2126、2136将在生成混合信号时生成的混合信息输出到分析信息混合部2117、2127、2137这一点上不同。因此,以下对分析信息混合部2117、2127、2137进行说明。
图9表示分析信息混合部2117、2127、2137的结构例。另外,它们具有相同的结构,因此以下以分析信息混合部2117为例进行说明。
参照图9,分析信息混合部2117由分析信息译码部2150、2160、分析参数混合部2153、分析信息编码部2152构成。与图7的分析信息混合部2114相比较在下述点不同,即分析参数混合部2151被置换为分析参数混合部2153这一点以及混合信息被输入到分析参数混合部2153这一点。因此,以下对分析参数混合部2153进行说明。
图26表示分析参数混合部2153的结构例。分析参数混合部2153由选择部2230和背景音混合部2231构成。与图25的第一结构例相比较,在将选择部2000置换为选择部2230,将背景音混合部2201置换为背景音混合部2231方面不同。
选择部2230利用从混合部2116输出的混合信息,从由分析信息译码部2150、2160输出的背景音中选择规定的背景音,输出到背景音混合部2231。作为选择方法,举出例如混合信息为与各终端的译码信号相对应的加权系数时,选择采用加权系数来对背景音进行加权后的背景音成为阈值以上的终端的背景音。作为其他方法,也可选择加权系数成为阈值以上的终端的背景音。进而,也可只选择使听觉上的音质恶化的背景音。另外,也可不进行选择,而将所有的背景音输出到背景音混合部2231。
背景音混合部2231利用从混合部2116输出的混合信息,对由选择部2230供给的背景音进行混合。作为进行混合的方法,能够表示例如在混合信息为对各终端的译码信号的加权系数时,采用加权系数来对背景音进行加权加法运算。此外,也可考虑加权背景音的相关性来算出对相关性进行补偿的补偿系数,采用补偿系数来修正加权背景音之后进行混合。作为其他的方法,也可对所有构成作为混合部2116的输出信号的混合信号的各终端的背景音进行多路复用来输出。
以上对第三实施例的说明结束。
进而,在本实施方式中,发送部10在输入信号由多个信道(channel)构成的情况下,也可按每个信道独立地算出上述第一~第三实施例的分析信息。此外,发送部10也可算出输入信号的所有信道的和,根据和信号在所有信道算出公共的分析信息。或者,发送部10将输入信号分割为多个组,算出各组的输入信号的和,根据该和信号在组中算出公共的分析信息。与此对应,接收部151采用与各信道对应的分析信息来控制译码信号。
此外,在上述第一实施例~第三实施例中所说明的分析信息,也可在多个频带中作为公共的分析信息被算出。例如,发送部10等间隔地分割频带,也可按每个所分割的频带来算出分析信息。进而,发送部10也可配合人的听觉特性,对低频带细致分割,对高频带粗略分割,以所分割的单位算出分析信息。由此,能够削减分析信息的信息量。
如上所说明那样,根据本发明的第二实施方式,基于各地点的分析信息被混合的分析信息,在接收部中,能够按各地点的每个目的音、每个背景音独立地控制由各地点的目的音和背景音构成的输入信号。例如,能够按照使各地点的背景音的量相同,并且与主会场的背景音的量相匹配等在各地点与自身的喜好相配合的方式进行调整。
进而,由发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
此外,在多地点连接装置中混合多个输入信号,对多个输入信号的分析信息进行混合,因此能够减少传输量。进而,生成与在多地点连接装置中被混合的输入信号对应的混合分析信息,因此在接收部中不需要生成混合分析信息,能够进一步削减接收部中的与分析信息的计算相关的运算量。
接下来,对本发明的第三实施方式进行说明。本实施方式的特征在于,基于分析信息和信号控制信息,在接收侧终端按与各地点的输入信号的各音源对应的每个构成要素进行控制。
图27为表示本发明的第三实施方式的框图。与表示第一实施方式的图1相比,在终端2100、2101、2102置换为终端2300、2301、2302,接收部15置换为接收部35,信号控制部151置换为信号控制部350方面不同。即在接收侧终端,在按与各地点的输入信号的各音源对应的每个构成要素进行控制时,不仅利用分析信息,而且也利用信号控制信息的信号控制部350的结构不同。因此,以下对作为本实施方式的特征的信号控制部350进行说明。
参照图28,对信号控制部350的结构例详细地进行说明。信号控制部350由变换部171、信号处理部360以及逆变换部173构成。与第一实施方式相比较,信号控制部151中所包括的信号处理部172,在本实施方式中由信号处理部360置换。信号控制部350接收分析信息和信号控制信息,输出输出信号。信号控制部350基于信号控制信息和分析信息,按与各音源对应的每个构成要素操作从译码部150接收的译码信号。此外,信号控制部350也可以多个构成要素构成的构成要素群为单位来代替与各音源对应的构成要素,来进行操作。信号处理部360接收来自变换部171的第二变换信号和信号控制信息。信号处理部360基于分析信息和信号控制信息,对第二变换信号的频率分量的构成要素进行控制,生成修正译码信号。信号处理部360将修正译码信号输出到逆变换部173。
进而,具体地来说,信号处理部360基于分析信息导出每个频率的分析参数。之后,信号处理部360基于分析参数将第二变换信号分解为与音源对应的构成要素。进而,信号处理部360按照基于信号控制信息的每个频率的参数,作成对多个构成要素间的关系进行变更的修正译码信号。信号处理部360将修正译码信号输出到逆变换部173。此外,信号处理部360也可基于分析参数,分解为由多个构成要素构成的构成要素群。
信号控制信息也可由利用者从外部输入。例如作为从外部输入的信号控制信息,具有在接收部中预先登录的利用者的嗜好等的个人信息、接收部的动作状态(包括断开扬声器而存在的外部环境信息)、接收部的种类或形式、电源或电池的利用状态或残余量、天线的种类或状态(折叠等的形状、朝向等)。此外,信号控制信息也可以其他的形式自动地被获得。信号控制信息也可经由设置在接收部内部或者附近的传感器,自动地被获得。例如作为自动地被获得的信号控制信息,具有外部噪声量、亮度、时间带、地理的外置、气温、与影像的同步信息、通过照相机获得的条形码(bar code)信息等。
如上说明那样,根据本发明的第三实施方式,基于各地点的分析信息被混合的分析信息,在接收部中,能够按与各地点的输入信号的各音源对应的每个构成要素进行控制。另外,基于信号控制信息也能够只独立地控制特定的音源。
进一步,由于在发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
对本发明的第四实施方式进行说明。本实施方式的特征在于,以作为音源而目的音和背景音并存的输入信号为对象,基于分析信息和信号控制信息,对目的音和背景音进行控制。
参照图27,对本实施方式详细地进行说明。将本实施方式与第二实施方式相比较,在图1中所示的接收部15中包括的信号控制部151由在图27中所示的接收部35中所包括的信号控制部350构成。此外,在本实施方式中,信号控制信息被输入到信号控制部350。关于信号控制信息,与在第三实施方式中采用的信息相同,因此省略说明。进而,参照图28,对信号控制部350的结构进行说明。信号控制部350由变换部171、信号处理部360以及逆变换部173构成。与第二实施方式相比较,图5中所示的信号控制部151中所包括的信号处理部172,在本实施方式中由信号处理部360构成。
接下来,对第一实施例进行说明。第一实施例采用抑压系数作为分析信息。
参照图29,对信号处理部360的结构例详细地进行说明。与第二实施方式相比较,在信号处理部360中,图12中所示的信号处理部172中所包括的抑压系数重新构成部250由抑压系数重新构成部450置换。抑压系数重新构成部450从外部接收信号控制信息。信号控制信息与在第三实施方式中采用的信息相同,因此省略说明。
信号处理部360接收第二变换信号、分析信息以及信号控制信息,输出修正译码信号。信号处理部360由抑压系数重新构成部450和乘法器451构成。第二变换信号输入到乘法器451,分析信息和信号控制信息被输入到抑压系数重新构成部450。抑压系数重新构成部450采用所输入的分析信息和信号控制信息来生成修正抑压系数。修正抑压系数采用信号控制信息修正所接收的抑压系数来作为分析信息。抑压系数重新构成部450将修正抑压系数输出到乘法器451。乘法器451将第二变换信号与修正抑压系数相乘,生成修正译码信号。乘法器451将修正译码信号输出到逆变换部173。
参照图30,对第一实施例的抑压系数重新构成部450的结构详细地进行说明。抑压系数重新构成部450包括抑压系数修正部460。第二实施方式的图14所示的抑压系数重新构成部250不包括抑压系数修正部460。抑压系数修正部460采用从外部输入的信号控制信息,对抑压系数进行修正。该信号控制信息与已在第三实施方式中采用的信息相同,因此省略说明。
抑压系数重新构成部450接收作为分析信息的被编码的抑压系数和信号控制信息,输出修正抑压系数。抑压系数重新构成部450由抑压系数译码部260和抑压系数修正部460构成。抑压系数译码部260对所接收的抑压系数进行译码。在抑压系数没有被编码时,抑压系数译码部260不进行译码动作,将抑压系数输出到抑压系数修正部460。抑压系数修正部460采用从外部输入的信号控制信息,对所输入的抑压系数进行修正。抑压系数修正部460输出修正抑压系数。
参照图31,对抑压系数修正部460的第一结构例详细地进行说明。抑压系数修正部460接收抑压系数和信号控制信息,输出修正抑压系数。本结构例的抑压系数修正部460由乘法器470构成。乘法器470计算抑压系数与信号控制信息之积,输出修正抑压系数。在本结构例中,信号控制信息被输入相对抑压系数的倍率。通过这种结构,能够由简单的信号控制信息对抑压系数进行控制。
参照图32,对抑压系数修正部460的第二结构例详细地进行说明。抑压系数修正部460接收抑压系数和信号控制信息,输出修正抑压系数。本结构例的抑压系数修正部460由比较部471构成。比较部471对抑压系数和信号控制信息进行比较,输出与该比较结果相对应的信号。例如比较部471在进行最大比较额情况下,输出抑压系数与信号控制信息中的较大一方的值。此外,比较部471也可进行最小比较。在这种情况下,信号控制信息输入抑压系数的最大值或最小值。通过这种结构,能够预先规定输出信号的范围,输出假定外的信号,能够避免损失音质。
参照图33,对抑压系数修正部460的第三结构例详细地进行说明。抑压系数修正部460的第三结构例对上述第一结构例和第二结构例进行组合。抑压系数修正部460接收抑压系数信号和信号控制信息,输出修正抑压系数。本结构例的抑压系数修正部460由乘法器470、比较部471、指定抑压系数控制部472以及开关473构成。指定抑压系数控制部472将信号控制信息输出到乘法器470、比较部471或者开关473。在此,在信号控制信息中,至少包括由乘法器470使用的抑压系数的倍率、由比较部471使用的抑压系数的最大值或最小值。进而,在信号控制信息中,也可包括开关473中的用于选择的控制信息。指定抑压系数控制部472在接收抑压系数的倍率作为信号控制信息时,将抑压系数的倍率输出到乘法器470。乘法器470计算抑压系数和抑压系数的倍率之积,将修正抑压系数输出到开关473。指定抑压系数控制部472,在接收抑压系数的最大值或最小值作为信号控制信息的情况下,将抑压系数的最大值或最小值输出到比较部471。比较部471对抑压系数与抑压系数的最大值或最小值进行比较,将与该比较结果相对应的信号作为修正抑压系数输出到开关473。指定抑压系数控制部472,在接收用于选择的控制信息时,将控制信息输出到开关47。开关473,在从指定抑压系数控制部472输入控制信息的情况下,按照该信号控制信息,选择乘法器470的输出或者比较部471的输出中的一个来输出。
接下来,对第二实施例进行说明。第二实施例采用目的音与背景音的构成比即信号对背景音比作为分析信息。第二实施例的信号处理部360与图29所示的第一实施例的信号处理部相同,因此抑压系数重新构成部450的结构不同。
参照图34,对第二实施例的抑压系数重新构成部450的结构例详细地进行说明。与图17所示的第二实施方式的抑压系数重新构成部250相比较,本结构例的抑压系数重新构成部450还包括信号对背景音比修正部461。
抑压系数重新构成部450接收被编码的信号对背景音比与信号控制信息,输出修正抑压系数。抑压系数重新构成部450由信号对背景音比译码部261、信号对背景音比修正部461以及抑压系数变换部262构成。信号对背景音比译码部261对所接收的被编码的信号对背景音比进行译码,将信号对背景音比输出到信号对背景音比修正部461。在信号对背景音比没有被编码时,信号对背景音比译码部261不进行译码动作,输出信号对背景音比。信号对背景音比修正部461采用从外部接收的信号控制信息,对所输入的信号对背景音比进行修正,生成修正信号对背景音比。关于信号对背景音比的修正,也可适用与第一实施例中的抑压系数修正部460相同的修正方法。即也可通过输入信号对背景音比的倍率作为信号控制信息来对信号对背景音比进行修正。此外,也可通过输入信号对背景音比的最大值或最小值作为信号控制信息,来对信号对背景音比进行修正。进而,也可通过输入控制信息来进行修正,该控制信息对由作为信号控制信息的信号对背景音比的倍率修正后的信号对背景音比和由作为信号控制信息的信号对背景音比的最大值或最小值修正后的信号对背景音比进行选择。信号对背景音比修正部461将修正信号对背景音比输出到抑压系数变换部262。抑压系数变换部262将修正信号对背景音比变换为抑压系数,输出修正抑压系数。将信号对背景音比变换为抑压系数的方法,也可采用与图11所示的抑压系数变换部262相同的变换方法。在第二实施例中,通过信号控制信息对信号对背景音比进行修正后,变换为修正信号对背景音比抑压系数。信号控制信息与第三实施方式中采用的信息相同,因此省略说明。
进而,对第三实施例进行说明。与上述第二实施例相比较,第三实施例构成为将信号对背景音比变换为抑压系数之后,由信号控制信息对抑压系数进行修正。
参照图35,对第三实施例的抑压系数重新构成部450详细地进行说明。与图17所示的第二实施方式的抑压系数重新构成部250相比,本实施例的抑压系数重新构成部450还包括抑压系数修正部460。
抑压系数重新构成部450接收被编码的信号对背景音比和信号控制信息,输出修正抑压系数。抑压系数重新构成部450由信号对背景音比译码部261、抑压系数变换部262和抑压系数修正部460构成。信号对背景音比译码部261接收被编码的信号对背景音比,进行译码。信号对背景音比译码部261将信号对背景音比输出到抑压系数变换部262。抑压系数变换部262将被译码的信号对背景音比变换为抑压系数。抑压系数变换部262将抑压系数输出到抑压系数修正部460。抑压系数修正部460采用从外部接收的信号控制信息,对从背景音信息变换部262输入的抑压系数进行修正。抑压系数修正部460输出修正抑压系数。信号控制信息,与在第三实施方式中采用的信息相同,因此省略说明。抑压系数修正部460的结构,与图30中所示的第一实施例的抑压系数修正部460相同,因此省略说明。
接下来,对第四实施例进行说明。第四实施例,为采用背景音本身作为分析信息时的结构例。参照图36,对第四实施例的信号处理部360的第一结构例详细地进行说明。图22所示的第二实施例的信号处理部172的抑压系数计算部252,在本实施例的信号处理部360中由抑压系数计算部452置换。抑压系数计算部452从外部接收信号控制信息。信号控制部360接收第二变换信号、被编码的背景音以及信号控制信息,输出修正译码信号。信号处理部360由抑压系数计算部452和乘法器251构成。第二变换信号被输入到抑压系数计算部452以及乘法器251,被编码的背景音作为分析信息被输入到抑压系数计算部452。抑压系数计算部452基于被编码的背景音、第二变换信号以及信号控制信息,计算修正抑压系数。之后,抑压系数计算部452将修正抑压系数输出到乘法器251。乘法器251将第二变换信号与抑压系数相乘,将修正译码信号输出到逆变换部173。信号控制信息与在第三实施方式中采用的信息相同,因此省略说明。
参照图37对抑压系数计算部452的结构例详细地进行说明。抑压系数计算部452接收第二变换信号、被编码的背景音以及信号控制信息,输出抑压系数。抑压系数计算部452由背景音译码部263、背景音修正部464、抑压系数生成部264构成。
背景音译码部263接收被编码的背景音,进行译码。背景音译码部263将被译码的背景音输出到背景音修正部464。在背景音没有被编码时,背景音译码部263不进行译码动作,将背景音输出到背景音修正部464。背景音修正部464采用从外部输入的信号控制信息,对背景音进行修正。关于背景音的修正,也可适用与第一实施例中的抑压系数修正部460相同的修正方法。即也可通过输入背景音的倍率作为信号控制信息来对背景音进行修正。此外,也可通过输入背景音的最大值或最小值作为信号控制信息来对背景音进行修正。进而,也可通过输入控制信息来进行修正,该控制信息对由作为信号控制信息的背景音的倍率修正后的背景音和由作为信号控制信息的背景音比的最大值或最小值修正后的背景音进行选择。背景音修正部464将修正后的背景音输出到抑压系数生成部264。抑压系数生成部264采用第二变换信号和修正后的背景音,计算用于抑压背景音的适当的抑压系数。该抑压系数的计算也可采用与图10中所示的抑压系数计算部201相同的计算方法。抑压系数生成部264输出抑压系数。信号控制信息与在第三实施方式中采用的信息相同,因此省略说明。
参照图38,对信号处理部360的第二结构例详细地进行说明。本结构例的信号处理部360由背景音译码部263、背景音修正部464以及减法器253构成。信号处理部360接收第二变换信号、被编码的背景音以及信号控制信息,输出背景音被控制的信号。
第二变换信号被输入到减法器253。此外,被编码的背景音作为分析信息被输入到背景音译码部263。背景音译码部263对所输入的被编码的背景音进行译码。之后,背景音译码部263将被译码的背景音输出到背景音修正部464。在背景音没有被编码时,背景音译码部263不进行译码动作,输出背景音。背景音修正部464采用信号控制信息对背景音信息进行修正,生成修正背景音。背景音修正部464将修正背景音输出到减法器253。减法器253从第二变换信号减去修正背景音,输出减法结果。
第五实施例与第四实施例相反,对背景音进行译码,生成抑压系数之后,通过信号控制信息对抑压系数进行修正。此时,抑压系数计算部452如图39所示,由背景音译码部263、抑压系数生成部264、抑压系数修正部461构成。背景音译码部263收取分析信息作为被编码的背景音,对该分析信息进行译码求出译码分析信息。抑压系数生成部264采用译码信号和从背景音译码部263输出的译码分析信息(被译码的背景音),生成抑压系数。抑压系数修正部461采用从外部接收的信号控制信息,对从抑压系数生成部264接收的抑压系数进行修正,将其输出。信号控制信息已在关于第三实施方式中进行了说明,因此省略说明。接下来,对第五实施例进行说明。与第四实施例相比较,本实施例构成为根据被译码的背景音生成抑压系数之后,通过信号控制信息对抑压系数进行修正。
参照图39,对抑压系数计算部452详细地进行说明。抑压系数计算部452接收第二变换信号、被编码的背景音和信号控制信息,输出修正抑压系数。抑压系数计算部452由背景音译码部263、抑压系数生成部264、抑压系数修正部460构成。
背景音译码部263接收被编码的背景音,进行译码。之后,背景音译码部263将被译码的背景音输出到抑压系数生成部264。抑压系数生成部264根据第二变换信号和被译码的背景音生成抑压系数。该抑压系数的计算也可采用与图27所示的抑压系数计算部201相同的计算方法。而且,抑压系数生成部264将抑压系数输出到抑压系数修正部460。抑压系数修正部460采用所接收的控制信息,对抑压系数进行修正,生成修正抑压系数。关于抑压系数的修正,也可适用与图33所示的抑压系数修正部460相同的修正方法。即也可输入抑压系数的倍率作为信号控制信息来进行修正。此外,也可通过输入抑压系数的最大值或最小值作为信号控制信息来进行修正。进而,也可通过输入对作为信号控制信息的抑压系数的倍率和抑压系数的最大值或最小值进行选择的控制信息来进行修正。抑压系数修正部460输出修正抑压系数。信号控制信息与在第三实施方式中采用的信息相同,因此省略说明。
如以上所说明那样,根据本发明的第四实施方式,基于各地点的分析信息被混合的分析信息,在接收部中,能够将由各地点的目的音和背景音构成的输入信号按各地点的每个目的音、每个背景音独立地进行控制。此外,基于信号控制信息,也能够只独立地对特定的音源进行控制。
进而,由发送部进行抑压系数或者信号对背景音比之类的分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
对本发明的第五实施方式进行说明。本实施方式的特征在于,基于分析信息、对象信息、信号控制信息和构成要素描绘信息,在接收侧终端按与各地点的输入信号的各音源对应的每个构成要素进行控制。
参照图40,本实施方式中的多地点连接系统,具备在各地点分散配置的会议终端2500、2501、2502以及对在会议终端间的数据交换进行控制的多地点连接装置(MCU:Multipoint Control Unit)2505。多地点连接装置2505对从各终端输出的传输信号进行混合,将同一被混合的信号分配给各终端。在图40中,表示了连接三地点的例子,但也可构成连接任意个数的地点。
采用相同的图40,对终端2500、2501、2502的结构例进行说明。另外,这些终端具有相同的结构,因此只表示终端2500的结构例。以下,以终端2500为例进行说明。
终端2500由发送部2506和接收部2507构成,发送部2506包括编码部100、信号分析部101、对象信息提取部2510和多路复用部2511,接收部2507包括译码部150、输出信号生成部2550和分离部2551。
输入信号被输入到位于发送部2506的编码部100、信号分析部101以及对象信息提取部2510。编码部100对输入信号进行编码,将编码信号输出到多路复用部2511。信号分析部101计算在输入信号中所包括的与各音源对应的构成要素的分析信息,将分析信息输出到多路复用部2511。对象信息提取部2510捕捉输入信号作为一个对象信号,对对象信号进行频率变换,提取表示每个频率分量的对象信号的特性的对象参数,集中这些对象参数而作为对象信息输出到多路复用部2511。多路复用部2511对从编码部100输出的编码信号、从信号分析部101输出的分析信息以及从对象信息提取部2510输出的对象信息进行多路复用,作为传输信号输出到传输路。另外,编码部100、信号分析部101和译码部150的详细的动作,已在第一实施方式中被说明。
接收部2507中的分离部2551将从传输路输入的传输信号分离为编码信号、分析信息和对象信息,编码信号输出到译码部150,分析信息和对象信息输出到输出信号生成部2550。译码部150对编码信号进行译码,生成译码信号,输出到输出信号生成部2550。在此,译码信号由一般的多个音源构成。输出信号生成部2550基于从分离部2551输出的分析信息和对象信息,以及经由输入端子输入的信号控制信息和构成要素描绘信息,将从译码部150输出的译码信号按与各音源对应的每个构成要素进行操作,输出输出信号。输出信号生成部2550也可以由多个构成要素构成的构成要素群为单位代替与各音源对应的构成要素,来进行操作。
在此,构成要素描绘信息为按每个频率分量表示在译码信号中所包括的构成要素和接收部的输出信号之间的关系的信息。例如在输出信号进行再现的声音情景中,也可为表示在译码信号中混合的各构成要素的音像定位的信息。
图41表示多地点连接装置2505的结构例。在图41中,表示连接3地点的例子,但也可构成连接任意数目的地点。在图41中,从设置在第1~第3地点的终端接收的传输信号,经由输入端子输入到分离部2510、2520、2530。
分离部2510、2520、2530将传输信号分比分离为编码信号、分析信息和对象信息,将编码信号输出到译码部2511、2521、2531,将分析信息输出到分析信息混合部2516,将对象信息输出到对象信息混合部2515。译码部2511、2521、2531对编码信号进行译码来生成译码信号,输出到混合部2512。混合部2512将来自各地点的译码信号全部进行混合,生成混合信号,将混合信号输出到编码部2513。编码部2513对混合信号进行编码,将编码的混合信号输出到多路复用部2514。分析信息混合部2516对来自各地点的分析信息全部进行混合,将混合后的分析信息输出到多路复用部2514。对象信息混合部2515将来自各地点的对象信息全部混合,将混合后的对象信息输出到多路复用部2514。
在此,对象信息由表示译码信号的各频率分量的对象参数构成,对象参数的混合也可对所输入的对象参数全部混合,按照重要度选择对象参数,也可只混合所选择的对象参数。作为其他的混合方法,也可对所输入的多个对象参数进行多路复用,成为一个对象参数群。从对象信息混合部2515输出的对象信息,按每个频率分量表示由混合部2512生成的混合信号和作为其输入的各译码信号(以后作为对象信号)之间的关系。
多路复用部2514对从编码部2513输出的编码后的混合信号、从分析信息混合部2516输出的混合后的分析信息和从对象信息混合部2515输出的混合后的对象信息进行多路复用,作为传输信号输出到各地点的传输路。另外,译码部2511、2512、2513的详细的动作与第一实施方式中的译码部150相同,编码部2513的详细的动作与第一实施方式中的编码部100相同。分析信息混合部2516的详细的动作与第一实施方式中的图6所示的分析信息混合部2114相同。
以下,对输出信号生成部2550的第一结构例和第二结构例进行说明。
图42表示第一结构例。输出信号生成部2550由信号控制部2560、描绘信息生成部2561和描绘部2563构成。
信号控制部2560将译码信号、对象信息、分析信息作为输入。对对象信息、分析信息进行译码,生成各个对象参数和分析参数。接下来,采用对象参数将译码信号分解为对象信号(混合前的信号),进而采用分析参数将对象信号分解为构成要素。进而,基于信号控制信息生成对构成要素进行修正后的修正构成要素后,根据修正构成要素重新构成修正译码信号(混合后的信号、即基于信号控制信息修正译码信号后的信号),将修正译码信号输出到描绘部2563。此外,信号控制部2560生成按每个频率分量表示修正译码信号和修正构成要素之间的关系的修正参数,将修正参数向描绘信息生成部2561输出。
作为信号控制部2560的其他动作例,也可不生成修正构成要素,采用对象参数、分析参数和信号控制信息,将译码信号变换为修正译码信号。此时,将在把译码信号变换为修正译码信号时使用的修正参数输出到描绘信息生成部2561。
以下,对信号控制部2560的动作的具体例进行说明。
设某频带f中的译码信号的频率分量为Xk(f),k=1,2,…,P(P为译码信号的信道数),相同的对象信号的频率分量为Zih(f),i=1,2,…,L,h=1,2,…,K(L为对象数,即终端数目,K为对象信号的信道数目),第i个对象信号的构成要素的频率分量为Yij(f),j=1,2,…,Mi(Mi为第i个对象信号的构成要素数目),基于信号控制信息修正后的构成要素的频率分量为Y’ij(f),修正对象信号为Z’ij(f),修正译码信号为X’(f)时,采用由对象参数规定的变换函数F500、由分析参数规定的变换函数F501和由信号控制信息规定的变换函数F502,以下的关系成立。
(式11)Zih(f)=F500(X1(f),X2(f),…,XP(f))
(式12)Yij(f)=F501(Zi1(f),Zi2(f),…,ZiK(f))
(式13)Y’ij(f)=F502(Yij(f))
(式14)X’(f)=F503(Y’ij(f))在此,变换函数F503为将修正构成要素变换为修正译码信号的函数,修正参数为表示变换函数F503的反函数的参数。
作为其他的动作例,如上所述,也可结合函数F500、F501、F502、F503,(式15)X’(f)=F504(X(f))此时,变换函数F504由对象参数、分析参数、信号控制信息和修正参数来规定。
作为上述变换的具体例,以式16表示频带f的对象参数C(f),
(式18) 式11~式15表示为式19。
(式19) Z(f)=C(f)·X(f),Y(f)=B(f)·Z(f)=B(f)·C(f)·X(f),Y′(f)=A(f)·Y(f)=A(f)·B(f)·C(f)·X(f),X′(f)=D(f)·Y′(f)=D(f)·A(f)·B(f)·C(f)·X(f)即将译码信号变换为修正译码信号的矩阵能够作为D(f)×A(f)×B(f)×C(f)进行计算。在此,D(f)为任意的P行M列的矩阵,设修正参数为E(f)时,得到
(式20)E(f)=D-1(f)例如,采用B(f)×C(f)的逆矩阵作为D(f)时,修正参数成为E(f)=B(f)×C(f)。另外,根据(式19)可明确,采用B(f)×C(f)的逆矩阵作为D(f)这点,作为将修正构成要素变换为修正译码信号的操作是妥当的。
描绘信息生成部2561采用从信号控制部2560输出的修正参数,经由输入端子将被输入的构成要素描绘信息变换为描绘信息,将描绘信息输出到描绘部2563。
作为将构成要素描绘信息变换为描绘信息的具体例,由(式21)表示构成要素描绘信息U(f)和描绘信息W(f)时,
另外,描绘信息为按每个频率分量表示修正译码信号和输出信号生成部2550的输出信号之间的关系的信息,能够采用信号间的能量差、时间差或相关性等来表示。
描绘部2563采用从描绘信息生成部2561输出的描绘信息,对从信号控制部2560输出的修正译码信号进行变换,生成输出信号,作为输出信号生成部2550的输出信号进行输出。
在上述中,对在信号控制部2560中,被分解为频率分量的修正译码信号被输出到描绘部2563的结构进行了说明,但在信号控制部2560的输出中,在修正译码信号被逆变换,作为时间信号输出到描绘部2563的情况下,在描绘部2563中,在将时间信号分解为频率分量之后进行处理。描绘部2563输出对被分解为频率分量的信号进行逆变换之后的信号作为输出信号。
设输出信号的频率分量为Vk(f),k=1,2,…,Q(Q为输出信号的信道数目),得到
(式22) 描绘部的动作成为V(f)=W(f)×X’(f)。
另外,将描绘部2563中的修正译码信号变换为输出信号的方法和描绘信息的具体例,在非专利文献10(2007年,フイエスオ一·アイイシ一23003-1:2007パ一ト1エムペグサラウンド(ISO/IEC 23003-1:2007Part 1MPEG Surround))中公开。
将非专利文献10中公开的变换方法用于描绘部2563的情况下,也可使用在非专利文献10中公开的数据流形式作为描绘部2563中输入的描绘信息。另外,也可不将描绘信息变换为数据流形式,而输入到非专利文献10中公开的变换的处理部中。
接下来,说明第二结构例。参照图43,输出信号生成部2550由描绘信息生成部2564、构成要素信息变换部2565和描绘部2563构成。
构成要素信息变换部2565将分析信息、信号控制信息和构成要素描绘信息作为输入。对分析信息进行译码,生成分析参数。进而,采用分析参数和信号控制信息,将构成要素描绘信息变换为对象描绘信息,将对象描绘信息输出到描绘信息生成部2564。
在此,对象描绘信息为以每个频率分量表示对象信息和输出信号生成部2550的输出信号之间的关系的信息。具体地来说,设对象描绘信息为T(f)时,得到
(式23)T(f)=U(f)·A(f)·B(f)在此,B(f)、A(f)、U(f)由(式17)、(式18)、(式21)定义。
描绘信息生成部2564将对象信息和对象描绘信息作为输入。对对象信息进行译码,生成对象参数,根据对象参数和对象描绘信息,生成描绘信息,将描绘信息输出到描绘部2563。具体地来说,得到式24
(式24)W(f)=T(f)·C(f)在此,C(f)、W(f)、T(f)由(式16)、(式21)、(式23)定义。
另外,描绘信息为按每个频率分量表示译码信号和输出信号生成部2550的输出信号之间的关系的信息,能够采用信号间的能量差、时间差或相关性来进行表示。描绘信息的一例在非专利文献10中公开。
描绘部2563已在第一结构例中,采用图42进行了说明。此时,描绘的动作为V(f)=W(f)×X(f)。
如以上所说明那样,根据本发明的第五实施方式,在接收部中,基于混合各地点的分析信息后的分析信息,能够按与各地点的输入信号的各音源对应的每个构成要素进行控制。此外,基于信号控制信息,也能够只独立地控制特定的音源。此外,基于构成要素描绘信息,也能对各个音源的定位进行控制。
进而,由于由发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
此外,在本实施方式中,对与各个输入信号对应的对象信号进行混合,基于被混合的对象信号由接收侧进行控制。因此,对于多个接收部的每一个,能够输出相同的信号。由此,在多地点连接装置中,多个输入信号能够全部混合,编码也可对一个信号进行,因此不需要进行多次编码。因此,在多地点连接装置中,能够削减与编码相关的运算量。
对本发明的第六实施方式进行说明。本实施方式的特征在于,能够以作为音源的输入信号作为目标,基于分析信息、对象信息、信号控制信息和构成要素描绘信息,控制目的音和背景音,其中输入信号混在有目的音和背景音。
参照图40,本实施方式的多地点连接系统,具备在各地点分散配置的会议终端2500、2501、2502以及对在会议终端间的数据交换进行控制的多地点连接装置(MCU:Multipoint Control Unit)2505。多地点连接装置2505对从各终端输出的信号进行混合,生成混合信号,将相同的混合信号分配给各终端。在图40中,表示了连接三地点的例子,但也可构成连接任意个数的地点。终端2500、2501、2502能够具有相同的结构,因此只表示终端2500的结构例。因此,以下,关于终端,以终端2500为例进行说明。
首先,图41表示多地点连接装置2505的结构例。本实施方式,结构与第五实施方式相同,但分析信息混合部2516的动作不同。本实施方式中的分析信息混合部2516与第二实施方式中说明的图7中所示的分析信息混合部2114的动作相同。省略详细的说明。
接下来,图40表示终端2500的结构例。本实施方式与第五实施方式的结构相同,但信号分析部10和输出信号生成部2550的动作不同。因此,以下,对信号分析部101和输出信号生成部2550详细地进行说明。
本实施方式的第一实施例为分析信息是抑压系数的情况。参照图40,信号分析部101对抑压系数进行计算作为分析信息。与此对应,多地点连接装置2505,如第二实施方式所说明那样,对抑压系数进行混合,输出信号生成部2550基于信号控制信息、构成要素描绘信息和对象信息,采用抑压系数对译码信号进行控制。对于将抑压系数作为分析信息来算出的信号分析部101的结构,由第二实施方式中的第一实施例已详细地进行了说明,因此省略说明。以下,对输出信号生成部2550详细地进行说明。
采用抑压系数对目的音和背景音进行控制的图40的输出信号生成部2550的结构由与第五实施方式中的输出信号生成部2550的第二结构例相同的图43表示,但构成要素信息变换部2565的结构不同。在此,以下对构成要素信息变换部2565进行说明。
图44表示构成要素信息变换部2565的结构例。构成要素信息变换部2565由构成要素参数生成部651和对象描绘信息生成部2611构成。构成要素参数生成部651根据分析信息算出抑压系数,采用算出的抑压系数和信号控制信息,算出构成要素参数,输出到对象描绘信息生成部2611。
作为上述变换的具体例,设频带f的对象信号i的抑压系数为gih(f),i=1,2,…,L,h=1,2,…,K(L为对象数目,K为对象信号的信道数目),设对象信号i的构成要素数为Mi=2时,(式17)的分析参数B(f)由下式表示,
(式25) i=1,2,...,L设用于对对象信号i的目的音进行控制的信号控制信息为Amain i(f),用于对背景音进行控制的信号控制信息为Asub i(f)时,(式18)的信号控制信息A(f)由下式表示。
(式26)此时,构成要素参数H(f)由(式27)表示。
(式27)H(f)=A(f)·B(f)在多地点连接装置2505中,在抑压系数被混合时,也可在被混合的对象信号中采用公共的抑压系数。
对象描绘信息生成部2611,基于构成要素参数和构成要素描绘信息,输出表示对象信号和输出信号的关系的对象描绘信息。作为上述变换的具体例,对象描绘信息T(f)采用(式21)的U(f),能够成为T(f)=U(f)×H(f)。
另外,作为构成要素信息变换部2566的其他结构例,也能够结合图44中的构成要素参数生成部651和对象描绘信息生成部2611。此时,对分析信息进行译码,算出抑压系数,根据算出的抑压系数、信号控制信息和构成要素描绘信息,计算对象描绘信息,将对象描绘信息输出到描绘信息生成部2564。即对象描绘信息T(f)能够为T(f)=U(f)×A(f)×B(f)。
本实施方式中的第二实施例,为分析信息是信号对背景音比的情况。参照图40,信号分析部101输出信号对背景音比作为分析信息。与此对应,多地点连接装置2505,对信号对背景音比进行混合,输出信号生成部2550基于信号对背景音比、对象信息、信号控制信息、构成要素描绘信息,对译码信号进行控制。对于将信号对背景音比用作分析信息时的信号分析部101,由第二实施方式中的第二实施例已详细地进行了说明,因此以下,对输出信号生成部2550详细地进行说明。
采用信号对背景音比对目的音和背景音进行控制的图40的输出信号生成部2550的结构由与第一实施例相同的图43以及图44表示。本实施例与第一实施例相比,图44中的构成要素参数生成部651的动作不同。因此,以下对构成要素参数生成部651进行说明。
构成要素参数生成部651对分析信息进行译码,算出信号对背景音比,根据信号对背景音比基于信号控制信息,算出构成要素参数,向对象描绘信息生成部2611输出。例如如第二实施方式中说明那样,将信号对背景音比变换为抑压系数之后,如第一实施例中所说明那样,能够采用(式25)、(式26)、(式27)基于抑压系数和信号控制信息算出构成要素参数。此外,作为其他方法,如第四实施方式中所说明那样,也可基于信号控制信息对信号对背景音比进行操作,将所操作的信号对背景音比变换为抑压系数之后,算出构成要素参数。此时,设对象信号i的被变换的抑压系数为g’ih(f)时,分析参数B’(f)由下式表示,
作为图43的构成要素信息变换部2565的其他结构例,也能够结合图44中的构成要素参数生成部651和对象描绘信息生成部2611。此时,对分析信息进行译码,算出信号对背景音比,根据算出的信号对背景音比、信号控制信息和构成要素描绘信息,计算对象描绘信息,将对象描绘信息输出到描绘信息生成部2564。作为具体例,例如如第二实施方式中所说明那样,将信号对背景音比变换为抑压系数之后,如第一实施例所说明那样,根据抑压系数、信号控制信息、构成要素描绘信息对对象描绘信息进行计算,将对象描绘信息输出到描绘信息生成部2564。即对象描绘信息T(f),采用由(式21)定义的构成要素描绘信息、能够根据由(式25)定义的抑压系数算出的分析参数和由(式26)定义的信号控制信息,能够为T(f)=U(f)×A(f)×B(f)。此外,作为其他方法,如第四实施方式中所说明那样,也可基于信号控制信息对信号对背景音比进行操作,将所操作的信号对背景音比变换为抑压系数之后,根据变换后的抑压系数、构成要素描绘信息算出对象描绘信息。此时,设对象信号i的变换后的抑压系数为g’ih(f)时,采用(式28)的B’(f),对象描绘信息T(f)成为
(式29)T(f)=U(f)·B′(f)在此,U(f)由(式21)定义。
本实施方式中的第三实施例为分析信息是背景音的情况。参照图40,信号分析部101计算背景音作为分析信息。与此对应,多地点连接装置2505对背景音进行混合,输出信号生成部2550基于背景音、对象信息、信号控制信息和构成要素描绘信息,对译码信号进行控制。采用背景音作为分析信息时的信号分析部101,已在第二实施方式中的第三实施例中说明了,因此省略说明。因此,以下,对输出信号生成部2550的动作详细地进行说明。
图45表示输出信号生成部2550的结构例。图45中所示的输出信号生成部2550与图43所示的第一实施例的输出信号生成部2550相比较,构成要素信息变换部2565被置换为构成要素信息变换部2566这一点不同。以下,对构成要素信息变换部2566进行说明。
参照图45,构成要素信息变换部2566将译码信号、分析信息、信号控制信息和构成要素描绘信息作为输入。基于它们,生成按每个频率成分表示译码信号中包括的对象信号和输出信号的关系的对象描绘信息,输出到描绘信息生成部2564。
图46表示构成要素信息变换部2566的结构例。构成要素信息变换部2566由变换部171、构成要素参数生成部653、对象描绘信息生成部2611构成。变换部171将译码信号作为输入,将译码信号分解为各频率分量来生成第二变换信号,将第二变换信号输出到构成要素参数生成部653。
构成要素参数生成部653将第二变换信号、分析信息和信号控制信息作为输入。对分析信息进行译码,算出背景音,根据所算出的背景音和第二变换信号基于信号控制信息,算出构成要素参数,向对象描绘信息生成部2611输出。
以下,表示构成要素参数的算出方法的具体例。在第一方法中,如第二实施方式中的第三实施例所说明那样,根据背景音和第二变换信号算出抑压系数。进而,采用(式25)、(式26)、(式27),基于抑压系数和信号控制信息算出构成要素参数。在第二方法中,第四实施方式的第四实施例、第五实施例所说明的方法中,根据背景音、信号控制信息和第二变换信号算出抑压系数。对于由上述方法算出的抑压系数,采用(式28)算出分析参数B’(f),设构成要素参数H(f)为B’(f)。
对象描绘信息生成部2611的动作已在本实施方式中的第一实施例中说明了。
另外,作为构成要素信息变换部2566的其他结构例,也能够结合图46中的构成要素参数生成部653和对象描绘信息生成部2611。此时,根据被分解为各频率分量的第二变换信号、对分析信息进行译码的背景音、信号控制信息和构成要素描绘信息,计算对象描绘信息,将对象描绘信息输出到描绘信息生成部2564。
以下,表示对象描绘信息的算出方法的具体例。在第一方法中,如第二实施方式中的第三实施例所说明那样,根据背景音采用译码信号算出抑压系数。进而,如第一实施例所说明那样,根据抑压系数、信号控制信息和构成要素参数,计算对象描绘信息。即对象描绘信息T(f)采用由(式21)定义的构成要素描绘信息、能够根据由(式25)定义的抑压系数算出的分析参数和由(式26)定义的信号控制信息,能够为T(f)=U(f)×A(f)×B(f)。在第二方法中,在第四实施方式的第四实施例、第五实施例中所说明的方法中,根据背景音、信号控制信息和第二变换信号算出抑压系数。采用由上述方法算出的抑压系数,如本实施方式中的第二实施例所说明那样,也可根据(式28)的B’(f)、(式21)的U(f),采用(式29)算出对象描绘信息。
如以上说明那样,根据本发明的第六实施方式,在接收部中,能够基于各地点的分析信息被混合的分析信息,按各地点的每个目的音、每个背景音独立地控制由各地点的目的音和背景音构成的输入信号。此外,基于信号控制信息,也能对特定的目的音和背景音独立地进行控制。此外,采用构成要素描绘信息,能够对各个目的音和背景音的定位进行控制。
进而,由于由发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
对本发明的第七实施方式进行说明。本实施方式的特征在于,基于分析信息、对象信息、信号控制信息、对象描绘信息,在接收侧终端按与各地点的输入信号的各音源相对应的每个构成要素进行控制。
图47表示本发明的第七实施方式的结构。与表示第五实施方式的图40相比较在下述点不同,即接收部2507的输出信号生成部2550被置换为输出信号生成部2700这一点、对于输出信号生成部2700不是输入构成要素描绘信息而是输入对象描绘信息这一点。因此,以下对输出信号生成部2700的第一结构例、第二结构例进行说明。
参照图48,输出信号生成部2700的第一结构例由信号控制部2760、描绘信息生成部2561和描绘部2563构成。
信号控制部2760将译码信号、对象信息、分析信息、信号控制信息作为输入。对对象信息和分析信息进行译码,生成对象参数和分析参数。接下来,采用对象参数,将译码信号分解为对象信号(混合前的信号),进而采用分析参数将对象信号分解为构成要素。之后,基于信号控制信息对构成要素进行修正,生成修正构成要素,根据修正构成要素重新构成修正译码信号(混合后的信号、即基于信号控制信息对译码信号进行修正后的信号),将修正译码信号输出到描绘部2563。此外,信号控制部2760生成按每个频率分量表示修正译码信号与修正对象信号(基于信号控制信息对混合前的信号进行修正后的信号)之间的关系的修正对象参数,将修正对象参数输出到描绘信息生成部2561。
另外,作为信号控制部2760的其他动作例,也可不生成修正构成要素,而采用对象参数、分析参数和信号控制信息,将译码信号变换为修正译码信号。此时,在将译码信号变换为修正译码信号时,也生成按每个频率分量表示修正译码信号与修正对象信号之间的关系的修正对象参数,将修正对象参数输出到描绘信息生成部2561。
表示修正对象参数的算出方法。如第五实施方式所示,(式11)~(式15)的关系成立。此时,作为具体例,如果采用(式16)~(式19),则将译码信号变换为修正译码信号的矩阵表示为D(f)×A(f)×B(f)×C(f)。在此,D(f)为P行M列的矩阵,采用B(f)×C(f)的逆矩阵时,修正对象参数由C(f)、即对象参数表示。
描绘信息生成部2561将从信号控制部2760输出的修正对象参数和经由输入端子输入的对象描绘信息作为输入。采用修正对象参数,将对象描绘信息变换为描绘信息,将描绘信息输出到描绘部2563。具体的动作采用(式24)进行了说明。
描绘部2563基于从描绘信息生成部2561输出的描绘信息根据从信号控制部2760输出的修正译码信号生成输出信号,输出输出信号。在第五实施方式中,采用图42进行了说明,因此省略详细的说明。
接下来,对输出信号生成部2700的第二结构例进行说明。参照图49,输出信号生成部2700由描绘信息生成部2564、对象描绘信息修正部2770和描绘部2563构成。
对象描绘信息修正部2770将分析信息、信号控制信息、对象描绘信息作为输入。对分析信息进行译码,生成分析参数,采用分析参数和信号控制信息,对对象描绘信息进行修正,将修正对象描绘信息输出到描绘信息生成部2564。具体地来说,设修正对象描绘信息为T’(f)时,得到
(式30)T′(f)=T(f)·B-1(f)·A(f)·B(f)在此,B(f)、A(f)由(式17)、(式18)定义。
描绘信息生成部2564将对象信息和修正对象描绘作为输入。基于对象信息和修正对象描绘信息,生成描绘信息,输出到描绘部2563。在第五实施方式中,采用图43已说明了,因此省略详细的说明。
描绘部2563将译码信号和描绘信息作为输入。基于描绘信息,根据译码信号生成输出信号,输出输出信号。在第五实施方式中,采用图43进行了说明,因此省略详细的说明。
如以上说明那样,根据本发明的第七实施方式,在接收部中,能够基于各地点的分析信息被混合的分析信息,按与各地点的输入信号的各音源对应的每个构成要素进行控制。此外,也能够基于信号控制信息只对特定的音源独立地进行控制。此外,也能采用对象描绘信息,对各个对象信号的定位进行控制。
进而,由于由发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
对本发明的第八实施方式进行说明。本实施方式的特征在于,以作为音源混在目的音和背景音的输入信号为目标,基于分析信息、对象信息、信号控制信息和对象描绘信息,对目的音和背景音进行控制。
本实施方式中的多地点连接系统的结构,与第七实施方式相同,由图47表示,具有被分散在各地点配置的会议终端2500、2501、2502以及对会议终端间的数据交换进行控制的多地点连接装置(MCU:MultipointControl Unit)2505。终端2500、2501、2502能够具有相同的结构,因此只表示终端2500的结构例。因此,以下关于终端,以终端2500为例进行说明。
关于多地点连接装置2505在第六实施方式中,采用图41进行了说明,因此省略说明。
接下来,对终端2500进行说明。图47表示本实施方式中的终端2500的结构。与第七实施方式的结构相同,但信号分析部101、输出信号生成部2550的动作不同。因此,以下对信号分析部101、输出信号生成部2700详细地进行说明。
本实施方式的第一实施例为分析信息是抑压系数的情况。参照图47,信号分析部101输出抑压系数作为分析信息。与此对应,多地点连接装置2505对抑压系数进行混合,输出信号生成部2700采用信号控制信息、对象描绘信息、对象信息和抑压系数,对译码信号进行控制。采用抑压系数作为分析信息时的信号分析部101的动作已在第二实施方式中的第一实施例中进行了说明。因此,以下对输出信号生成部2700详细地进行说明。
图49表示输出信号生成部2700的结构。与第七实施方式中的输出信号生成部2700的第二结构例相同,但在对象描绘信息修正部2770的动作方面不同。因此以下,对对象描绘信息修正部2770进行说明。
图50表示对象描绘信息修正部2770的结构例。对象描绘信息修正部2770由构成要素参数生成部651、对象描绘信息变更部2810构成。
构成要素参数生成部651将分析信息和信号控制信息作为输入,输出构成要素参数。关于详细的动作,在第六实施方式中的第一实施例中已进行了说明,因此省略说明。
对象描绘信息变更部2810以分析信息和构成要素参数作为输入。对分析信息进行译码,生成抑压系数,基于抑压系数和构成要素参数对对象描绘信息进行修正。
具体地来说,设对象描绘信息为T(f),修正对象描绘信息为T’(f)时,得到
(式31)T′(f)=T(f)·B-1(f)·H(f)在此,B(f)、H(f)由(式25)、(式27)定义。
另外,作为图49的对象描绘信息修正部2770的其他结构例,也能够结合图50中的构成要素参数生成部651和对象描绘信息变更部2810。此时,对分析信息进行译码,算出抑压系数,根据所算出的抑压系数和信号控制信息,对对象描绘信息进行修正,将修正对象信息输出到描绘信息生成部2564。
具体地来说,修正对象描绘信息T’(f)能够为
(式32)T′(f)=T(f)·B-1(f)·A(f)·B(f)在此,A(f)、B(f)由(式26)、(式25)定义。
本实施方式中的第二实施例为分析信息是信号对背景音比的情况。第二实施例,参照图47时,信号分析部101输出信号对背景音比作为分析信息。与此对应,多地点连接装置2505对信号对背景音比进行混合,输出信号生成部2700基于信号对背景音比、对象信息、信号控制信息和对象描绘信息,对译码信号进行控制。采用信号对背景音比作为分析信息时的信号分析部101的动作,已在第二实施方式中进行了说明。
图49、图50表示输出信号生成部2700的结构例。对本实施例和第一实施例进行比较,图50的构成要素参数生成部651和对象描绘信息变更部2810的结构不同。
对于构成要素参数生成部651已在第六实施方式中的第二实施例中进行了说明,因此省略说明。
对象描绘信息变更部2810以分析信息、构成要素参数、对象描绘信息作为输入。对分析信息进行译码,生成信号对背景音比,根据信号对背景音比和构成要素参数对对象描绘信息进行修正,输出修正对象描绘信息。
对修正对象描绘信息的算出方法的例子进行说明。如第二实施方式中的第二实施例所说明那样,根据信号对背景音比算出抑压系数。进而,如本实施方式中的第一实施例所说明那样,适用(式31),基于对象描绘信息、抑压系数和构成要素参数,算出修正对象描绘信息。
另外,作为对象描绘信息修正部2770的其他结构例,也能够结合图50中的构成要素参数生成部651和对象描绘信息变更部2810。此时,对分析信息进行译码,算出信号对背景音比,根据所算出的信号对背景音比、信号控制信息和对象描绘信息,计算修正对象描绘信息,将修正对象描绘信息输出到描绘信息生成部2564。
对此时的修正对象描绘信息的算出方法的例子进行说明。如第二实施方式中的第二实施例所说明那样,根据信号对背景音比算出抑压系数。进而,如本实施方式中的第一实施例所说明那样,适用(式32),基于抑压系数、信号控制信息和对象描绘信息,算出修正对象描绘信息。
本实施方式中的第三实施例为分析信息是背景音的情况。第三实施例,参照图47,信号分析部101输出背景音作为分析信息。与此对应,多地点连接装置2505对信号对背景音比进行混合,输出信号生成部2700基于背景音、对象信息、信号控制信息和对象描绘信息,对译码信号进行控制。采用背景音作为分析信息时的信号分析部101的动作已在第二实施方式中的第三实施例中进行了说明。
图51表示输出信号生成部2700的结构例。与图49中的第一实施例相比较,对象描绘信息修正部2770被置换为对象描绘信息修正部2780这一点不同。因此,以下对对象描绘信息修正部2780进行说明。
对象描绘信息修正部2780以分析信息、译码信号、信号控制信息和对象描绘信息为输入。采用分析信息、译码信号和信号控制信息,对对象描绘信息进行修正,将修正对象描绘信息输出到描绘信息生成部2564。
图51表示对象描绘信息修正部2780的结构例。对象描绘信息修正部2780由变换部171、构成要素参数生成部653和对象描绘信息变更部2810构成。变换部171将译码信号分解为各频率分量,生成第二变换信号,将第二变换信号输出到构成要素参数生成部653。
构成要素参数生成部653将第二变换信号、信号控制信息和分析信息作为输入,将构成要素参数输出到对象描绘信息变更部2810。详细的动作,采用图46已在第六实施方式中的第三实施例中进行了说明,因此省略说明。
对象描绘信息变更部2810根据分析信息计算背景音,根据背景音和构成要素参数对对象描绘信息进行修正,将修正对象描绘信息输出到描绘信息生成部2564。
对修正对象描绘信息的算出方法的例子进行说明。如第二实施方式中的第三实施例所说明那样,根据背景音算出抑压系数。进而,如本实施方式中的第一实施例所说明那样,适用(式31),根据抑压系数、构成要素参数和对象描绘信息,算出修正对象描绘信息。
另外,作为对象描绘信息修正部2780的其他结构例,也能够结合图52中的构成要素参数生成部653和对象描绘信息变更部2810。此时,根据第二变换信号、对分析信息进行了译码的背景音、信号控制信息和对象描绘信息,计算修正对象描绘信息,将修正对象描绘信息输出到描绘信息生成部2564。
对此时的修正对象描绘信息的算出方法的例子进行说明。如第二实施方式中的第三实施例所说明那样,根据背景音算出抑压系数。进而,如本实施方式中的第一实施例所说明那样,适用(式32),根据抑压系数、信号控制信息和对象描绘信息算出修正对象描绘信息。
如以上说明那样,根据本发明的第八实施方式,在接收部中,能够基于各地点的分析信息被混合的分析信息,按各地点的每个目的音、每个背景音对由各地点的目的音和背景音构成的输入信号独立地进行控制。此外,基于信号控制信息,也能对特定的目的音和背景音独立地进行控制。此外,采用对象描绘信息,也能对各个对象信号的定位进行控制。
进而,由于由发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
对本发明的第九实施方式进行说明。本实施方式的特征在于,基于分析信息、对象信息和构成要素描绘信息,在接收侧终端按与各地点的输入信号的各音源对应的每个构成要素进行控制。
参照图53,本实施方式与表示第五实施方式的图40相比较,在输入到终端2500的输出信号生成部2900的信号控制信息混合于构成要素描绘信息这一点以及与此对应接收部2507的输出信号生成部2550被置换为输出信号生成部2900这一点上不同。因此,以下,对输出信号生成部2900进行说明。
参照图54,本实施方式中的输出信号生成部2900由描绘信息生成部2564、构成要素信息变换部2910和描绘部2563构成。
构成要素信息变换部2910将分析信息、构成要素描绘信息作为输入。对分析信息进行译码,生成分析参数,采用分析参数将构成要素描绘信息变换为对象描绘信息,将对象描绘信息输出到描绘信息生成部2564。具体地来说,能够由T(f)=U(f)×B(f)的式子表示。在此,T(f)由(式29)定义,U(f)由(式21)定义,B(f)由(式17)定义。
描绘信息生成部2564将对象信息和对象描绘信息作为输入,生成描绘信息,将描绘信息输出到描绘部2563。详细的动作,在第五实施方式中已采用图43进行了说明,因此省略说明。
描绘部2563以译码信号和描绘信息作为输入,生成输出信号,输出输出信号。详细的动作,在第五实施方式中,采用图43进行了说明,因此省略说明。
如以上说明那样,根据本发明的第九实施方式,在接收部中,能够基于各地点的分析信息被混合的分析信息,按与各地点的输入信号的各音源对应的每个构成要素进行控制。此外,基于构成要素描绘信息,只对特定的音源独立地进行控制,也能对各个音源的定位进行控制。
进而,由于由发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
对本发明的第十实施方式进行说明。本实施方式的特征在于,以作为音源的混在目的音和背景音后的输入信号来作为目标,本实施方式基于分析信息、对象信息和构成要素描绘信息,对目的音和背景音进行控制。
参照图53,本实施方式与图40的第六实施方式相比较,在输入到终端2500的输出信号生成部2900的信号控制信息被结合到构成要素描绘信息这一点以及与此对应接收部2507的输出信号生成部2550被置换为输出信号生成部2900这一点上不同。因此,以下对输出信号生成部2900进行说明。
本实施方式中的第一实施例为分析信息是抑压系数的情况。参照图53,信号分析部101输出抑压系数作为分析信息。与此对应,多地点连接装置2505混合抑压系数,输出信号生成部2900采用包括信号控制信息的构成要素描绘信息、对象信息和抑压系数,对译码信号进行控制。
图54中表示输出信号生成部2900的结构例。与图43中所示的第六实施方式相比较,在构成要素信息变换部2565被置换为构成要素信息变换部2910这一点上不同。因此,以下对构成要素信息变换部2910进行说明。
图55表示构成要素信息变换部2910的结构例。构成要素信息变换部2910由构成要素参数生成部3000和对象描绘信息生成部2611构成。与图44中所示的第六实施方式的构成要素信息变换部2565相比较,在构成要素参数生成部651被置换为构成要素参数生成部3000这一点上不同。
构成要素参数生成部3000以分析信息作为输入。对分析信息进行译码,算出抑压系数,生成构成要素参数,向对象描绘信息生成部2611输出。
对构成要素参数的算出方法的例子进行说明。与第六实施方式中的第一实施例相比,在不利用信号控制信息这一点上不同。即在(式26)中用于控制对象信号i的目的音的信号控制信息Amain i(f)和用于控制背景音的信号控制信息Asub i(f)相当于Amain i(f)=1、Asub i(f)=1的情况,构成要素参数H(f)成为:
(式33)H(f)=B(f)在对象描绘信息生成部2611中,以构成要素参数和构成要素描绘信息作为输入,生成对象描绘信息。对于详细的动作在第六实施方式中的第一实施例中已进行了详细的说明,因此省略说明。另外,在多地点连接装置2505中,抑压系数被混合的情况下,也可在所有的对象中采用公共的抑压系数。
另外,作为图54的结构要素信息变换部2910的其他结构例,也能结合图55中的构成要素参数生成部3000和对象描绘信息生成部2611。此时,对分析信息进行译码,算出抑压系数,根据抑压系数和构成要素描绘信息对对象描绘信息进行计算,将对象描绘信息输出到描绘信息生成部2564。即对象描绘信息T(f)能够成为:
(式34)T(f)=U(f)·H(f)=U(f)·B(f)
本实施方式中的第二实施例为分析信息是信号对背景音比的情况。第二实施例,参照图53,信号分析部101输出信号对背景音比作为分析信息。与此对应,多地点连接装置2505对信号对背景音比进行混合,输出信号生成部2900基于构成要素描绘信息,采用信号对背景音比和对象信息,对译码信号进行控制。
输出信号生成部2900的结构与第一实施例相同,由图54以及图55表示。将本实施例与第一实施例相比较,图55的构成要素参数生成部3000的结构不同。因此,以下对构成要素参数生成部3000进行说明。
构成要素参数生成部3000以分析信息作为输入。对分析信息进行译码,算出信号对背景音比,根据所算出的信号对背景音比算出构成要素参数,将构成要素参数输出到对象描绘信息生成部2611。
对构成要素参数的算出方法的例子进行说明。如第二实施方式中的第三实施例所说明那样,根据信号对背景音比算出抑压系数。进而,如本实施方式中的第一实施例所说明那样,能够适用(式33),算出构成要素参数。
另外,作为图54的构成要素信息变换部2910的其他结构例,也能结合图55中的构成要素参数生成部3000和对象描绘信息生成部2611。此时,对分析信息进行译码,算出信号对背景音比,根据所算出的信号对背景音比和构成要素描绘信息,计算对象描绘信息,将对象描绘信息输出到描绘信息生成部2564。
对此时的对象描绘信息的算出方法的例子进行说明。如第二实施方式中的第三实施例所说明那样,根据信号对背景音比算出抑压系数。进而,如本实施方式中的第一实施例所说明那样,能够适用(式34),根据抑压系数和构成要素参数计算对象描绘信息。
本实施方式中的第三实施例为分析信息是背景音的情况。第三实施例,参照图53,信号分析部101输出背景音作为分析信息。与此对应,多地点连接装置2505对背景音进行混合,输出信号生成部2900基于背景音、对象信息和构成要素描绘信息,对译码信号进行控制。
图56中所示的本实施例的结构,与图54中所示的第一实施例的结构相比较,构成要素信息变换部2910被置换为构成要素信息变换部3001这一点不同。因此,以下对构成要素信息变换部3001进行说明。
图57表示构成要素信息变换部3001的结构例。构成要素信息变换部3001由变换部171、构成要素参数生成部3002和对象描绘信息生成部2611构成。
变换部171以译码信号作为输入,生成将译码信号分解为各频率分量的第二变换信号,将第二变换信号输出到构成要素参数生成部3002。
构成要素参数生成部3002将分析信息和第二变换信号作为输入。对分析信息进行译码,算出背景音。进而,根据背景音和第二变换信号,算出构成要素参数,将构成要素参数向对象描绘信息生成部2611输出。
对构成要素参数的算出方法的例子进行说明。如第二实施方式中的第三实施例所说明那样,根据背景音和译码信号算出抑压系数。进而,如本实施方式中的第一实施例所说明那样,能够适用(式33),算出构成要素参数。
对象描绘信息生成部2611将构成要素参数和构成要素描绘信息作为输入,输出对象描绘信息。详细的动作由第六实施方式中的第三实施例进行了说明,因此省略说明。
另外,作为图56的构成要素信息变换部3001的其他结构例,也能结合图57中的构成要素参数生成部3002和对象描绘信息生成部2611。此时,根据第二变换信号、对分析信息进行译码来算出的背景音和构成要素描绘信息,计算对象描绘信息,将对象描绘信息输出到描绘信息生成部2564。
对对象描绘信息的算出方法的例子进行说明。如第二实施方式中的第三实施例所说明那样,根据背景音和译码信号算出抑压系数。进而,如本实施方式中的第一实施例所说明那样,能够采用(式34),根据抑压系数和构成要素参数算出描绘信息。
如以上说明那样,根据本发明的第十实施方式,在接收部中,能够基于各地点的分析信息被混合的分析信息,按与各地点的每个目的音、每个背景音对由各地点的目的音和背景音构成的输入信号独立地进行控制。此外,基于构成要素描绘信息,对特定的目的音和背景音独立地进行控制,能对各个音源的定位进行控制。
进而,由于由发送部进行分析信息的计算,因此接收部能够削减与分析信息的计算相关的运算量。
对本发明的第十一实施方式进行说明。本实施方式的特征在于,通过发送部进行考虑了在编码部中产生的量子化失真的效果的分析,减小在接收部中进行译码时产生的量子化失真。
参照图58,本实施方式与第一实施方式相比较,在发送部10被置换为发送部90这一点不同。对发送部10和发送部90进行比较,在信号分析部101被置换为信号分析部900,以及除了输入信号,来自编码部100的信号也被输入到信号分析部900方面不同。
参照图59,对信号分析部900的第一结构例详细地进行说明。
信号分析部900根据输入信号、来自编码部100的编码信号生成分析信息。编码信号为加入了量子化失真的信号,因此能够考虑量子化失真来生成分析信息。
信号分析部900接收输入信号和来自编码部100的编码信号,输出分析信息。信号分析部900由变换部120、译码部150、量子化失真计算部910、分析信息计算部911以及变换部920构成。
输入信号被输入到变换部120。此外,来自编码部100的编码信号被输入到译码部150。
译码部150对从编码部100输入的编码信号进行译码。译码部150将译码信号向变换部920输出。在变换部920中,将译码信号向频率分量分解。变换部920将被分解为频率分量的译码信号向量子化失真计算部910输出。
变换部120将输入信号向频率分量分解。变换部120将被分解为频率分量的输入信号向量子化失真部910以及分析信息计算部911输出。量子化失真计算部910将被分解为频率分量的译码信号和被分解为频率分量的输入信号进行比较,按每个频率分量计算量子化失真量。例如被分解为频率分量的译码信号的各频率分量的大小和被分解为频率分量的输入信号的各频率分量的大小之差也可作为该频率中的量子化失真。量子化失真计算部910将各频率的量子化失真量输出到分析信息计算部911。
分析信息计算部911从变换部120接收被分解为频率分量的输入信号,从量子化失真计算部910接收各频率的量子化失真。分析信息计算部911针对被分解为频率分量的输入信号,按与音源对应的每个构成要素对输入信号进行分解。之后,分析信息计算部911生成表示多个构成要素间的关系的分析信息。分析信息计算部911输出分析信息。此外,针对被分解为频率分量的输入信号,分析信息计算部911也可分解为由多个构成要素构成的构成要素群。
分析信息计算部911考虑量子化失真量,在接收部中进行译码时,进行分析信息的计算以使量子化失真被减小。例如分析信息计算部911也可根据被分解为频率分量的输入信号的各频率分量的大小和该频率中的量子化失真的大小,计算分析信息以使量子化失真被听觉屏蔽(mask)。在此,分析信息计算部911,也可利用在听觉屏蔽中,在频率分量的大小较大的频率的周边频率中较小分量难以听到的事实。将由于各频率分量的大小而周边频率中变成难以听到的分量的大小作为屏蔽特性。分析信息计算部911在所有频率中计算屏蔽特性。分析信息计算部911在各频率中,考虑量子化失真的影响,对分析信息进行补正。在通过屏蔽特性而量子化失真的大小较小的情况下,量子化失真难以听到。此时,由于量子化失真的影响较少,因此分析信息计算部911不进行分析信息的补正。在通过屏蔽特性而量子化失真大小较大的情况下,不被屏蔽。此时,分析信息计算部911对分析信息补正以使量子化失真减小。例如,采用抑压系数作为分析信息的情况下,也可采用小的抑压系数以使量子化失真与背景音同时进行抑压。
如上所述,通过分析信息计算部911对分析信息进行补正,从而在接收部中进行译码时量子化失真被听觉屏蔽,失真或噪声被减小。
到此为止,对考虑听觉屏蔽而减小量子化失真那样的分析信息的补正进行了说明。但是,也可构成为不考虑听觉屏蔽,按照在所有的频率中减小量子化失真的方式对分析信息进行补正。
参照图60,对信号分析部900的第二结构例详细地进行说明。
信号分析部900接收输入信号和来自编码部100的变换信号,输出分析信息。信号分析部900由变换部120、译码部150、量子化失真计算部910、分析信息计算部912以及变换部920构成。
输入信号被输入到变换部120。此外,来自编码部100的编码信号被输入到译码部150。
译码部150对从编码部100输入的编码信号进行译码。译码部150将译码信号向变换部920输出。在变换部920中,将译码信号向频率分量分解。变换部920将被分解为频率分量的译码信号向量子化失真计算部910和分析信息计算部912输出。
变换部120将输入信号向频率分量分解。变换部120将被分解为频率分量的输入信号向量子化失真计算部910输出。量子化失真计算部910将被分解为频率分量的译码信号和被分解为频率分量的输入信号进行比较,按每个频率分量计算量子化失真量。例如被分解为频率分量的译码信号的各频率分量的大小和被分解为频率分量的输入信号的各频率分量的大小之差也可作为该频率中的量子化失真。量子化失真计算部910将各频率的量子化失真量输出到分析信息计算部912。
分析信息计算部912从变换部920接收被分解为频率分量的译码信号,从量子化失真计算部910接收各频率的量子化失真量。分析信息计算部912针对被分解为频率分量的译码信号,按与音源对应的每个构成要素对输入信号进行分解。之后,分析信息计算部912生成表示多个构成要素间的关系的分析信息。分析信息计算部912输出按照量子化失真被减小的方式进行补正的分析信息。关于量子化失真被减小那样的分析信息的计算,与第一结构例相同,因此省略说明。
如以上所说明那样,信号分析部900的第一结构例以及第二结构例,通过生成分析信息以使减小在编码部100中产生的编码失真的效果,从而具有能够减小在接收部15中进行译码时产生的量子化失真的效果。
接下来,对本发明的第十二实施方式进行说明。本发明的第十二实施方式,对作为音源的输入信号进行控制,该输入信号由目的音和背景音构成。本发明的第十一实施方式的结构,与本发明的第九实施方式的结构相同,由图58以及图59所示。本实施方式,在图59中的分析信息计算部911的结构方面不同。
参照图61,对本发明的第十二实施方式中的分析信息计算部911的结构例详细地进行说明。对图10中所示的分析信息计算部121和图61中所示的分析信息计算部911进行比较,在输入来自量子化失真计算部910的各频率的量子化失真量方面不同。进而,分析信息计算部121中所包括的背景音推定部200由在分析信息计算部911中所包括的背景音推定部1020构成。与图10、图43的说明相重复的部分的说明省略。
分析信息计算部911接收被分解为频率分量的输入信号和各频率的量子化失真量,输出分析信息。分析信息计算部911由背景音信息生成部202和背景音推定部1020构成。
背景音推定部1020接收被分解为频率分量的输入信号和各频率的量子化失真量。背景音推定部1020考虑量子化失真,进行背景音的推定。例如,背景音推定部1020将在推定后的背景音中加入量子化失真后的背景音作为推定背景音,能够进行与在分析信息计算部121中所包括的背景音推定部200相同的处理。背景音推定部1020将考虑了量子化失真的背景音的信息输出到背景音信息生成部202。背景音信息生成部202基于背景音的信息,生成分析信息。之后,背景音信息生成部202输出考虑了量子化失真的分析信息。
接收部151基于考虑了量子化失真的分析信息,进行译码信号的控制。通过该结构,在译码信号的控制中,能够进行考虑了量子化失真的高品质的控制。进而,具有能够减小在接收部15中进行译码时产生的量子化失真的效果。
进而,在本发明的第十二实施方式的说明中,背景音信息生成部202也可输出抑压系数、信号对背景音比或者背景音本身作为分析信息。
在对作为分析信息的信号对背景音比进行编码并输出的情况下,图59中的分析信息计算部911算出信号对背景音比,进行编码。为了对信号对背景音比进行变换,也可采用在图16中所示的结构或图18所示的结构作为分析信息计算部911中的背景音信息生成部202。此时,图58中的接收部15的信号控制部151具有与基于信号对背景音比所引起的译码信号的控制相对应的结构。
在对作为分析信息的背景音本身进行编码并输出的情况下,图59中的分析信息计算部911对由背景音推定部1020推定的推定背景音进行编码并输出。
参照图62,对输出作为分析信息的背景音自身的分析信息计算部911的结构例进行说明。本结构例的分析信息计算部911接收被分解为频率分量的输入信号和各频率的量子化失真量,输出被编码的背景音。分析信息计算部911由背景音编码部205和背景音推定部1020构成。关于背景音推定部1020的动作,与图61的说明重复,因此省略。此外,关于背景音编码部205的动作,与图21的说明重复,因此省略。
此时,图58中的接收部15的信号控制部151具有与基于背景音的译码信号的控制相对应的结构。
以上,本发明的第十二实施方式,基于考虑了量子化失真的抑压系数、信号对背景音比或背景音,进行译码信号的控制。通过该结构,在译码信号的控制中,能够进行考虑了量子化失真的高品质的控制。进而,具有能够减小在接收部15中进行译码时产生的量子化失真或编码失真的效果。
接下来,对本发明的第十三实施方式进行说明。本发明的第十一实施方式,基于发送侧部中的运算量和分析信息,能够减小在接收侧部中与对应各音源的每个构成要素的控制相关的运算量。
参照图63,对本发明的第十三实施方式进行说明。图1中所示的本发明的第一实施方式和图63中所示的本发明的第十三实施方式,在发送部10由发送部13构成这一点以及接收部15由接收部18构成这一点上不同。通过该结构,本发明的第十三实施方式,能够共用位于发送部中的变换部,能够共用位于接收部中的变换部。其结果,能够减小发送部13以及接收部18的运算量。
图1中所示的发送部10和图63中所示的发送部13在编码部100由编码部1100构成这一点以及信号分析部101由信号分析部1101构成这一点上不同。在本实施例中,编码部100将被分解为频率分量的输入信号向信号分析部1101输出。
参照图64,对编码部1100的结构例详细地进行说明。图2中所示的编码部100和图64中所示的编码部1100,在作为变换部110的输出的第一变换信号向信号分析部1101输出这一点上不同。关于变换部110以及量子化部111的动作,与图2相重复,因此省略说明。在此,与在图2所示的编码部100相比只输出的信号不同,因此编码部1100的运算量与编码部100的运算量大致相同。
参照图65,对信号分析部1101的结构例详细地进行说明。图4中所示的信号分析部101和图65中所示的信号分析部1101在删除在信号分析部101中所包括的变换部120方面不同。关于分析信息计算部121的动作,与图4的说明重复,因此省略。
信号分析部1101从编码部1100接收第一变换信号。所接收的第一变换信号向分析信息计算部121输入。在此,对图64中所示的编码部1100内的变换部110和图4中所示的信号分析部101内的变换部120进行比较时,供给到变换部的输入信号相同,如果变换部的动作相同,则各个输出即第一变换信号和第二变换信息相同。因此,在变换部110和变换部120的动作相同的情况下,在信号分析部110中删除变换部120,能够将信号分析部1101输出的第一变换信号用作第二变换信号。通过该结构,由信号分析部101将信号分析部1101的运算量削减与变换部120的运算量相当的量。
关于接收部,图63中所示的接收部18与图1中所示的接收部15在译码部150由译码部1150构成这一点以及信号控制部151由信号控制部1151构成这一点上不同。
参照图66,对译码部1150的结构例进行说明。图3中所示的译码部150和译码部1150在译码部1150中削除逆变换部161这点上不同。关于逆量子化部160的动作,与图3的说明重复,因此省略。图3中所示的译码部150通过逆变换部161将逆量子化部160所输出的第一变换信号逆变换为时间域信号,作为译码信号输出到图5中所示的变换部171。在图5中,变换部171接收译码信号,进行变换为第二变换信号的处理。在此,如上所述,在变换部110和变换部120的动作相同的情况下,能够使用第一变换信号作为第二变换信号。由此,在本实施例的方式中,译码部1150将逆量子化部160输出的第一变换信号输出到在信号控制部1151中所包括的信号处理部172中。因此,在本实施方式中,削除逆变换部161。
图67为表示信号控制部1151的结构例的图。信号控制部151和信号控制部1151之间的差异在于,在图5中所示的信号控制部151中,作为时间域信号供给的输入信号在由变换部171被变换为频率分量之后被供给到信号处理部172,相对于此,在信号控制部1151中,去除变换部171,将来自译码部1150的频率分量直接供给到信号处理部172。在此,注目于从译码部1150供给到信号控制部1151的频率分量时,可知图1中所示的第一实施方式和图63中所示的第十三实施方式之间的差异为,逆量子化部160所输出的频率分量是否通过逆变换部161以及变换部171的差异,在任一个情况下都供给与逆量子化部160输出的频率分量相同的信号,信号控制部1151内的信号处理部172输出相同的结果。在此如果对接收部的运算量进行考察,则可知译码部1150的运算量由译码部150削减与逆变换部161的运算量相当的部分。此外,信号控制部1151的运算量由信号控制部151削减与变换部171的运算量相当的部分。
参照图67,对信号控制部1151的结构例详细地进行说明。图5中所示的信号控制部151和图67中所示的信号控制部1151,在信号控制部1151中削除变换部171这一点上不同。关于信号处理部172以及逆变换部173的动作,与图5的说明相重复,因此省略。
图5的信号控制部1151,将作为时间域信号被输入的译码信号由变换部171变换为第二变换信号,向信号处理部172输出。如上所述,在变换部110和变换部120的动作相同的情况下,能够将第一变换信号用作第二变换信号。由此,在信号控制部1151中所包括的信号处理部172能够接收逆量子化部160输出的第一变换信号。因此,在本实施例中,去除变换部171。
在此,如果注目于在信号控制部1151中从译码部1150被输入的信号,则图1中所示的第一实施方式和图63中所示的第十三实施方式相比,存在逆量子化部160所输出的信号是否通过逆变换部161和变换部171的不同。在将第一变换信号用作第二变换信号的情况下,第一实施方式以及第十三实施方式的任一个中,逆量子化部160所输出的信号的频率分量与输入到信号控制处理部172的信号的频率分量相同。因此,信号控制部1151内的信号处理部172输出与图5中所示的信号处理部172相同的结果。此外,译码部1150的运算量由译码部150削减与图3中所示的逆变换部161的运算量相当的部分。进而,信号控制部1151的运算量由信号控制部151也削减与图5中所示的变换部171的运算量相当的部分。
以上,本发明的第十三实施方式,除了本发明的第一实施方式的效果之外,与第一实施方式相比具有将运算量削减与变换部120、逆变换部161以及变换部160的每个运算量相当的部分的效果。进而,第十三实施方式的运算量削减的结构,也可适用于本发明的第二实施方式~第十二实施方式。由此,各实施方式具有与本发明的第十三实施方式相同的运算量削减的效果。
以上,到此为止,在本发明的第一实施方式~第十三实施方式中,对以下方法进行了说明,即对由多个音源构成的输入信号进行分析,算出分析信息,在接收侧基于分析信息对译码信号进行控制的方法。在此,采用具体例更详细地说明。输入信号由于利用方法而不同,但例如存在声音、乐器音等。此外,在以基于声音的监视为目的的情况下,存在各机械产生的动作音、操作者的声音以及脚步声等。
在输入信号中具有多个构成要素的情况下,本发明具有对输入信号进行分析,将分析后的结果作为分析信息来进行编码的结构。在构成要素为多个的情况下,适用与图1中所示的结构相同的结构。分别对信号分析部101、信号控制部151的结构、信号分析部101向多路复用部102输出的信息、从分离部152向信号控制部151发送的信息详细地进行说明。
参照图68对信号分析部101的第二结构例详细地进行说明。信号分析部101的第二结构例为适用于构成要素为多个的情况的结构。该信号分析部101由音环境分析部1210和音环境信息编码部1211构成。音环境分析部1210对在输入信号中包括的多个构成要素的信息进行分析。音环境分析部1210将构成要素分析信息向音环境信息编码部1211输出。音环境信息编码部1211对从音环境分析部1210输入的构成要素分析信息进行编码。之后,音环境信息编码部1211将被编码的构成要素分析信息向图1中所示的多路复用部102输出。在此,图1中所示的多路复用部102进行与从音环境信息编码部1211输入的构成要素分析信息相对应的多路复用。
对音环境分析部1210进一步详细地进行说明。
作为音环境分析部1210中的多个音源的信息的分析的方法,可采用各种方法。例如,作为多个音源的信息的分析的方法,也可采用非专利文献11(2005年、「スピ一チ·エンハンスメント」、シユプリンガ一、(SpeechEnhancement,Springer,2005,pp.371~402))中记载的信号分离的方法。此外,作为多个音源的信息的分析的方法,也可采用称作音情景分析、计算听觉情景分析(computational Auditory Scene Analysis)、单一输入信号分离、单信道单分离等的信号分离的方法。通过这些信号分离的方法,音环境分析部1210将输入信号分离为多个各构成要素。进而,音环境分析部1210将被分离的各构成要素变换为应输出的构成要素分析信息并输出。该构成要素分析信息能够以各种形式输出。例如作为构成要素分析信息,存在用于对背景音进行抑压的抑压系数、各频率分量中的各个构成要素的比例以及各个构成要素本身的信号的各频率分量的大小。在构成要素的比例中,包括例如与输入信号的振幅比、与输入信号的能量比以及它们的平均值等。信号的各频率分量的大小中包括例如振幅绝对值、能量以及它们的平均值等。此外,通过信号分离的方法,在信号分离的中途,得到应输出的分析结果自身或者能容易地变换为应输出的分析结果的信号。此时,也可不进行信号分离直到最后,而进行从进行信号分离的中途得到应输出的分析结果的处理。
参照图69,对信号控制部151的结构例详细地进行说明。信号控制部151的结构例,为适用于构成要素为多个的情况的结构。信号控制部151由音环境信息译码部1212以及音环境信息处理部1213构成。信号控制部151接收来自译码部150的译码信号、从分离部152对分析信息进行编码的信号。音环境信息译码部1212对从分离部152接收的分析信息进行编码后的信号进行译码。音环境信息译码部1212输出译码后的分析信息,向音环境信息处理部1213输出。分析信息相当于在图68中所示的信号分析部101中所包括的音环境分析部1210所输出的分析信息。音环境信息处理部1213基于从音环境信息译码部1212输入的分析信息,进行译码信号的控制。该控制的方法,因控制的目的而不同。例如与第二实施方式相同地,也可进行对背景音进行抑压的控制。
以上,在输入信号中所包括的构成要素为多个的情况下,适用本发明,能够得到本发明的第一实施方式中的效果。
以上,以在输入信号中包括的构成要素为多个的情况下适用本发明的第一实施方式的结构为例进行了说明。对于第二实施方式~第十三实施方式,也可同样地对信号分析部以及信号控制部或者输出信号生成部进行变更。此外,如第五实施方式~第十实施方式的结构那样,也可进行使各构成要素的输出定位于由多个信道构成的输出信号的控制。
进而,在输入信号的信道数目为多个的情况下,作为本发明的信号分析部101中的分析的方法,也可采用称作指向性控制、波束形成(beamforming)、盲信源分离(Blind Source Separation)、独立分量分析(Independent Component Analysis)的方法。尤其,在输入信号的信道数目比目的音数目多的情况下,也可不采用上述背景音信息的推定方法和第十三实施方式中的分析的方法,而只采用指向性控制、波束形成(beamforming)、盲信源分离(Blind Source Separation)、独立分量分析(Independent Component Analysis)来进行分析。例如,与指向性控制以及波束形成相关联的技术,在非专利文献12(2001年、「マイクロホン·アレイズ」、シユプリンガ一、(Microphone Arrays,Springer,2001))以及非专利文献13(2005年、「スピ一チ·エンハンスメント」、シユプリンガ一、(Speech Enhancement,Springer,2005,pp.229~246)中被公开。此外,与盲信源分离以及独立分量分析的方法相关联的技术在非专利文献14(2005年、「スピ一チ·エンハンスメント」、シユプリンガ一、(SpeechEnhancement,Springer,2005,pp.271~369))中被公开。
采用上述的分析的方法时,在本发明的第一实施方式中,适用图1中所示的结构。进而,对信号分析部101的结构、信号控制部151的结构、信号分析部101向多路复用部102输出的信息以及从分离部152向信号控制部151发送的信息详细地进行说明。输入信号为多个信道的信号。基本的动作与第一实施方式的动作相同,与图1相重复,因此省略说明。
参照图70对信号分析部101的第三结构例详细地进行说明。信号分析部101的第三结构例与输入信号的信道数目为多个的情况相对应。本结构例的信号分析部101,采用独立分量分析的方法作为输入信号的分析的方法。本结构例的信号分析部101输出用于与在输入信号中包括的各音源对应的构成要素的信号分离的滤波器系数作为分析信息。
信号分析部101由信号分离分析部1200和分离滤波器编码部构成。信号分离分析部1200根据独立分量分析的方法算出分离滤波器系数。分离滤波器系数为用于对与在输入信号中包括的各音源对应的构成要素进行信号分离的滤波器系数。之后,信号分离分析部1200将分离滤波器系数向分离滤波器编码部1201输出。分离滤波器编码部1201对从信号分离分析部1200输入的分离滤波器系数进行编码。分离滤波器编码部1201输出编码分离滤波器系数作为分析信息。
参照图71,对信号控制部151的第三结构例详细地进行说明。信号控制部151的第三结构例与输入信号的信道数目为多个的情况对应。
信号控制部151由分离滤波器译码部1202和滤波器1203构成。分离滤波器译码部1202从分离部152接收被编码的分离滤波器系数作为分析信息。而且,分离滤波器译码部1202对编码分离滤波器系数进行译码,将分离滤波器系数向滤波器1203输出。滤波器1203从译码部150接收多个信道的译码信号,从分离滤波器译码部1202接收分离滤波器系数。而且,滤波器1203对多个信道的译码信号进行基于分离滤波器系数的滤波处理。滤波器1203输出将与各音源对应的构成要素的信号分离后的信号。
如以上所说明那样,在输入信号的信道数目为多个的情况下,本发明由发送部进行输入信号的分析。通过该结构,在输入信号的信道数目为多个的情况下,也能够由接收部基于发送部中的信号分析信息按与各音源对应的每个构成要素对由多个音源构成的输入信号进行控制。进而,由于由发送部进行信号的分析,因此接收部能够削减与信号分析相关的运算量。
此外,图70以及图71所示的结构例采用分离滤波器的滤波器系数作为输入信号的分析信息,但也可采用在第一实施方式~第十三实施方式中采用的分析信息。因此,图70中所示的信号分离分析部1200也可构成为算出分离滤波器,进行采用了分离滤波器的信号分离即可。由此,分离滤波器编码部120具有被置换为图68中所示的音环境信息编码部1211的结构。
进而,作为信号分析部101中的输入信号的分析的方法,不仅采用独立分离分析,而且可以采用非专利文献12~15中公开的方法。此外,也可将这些分析的方法与本发明的第一实施方式~第十三实施方式中的分析的方法相组合使用。进而,通过分析的方法,在分析的中途,得到应输出的分析结果或者能容易地变换为应输出的分析结果的信号。此时,也可不进行分析直到最后,而变更分析的处理以输出分析结果。
对本发明的第十四实施方式进行说明。图72表示本实施方式中的多地点连接系统的结构。本实施方式将多地点连接装置多段地连接。图72中的终端3401、3402、3403、3404、3405与多地点连接装置3410、3411,能够采用例如在第一实施方式中说明过的终端2500和多地点连接装置2105。另外,由于多地点连接装置的1组输入输出与终端的输入输出相同,因此可以明确在以多段连接多地点连接装置中没有任何不良情况。通过多地点连接装置的多段连接,除了本发明的第一实施方式的效果之外,多地点连接装置的处理量负载能够分散,能够构筑大规模的远程会议系统。此外,也能适用于本发明的第二~第十三实施方式中。
对本发明的第十五实施方式进行说明。图73为基于本发明的第十五实施方式的信号处理装置的框图。本发明的第十五实施方式具备通过程序控制来进行动作的计算机(中央处理装置;处理器;数据处理装置)3500、3501、3502以及3503。计算机3500、3501、3502进行由第一~第十四实施方式所说明的接收部和发送部的处理,接收输入信号,输出传输信号,并且基于接收传输信号,生成输出信号的程序来进行工作。另一方面,计算机3503进行第一~第十四实施方式中说明的多地点连接装置的处理,基于对来自各终端的传输信号进行混合,将混合结果向各终端发送的程序来进行工作。本实施方式中,说明了与计算机3503连接的计算机为三台的例子,但也可由任意的终端数目构成。
举出以上优选的实施方式以及实施例对本发明进行了说明,但本发明不必限定于上述实施方式以及实施例,在其技术思想的范围内能够实施各种变形。
如上所述,第一发明的多地点连接装置,其特征在于,包括:第一信号接收部,其接收包括多个构成要素的第一信号和表示在所述第一信号中所包括的多个构成要素间的关系的第一分析信息;第二信号接收部,其接收包括多个构成要素的第二信号和表示在所述第二信号中所包括的多个构成要素间的关系的第二分析信息;信号混合部,其对所述第一信号和所述第二信号进行混合;和分析信息混合部,其对所述第一分析信息和所述第二分析信息进行混合。
此外,第二发明,在上述第一发明中,其特征在于,所述分析信息混合部包括分析参数混合部,其将所述第一分析信息和所述第二分析信息变换为表示各个频率分量的第一分析参数和第二分析参数,按每个频率分量混合所述第一分析参数和所述第二分析参数。
此外,第三发明,在上述第一发明中,其特征在于,所述信号混合部生成混合信息,所述分析信息混合部基于所述混合信息对所述第一分析信息和所述第二分析信息进行混合。
此外,第四发明,在上述第三发明中,其特征在于,所述分析信息混合部包括分析参数混合部,所述分析参数混合部将所述第一分析信息和所述第二分析信息变换为表示各自的频率分量的第一分析参数和第二分析参数,基于所述混合信息按每个频率分量混合所述第一分析参数和所述第二分析参数。
此外,第五发明,在上述第四发明中,其特征在于,所述分析信息混合部包括选择所述第一分析参数和所述第二分析参数的选择部。
此外,第六发明,在上述第三或第四发明中,其特征在于,所述混合信息为所述第一信号和所述第二信号之间的加权。
此外,第七发明,在上述第一发明中,其特征在于,所述第一信号接收部,接收表示所述第一信号的每个频率分量的特性的第一对象信息,所述第二信号接收部,接收表示所述第二信号的每个频率分量的特性的第二对象信息,所述多地点连接装置还包括对象信息混合部,所述对象信息混合部对所述第一对象信息和所述第二对象信息进行混合。
此外,第八发明,在上述第七发明中,其特征在于,所述对象信息混合部,按照重要度来选择所述第一对象信息和所述第二对象信息。
此外,第九发明的信号分析装置,其特征在于,包括:信号接收部,其接收包括多个构成要素的输入信号;信号分析部,其根据所述输入信号生成表示所述多个构成要素间的关系的分析信息;和对象信息提取部,其生成表示所述输入信号的每个频率分量的特性的对象信息。
此外,第十发明的信号控制装置,其特征在于,包括:信号接收部,其接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息;和输出信号生成部,其接收对所述构成要素的输出进行控制的构成要素描绘信息,基于所述分析信息、所述对象信息和所述构成要素描绘信息生成所述构成要素已被控制的输出信号。
此外,第十一发明,在上述第十发明中,其特征在于,所述输出信号生成部包括:构成要素信息变换部,其基于所述分析信息生成按每个频率分量表示所述输入信号和所述输出信号之间的关系的对象描绘信息;描绘信息生成部,其基于所述对象信息和所述对象描绘信息,生成所述描绘信息;和描绘部,其基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第十二发明,在上述第十发明中,其特征在于,所述输出信号生成部包括:构成要素信息变换部,其基于所述分析信息和所述输入信号,生成按每个频率分量表示所述输入信号和所述输出信号之间的关系的对象描绘信息;描绘信息生成部,其基于所述对象信息和所述对象描绘信息生成所述描绘信息;和描绘部,其基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第十三发明,在上述第十发明中,其特征在于,所述输出信号生成部,还接收对特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述构成要素描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号。
此外,第十四发明,在上述第十三发明中,其特征在于,所述输出信号生成部包括:信号控制部,其基于所述对象信息生成所述信号被分解为频率分量的对象信号,基于所述分析信息对所述对象信号的构成要素进行分解,基于所述信号控制信息对所述构成要素进行修正,根据所述修正构成要素生成修正信号,生成表示所述修正构成要素和所述修正信号之间的关系的参数;描绘信息生成部,其基于所述参数,根据所述构成要素描绘信息生成表示所述修正信号与所述输出信号之间的关系的描绘信息;和描绘部,其基于所述描绘信息,根据所述修正信号生成所述输出信号。
此外,第十五发明,在上述第十三发明中,其特征在于,所述输出信号生成部包括:构成要素信息变换部,其基于所述分析信息和所述信号控制信息,生成按每个频率分量表示所述输入信号和所述输出信号之间的关系的对象描绘信息;描绘信息生成部,其基于所述对象信息和所述对象描绘信息生成所述描绘信息;和描绘部,其基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第十六发明,在上述第十三发明中,其特征在于,所述输出信号生成部,包括:构成要素信息变换部,其基于所述分析信息、所述信号控制信息和所述输入信号,生成按每个频率分量表示所述对象信号与所述输出信号之间的关系的对象描绘信息;描绘信息生成部,其基于所述对象信息和所述对象描绘信息生成所述描绘信息;和描绘部,其基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第十七发明的信号控制装置,包括:信号接收部,其接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息;和输出信号生成部,其接收对对象描述信息和特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述对象描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号,其中所述对象描绘信息按每个频率分量表示所述输入信号和所述输出信号之间的关系。
此外,第十八发明,在上述第十七发明中,其特征在于,所述输出信号生成部包括:信号控制部,其基于所述对象信息生成所述信号被分解为频率分量的对象信号,基于所述分析信息对所述对象信号的构成要素进行分解,基于所述信号控制信息对所述构成要素进行修正,根据所述修正构成要素生成修正信号,生成表示所述修正构成要素和所述修正信号之间的关系的参数;描绘信息生成部,其基于所述参数和所述对象描绘信息生成表示所述修正信号与所述输出信号之间的关系的描绘信息;和描绘部,其基于所述描绘信息,根据所述修正信号生成所述输出信号。
此外,第十九发明,在上述第十七发明中,其特征在于,所述输出信号生成部包括:对象描绘信息修正部,其基于所述分析信息和所述信号控制信息,对所述对象描绘信息进行修正;描绘信息生成部,其基于所述对象信息和所述对象描绘信息生成所述描绘信息;和描绘部,其基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第二十发明,在上述第十七发明中,其特征在于,所述输出信号生成部包括:对象描绘信息修正部,其基于所述分析信息、所述信号控制信息和所述输入信号,对所述对象描绘信息进行修正;描绘信息生成部,其基于所述对象信息和所述对象描绘信息生成所述描绘信息;和描绘部,其基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第二十一发明的多地点连接方法的特征在于,接收包括多个构成要素的第一信号和表示在所述第一信号中包括的多个构成要素间的关系的第一分析信息,接收包括多个构成要素的第二信号和表示在所述第二信号中包括的多个构成要素间的关系的第二分析信息,对所述第一信号和所述第二信号进行混合,对所述第一分析信息和所述第二分析信息进行混合。
此外,第二十二发明,在上述第二十一发明中,其特征在于,将所述第一分析信息和所述第二分析信息变换为表示各个频率分量的第一分析参数和第二分析参数,按每个频率分量混合所述第一分析参数和所述第二分析参数。
此外,第二十三发明,在上述第二十一发明中,其特征在于,混合所述第一信号和所述第二信号来生成混合信息,基于所述混合信息对所述第一分析信息和所述第二分析信息进行混合。
此外,第二十四发明,在上述第二十三发明中,其特征在于,将所述第一分析信息和所述第二分析信息变换为表示各自的频率分量的第一分析参数和第二分析参数,基于所述混合信息按每个频率分量混合所述第一分析参数和所述第二分析参数。
此外,第二十五发明,在上述第二十四发明中,其特征在于,选择所述第一分析参数和所述第二分析参数。
此外,第二十六发明,在上述第二十三或第二十四发明中,其特征在于,所述混合信息为所述第一信号和所述第二信号之间的加权。
此外,第二十七发明,在上述第二十一发明中,其特征在于,接收表示所述第一信号的每个频率分量的特性的第一对象信息,接收表示所述第二信号的每个频率分量的特性的第二对象信息,对所述第一对象信息和所述第二对象信息进一步进行混合。
此外,第二十八发明,在上述第二十七发明中,其特征在于,按照重要度来选择所述第一对象信息和所述第二对象信息。
此外,第二十九发明的信号分析方法的特征在于,根据包括多个构成要素的输入信号来生成表示所述多个构成要素间的关系的分析信息,生成表示所述输入信号的每个频率分量的特性的对象信息。
此外,第三十发明的信号控制方法的特征在于,接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息,接收对所述构成要素的输出进行控制的构成要素描绘信息,基于所述分析信息、所述对象信息和所述构成要素描绘信息生成所述构成要素已被控制的输出信号。
此外,第三十一发明,在上述第三十发明中,其特征在于,基于所述分析信息生成按每个频率分量表示所述输入信号和所述输出信号之间的关系的对象描绘信息,基于所述对象信息和所述对象描绘信息,生成所述描绘信息,基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第三十二发明,在上述第三十发明中,其特征在于,基于所述分析信息和所述输入信号,生成按每个频率分量表示所述输入信号和所述输出信号之间的关系的对象描绘信息,基于所述对象信息和所述对象描绘信息生成所述描绘信息,基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第三十三发明,在上述第三十发明中,其特征在于,接收对特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述构成要素描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号。
此外,第三十四发明,在上述第三十三发明中,其特征在于,基于所述对象信息生成所述信号被分解为频率分量的对象信号,基于所述分析信息对所述对象信号的构成要素进行分解,基于所述信号控制信息对所述构成要素进行修正,根据所述修正构成要素生成修正信号,生成表示所述修正构成要素和所述修正信号之间的关系的参数,基于所述参数,根据所述构成要素描绘信息生成表示所述修正信号与所述输出信号之间的关系的描绘信息,基于所述描绘信息,根据所述修正信号生成所述输出信号。
此外,第三十五发明,在上述第三十三发明中,其特征在于,基于所述分析信息和所述信号控制信息,生成按每个频率分量表示所述输入信号和所述输出信号之间的关系的对象描绘信息,基于所述对象信息和所述对象描绘信息生成所述描绘信息,基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第三十六发明,在上述第三十三发明中,其特征在于,基于所述分析信息、所述信号控制信息和所述输入信号,生成按每个频率分量表示所述对象信号与所述输出信号之间的关系的对象描绘信息,基于所述对象信息和所述对象描绘信息生成所述描绘信息,基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第三十七发明的信号控制方法的特征在于,接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息,接收对对象描绘信息和特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述对象描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号,其中所述对象描绘信息按每个频率分量表示所述输入信号和所述输出信号之间的关系。
此外,第三十八发明,在上述第三十七发明中,其特征在于,基于所述对象信息生成所述信号被分解为频率分量的对象信号,基于所述分析信息对所述对象信号的构成要素进行分解,基于所述信号控制信息对所述构成要素进行修正,根据所述修正构成要素生成修正信号,生成表示所述修正构成要素和所述修正信号之间的关系的参数,基于所述参数和所述对象描绘信息生成表示所述修正信号与所述输出信号之间的关系的描绘信息,基于所述描绘信息,根据所述修正信号生成所述输出信号。
此外,第三十九发明,在上述第三十七发明中,其特征在于,基于所述分析信息和所述信号控制信息,对所述对象描绘信息进行修正,基于所述对象信息和所述对象描绘信息生成所述描绘信息,基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第四十发明,在上述第三十七发明中,其特征在于,基于所述分析信息、所述信号控制信息和所述输入信号,对所述对象描绘信息进行修正,基于所述对象信息和所述对象描绘信息生成所述描绘信息,基于所述描绘信息,根据所述输入信号生成所述输出信号。
此外,第四十一发明的程序,使信息处理装置执行以下处理:接收包括多个构成要素的第一信号和表示在所述第一信号中所包括的多个构成要素间的关系的第一分析信息的处理;接收包括多个构成要素的第二信号和表示在所述第二信号中所包括的多个构成要素间的关系的第二分析信息的处理;对所述第一信号和所述第二信号进行混合的处理;和对所述第一分析信息和所述第二分析信息进行混合的处理。
此外,第四十二发明的程序,使信息处理装置执行以下处理:接收包括多个构成要素的输入信号的处理;根据所述输入信号生成表示所述多个构成要素间的关系的分析信息的处理;和生成表示所述输入信号的每个频率分量的特性的对象信息的处理。
此外,第四十三发明的程序,使信息处理装置执行以下处理:接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息的处理;和接收对所述构成要素的输出进行控制的构成要素描绘信息,基于所述分析信息、所述对象信息和所述构成要素描绘信息生成所述构成要素被控制的输出信号的处理。
此外,第四十四发明的程序,使信息处理装置执行以下处理:接收包括多个构成要素的输入信号、表示所述多个构成要素间的关系的分析信息和表示所述输入信号的每个频率分量的特性的对象信息的处理;和接收对对象描绘信息和特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述对象描绘信息和所述信号控制信息生成所述构成要素被控制的输出信号的处理,其中所述对象描绘信息按每个频率分量表示所述输入信号和所述输出信号之间的关系。
本申请主张以在2007年6月27日申请的日本申请特愿2007-168547号为基础的优先权,其中公开的所有内容都包括在本申请中。
Claims (24)
1.一种多地点连接装置,其特征在于,包括:
第一信号接收部,其接收包括多个构成要素的第一声音信号和表示在所述第一声音信号中所包括的多个构成要素间的关系的第一分析信息;
第二信号接收部,其接收包括多个构成要素的第二声音信号和表示在所述第二声音信号中所包括的多个构成要素间的关系的第二分析信息;
信号混合部,其对所述第一声音信号和所述第二声音信号进行混合;和
分析信息混合部,其对所述第一分析信息和所述第二分析信息进行混合。
2.根据权利要求1所述的多地点连接装置,其特征在于,
所述信号混合部生成混合信息,
所述分析信息混合部基于所述混合信息对所述第一分析信息和所述第二分析信息进行混合。
3.根据权利要求2所述的多地点连接装置,其特征在于,
所述分析信息混合部包括分析参数混合部,所述分析参数混合部将所述第一分析信息和所述第二分析信息变换为表示各自的频率分量的第一分析参数和第二分析参数,基于所述混合信息按每个频率分量混合所述第一分析参数和所述第二分析参数。
4.根据权利要求1所述的多地点连接装置,其特征在于,
所述第一信号接收部,接收表示所述第一声音信号的每个频率分量的特性的第一对象信息,
所述第二信号接收部,接收表示所述第二声音信号的每个频率分量的特性的第二对象信息,
所述多地点连接装置还包括对象信息混合部,所述对象信息混合部对所述第一对象信息和所述第二对象信息进行混合。
5.根据权利要求4所述的多地点连接装置,其特征在于,
所述对象信息混合部,按照重要度来选择所述第一对象信息和所述第二对象信息。
6.一种信号分析装置,其特征在于,包括:
信号接收部,其接收包括多个构成要素的输入声音信号;
信号分析部,其根据所述输入声音信号生成表示所述多个构成要素间的关系的分析信息;和
对象信息提取部,其生成表示所述输入声音信号的每个频率分量的特性的对象信息。
7.一种信号控制装置,其特征在于,包括:
信号接收部,其接收包括多个构成要素的输入声音信号、表示所述多个构成要素间的关系的分析信息和表示所述输入声音信号的每个频率分量的特性的对象信息;和
输出信号生成部,其接收对所述构成要素的输出进行控制的构成要素描绘信息,基于所述分析信息、所述对象信息和所述构成要素描绘信息生成所述构成要素已被控制的输出信号。
8.根据权利要求7所述的信号控制装置,其特征在于,
所述输出信号生成部包括:
构成要素信息变换部,其基于所述分析信息生成按每个频率分量表示所述输入声音信号和所述输出信号之间的关系的对象描绘信息;
描绘信息生成部,其基于所述对象信息和所述对象描绘信息,生成所述描绘信息;和
描绘部,其基于所述描绘信息,根据所述输入声音信号生成所述输出信号。
9.根据权利要求7所述的信号控制装置,其特征在于,
所述输出信号生成部包括:
构成要素信息变换部,其基于所述分析信息和所述输入声音信号,生成按每个频率分量表示所述输入声音信号和所述输出信号之间的关系的对象描绘信息;
描绘信息生成部,其基于所述对象信息和所述对象描绘信息生成所述描绘信息;和
描绘部,其基于所述描绘信息,根据所述输入声音信号生成所述输出信号。
10.根据权利要求7所述的信号控制装置,其特征在于,
所述输出信号生成部,还接收对特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述构成要素描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号。
11.一种信号控制装置,其特征在于,包括:
信号接收部,其接收包括多个构成要素的输入声音信号、表示所述多个构成要素间的关系的分析信息和表示所述输入声音信号的每个频率分量的特性的对象信息;和
输出信号生成部,其接收对对象描述信息和特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述对象描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号,其中所述对象描绘信息按每个频率分量表示所述输入声音信号和所述输出信号之间的关系。
12.根据权利要求11所述的信号控制装置,其特征在于,
所述输出信号生成部包括:
对象描绘信息修正部,其基于所述分析信息和所述信号控制信息,对所述对象描绘信息进行修正;
描绘信息生成部,其基于所述对象信息和所述对象描绘信息生成所述描绘信息;和
描绘部,其基于所述描绘信息,根据所述输入声音信号生成所述输出信号。
13.一种多地点连接方法,其特征在于,
接收包括多个构成要素的第一声音信号和表示在所述第一声音信号中包括的多个构成要素间的关系的第一分析信息,
接收包括多个构成要素的第二声音信号和表示在所述第二声音信号中包括的多个构成要素间的关系的第二分析信息,
对所述第一声音信号和所述第二声音信号进行混合,
对所述第一分析信息和所述第二分析信息进行混合。
14.根据权利要求13所述的多地点连接方法,其特征在于,
混合所述第一声音信号和所述第二声音信号来生成混合信息,
基于所述混合信息对所述第一分析信息和所述第二分析信息进行混合。
15.根据权利要求14所述的多地点连接方法,其特征在于,
将所述第一分析信息和所述第二分析信息变换为表示各自的频率分量的第一分析参数和第二分析参数,基于所述混合信息按每个频率分量混合所述第一分析参数和所述第二分析参数。
16.根据权利要求13所述的多地点连接方法,其特征在于,
接收表示所述第一声音信号的每个频率分量的特性的第一对象信息,
接收表示所述第二声音信号的每个频率分量的特性的第二对象信息,
对所述第一对象信息和所述第二对象信息进一步进行混合。
17.根据权利要求16所述的多地点连接方法,其特征在于,
按照重要度来选择所述第一对象信息和所述第二对象信息。
18.一种信号分析方法,其特征在于,
根据包括多个构成要素的输入声音信号来生成表示所述多个构成要素间的关系的分析信息,
生成表示所述输入声音信号的每个频率分量的特性的对象信息。
19.一种信号控制方法,其特征在于,
接收包括多个构成要素的输入声音信号、表示所述多个构成要素间的关系的分析信息和表示所述输入声音信号的每个频率分量的特性的对象信息,
接收对所述构成要素的输出进行控制的构成要素描绘信息,基于所述分析信息、所述对象信息和所述构成要素描绘信息生成所述构成要素已被控制的输出信号。
20.根据权利要求19所述的信号控制方法,其特征在于,
基于所述分析信息生成按每个频率分量表示所述输入声音信号和所述输出信号之间的关系的对象描绘信息,
基于所述对象信息和所述对象描绘信息,生成所述描绘信息,
基于所述描绘信息,根据所述输入声音信号生成所述输出信号。
21.根据权利要求19所述的信号控制方法,其特征在于,
基于所述分析信息和所述输入声音信号,生成按每个频率分量表示所述输入声音信号和所述输出信号之间的关系的对象描绘信息,
基于所述对象信息和所述对象描绘信息生成所述描绘信息,
基于所述描绘信息,根据所述输入声音信号生成所述输出信号。
22.根据权利要求19所述的信号控制方法,其特征在于,
接收对特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述构成要素描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号。
23.一种信号控制方法,其特征在于,
接收包括多个构成要素的输入声音信号、表示所述多个构成要素间的关系的分析信息和表示所述输入声音信号的每个频率分量的特性的对象信息,
接收对对象描绘信息和特定的构成要素进行控制的信号控制信息,基于所述分析信息、所述对象信息、所述对象描绘信息和所述信号控制信息生成所述构成要素已被控制的输出信号,其中所述对象描绘信息按每个频率分量表示所述输入声音信号和所述输出信号之间的关系。
24.根据权利要求23所述的信号控制方法,其特征在于,
基于所述分析信息和所述信号控制信息,对所述对象描绘信息进行修正,
基于所述对象信息和所述对象描绘信息生成所述描绘信息,
基于所述描绘信息,根据所述输入声音信号生成所述输出信号。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007168547 | 2007-06-27 | ||
JP168547/2007 | 2007-06-27 | ||
PCT/JP2008/061622 WO2009001887A1 (ja) | 2007-06-27 | 2008-06-26 | 多地点接続装置、信号分析及び装置と、その方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101715643A CN101715643A (zh) | 2010-05-26 |
CN101715643B true CN101715643B (zh) | 2012-12-26 |
Family
ID=40185699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008800219204A Active CN101715643B (zh) | 2007-06-27 | 2008-06-26 | 多地点连接装置、信号分析以及装置、其方法及程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9118805B2 (zh) |
EP (1) | EP2164238B1 (zh) |
JP (1) | JP5282906B2 (zh) |
KR (1) | KR20100022989A (zh) |
CN (1) | CN101715643B (zh) |
WO (1) | WO2009001887A1 (zh) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2261894A4 (en) * | 2008-03-14 | 2013-01-16 | Nec Corp | SIGNAL ANALYSIS / CONTROL SYSTEM AND METHOD, SIGNAL CONTROL DEVICE AND METHOD, AND PROGRAM |
US8504184B2 (en) | 2009-02-04 | 2013-08-06 | Panasonic Corporation | Combination device, telecommunication system, and combining method |
WO2010109918A1 (ja) * | 2009-03-26 | 2010-09-30 | パナソニック株式会社 | 復号化装置、符号化復号化装置および復号化方法 |
WO2012107561A1 (en) | 2011-02-10 | 2012-08-16 | Dolby International Ab | Spatial adaptation in multi-microphone sound capture |
US8948138B2 (en) * | 2011-03-23 | 2015-02-03 | Telefonaktiebolaget L M Ericsson (Publ) | Signal compression for backhaul communications using linear transformations |
CN110351863B (zh) * | 2018-04-04 | 2022-03-25 | 中兴通讯股份有限公司 | 比例公平调度的实现方法、装置及设备、存储介质 |
WO2020039597A1 (ja) * | 2018-08-24 | 2020-02-27 | 日本電気株式会社 | 信号処理装置、音声通話端末、信号処理方法および信号処理プログラム |
CN112397065A (zh) * | 2020-11-04 | 2021-02-23 | 深圳地平线机器人科技有限公司 | 语音交互方法、装置、计算机可读存储介质及电子设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1313983A (zh) * | 1999-06-15 | 2001-09-19 | 松下电器产业株式会社 | 噪声信号编码装置及语音信号编码装置 |
US6625284B1 (en) * | 1998-07-02 | 2003-09-23 | Oki Electric Industry Co., Ltd. | Comfort noise generating apparatus |
CN1689069A (zh) * | 2002-09-06 | 2005-10-26 | 松下电器产业株式会社 | 声音编码设备和声音编码方法 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2838946B2 (ja) | 1992-08-25 | 1998-12-16 | 三菱電機株式会社 | 多地点間音声通信装置 |
JPH08102687A (ja) * | 1994-09-29 | 1996-04-16 | Yamaha Corp | 音声送受信方式 |
JP2000069179A (ja) | 1998-08-19 | 2000-03-03 | Sony Corp | 多地点会議装置及びその方法並びに多地点会議用端末装置 |
US6240386B1 (en) * | 1998-08-24 | 2001-05-29 | Conexant Systems, Inc. | Speech codec employing noise classification for noise compensation |
JP2000083229A (ja) | 1998-09-07 | 2000-03-21 | Ntt Data Corp | 会議システム、話者表示方法及び記録媒体 |
US6327276B1 (en) * | 1998-12-22 | 2001-12-04 | Nortel Networks Limited | Conferencing over LAN/WAN using a hybrid client/server configuration |
US6463414B1 (en) * | 1999-04-12 | 2002-10-08 | Conexant Systems, Inc. | Conference bridge processing of speech in a packet network environment |
US6850496B1 (en) * | 2000-06-09 | 2005-02-01 | Cisco Technology, Inc. | Virtual conference room for voice conferencing |
FR2810484B1 (fr) * | 2000-06-19 | 2002-09-06 | Cit Alcatel | Procede de gestion et agencement de conference pour systeme de communication comportant des terminaux d'usager communiquant sous protocole ip |
JP4282227B2 (ja) | 2000-12-28 | 2009-06-17 | 日本電気株式会社 | ノイズ除去の方法及び装置 |
US7706365B2 (en) * | 2003-11-25 | 2010-04-27 | California Institute Of Technology | Randomized distributed network coding |
US7945006B2 (en) * | 2004-06-24 | 2011-05-17 | Alcatel-Lucent Usa Inc. | Data-driven method and apparatus for real-time mixing of multichannel signals in a media server |
EP1691348A1 (en) | 2005-02-14 | 2006-08-16 | Ecole Polytechnique Federale De Lausanne | Parametric joint-coding of audio sources |
JP4765461B2 (ja) * | 2005-07-27 | 2011-09-07 | 日本電気株式会社 | 雑音抑圧システムと方法及びプログラム |
ES2380059T3 (es) * | 2006-07-07 | 2012-05-08 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Aparato y método para combinar múltiples fuentes de audio codificadas paramétricamente |
US9905242B2 (en) * | 2007-06-27 | 2018-02-27 | Nec Corporation | Signal analysis device, signal control device, its system, method, and program |
JP5045751B2 (ja) * | 2007-08-07 | 2012-10-10 | 日本電気株式会社 | 音声ミキシング装置およびその雑音抑圧方法、ならびにプログラム |
JPWO2009051132A1 (ja) * | 2007-10-19 | 2011-03-03 | 日本電気株式会社 | 信号処理システムと、その装置、方法及びそのプログラム |
-
2008
- 2008-06-26 EP EP08790637A patent/EP2164238B1/en active Active
- 2008-06-26 WO PCT/JP2008/061622 patent/WO2009001887A1/ja active Application Filing
- 2008-06-26 KR KR1020097026586A patent/KR20100022989A/ko active Search and Examination
- 2008-06-26 JP JP2009520630A patent/JP5282906B2/ja not_active Expired - Fee Related
- 2008-06-26 CN CN2008800219204A patent/CN101715643B/zh active Active
- 2008-06-26 US US12/666,827 patent/US9118805B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6625284B1 (en) * | 1998-07-02 | 2003-09-23 | Oki Electric Industry Co., Ltd. | Comfort noise generating apparatus |
CN1313983A (zh) * | 1999-06-15 | 2001-09-19 | 松下电器产业株式会社 | 噪声信号编码装置及语音信号编码装置 |
CN1689069A (zh) * | 2002-09-06 | 2005-10-26 | 松下电器产业株式会社 | 声音编码设备和声音编码方法 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2009001887A1 (ja) | 2010-08-26 |
CN101715643A (zh) | 2010-05-26 |
WO2009001887A1 (ja) | 2008-12-31 |
US20100198990A1 (en) | 2010-08-05 |
JP5282906B2 (ja) | 2013-09-04 |
EP2164238A4 (en) | 2010-11-03 |
US9118805B2 (en) | 2015-08-25 |
KR20100022989A (ko) | 2010-03-03 |
EP2164238A1 (en) | 2010-03-17 |
EP2164238B1 (en) | 2013-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101715643B (zh) | 多地点连接装置、信号分析以及装置、其方法及程序 | |
US12112762B2 (en) | Apparatus and method for encoding or decoding directional audio coding parameters using different time/frequency resolutions | |
CN102138176B (zh) | 信号分析装置、信号控制装置及其方法 | |
CN107424618A (zh) | 用于对hoa音频信号进行解码的方法、设备和计算机可读介质 | |
CN102016983A (zh) | 用于对多个输入数据流进行混合的设备 | |
WO2016055284A1 (en) | Method and apparatus for low bit rate compression of a higher order ambisonics hoa signal representation of a sound field | |
KR102005298B1 (ko) | 고차 앰비소닉스 신호에 동적 범위 압축을 적용하는 방법 및 디바이스 | |
US8665914B2 (en) | Signal analysis/control system and method, signal control apparatus and method, and program | |
US20240282321A1 (en) | Multichannel audio encode and decode using directional metadata | |
EP4394765A1 (en) | Audio encoding and decoding method and apparatus, electronic device, computer readable storage medium, and computer program product | |
CN102436822B (zh) | 信号控制装置及其方法 | |
US20100283536A1 (en) | System, apparatus, method and program for signal analysis control, signal analysis and signal control | |
JP2016539358A (ja) | オーディオ信号のパラメトリック再構成のための脱相関器構造 | |
JP5361766B2 (ja) | 音信号擬似定位システム、方法及びプログラム | |
JPH08331263A (ja) | ループ型帯域分割音声会議回路 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |