CN1951147A - 啸声检测设备和方法 - Google Patents

啸声检测设备和方法 Download PDF

Info

Publication number
CN1951147A
CN1951147A CNA2005800138788A CN200580013878A CN1951147A CN 1951147 A CN1951147 A CN 1951147A CN A2005800138788 A CNA2005800138788 A CN A2005800138788A CN 200580013878 A CN200580013878 A CN 200580013878A CN 1951147 A CN1951147 A CN 1951147A
Authority
CN
China
Prior art keywords
whistle
signal
level
odds ratio
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800138788A
Other languages
English (en)
Other versions
CN1951147B (zh
Inventor
河村岳
金森丈郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1951147A publication Critical patent/CN1951147A/zh
Application granted granted Critical
Publication of CN1951147B publication Critical patent/CN1951147B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Telephonic Communication Services (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

一种对分别由多个话筒收集的多个声音信号中的每个声音信号检测优势比的啸声检测设备,该优势比指示出在用于混合这多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险。该啸声检测设备包括:电平检测部分,用于分别检测多个声音信号的电平;字尾检测部分,用于在同一时域内将该混合信号与有关待由扬声器作为噪声参考信号输出的声音的信号进行比较,并且检测其间在噪声参考信号下降之后输入了混合信号的时间段作为字尾部分;以及优势比计算部分,用于从电平检测部分检测到的多个声音信号的电平中仅提取对应于字尾部分的任何电平,并且计算每个声音信号的每个电平与多个声音信号的电平之和的比率作为优势比。

Description

啸声检测设备和方法
技术领域
本发明涉及啸声检测设备和方法。本发明尤其涉及在用于混合并增强多个声音信号的增音系统中能够针对多个声音信号中的每个信号检测啸声出现风险的啸声检测设备和方法。
背景技术
常规上,已经开发出在用于增强由话筒收集的声音信号的增音系统中用于检测啸声出现并抑制啸声的啸声抑制设备。作为一种常规的啸声抑制设备,使用应用滤波器或陷波滤波器的啸声抑制设备(例如,参见专利文献1和专利文献2)是公知的。
如下将参考图10描述一种采用常规啸声抑制设备来接收多个声音信号并混合待增强的多个声音信号的增音系统。图10是示出一种用于混合并增强多个声音信号的增音系统9的示例性配置的图示,在该系统中采用了在专利文献1和专利文献2中公开的啸声抑制设备。注意,图10示出了用于抑制在扬声器和多个话筒位于同一声场时会出现的啸声的增音系统9的示例性配置。此处假设从两个话筒输入的两个声音信号作为多个声音信号。
在图10中,增音系统9包括第一话筒91a、第二话筒91b、声音特性调节部分92、声音混合部分93、啸声抑制部分94和扬声器95。对其输入了由第一话筒91a收集并生成的声音信号的声音特性调节部分92调节该声音信号的频率和增益特性。类似地,声音特性调节部分92调节由第二话筒91b收集并生成的声音信号的频率和增益特性。随后,声音混合部分93混合每个被调节的声音信号。注意,声音特性调节部分92和声音混合部分93例如可以与图11中示出的市场上可购买到的混合器相对应。图11是示出声音特性调节部分92和声音混合部分93的一个示例性配置的框图。在图11中,声音特性调节部分92例如可以包括均衡器921a、均衡器921b、放大部分922a和放大部分922b。均衡器921a调节由第一话筒91a收集并生成的声音信号的频率特性。放大部分922a调节由均衡器921a调节的声音信号的增益特性。类似地,均衡器921b和放大部分922b分别调节由第二话筒91b收集并生成的声音信号的频率特性和增益特性。如上所述,类似于市场上可购买的混合器,在声音特性调节部分92内,可以用独立的方式分别调节由第一话筒91a收集的声音信号的频率特性和增益特性以及由第二话筒91b收集的声音信号的频率特性和增益特性。由声音混合部分93混合的声音信号被输入至啸声抑制部分94。
啸声抑制部分94对声音混合部分93混合的声音信号执行信号处理以抑制啸声。随后,按需放大已执行信号处理的声音信号以便由扬声器95输出。注意,啸声抑制部分94对应于用来抑制啸声的啸声抑制设备。如上所述,在此示例中,增音系统采用了在专利文献1和专利文献2中所公开的啸声抑制方法。于是,将使用应用滤波器或陷波滤波器作为啸声抑制部分94。
图12是示出其中使用应用滤波器941的啸声抑制部分94的一个示例性配置的框图。在此情况下,啸声抑制部分94仅在从啸声抑制部分94输出的声音信号(待增强的声音信号)是从其自身输出时才基于该声音信号估计诸如空间传输特性等传输特性。其后,应用滤波器941将估计出的传输特性乘以待增强的声音信号,再从由声音混合部分93输出的声音信号中减去相乘的传输特性,从而能够抑制啸声出现。
或者,也可以使用陷波滤波器作为啸声抑制部分94。图13是示出在啸声出现时由声音混合部分93输出的声音信号的功率谱X(ω)的变化的图示。假设例如在特定频率f处出现啸声。在此情况下,图13所示的功率谱X(ω)变化,使得功率谱的功率在特定频率f处快速增大。因而就能始终监视频带与其相邻频带之间的功率差,从而检测到在其中包括了特定频率f的频带中的功率快速增大。即,能检测啸声出现处的频率。在此情况下,陷波滤波器要衰减的频率被设置在特定频率f处。随后,由声音混合部分93输出的声音信号通过在特定频率f处衰减声音信号的陷波滤波器,以便衰减特定频率f处的功率。结果,抑制了啸声的出现。
[专利文献1]专利公开No.2039846
[专利文献2]专利公开No.2560923
发明公开
要解决的问题
参考图14,考虑由其中使用了应用滤波器的啸声抑制部分94所估计的理想传输特性。图14是示出包括在向其输入一个信号的增音系统9内并与传输特性有关的各元件的特性的示意图。首先假设增音系统9具有一个话筒91。在图14中,要由话筒91收集的声音用S(ω)表示,由话筒91收集并生成的声音信号用X(ω)表示,由声音特性调节部分92调节的频率和增益特性用M(ω)表示,要由啸声抑制部分94估计的理想传输特性用Hhat(ω)表示,由啸声抑制部分94输出的声音信号用Y(ω)表示,并且从扬声器95到话筒91的空间传输特性用R(ω)表示。在上述情况下,由话筒91收集并生成的声音信号X(ω)用公式(1)来表示。
[公式1]
X(ω)=S(ω)+R(ω)*Y(ω)     …(1)
注意,除了空间传输特性之外,R(ω)还可包括话筒91的特性、扬声器95的特性、在啸声抑制部分94和扬声器95的输出之间按需放大的声音信号的放大特性等等。在啸声抑制部分94中,执行从由声音特性调节部分92调节的声音信号M(ω)*X(ω)中减去传输特性Hhat(ω)与啸声抑制部分94输出的声音信号Y(ω)的乘积的过程,从而获得公式(2)。
[公式2]
Y(ω)=M(ω)*X(ω)-Hhat(ω)*Y(ω)    …(2)
当将公式(1)和公式(2)变形,获得公式(3)。
[公式3]
Y(ω)=M(ω)*S(ω)+(M(ω)*R(ω)-Hhat(ω))*Y(ω)      …(3)
在公式(3)中,它的第二项与啸声出现有关。因此,理想的传输特性Hhat(ω)是满足公式(4)的传输特性。
[公式4]
Hhat(ω)≈M(ω)*R(ω)    …(4)
当传输特性Hhat(ω)满足公式(4)时,公式(3)的第二项将基本为零。这样,啸声抑制部分94就能抑制啸声出现。
接着,参考图15,考虑多个声音信号相互混合的情况。图15是示出包括在向其输入了多个信号的增音系统9内、并与传输特性有关的各元件的特性的示意图。在图15中,要由第一话筒91a收集的声音用S1(ω)表示,由声音特性调节部分92调节的频率和增益特性用M1(ω)表示,从扬声器95到第一话筒91a的空间传输特性用R1(ω)表示。类似地,要由第n个话筒91n收集的声音用Sn(ω)表示,由声音特性调节部分92调节的频率和增益特性用Mn(ω)表示,从扬声器95到第n个话筒91n的空间传输特性用Rn(ω)表示。在此情况下,公式(3)用公式(5)来表示。注意,n是自然数,并指示话筒的数目。
[公式5]
Y ( ω ) = Σ k = 1 n M k ( ω ) * S k ( ω ) + ( Σ k = 1 n M k ( ω ) * R k ( ω ) - Hhat ( ω ) Y ( ω ) ) · · · ( 5 )
在公式(5)中,它的第二项与啸声出现有关。因此,理想的传输特性Hhat(ω)是满足公式(6)的传输特性。
[公式6]
Hhat ( ω ) ≈ Σ k = 1 n M k ( ω ) * R k ( ω ) · · · ( 6 )
如公式(6)所示,多个声音信号中每个信号的空间传输特性R(ω)都是唯一值。空间传输特性R(ω)还是依据话筒位置而变化的值。即,为了恰当估计理想传输特性,需要考虑多个声音信号中每个信号的空间传输特性R(ω)。然而在常规技术中,传输特性是基于由啸声抑制部分94输出的输出信号来估计的。即,由啸声抑制部分94输出的输出信号是基于相互混合的多个声音信号所生成的信号,而不是通过考虑多个话筒中每个话筒的传输特性R(ω)所生成的信号。因此,在常规技术中,存在着无法以与空间传输特性R(ω)的变化相对应的速度来估计传输特性的问题,于是也就不能恰当地抑制啸声出现。
此外,如公式(6)所示,要估计的理想传输特性Hhat(t)是基于多个话筒中每个话筒的M(ω)和R(ω)所确定的值。即,当M(ω)变化时,理想传输特性Hhat(ω)也相应地变化。在应用滤波器941中,基于由啸声抑制部分94输出的输出信号估计收敛时的传输特性。因此,若在M(ω)中出现快速变化,并且随后在理想传输特性Hhat(ω)中也相应地出现快速变化,则无法以与变化相对应的速度来估计传输特性,于是就很难恰当地抑制啸声出现。
M(ω)和R(ω)的值在如上所述提供有多个话筒的情况下比在提供有一个话筒的情况下更容易发生变化。因此,出现啸声的特定频率f也更容易变化。于是,在陷波滤波器用作啸声抑制部分94的情况下,就无法根据已变化的特定频率f来设置陷波滤波器要衰减的频率,于是就很难恰当地抑制啸声出现。
如上所述,在用于混合并增强多个声音信号的增音系统中,存在着除非考虑多个声音信号中每个信号的啸声出现风险(例如,M(ω)、R(ω)的变化等等),否则就无法恰当抑制啸声出现的问题。
此外,在常规技术中当警告用户有啸声出现时,已知一种方法,该方法始终监视输入的声音信号的功率谱的频带与其相邻频带之间的功率差,从而检测啸声出现以警告其用户。然而,在用于混合和增强多个声音信号的增音系统中,啸声出现是基于混合的声音信号的功率谱来检测的。因此,在常规技术中,在输入的多个声音信号之中,无法指定已经引起啸声或具有啸声出现风险的任何声音信号,也就无法发出警告。
因此,本发明的一个目的是在用于混合和增强多个声音信号的增音系统中针对多个声音信号中每个信号检测啸声出现的风险。此外,本发明的另一个目的是基于与所检测的风险相关的信息来估计最优传输特性,从而根据由声音特性调节部分快速改变的传输特性来对啸声出现执行强有力的抑制。另外,本发明的再一个目的是提供一种从输入的多个声音信号中指定已经引起啸声或具有啸声出现风险的任何声音信号以便发出警告的方法。
问题的解决方案
本发明的第一方面涉及一种用于对分别由多个话筒收集的多个声音信号中的每个声音信号检测优势比的啸声检测设备,该优势比指示了在用于混合这多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险,该啸声检测设备包括:电平检测部分,用于分别检测多个声音信号的电平;字尾检测部分,用于在同一时域内将混合信号与有关待由扬声器作为噪声参考信号输出的声音的信号进行比较,并且检测其间在噪声参考信号下降之后输入混合信号的时间段作为字尾部分;以及优势比计算部分,用于从由电平检测部分检测的多个声音信号的每一电平中仅提取字尾部分的电平,并且计算每个声音信号的所提取电平与多个声音信号的所提取电平之和的比率作为优势比。
在基于第一方面的本发明第二方面中,该啸声检测部分还包括啸声抑制部分,用于基于使用优势比算出的传输特性从混合信号中减去与包括在字尾部分内的信号具有相同分量的信号,并将获得的信号输出给扬声器。
在基于第二方面的本发明第三方面中,该啸声抑制部分设置一用于估计不包括与包括在字尾部分内的信号具有相同分量的信号的混合信号的函数,根据优势比更新多个声音信号的电平之和,并且通过将该函数乘以所更新的多个声音信号的电平之和相对于该多个信号的电平之和的变化率来计算传输特性。
在基于第三方面的本发明第四方面中,该啸声抑制部分通过更新声音信号电平中指示出相对较高的优势比的至少一个电平来更新多个声音信号的电平之和。
在基于第三方面的本发明第五方面中,该啸声抑制部分通过仅更新声音信号电平中指示出最高优势比的一个电平来更新多个声音信号的电平之和。
在基于第一方面的本发明第六方面中,该啸声检测设备还包括用于指定声音信号中指示由优势比计算部分算出的相对较高优势比的至少一个声音信号,并将声音信号中的该至少一个声音信号通知给用户的啸声警告部分。
在基于第一方面的本发明第七方面中,啸声警告部分用于指定声音信号中指示出由优势比计算部分算出的最高优势比的一个声音信号,并将声音信号中该一个声音信号通知给用户。
在基于第一方面的本发明第八方面中,该电平检测部分检测各自使用功率谱来表示的多个声音信号的电平。
本发明的第九方面涉及一种用于对由多个话筒分别收集的多个声音信号中的每一个声音信号检测优势比的啸声检测设备,该优势比指示了在用于混合这多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险,该啸声检测设备包括:电平检测部分,用于分别检测多个声音信号的电平;啸声出现检测部分,用于计算混合信号的功率谱,并基于功率谱的变化检测啸声出现;以及优势比计算部分,用于从由电平检测部分检测的多个声音信号的每一电平中仅提取字尾部分的电平,并且计算每个声音信号的所提取电平与多个声音信号的所提取电平之和的比率作为优势比。
在基于第九方面的本发明第十方面中,该啸声检测部分还包括:字尾检测部分,用于在同一时域内将混合信号与待由扬声器作为噪声参考信号输出的声音信号进行比较,并且检测其间在噪声参考信号下降之后输入了混合信号的时间段作为字尾部分;以及啸声抑制部分,用于基于使用优势比算出的传输特性从混合信号中减去与字尾部分内包括的信号具有相同分量的信号,并将所获得的信号输出给扬声器。
在基于第十方面的本发明第十一方面中,该啸声抑制部分在检测到字尾部分时设置一用来估计不包括与字尾部分内包括的信号具有相同分量的信号的混合信号的函数,根据优势比更新多个声音信号的电平之和,并在检测到啸声出现时通过将该函数乘以所更新的多个声音信号的电平之和相对于该多个信号的电平之和的变化率来计算传输特性。
在基于第十一方面的本发明第十二方面中,该啸声抑制部分通过更新声音信号电平中指示出相对较高的优势比的至少一个声音信号电平来更新多个声音信号电平之和。
在基于第十一方面的本发明第十三方面中,该啸声抑制部分通过仅更新声音信号电平中指示出最高优势比的一个声音信号电平来更新多个声音信号电平之和。
在基于第九方面的本发明第十四方面中,该啸声检测设备还包括用于指定声音信号中指示出由优势比计算部分算出的相对较高优势比的至少一个声音信号并将该至少一个声音信号通知给用户的啸声警告部分。
在基于第九方面的本发明第十五方面中,该啸声检测设备还包括用于指定声音信号中指示出由优势比计算部分输出的最高优势比的一个声音信号并把声音信号中这一个声音信号通知给用户的啸声警告部分。
在基于第九方面的本发明第十六方面中,该电平检测部分检测各自使用功率谱来表示的多个声音信号的电平。
本发明的第十七方面涉及一种用于对由多个话筒分别收集的多个声音信号中的每一个声音信号检测优势比的啸声检测方法,该优势比指示了在用于混合这多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险,该啸声检测方法包括:电平检测步骤,用于分别检测多个声音信号的电平;字尾检测步骤,用于在同一时域内将混合信号与有关待由扬声器作为噪声参考信号输出的声音的信号进行比较,并且检测其间在噪声参考信号下降之后输入了混合信号的时间段作为字尾部分;以及优势比计算步骤,用于从由电平检测部分检测的多个声音信号的每个电平中仅提取字尾部分的电平,并且计算每个声音信号的所提取电平与多个声音信号的所提取电平之和的比率作为优势比。
本发明的第十八方面涉及一种用于对由多个话筒分别收集的多个声音信号中的每个声音信号检测优势比的啸声检测方法,该优势比指示了在用于混合这多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险,该啸声检测方法包括:电平检测步骤,用于分别检测多个声音信号的电平;啸声出现检测步骤,用于计算混合信号的功率谱,并基于功率谱的变化检测啸声出现;以及优势比计算步骤,用于从由电平检测部分检测的多个声音信号的每个电平中仅提取字尾部分的电平,并且计算每个声音信号的所提取电平与多个声音信号的所提取电平之和的比率作为优势比。
发明效果
根据前述的第一方面,字尾部分仅包括引起啸声出现的信号分量,并且通过使用字尾部分的电平来计算优势比,从而能够检测指示多个声音信号中可能会引起啸声出现的声音信号的风险。此外,基于每个声音信号在被声音混合部分混合之前的电平来计算优势比。因此,根据第一方面,例如,在多个声音信号被声音混合部分混合之前,即使在这多个声音信号的频率特性和/或增益特性中出现变化,仍能根据这些变化检测到风险。
根据前述的第二方面,通过使用优势比来计算传输特性,由此能根据指示多个声音信号中可能会引起啸声出现的声音信号的风险来执行啸声抑制。此外,通过使用优势比来计算传输特性。于是,例如,在多个声音信号被声音混合部分混合之前,即使在这多个声音信号的频率特性和/或增益特性中出现变化,并且相应地在声音信号的传输特性中也出现了快速变化,仍能根据这些变化执行强有力的啸声抑制。
根据前述的第三方面,基于与优势比相对应的声音信号的电平之和的变化率来计算传输特性,从而能够在考虑指示出可能会引起啸声出现的多个声音信号的风险的同时执行强有力的啸声抑制。
根据前述的第四方面,计算传输特性以使其对应于多个声音信号中具有相对较高的啸声出现风险的至少一个声音信号,由此能够实现高效率的啸声抑制。
根据前述的第五方面,计算传输特性以使其对应于多个声音信号中具有最高啸声出现风险的一个声音信号,由此能够实现高效率的啸声抑制。例如,因为在用户执行混合操作时很少出现多个声音信号的电平同时变化的情况,所以即使仅根据最高优势比来计算传输特性,也能执行强有力的啸声抑制。
根据前述的第六方面,指定声音信号中具有相对较高的优势比的至少一个声音信号,由此能够通知用户多个声音信号中具有相对较高的啸声出现风险的的至少一个声音信号。此外,即使用户对要收集的多个声音信号执行混合操作,他或她例如也能通过参考每个声音信号的风险来执行操作以避免啸声出现。
根据前述的第七方面,指定声音信号中具有最高优势比的一个声音信号,由此能够通知用户这多个声音信号中的具有最高啸声出现风险的一个声音信号。此外,即使用户对要收集的多个声音信号执行混合操作,他或她也能通过参考每个声音信号的风险来执行操作以避免啸声出现。
根据前述的第八方面,使用功率谱来表示多个声音信号中每个信号的电平,从而能够针对每个频带检测啸声出现的风险。
根据前述的第九方面,当啸声出现时,可以检测指示多个声音信号中可能会引发啸声出现的声音信号的风险。此外,基于被声音混合部分混合之前的声音信号的电平来计算优势比。因此,根据本发明,在被声音混合部分混合之前,即使多个声音信号的频率特性和/或增益特性出现变化,并且相应地在声音信号的传输特性中出现变化,仍能根据这些变化例如来检测风险。
根据前述的第十方面,通过使用优势比计算传输特性,从而能够根据指示多个声音信号中可能会引发啸声出现的声音信号的风险来执行啸声抑制。此外,通过使用优势比来计算传输特性。于是,例如,在被声音混合部分混合之前,即使多个声音信号的频率特性和/或增益特性出现快速变化,并且相应地在声音信号的传输特性中出现变化,仍能根据这些变化来执行强有力的啸声抑制。
根据前述的第十一方面,基于对应于优势比的声音信号的电平之和的变化率来计算传输特性,从而能够在检测到字尾部分之前,在考虑到指示可能会引发啸声出现的声音信号的风险的同时实现强有力的啸声抑制。
根据前述的第十二方面,计算传输特性以使其对应于多个声音信号中具有相对较高的啸声出现风险的任一声音信号,由此能够实现高效率的啸声抑制。
根据前述的第十三方面,计算传输特性以使其对应于多个声音信号中具有最高啸声出现风险的一个声音信号,从而能够实现高效率的啸声抑制。例如,因为在用户执行混合操作时很少出现多个声音信号的电平同时变化的情况,所以即使仅根据最高优势比来计算传输特性,也能执行强有力的啸声抑制
根据前述的第十四方面,在啸声出现时,能够通知用户多个声音信号中具有相对较高的啸声出现风险的任一声音信号。此外,即使用户对要收集的多个声音信号执行混合操作,他或她也能通过参考每个声音信号的风险来执行操作以避免啸声出现。
根据前述的第十五方面,在啸声出现时,能够通知用户多个声音信号中具有最高啸声出现风险的一个声音信号。此外,即使用户对要收集的多个声音信号执行混合操作,他或她也能通过参考每个声音信号的风险来执行操作以避免啸声出现。
根据前述的第十六方面,使用功率谱来表示多个声音信号中每一信号的电平,由此能够针对每个频带检测啸声出现的风险。
附图简述
图1是示出增音系统1的一个示例性配置的框图。
图2是示出声音特性调节部分12和声音混合部分13的一个示例性配置的框图。
图3是示出噪声参考信号Y(t)和声音信号Xm(t)的波形的图。
图4是示出环路增益G1(ω)、G2(ω)与环路增益之和(G1(ω)+G2(ω))的频谱的一个示例的图。
图5是示出啸声抑制部分17的一个示例性配置的框图。
图6是示出增音系统2的一个示例性配置的框图。
图7是示出根据第二实施例的啸声抑制部分22的一个示例性配置的框图。
图8是示出啸声警告设备的一个示例性配置的框图。
图9是示出在其中使用了啸声出现检测部分21的啸声警告设备的一个示例性配置的框图。
图10是示出用于混合并增强多个声音信号的增音系统9的一个示例性配置的示意图,该系统中采用了在专利文献1和专利文献2中公开的啸声抑制设备。
图11是示出声音特性调节部分92和声音混合部分93的一个示例性配置的框图。
图12是示出在其中使用了应用滤波器94的啸声抑制部分94的一个示例性配置的框图。
图13是示出声音混合部分93输出的声音信号的功率谱X(ω)在啸声出现时的变化的示意图。
图14是示出包括在向其输入了一个信号的增音系统9内并与传输特性有关的各元件的特性的示意图。
图15是示出包括在向其输入了多个信号的增音系统9内并与传输特性有关的各元件的特性的示意图。
参考标号的说明
1,2         增音系统
3            啸声警告设备
11a          第一话筒
11b          第二话筒
12           声音特性调节部分
13           声音混合部分
14           电平检测部分
15,  176    字尾检测部分
16         优势比计算部分
17,22     啸声抑制部分
18         扬声器
21         啸声出现检测部分
31         啸声警告部分
121        均衡器
122        放大部分
171        第一功率谱计算部分
172        第二功率谱计算部分
173        传输特性计算部分
174        傅立叶逆变换部分
175        卷积部分
实现本发明的最佳方式
(第一实施例)
如下将参考图1描述其中采用了根据本发明第一实施例的啸声检测方法和啸声抑制方法的增音系统1。图1是示出增音系统1的一个示例性配置的框图。在图1中,增音系统1包括第一话筒11a、第二话筒11b、声音特性调节部分12、声音混合部分13、电平检测部分14、字尾检测部分15、优势比计算部分16、啸声抑制部分17和扬声器18。注意,增音系统1可以是用于借助三个或更多话筒来增音的系统。然而,在本实施例中,假设增音系统1借助两个话筒来增音。在图1中,第一话筒11a收集将由扬声器18输出的声音,并生成声音信号。由第一话筒11a生成的声音信号用X1(t)表示。类似地,第二话筒11b收集待增强的声音,并生成声音信号X2(t)。
将声音信号X1(t)和X2(t)输入到声音特性调节部分12。声音特性调节部分12调节每个声音信号的频率和增益特性。注意,由声音特性调节部分12调节的声音信号X1(t)用Xm1(t)表示。类似地,由声音特性调节部分12调节的声音信号X2用Xm2(t)表示。将由声音特性调节部分12调节的声音信号Xm1(t)和Xm2(t)输出至电平检测部分14和声音混合部分13。输入到声音混合部分13的声音信号Xm1(t)和Xm2(t)由声音混合部分13混合。混合后的声音信号用Xm(t)表示。随后,将由声音混合部分13混合的声音信号Xm(t)输出至字尾检测部分15和啸声抑制部分94。注意,声音特性调节部分12和声音混合部分13与例如图2所示的市场上可购买的混合器相对应。
图2是示出声音特性调节部分12和声音混合部分13的一个示例性配置的框图。在图2中,声音特性调节部分12包括例如均衡器121a、均衡器121b、放大部分122a和放大部分122b。均衡器121a调节由第一话筒11a收集并生成的声音信号X1(t)的频率特性。放大部分122a调节由均衡器121a调节的声音信号的增益特性。类似地,均衡器121b和放大部分122b分别调节由第二话筒11b收集并生成的声音信号X2(t)的频率特性和增益特性。如上所述,类似于市场上可购买的混合器,在声音特性调节部分12内,以独立的方式分别调节由第一话筒11a收集的声音信号的频率特性和增益特性以及由第二话筒12b收集的声音信号的频率特性和增益特性。
电平检测部分14检测由声音特性调节部分12输出的每一声音信号Xm1(t)和Xm2(t)的电平。作为一种具体的检测方法,例如以预定的时间间隔计算功率谱,从而对每个频带检测每个声音信号的电平。关于由电平检测部分14以预定的时间间隔为每个频带所检测的电平的全部信息都被输出至优势比计算部分16。
基于从声音混合部分13输入的声音信号Xm(t)以及噪声参考信号Y(t),字尾检测部分15检测延迟部分作为字尾,即噪声参考信号Y(t)的声音部分与声音信号Xm(t)的声音部分之间的时差。注意,噪声参考信号Y(t)是关于待由扬声器输出的声音的信号。例如,噪声参考信号Y(t)是在由扬声器18输出前一刻获得的声音信号。在此情况下,将在输入到扬声器18前一刻获得的噪声参考信号Y(t)输入到啸声抑制部分17。或者,噪声参考信号Y(t)可以是其中在扬声器附近输出的声音由另一个话筒等收集并生成的声音信号。在此情况下,将啸声抑制部分17与所述另一个话筒相连,并将所述另一个话筒输出的声音信号作为噪声参考信号Y(t)输入到啸声抑制部分17。
参考图3,将描述字尾部分内的信号分量。图3是示出噪声参考信号Y(t)和声音信号Xm(t)的波形的图。如图3所示,声音信号Xm(t)的声音部分要长于噪声参考信号Y(t)的声音部分,因为声音信号Xm(t)相比噪声参考信号Y(t)有延迟。如图13和公式1所示,这是因为由话筒收集并生成的声音信号除了由说话者发出的声音S(ω)之外,还包括由扬声器输出、通过空间传播并在随后被再次混入话筒的声音Y(ω)*R(ω)。即,待混合的声音Y(ω)*R(ω)与扬声器18输出的声音相比延迟了该声音Y(ω)*R(ω)通过空间传播的时间段。对于由第一话筒11a和第二话筒11b输入的声音信号而言也是如此。如上所述,声音信号Xm(t)包括通过空间传播并在随后被再次混入第一话筒11a和/或第二话筒11b的延迟的声音Y(ω)*R(ω)的信号分量。即,图3所示的字尾部分仅包括通过空间传播并在随后被再次混入第一话筒11a和/或第二话筒11b的信号分量。字尾检测部分15检测前述字尾部分,由此以下将描述的优势比计算部分16就能基于通过空间传播并在随后被再次混入第一话筒11a和/或第二话筒11b的信号分量来计算优势比。作为由字尾检测部分15执行的一种具体的检测方法,例如可以使用声音信号X(t)和噪声参考信号Y(t)的波形的功率包络。使用声音信号X(t)和噪声参考信号Y(t)的功率包络(除了其上升部分之外),以始终监视声音信号X(t)与噪声参考信号Y(t)的功率包络之比,从而能够检测字尾部分。或者,字尾检测部分15例如可以在同一时域内对噪声参考信号Y(t)和声音信号Xm(t)进行比较。随后,字尾检测部分15可以检测每个功率包络的下降沿,而其间的差值就可被确定为字尾部分。与字尾检测部分15测得的字尾(延迟部分)相关的信息被发送至优势比计算部分16和啸声抑制部分17。
优势比计算部分16基于电平检测部分14输出的每个声音信号的电平以及字尾检测部分15测得的字尾来计算已输入的多个声音信号(图1中的Xm1(t)和Xm2(t))中每个信号的优势比。注意,优势比计算部分16仅对由字尾检测部分15测得的字尾部分执行计算过程。如下将详述优势比计算方法。注意,优势比对多个信号中的每个信号指示出啸声出现风险。
在由电平检测部分14算出的电平中,包括在字尾部分内的功率谱的电平用环路增益G表示。同样地,声音信号Xm1(t)的环路增益用G1(ω)表示,并且声音信号Xm2(t)的环路增益用G2(ω)表示。类似地,从第n(n是自然数)个话筒输入并的声音信号,即其频率和增益特性由声音特性调节部分12调节的声音信号用Xmn(t)表示。在此情况下,声音信号Xmn(t)的环路增益Gn(ω)用公式7来表示。
[公式7]
Gn(ω)=Mn(ω)*Xn(ω)          …(7)
其后,优势比计算部分16从声音信号的每个电平中提取指示字尾部分的电平的环路增益G并,计算例如每个声音信号的环路增益与全部声音信号的环路增益之和的比率作为每个声音信号的优势比。例如,在图1中,环路增益之和是G1(ω)+G2(ω)。因此,声音信号Xm1(t)的优势比用G1(ω)与总和(G1(ω)+G2(ω))之比来表示。同样,声音信号Xm2(t)的优势比用G2(ω)与总和(G1(ω)+G2(ω))之比来表示。如上所述,如图4所示的,优势比计算部分16能够基于每个频带的每个环路增益的优势比为每个频带确定其字尾部分内具有更高优势比的声音信号的任一环路增益。图4是示出环路增益G1(ω)、G2(ω)与环路增益之和(G1(ω)+G2(ω))的频谱的一个示例的图。在图4的示例中,G2(ω)的优势比在大于频率f的频带中更高。于是,确定G2(ω)占优势。另一方面,G1(ω)的优势比在小于频率f的频带中更高。于是,确定G1(ω)占优势。
如上所述,在仅包括通过空间传播的信号分量的字尾部分中,优势比计算部分16计算每个声音信号的优势比,由此检测任何具有更高优势比的声音信号。注意,通过空间传播的信号分量是引起啸声出现的信号分量。因此,优势比计算部分16能在啸声出现之前检测是如图13所示的通过R1(ω)传输的声音占优势还是如图13所示的通过R2(ω)传输的声音占优势。声音信号的优势越大,啸声出现的风险就越高。注意,声音特性调节部分12、声音混合部分13、电平检测部分14、字尾检测部分15和优势比计算部分16对应于根据本发明的啸声检测设备。根据本发明的啸声检测设备计算优势比,从而能够对多个声音信号中每个信号检测啸声出现的风险。
如果啸声检测设备被构造成使得在每次检测到字尾时都通过预定方法获知并更新算出的优势比,则能根据话筒的位置变化来顺序地改变优势比。注意,获知优势比的时刻不限于检测到字尾的时刻。考虑到估计的顺序和精度,可以按需调整获知优势比的时刻。
啸声抑制部分17对声音混合部分13混合的声音信号Xm(t)执行信号处理以抑制啸声。按需放大已执行信号处理的声音信号以便由扬声器18输出。以下将参考图5详述由啸声抑制部分17执行的处理方法。图5是示出啸声抑制部分17的一个示例性配置的框图。如图5所示,采用二输入减法配置。在二输入减法配置中,将待增强的声音信号用作噪声参考信号,由此能够在根据待增强的声音信号内包括的字尾而获知传输特性的同时抑制啸声出现。在图5中,啸声抑制部分17包括第一功率谱计算部分171、第二功率谱计算部分172、传输特性计算部分173、傅立叶逆变换部分174和卷积部分175。
在图5中,声音混合部分13输出的声音信号Xm(t)被输入到第一功率谱计算部分171。第一功率谱计算部分171随后计算声音信号Xm(t)的功率谱X(ω)。噪声参考信号Y(t)被输入到第二功率谱计算部分172。第二功率谱计算部分172随后计算噪声参考信号Y(t)的功率谱Y(ω)。注意,作为噪声参考信号Y(t)的待增强的声音信号例如可以是由扬声器18输出前一刻获得的声音信号。或者,待增强的声音信号可以是其中扬声器18的附近输出的声音由另一个话筒等收集并生成的声音信号。
基于声音信号Xm(ω)和噪声参考信号Y(ω),传输特性计算部分173首先仅对由字尾检测部分15测得的字尾部分估计功率谱比率Hr(ω)。功率谱比率Hr(ω)由公式(8)表示。
[公式8]
Hr ( ω ) = ϵ { X ( ω ) Y ( ω ) } · · · ( 8 )
注意,ε表示平均数。其后,传输特性计算部分173基于公式(8)估计的功率谱比率Hr(ω)来计算公式(9)所示的传输特性Hsup(ω)。
[公式9]
H sup ( ω ) = X ( ω ) - Hr ( ω ) * Y ( ω ) X ( ω ) · · · ( 9 )
如上所述,在本发明中,Hsup(ω)是用于估计不包括与字尾部分内所包括的信号具有相同信号分量的信号的声音信号Xm(t)的函数。
接着,传输特性计算部分173将通过公式(9)算出的Hsup(ω)与环路增益之和的变化率相乘来计算Hsup(ω),其中该变化率是基于由优势比计算部分16算出的每个声音信号的环路增益和优势比所获得的。如下,将描述Hsup(ω)的计算方法。
假设用户在声音特性调节部分12和声音混合部分13内执行混合操作,并改变每个声音信号X1(t)和X2(t)的频率和增益特性。声音信号Xm1(t)的频率和增益特性M1(ω)以及声音信号Xm2(t)的频率和增益特性M2(ω)根据上述操作而变化。在此情况下,如公式7所示,环路增益G1(ω)和G2(ω)相应地改变。此处,在混合操作之前由优势比计算部分16算出的优势比之间,假设环路增益G1(ω)的优势比大于环路增益G2(ω)的优势比。同样,混合操作之后由优势比计算部分16算出的环路增益G1(ω)可用环路增益Glnew(ω)表示,并且混合操作之前由优势比计算部分16算出的环路增益G1(ω)用环路增益Glold(ω)表示。类似地,混合操作之后由优势比计算部分16算出的环路增益G2(ω)可用环路增益G2new(ω)表示,而混合操作之前由优势比计算部分16算出的环路增益G2(ω)用环路增益G2old(ω)表示。
在此情况下,在混合操作之前由优势比计算部分16算出的环路增益之和用Glold(ω)+G2old(ω)表示。反之,在混合操作之后由优势比计算部分16算出的环路增益之和是仅考虑在混合操作之前算出的优势比中具有最高优势比的环路增益而获得的和。更具体地,在上述示例中,环路增益G1(ω)的优势比要高于环路增益G2(ω)的优势比。于是,在混合操作之后由优势比计算部分16算出的环路增益之和可用Glnew(ω)+G2old(ω)表示。在此情况下,环路增益之和的变化率Lr(ω)用公式10来表示。
[公式10]
L r ( ω ) = G 1 new ( ω ) + G 2 old ( ω ) G 1 old ( ω ) + G 2 old ( ω ) · · · ( 10 )
如上所述,基于由优势比计算部分16算出的每个声音信号的环路增益和优势比,获得了环路增益之和的变化率Lr(ω)。即,在环路增益之和的变化率Lr(ω)中,根据具有最高优势比的环路增益G1(ω)的变化,估计出环路增益之和(Glold(ω)+G2old(ω))变为环路增益之和(Glnew(ω)+G2old(ω))。注意,在以上描述中,环路增益之和仅由具有最高优势比的环路增益所反映。这是由于在用户执行混合操作时很少出现两个或更多的声音信号同时变化的情况,因而即使变化率Lr(ω)改变,仅根据具有最高优势比的环路增益,也能执行强有力的啸声抑制。如上所述,环路增益之和由具有最高优势比的环路增益所反映,从而即使输入了多个声音信号,也能够在只考虑具有最高优势比的环路增益的同时执行有效且有力的啸声抑制。
传输特性计算部分173将公式(10)示出的环路增益之和的变化率与通过公式(9)算出的传输特性Hsup(ω)相乘,从而计算对应于环路增益之和的变化率的传输特性Hsup_new(ω)。注意,传输特性Hsup(ω)由Hsup_old(ω)表示,而对应于环路增益之和的变化率的传输特性由Hsup_new(ω)表示。在此情况下,与环路增益之和的变化率相对应的传输特性Hsup_new(ω)可用公式(11)来表示。
[公式11]
Hsup_new(ω)=Lr(ω)*Hsup_old(ω)      …(11)
如上所述,在本发明中,与环路增益之和的变化率相对应的传输特性Hsup_new(ω)是通过将作为估计函数的Hsup_old(ω)与环路增益之和的变化率相乘而获得的传输特性。
由公式(11)更新的Hsup_new(ω)通过傅立叶逆变换部分174转换至时域。已转换至时域的Hsup_new(ω)用滤波器系数Hsup_new(t)来表示。卷积部分175将滤波器系数Hsup_new(t)与从声音混合部分13输入的声音信号Xm(t)进行卷积,以便从声音信号Xm(t)中减去仅与由字尾检测部分15检测的字尾部分内所包括的信号具有相同信号分量的信号。注意,当字尾检测部分15检测到字尾部分时,计算(公式(9))并更新(公式(11))Hsup(ω)。或者,例如可在每次检测字尾部分时通过预定方法来获知所计算(公式(9))并更新(公式(11))的Hsup(ω)。
如上所述,根据本实施例,优势比计算部分16计算每个声音信号的环路增益和优势比,从而通过使用基于优势比获得的环路增益之和的变化率来计算传输特性。此外,因为优势比是基于从声音特性调节部分12输出的输出信号来算出的,所以优势比是根据由声音特性调节部分12调节的频率特性和增益特性而变化的值。于是,在用于混合并增强多个声音信号的增音系统中,基于该优势比来计算用于啸声抑制的传输特性,从而即使在声音特性调节部分12快速改变传输特性的情况下,也能执行强有力的啸声抑制。即,即使在用户执行混合操作并且M(ω)根据该操作而快速变化的情况下。也能实现强有力的啸声抑制。
在以上的描述中,环路增益之和是基于根据时间变化并在由优势比计算部分16在混合操作之前算出的优势比中具有最高优势比的环路增益来估计的。尽管如此,本发明不限于此。例如,也可通过具有相对较高优势比的多个环路增益来反映环路增益之和。例如,假设提供了三个话筒,并且话筒的环路增益分别用G1(ω)、G2(ω)和G3(ω)表示。此外,还假设在混合操作之前,环路增益G1(ω)的优势比和环路增益G2(ω)的优势比要大于环路增益G3(ω)的优势比。环路增益之和(G1(ω)+G2(ω)+G3(ω))可用环路增益G1(ω)和G2(ω)来反映。在此情况下,环路增益之和的变化率Lr(ω)用公式12来表示。
[公式12]
L r ( ω ) = G 1 new ( ω ) + G 2 new ( ω ) + G 3 old ( ω ) G 1 old ( ω ) + G 2 old ( ω ) + G 3 old ( ω ) · · · ( 12 )
此外,传输特性计算部分173可以使用由优势比计算部分16算出的优势比来分别反映声音信号的环路增益,以获得环路增益之和的变化率。或者,传输特性计算部分173可基于通过除了使用环路增益之和的变化率之外的其他方法获得的优势比来计算用于啸声抑制的传输特性。
在以上的描述中,向增音系统1输入了两个声音信号。然而,本发明不限于此。增音系统1例如可以具有三个或更多的话筒,并且可以将三个或更多的声音信号输入到增音系统1。此外,在以上描述中,啸声抑制部分17的详细减法结构如图5所示。然而,本发明不限于此。除了使用滤波器来执行卷积的方法之外还已知各种减法方法,并且可配置啸声抑制部分17来使用这些减法方法。
在以上描述中,电平检测部分14可以分析每个声音信号的频率,从而使用功率谱计算每个声音信号的电平。然而,本发明不限于此。例如,电平检测部分14可以基于标量值以预定的时间间隔计算每个声音信号的功率。在此情况下,优势比计算部分16基于该标量值计算每个声音信号的优势比。同样也可基于该标量值表示环路增益之和的变化率Lr(ω)。
(第二实施例)
如下将参考图6描述其中采用了根据本发明第二实施例的啸声检测方法和啸声抑制方法的增音系统2。图6是示出增音系统2的一个示例性配置的框图。在图6中,增音系统2包括第一话筒11a、第二话筒11b、声音特性调节部分12、声音混合部分13、电平检测部分14、啸声出现检测部分21、优势比计算部分16、啸声抑制部分22和扬声器18。在第一实施例中,仅在字尾部分中计算每个声音信号的优势比。然而,在本实施例中,在检测啸声时计算每个声音信号的优势比。因此,在第一实施例和本实施例之间存在差异。下文将主要参考这一差异来描述本实施例。与第一实施例类似,增音系统2也可以是借助三个或更多话筒来增音的系统。但在本实施例中,仍假设增音系统2借助两个话筒来增音。
在图6中,第一话筒11a收集将由扬声器18输出的声音,并生成声音信号。由第一话筒11a生成的声音信号用X1(t)表示。类似地,第二话筒11b收集待增强的声音,并生成声音信号X2(t)。声音信号X1(t)和X2(t)被输入到声音特性调节部分12。声音特性调节部分12调节每个声音信号的频率和增益特性。其后,由声音特性调节部分12调节的声音信号Xm1(t)和Xm2(t)由声音混合部分13混合。电平检测部分14检测由声音特性调节部分12输出的每个声音信号Xm1(t)和Xm2(t)的电平。之后,与电平检测部分14以预定的时间间隔为每个频带测得的电平相关的全部信息都被输入优势比计算部分16。上述过程与前述第一实施例的过程类似。
啸声出现检测部分21计算由声音混合部分13混合的声音信号Xm(t)的功率谱X(ω),由此检测啸声出现。例如,假设在特定频率f处出现啸声。在此情况下,声音信号Xm(t)的功率谱X(ω)如图13所示地变化,使得功率谱在特定频率f处的功率迅速增大。于是,能够始终监视频带及其相邻频带间的功率差,由此检测包括特定频率f在内的频带中快速增大的功率。即,能监视声音信号Xm(t)的功率谱X(ω),从而检测最初的啸声出现(极有可能出现啸声的状态)。之后,由啸声出现检测部分21测得的关于最初的啸声出现的信息被输出至优势比计算部分16。
基于从电平检测部分14输出的每个声音信号的电平以及由啸声出现检测部分21测得的信息,优势比计算部分16计算已被输入的多个声音信号(图6中的Xm1(t)和Xm2(t))中每个信号的优势比。注意,优势比计算部分16执行计算过程以便计算由啸声出现检测部分21测得最初的啸声出现的时刻的优势比。在由电平检测部分14算出的电平中,在检测到最初的啸声出现时获得的功率谱电平用环路增益G表示。用于计算优势比的详细方法与第一实施例中描述的方法相同。于是,省略对其的描述。此外,在本实施例中,优势比计算部分16计算每个声音信号的优势比,从而能检测在最初的啸声出现时刻占优势的任何声音信号。与前述的第一实施例类似,本实施例中的优势比指示对多个声音信号中每一信号的啸声出现风险。如上所述,声音特性调节部分12、声音混合部分13、电平检测部分14、啸声出现检测部分21和优势比计算部分16对应于根据本发明的啸声检测设备。即,根据本发明的啸声检测设备计算优势比,从而能够为多个声音信号中的每个信号检测啸声出现的风险。
啸声抑制部分22对由声音混合部分13混合的声音信号Xm(t)执行信号处理以抑制啸声。随后,按需放大已执行信号处理的声音信号以便由扬声器18输出。下文将参考图7描述由啸声抑制部分22执行的处理方法。图7是示出根据第二实施例的啸声抑制部分22的一个示例性配置的框图。在图7中,啸声抑制部分22包括第一功率谱计算部分171、第二功率谱计算部分172、传输特性计算部分173、傅立叶逆变换部分174、卷积部分175和字尾检测部分176。注意,在上述啸声抑制部分17中,关于字尾的信息由字尾检测部分15来引用。然而,啸声抑制部分22与啸声抑制部分17的不同之处在于啸声抑制部分22还包括字尾检测部分176,并且关于字尾的信息由字尾检测部分176来引用。下文将主要参考这一差异来描述本
实施例。
在图7中,由声音混合部分13输出的声音信号Xm(t)被输入到第一功率谱计算部分171。第一功率谱计算部分171随后计算声音信号Xm(t)的功率谱X(ω)。噪声参考信号Y(t)被输入到第二功率谱计算部分172。第二功率谱计算部分172随后就计算噪声参考信号Y(t)的功率谱Y(ω)。
字尾检测部分176具有与上述字尾检测部分15相同的功能。基于从声音混合部分13输入的声音信号Xm(t)以及噪声参考信号Y(t),字尾检测部分176检测延迟部分作为字尾,即噪声参考信号Y(t)的声音部分与声音信号Xm(t)的声音部分之间的时差。与前述第一实施例类似,噪声参考信号Y(t)例如是在由扬声器18输出前一刻获得的声音信号。在图7中,字尾检测部分176形成于啸声抑制部分17内部。然而,字尾检测部分176也可被设置在啸声抑制部分17的外部。或者,可以用单独的方式来形成啸声抑制部分17和字尾检测部分176,并且可将字尾检测部分176测得的信息输入到啸声抑制部分17。
传输特性计算部分173首先基于声音信号Xm(ω)和噪声参考信号Y(ω),仅在字尾检测部分176测得的字尾部分中估计公式8所示的功率谱比率Hr(ω)。传输特性计算部分173随后基于在公式8中估计的功率谱比率Hr(ω)来计算公式(9)所示的传输特性Hsup(ω)。接着,传输特性计算部分173将与公式(9)算出的Hsup(ω)乘以环路增益之和的变化率,即基于由优势比计算部分16算出的每个声音信号的环路增益和优势比而获得的变化率,从而计算出与该变化率相对应的传输特性Hsup_new(ω)。随后,由公式(11)算出的并与变化率相对应的传输特性Hsup_new(ω)被傅立叶逆变换部分174转换至时域。卷积部分175将已被转换至时域的滤波器系数Hsup_new(t)与从声音混合部分13输入的声音信号Xm(t)进行卷积,由此从声音信号Xm(t)中减去仅与由字尾检测部分15测得的字尾部分内所包括的信号具有相同信号分量的信号。在此情况下,基于通过引起最初的啸声出现的任何环路增益所获得的环路增益之和的变化率来计算与该变化率相对应的传输特性Hsup_new(ω)。因此,能够在考虑当前引发最初的啸声出现的任何声音信号以及该声音信号的频率分量的同时抑制啸声。
在本实施例中,当字尾检测部分176检测到字尾部分时计算Hsup(ω)(公式(9))。当啸声出现检测部分21检测到最初的啸声出现时,更新基于优势比获得的对应于环路增益之和的变化率的Hsup(ω)(公式(11))。或者,例如可以在每次检测到字尾部分时通过预定的方法获知由公式9计算的Hsup(ω)。例如可以在每次检测到最初的啸声出现时通过预定的方法获知由公式11更新的Hsup(ω)。
如上所述,根据本实施例,优势比计算部分16在最初的啸声出现时刻计算每个声音信号的环路增益和优势比。其后,计算传输特性以便与基于优势比获得的环路增益之和的变化率相对应。此外,因为优势比是基于声音特性调节部分12输出的输出信号来计算的,所以优势比是依据由声音特性调节部分12调节的频率特性和增益特性来变化的值。于是,在用于混合和增强多个声音信号的增音系统中,基于优势比来计算用于啸声抑制的传输特性,由此即使在由于快速改变传输特性的声音特性调节部分12而出现啸声的情况下,也能执行强有力的啸声抑制。更具体地,即使在M(ω)根据用户执行的混合操作而快速变化并且啸声极有可能出现的情况下,仍能实现强有力的啸声抑制。结果,能防止啸声出现。
(第三实施例)
如下将参考图8和图9描述其中采用了根据本发明第三实施例的啸声检测方法的啸声警告设备。图8是示出啸声警告设备的一个示例性配置的框图。在图8中,啸声警告设备包括第一话筒11a、第二话筒11b、声音特性调节部分12、声音混合部分13、电平检测部分14、字尾检测部分15、优势比计算部分16、扬声器18和啸声警告部分31。
图9是示出其中使用了啸声出现检测部分21的啸声警告设备的一个示例性配置的框图。在图9中,啸声警告设备包括第一话筒11a、第二话筒11b、声音特性调节部分12、声音混合部分13、电平检测部分14、啸声出现检测部分21、优势比计算部分16、扬声器18和啸声警告部分31。如图8和图9所示,本实施例与前述第一和第二实施例的不同之处在于本实施例中提供了啸声警告部分31来代替分别在第一和第二实施例中提供的啸声抑制部分17和22。换言之,在本实施例中,在根据本发明的前述啸声检测设备中额外地提供了啸声警告部分31。在下文中将主要参考这一差异来描述本实施例。此外,第一话筒11a、第二话筒11b、声音特性调节部分12、声音混合部分13、电平检测部分14、字尾检测部分15、优势比计算部分16、啸声出现检测部分21和扬声器18与在前述第一和第二实施例中描述的各元件相同。由此,用相同的标号来表示并且省略对它们的详细描述。
在图8中,啸声警告部分31根据优势比计算部分16在字尾部分内算出的优势比来警告用户任何具有啸声出现风险的声音信号。作为警告用户的显示装置,例如可以为调节声音信号频率特性和增益特性的混合器内包括的多个通道分别提供指示灯,以使任何具有啸声出现风险的声音信号的通道的指示灯闪烁。或者,例如可以使具有最高优势比(具有最高啸声出现风险)的一个声音信号的通道的指示灯闪烁。或者,例如还可使具有较高优势比的两个或更多通道的指示灯闪烁。在为每个频带计算优势比的情况下,可以为每个通道的每个频带提供指示灯,并可以为每个频带使指示灯闪烁。此外,显示装置不限于上述使用指示灯的示例。显示装置还可以是用于在屏幕上显示警告的装置或者可以是其他装置。另外,啸声警告部分31不仅可以发出警告,还能使声音特性调节部分12根据警告自动改变声音特性(例如,减小增益),从而防止啸声出现。
或者,如图9所示,可以根据最初的啸声出现时刻的优势比来警告用户具有啸声出现风险的任何声音信号。在图9中,啸声警告部分31参考由优势比计算部分16算出的最初的啸声出现时刻的优势比,从而能够警告用户当前引发最初的啸声出现的任何声音信号。
如上所述,在本实施例中,啸声警告部分31根据由优势比计算部分16算出的优势比,警告用户具有啸声出现风险的任何声音信号或者当前引发最初的啸声出现的任何声音信号。于是,即使在输入了多个声音信号的情况下,也能允许用户为每个声音信号执行混合操作以防止啸声出现。
在以上第一至第三实施例描述的各元件中,至少一部分元件可由集成电路实现。下文将为每个实施例描述详细的示例。在上述的第一实施例中有所描述的电平检测部分14、字尾检测部分15、优势比计算部分16和啸声抑制部分17都能由集成电路实现,在该集成电路中,例如接收声音特性调节部分12输出的声音信号(图1中的Xm1(t)和Xm2(t))、声音混合部分13输出的声音信号(图1中的Xm(t))以及噪声参考信号(图1中的Y(t)),并且由放大部分等按需放大对接收到的信号执行信号处理的结果,并将其输出给扬声器18。在上述的第二实施例中有所描述的电平检测部分14、啸声出现检测部分21、优势比计算部分16和啸声抑制部分17也都能用集成电路来实现,在该集成电路中,例如接收声音特性调节部分12输出的声音信号(图6中的Xm1(t)和Xm2(t))、声音混合部分13输出的声音信号(图6中的Xm(t))以及噪声参考信号(图6中的Y(t)),并且由放大部分等按需放大对接收到的信号执行信号处理的结果,并将其输出给扬声器18。在上述第三实施例的图8中有所描述的电平检测部分14、字尾检测部分15和优势比计算部分16都能用集成电路来实现,在该集成电路中,例如接收声音特性调节部分12输出的声音信号(图8中的Xm1(t)和Xm2(t))和声音混合部分13输出的声音信号(图8中的Xm(t)),并且对接收到的信号执行信号处理的结果被输出至啸声警告部分31。在上述第三实施例的图9中有所描述的电平检测部分14、啸声出现检测部分21和优势比计算部分16都能用集成电路来实现,在该集成电路中,例如接收声音特性调节部分12输出的声音信号(图9中的Xm1(t)和Xm2(t))和声音混合部分13输出的声音信号(图9中的Xm(t)),并且将对接收到的信号执行信号处理的结果输出至啸声警告部分31。于是,在前述的第一至第三实施例中,将可将起到上述各元件作用的电路集成入小型封装内以形成例如声音信号处理电路DSP(数字信号处理器),由此能够实现本发明。
工业实用性
根据本发明的啸声检测设备和方法适用于能够混合并增强多个声音信号,并且能够通过计算优势比来检测每个声音信号的啸声出现风险的增音系统、具有混音功能的PA设备等。

Claims (18)

1.一种用于对分别由多个话筒收集的多个声音信号中的每一声音信号检测优势比的啸声检测设备,所述优势比指示出在用于混合所述多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险,所述啸声检测设备包括:
电平检测部分,用于分别检测所述多个声音信号的电平;
字尾检测部分,用于在同一时域内将所述混合信号与有关待由扬声器作为噪声参考信号输出的声音的信号进行比较,并且检测其间在所述噪声参考信号下降之后输入了所述混合信号的时间段作为字尾部分;以及
优势比计算部分,用于从由所述电平检测部分检测的多个声音信号的每个电平中仅提取字尾部分的电平,并且计算每个所述声音信号的所提取电平与所述多个声音信号的所提取电平之和的比率作为优势比。
2.如权利要求1所述的啸声检测设备,其特征在于,还包括啸声抑制部分,用于基于通过使用所述优势比算出的传输特性从所述混合信号中减去与所述字尾部分内所包括的信号具有相同分量的信号,并将所获得的信号输出至扬声器。
3.如权利要求2所述的啸声检测设备,其特征在于,
所述啸声抑制部分设置一用于估计不包括与所述字尾部分内所包括的信号具有相同分量的信号的混合信号的函数,根据所述优势比更新所述多个声音信号电平之和,并且通过将所述函数乘以所更新的所述多个声音信号的电平之和相对于所述多个声音信号的电平之和的变化率来计算所述传输特性。
4.如权利要求3所述的啸声检测设备,其特征在于,
所述啸声抑制部分通过更新所述声音信号的电平中指示出相对较高优势比的至少一个声音信号电平来更新所述多个声音信号的电平之和。
5.如权利要求3所述的啸声检测设备,其特征在于,
所述啸声抑制部分通过仅更新所述声音信号的电平中指示出最高优势比的一个声音信号电平来更新所述多个声音信号的电平之和。
6.如权利要求1所述的啸声检测设备,其特征在于,还包括用于指定所述声音信号中指示出由所述优势比计算部分算出的相对较高优势比的至少一个声音信号,并将所述至少一个声音信号通知给用户的啸声警告部分。
7.如权利要求1所述的啸声检测设备,其特征在于,还包括用于指定所述声音信号中指示出由所述优势比计算部分算出的最高优势比的一个声音信号并将所述的一个声音信号通知给用户的啸声警告部分。
8.如权利要求1所述的啸声检测设备,其特征在于,
所述电平检测部分检测各自使用功率谱来表示的多个声音信号的电平。
9.一种用于对分别由多个话筒收集的声音信号中的每一声音信号检测优势比的啸声检测设备,所述优势比指示出在用于混合所述多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险,所述啸声检测设备包括:
电平检测部分,用于分别检测所述多个声音信号的电平;
啸声出现检测部分,用于计算所述混合信号的功率谱,并基于所述功率谱的变化检测啸声的出现;以及
优势比计算部分,用于从由所述电平检测部分检测的多个声音信号的每个电平中仅提取字尾部分的电平,并且计算每个所述声音信号的所提取电平与所述多个声音信号的所提取电平之和的比率作为优势比。
10.如权利要求9所述的啸声检测设备,其特征在于,还包括:字尾检测部分,用于在同一时域内将所述混合信号与待由扬声器作为噪声参考信号输出的声音信号进行比较,并且检测其间在噪声参考信号下降之后输入了混合信号的时间段作为字尾部分;以及
啸声抑制部分,用于基于通过使用所述优势比算出的传输特性从所述混合信号中减去与所述字尾部分内所包括的信号具有相同分量的信号,并将所获得的信号输出至扬声器。
11.如权利要求10所述的啸声检测设备,其特征在于,
所述啸声抑制部分在检测到字尾部分时,设置一用于估计不包括与所述字尾部分内所包括的信号具有相同分量的信号的混合信号的函数,根据所述优势比更新所述多个声音信号的电平之和,并在检测到字尾部分时通过将所述函数乘以所更新的所述多个声音信号的电平之和相对于所述多个声音信号的电平之和的变化率来计算所述传输特性。
12.如权利要求11所述的啸声检测设备,其特征在于,
所述啸声抑制部分通过更新所述声音信号的电平中指示出相对较高优势比的至少一个声音信号电平来更新所述多个声音信号的电平之和。
13.如权利要求11所述的啸声检测设备,其特征在于,
所述啸声抑制部分通过仅更新所述声音信号的电平中指示出最高优势比的一个声音信号电平来更新所述多个声音信号的电平之和。
14.如权利要求9所述的啸声检测设备,其特征在于,还包括用于指定所述声音信号中指示出由所述优势比计算部分算出的相对较高优势比的至少一个声音信号,并将所述至少一个声音信号通知给用户的啸声警告部分。
15.如权利要求9所述的啸声检测设备,其特征在于,还包括用于指定所述声音信号中指示出由所述优势比计算部分算出的最高优势比的一个声音信号,并将所述的一个声音信号通知给用户的啸声警告部分。
16.如权利要求9所述的啸声检测设备,其特征在于,
所述电平检测部分检测各自使用功率谱来表示的多个声音信号的电平。
17.一种用于对分别由多个话筒收集的多个声音信号中的每个声音信号检测优势比的啸声检测方法,所述优势比指示出在用于混合所述多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险,所述啸声检测方法包括:
电平检测步骤,用于分别检测所述多个声音信号的电平;
字尾检测步骤,用于在同一时域内将所述混合信号与有关待由扬声器作为噪声参考信号输出的声音的信号进行比较,并且检测其间在噪声参考信号下降之后输入了混合信号的时间段作为字尾部分;以及
优势比计算步骤,用于从由所述电平检测部分检测的多个声音信号的每个电平中仅提取字尾部分的电平,并且计算每个所述声音信号的所提取电平与所述多个声音信号的所提取电平之和的比率作为优势比。
18.一种用于对分别由多个话筒收集的多个声音信号中的每个声音信号检测优势比的啸声检测方法,所述优势比指示出在用于混合所述多个声音信号的声音混合部分所获得的混合信号由扬声器输出时要出现啸声的风险,所述啸声检测方法包括:
电平检测步骤,用于分别检测所述多个声音信号的电平;
啸声出现检测步骤,用于计算所述混合信号的功率谱,并基于所述功率谱的变化检测啸声出现;以及
优势比计算步骤,用于从由所述电平检测部分检测的多个声音信号的每个电平中仅提取字尾部分的电平,并且计算每个声音信号的所提取电平与所述多个声音信号的所提取电平之和的比率作为优势比。
CN2005800138788A 2004-06-16 2005-06-15 啸声检测设备和方法 Expired - Fee Related CN1951147B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP177859/2004 2004-06-16
JP2004177859 2004-06-16
PCT/JP2005/010959 WO2005125273A1 (ja) 2004-06-16 2005-06-15 ハウリング検出装置およびその方法

Publications (2)

Publication Number Publication Date
CN1951147A true CN1951147A (zh) 2007-04-18
CN1951147B CN1951147B (zh) 2011-08-17

Family

ID=35510156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800138788A Expired - Fee Related CN1951147B (zh) 2004-06-16 2005-06-15 啸声检测设备和方法

Country Status (4)

Country Link
US (1) US7912230B2 (zh)
JP (1) JP4675888B2 (zh)
CN (1) CN1951147B (zh)
WO (1) WO2005125273A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474682A (zh) * 2009-07-17 2012-05-23 雅马哈株式会社 啸声消除器
CN108513214A (zh) * 2017-02-28 2018-09-07 松下电器(美国)知识产权公司 噪音提取装置和方法、麦克风装置及记录程序的记录介质

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101199233B (zh) * 2005-05-18 2012-01-18 松下电器产业株式会社 颤噪控制装置和音响装置
EP1923866B1 (en) * 2005-08-11 2014-01-01 Asahi Kasei Kabushiki Kaisha Sound source separating device, speech recognizing device, portable telephone, sound source separating method, and program
JP4798360B2 (ja) * 2006-03-31 2011-10-19 ヤマハ株式会社 音響処理装置
JP4798359B2 (ja) * 2006-03-31 2011-10-19 ヤマハ株式会社 音響処理装置
US8478587B2 (en) * 2007-03-16 2013-07-02 Panasonic Corporation Voice analysis device, voice analysis method, voice analysis program, and system integration circuit
CN101897199B (zh) * 2007-12-10 2013-08-14 松下电器产业株式会社 拾音装置、拾音方法
JP5232485B2 (ja) * 2008-02-01 2013-07-10 国立大学法人岩手大学 ハウリング抑制装置、ハウリング抑制方法及びハウリング抑制プログラム
JP5157778B2 (ja) * 2008-09-18 2013-03-06 富士通株式会社 監視装置、監視方法及びコンピュータプログラム
EP2337376A4 (en) 2008-09-24 2014-02-26 Yamaha Corp DEVICE FOR MEASURING A CONTROL CIRCUIT REINFORCEMENT AND DEVICE FOR FEEDBACK PREVENTION
JP5381256B2 (ja) * 2009-04-09 2014-01-08 ヤマハ株式会社 ハウリング防止装置
JP5315894B2 (ja) * 2008-09-24 2013-10-16 ヤマハ株式会社 ハウリング防止装置、マイクロフォン、ミキサ、およびアダプタ
JP5381091B2 (ja) * 2008-12-26 2014-01-08 ヤマハ株式会社 ハウリング防止装置
JP5515538B2 (ja) * 2009-04-09 2014-06-11 ヤマハ株式会社 ハウリング防止装置
JP5381042B2 (ja) * 2008-11-25 2014-01-08 ヤマハ株式会社 ループゲイン推定装置
US8996365B2 (en) * 2009-03-19 2015-03-31 Yugengaisya Cepstrum Howling canceller
JP5278220B2 (ja) 2009-07-17 2013-09-04 ヤマハ株式会社 ハウリングキャンセラ
JP2011103505A (ja) * 2009-11-10 2011-05-26 Seiko Epson Corp 画像表示装置および制御方法
US8891786B1 (en) * 2010-05-17 2014-11-18 Marvell International Ltd. Selective notch filtering for howling suppression
US8781821B2 (en) * 2012-04-30 2014-07-15 Zanavox Voiced interval command interpretation
WO2014094242A1 (en) 2012-12-18 2014-06-26 Motorola Solutions, Inc. Method and apparatus for mitigating feedback in a digital radio receiver
US20140272883A1 (en) * 2013-03-14 2014-09-18 Northwestern University Systems, methods, and apparatus for equalization preference learning
TWI508576B (zh) * 2013-05-15 2015-11-11 Lite On Opto Technology Changzhou Co Ltd 揚聲器異音檢測方法及裝置
US9984675B2 (en) 2013-05-24 2018-05-29 Google Technology Holdings LLC Voice controlled audio recording system with adjustable beamforming
US9269350B2 (en) * 2013-05-24 2016-02-23 Google Technology Holdings LLC Voice controlled audio recording or transmission apparatus with keyword filtering
CN103391496B (zh) * 2013-07-16 2016-08-10 歌尔声学股份有限公司 应用于主动噪声消除anr耳机的啸叫抑制方法和装置
US9812150B2 (en) 2013-08-28 2017-11-07 Accusonus, Inc. Methods and systems for improved signal decomposition
US10468036B2 (en) * 2014-04-30 2019-11-05 Accusonus, Inc. Methods and systems for processing and mixing signals using signal decomposition
EP3163903B1 (en) * 2015-10-26 2019-06-19 Nxp B.V. Accoustic processor for a mobile device
US20210351952A1 (en) * 2017-06-12 2021-11-11 Audio-Technica Corporation Data transmission device and data transmission system
JP7028307B2 (ja) * 2018-02-16 2022-03-02 日本電信電話株式会社 ハウリング抑圧装置、その方法、およびプログラム
CN118016042B (zh) * 2024-04-09 2024-05-31 成都启英泰伦科技有限公司 一种啸叫抑制方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03237899A (ja) * 1990-02-15 1991-10-23 Yamaha Corp ハウリング抑制装置
JPH0771139B2 (ja) 1991-02-28 1995-07-31 松下電器産業株式会社 拡声通話装置
JP2560923B2 (ja) 1991-03-05 1996-12-04 ヤマハ株式会社 ハウリングキャンセル装置
JPH0833091A (ja) * 1994-07-18 1996-02-02 Roland Corp ハウリング予知装置
JPH08223274A (ja) * 1995-02-15 1996-08-30 Matsushita Electric Works Ltd ハンズフリー通話装置
JP3516227B2 (ja) * 1997-11-10 2004-04-05 ヤマハ株式会社 ハウリング抑止装置
JP3673727B2 (ja) * 2000-11-22 2005-07-20 日本電信電話株式会社 反響消去方法、その装置、そのプログラム及びその記録媒体
JP3607625B2 (ja) * 2001-02-08 2005-01-05 日本電信電話株式会社 多チャネル反響抑圧方法、その装置、そのプログラム及びその記録媒体
JP4681163B2 (ja) * 2001-07-16 2011-05-11 パナソニック株式会社 ハウリング検出抑圧装置、これを備えた音響装置、及び、ハウリング検出抑圧方法
JP3756828B2 (ja) 2002-02-25 2006-03-15 日本電信電話株式会社 反響消去方法、この方法を実施する装置、プログラムおよびその記録媒体
JP3984842B2 (ja) * 2002-03-12 2007-10-03 松下電器産業株式会社 ハウリング制御装置
JP3753996B2 (ja) * 2002-03-20 2006-03-08 日本電信電話株式会社 反響抑圧装置、反響抑圧方法及びプログラム
WO2005125272A1 (ja) * 2004-06-16 2005-12-29 Matsushita Electric Industrial Co., Ltd. ハウリング抑圧装置、プログラム、集積回路、およびハウリング抑圧方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102474682A (zh) * 2009-07-17 2012-05-23 雅马哈株式会社 啸声消除器
CN102474682B (zh) * 2009-07-17 2015-04-15 雅马哈株式会社 啸声消除器
CN108513214A (zh) * 2017-02-28 2018-09-07 松下电器(美国)知识产权公司 噪音提取装置和方法、麦克风装置及记录程序的记录介质
CN108513214B (zh) * 2017-02-28 2021-06-01 松下电器(美国)知识产权公司 噪音提取装置和方法、麦克风装置及记录程序的记录介质

Also Published As

Publication number Publication date
US7912230B2 (en) 2011-03-22
CN1951147B (zh) 2011-08-17
US20080021703A1 (en) 2008-01-24
JPWO2005125273A1 (ja) 2008-04-17
JP4675888B2 (ja) 2011-04-27
WO2005125273A1 (ja) 2005-12-29

Similar Documents

Publication Publication Date Title
CN1951147A (zh) 啸声检测设备和方法
CN1110034C (zh) 谱削减噪声抑制方法
CN1934897A (zh) 啸叫检测方法及装置、以及具有它们的音响装置
CN1511430A (zh) 啸声控制设备和啸声控制方法
CN1164036C (zh) 声音回波和噪声的消除
CN1943273A (zh) 声像定位控制装置
CN101053152A (zh) 音频调谐系统
US9344822B2 (en) Estimating nonlinear distortion and parameter tuning for boosting sound
CN1409577A (zh) 台词分量强调装置
CN1747608A (zh) 音频信号处理装置和方法
CN101065990A (zh) 声像定位装置
CN101060316A (zh) 信号处理装置、信号处理方法及声场校正系统
CN1951148A (zh) 用于限制扬声器位移的系统
CN1756446A (zh) 音频信号处理装置及用于其的方法
CN1223109C (zh) 回波抑制系统中增强近端语音信号
CN1659927A (zh) 房间内扬声器声音的数字均衡方法及其使用
CN1669074A (zh) 话音增强装置
CN1672325A (zh) 声虚拟现实引擎和增强传送音的高级技术
CN1781141A (zh) 使用频谱分量耦合和频谱分量再生的改进音频编码系统和方法
CN1484822A (zh) 编码装置和解码装置
CN100338969C (zh) 麦克风-扬声器设备
CN1671253A (zh) 测试装置、测试方法和计算机程序
CN1400847A (zh) 声音再现装置
JP2015050685A (ja) オーディオ信号処理装置および方法、並びにプログラム
CN1855694A (zh) 生成测试蜂音信号的方法以及测试蜂音信号生成电路

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110817

Termination date: 20130615