JP2009020471A - 音処理装置およびプログラム - Google Patents
音処理装置およびプログラム Download PDFInfo
- Publication number
- JP2009020471A JP2009020471A JP2007185040A JP2007185040A JP2009020471A JP 2009020471 A JP2009020471 A JP 2009020471A JP 2007185040 A JP2007185040 A JP 2007185040A JP 2007185040 A JP2007185040 A JP 2007185040A JP 2009020471 A JP2009020471 A JP 2009020471A
- Authority
- JP
- Japan
- Prior art keywords
- target sound
- sound
- frequency
- spectrum
- intensity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
Abstract
【解決手段】第1収音器71と第2収音器72とは相互に離間する。音源分離部20は、第1収音器71が生成した音信号S1と第2収音器72が生成した音信号S2とから、K個の周波数のうち目的音が優勢な目的音周波数FAと非目的音が優勢な非目的音周波数FBとフレーム毎に抽出する。非目的音推定部32は、複数のフレームの各々における非目的音周波数FBの成分の強度に応じて当該周波数における強度が設定された非目的音スペクトルQを生成する。非目的音抑圧部34は、目的音周波数FAの各成分を含む目的音スペクトルXから非目的音スペクトルQを減算する。
【選択図】図1
Description
STEVEN F.BOLL, "Suppression of Acoustic Noise in Speech Using Spectral Subtraction", April 1979, IEEE TRANSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, VOL. ASSP-27, NO.2, p. 113-120
μn(k)=α・μn-1(k)+(1−α)・tB(n,k) ……(1)
μn(k)=μn-1(k) ……(2)
式(1)および式(2)から理解されるように、第n番目のフレームにおける非目的音スペクトルQの強度μn(k)は、過去(第(n-1)番目以前)の複数のフレームについて算定された非目的音スペクトルQの強度を累積的に反映した数値となる。すなわち、非目的音スペクトルQの強度μn(k)は、第k番目の周波数が非目的音周波数FBに選別された複数のフレームにわたって成分CBの強度tBを平滑化した数値となる。
Sn(k)={|Xn(k)|−μn(k)}ejθx(k) ……(3a)
={1−μn(k)/|Xn(k)|}・Xn(k) ……(3b)
以上の形態には様々な変形を加えることができる。具体的な変形の態様を例示すれば以下の通りである。なお、以下の例示から2以上の態様を任意に選択して組合わせてもよい。
式(3a)のように目的音スペクトルXn(k)の強度|Xn(k)|から非目的音スペクトルQの強度μn(k)を単純に減算する形態においては、目的音スペクトルSn(k)が負数となる可能性がある。そこで、目的音周波数FAの強度|Xn(k)|から強度μn(k)を減算した結果が閾値を下回る周波数について、非目的音抑圧部34が目的音スペクトルSn(k)の強度を当該閾値に設定する構成も採用される。例えば以下に例示する各態様が好適である。
非目的音抑圧部34は、K個の周波数の各々について|Xn(k)|−μn(k)をゼロ(閾値)と比較する。|Xn(k)|−μn(k)がゼロを上回る周波数について、非目的音抑圧部34は、前述と同様の式(3a)に基づいて目的音スペクトルSn(k)の強度を算定する。一方、|Xn(k)|−μn(k)がゼロ以下である周波数について、非目的音抑圧部34は、|Xn(k)|−μn(k)の数値に拘わらず、目的音スペクトルSn(k)の強度をゼロに設定する。以上の態様によれば、目的音スペクトルSn(k)の強度が負数とならないから、聴感上において自然な音を生成することが可能である。
非目的音抑圧部34は、K個の周波数の各々について、|Xn(k)|−β・μn(k)をγ・μn(k)(閾値)と比較する。係数βは1以上の数値(例えば3〜6)に設定され、係数γは1よりも充分に小さい正数(例えば0.01)に設定される。|Xn(k)|−β・μn(k)がγ・μn(k)を上回る周波数について、非目的音抑圧部34は、以下の式(4a)に基づいて目的音スペクトルSn(k)の強度を算定する。
Sn(k)={|Xn(k)|−β・μn(k)}ejθx(k) ……(4a)
一方、|Xn(k)|−β・μn(k)がγ・μn(k)以下である周波数について、非目的音抑圧部34は、以下の式(4b)に基づいて目的音スペクトルSn(k)の強度を算定する。
Sn(k)={γ・μn(k)}ejθx(k) ……(4b)
強度|Xn(k)|が非目的音スペクトルQの強度μn(k)と比較して充分に大きい周波数(|Xn(k)|−β・μn(k)>γ・μn(k)を満たす周波数)については、非目的音に相当する成分が過剰に強度|Xn(k)|から減算(オーバーサブトラクション)されるから、非目的音が充分に抑圧された高品位な音を生成することができる。一方、|Xn(k)|−β・μn(k)がγ・μn(k)以下である周波数については非目的音スペクトルSn(k)が強度|Xn(k)|とは無関係にγ・μn(k)に基づいて設定されるから、目的音スペクトルSn(k)の強度が負数まで低下するのを防止して自然な再生音の生成が可能となる。
以下に例示するように式(1)の係数αを非目的音推定部32が可変に制御する構成も好適である。
目的音スペクトルSn(k)は、目的音スペクトルXn(k)から非目的音スペクトルQの強度μn(k)を減算することで算定されるから、非目的音の特性(例えば音量)が変化すると目的音スペクトルSn(k)における目的音周波数FAの特性も変化する。一方、式(1)から理解されるように、最新(第n番目)のフレームにおける非目的音周波数FBの強度tB(n,k)の影響は、係数αが大きい(係数(1−α)が小さい)ほど抑制される。したがって、非目的音の音量が変化したときの目的音の音量の変化は、係数αが大きいほど低減される。
式(3b)において、非目的音スペクトルQの強度μn(k)は非目的音の成分CBの強度tBを複数のフレームにわたって平滑化した数値であるのに対し、目的音スペクトルXn(k)の強度|Xn(k)|はひとつのフレームにおける瞬時値である。したがって、ひとつのフレームにて強度|Xn(k)|が急に低下した場合、式(3b)におけるμn(k)/|Xn(k)|の増大に伴なって目的音スペクトルSn(k)の強度が過度に低下する可能性がある。そこで、例えば、目的音スペクトルXn(k)の強度|Xn(k)|を式(1)と同様の方法で複数のフレームにわたって平滑化した数値を、式(3b)における強度|Xn(k)|の代わりに使用することで目的音スペクトルSn(k)を算定してもよい。以上の構成によれば、目的音の音量の瞬間的な変動が抑制されるから、聴感上において自然な音を生成することができる。
非目的音スペクトルQの強度μn(k)が目的音スペクトルXn(k)の強度|Xn(k)|と比較して充分に小さい場合、式(3b)の{1−μn(k)/|Xn(k)|}は1に近い数値となる。そこで、{1−μn(k)/|Xn(k)|}が1未満の所定の閾値を上回る場合(またはμn(k)/|Xn(k)|が所定の閾値を下回る場合)、非目的音抑圧部34は、強度μn(k)や強度|Xn(k)|に拘わらず、{1−μn(k)/|Xn(k)|}を1に設定して式(3b)から目的音スペクトルSn(k)を算定してもよい。以上の構成によれば、非目的音抑圧部34の処理の負荷が軽減されるという利点がある。
目的音周波数FAと非目的音周波数FBとを選別する方法は適宜に変更される。例えば、以上の形態においては2個の周波数スペクトルに(パワースペクトル)のパワーを比較することで目的音周波数FAと非目的音周波数FBとを選別する構成を例示したが、2個の周波数スペクトル(振幅スペクトル)について同じ周波数における振幅を比較することで目的音周波数FAと非目的音周波数FBとを選別してもよい。
非目的音スペクトルQの強度μn(k)を算定する方法は適宜に変更される。例えば、所定個のフレームにわたる第k番目の周波数の強度tBの移動平均が非目的音スペクトルQの強度μn(k)として算定される。移動平均(強度μn(k))の算定には、第n番目のフレームの直前の所定個のフレームや、第n番目のフレームを含む前後の所定個のフレームなど、第n番目のフレームの近傍にある複数のフレームが使用される。また、例えば、複数のフレームにわたる強度tBの時系列にローパスフィルタ処理を施すことで強度μn(k)を算定する構成も好適である。
時間領域の音信号S1および音信号S2を信号処理部22が処理してもよい。すなわち、信号処理部22は、音信号S1から音信号S2を減算した信号S0と、時間Dだけ遅延させた音信号S1を音信号S2から減算した信号SRと、時間Dだけ遅延させた音信号S2を音信号S1から減算した信号SLとを生成する。周波数分析部10は、信号処理部22の後段に配置され、信号S0を周波数スペクトルX0に変換し、信号SRを周波数スペクトルXRに変換し、信号SLを周波数スペクトルXLに変換する。以上の形態においても図1の構成と同様の効果が奏される。
非目的音抑圧部34が生成した目的音スペクトルSn(k)を出力スペクトルRとして逆変換部46に出力する構成(すなわち乗算部42や合成部44を省略した構成)も採用される。ただし、目的音スペクトルSn(k)において非目的音周波数FBの強度はゼロとなるから、目的音スペクトルSn(k)から再生される再生音は聴感上において不自然となる可能性がある。したがって、自然な音の生成という観点からすると、非目的音周波数FBの成分CBの強度tBと係数pとの乗算値を目的音スペクトルSn(k)に付加する図1の構成が好適である。
Claims (7)
- 相互に離間する複数の収音器の各々が生成した音信号から、複数の周波数のうち目的音が優勢な目的音周波数の各成分と前記複数の周波数のうち非目的音が優勢な非目的音周波数の各成分とを、時間軸上のフレーム毎に抽出する音源分離手段と、
複数のフレームの各々における非目的音周波数の成分の強度に応じて当該周波数における強度が設定された非目的音スペクトルを生成する非目的音推定手段と、
前記目的音周波数の各成分を含む目的音スペクトルから前記非目的音スペクトルを減算する非目的音抑圧手段と
を具備する音処理装置。 - 前記非目的音推定手段は、一のフレームにおける非目的音周波数の成分の強度と、前記一のフレームの直前のフレームについて生成した非目的音スペクトルの当該周波数における強度との加重和を、前記一のフレームにおける非目的音スペクトルの当該周波数における強度に設定する
請求項1の音処理装置。 - 前記非目的音推定手段は、前記加重和に使用する加重値を、前記一のフレームにおける目的音周波数または非目的音周波数の個数に応じて可変に制御する
請求項2の音処理装置。 - 前記非目的音抑圧手段は、前記目的音周波数の各成分の強度を複数のフレームにわたって平滑化することで生成された前記目的音スペクトルから前記非目的音スペクトルを減算する
請求項1から請求項3の何れかの音処理装置。 - 前記非目的音周波数の各成分の強度に第1係数を乗算する乗算手段と、
前記非目的音抑圧手段による減算後の目的音スペクトルにおける目的音周波数の各成分と前記乗算手段による乗算後の非目的音周波数の各成分とを周波数軸上に配列した出力スペクトルを生成する合成手段と
を具備する請求項1から請求項4の何れかの音処理装置。 - 前記非目的音抑圧手段は、前記目的音スペクトルから前記非目的音スペクトルを減算したときの各周波数における強度が、前記非目的音スペクトルにおける当該周波数の強度と第2係数との乗算値である閾値を下回る場合には、前記閾値を当該周波数における強度として設定し、
前記閾値と前記乗算手段による乗算値とが近づくように前記第1係数および前記第2係数の少なくとも一方を制御する係数制御手段を具備する
請求項5の音処理装置。 - コンピュータに、
相互に離間する複数の収音器の各々が生成した音信号から、複数の周波数のうち目的音が優勢な目的音周波数の各成分と前記複数の周波数のうち非目的音が優勢な非目的音周波数の各成分とを、時間軸上のフレーム毎に抽出する音源分離処理と、
複数のフレームの各々における非目的音周波数の成分の強度に応じて当該周波数における強度が設定された非目的音スペクトルを生成する非目的音推定処理と、
前記目的音周波数の各成分を含む目的音スペクトルから前記非目的音スペクトルを減算する非目的音抑圧処理と
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007185040A JP5034734B2 (ja) | 2007-07-13 | 2007-07-13 | 音処理装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007185040A JP5034734B2 (ja) | 2007-07-13 | 2007-07-13 | 音処理装置およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009020471A true JP2009020471A (ja) | 2009-01-29 |
JP5034734B2 JP5034734B2 (ja) | 2012-09-26 |
Family
ID=40360122
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007185040A Expired - Fee Related JP5034734B2 (ja) | 2007-07-13 | 2007-07-13 | 音処理装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5034734B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020165A (ja) * | 2008-07-11 | 2010-01-28 | Fujitsu Ltd | 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム |
JP2010217551A (ja) * | 2009-03-17 | 2010-09-30 | Yamaha Corp | 音処理装置およびプログラム |
JP2010217552A (ja) * | 2009-03-17 | 2010-09-30 | Yamaha Corp | 音処理装置およびプログラム |
JP2012215606A (ja) * | 2011-03-31 | 2012-11-08 | Oki Electric Ind Co Ltd | 音源分離装置、プログラム及び方法 |
US8634275B2 (en) | 2009-10-22 | 2014-01-21 | Yamaha Corporation | Audio processing device |
EP3291228A1 (en) | 2016-08-30 | 2018-03-07 | Fujitsu Limited | Audio processing method, audio processing device, and audio processing program |
EP3291227A1 (en) | 2016-08-30 | 2018-03-07 | Fujitsu Limited | Sound processing device, method of sound processing, sound processing program and storage medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01286643A (ja) * | 1988-05-13 | 1989-11-17 | Fujitsu Ltd | 音声検出装置 |
JP2004272052A (ja) * | 2003-03-11 | 2004-09-30 | Fujitsu Ltd | 音声区間検出装置 |
JP2005234246A (ja) * | 2004-02-19 | 2005-09-02 | Univ Waseda | 音源分離方法およびそのシステム |
JP2006197552A (ja) * | 2004-12-17 | 2006-07-27 | Univ Waseda | 音源分離システムおよび音源分離方法、並びに音響信号取得装置 |
-
2007
- 2007-07-13 JP JP2007185040A patent/JP5034734B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01286643A (ja) * | 1988-05-13 | 1989-11-17 | Fujitsu Ltd | 音声検出装置 |
JP2004272052A (ja) * | 2003-03-11 | 2004-09-30 | Fujitsu Ltd | 音声区間検出装置 |
JP2005234246A (ja) * | 2004-02-19 | 2005-09-02 | Univ Waseda | 音源分離方法およびそのシステム |
JP2006197552A (ja) * | 2004-12-17 | 2006-07-27 | Univ Waseda | 音源分離システムおよび音源分離方法、並びに音響信号取得装置 |
Non-Patent Citations (2)
Title |
---|
STEVEN F.BOLL: ""Suppression of Acoustic Noise in Speech Using Spectral Subtraction"", PROCEEDINGS OF THE IEEE TRANSACTIONS ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, vol. Vol.27, No.2(1979-04), JPN6011047178, pages 113 - 120, ISSN: 0002241374 * |
青木真理子他: ""騒音下音声強調における空間情報の利用について"", 電子情報通信学会技術研究報告, vol. Vol.102,No.35,SP2002-11(2002-04), JPN6011047176, pages 23 - 30, ISSN: 0002011462 * |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010020165A (ja) * | 2008-07-11 | 2010-01-28 | Fujitsu Ltd | 雑音抑圧装置、携帯電話機、雑音抑圧方法及びコンピュータプログラム |
US9135924B2 (en) | 2008-07-11 | 2015-09-15 | Fujitsu Limited | Noise suppressing device, noise suppressing method and mobile phone |
JP2010217551A (ja) * | 2009-03-17 | 2010-09-30 | Yamaha Corp | 音処理装置およびプログラム |
JP2010217552A (ja) * | 2009-03-17 | 2010-09-30 | Yamaha Corp | 音処理装置およびプログラム |
US8634275B2 (en) | 2009-10-22 | 2014-01-21 | Yamaha Corporation | Audio processing device |
JP2012215606A (ja) * | 2011-03-31 | 2012-11-08 | Oki Electric Ind Co Ltd | 音源分離装置、プログラム及び方法 |
EP3291228A1 (en) | 2016-08-30 | 2018-03-07 | Fujitsu Limited | Audio processing method, audio processing device, and audio processing program |
EP3291227A1 (en) | 2016-08-30 | 2018-03-07 | Fujitsu Limited | Sound processing device, method of sound processing, sound processing program and storage medium |
JP2018036442A (ja) * | 2016-08-30 | 2018-03-08 | 富士通株式会社 | 音声処理プログラム、音声処理方法及び音声処理装置 |
US10276182B2 (en) | 2016-08-30 | 2019-04-30 | Fujitsu Limited | Sound processing device and non-transitory computer-readable storage medium |
US10607628B2 (en) | 2016-08-30 | 2020-03-31 | Fujitsu Limited | Audio processing method, audio processing device, and computer readable storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP5034734B2 (ja) | 2012-09-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5018193B2 (ja) | 雑音抑圧装置およびプログラム | |
JP5034734B2 (ja) | 音処理装置およびプログラム | |
US8654990B2 (en) | Multiple microphone based directional sound filter | |
JP5347902B2 (ja) | 音響処理装置 | |
EP2210427B1 (en) | Apparatus, method and computer program for extracting an ambient signal | |
CN106663445B (zh) | 声音处理装置、声音处理方法及程序 | |
KR102132500B1 (ko) | 조화성 기반 단일 채널 음성 품질 추정 기법 | |
JP6019969B2 (ja) | 音響処理装置 | |
TWI738532B (zh) | 具多麥克風之語音增強裝置及方法 | |
US20110022361A1 (en) | Sound processing device, sound processing method, and program | |
JP2005249816A (ja) | 信号強調装置、方法及びプログラム、並びに音声認識装置、方法及びプログラム | |
JP4448464B2 (ja) | 雑音低減方法、装置、プログラム及び記録媒体 | |
JP5034735B2 (ja) | 音処理装置およびプログラム | |
US11380312B1 (en) | Residual echo suppression for keyword detection | |
JP2010160246A (ja) | 雑音抑圧装置およびプログラム | |
US11386911B1 (en) | Dereverberation and noise reduction | |
WO2020110228A1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP5376635B2 (ja) | 雑音抑圧処理選択装置,雑音抑圧装置およびプログラム | |
JP5321171B2 (ja) | 音処理装置およびプログラム | |
JP5316127B2 (ja) | 音処理装置およびプログラム | |
JP2006126841A (ja) | 周期信号増強システム | |
JP6790659B2 (ja) | 音響処理装置および音響処理方法 | |
JP5463924B2 (ja) | 音響処理装置 | |
US20240161762A1 (en) | Full-band audio signal reconstruction enabled by output from a machine learning model | |
US11259117B1 (en) | Dereverberation and noise reduction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100520 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110906 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120605 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120618 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150713 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |