JP2012129652A - 音声処理装置及び方法並びに撮像装置 - Google Patents

Abstract

【課題】 音響抵抗体を用いて風雑音を低減しつつ音響抵抗体によって生じる残響音を抑制し、高品位な音声を提供する。
【解決手段】 音声処理装置は、第１及び第２のマイクロホンを有し、第２のマイクロホンには、そのマイクロホンを覆うように音響抵抗体が設けられる。高域通過フィルタにより第１のマイクロホンの出力信号の高周波成分を得るとともに、低域通過フィルタにより第２のマイクロホンの出力信号の低周波成分を得る。これら高域通過フィルタの出力信号と低域通過フィルタの出力信号とが加算されて出力される。ここで、適応フィルタが第２のマイクロホンと低域通過フィルタとの間に設けられ、第１のマイクロホンの出力信号と第２のマイクロホンの出力信号との差が最小になるようフィルタ係数を推定学習することで、第２のマイクロホンの出力信号のうちの、音響抵抗体と第２のマイクロホンとの間の閉空間において発生する残響成分が抑圧される。
【選択図】 図１

Description

本発明は、録音の際に混入する風雑音を低減させるための音声処理技術に関する。

音声処理装置は、様々な環境下で、音声を忠実に記録されることが望まれている。屋外撮影においては、特に風による雑音（以下「風雑音」という。）の発生が顕著である。風雑音を抑制するために、機械的な装置／電気的な処理が数多く提案されている。例えば特許文献１では、撮像装置の筐体の集音部に粘着テープで風雑音低減体（以下「音響抵抗体」という。）を貼り付けることで風雑音を抑制する方法が開示されている。

特開２００６−２１１３０２号公報

しかしながら、上述の特許文献に開示された従来技術では、音響抵抗体の素材によっては集音部の内部で残響が発生し、音声の品質が落ちることが考えられる。
そこで本発明は、音響抵抗体を用いて風雑音を低減しつつ音響抵抗体によって生じる残響音を抑制し、高品位な音声を提供することを目的とする。

本発明の一側面によれば、第１及び第２のマイクロホンと、装置外部から前記第２のマイクロホンへの空気の移動を遮断するために、前記第２のマイクロホンを覆うように設けられた音響抵抗体と、前記第１のマイクロホンの出力信号の高周波成分のみを通過させる高域通過フィルタと、前記第２のマイクロホンの出力信号の低周波成分のみを通過させる低域通過フィルタと、前記高域通過フィルタの出力信号と前記低域通過フィルタの出力信号とを加算して出力する加算器と、前記第２のマイクロホンと前記低域通過フィルタとの間に設けられ、前記第１のマイクロホンの出力信号と前記第２のマイクロホンの出力信号との差が最小になるようフィルタ係数を推定学習することで、前記第２のマイクロホンの出力信号のうちの、前記音響抵抗体と前記第２のマイクロホンとの間の閉空間において発生する残響成分を抑圧する適応フィルタとを有することを特徴とする音声処理装置が提供される。

本発明によれば、音響抵抗体により風雑音を低減し、かつ残響音を抑制した録音装置を提供することができる。

実施形態における録音装置の構成を示す図。 撮像装置の斜視図及び断面図。 マイクロホンの周波数特性の例を示す図。 マイクロホンの取り付け構造を説明する図。 残響抑圧器の構成を示す図。 風雑音に応じた風検出器の動作を示す図。 合成器の構成及び動作を示す図。 従来技術を適用した例を示す図。 スイッチ、可変フィルタ、可変ゲインの動作シーケンスを示す図。 ＨＰＦがない場合の風雑音処理を説明する図。 ＨＰＦがある場合の風雑音処理を説明する図。 別の音声処理装置の例を示す図。 第２の実施例における撮像装置の斜視図。 第２の実施例における音声処理装置の構成を示す図。 第３の実施例における音声処理装置の構成を示す図。 第４の実施例における音声処理装置の構成を示す図。 第４の実施例における被写体音とマイクロホンの位置関係を説明する図。

以下、本発明の実施の形態を、添付の図面に基づいて詳細に説明する。図面を通じて、同じ構成要素には同じ参照番号を付す。

（実施例１）
以下、図１乃至図１１を参照して、本発明の第１の実施例による、録音装置及び録音装置を備えた撮像装置について説明する。

図１は本実施例における録音装置の構成を示すブロック図である。図２の（ａ）、（ｂ）はそれぞれ、図１の録音装置を備えた撮像装置（カメラ）の斜視図及び断面図である。１は撮像装置、２は撮像装置１に装着されたレンズ、３は撮像装置１の筐体、４はレンズの光軸、５は撮影光学系、６は撮像素子をそれぞれ示す。また、３０はレリーズ釦、３１は操作釦である。撮像装置１には、第１のマイクロホン７ａ及び第２のマイクロホン７ｂが設けられている。３２ａ、３２ｂはそれぞれ、マイクロホン７ａ、７ｂのために筐体３に設けられた開口部である。開口部３２ｂには音響抵抗体４１が貼り付けられている。後述するように、音響抵抗体４１は筐体３を偏肉構造にすることや、別途の部品により構成することも可能である。撮像装置１は、マイクロホン７ａ、７ｂを用いて、画像の取得と同時に音声を記録することができる。

撮像装置１による動画の撮影動作について説明する。動画の撮影に先立って、不図示のライブビュー釦を押すことにより、撮像素子６の画像が撮像装置１に設けられた表示装置にリアルタイムに表示される。撮像装置１は動画撮影釦の操作と同期させて、撮像素子６より被写体の情報を設定されたフレームレートで得るとともに、マイクロホン７ａ，７ｂから音声情報を得て、これらを同期させて不図示のメモリへ記録を行う。動画撮影釦の操作と同期させて撮影を終了する。

図１を用いて、音声処理装置５１の構成を説明する。５２は可変高域通過フィルタ（ＨＰＦ）である。５３は残響抑圧器（reverberation suppressor）であり、ここには例えば残響抑圧適応フィルタが用いられる。５４ａ，５４ｂは、マイクロホンの出力信号をデジタル化する第１のＡ／Ｄコンバータ（ＡＤＣ）、５５は第１の遅延器（ＤＬ）、５６ａ，５６ｂはＤＣ成分カット用のＨＰＦである。
６１は自動レベル補正部（ＡＬＣ）である。ＡＬＣ６１において、６２ａ，６２ｂはレベル調整用の可変ゲイン、６３はレベル調整器（level contoroller）である。
７１は第１のマイクロホン７ａの信号と第２のマイクロホンの７ｂ信号を合成する合成器である。合成器７１において、７２は低域通過フィルタ（ＬＰＦ）、７３は可変ＨＰＦ、７４は可変ゲイン、７５は加算器である。
８１は風検出器（wind-detector）である。風検出器８１において、８２ａ，８２ｂは帯域通過フィルタ（ＢＰＦ）、８３は差分器、８４は第２のＡ／Ｄコンバータ（ＡＤＣ）、８５は第２の遅延器、８６はレベル検出器である。
８７は残響抑圧器５３を制御するスイッチ、８８は合成器７１を制御するスイッチ、８９はモード切替操作部である。

図１及び図２において、筐体３には、マイクロホン用の開口部３２ａ、３２ｂが設けられている。ここで、開口部３２ｂには、装置外部から第２のマイクロホン７ｂへの空気の移動を遮断するように、第２のマイクロホン７ｂを覆う音響抵抗体４１が設けられている。一方、開口部３２ａには、第１のマイクロホン７ａが被写体音を忠実に取得できるように、そのような音響抵抗体は設けられていない。音響抵抗体４１は筐体３に密着して設けられている。ここでいう空気の移動とは、風による空気の移動を想定している。例えば、多孔質ＰＴＦＥのように風による空気の移動よりもゆっくりとした時間で空気の移動を許し、風は通さないような材質を音響抵抗体として用いることも可能である。

音声処理装置５１は、第１のマイクロホン７ａからの信号をＨＰＦ５２で処理した後、ＡＤＣ５４ａでアナログ／デジタル変換（Ａ／Ｄ変換）を行う。さらにＡＤＣ５４ａの出力は第１の遅延器５５によって適当な量遅延される。一方、音声処理装置５１は、第２のマイクロホン７ｂからの信号をＡＤＣ５４ｂでＡ／Ｄ変換した後、残響抑圧器５３で残響の抑圧を行う。残響抑圧器５３の動作及び第１の遅延器５５における遅延の与え方などについては後述する。

第１の遅延器５５及びＡＤＣ５４ｂの出力はそれぞれＤＣ成分カット用のＨＰＦ５６ａ，５６ｂで処理される。ＨＰＦ５６ａ，５６ｂはアナログ部のオフセット除去を目的としているため、ＤＣから可聴域以下の成分を除去できるとよい。そのためＨＰＦ５６ａ，５６ｂのカットオフ周波数は例えば１０Ｈｚ程度に設定される。

ＨＰＦ５６ａ，５６ｂの出力はＡＬＣ６１に入力され、それぞれ可変ゲイン６２ａ，６２ｂによってゲイン調整される。このとき可変ゲイン６２ａ，６２ｂのゲインは、２つの信号レベルが同一となるように連動して制御される。レベル調整器６３は可変ゲイン６２ａ，６２ｂの出力を得て、飽和が発生せずダイナミックレンジを有効に活用できるように適当にレベル調整を行う。このときレベル調整器６３は可変ゲイン６２ａ，６２ｂの出力のうち大きいほうが飽和しないようにレベルを調整する。

可変ゲイン６２ａ，６２ｂの出力は合成器７１に入力される。可変ゲイン６２ａの出力は、ＨＰＦ７３を通過させた後に加算器７５へ送られる。一方、可変ゲイン６２ｂの出力は、ＬＰＦ７２及び可変ゲイン７４を介して加算器７５へ送られる。加算器７５で合成された出力が風雑音処理後の音声として出力される。

第１のマイクロホン７ａの出力及び残響抑圧器５３の出力はそれぞれ、風検出器８１のＢＰＦ８２ａ，８２ｂに入力される。ＢＰＦ８２ａ，８２ｂは第２のマイクロホン７ｂにおいて被写体音を忠実に取得できる範囲を通過させることを目的としている。そのため通過帯域は例えば３０Ｈｚ〜１ｋＨｚ程度に設定される。ただし上限の周波数は音響抵抗体４１の構造などによって設定値を変えることができる。詳細については第２のマイクロホン７ｂの周波数特性と共に後述する。

ＢＰＦ８２ａの出力は第２のＡＤＣ８４でＡ／Ｄ変換された後、第２の遅延器８５に送られる。第２の遅延器８５における遅延の与え方などについては残響抑圧器５３の動作と共に後述する。

差分器８３で、第２の遅延器８５の出力とＢＰＦ８２ｂの出力との差が計算され、この結果がレベル検出器８６に送られる。レベル検出器８６の動作については後述する。レベル検出器８６によって風の強さを判断して、スイッチ８７を制御して残響抑圧器５３へのフィードバックを切り替える。また、レベル検出器８６の検出結果は、合成器７１を制御するスイッチ８８の制御にも用いられる。モード切替操作部８９がユーザによってＯＦＦに設定されている場合には、スイッチ８８は、後述する風が無い場合の処理を常に選択するように動作する。一方、モード切替操作部８９がユーザによってＡｕｔｏに設定されている場合には、スイッチ８８は、レベル検出器８６によって判断される風の強さに応じて、ＨＰＦ５２、ＨＰＦ７３のカットオフ周波数及び可変ゲイン７４を変更するように動作する。この処理の詳細は後述する。

音響抵抗体４１の効果や望ましい特性や風雑音の低減について図１、図３及び図４を用いて説明する。図３はマイクロホンの周波数特性を模式的に示した図であり、横軸は周波数を、縦軸はゲインを示している。図３において、（ａ）は第１のマイクロホン７ａの被写体音取得特性、（ｂ）は第２のマイクロホン７ｂの被写体音取得特性を示す。（ｃ）は第１のマイクロホン７ａの風雑音取得特性を、（ｄ）は第２のマイクロホン７ｂの風雑音取得特性を示す。（ｅ）は合成器７１の出力の被写体音取得特性を、（ｆ）は合成器７１の出力の風雑音取得特性を示す。また、第１のマイクロホン７ａと第２のマイクロホン７ｂとの特性の違いを明確にするために、（ｂ）及び（ｄ）には第１のマイクロホン７ａの特性を破線で示した。図３中のf0は音響抵抗体４１による構造的なカットオフ周波数を示し、f1は図１に示した合成器７１におけるＬＰＦ７２，ＨＰＦ７３のカットオフ周波数を示している。

図３（ａ）に示すように、第１のマイクロホン７ａの被写体音取得特性は可聴域においてフラットであることが望ましい。これにより被写体音を忠実に取得することが可能となる。図３（ｂ）に示すように、第２のマイクロホン７ｂは音響抵抗体４１が被写体からの空気の移動を遮断するように設けられているので、特性が異なる。音響抵抗体４１によるカットオフ周波数よりも低い周波数では、比較的忠実に音声信号を通過させる。これは、空気の疎密波である音によって音響抵抗体４１が加振され、それによって音響抵抗体４１が装置内部の空気を同じように加振するためである。一方、音響抵抗体４１によるカットオフ周波数よりも高い周波数では、音声信号を遮断する。これは、空気の疎密波である音によって音響抵抗体４１が加振されるが、音響抵抗体４１が振動するよりも早く疎密が反転するために移動できなくなる状態である。このように、音響抵抗体４１は構造的なＬＰＦとして作用する。構造的にカットされ始める周波数f0を音響抵抗体４１のカットオフ周波数と呼ぶ。

風雑音のパワーは低域に集中することが知られている。例えば第１のマイクロホン７ａでの風雑音のパワーは、図３（ｃ）に示すように、1kHz程度から低周波に向かって持ち上がっていくような特性が得られることが多い。図３（ｃ）のような形状にならない場合でも風雑音は低周波（５００Ｈｚ以下）の成分が支配的である。図３（ｄ）に示すように第２のマイクロホン７ｂは、風雑音による低周波成分の持ち上がりが少ない。第１のマイクロホン７ａの近傍では乱流が発生するなどして大きな気圧差が生まれやすい。これに対して、第２のマイクロホン７ｂには音響抵抗体４１が被写体からの空気の移動を遮断するように設けられているので、乱流等に起因する大きな気圧差が発生しない。これが、第２のマイクロホン７ｂの出力は風雑音による低周波成分の持ち上がりが少ない理由である。

これらの信号を、合成器７１で処理することを考える。図１を用いて説明したように、第１のマイクロホン７ａの信号はＨＰＦ７３で処理される。これは図３（ａ）の９１で示した部分及び図３（ｃ）の９３で示した部分を切り取ることに相当する。第２のマイクロホン７ｂの信号はＬＰＦ７２で処理される。これは図３（ｂ）の９２で示した部分及び図３（ｄ）の９４で示した部分を切り取ることに相当する。加算器７５を通ると結果として被写体音特性は図３（ｅ）のようになり、風雑音特性は図３（ｆ）のようになる。図３（ｅ）及び図３（ｆ）で９１ａ，９２ａ、９３ａ、９４ａで示した部分はそれぞれ９１，９２、９３、９４で示した部分が支配的となっている箇所である。なお、「支配的」と述べたのは、ＬＰＦ７２，ＨＰＦ７３の特性によって必ずしも他方がゼロにはならないからである。図３（ｅ）及び図３（ｆ）から明らかなように、合成器７１の出力の被写体音特性は可聴域でフラットであり、風雑音特性は音響抵抗体４１を設けたマイクロホンの特性となっている。

図４にマイクロホンの取り付け構造の例を示す。図４において、３３ａ，３３ｂはそれぞれ、第１のマイクロホン７ａ及び第２のマイクロホン７ｂの保持弾性体である。３４は第２のマイクロホン７ｂ及び音響抵抗体４１を保持するスリーブである。

図４（ａ）は、筐体３の外側に音響抵抗体４１を貼付した例である。図４（ａ）の例では装置の組立後に音響抵抗体４１を貼付すればよいので、組立性を向上させることができる。

図４（ｂ）は、筐体３の内側に音響抵抗体４１を貼付した例である。図４（ｂ）の例では音響抵抗体４１が筐体３の外部に露出しないために美観の点で優れる。

図４（ｃ）は、筐体３の一部が音響抵抗体４１の機能を兼ねている例である。図４（ｃ）の例では、音響抵抗体４１となる筐体３の一部が、音波によって振動するほど薄くされている。図４（ｃ）の例では部品を削減しつつ、筐体３に音響抵抗体４１を貼付する必要がないので美観の点で優れる。ただし、図４（ｃ）の例では筐体３と音響抵抗体４１が一体であるため一般的に設計の自由度は下がる。（音響抵抗体４１を形成する部分の厚みによって筐体３の強度が制限される可能性があり、これらの両立が難しくなる。）

図４（ｄ）は、第２のマイクロホン７ｂと音響抵抗体４１を剛性の十分高いスリーブ３４で保持するようにした例である。スリーブ３４は第２のマイクロホン７ｂで取得したい周波数の帯域よりも十分高い周波数に１次共振周波数があることが望ましい（図３におけるf0よりもスリーブ３４の共振周波数が高いことを意味する。）。図４（ｄ）の例では音響抵抗体４１を高い剛性のスリーブ３４に添付するため、取り付け部構造の不要共振の影響を受けることなく、通過帯域において（図３のf0よりも低い周波数において）望ましい音声信号を得ることができる。

次に、図１及び図５を用いて残響抑圧器５３について説明する。第２のマイクロホン７ｂは音響抵抗体４１によって覆われた構造をとっているために、その閉空間内において残響が生じる場合がある。本実施例ではそのような残響を抑圧するために残響抑圧器５３を設けている。

残響抑圧器５３の具体的構成を図５に示した。残響抑圧器５３は適応フィルタで構成されている。この適応フィルタは、以下で具体的に説明するように、風雑音の大きさを表す差分器８３の出力、すなわち、第１のマイクロホン７ａの出力信号と第２のマイクロホン７ｂの出力信号との差が最小になるようフィルタ係数を推定学習する。これにより、第２のマイクロホン７ｂの出力信号のうちの、音響抵抗体４１と第２のマイクロホン７ｂとの間の閉空間で発生する残響成分を抑圧する。このような適応フィルタを用いることで、ユーザによるカメラの把持状態の変化や温度変化に伴う残響発生状態の変化に対しても適切に処理を行うことが可能となる。

残響抑圧の原理について簡単に説明する。被写体音をs、第１のマイクロホン７ａの被写体音取得特性をg1、第２のマイクロホン７ｂの被写体音取得特性をg2、残響の影響をrとする。g1及びg2は図３に示した周波数空間での特性を逆フーリエ変換したものに等しい。第２のマイクロホン７ｂに残響がある環境下で得られる第１のマイクロホン７ａの信号x1及び第２のマイクロホン７ｂの信号x2は（１）式のように与えられる。

ただし、（１）式において、＊は畳み込みを示す演算子である。図３で説明したようにf0より低い周波数においては、第１のマイクロホン７ａと第２のマイクロホン７ｂで同じような被写体音を取得できる。さらに図１に示したように、ＢＰＦ８２ａ，８２ｂによって適当な帯域の成分のみを取り出す。すなわちＢＰＦが通過させる帯域は、可聴範囲であって、図３においてf0より低い周波数ということになる。人間の聴覚特性上、50Hz以下の帯域に対しては極端に感度が下がる。詳細はA特性カーブなどを参照すればよい。このため、ＢＰＦ８２ａ，８２ｂは、たとえば30Hz〜1kHzを通過させるように設計すればよい。ＢＰＦ８２ａ、８２ｂをＢＰＦとし、ＢＰＦ通過後の信号をx1_BPF、x2_BPFとすると、次式が成り立つ。

g1≠g2かつg1*BPF＝g2*BPFは、f0より低い周波数においては、第１のマイクロホン７ａと第２のマイクロホン７ｂで同じような被写体音を取得できることと等価である。（２）式から明らかなように、図１の差分器８３の入力は残響の影響rが無い場合は、等しいものとなる。（２）式からx1_BPF＝dを望みの応答、x2_BPF＝uを入力として適応フィルタを動作させることで残響の影響を低減できる。

残響抑圧器５３のフィルタをhで表現すると、適応フィルタ出力yは次式のように与えられる。

ただし、（３）式において、nはnサンプル目の信号であることを示し、Mは残響抑圧器５３のフィルタ次数を、hの下添え文字はnサンプル目のフィルタhの値であることを示している。入力ｕはx2_BPFを用いればよい。

さらに、望みの応答はｄはx1_BPFを用いればよいので、誤差信号eは次のように表現される。

適応アルゴリズムとしては様々なものが提案されているが、ここでは一例としてＬＭＳアルゴリズムでのｈの更新式を次に示す。

ただし、（５）式において、μはステップサイズパラメータである。以上によれば、適当な初期的なhを与えた後に、（５）式を用いてhを更新することでdに向かってuが近づいていく。すなわち、rの影響が低減されてx1_BPF＝x2_BPFに近くなる。このときは｜h*r｜＝1がBPFの通過帯域において成り立っている。ただし、風雑音が支配的な環境下においては（５）式の更新が正しく行われないので、スイッチ８７によって適応フィルタの推定学習を停止させる。スイッチ８７の制御シーケンスに関しては風検出器８１の動作と共に後述する。

以上に説明したように、残響抑圧器５３によって残響が抑圧される。一方で、図５から明らかなように残響抑圧器５３では、その適応フィルタの次数に応じて信号が遅延する。これらを補うために、図１においては第１の遅延器５５及び第２の遅延器８５を備えている。代表的には残響抑圧器５３のフィルタ次数の半分（＝Ｍ／２）の遅延を与えておけばよい（Mが奇数の場合は近傍の値でもよい。）。このときは例えばh(M/2)=1としてその他のhは全て0と初期化することで、残響が無い状態を初期値として適応アルゴリズムを動作させることができる。メモリ上に残響抑圧のための適当な初期値が保存されているときは、hをその値で初期化してから動作を開始してもよい。例えば、初期値を以下のように設定することが考えられる。フィルタ係数は、マイクロホン７ａ、７ｂ周辺の寸法、構造部材の材質などの設計値に基づいて、ある程度は推定することができる。そこで、設計値から求めたフィルタ係数を初期値として設定してもよい。また、録音装置の電源がＯＦＦにされた際のフィルタ係数をメモリ上に記憶しておき、それを録音装置の次回起動時の初期値として設定してもよい。また、録音装置の生産過程において、所定の基準音を発生させることでフィルタ係数を算出してメモリに記憶しておき、それを録音装置の起動時の初期値として設定してもよい。

次に、ＡＬＣ６１の動作について説明する。ＡＬＣは音声信号の飽和を抑制しつつ、ダイナミックレンジを有効に活用するために設けられる。音声信号は時間軸に対するパワー変動が大きいので適当にレベルを調整する必要がある。ＡＬＣ６１に設けられたレベル調整器６３は可変ゲイン６２ａ，６２ｂからの出力をモニタする。

まず、アタック動作について説明する。レベルの大きい方の信号が予め定めたレベルを超えたと判断した時に、予め定めたステップだけゲインを下げる。この動作を予め定めた周期で繰り返す。この動作をアタック動作と呼ぶ。アタック動作により飽和を防ぐことが可能となる。

次にリカバリ動作について説明する。レベルの大きい方の信号が予め定めた時間予め定めたレベルを超えることがなかった時に、予め定めたステップだけゲインを上げる。この動作を予め定めた周期で繰り返す。この動作をリカバリ動作と呼ぶ。リカバリ動作により静かな環境での音を得ることが可能となる。

ＡＬＣ６１内にある可変ゲイン６２ａ，６２ｂは連動して動作している。すなわち可変ゲイン６２ａがアタック動作でゲインが下がるときには、同じ量だけ可変ゲイン６２ｂのゲインも下がる。このような動作をすることで、信号チャンネル間のレベル差がなくなり、後の合成器７１でチャンネル間の信号を混合した場合に違和感が少なくなる。

次に、風検出器８１について説明する。第１のマイクロホン７ａで収音される風雑音をw1、第２のマイクロホン７ｂで収音される風雑音をw2とする。図３で説明したように風雑音のパワーは低域に集中しているのでＢＰＦ８２ａ，８２ｂによって遮断されることが無い。このため差分器８３の出力として、w1−w2が得られる。なお、前述した残響の影響は無視できると仮定している。実環境においても、残響の影響は風雑音に比べると十分に小さく無視できるレベルである。

レベル検出器８６では差分器８３の出力を絶対値演算した後に適当にＬＰＦ処理する。ＬＰＦのカットオフ周波数は風検出器の安定性と検出速度によって決定すればよいが０．５Ｈｚ程度であればよい。ＬＰＦは遮断帯域の信号を積分し、通過帯の信号はそのまま通すような動作をするので、結果として積分動作＋ＨＰＦと同じような効果が得られる。そのため、絶対値演算が一定時間（これは前述のカットオフ周波数によって変化する）に亘って高いレベルを維持すると大きな出力となる。つまり適当な時間に亘って、Σ|w1−w2|をモニタしていることと等価である。

図６に風の強さの違いによる風検出器８１の出力信号の例を示した。図６（ａ），（ｂ），（ｃ）は第１のマイクロホン７ａ及び第２のマイクロホン７ｂで得られる信号を示した図であり、横軸は時間を縦軸は信号レベルを示している。図６（ａ），（ｂ），（ｃ）において信号レベルの＋１はプラス方向の信号が飽和するレベルを示している。また図６（ａ）は風が無い状態、図６（ｂ）は風が弱い状態、図６（ｃ）は風が強い状態の信号をそれぞれ示している。風の強さに応じて第１のマイクロホン７ａの信号レベルが大きくなっており、風雑音が発生していることが分かる。一方で、第２のマイクロホン７ｂの信号レベルは第１のマイクロホン７ａの信号レベルに比べて余り上昇していないことが分かる。音響抵抗体４１の効果によって風雑音が低減されていることを示している。

このとき前述した風検出器８１の処理を施した結果を図６（ｄ）に示した。図６（ｄ）の横軸は図６（ａ），（ｂ），（ｃ）と同じ時間を、縦軸は風検出器の出力を示している。なお、ＢＰＦ８２ａ，８２ｂは30Hz〜1kHzを通過帯域、レベル検出器８６内のLPFのカットオフ周波数は0.5Hzとした。風検出器８１の出力が風のないときはほぼゼロ付近で推移しており、風の強さに応じて値が大きくなることが分かる。また図６（ｄ）において、0秒付近の信号が小さいのはレベル検出器８６内のLPFの影響で立ち上がりが遅れるためである。風を検出するまでに図６（ｄ）の信号の立ち上がりに示す程度の遅れが発生する。遅れを小さくすると風の揺らぎの影響を受けやすくなるという問題もあるので、本実施例では、図６に示す程度の遅れで風を検出することにした。

風検出器８１の出力は、前述の残響抑圧器５３のスイッチ８７に用いられるほか、後述するＨＰＦ５２の切替、及び合成器７１内の合成処理の切替に用いられる。

次に、合成器７１の動作について図１及び図７を用いて説明する。図１において、風検出器８１の出力に基づいて、ＨＰＦ７３のカットオフ周波数及び可変ゲイン７４を変更することを説明したが、具体的な変更方法について図７を用いて説明する。

図７（ａ）及び図７（ｃ）はそれぞれ、合成器７１の構成例を示している。図７（ｂ）及び図７（ｄ）はそれぞれ、図７（ａ）及び図７（ｃ）の可変部の変更方法を示す図である。

まず、図７（ａ）の構成について説明する。図７（ａ）に示した合成器７１は、図１に示したものと同一の構成である。図７（ａ）においてＬＰＦ７２のカットオフ周波数は固定されており、例えば1kHzである。図７（ｂ）において上段は可変ゲイン７４のゲインを、下段はＨＰＦ７３のカットオフ周波数をそれぞれ模式的に示している。また、図７（ｂ）の横軸は２つのグラフにおいて共通であり、Wn1,Wn2,Wn3は風雑音の大きさを示す値でこの順に風雑音が強いことを示している。

図７（ｂ）に示すように風雑音が所定値Wn1より小さい場合は風処理が必要ないとして、可変ゲイン７４のゲインは０、ＨＰＦ７３のカットオフ周波数は50Hzに設定される。結果として図７（ａ）に示す回路を通すことで、第２のマイクロホン７ｂからの信号は完全に遮断され、可聴域（ここではＨＰＦ７３のカットオフ周波数である50Hzより高い周波数が音の支配的成分になるとして可聴域としている。）の信号を第１のマイクロホン７ａのみから得ることができる。これは音響抵抗体４１を設けた第２のマイクロホン７ｂの信号を用いずに済むことから、忠実に被写体の音声を得られていると考えられる。

風雑音がWn1のレベルを超えて、Wn1からWn2の間にある時を説明する。このとき、可変ゲイン７４の値は次第に増加すると共に、ＨＰＦ７３のカットオフ周波数は次第に持ち上がる。前述の制御を行うことで、低周波の音声信号において次第に音響抵抗体４１を設けた第２のマイクロホン７ｂからの信号の比率を高める。第１のマイクロホン７ａからの信号には風雑音が大きく作用しているが、ＨＰＦ７３のカットオフ周波数を上げることで風雑音を低減させている。

風雑音がWn2のレベルを超えて、Wn2からWn3の間にある時を説明する。このとき、可変ゲイン７４の値は１に固定されるとともに、ＨＰＦ７３のカットオフ周波数は次第に持ち上がる。前述の制御を行うことで、ＬＰＦ７２のカットオフ周波数からＨＰＦ７３のカットオフ周波数までの間に存在する音声は失われるが、風雑音をより低減することができる。過剰にＨＰＦ７３のカットオフ周波数を上げると、被写体音の劣化が大きくなりすぎてしまうので、適当なカットオフ周波数以上には上げないようにしている。図６（ｂ）の例では風雑音の大きさがWn3を超えた場合にはＨＰＦ７３のカットオフ周波数は2kHzに固定されてこれ以上には変化しない。

別の例である図７（ｃ）の構成について説明する。図７（ｃ）に示した合成器７１は、固定のＬＰＦ７２と可変ゲイン７４に代えて、可変ＬＰＦ７６を設けたものである。図７（ｄ）において、上段は可変ＬＰＦ７６のカットオフ周波数を、下段はＨＰＦ７３のカットオフ周波数をそれぞれ模式的に示している。また、図７（ｄ）の横軸は２つのグラフにおいて共通であり、Wn1,Wn2,Wn3は風雑音の大きさを示す値でこの順に風雑音が強いことを示している。

図７（ｄ）に示すように、風雑音が予め定めた値Wn1より小さい場合は風処理が必要ないとして、可変ＬＰＦ７６及びＨＰＦ７３のカットオフ周波数は50Hzに設定される。結果として図７（ｃ）に示す回路を通すことで、第２のマイクロホン７ｂからの信号はほぼ完全に遮断され、可聴域（ここではＨＰＦ７３のカットオフ周波数である50Hzより高い周波数が音の支配的成分になるとして可聴域としている。）の信号を第１のマイクロホン７ａのみから得ることができる。これは音響抵抗体４１を設けた第２のマイクロホン７ｂの信号を用いずに済むことから、忠実に被写体の音声を得られていると考えられる。

風雑音がWn1のレベルを超えて、Wn1からWn2の間にある時を説明する。このとき、可変ＬＰＦ７６及びＨＰＦ７３のカットオフ周波数は一致したまま次第に持ち上がる。前述の制御を行うことで、低周波の音声信号は次第に音響抵抗体４１を設けた第２のマイクロホン７ｂからの信号を用いることになる。第１のマイクロホン７ａからの信号には風雑音が大きく作用しているが、ＨＰＦ７３のカットオフ周波数を上げることで風雑音を低減させている。

風雑音がWn2のレベルを超えて、Wn2からWn3の間にある時を説明する。このとき、可変ＬＰＦ７６のカットオフ周波数1kHzに固定されるとともに、ＨＰＦ７３のカットオフ周波数はさらに持ち上がる。前述の制御を行うことで、LPF７２のカットオフ周波数からＨＰＦ７３のカットオフ周波数までの間に存在する音声は失われるが、風雑音をより低減することができる。過剰にＨＰＦ７３のカットオフ周波数を上げると、被写体音の劣化が大きくなりすぎてしまうので、適当なカットオフ周波数以上には上げないようにしている。図７（ｄ）の例では風雑音の大きさがWn3を超えた場合にはＨＰＦ７３のカットオフ周波数は2kHzに固定されてこれ以上には変化しない。

以上の説明では、ＨＰＦ７３を可変ゲイン７４及び可変ＬＰＦ７６の動作よりも広く動かす例について説明した。明らかにＷｎ２＝Ｗｎ３とすることで、ＨＰＦ７３の動作を可変ゲイン７４及び可変ＬＰＦ７６と同様の範囲でのみ動作させることもできる。動作を制限すると風雑音の低減効果は小さくなるが、被写体音は忠実に取得できる。一方で、風が吹いた時に第１のマイクロホン７ａに発生する風雑音の大きさはマイクロホンの取り付け構造などによって大きく異なる。Wn1,Wn2,Wn3の設定は、風雑音を低減する必要性と、被写体音を忠実に取得する必要性などを比較して調整すればよい。

前述の説明では、図７に示した合成器７１の例では、可変ＨＰＦ、ＬＰＦのカットオフ周波数の変化させる範囲を具体的に示した。好ましい可変範囲やフィルタの構成について簡単に説明する。

本実施例に示す合成器７１においては、複数のマイクロホン７ａ，７ｂで取得された音声を合成する。このように帯域に分離して合成を行うような処理においては、特に複数のマイクロホンの信号が重なる周波数帯においてそれぞれの経路での位相が一致していることが望ましい。複数の経路における処理によって位相がずれた場合、波形が正しく重ならず相殺するような場合も発生するからである。これを十分に満たすためには、ＨＰＦ７３及びＬＰＦ７２は同じ次数のＦＩＲフィルタで構成されていると都合がよい。ＦＩＲフィルタを用いることで、いわゆる群遅延特性が得られ帯域ごとに処理した場合でも矛盾なく信号を合成することが可能となる。ＦＩＲフィルタで非常にカットオフ周波数が低い場合（正確にはサンプリング周波数との比率で規格化したときに非常に比率が小さくなる場合）において、十分なフィルタ性能を得るためには非常に高い次数のフィルタが必要となる。これは遮断／通過の対象となる周波数の波を得るために多くのサンプル数が必要となることから導かれる。フィルタの次数を無限に大きくすることはできないので、ここからカットオフ周波数の可変範囲の下限が決定される。図７（ｃ）の構成においてはＬＰＦ，ＨＰＦを可変としているために、非常に低いカットオフ周波数とすると、可変ＬＰＦ７６及びＨＰＦ７３の次数が非常に高くなってしまう。このため、周波数を下げる制限として、図７の例では可聴域の信号に大きな影響を与えない範囲として５０Ｈｚを例示した。前述の様に５０Ｈｚに限らず計算器資源によって適当に設定すればよい。図７（ａ）の例では、ＨＰＦのみ可変としているために、前述した高い次数のフィルタは１つで済む。計算量の削減という意味では、図７（ｃ）の構成よりも勝っている。

一方で、可変範囲の上限は音響抵抗体４１を設けた第２のマイクロホン７ｂによって制限される。図３（ｂ）に模式的に示したように、音響抵抗体４１の影響によって第２のマイクロホン７ｂが取得できる被写体の帯域はf0までに制限されている。これを超えた部分では被写体音は得られていないので、図７の例における可変ＬＰＦ７６及びＨＰＦ７３のカットオフ周波数はこれよりも低く設定されるべきである。図３におけるf1であり、明らかにf1＜f0とすべきである。

図１、図３、図６、図８から図１１を用いて、ＨＰＦ５２の効果、可変動作などについて説明する。図３及び図６を用いて説明したように、風雑音は低周波に集中すると共に、第１のマイクロホン７ａと第２のマイクロホン７ｂでは影響の受け方が大きく異なる。すなわち弱い風であっても第１のマイクロホン７ａには大きな風雑音が発生する。このことに伴う問題点として、ＡＤＣ５４ａの飽和や、ＡＬＣ６１の動作が不適切になることが考えられる。ＡＤＣ５４ａの飽和についての理解は容易なので説明を省略し、風雑音が発生しているときのＡＬＣ６１動作に伴う問題について述べる。

ＨＰＦ５２が存在しない状態では、図６に示したように第１のマイクロホン７ａに大きな風雑音が発生する。風雑音と被写体音が重畳されたときにおいても風雑音が支配的になることが想定される。このような環境下ではＡＬＣ６１は第１のマイクロホン７ａの風雑音レベルを参照してレベル調整を行う。その後、合成器７１内のＨＰＦ７３で風雑音が処理されたときには音声信号のレベルが大きく低下してしまう。その結果、加算器７５からの出力が非常に小さなものになってしまうという問題がある。つまり信号レベルが不適切な状態になってしまう。

前述のＡＤＣの飽和や信号レベルが不適切になる問題を解決するために例えば、特許文献１に示した発明を適用することも考えられる。このときの音声処理装置５１の例を図８に示した。図８において図１と同じ機能を持つものには同じ番号を付した。図８ではＡＤＣ５４ａ，５４ｂの前に可変ゲイン６２ａ，６２ｂを備えておりＡＤＣの飽和を回避している。さらに、合成器７１による風雑音処理後にもうひとつのＡＬＣ６１ｂを備えており、可変ゲイン６２ｃ及びレベル調整器６３ｂによって風処理後の信号レベルが不適切になることを防いでいる。

しかしながら、図８の回路においても２つの問題点を抱えている。１つはレベルＡＬＣ動作を２箇所で行うことによる回路規模の増大である。もうひとつは、合成器７１の後方に配置されたＡＬＣ６１ｂでゲインが持ち上げられることによる量子化誤差の増大である。つまり、レベル調整器６３ａは風雑音を含んだ信号でレベル調整を行い、レベル調整器６３ｂでは風雑音を含まない信号でレベル調整を行う。風雑音の低減効果が大きい場合は、レベル調整器６３ｂで大きくゲインアップさせる必要が生じる。このとき、信号は既にデジタル化されているためにレベル調整に伴い、量子化誤差が増大してしまう。

ここでいう量子化誤差について簡単に説明する。例えば、レベル調整器６３ｂで１２ｄＢゲインを挙げる場合にはデジタル信号を２ｂｉｔ左にシフトする演算を行えばよいが、そのときに下位２ｂｉｔに相当する情報がないので適当な値（例えば０）で埋める必要がある。この場合、下位２ｂｉｔは常に０なので１０進数で０の次は４しか表現できない。このように信号がとびとびにしか表現できず、自然の信号（連続）に対して量子化誤差が生じる。

ここで図１に示したＨＰＦ５２を考える。ＨＰＦ５２のカットオフ周波数を適当に設定することで風雑音の主要な成分を除去することができる。その結果、ＡＤＣ５４ａの飽和を防ぐと共に、ＡＬＣ６１において適当なゲイン調整を行うことが可能となる。（ＡＬＣ６１の時点では風雑音に被写体音が埋もれないようになっているので、被写体音のレベルに合わせたＡＬＣ動作を行うことが可能となる。）

ＨＰＦ５２におけるカットオフ周波数の制御シーケンスの例を図９を用いて説明する。図９（ａ）はスイッチ８７の動作シーケンス、図９（ｂ）はＨＰＦ５２の動作シーケンス、図９（ｃ）は可変ゲイン７４の動作シーケンス、図９（ｄ）はＨＰＦ７３の動作シーケンスを示している。また、図９（ａ）から（ｄ）において横軸は共通しており風雑音の大きさを示している。Wn1,Wn2,Wn3は風雑音の大きさを示す値でこの順に風雑音が強いことを示している。図９（ｃ）、（ｄ）の動作は図７（ｂ）と同様であり説明を省略する。

風雑音が予め定めた値Wn1より小さい場合は風処理が必要ないとして、スイッチ８７をＯＮ状態にして前述した残響抑圧器５３の適応動作を行う。また、ＨＰＦ５２のカットオフ周波数は０Hz（＝ＨＰＦ動作せずにスルー）に設定される。音響抵抗体４１を設けた第２のマイクロホン７ｂの信号を用いずに済むことから、忠実に被写体の音声を得られていると考えられる。

風雑音がWn1のレベルを超えると、風雑音の発生があるとして、スイッチ８７をＯＦＦ状態にして前述した残響抑圧器５３における適応フィルタの適応動作を停止させる。このような制御を行うことで不適切な適応動作を抑制することができる。

Wn1からWn2の間にある時を説明する。このとき、ＨＰＦ５２のカットオフ周波数はＨＰＦ７３のカットオフ周波数を超えない範囲で段階的に持ち上がる。前述の制御を行うことで、第１のマイクロホン７ａ発生した風雑音を低減することが可能となる。また、ＨＰＦ７３のカットオフ周波数を超えないように制御することで、ＨＰＦ７３出力に対してＨＰＦ５２のカットオフ周波数は大きな影響を与えることがない。

このことによる効果を説明する。ＨＰＦ５２は音声処理装置５１のアナログ部（ＡＤＣより前段）に設けられることから、一般的にはＩＩＲフィルタ（ＲＣ回路によるＨＰＦ）で構成されることになる。このときにＨＰＦ５２は群遅延特性を満たすことができない。一方でＩＩＲフィルタにおいても通過帯域においては位相の遅れは小さいので、群遅延特性を満たしていなくてもその位相遅れが影響を及ぼすことがない。前述したようにＨＰＦ５２とＨＰＦ７３のカットオフ周波数を制御することで、ＩＩＲフィルタによる位相遅れの影響を低減することができる。前述したように、帯域に分離して合成を行うような処理において、特に複数のマイクロホンの信号が重なる周波数帯においてそれぞれの経路での位相が一致していることが望ましい。しかしながら、これが守られない状況においてもその影響を低減できることを示している。また、前述したようにＨＰＦ５２は音声処理装置５１のアナログ部に設けられるが、アナログ回路において連続的にカットオフ周波数が変化するように構成すると、回路規模が大きくなってしまう。図９で説明したような制御シーケンスに適した回路にすることで、簡単な構成によって実現することができる。

以上に説明した回路で処理をした信号の例を図１０及び図１１に示す。図１０はＨＰＦ５２を設けない場合を、図１１はＨＰＦ５２を設けた場合をそれぞれ示している。図１０の信号は図１に対してＨＰＦ５２の除いた状態で処理した信号である。また、図中に示したようにグラフは上から順に、ゲイン６２ａ出力、ゲイン６２ｂ出力、ＨＰＦ７３出力、ＬＰＦ７２出力、加算器７５出力をそれぞれ示している。また横軸は、時間を示しており、全てのグラフにおいて共通である。図１０及び図１１の例では2.5秒付近から被写体がしゃべっている状態（人の声が収音したい音である）を示している。また、図１０及び図１１で示した信号は風雑音のレベルが、図９のWn2のレベルにあるとして処理を行った。

2.5秒より以前の部分は図６に示したものと同じく、風雑音のみの状態である。この部分にのみ着目すると、図１０と図１１のゲイン６２ａ出力は図１１の方が大きいように見える。実際にはALC６１によってゲインアップされているためである。これは被写体音と重なった2.5秒以降を見ると明らかである。

2.5秒以降のゲイン６２ｂ出力に着目すると、図１０の信号は、図１１の信号に比べて明らかに信号レベルが低いことが分かる。これはＡＬＣ６１が第１のマイクロホン７ａで発生した風雑音に対してレベル調整を行ったためにゲインが小さくなり、結果として被写体音が非常に小さく取得されている。一方で、図１１の信号はＨＰＦ５２の効果によって、第１のマイクロホン７ａで発生した風雑音を低減させているので、ＡＬＣ６１のゲインが図１０の状態に比べて高く保たれている。

図１０のＨＰＦ７３出力に着目すると、ＨＰＦ７３のカットオフ周波数を適当に処理することで風雑音は相当程度低減されていることが見て取れる。しかしながら、ゲイン６２ａ出力の信号レベルに比べて、ＨＰＦ７３の信号レベルが大きく低下することから、最終的な加算器７５の出力の信号レベルは非常に小さくなっていることが分かる。

一方、図１１においても、ＨＰＦ７３のカットオフ周波数を適当に処理することで風雑音は相当程度低減されていることが見て取れる。さらに、ＬＰＦ７２の出力が大きく保たれているので、最終的な加算器７５の出力の信号レベルも十分なレベルに保たれていることが分かる。

このように、ＨＰＦ５２をＡＤＣ及びＡＬＣよりもマイクロホンに近い側に配置することで、高品質な音声を得ることが可能となる。

本実施例の別の回路構成の例を図１２に示す。図１２（ａ）はＡＬＣをアナログ部に配置した例であり、図１２（ｂ）はＡＬＣ６１を合成器７１の後方に配置した例である。このような構成でも本実施例に示した効果を得ることが可能となる。

以上に説明したように、本発明によれば音響抵抗体で風雑音を低減しつつも残響音を抑制した高品位な音声を得ることが可能となる。

（実施例２）
以下、図１３から図１４を参照して、本発明の第２の実施例による、録音装置及び録音装置を備えた撮像装置について説明する。第２の実施例において第１の実施例と同じ動作をするものについては同じ番号を付した。

図１３は撮像装置の斜視図である。図１３は図２と類似するが、マイクロホン用の開口部３２ｃが追加されている。開口部３２ｃの奥には不図示のマイクロホン７ｃが設けられている。

図１４は、図１３に示した装置に対応する音声処理装置５１の要部を説明する図である。図１４は第１の実施例のうち、図１２（ａ）に示した、ＡＬＣをアナログで行う回路を元に、ステレオに拡張を行っている。また、残響抑圧器５３及びレベル検出器８６は表記を簡略化／変更した。第１の実施例に対して、第１のマイクロホン７ａが２つに拡張されている。ここでマイクロホン７ａとマイクロホン７ｃはステレオの左右チャンネルを構成するマイクロホンでありその特性は等しくなるように設計されている。一方で、第２のマイクロホン７ｂには音響抵抗体４１が設けられており、第１の実施例と同様の特性となっている。

図１４で拡張された、ＨＰＦ５２ｂ、ゲイン６２ｃ、ＡＤＣ５４ｃ、ＤＣ成分カット用のＨＰＦ５６ｃ、ＨＰＦ７３ｂはそれぞれ実施例１に示した、ＨＰＦ５２、ゲイン６２ａ、ＡＤＣ５４ａ、ＤＣ成分カット用のＨＰＦ５６ａ、ＨＰＦ７３と同じ動きをする。ここでは動作が変化する遅延器５５ａ，５５ｂ及び新設された位相比較器５７、加算器５８、ゲイン５９について説明する。

ステレオ録音装置においては、音声信号の位相差により信号にステレオ感を与えている。一方、図１３のような配置においては第１のマイクロホン７ａ、７ｃの間に第２のマイクロホン７ｂが配置されている。このような構成ではマイクロホン７ａとマイクロホン７ｃの位相差を考えたときに、その中間に第２のマイクロホン７ｂの信号の位相が存在する。例えばマイクロホン７ａとマイクロホン７ｂ、マイクロホン７ｃとマイクロホン７ｂが等距離になるようにちょうど中間に第２のマイクロホン７ｂを配置したときには、位相もちょうど中間にある。そこで、図１４の回路ではマイクロホン７ａとマイクロホン７ｃの位相の差を計算して、それに対応した遅延を遅延器５５ａ，５５ｂで与えるようにする。

例えば、マイクロホン７ａの信号よりもマイクロホン７ｃの信号が遅延している場合を考える。このとき後述するように、残響抑圧器はその中間の信号にあうように調整される。マイクロホン７ａの信号と混合するときには位相を進めて、マイクロホン７ｃの信号と混合するときには位相を遅らせて混合すればよい。第１の実施例では、残響抑圧器５３のフィルタ次数の半分（＝Ｍ／２）の遅延を与えておけばよいとしたが、５５ａではこれよりも小さな遅延を与え、５５ｂではこれよりも大きな遅延を与えればよい。またその絶対値はマイクロホンの配置によって異なるが、例えば前述したように、第２のマイクロホン７ｂが第１のマイクロホン７ａ、７ｃの中間に位置しているときには、位相比較器５７で計算された位相差のそれぞれ半分をずらすようにすればよい。前述の処理を行うことで、ステレオ感を損なうことなく音声信号を得ることができる。

加算器５８及びゲイン５９について説明する。加算器２８はマイクロホン７ａ及びマイクロホン７ｃの信号を加算する。ゲイン５９は加算器５８の出力を半分にする。その結果ゲイン５９の出力はマイクロホン７ａとマイクロホン７ｃの加算平均となる。その結果取得された音声の位相は、マイクロホン７ａとマイクロホン７ｃ信号の中間の位相になる。一方、ＢＰＦ８２ａは実施例１で示したように３０Ｈｚ〜１ｋＨｚ程度の帯域しか通過させない。さらに音声処理装置５１はさらにＢＰＦの通過帯域に対して高い周波数の音声まで取得することが可能な構成となっている。このとき取得可能な音声信号において、マイクロホン７ａとマイクロホン７ｃ信号の間で位相の反転が起きないように配置されている。以上のことから、ＢＰＦ８２ａで通過させる帯域に限って観察すると、マイクロホン７ａとマイクロホン７ｃ信号の間に存在する位相の差は小さい。このことから８２ａ通過帯域における信号のレベルはほぼ加算されていると考えてよい。このためゲイン５９で出力を半分にすることで信号のレベルは７ａ，７ｃとほぼ同一で、位相はその中間にあるような信号を得ることができる。本実施例では前述のゲイン５９の出力にあわせるように残響抑圧器５３を動作させる。

以上の構成によって、ステレオで録音する装置においても、ステレオ感を損なうことなく、本発明を容易に適用することができる。

本実施例においてはステレオの場合（高周波域まで取得する第１のマイクロホンが２個の場合）について説明したが、さらに多くのマイクロホンをもつ録音装置についても容易に拡張を行うことができる。

（実施例３）
以下、図１５を参照して、本発明の第３の実施例による、録音装置及び録音装置を備えた撮像装置について説明する。第３の実施例において第１の実施例と同じ動作をするものについては同じ番号を付した。

第３の実施例による録音装置を備えた撮像装置の斜視図は第１の実施例の図２と同様のため省略する。図１５は第３の実施例における音声処理装置５１の要部を説明する図である。図１５では、ＬＰＦ７２の前段に音声信号のサンプリング周波数を変更するアップサンプラ９６が配されている。また、第１の実施例と異なり、ＡＤＣ５４ａ及び５４ｂにおけるサンプリング周波数には異なる値が設定されている。ＡＤＣ５４ａのサンプリング周波数に対し、ＡＤＣ５４ｂのサンプリング周波数は低い値に設定されている。また、ＡＤＣ８４のサンプリング周波数はＡＤＣ５４ｂと同じ値に設定されている。

ＡＤＣ５４ｂ、ＡＤＣ８４、残響抑圧器５３、及び新設されたアップサンプラ９６について説明する。

第１のマイクロホン７ａの出力は分岐して風検出器８１に送られ、ＢＰＦ８２ａを通過した後、ＡＤＣ８４でＡＤＣ５４ａよりも低いサンプリング周波数でＡ／Ｄ変換される。このサンプリング周波数はＢＰＦ８２ａで通過した帯域を再現できる範囲の値であり、ＡＤＣ５４ａのサンプリング周波数の整数分の１が望ましい。例えばＢＰＦ８２ａの通過帯域が３０Ｈｚ〜1ｋＨｚであり、ＡＤＣ５４ａのサンプリング周波数が４８ｋＨｚである場合、４８ｋＨｚの１６分の１である３ｋＨｚに設定する。そして、ＡＤＣ８４の出力は遅延器８５で遅延がされ差分器８３に送られる。

一方、第２のマイクロホン７ｂの信号はＡＤＣ５４ｂにおいてＡＤＣ８４と同様のサンプリング周波数にＡ／Ｄ変換される。そして、残響抑圧器５３で残響が抑圧された後、分岐して風検出器８１に送られ、ＢＰＦ８２ｂを通過した後、差分器８３に送られる。残響抑圧器５３のフィルタ次数ＭはＡＤＣ５４ｂでサンプリング周波数が１６分の１に抑えられているので、従来の１６分の１にしても従来と同等の効果を得ることができ、回路規模、演算量の減少に繋がる。残響抑圧器５３のフィルタ次数Ｍの減少に伴い、遅延器８５の遅延量も減少する。差分器８３以下の動作は第１の実施例と同様であるため省略する。

分岐した残響抑圧器５３の出力の一方はＨＰＦ５６ｂを通過し、ＡＬＣ６１でゲイン調整されアップサンプラ９６に送られる。アップサンプラ９６では、可変ゲイン６２ｂの出力をＡＤＣ５４ａと同じサンプリング周波数に変換され、ＬＰＦ７２に送られる。アップサンプリングを行うとエリアシングを発生させることもあるが、ＬＰＦ７２によって高周波成分が低減され、エリアシングは除去される。

第１のマイクロホン７ａの後段のＨＰＦ５２以下及び、ＬＰＦ７２以下の動作については第１の実施例と同様であるため省略する。

以上の構成によって、低周波成分をダウンサンプリングして残響抑圧処理を行うことで回路規模、演算量の低減が行うことができる。さらに、残響抑圧処理後にアップサンプリングを行うことで、高品位な音声を得ることが可能となる。

（実施例４）
以下、図１６、図１７を参照して、本発明の第４の実施例による、録音装置及び録音装置を備えた撮像装置について説明する。第４の実施例において第１の実施例と同じ動作をするものについては同じ番号を付した。

第４の実施例による録音装置を備えた撮像装置の斜視図は第１の実施例の図２と同様のため省略する。図１６は第３の実施例における音声処理装置５１の要部を説明する図である。図１６の９７は、ＢＰＦ８２ｂ及び遅延器８５の分岐した出力を受け、２つの信号の相互相関値を算出し、音源の到来方向が複数あるか否かを判定する相互相関算出器である。相互相関算出器９７の動作については後述する。図１７は被写体音の発生音源とマイクロホン７ａ，ｂの位置関係と、音声の伝播を模式的に表したものであり、図１７（ａ）は被写体音が一方向から伝播する場合であり、図１７（ｂ）は被写体音が二方向から伝播する場合の模式図である。

図１７を使って被写体音が二方向から伝播する場合の問題点について説明する。ある被写体Ｏ１から発せられる被写体音をs1、被写体Ｏ１とは異なる方向から発せられる被写体音をs2とする。そして、被写体Ｏ１からマイクロホン７ａへ伝播する音声の伝達関数をT1aとしマイクロホン７ｂへ伝播する音声の伝達関数をT1bとする。また、同様に被写体Ｏ２からマイクロホン７ａ、７ｂに伝播する音声の伝達関数をそれぞれT2a、T2bとする。図１７（ａ）のように被写体音の音源が一方向である場合、マイクロホン７ａ及び７ｂで取得される音声の信号x1及びx2はそれぞれ次式で表される。

マイクロホン７ａの信号x1とマイクロホン７ｂの信号x2の間には、被写体音からのマイクロホン７ａ及びマイクロホン７ｂと距離の差により遅延が生じるが、時間的にズレがあるだけで２つの信号の相関は非常に高い。一方、図１７（ｂ）のように被写体音が二方向から伝播する場合、マイクロホン７ａ及び７ｂで取得される音声の信号x1及びx2はそれぞれ次式で表される。

マイクロホン７ａの信号x1とマイクロホン７ｂの信号x2の間には、２つのマイクロホン７ａ、７ｂと２つの被写体O１、O２の距離により、それぞれの遅延が生じる。２つの被写体O１、O２の位置が離れるに従い、T1aとT1b及びT2aとT2bでの遅延量にずれが生じるため、二つの信号の相関性が低くなる。その結果、残響抑圧器５３の更新が正しく行われなくなる問題が発生する。

そこで第４の実施例による録音装置を備えた撮像装置では、相互相関算出器９７を設け、２つの信号の相互相関値が規定値より低い場合は残響抑圧器の学習を止めることで上記の課題を解決する。

相互相関算出器９７の動作について説明する。相互相関算出器９７にはＢＰＦ８２ｂ及び遅延器８５の分岐した出力が送られる。これはマイクロホン７ａ及びマイクロホン７ｂのＢＰＦ８２ａ、ＢＰＦ８２ａそれぞれを通過した３０Ｈｚ〜１ｋＨｚの周波数帯域の音声信号である。この信号をそれぞれｘ1_BPF、x2_BPFとし、相互相関算出器９７では、次のように２つの信号の相互相関値を算出する。データ長がNの時のｎサンプル目における２つの信号の相互相関値R(ｎ)は次式で求められる。

さらにこれをx1_BPFで正規化すると次式のように表される。

被写体音の方向が一方向である場合は、理想的にRnorm（ｎ）は最大値に１を有する。しかし、被写体音の発生音源方向が二方向以上である場合は、２つの信号の相互相関が低くなるため、Rnorm(ｎ)が１より低くなる。よって、求められた正規化相互相関値Rnorm(ｎ)が予め定められた値Rn1よりも低い場合は、被写体音の発生音源方向が二方向以上であると判断し、スイッチ８７をOFF状態にして残響抑圧器５３の適応動作を停止させる。

また、第３の実施例による撮像装置でも第１の実施例と同様にレベル検出器８６の検出結果によってスイッチ８７は切替えられる。つまり、相互相関算出器９７で相互相関値がRｎ1よりも低いと検出されるか、又はレベル検出器８６で風雑音がWn1のレベルを超えたことが検出されると、スイッチ８７をOFF状態にして残響抑圧器５３における適応フィルタの適応動作を停止させる。

このような制御を行うことで、被写体音が二方向以上の方向から伝播する場合でも適切な適応動作を行うことができ、高品位な音声を得ることが可能となる。

（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (11)

1. 第１及び第２のマイクロホンと、
   装置外部から前記第２のマイクロホンへの空気の移動を遮断するために、前記第２のマイクロホンを覆うように設けられた音響抵抗体と、
   前記第１のマイクロホンの出力信号の高周波成分のみを通過させる高域通過フィルタと、
   前記第２のマイクロホンの出力信号の低周波成分のみを通過させる低域通過フィルタと、
   前記高域通過フィルタの出力信号と前記低域通過フィルタの出力信号とを加算して出力する加算器と、
   前記第２のマイクロホンと前記低域通過フィルタとの間に設けられ、前記第１のマイクロホンの出力信号と前記第２のマイクロホンの出力信号との差が最小になるようフィルタ係数を推定学習することで、前記第２のマイクロホンの出力信号のうちの、前記音響抵抗体と前記第２のマイクロホンとの間の閉空間において発生する残響成分を抑圧する適応フィルタと、
   を有することを特徴とする音声処理装置。
2. 前記第１のマイクロホンの出力信号を遅延させる遅延器を更に有し、
   前記遅延器の遅延量は前記適応フィルタの次数に応じて決定されることを特徴とする請求項１に記載の音声処理装置。
3. 前記第１のマイクロホンの出力信号と前記第２のマイクロホンの出力信号との差が所定値を超えるときは、前記適応フィルタの適応動作を停止するよう前記適応フィルタを制御する制御手段を更に有することを特徴とする請求項１又は２に記載の音声処理装置。
4. 前記第１のマイクロホンの出力信号をデジタル化する第１のＡ／Ｄコンバータと、
   前記適応フィルタよりも前段において、前記第１のＡ／Ｄコンバータのサンプリング周波数よりも低いサンプリング周波数で前記第２のマイクロホンの出力信号をデジタル化する第２のＡ／Ｄコンバータと、
   前記第２のＡ／Ｄコンバータでデジタル化され前記適応フィルタを通過した前記第２のマイクロホンの出力信号のサンプリング周波数を、前記第１のＡ／Ｄコンバータのサンプリング周波数と同じサンプリング周波数に変更するアップサンプラと、
   を更に有する特徴とする請求項１乃至３のいずれか１項に記載の音声処理装置。
5. 前記第１のマイクロホンの出力信号と前記第２のマイクロホンの出力信号との相互相関値を算出し、算出した相互相関値に基づき音源の到来方向が複数あるか否かを判定する相互相関算出手段と、
   前記相互相関算出手段により音源の到来方向が複数あると判定されたときは、前記適応フィルタの適応動作を停止するよう前記適応フィルタを制御する制御手段と、
   を更に有することを特徴とする請求項１に記載の音声処理装置。
6. 前記適応フィルタのフィルタ係数の初期値は、前記第１のマイクロホン及び前記第２のマイクロホンの構造の設計値に基づいて設定されることを特徴とする請求項１乃至５のいずれか１項に記載の音声処理装置。
7. 前記音声処理装置の電源がＯＦＦされた際の前記適応フィルタのフィルタ係数をメモリに記憶しておき、次回起動時、該メモリに記憶されたフィルタ係数が初期値として設定されることを特徴とする請求項１乃至５のいずれか１項に記載の音声処理装置。
8. 所定の基準音を前記第１及び第２のマイクロホンに入力したときの前記適応フィルタのフィルタ係数をメモリに記憶しておき、該メモリに記憶されたフィルタ係数が起動時の初期値として設定されることを特徴とする請求項１乃至５のいずれか１項に記載の音声処理装置。
9. 請求項１乃至８のいずれか１項に記載の音声処理装置を備えた撮像装置。
10. 第１及び第２のマイクロホンと、装置外部から前記第２のマイクロホンへの空気の移動を遮断するために、前記第２のマイクロホンを覆うように設けられた音響抵抗体とを備える音声処理装置における音声処理方法であって、
    高域通過フィルタにより、前記第１のマイクロホンの出力信号の高周波成分のみを通過させるステップと、
    低域通過フィルタにより、前記第２のマイクロホンの出力信号の低周波成分のみを通過させるステップと、
    前記高域通過フィルタの出力信号と前記低域通過フィルタの出力信号とを加算して出力するステップと、
    適応フィルタにより、前記第１のマイクロホンの出力信号と前記第２のマイクロホンの出力信号との差が最小になるようフィルタ係数を推定学習することで、前記第２のマイクロホンの出力信号のうちの、前記音響抵抗体と前記第２のマイクロホンとの間の閉空間において発生する残響成分を抑圧するステップと、
    を有することを特徴とする音声処理方法。
11. コンピュータに、請求項１０に記載の音声処理方法における各ステップを実行させるためのプログラム。

Images