JP2011119783A - 音声信号処理装置 - Google Patents

Abstract

【課題】 マイクにより入力された音声信号のレベルの調整処理を、ユーザ使用環境下でも最適に実行できるようにする。
【解決手段】 複数の音声信号の極性が同じである期間を検出し、検出された期間における、前記増幅された複数の音声信号それぞれのピーク値を検出し、複数の音声信号のピーク値が相互に近づくように、各音声信号のレベルを制御する。
【選択図】 図２

Description

本発明は、音声信号処理装置に関し、特に、装置に入力された音声信号のレベルを補正する装置に関する。

従来、音声信号を処理する装置として、画像信号を記録すると共に音声信号を記録する撮像装置が知られている。これらの撮像装置では、外部の音声を集音し音声信号を生成するための複数のマイクエレメントからなる内蔵マイクユニットが備えられている。また、外部の音声を集音し音声信号を生成するための複数のマイクエレメントからなる外部マイクユニットを装着するためのマイク端子が備えられている。しかし、これらのマイクユニットに含まれている複数のマイクエレメントは、個体差があり感度が相互にずれてしまうことがあった。この様な感度のずれは、マイクエレメントにより得られた音声信号を演算させて、仮想的な音声信号を生成する際に、指向性がずれてしまう原因になってしまうことがあった。また、この様に感度のずれた音声は、耳障りな音声となってしまうこともあった。

このような問題に対し、従来、マイクエレメントから入力された音声信号を増幅することで、感度を仮想的に合わせていた。そのために、複数のマイクエレメントから入力された音声信号の絶対値を常に比較し、差が０に近づくように音声信号のレベルを補正し続けるものがあった（例えば特許文献１）。

特開平７−１３１８８６号公報

しかし、従来の方式では、例えば、音声の到来方向が不明な環境下では、比較する音声信号同士の位相が合わず、正確に補正量を決定することができなくなってしまう場合があった。

そこで、本発明は、ユーザが通常に撮影（集音）する環境下でも、音声信号のレベル調整の正確性を向上させることができる音声処理装置を提供することを目的とする。

本発明の音声処理装置は、かかる目的を達成するために、複数の音声信号を入力する入力手段と、前記入力手段により入力された複数の音声信号を処理する音声処理手段であって、前記入力手段により入力された音声信号のレベルを調整値に基づいて調整する調整手段を有する音声処理手段と、前記音声処理手段から出力された複数の音声信号が同じ極性である期間を検出する検出手段と、前記検出手段により検出された期間における、前記音声処理手段から出力された複数の音声信号それぞれのピーク値を検出するピーク検出手段と、前記ピーク検出手段の検出結果に基づいて、前記音声処理手段から出力された複数の音声信号のピーク値が相互に近づくように、前記調整手段における調整値を制御する制御手段とを有することを特徴とする。

本発明によれば、ユーザが通常に撮影（集音）する環境下でも、音声信号のレベル調整の正確性を向上させることができる。

実施例１の撮像装置のブロック図である。 実施例１の音声入力部１０２のブロック図である。 音声信号の遅延とピーク値について説明するための図である。

以下、図面を参照して本発明の実施例を詳細に説明する。

音声信号を処理、録音することができる音声信号処理装置として、撮像装置について説明する。

図１は、実施例１の撮像装置１００の構成を示すブロック図である。
図１において、撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。音声入力部１０２は、内蔵または音声端子を介して接続された複数のマイクにより、撮像装置１００の周辺の音声を集音し、アナログデジタル変換、音声処理などを行い音声データを生成する。メモリ１０３は、撮像部１０１により得られた画像データや、音声入力部１０２により得られた音声データを一時的に記憶する。表示制御部１０４は、撮像部１０１により得られた画像データに係る映像や、撮像装置１００の操作画面、メニュー画面等を表示部１０５や、不図示の映像端子を介して外部のディスプレイに表示させる。符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。記録再生部１０７は、記録媒体１０８に対して、符号化処理部１０６で生成された圧縮画像データ、圧縮音声データ等を記録したり、記録媒体１０８に記録された圧縮画像データ、圧縮音声データ、各種データ、プログラムを読み出す。ここで、記録媒体１０８は、圧縮画像データ、圧縮音声データ、等を記録することができれば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体を含む。

制御部１０９は、撮像装置１００の各ブロックに制御信号を送信することで撮像装置１００の各ブロックを制御することができ、各種制御を実行するためのＣＰＵやメモリなどからなる。操作部１１０は、ボタンやダイヤルなどからなり、ユーザの操作に応じて、指示信号を制御部１０９に送信する。音声出力部１１１は、記録再生部１０７により再生された圧縮音声データや、制御部１０９により出力される音声データをスピーカ１１２や音声端子などに出力する。外部出力部１１３は、記録再生部１０７により再生された圧縮映像データや圧縮音声データなどを外部機器に出力する。データバス１１４は、音声データや画像データ等の各種データ、各種制御信号を撮像装置１００の各ブロックに供給する。

ここで、本実施例の撮像装置１００の通常の動作について説明する。
本実施例の撮像装置１００は、ユーザが操作部１１０を操作して電源を投入する指示が出されたことに応じて、付図示の電源供給部から、撮像装置の各ブロックに電源を供給する。

電源が供給されると、制御部１０９は、例えば、操作部１１０のモード切り換えスイッチが、例えば、撮影モード、再生モード等のどのモードであるかを操作部１１０からの指示信号により確認する。動画記録モードでは、撮像部１０１により得られた画像データと音声入力部１０２により得られた音声データとを１つのファイルとして保存することができる。再生モードでは、記録媒体１０８に記録された圧縮画像データを記録再生部１０７により再生して表示部１０５に表示させることができる。

動画記録モードでは、まず、制御部１０９は、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。

撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部１０４に送信し、表示部１０５に表示させる。ユーザはこの様にして表示された画面を見ながら撮影の準備を行う。

音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データを音声出力部１１１に送信し、接続されたスピーカ１１２や不図示のイヤホンから音声として出力させる。ユーザは、この様にして出力された音声を聞きながら記録音量を決定するためのマニュアルボリュームの調整をすることもできる。

次に、ユーザが操作部１１０の記録ボタンを操作することにより撮影開始の指示信号が制御部１０９に送信されると、制御部１０９は、撮像装置１００の各ブロックに撮影開始の指示信号を送信し、以下のような動作をさせる。

撮像部１０１は、撮影レンズにより取り込まれた被写体の光学像を撮像素子により画像信号に変換し、アナログデジタル変換、画像調整処理などを行い、画像データを生成する。そして、得られた画像データを表示処理部１０４に送信し、表示部１０５に表示させる。また、得られた画像データをメモリ１０３送信する。

音声入力部１０２は、複数のマイクにより得られたアナログ音声信号をデジタル変換し、得られた複数のデジタル音声信号を処理して、マルチチャンネルの音声データを生成する。そして、得られた音声データをメモリ１０３に送信する。

符号化処理部１０６は、メモリ１０３に一時的に記憶された画像データや音声データを読み出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成する。

そして、制御部１０９は、これらの圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。

記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。
以上の動作を撮影中は継続する。

そして、ユーザが操作部１１０の記録ボタンを操作することにより撮影終了の指示信号が制御部１０９に送信されると、制御部１０９は、撮像装置１００の各ブロックに撮影終了の指示信号を送信し、以下のような動作をさせる。

撮像部１０１、音声入力部１０２は、それぞれ画像データ、音声データの生成を停止する。
符号化処理部１０６は、メモリに記憶されている残りの画像データと音声データとを読出して所定の符号化を行い、圧縮画像データ、圧縮音声データ等を生成し終えたら動作を停止する。

そして、制御部１０９は、これらの最後の圧縮画像データ、圧縮音声データを合成し、データストリームを形成し、記録再生部１０７に出力する。

記録再生部１０７は、ＵＤＦ、ＦＡＴ等のファイルシステム管理のもとに、データストリームを一つの動画ファイルとして記録媒体１０８に書き込んでいく。そして、データストリームの供給が停止したら、動画ファイルを完成させて、記録動作を停止させる。

制御部１０９は、記録動作が停止すると、撮影待機状態に移行させるように制御信号を撮像装置１００の各ブロックに送信して、撮影待機状態に戻る。

次に、再生モードでは、制御部１０９は、再生状態に移行させるように制御信号を撮像装置１００の各ブロックに送信し、以下のような動作をさせる。

記録媒体１０８に記録された圧縮画像データと圧縮音声データとからなる動画ファイルを記録再生部１０７が読出して、読出された圧縮画像データ、圧縮音声データは、符号化処理部１０６に送る。

符号化処理部１０６は、圧縮画像データ、圧縮音声データを復号してそれぞれ、表示制御部１０４、音声出力部１１１に送信する。
表示制御部１０４は、復号された画像データを表示部１０５に表示させる。
音声出力部１１１は、復号された音声データを内蔵または、取付けられた外部スピーカから出力させる。
本実施例の撮像装置は以上のように、画像、音声の記録再生を行うことができる。

ところで、本実施例の音声入力部１０２は、複数のマイクにより得られた複数のアナログ音声信号に対応する複数のデジタル音声信号の相互レベルを調整する処理を実行している。すなわち、マイク同士の個体差によってマイクから出力される音声信号のレベルに差が出ないようにするために、デジタル音声信号のレベルを調整している。例えば、同じ音量の音声がマイクに入力されたときに、個々のマイクから出力される音声信号の示す音量が同じレベルになるようにデジタル音声信号のレベルを調整する処理を実行している。本実施例では、それぞれのマイクに対応するデジタル音声信号のピーク値が同じレベルになるように調整する処理を実行する。この処理を以降、「レベル調整処理」という。

通常、人の発した声などの通常の音声は、左右のマイクで検出すると、ほぼ同様の波形の音声信号、音声の到来方向やマイクの個体差に依存する遅延時間を持って、現れることが知られている。一方、風などがマイクに当たると、左右のマイクから出力される音声信号に相関がなくなってしまうため、異なる波形の音声信号が現れることも知られている。

本実施例では、相関が高い音声信号がそれぞれのマイクに入力されている期間を検出し、その期間の音声信号に基づいて、「レベル調整処理」を行うことで、デジタル音声信号のレベルを調整することを特徴としている。相関が高い音声信号が入力されている期間か否かを検出するためには、マイク間距離、マイクの個体差の差分を考慮して、所定時間以内に、相関性ある信号が出力されているか否かを検出することが望ましい。そこで、本実施例では、複数のマイクに対応する音声信号の極性が同じ期間を検出し、その期間のピーク値が所定の時間差以内にある場合を通常音声が入力されているとすることとした。例えば、マイクより出力される音声信号の電圧値がプラスのときは正極性、電圧値がマイナスのときは負極性とする。ここで、極性が同じ期間とは、複数の音声信号が同時に正極性または、同時に負極性の期間である。

以下に、本実施例の「レベル調整処理」について説明する。図２は、図１の音声入力部１０２の詳細な機能を示すブロック図である。本実施例では、簡単のためマイクが２つの例について説明するが、３つ以上のマイクであっても適用可能な技術である。

まず、音声データの生成されるまでの音声信号の流れについて説明する。マイク２０１は第１の無指向性のマイクであり、マイク２０２は第２の無指向性のマイクである。前述したようにこれらのマイク２０１、２０２は、撮像装置１００本体に内蔵されていても、不図示のマイク端子に接続されたマイクでもよい。この２つのマイクにより入力されたアナログ音声信号は、ＡＤＣ２０３で、１秒間に４８０００回サンプリング（つまりサンプリング周波数４８ｋＨｚ）され、デジタル信号に変換される。

そして、ＡＤＣ２０３で変換されたデジタル音声信号は、調整用増幅部２０４で、レベルが調整される。ここでは、２つのマイクに入力された同じレベルの音声に対して、デジタル音声信号のレベルが同じレベルになるように調整される。すなわち、この調整用増幅部２０４は、マイク２０１および／または２０２のデジタル音声信号を増幅／減衰させることで、同じ程度レベルのデジタル音声信号になるようにするのである。この増幅率、減衰率などは、後述のゲイン更新部２１２により送信される調整値によって設定される。そして、同程度のレベルに調整されたデジタル音声信号は、指向性生成部２０５に入力される。指向性生成部２０５では、入力されたデジタル音声信号に基づいて、ステレオ音声データなどの指向性のある音声データを生成して順次、メモリ１０３に送信する。

このように、本実施例では、音声入力部１０２は、複数のマイクから入力された音声信号のレベルを調整する「レベル調整処理」を行いながら音声データを生成している。

なお、２つの音声信号からステレオ音声データを生成する処理、複数の音声信号から５．１チャンネル音声データを生成する処理などは、公知の技術であるので説明を省略する。

ここで、「レベル調整処理」の詳細についてさらに、図２、図３を用いて説明する。
前述したように、４８ｋＨｚでサンプリングされた、複数のマイクに対応するデジタル音声信号は、調整用増幅部２０４でレベルが調整される。しかし、常にレベルを比較し、同程度のレベルが出力されるように、調整用増幅部２０４の増幅率、減衰率を設定するようにしている。

そのため、調整用増幅部２０４で調整されたデジタル音声信号は、それぞれ帯域制減部２０６に入力される。

帯域制限部２０６では、入力された音声信号の特定の周波数帯域の信号を通過させる。例えば、３００Ｈｚから５００Ｈｚ程度の周波数帯域の信号を通過させるようになっており、例えば、ローパスフィルタとハイパスフィルタの組み合わせやバンドパスフィルタにより実現される。この周波数の信号を通過させるようにしたのは、本実施例のマイク同士の距離、マイク２０１、２０２の個体差による特性、などの理由による。ここで通過した特定の周波数の複数のデジタル音声信号は、極性検出部２０７、ピーク検出部２０８に送られる。

極性検出部２０７では、入力された複数のデジタル音声信号それぞれについて、１サンプル毎に極性を判定していく。そして、複数のデジタル音声信号それぞれの極性判定結果を、ピーク検出部２０８、調整サンプル数検出部２１５、制御部１０９に送信する。

ピーク検出部２０８では、極性検出部２０７により入力された極性判定結果に基づいて、複数のデジタル音声信号の極性が、同時に同じ極性を示している期間を検出する。言い換えれば、複数のデジタル音声信号の極性が、異ならない期間を検出する。この期間を本実施例では、「ピーク検出期間」という。そして、この期間における、複数のデジタル音声信号それぞれのピーク値を以下の方法で検出する。

ピーク検出部２０８では、各デジタル音声信号について、各々、入力されたデジタル音声信号を絶対値に変換する。そして、絶対値変換されたデジタル音声信号の値が大きくなるうちは１サンプル毎にピーク値をそのデジタル音声信号の値として更新し続ける。一方、デジタル音声信号のピーク値が小さくなる場合は、最も大きい値を示した１サンプルのピーク値をホールドしつづける。そして、「ピーク検出期間」が経過するとピーク値の値を初期化して、次の期間に備える。ここで検出した、複数のデジタル音声信号のピーク値の検出結果の情報は、比較部２１０に送信される。

また、ピーク検出部２０８は、複数のデジタル音声信号それぞれについて、ピーク値を更新しているか、ホールドしているかのフラグを作成し、位相差検出部２０９に送信する。

図３は、ピーク検出部２０８に入力されたデジタル音声信号を絶対値変換した状態の信号を示す図である。図３において、縦軸は、振幅レベル、横軸は時間を示している。マイク２０１に対応するデジタル音声信号を絶対値変換した信号は、実線３０１で示されており、マイク２０２に対応するデジタル音声信号を絶対値変換した信号は、波線３０２で示されている。図３において、上述した、同時に同じ極性を示している期間（複数のデジタル音声信号の極性が異ならない期間）は、３０３に示される。そして、その区間における、マイク２０１に対応するデジタル音声信号のピーク値は、点３０４であり、マイク２０２に対応するデジタル音声信号のピーク値は、点３０５である。

位相差検出部２０９では、ピーク検出部２０８から送信された複数のデジタル音声信号について、それぞれのピーク更新中か、ホールド中かを示すフラグの情報に基づいて、ピーク同士の時間差を求める。すなわち、複数のデジタル音声信号のうち一つの信号がピーク値を迎えてから、全ての信号がピーク値を迎えるまでの時間差（図３の時間差３０６）が、どのくらいの時間であるかを求める。本実施例では、一つの信号がピーク値を迎えてから、全ての信号がピーク値を迎えるまでの間が何サンプルであるかを求め、比較部２１０、エラー検出部２０９に送信する。

ここで、本実施例では、サンプリングレート４８０００Ｈｚ、すなわち、１秒間に４８０００個のサンプリングを行うこととしている。よって、ｎサンプルから（ｎ＋１）サンプルの間は、１／４８０００秒である。例えば１０サンプルの間は、１／４８００秒となる。

比較部２１０では、複数のデジタル音声信号のピーク同士の時間差が所定期間内（所定サンプル数以内）における、複数のデジタル音声信号のピーク値同士を比較する。本実施例では、１０サンプル以内とする。比較部２１０では、マイク２０１に対応するデジタル音声信号を基準として、マイク２０２に対応するデジタル音声信号が大きいか小さいかを比較する。そのために、本実施例では、各マイクに対応するデジタル音声信号のピーク値同士を比較する。そして、マイク２０２に対応するデジタル音声信号のピーク値が小さい場合には、＋１、大きい場合には−１、同じ場合には０の値を生成する。そして、制御部１０９により指定された係数ｋをかけた制御値を積分部２１１に送信する。

ここで、１０サンプル以内にピーク値がある場合としたのは、先述したように、マイクの個体差、マイクの配置、音声の到来方向を考慮して、通常の音声が入力されている可能性が高い期間の値を使用するためである。

積分部２１１では、比較部２１０から入力された制御値を積算していき、所定の値（＋６４や−６４）になると、ゲイン更新部２１２にゲインを変更するためのゲイン更新信号を送信する。具体的には、積分値が、＋６４になれば＋１の信号をゲイン更新部２１２に送信し、−６４になれば−１の信号をゲイン更新部に送信する。ここで、比較部２１０では制御部１０９により指示された係数をかけた値を出力しているので、例えば、係数ｋを８とすると、積分値＋６４や−６４になるまでのサンプル数が少なくなる。そうすると、そのたびにゲイン更新信号を出力することになるので、ゲインの更新する頻度を早くする（変更する）ことができるようになる。反面では精度が落ちるため、マイクの出力レベルが大きくずれている状況では係数ｋを大きくし、出力レベルのズレが小さいときや、信頼性の低い状況では係数ｋを小さくすることが好ましい。

積分値が＋方向に積算されていく状況では、マイク２０２に対応するデジタル音声信号のピーク値が、マイク２０１に対応するデジタル音声信号のピーク値よりも小さいことを示している。逆に、積分値が−方向に積算されていく状況では、マイク２０２に対応するデジタル音声信号のピーク値が、マイク２０１に対応するデジタル音声信号のピーク値よりも大きいことを示している。

ゲイン更新部２１２は、送信されたゲイン更新信号に基づいて、調整用増幅部２０４における、マイク２０１および／または２０２のデジタル音声信号を増幅／減衰させるための係数を決定する。そして、決定し調整値を調整用増幅部２０４に送信する。例えば、０．５ｄＢずつマイク２０２に対応するデジタル音声信号のレベルを増幅、減衰刺せるようにした場合について説明する。そうすると、積分部２１１から送信されたゲイン更新信号が＋１であった場合には、マイク２０２に対応するデジタル音声信号のレベルをさらに０．５ｄＢ増幅するように増幅用調整部２０４に調整値を送信する。逆に、−１であった場合には、マイク２０２に対応するデジタル音声信号のレベルを０．５ｄＢ減衰するように増幅用調整部２０４に調整値を送信する。

この様にすることで、マイク２０２に対応するデジタル音声信号のピーク値が大きい場合には、その増幅率を小さくして、ピーク値が小さい場合には、その増幅率を大きくするように制御している。

この増幅／減衰させるための係数は、任意の瞬間に調整用増幅部２０４に送信しても良いが、増幅／減衰させるデジタル音声信号の振幅がゼロに近いタイミングで、変更することが望ましい。なぜなら、音声信号に大きな変化が発生して、ノイズが発生してしまうのを抑制することができるからである。

そのために、本実施例では、ゼロクロス検出部２１３を備えている。ゼロクロス検出部２１３は、入力されたデジタル音声信号の振幅がゼロ点を通過する（ゼロクロスする）タイミングを検出することができる。本実施例では、ゼロクロス検出部２１３がマイク２０２に対応するデジタル音声信号のゼロクロスを検出したタイミングで、マイク２０２に対応するデジタル音声信号の振幅を調整するための増幅率を設定している。

本実施例では、通常の音声が入力されている場合にはこの様な動作により、「レベル調整処理」を行っている。しかし、風などがマイクに当り、雑音が発生している状況では、レベル調整処理をしても逆に補正されてしまうことがある。そこで、本実施例ではこの様な場合には調整を行わない（比較部２１０に送信する係数を０）、または、調整時間を長くする（比較部２１０ｎ送信する係数の値を小さくする）ことで対応している。こうすることで、逆にレベルがずれていく方向に調整されてしまうことを防止している。

図２では、エラー検出部２１４を備えている。このエラー検出部２１４は、複数のデジタル音声信号のうち、一つの信号がピーク値を迎えてから、全ての信号がピーク値を迎えるまでの間が何サンプルであるかを示す情報が位相検出部２０９より送信されている。エラー検出部２１４では、一つの信号がピーク値を迎えてから、全ての信号がピーク値を迎えるまでの間が１０サンプルより多い場合に、エラー信号を制御部１０９に出力する。この状況では、風による雑音などが発生している可能性があるのでエラーとしている。

また、調整サンプル数検出部２１５には、極性検出部２０７からの複数のデジタル音声信号それぞれの極性判定結果が入力されている。調整サンプル数検出部２１５では、複数のデジタル音声信号の極性が同じ極性を示す期間（すなわち「ピーク検出期間」）の数をカウントしていく。この回数は、通常の音声が入力されているときであれば、調整用に使用するピーク値がカウントされる回数と同様である。または、比較部２１０から積分部２１１へ制御値が送信される回数と同様である。そして、カウントした期間の数を制御部１０９に送信していく。

制御部１０９では、エラー検出部２１４により検出されたエラーの数と、調整サンプル数検出部２１５により検出された「ピーク検出期間」の数とに基づいて比較部２１０で使用する係数を変更する。

例えば、「レベル調整処理」が開始してから「ピーク検出期間」が３０回、カウントされるまでは、係数ｋを１６として早く音声レベルを近づけるように調整しておく。また、１０００回カウントされると、係数ｋを１として、調整処理に時間がかかるようにする。また、定期的に係数を高く設定したり、モードが変更される度に係数を高く設定したりすることができる。すなわち、「レベル調整処理」が開始してからの経過時間に応じて、調整処理の頻度を変更するようにすることができる。また、モード変更に応じて、調整処理の頻度を変更することができる。

また、１０００回カウントされる間に、エラーの数が３０を超えた場合には、係数を０．５や０とすることもできる。これは風雑音が混入している可能性が高い場合には、たとえ、１０サンプル以内に複数のデジタル音声信号のピーク値が合ったとしても信頼性が低いからである。この様にすることで、調整処理にかかる時間を長くすることができ、信頼性の低い値で調整がされてしまうことを防ぐことができます。つまり、所定期間内にピークが有ると検出された場合、すなわちエラーではないときの方が、所定期間内にピークが無いと検出された場合の方が、調整用増幅部２０４における増幅率の変更する頻度を高くすることになる。

ここで、帯域制限部２０６において、３００Ｈｚから５００Ｈｚの周波数を通過（抽出）させた理由について説明する。

まず、低周波数成分のカットオフを３００Ｈｚとした理由について説明する。マイクの個体差に依存する遅延が大きいのが１００Ｈｚ以下の周波数であり、その周波数を十分に減衰できるようにするために、３００Ｈｚをカットオフ周波数としたフィルタとしている。

ちなみに、上述した、マイクの個体差に依存する遅延、マイクの位置と音声の到来方向に依存する遅延との最大値にマージンを持たせる。例えば、マイクの個体差に依存する遅延が、３．５サンプル分の時間、すなわち３．５／４８０００秒であり、２倍のマージンを持たせたとした場合、７サンプル分の時間を許容することになる。また、マイク間距離を１６ｍｍとして、音速を３２０ｍ／ｓとすると、最大で、１６／３２００００秒の遅延が生じる。これは２．４サンプル分の時間に相当する。そのため、３００Ｈｚにおいては、通常の音声であれば１０サンプル以内に相関性のある信号がほぼ入力されることになる。本実施例では、このように、１０サンプル以内に音声のピークが収まっていれば、通常の音声が入力されているものと検出する。そして、１０サンプル以内に音声のピーク値が検出されない場合にはエラーとして検出するようにしている。

次に、高周波数成分のカットオフを５００Ｈｚとし理由について説明する。

上述したように１０サンプル以内に複数の音声のピーク値が検出されれば良いが、周波数が上がってくると、１０サンプル以内に計測されるピーク値が本来のピーク値を示さなくなる可能性が出てくる。具体的には、９０度以上の位相差が発生すると、ピーク値が正確に計測できない。１０サンプルで９０度以上の位相差が発生するのは、１２００Ｈｚである。これは１０／４８００００秒で位相が９０度変化する周波数である。

本実施例では、１０サンプル以内に計測されたピーク値を利用して「レベル調整処理」を行う。そのため、この周波数の音声を十分に減衰できるように、高周波成分のカットオフを５００Ｈｚとしている。

このカットオフ周波数は、マイク間距離、マイクの個体差の平均値などに応じて、変更することができる。また、同様に、通常の音声として見なすためのピーク値同士の時間差を本実施例では、１０サンプルとしたが、この値もマイク間距離、マイクの個体差の平均値などに応じて、変更することができる。

以上説明してきたように、本実施例では、互いの極性が同時に同じ極性を示している期間を検出し、その期間における複数の音声信号のピーク値のレベルが同じになるように調整するようにした。この様な構成としたことで、本実施例では、ユーザの使用環境下であっても、マイクの出力音声信号のレベルを調整することができるようになるのである。

本実施例では、マイク２０１に対応するデジタル音声信号と、マイク２０２に対応するデジタル音声信号とが同じレベルの音声に対して同じ程度のレベルの信号になるように調整することについて説明した。具体的には、２つのマイクのうち一方のマイク２０２に対応するデジタル音声信号をマイク２０１に対応するデジタル音声信号のレベルにあわせるために調整用増幅部２１５の増幅率を決定する例について説明した。しかし、マイク２０１に対応するデジタル音声信号をマイク２０２に対応するデジタル音声信号をのレベルにあわせるために調整用増幅部２１５の増幅率を決定してもよい。さらには、マイク２０１、２０２のデジタル音声信号のレベルをあわせるために両方のデジタル音声信号の増幅率を決定しても良い。

また、本実施例では、マイクが２つの場合について説明したが、マイクが３つの場合には、調整用増幅部２１５は少なくとも２つ以上のマイクに対応するデジタル音声信号の増幅率を決定する。同様に、マイクが４つの場合には、調整用増幅部２１５は少なくとも３つ以上のマイクに対応するデジタル音声信号の増幅率を決定する。

また、本実施例の「レベル調整処理」は、撮像装置１００が起動してから終了するまで常に実行されても良い。また、撮像装置１００が撮影モードで動作している間にのみ実行されても良い。また、撮像装置１００が撮影を開始してから終了するまでの間のみ実行されても良い。また、撮像装置１００が音声を記録することが可能なモードで動作している間にのみ実行されてもよい。

また、本実施例においては、撮像装置について説明したが、本実施例の音声入力部１０２にの音声処理は、外部の音声を記録、または入力するような装置であればどのような装置であっても適用することができる。例えば、ＩＣレコーダ、携帯電話等に適用しても良い。

Claims (7)

1. 複数の音声信号を入力する入力手段と、
   前記入力手段により入力された複数の音声信号を処理する音声処理手段であって、前記入力手段により入力された音声信号のレベルを調整値に基づいて調整する調整手段を有する音声処理手段と、
   前記音声処理手段から出力された複数の音声信号が同じ極性である期間を検出する検出手段と、
   前記検出手段により検出された期間における、前記音声処理手段から出力された複数の音声信号それぞれのピーク値を検出するピーク検出手段と、
   前記ピーク検出手段の検出結果に基づいて、前記音声処理手段から出力された複数の音声信号のピーク値が相互に近づくように、前記調整手段における調整値を制御する制御手段とを有することを特徴とする音声信号処理装置。
2. 前記音声処理手段から出力された複数の音声信号の特定の周波数の信号を抽出する抽出手段を有し、
   前記検出手段は、前記抽出された複数の音声信号の特定の周波数の信号の極性が同じである期間を検出し、
   前記ピーク検出手段は、前記検出手段により検出された期間における、前記抽出された複数の音声信号の特定の周波数の信号のそれぞれのピーク値を検出することを特徴とする請求項１記載の音声信号処理装置。
3. 前記制御手段は、前記増幅率を更新する頻度を変更することを特徴とする請求項１または２記載の音声信号処理装置。
4. 前記ピーク検出手段により検出された、前記音声信号それぞれのピーク値が所定期間内に有るか否かを検出する位相検出手段を有し、
   前記制御手段は、前記音声信号それぞれのピーク値が所定期間内に有ると検出された場合より、所定期間内に無いと検出された場合の方が前記増幅率の更新する頻度を高くすることを特徴とする請求項１から３のいずれか１項記載の音声信号処理装置。
5. 前記入力された音声信号の振幅がゼロクロスするタイミングを検出するゼロクロス検出手段を有し、
   前記制御手段は、前記音声信号の振幅がゼロになったタイミングで前記増幅部における増幅率を変更することを特徴とする請求項１から４のいずれか１項記載の音声信号処理装置。
6. 前記制御手段は、前記増幅率を更新する頻度を経過時間に応じて変更することを特徴とする請求項１から５のいずれか１項記載の音声信号処理装置。
7. 前記制御手段は、前記音声信号処理装置のモードが変更されたことに応じて、前記増幅率を更新する頻度を変更することを特徴とする請求項１から６のいずれか１項記載の音声信号処理装置。

Images