JP2011002723A - 音声信号処理装置 - Google Patents

Abstract

【課題】 装置の駆動に伴う駆動音の低減処理を行う際に、雑音低減処理の負荷を低減する。
【解決手段】 駆動信号が送信されたことに応じて、駆動信号が送信されたタイミングよりも前の期間の音声信号から、合成音声信号を生成し、駆動信号が送信されたタイミングよりも後の期間の前記音声信号に、合成音声信号を合成する。
【選択図】 図４

Description

本発明は、音声信号処理装置に関し、特に、取得した音声信号に含まれる雑音成分を低減することができる装置に関する。

従来、音声信号を処理する装置として撮像装置が知られている。これらの撮像装置では、画像信号を記録すると共に音声信号を記録するようにしているが、画像記録のための駆動部材（絞り、ズーム機構、レンズ、ハードディスク）の駆動音が記録音声に混入してしまう場合があった。また、画像信号の記録に限らず、音声信号を音声データとしてＨＤＤへ書き込む際にも駆動音が混入することがあった。このような問題に対し、たとえば、カメラに備えられたメカニズム機構部の発生する雑音成分を記録音声信号から低減させる技術が提案されている。例えば、特許文献１の技術では、あらかじめメモリに記録されている雑音成分を、メカニズム機構部の動作タイミングに合わせて、記録音声信号から減算することで雑音を低減させている。

特開１１−２０５８９１号公報

しかし、実際は、メカニズム機構部で発生する雑音成分が毎回同じになる訳ではない。そのため、特許文献１のような技術では、安定的に記録音声信号から雑音成分を低減することができないという問題があった。

そこで、本発明は、あらかじめ記録した雑音成分を記録音声信号から減算するのではなく、記録音声信号の相関により予測される音声信号を雑音混入区間に合成する音声信号処理装置を提供することを目的とする。

本発明の音声処理装置は、かかる目的を達成するために、外部音声を音声信号に変換する集音手段を備える音声処理装置であって、前記音声処理装置に接続または備えられた駆動部材を駆動信号に応じて駆動する駆動手段と、前記駆動手段に前記駆動信号を送信する制御手段と、前記音声信号を処理する音声信号処理手段とを備え、前記音声信号処理手段は、前記駆動信号が送信されたことに応じて、前記駆動信号が送信されたタイミングよりも前の第１の期間の前記音声信号に基づいて合成音声信号を生成し、前記駆動信号が送信されたタイミングよりも後の第２の期間の前記音声信号に、前記合成音声信号を所定の割合で合成することを特徴とする。

本発明によれば、安定的に記録音声信号から雑音成分を低減することができる。

実施例１、２の撮像装置のブロック図である。 実施例１、２の撮像装置の動画撮影のフローチャートである。 実施例１の雑音低減処理を示すフローチャートである。 実施例１の雑音低減処理を説明するための信号を示す図である。 実施例１の雑音低減処理に使用するＦＩＲフィルタの図である。 実施例１の雑音低減処理の模式図である。 実施例２の雑音低減処理を示すフローチャートである。 実施例２の音声信号のフーリエ変換後の信号を示す図である。 実施例２の雑音低減処理を説明するための信号を示す図である。

以下、図面を参照して本発明の実施例を詳細に説明する。

音声信号を処理、録音することができる撮像装置について説明する。

図１は、実施例１の撮像装置の構成を示すブロック図である。

図１において、１００は撮像装置本体、２００は前記撮像装置本体に接続可能な交換式の撮影レンズである。本実施例では交換式の撮影レンズを使用するが、特に交換式の撮影レンズに限定されるものではなく、撮影レンズが内蔵されていてもよい。

１０１は各種の演算処理と撮像装置１００と交換レンズ２００の全体を統括的に制御する制御部である。

２０１は被写体の光学像を撮像素子１０６に結像させる撮像レンズで、２０２は撮影レンズ２０１をピント（焦点）が合うように駆動する駆動装置である。２０３は被写体の光学像の光量を制御する絞り機構で、２０４は絞り機構２０３を駆動する駆動装置である。

撮影用の交換レンズ２００は、撮像装置１００から取り外せるようになっており、不図示の通信部を介し、制御部１０１と通信を行うようにしている。例えば、撮影レンズ２０１を駆動させる場合は、制御部１０１は、レンズ駆動信号をレンズ駆動装置２０２に出力（送信）することにより、撮影レンズ２０１を駆動させることができる。また、絞り機構２０３を駆動する場合は、制御部１０１は、絞り駆動信号を絞り駆動装置２０４に出力（送信）することにより、絞り機構２０３を駆動させることができる。このように、制御部１０１は、駆動信号の種類を使い分けることにより、複数種類の駆動部材を個別に指定して駆動させることができる。

また、図１において、１０２は撮影レンズ２０１を通った光学像を、ファインダー使用時には不図示のファインダーに導き、撮影時は跳ね上がり光学像を撮像素子１０６へと導くミラーである。１０３はミラーを駆動するミラー駆動装置である。

１０４は撮像レンズ２０１を通ってきた光学像の露光時間の制御と遮光を行うシャッタであり、１０５はシャッタ機構１０４のの駆動を行うシャッタ駆動装置である。

１０６は撮像レンズ２０１により結像された被写体の光学像を電気信号に変換し、画像信号を得るための撮像素子である。

１０７は撮像素子１０６により得られた画像信号の増幅処理や、Ａ／Ｄ変換処理、Ａ／Ｄ変換後の画像データに対する各種の補正処理、或いは、画像データを圧縮する圧縮処理等を行う画像信号処理部である。１０８は撮像素子１０６と画像信号処理部１０７に対して各種のタイミング信号を出力するタイミング発生部である。

１０９は画像信号処理部１０７により処理された画像データ等を一時的に記憶し、また各種の調整値や制御部１０１による各種の制御を実行させるためのプログラムなどを記憶するためのメモリ部である。また、後述の音声データを一時的に記憶するバッファメモリとしての役割も果たす。

１１０は記録媒体１１１に対し、画像データや音声データの記録処理／読出処理を行うための記録媒体制御インターフェース（Ｉ／Ｆ）部である。１１１は画像データ等の各種のデータを記録する記録媒体であり、例えば半導体メモリ、磁気ディスク、光ディスクなどが該当する。

１１２はコンピュータ等の外部装置１１４と通信するための外部インターフェース（Ｉ／Ｆ）部である。

１１３は、撮影した静止画像や動画像等を表示する表示部である。

また、１１５は動画撮影時や音声録音時などに、被写体が発した音声や環境音といった、外部音声を集音して電気信号に変換し、音声信号を取得するためのマイクロホンである。１１６はマイクロホン１１５により得られた音声信号を入力し増幅処理やＡ／Ｄ変換処理を行い、さらに後述する駆動雑音低減処理を行い、音声信号の圧縮処理等を行う音声信号処理部である。

次に、本実施例の撮像装置１００での動画撮影の動作について説明する。

図２は、実施例１の動画撮影の動作を示すフローチャートである。

不図示のメイン電源がオンされると、撮像装置１００の各ブロックに電源が供給され、撮影動作の準備が整う（Ｓ１０１）。

次に、ユーザにより不図示の動画記録モードボタン等が操作されると、制御部１０１は、動画撮影モードへ移行させる（Ｓ１０２／ＹＥＳ）。

動画撮影モードが開始するとまず、制御部１０１は、撮像素子１０６、画像信号処理部１０７、タイミング発生部１０８の初期化を行う（Ｓ１０３）。

続いて、制御部１０１は、ミラー駆動装置１０３を通じてミラー１０２を上げ、シャッタ駆動装置１０５を通じてシャッタ１０６を開く（Ｓ１０４）。これにより、撮像レンズ２０１を通った被写体の光学像を撮像素子１０６に導くことができる。

撮像素子１０６は、被写体の光学像を動画用のローリング読み出しに対応したスリットローリング電子シャッタを用いて、蓄積時間を制御しながら露光を行う（Ｓ１０５）。

続いて、制御部１０１は、タイミング発生部１０８と画像信号処理部１０７とを制御し、撮像素子１０６から動画用の画像信号の読み出しを行う（Ｓ１０６）。

制御部１０１は、撮像素子１０６から読み出した動画用の画像信号を画像信号処理部１０７で信号処理させ、画像信号処理部１０７において、動画用の画像信号に基づく動画像データを生成する。そして、制御部１０１は、画像信号処理部１０７で生成した動画像データを表示部１１３に表示させる（Ｓ１０７）。

制御部１０１は、撮像素子１０６から読み出した画像信号を元に、絞り駆動装置２０４に絞り駆動信号を送信することで、絞り機構２０３を制御して露光量を適正に制御する。また、撮像素子１０６から読み出された画像データから被写体のコントラストを計測して常に被写体にピント（焦点）が合うようにレンズ駆動装置２０２にレンズ駆動信号を送信し、撮像レンズ２０１の駆動を行わせる（Ｓ１０８）。これらを制御することにより、撮像素子１０６に被写体からの光学像がピント（焦点）と露出とが合った状態でを保つことができる。

そして、制御部１０１は、動画記録が開始されない時（Ｓ１０９／ＮＯ）には、Ｓ１０５の露光に戻り周期的に画像を更新することにより、動画画像を表示装置１１３に表示する。

続いて、ユーザにより不図示の撮影開始ボタンが操作されると、制御部１０１は、動画記録を開始する（Ｓ１０９／ＹＥＳ）。そうすると、再び動画記録にために制御部１０１は、タイミング発生部１０８と画像信号処理部１０７とタイミング発生部１０８を介して撮像素子１０６の初期化を行う（Ｓ１１０）。

撮像素子１０６は、動画記録画像用のローリング読み出しに対応したスリットローリング電子シャッタを用いて蓄積時間を制御し撮影シーンに適した露光を行う（Ｓ１１１）。

続いて、制御部１０１は、タイミング発生部１０８と画像信号処理部１０７とを制御し、撮像素子１０６から動画用の画像信号の読み出しを行う（Ｓ１１２）。

撮像素子１０６から動画用の画像信号の読出された画像信号は、画像信号処理部１０７で、各種処理が施され動画像データに変換される。画像信号処理部１０７で得られた動画像データは、記録媒体１１１に記録するために一時的にメモリ１０９に保存される（Ｓ１１３）
また、制御部１０１は、画像信号処理部１０７で得られた動画像データをを表示部１１３に表示させる（Ｓ１１４）。

撮影中、制御部１０１は、撮像素子１０６から読み出した画像信号を元に、被写体輝度を測定してのスリットローリング電子シャッタや絞り機構２０３を制御させて露光量を適正に保つ。そのために、制御部１０１は、絞り駆動装置２０４に絞り駆動信号を出力し、絞り駆動装置２０４は、絞り駆動信号に従って、絞り機構２０３を駆動させる。また、撮像素子１０６から読み出された画像データから被写体のコントラストを計測して常に被写体にピント（焦点）が合うように撮像レンズ２０１の駆動させる（Ｓ１１５）。そのために、制御部１０１は、レンズ駆動装置２０２にレンズ駆動信号を出力し、レンズ駆動装置２０２は、レンズ駆動信号に従って、レンズ２０１を駆動させる。これらの制御により、撮影中は、撮像素子１０６に被写体からの光学像がピント（焦点）と露出とが合った状態で結像される。

ここで、撮影中の音声の記録について説明する。マイクロホン１１５により得られた音声信号は、音声信号処理部１１６で処理され、音声データに変換される。そして、音声信号処理部１１６で生成された音声データは、記録媒体１１１に記録するために一時的にメモリ１０９に保存される（Ｓ１１６）。

音声記録を行う際には、制御部１０１は、レンズ、絞り等の駆動信号を出力するときに、（Ｓ１１７／ＹＥＳ）音声信号処理部１１６に、雑音低減処理を行わせる（Ｓ１１８）。ステップＳ１１８の雑音低減処理については、後述する。

Ｓ１１９で、Ｓ１１８の雑音低減処理が終わった音声データもしくは雑音低減処理を施す必要のない音声データを、動画像データとともに、開始からの時間が一致するように順次記録媒体に記録していく。

制御部１０１は、ユーザにより動画撮影終了の指示が有るまでは、Ｓ１１１からＳ１１９の処理を繰り返す（Ｓ１２０／ＮＯ）。

動画撮影が終了した場合には（Ｓ１２０／Ｙｅｓ）、制御部１０１は、シャッタ駆動部１０５を通じてシャッタ１０６を閉じると共に、ミラー駆動部１０３を通じてミラー１０２を下げるように制御する（Ｓ１２１）。

そして、制御部１０１は、メモリに保存した動画像データと音声データとが全て記録媒体に記録したら、動画撮影動画終了する（Ｓ１２２）。

ここで、図２のＳ１１７で、撮影中、制御部１０１が、レンズ、絞り等の駆動信号を出力するときに、音声信号処理部１１６に実行させる雑音低減処理（Ｓ１１８）について、図３のフローチャート、図４の信号波形を用いて説明をする。図３は、本実施例の雑音低減処理の手順を示すのフローチャートであり、図４は、本実施例の雑音低減処理を説明するための信号を示す図である。図４（ａ）は、制御部１０１が出力するレンズ、絞り等の駆動信号により、レンズ、絞り等が駆動している区間を示している。本実施例では、駆動信号がＯＮの期間、レンズ、絞り等は駆動を続けるようになっている。図４（ｂ）は、マイクロホン１１５に入力される音声信号の波形を示しており、途中、レンズ、絞り等の駆動している期間には、駆動音がとして混入している。図４（ｃ）は、後述する線形予測処理により、駆動音の混入した期間より前の期間の音声信号を元に生成される、予測波形信号である。図４（ｄ）は、予測波形信号を駆動音の混入した期間に合成する際の合成割合を示している。図４（ｅ）は、駆動音の混入した期間の実際の音声信号の波形を示している。図４（ｆ）は、後述する予測波形信号と実際の音声信号の合成をする際の元の音声信号の合成割合を示している。図４（ｇ）は、雑音低減処理後の補正音声信号を示している。

まず、本実施例の雑音低減処理の概要を説明する。

撮影中に、レンズ、絞り等の駆動信号を受けると、レンズ駆動装置２０２は、レンズ２０１を、絞り駆動装置２０４は絞り２０３をそれぞれ駆動させる。そうすると、図４（ｂ）に示す音声信号のように、マイクロホン１１５により集音される音声に、にレンズ２０１や絞り２０３の駆動によって生じる駆動音（雑音）が、混入してしまう。

本実施例の雑音低減処理では、このような駆動音が混入する期間の音声信号を処理し、レンズ、絞り等の駆動部材の駆動音（雑音）を低減させる処理を行う。

そのために、まず、駆動信号が出力されるタイミングより前、つまり雑音が混入する期間（補正区間）より前の、雑音が混入していない期間（学習区間）の音声信号から、図４（ｃ）に示すような、予測波形信号を生成する。この予測波形信号は、雑音が混入していない期間の音声信号から線形予測法（第１の生成方法）により求められる。

次に、駆動信号が出力されるタイミングより後、つまり雑音が混入する期間（補正区間）の音声信号と、予測波形信号とを、図４（ｄ）、（ｆ）に示すような割合で合成する。このとき、補正区間の音声信号と、予測波形信号との合成割合は、合成後の音声信号のレベルが、学習区間の音声信号のレベルと略一致するように設定している。言い換えれば、補正区間の音声信号と予測波形信号とを合成した後の音声信号の最大振幅が、学習区間の音声信号の最大振幅と所定量よりも大きくならないように、合成割合を設定する。例えば、図４（ｄ）、（ｆ）に示す合成割合を加算した値が略一定の数（例えば１）になるようにする。本実施例では、駆動信号が出力（送信）されたタイミング近傍における予測波形信号の合成割合を、駆動信号が送信されたタイミング近傍よりも遠い位置における合成割合よりも高している。

このように、一般的には、駆動部材の駆動中に大きい駆動音が発生するので、駆動信号の出力（送信）されたタイミング近傍では予測波形信号の合成割合を高くすることで、雑音低減効果を高くすることができる。また、予測波形信号自体は線形予測法によって生成されているため、駆動信号の出力（送信）されたタイミング近傍の信頼性が高いので、その位置で予測波形信号の合成割合を高くすることで、合成後の音声信号の信頼性を高くできる。

また、駆動部材が複数種類有る場合は、駆動部材の種類によって駆動音（雑音）が異なるので、合成割合についても、駆動部材の種類によって異なるようにする。例えば、絞り駆動信号が出力されるときは、予測波形信号の合成割合を前半部において多くとり、後半部においては、急激に合成比率を下げ、レンズ駆動信号が出力されるときは、予測波形信号の合成割合を徐々に下げてもよい。

このように、予測波形信号と、雑音が混入する期間の音声とを所定の比率で合成した合成音声信号を生成する。そして、雑音が混入する区間の音声に換えて、生成した合成信号を挿入することにより、図４（ｈ）のように、駆動部の駆動音（雑音）を低減させた補正音声信号を得ることができるようになるのである。

以上の処理について、図３のフローチャートを用いて詳細に説明する。

ここでは、レンズ、絞り等の駆動信号が出力されるタイミングより前の所定期間（例えば０．１秒間）を「学習区間」、駆動信号が出力されるタイミングより後の所定区間（例えば０．０８秒間）を「補正区間」とする。また、レンズ、絞り等の駆動部材の駆動が終了した後も、駆動に起因する振動が雑音として、マイクロホンに入力されるため、「補正区間」は、レンズ、絞り等の駆動信号よりも長くしている。また、駆動部材が複数種類有る場合は、駆動部材の種類それぞれに対応して、補正区間の長さを決定してもよい。例えば、レンズ駆動の場合は、補正区間は０．２秒とし、絞り駆動の場合は、補正区間は０．０６秒としてもよい。

制御部１０１は、レンズ、絞り等の駆動信号（図４（ａ））を出力する際に、、雑音低減処理を開始するよう、音声信号処理部１１６に指示を出す（Ｓ２０１）。これにより、音声信号処理部１１６は、マイクロホン１１５により得られた図４（ｂ）のような実際の音声信号の、どの区間に駆動音が含まれるか（学習区間）を検出することができる。

音声信号処理部１１６は、学習区間の音声信号を、連続したバッファ領域にコピーする（Ｓ２０２）。

次に、バッファ領域にコピーされた学習区間の音声信号を元に、補正区間に所定の割合で合成するための予測波形信号を線形予測法により生成するための、フィルタ特性を算出する（Ｓ２０３）。フィルタ特性の算出方法は、後述するが、予測波形信号が、学習区間の音声信号を図５に示した様な一般的なｎ次のＦＩＲフィルタで再現出来るものと仮定する事で、このＦＩＲフィルタの係数α_１からα_Ｐを算出している。ここで求められるα_１からα_Ｐを線形予測係数と呼ぶ。

そして、音声信号処理部１１６は、Ｓ２０３で算出した線形予測係数α_１からα_Ｐを用いて、図４（ｃ）に示すような予測波形信号を演算する（Ｓ２０４）。具体的には図６（ａ）に示したように学習区間のｎサンプルの音声信号（黒点）をＦＩＲフィルタに入力し、線形予測係数を用いて次のｎ＋１個目の音声データ６０１を演算する。そして、次に図６（ｂ）に示したように、新たなに生成された音声波形データを加えたｎ個の音声信号をＦＩＲフィルタに入力し、線形予測係数を用いて、次の音声データ６０２を演算する。この動作をもう一度繰り返し、音声データ６０３を求め、さらに繰り返し演算することにより、補正区間全域の予測音声波形信号を演算することができる。このようにして、図４（ｃ）に示すような、予測波形信号を演算することができる（第１の生成方法）。

次に、音声信号処理部１１６は、図４（ｃ）に示すような予測波形信号と、補正区間の音声信号とを図４（ｄ）、（ｆ）に示すような割合で合成し、合成音声信号を生成する（Ｓ２０５）。具体的には、レンズ、絞り等の駆動中は、予測波形信号をほぼ１０割の信号で構成し、その後、予測波形信号の合成割合を徐々に低くし、逆に、補正区間の実音声信号の合成割合を徐々に高くしていく。この合成割合は、先述したように、駆動する駆動部材の種類（レンズ、絞り等）によって、合成割合の曲線を切り替えてもよい。これは、駆動部の雑音の残響度合いなどによって、適切に値を調整することが望ましい。また、予測波形信号の合成割合を、補正区間の実際の音声信号のエンベロープに合わせて決定してもよい。言い換えれば、実際の音声信号のレベルに合わせて予測波形信号の合成割合を決定していることになる。この合成割合の曲線は、実際の音声の音量を測定しつつ決定しても良いし、あらかじめ決めてあってもよい。

次に、Ｓ２０５で生成された合成音声信号で、補正区間の音声信号を置き換える（Ｓ２０６）。これにより、図４（ｇ）の補正音声信号が生成される。

以上のＳ２０１からＳ２０６の処理により、雑音低減処理を完了する（Ｓ２０７）。

そして、図１のＳ１１９へ処理が進むことになる。

このような雑音低減処理を行うことにより、駆動部材の駆動音が混入してしまった音声信号から、駆動音成分を低減させた音声信号を得ることができる。そして、安定的に記録音声信号から雑音成分を低減することができる。

本実施例では、撮像装置の、レンズ、絞り等の駆動音を低減する構成について説明したが、これ以外にもズーム機構、ハードディスク等の発する雑音についても低減することができる。また、本実施例では、撮像装置を例にとって、動作を説明したが、これはカメラに限ったものではなく、音声を記録可能な装置であって、駆動音の発生タイミングを検出することができればどのような装置であっても適用可能である。例えば、ＩＣレコーダ、オーディオプレイヤー、携帯電話、パーソナルコンピュータ、カーナビゲーションシステムなどに適用されてもよい。

ここで、線形予測法による予測波形信号の生成方法（第１の生成方法）について説明する。最初に線形予測係数α_１からα_Ｐの算出方法（学習動作）について説明し、次に、線形予測係数を用いた予測波形信号の予測（予測動作）について説明する。

線形予測係数の算出あたっては、現在の信号とこれに隣接する有限個（ここではｐ個とおく）の標本値との間に数１のような線形１次結合関係があるものと仮定している。

但し、数１において、ε_ｔは平均値０、分散σ^２の互いに無相関な確率変数である。ここでｘ_ｔが過去の値から予測されるように式を変形すると、

数２によると、ε_ｔが十分に小さければ、近傍ｐ個の線形和によって現在の値が表現される。ｘ_ｔを上記の予測によって求めた後、さらにその近似が十分によければｘ_ｔ＋１も同じく近傍ｐ個の線形和によって求められる。このようにε_ｔを十分に小さくすることが出来れば順次値を予測して信号を求めることが出来る。そこでε_ｔを最小にするようなα_ｉの求め方を考える。本発明ではε_ｔを最小にするようなα_ｉを求める動作を学習動作と呼ぶ。

ε_ｔを最小にするようなα_ｉの求めるには、前述した学習区間においてε_ｔの２乗和を最小化すればよい。学習の開始時間をｔ_０、終了時間をｔ_１とすると、

ただしα_０＝１である。ここで式を簡単にするために

とおく。数３を最小化するようにα_ｉを決めるためには、数３のα_ｊ（ｊ＝１,２,・・・,ｐ）に関する偏微分を０として解けばよい。

数５はｐ個の線形連立１次方程式を解けばα_ｉを決定できることを示している。数５のうちc_ｉｊはｘ_ｔ−ｉ（ｉ＝１,２,・・・,ｐ）から求めることができる。すなわち数５からα_ｉを求めることが出来る（学習動作）。

数５に従ってα_ｉを決定した場合、ε_ｔの２乗和は最小化されている。このとき数２より、ｘ_ｔの値は

で良い近似を与えることが出来る。この近似が十分に良いものであれば、ｘ_ｔの代わりに

を予測信号として用いることが出来る。さらにｘ_ｔ＋１についても同様に近傍のｐ−１個と予測によって求めた信号から近似値を得ることが出来る。これを順次繰り返すことで予測区間の信号を生成することが出来る。本発明では、求められたα_ｉから予測区間の近似を求める動作を予測動作とよんでいる。

このように、実施例１では、学習区間の音声信号の相関を利用し、線形予測法によって、予測波形信号を生成している。

次に、実施例２について説明する。実施例２では、実施例１と異なる雑音低減処理を行う。具体的には、実施例１における、予測波形信号の生成方法が異なるが、それ以外の点については同様である。そこで、予測波形信号の生成方法（第２の生成方法）について図７、図８、図９を用いて説明する。

図７は、実施例２の雑音低減処理について説明するためのフローチャートである。図８は、後述する学習区間の音声信号のフーリエ変換により得られる信号を示す図である。図９は予測波形信号の生成方法について説明するための図である。図９（ａ）は、マイクロホン１１５に入力される実際の音声信号の波形を示しており、途中、レンズ、絞り等の駆動している区間には、駆動音が混入している。図９（ｂ）は、後述する演算により、算出された学習区間の音声信号の繰り返し波形を示している。図９（ｃ）は、図９（ｂ）の繰り返し波形を並べて生成した予測波形信号を示している。

実施例２では、駆動信号が出力（送信）されるタイミングより前の所定期間（例えば０．０２秒間）を「学習区間」、駆動信号が出力されたタイミングより後の所定期間（例えば０．０８秒間）を「補正区間」とする。また、レンズ、絞り等の駆動部材の駆動が終了した後も、駆動に起因する振動が雑音として、マイクロホンに入力されるため、「補正区間」は、レンズ、絞り等の駆動信号よりも長くしている。また、駆動部材が複数種類有る場合は、駆動部材の種類それぞれに対応して、補正区間の長さを決定してもよい。例えば、レンズ駆動の場合は、補正区間は０．２秒とし、絞り駆動の場合は、補正区間は０．０６秒としてもよい。

ここで、図７のフローチャートに従って、実施例２の予測波形信号の生成方法について説明する。図７におけるＳ２０１からＳ２０２、Ｓ２０５からＳ２０７については、実施例１と同様の処理であるため説明を省略し、Ｓ３０３から説明をする。

実施例２では、Ｓ２０２で、バッファ領域にコピーされた音声信号の波形の周期を算出する（Ｓ３０３）。周期を算出するには、学習区間の音声波形データをフーリエ変換し、図８のような信号を得る。図８では、横軸に周波数、縦軸にレベルが示されている。そして、図８において、高いレベルを示す周波数は、周期性の高さを示しているので、これからバッファ領域にコピーされた音声信号の周期を検出することができる。

そして、Ｓ３０３で算出した周期で学習区間の音声信号の波形データを切り出し、その波形を繰り返しつなぎ合わせることで、図９（ｃ）のような予測波形信号を得ことができる（Ｓ３０４）。実施例２では、このようにして予測波形信号を演算することができる。

以降は実施例１と同様の処理を行う。

このような雑音低減処理を行うことにより、駆動部材の駆動音が混入してしまった音声信号から、駆動音成分を低減させた音声信号を得ることができる。そして、安定的に記録音声信号から雑音成分を低減することができる。

本実施例では、撮像装置の、レンズ、絞り等の駆動音を低減する構成について説明したが、これ以外にもズーム機構、ハードディスク等の発する雑音についても低減することができる。また、本実施例では、撮像装置を例にとって、動作を説明したが、これはカメラに限ったものではなく、音声を記録可能な装置であって、駆動音の発生タイミングを検出することができればどのような装置であっても適用可能である。例えば、ＩＣレコーダ、オーディオプレイヤー、携帯電話、パーソナルコンピュータ、カーナビゲーションシステムなどに適用されてもよい。

また、実施例１、２の雑音低減処理を組み合わせて使用しても良い。すなわち、雑音低減処理において、予測波形信号の生成方法を選択的に使用することになる。

実施例１、２の雑音低減処理を組み合わせて使用した場合、実施例１の雑音低減処理を使用する場合は、レンズ、絞り等の駆動信号が出力されるより前の所定期間（例えば０．１秒間）を「学習区間」とする。そして、実施例２の雑音低減処理を使用する場合は、レンズ、絞り等の駆動信号が出力されるより前の所定期間（例えば０．０２秒間）を「学習区間」とする。このように、学習区間の長さを実施例１の雑音低減処理を使用するか、実施例２の雑音低減処理を使用するかによって異ならせてもよい。これは、それぞれの雑音低減処理によって、必要とする学習区間の長さが異なるからである。

また、実施例１、２の雑音低減処理を組み合わせて使用した場合、予測波形信号の合成割合を示す曲線を、どちらの雑音低減処理を用いるかによって、変更してもよい。例えば、実施例１の雑音低減処理を使用する場合は、予測波形信号の合成割合を全体的に高くする。実施例２の雑音低減処理を使用する場合は、予測波形信号の合成割合を全体的に低くする。このように、雑音低減処理の種類によって、予測波形信号を生成するために参照する音声信号の長さを変更したり、予測波形信号の合成割合を変更したりしてもよい。これは、それぞれの雑音低減処理によって、予測波形信号の形状が異なるなるため、合成割合を調節することが必要だからである。このようにすることで、低減処理後の音声信号の信頼性をユーザの聞きやすい音声とすることができる。

また、実施例１、２の雑音低減処理を組み合わせて使用した場合、制御部１０１は、撮像装置全体のリソースが低下していると判定したときは、音声信号処理部１１６に、実施例２の雑音低減処理を選択させる。このようにすることで、予測波形信号の生成処理による負荷を低減することができる。

Claims (14)

1. 外部音声を音声信号に変換する集音手段を備える音声信号処理装置であって、
   前記音声信号処理装置に接続または備えられた駆動部材を駆動信号に応じて駆動する駆動手段と、
   前記駆動手段に前記駆動信号を送信する制御手段と、
   前記音声信号を処理する音声信号処理手段とを備え、
   前記音声信号処理手段は、前記駆動信号が送信されたことに応じて、前記駆動信号が送信されたタイミングよりも前の第１の期間の前記音声信号に基づいて予測波形信号を生成し、前記駆動信号が送信されたタイミングよりも後の第２の期間の前記音声信号に、前記予測波形信号を所定の割合で合成することを特徴とする音声信号処理装置。
2. 前記音声信号処理手段は、前記駆動信号が送信されたタイミングに近い期間における前記予測波形信号の合成割合を、前記駆動信号が送信されたタイミングよりも遠い期間における前記予測波形信号の合成割合よりも、高くすることを特徴とする請求項１記載の音声信号処理装置。
3. 前記駆動手段は、複数種類の駆動部材を個別に駆動することができ、
   前記制御手段は、前記複数種類の駆動部材それぞれを指定して駆動させるための複数種類の駆動信号を送信でき、
   前記音声信号処理部は、前記駆動信号の種類によって、前記予測波形信号の合成割合を変更することを特徴とする請求項１記載の音声信号処理装置。
4. 前記音声信号処理手段は、前記駆動信号が送信されたタイミングよりも後の第２の期間の前記音声信号のレベルに応じて、前記予測波形信号の合成割合を変更することを特徴とする請求項１または２記載の音声信号処理装置。
5. 前記音声信号処理手段は、前記駆動信号が送信されたタイミングよりも後の第２の期間の前記音声信号のエンベロープに従って、前記予測波形信号の合成割合を決定することを特徴とする請求項４記載の音声信号処理装置。
6. 前記音声信号処理装置は、撮像レンズにより被写体の光学像を撮像素子に導き、画像信号を取得する撮像手段を有し、
   前記駆動手段は、前記撮像レンズを駆動し、
   前記制御手段は、撮像レンズを駆動するためのレンズ駆動信号を出力し、
   前記音声信号処理手段は、前記レンズ駆動信号が送信されたことに応じて、前記レンズ駆動信号が送信されたタイミングよりも前の第１の期間の前記音声信号に基づいて予測波形信号を生成し、前記レンズ駆動信号が送信されたタイミングよりも後の第２の期間の前記音声信号に、前記予測波形信号を所定の割合で合成することを特徴とする請求項１から５のいずれか１項記載の音声信号処理装置。
7. 前記撮像手段は、前記被写体の光学像の光量を制御するための絞りを有し、
   前記駆動手段は、前記絞りを駆動し、
   前記制御手段は、絞りを駆動するための絞り駆動信号を出力し、
   前記音声信号処理手段は、前記絞り駆動信号が送信されたことに応じて、前記絞り駆動信号が送信されたタイミングよりも前の第１の期間の前記音声信号に基づいて予測波形信号を生成し、前記絞り駆動信号が送信されたタイミングよりも後の第２の期間の前記音声信号に、前記予測波形信号を所定の割合で合成することを特徴とする請求項６項記載の音声信号処理装置。
8. 前記音声信号処理手段は、前記第１の期間の音声信号の相関を利用して前記合成信号を生成することを特徴とする請求項１から７のいずれか１項記載の音声信号処理装置。
9. 前記音声信号処理手段は、前記第１の期間の音声信号の周期を検出し、前記第１の期間の音声信号の前記検出した周期を繰り返しつなぎ合わせることで、前記予測波形信号を生成することを特徴とする請求項８記載の音声信号処理装置。
10. 前記音声信号処理手段は、前記第１の期間の音声信号から線形予測法を用いて、前記予測波形信号を生成することを特徴とする請求項８記載の音声信号処理装置。
11. 前記音声信号処理手段は、前記第１の期間の音声信号の周期を検出し、前記第１の期間の音声信号の前記検出した周期を繰り返しつなぎ合わせて前記予測波形信号を生成する第１の生成方法と、前記第１の期間の音声信号から線形予測法を用いて、前記予測波形信号を生成する第２の生成方法とを選択的に使用することができることを特徴とする請求項８記載の音声信号処理装置。
12. 前記音声信号処理手段は、前記第１の生成方法を使用する場合と、前記第２の生成方法を使用する場合とで、前記合成音声の合成割合を異ならせることを特徴とする請求項１１記載の音声信号処理装置。
13. 前記音声信号処理手段は、前記第１の生成方法を使用する場合と、前記第２の生成方法を使用する場合とで、前記第１の期間の長さを異ならせることを特徴とする請求項１１または１２記載の音声信号処理装置。
14. 制御手段は、前記音声信号処理装置のリソースが低下していると判定したときは、前記第１の生成方法を使用して、予測波形信号を生成するよう音声信号処理手段を制御することを特徴とする請求項１１記載の音声信号処理装置。

Images