JP2015198337A - 音声処理装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Abstract

【課題】動作音などのノイズ音を低減する際、録音すべき音声信号の劣化を抑止する。【解決手段】音声入力部１０２は音声信号が入力されて当該音声信号に対して所定の処理を施して音声データを生成する際、動作に伴って動作音を発生する駆動部の動作音および当該動作音に起因する残響音を抑制する、フィルタ制御部２１５の制御下でタイミング制御部２１６は音声信号のレベルに応じて音声信号を処理する音声処理期間を設定し、フィルタ処理部２１２は音声処理期間において音声信号をフィルタリング処理して動作音および残響音を低減処理する。この際、フィルタ制御部は音声処理期間において時間の経過につれてフィルタ処理部におけるフィルタ係数を変更制御する。【選択図】図２

Description

本発明は、音声処理装置、その制御方法、および制御プログラム、並びに撮像装置に関し、特に、音声信号に含まれる雑音を低減する音声処理装置に関する。

一般に、デジタルカメラなどの撮像装置において動画を撮影可能な撮像装置が知られている。この種の撮像装置では、動画を記録するとともに動画に付随させて音声信号を記録している。そして、音声信号を記録処理するため、撮像装置には音声処理装置が備えられている。

ところで、撮像装置において動画を撮影する際には、レンズおよび絞りなどの駆動機構が撮影に応じて駆動されるため、駆動機構の動作音が音声信号に混入することがある。このため、動画に付随して音声信号を記録すると、ユーザが意図しない騒音（つまり、動作音）が記録されてしまうことがある。

このような駆動機構の動作音の影響を抑制するため、例えば、コンポーネントの種類および動作の期間に応じてフィルタ処理を行うか又はコンポーネント動作の期間において音声信号を置換処理する手法がある（特許文献１参照）。

特開２０１２−２０３０４０号公報

ところが、駆動機構の振動現象のように、時間の経過ととともにノイズ音（つまり、動作音）の周波数およびレベルが変化する際に、特許文献１に記載のフィルタ処理を行うと、ノイズ周波数およびノイズレベルの変化に対処することが難しい。そして、ノイズ音を低減するために、フィルタ処理における周波数範囲を大きくすると、録音すべき被写体の音声信号が劣化するか又は消去されてしまうことがある。つまり、被写体の音声信号を良好に記録できなくなってしまう。

従って、本発明の目的は、動作音などのノイズ音を低減する際、録音すべき音声信号の劣化を抑止することのできる音声処理装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による音声処理装置は、動作に伴って動作音を発生する駆動部を備え、音声信号が入力されて当該音声信号に対して所定の処理を施して音声データを生成する際、前記駆動部の動作音および当該動作音に起因する残響音を抑制する音声処理装置であって、前記音声信号のレベルに応じて前記音声信号を処理する音声処理期間を設定する設定手段と、前記音声処理期間において前記音声信号をフィルタリング処理して前記動作音および前記残響音を低減処理するフィルタ処理手段と、前記音声処理期間において時間の経過につれて前記フィルタ処理手段におけるフィルタ係数を変更制御するフィルタ制御手段と、を有することを特徴とする。

本発明によれば、動作音などのノイズ音を低減する際、録音すべき音声信号の劣化を抑止することができる。

本発明の第１の実施形態による音声処理装置を備える撮像装置の一例についてその構成を示すブロック図である。 図１に示す撮像部および音声入力部の構成を詳細に示すブロック図である。 ＮＤフィルタを駆動した際に生じる動作音を説明するための図であり、（ａ）はＮＤフィルタを駆動した際の音声信号の一例を示す図、（ｂ）はＮＤフィルタの動作音の周波数特性を示す図、（ｃ）は動作音に起因する残響音の周波数特性を示す図である。 図１に示すカメラにおいて動画撮影を行う際のノイズ低減処理を説明するためのフローチャートである。 図１に示すカメラにおける残響音の低減処理を説明するためのフローチャートである。 可動部の１つであるＮＤフィルタを駆動した際の音声処理の一例を説明するための図である。 可動部の１つであるＮＤフィルタを駆動した際の音声処理の他の例を説明するための図である。 本発明の第２の実施形態による音声処理装置を備えるカメラにおける残響音の低減処理の一例を説明するためのフローチャートである。 本発明の第２の実施形態において可動部の１つであるＮＤフィルタを駆動した際の音声処理の一例を説明するための図である。 本発明の第３の実施形態による音声処理装置を備えるカメラにおける残響音の低減処理の一例を説明するためのフローチャートである。 本発明の第３の実施形態において可動部の１つであるＮＤフィルタを駆動した際の音声処理の一例を説明するための図である。 本発明の第４の実施形態に係るカメラにおける撮像部および音声入力部の構成を詳細に示すブロック図である。 本発明の第４の実施形態に係るカメラにおいて動画撮影を行う際のノイズ低減処理を説明するためのフローチャートである。 本発明の第４の実施形態に係るカメラにおいてＮＤフィルタを駆動する際に発生する動作音および残響音の波形とフィルタ波形とを説明するための図である。 本発明の第５の実施形態に係るカメラにおいて動画撮影を行う際のノイズ低減処理を説明するためのフローチャートである。 本発明の第５の実施形態に係るカメラにおいてＮＤフィルタを駆動する際に発生する動作音および残響音の波形とフィルタ波形とを説明するための図である。

以下に、本発明の実施の形態による音声処理装置の一例について図面を参照して説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態による音声処理装置を備える撮像装置の一例についてその構成を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、動画撮影の際に音声を録音する機能を備えている。カメラ１００は、撮像部１０１、音声入力部１０２、符号化処理部１０３、メモリ１０４、表示制御部１０６、記録再生部１０７、制御部１０９、音声出力部１１１、および外部出力部１１３を有している。そして、これらは、音声データおよび画像データなどの各種データと各種制御信号を伝送するデータバス１１４によって相互に接続されている。

撮像部１０１では、撮影レンズ（図示せず）を介して入射した被写体像（光学像）の光量を絞りによって制御して、光学像を撮像素子（図示せず）に結像する。そして、撮像素子は光学像に応じた画像信号（アナログ画像信号）を出力する。さらに、撮像部１０１では、撮像素子の出力である画像信号をアナログ／デジタル変換（Ａ／Ｄ変換）によってデジタル画像信号として、当該デジタル画像信号に対して所定の画像調整処理などを行って画像データを生成する。

なお、撮影レンズは、カメラ本体に一体型のレンズであってもよく、カメラ本体に着脱式のレンズであってもよい。また、撮像素子として、例えば、ＣＣＤ又はＣＭＯＳなどの光電変換素子が用いられる。

音声入力部１０２は、カメラ１００に内蔵又は音声外部入力端子を介して接続された１つ又は複数のマイクによって、カメラ１００の周辺の音声（および音響）を集音して、アナログ音声信号を得る。そして、音声入力部１０２は、後述するように、当該アナログ音声信号に対してＡ／Ｄ変換を行ってデジタル音声信号を得て、当該デジタル音声信号のレベルの適正化処理して音声データを生成する。

なお、マイクは指向性又は無指向性のいずれでもよいが、ここでは、無指向性のマイクを用いるものとする。また、後述する雑音低減処理（つまり、雑音の抑制）などの音声に係る処理は音声入力部１０２で行われる。

メモリ１０４には、撮像部１０１で生成された画像データおよび音声入力部１０２で生成された音声データが一時的に記憶される。表示制御部１０６は、撮像部１０１で得られた画像データに応じた映像を表示部１０５に表示する。さらに、表示制御部１０６はカメラ１００を操作する際に用いられる操作画面およびメニュー画面などを表示部１０５する。なお、映像、操作画面、およびメニュー画面を映像出力端子（図示せず）を介して外部のディスプレイに表示させようにしてもよい。

符号化処理部１０３は、メモリ１０４に一時的に記憶された画像データおよび音声データを読み出して所定の符号化処理を行って、所定のフォーマットに適合した画像データおよび音声データを生成する。これら画像データおよび音声データに対して、可逆／非可逆の圧縮処理を行うことによって、データ量を少なくすることができる。

圧縮画像データは、例えば、ＪＰＥＧ、ＭＰＥＧ２、又はＨ．２６４／ＭＰＥＧ４−ＡＶＣなどの圧縮手法で圧縮処理されたものである。また、圧縮音声データは、例えば、ＡＣ３、ＡＡＣ、ＡＴＲＡＣ、又はＡＤＰＣＭなどの圧縮手法で圧縮処理されたものである。

記録再生部１０７は、記録媒体１０８に、符号化処理部１０３で生成された圧縮画像データと圧縮音声データ又は音声データを記録するとともに、各種データを記録する。そして、記録再生部１０７は、記録媒体１０８に記録されたデータを読み出して再生を行う。なお、記録媒体１０８は、画像データおよび音声データなどを記録することができればよく、例えば、磁気ディスク、光学式ディスク、又は半導体メモリが用いられる。そして、記録媒体は、カメラ１００に対して取り外し可能でもあってもよく、カメラ１００に内蔵されていてもよい。

制御部１０９は、カメラ１００の制御を司る。制御部１０９は、例えば、ＣＰＵおよびメモリを有しており、当該メモリとして、例えば、各種制御プログラムを格納するＲＯＭおよび演算処理のためのＲＡＭなどが用いられる。さらに、制御部１０９に別のメモリを外付けするようにしてもよい。

操作部１１０は、ボタンおよびダイヤルなどを備えており、ユーザの操作に応じて指示信号を制御部１０９に送る。図示の例では、操作部１１０は、動画記録開始又は終了を指示するための撮影ボタン、光学的又は電子的に画像の拡大又は縮小を指示するためのズームレバー、各種調整を行うための十字キー、および決定キーを有している。

音声出力部１１１は、記録再生部１０７によって再生された音声データ、圧縮音声データ、又は制御部１０９によって出力される音声データをスピーカ１１２又は音声外部出力端子（図示せず）などに出力する。外部出力部１１３は、記録再生部１０７によって再生された圧縮画像データと圧縮音声データ又は音声データなどを外部機器（図示せず）に出力する。

ここで、図１に示すカメラ１００の通常動作について説明する。

ユーザが操作部１１０を操作して電源投入の指示を行うと、電源供給部（図示せず）からカメラ１００の各ブロックに電源が供給される。電源が供給されると、制御部１０９は、操作部１１０からの指示信号に応じて、操作部１１０に備えられたモード切り替えスイッチが、例えば、撮影モード又は再生モードのいずれの動作モードであるかを確認する。

動作モードが撮影モードであると、制御部１０９は、撮像部１０１で得られた画像データと音声入力部１０２で得られた音声データとを１つのファイル（ここでは、圧縮ファイル）として、記録再生部１０７によって記録媒体１０８に保存する。一方、動作モードが再生モードであると、制御部１０９は、記録再生部１０７によって記録媒体１０８に記録された圧縮画像データを再生して表示部１０５に表示する。

撮影モードにおいては、まず、制御部１０９は、カメラ１００を撮影待機状態に移行させる。撮影待機状態においては、撮像部１０１では撮影レンズを介して光学像が撮像素子に結像されて、撮像素子から画像信号が出力される。そして、撮像部１０１は、画像信号に対してＡ／Ｄ変換および画像調整処理などが行って、画像データを生成する。

撮像部１０１の出力である画像データは表示処理部１０６に送られ、表示制御部１０６は画像データに応じた画像を表示部１０５に表示する。ユーザは、表示部１０５に表示された画像を確認して撮影準備を行う。

次に、ユーザが操作部１１０に備えられた記録ボタンを操作して動画撮影開始の指示信号が制御部１０９に送られると、制御部１０９は撮影を行う。撮影の際には、撮像部１０１では、撮像素子は撮影レンズを介して結像した光学像に応じた画像信号を出力する。そして、撮像部１０１は画像信号に対してＡ／Ｄ変換および画像調整処理などを行って画像データを生成する。撮像部１０１の出力である画像データはメモリ１０４に一時記録される。その後、表示制御部１０６はメモリ１０４から画像データを読み出して画像として表示部１０５に表示する。

一方、音声入力部１０２は、複数のマイクの出力であるアナログ音声信号をＡ／Ｄ変換してデジタル音声信号を得て、当該デジタル音声信号に応じてマルチチャンネルの音声データを生成する。そして、この音声データはメモリ１０４に一旦記録される。

符号化処理部１０３は、メモリ１０４に記憶された画像データおよび音声データを読み出して所定の符号化処理を行って、圧縮画像データおよび圧縮音声データを生成する。そして、制御部１０９は、これら圧縮画像データおよび圧縮音声データを所定のフォーマットに変換してデータストリーム（つまり、ファイル）を形成して、当該データストリームを記録再生部１０７に出力する。

なお、音声データを圧縮処理しない場合には、制御部１０９は、メモリ１０４に格納された音声データと圧縮画像データとを合成してデータストリームを形成して、当該データストリームを記録再生部１０７に出力する。そして、記録再生部１０７は、ＦＡＴ又はＮＴＦＳなどのファイルシステム管理に応じて、データストリームを一つの動画ファイルとして記録媒体１０８に書き込む。この動作は、動画撮影中において継続して行われることになる。

ユーザが操作部１１０に備えられた記録ボタンを操作して撮影終了の指示信号が制御部１０９に送られると、制御部１０９はカメラ１００における撮影を終了する処理を行う。撮影終了の際には、撮像部１０１および音声入力部１０２はそれぞれ画像データおよび音声データの生成を停止する。また、符号化処理部１０３は、メモリ１０４に記憶された残りの画像データおよび音声データを読出して所定の符号化処理を行って圧縮画像データおよび圧縮音声データを生成する。そして、圧縮画像データおよび圧縮音声データの生成が終了すると、符号化処理部１０３は動作を停止する。

なお、音声データを圧縮処理しない場合には、圧縮画像データの生成が終了すると、符号化処理部１０３は動作を停止する。

その後、制御部１０９は、最後の圧縮画像データと圧縮音声データ又は音声データとを合成してデータストリームを形成し、当該データストリームを記録再生部１０７に出力する。記録再生部１０７は、データストリームを一つの動画ファイルとして記録媒体１０８に書き込む。そして、データストリームの入力が停止すると、記録再生部１０７は動画ファイルのファイルエントリを生成して記録動作を停止する。制御部１０９は、データストリームの記録動作が停止すると、カメラ１００を撮影待機状態に移行する。

再生モードにおいては、制御部１０９は、カメラ１００を再生状態に移行する。再生状態では、記録再生部１０７は、記録媒体１０８から圧縮画像データと圧縮音声データとからなる動画ファイルを読み出して、当該動画ファイル（つまり、圧縮画像データおよび圧縮音声データ）を符号化処理部１０３に送る。

符号化処理部１０３は、圧縮画像データおよび圧縮音声データを伸長処理して画像データおよび音声データをそれぞれ表示制御部１０６および音声出力部１１１に送る。この際、制御部１０９は画像データおよび音声データを同期させて表示制御部１０６および音声出力部１１１に出力することになる。

表示制御部１０６は画像データに応じた画像を表示部１０５に再生表示する。また、音声出力部１１１は音声データに応じた音声を内蔵又は外付けの外部スピーカから出力する。

図２は、図１に示す撮像部１０１および音声入力部１０２の構成を詳細に示すブロック図である。

前述のように、撮像部１０１は、撮影レンズ（以下単にレンズという）２０１および撮像素子２０３を備えている。さらに、撮像部１０１は露出制御機構２０２、画像処理部２０４、露出制御部２０５、およびレンズ制御部２０６を有している。そして、撮像素子２０３と露出制御機構２０２、画像処理部２０４、露出制御部２０５、およびレンズ制御部２０６は制御部１０９の制御下で動作する。図示の例では、制御線は破線で示されている。

露出制御機構２０２は露出制御部２０５によって駆動制御され、撮像素子２０３に入射する光量を調節する。露出制御部２０５は、位置センサおよびモータなどを備えており、制御部１０９の制御下で露出制御機構２０２を駆動制御する。撮像素子２０３の出力であるアナログ画像信号は画像処理部２０４に送られる。画像処理部２０４はアナログ画像信号をデジタル画像信号に変換した後、画像調整処理をして画像データを形成して、当該画像データをメモリ１０４に書き込むとともに、制御部１０９に送る。

レンズ制御部２０６は、位置センサおよびモータなどのレンズ駆動機構を備えており、制御部１０９の制御下で、レンズ２０１を光軸に沿って移動させる。なお、レンズ２０１の位置は位置センサによって検出される。

図２に示す例では、レンズ２０１、レンズ制御部２０５、露出制御機構２０２、および露出制御部２０５が撮像部１０１に内蔵されているが、レンズ２０１、レンズ制御部２０５、露出制御機構２０２、および露出制御部２０５は撮像部１０１とは別の交換レンズユニットに備えるようにしてもよい。

音声入力部１０２は、マイク（ＭＩＣ）２１７を備えており、マイク２１７はカメラ１００の周囲からの音声（および音響）を電気信号であるアナログ音声信号としてＡ／Ｄ変換部２１１に送る。そして、Ａ／Ｄ変換部２１１は当該アナログ音声信号をデジタル音声信号に変換する。

図示のように、音声入力部１０２はフィルタ処理部２１２、動作音記憶部２１３、レベル検出部２１４、フィルタ制御部２１５、およびタイミング制御部２１６を有している。そして、フィルタ制御部２１５は制御部１０９の制御下で動作する。図示の例では、制御線は破線で示されている。

上述のデジタル音声信号はＡ／Ｄ変換部２１１からフィルタ処理部２１２およびレベル検出部２１４に送られる。フィルタ処理部２１２は、後述するように、所定のフィルタ処理（フィルタリング処理ともいう）によって音声レベルにおいてノイズ低減処理を行う。そして、フィルタ処理部２１２はノイズ低減済み音声信号を出力する。

なお、フィルタ処理部２１２は、例えば、複数のノッチフィルタおよび帯域除去フィルタを備えるようにしてもよく、さらには、フィルタ処理部２１２はデジタル音声信号についてＦＦＴ（高速フーリエ変換）処理を行った後、周波数領域でノイズ低減処理を行い、その後、逆フーリエ変換を行うようにしてもよい。

フィルタ処理部２１２には、音声信号の振幅を所定のレベルに抑えるためのオートレベルコントローラが備えられている。オートレベルコントローラはノイズ低減済み音声信号を所定の信号レベルとして、当該音声信号に所定の処理を施して音声データとしてメモリ１０４に送る。

動作音記憶部２１３には、ノイズ源となりうる駆動部（可動部ともいう）毎の動作音情報が記録されている。例えば、動作音情報として、動作音レベル、周波数、帯域幅、発生時間、および動作音に起因する残響音レベルなどの特徴量が動作音記憶部２１３に記録される。

レベル検出部２１４は、デジタル音声信号の信号レベルを検出して、検出信号レベルとしてフィルタ制御部２１５に送る。フィルタ制御部２１５は、動作音記憶部２１３に記録された動作音情報（ここでは、動作音レベル）と検出信号レベルとを比較して、当該比較結果に応じてノイズ低減処理を行う際のフィルタ周波数およびフィルタゲインを決定する。そして、フィルタ制御部２１５はフィルタ周波数およびフィルタゲインをフィルタ処理部２１２に送る。

さらに、フィルタ制御部２１５は、制御部１０９から駆動部を駆動する際に用いる制御信号を受けてノイズ低減処理を行うタイミングを決定する。そして、フィルタ制御部２１５は、当該ノイズ低減処理のタイミングを示すタイミング信号（ノイズ低減タイミング信号）をタイミング制御部２１６に送る。タイミング制御部２１６は、ノイズ低減処理タイミング信号に応答して、フィルタ処理部２１２およびレベル検出部２１４の動作タイミングを制御する。

なお、上述の音声入力部１０２の処理については、ハードウェアによって処理するようにしてもよく、ソフトウェアで処理するようにしてもよい。

続いて、図２に示す露出制御機構２０２について説明する。

前述のように、露出制御機構２０２は、撮像素子２０３に入射する光量を調節するための絞り機構として機能する。図示の例では、露出制御機構２０２は、ＮＤ（ｎｅｕｔｒａｌ ｄｅｎｓｉｔｙ）フィルタを備えているものとする。なお、ＮＤフィルタの代わりに、虹彩絞り、又は丸絞りや羽絞り、さらには、それら複数の組み合わせで露出制御機構を構成するようにしてもよい。

例えば、虹彩絞りを用いた際には、露出制御部２０５の制御に応じて、虹彩絞りは複数段階で開閉を行えるように構成され、虹彩絞りの開口量によって撮像素子２０３に入射される光の量が多段階で調整される。

一方、ＮＤフィルタは、光量を低減するためのフィルタであり、ＮＤフィルタを光の光路上に進入させることによって、撮像素子１０４に対する入射光量を低減させる。このように、光路に対してＮＤフィルタを進退させることによって、撮像素子１０４に入射する光量を調整することができる。

以下の説明では、光路に対してＮＤフィルタを進入させる方向に駆動することを、ＮＤフィルタを閉じるという。また、光路に対してＮＤフィルタを退避させる方向に駆動することを、ＮＤフィルタを開くという。

ここで、駆動部であるＮＤフィルタを駆動した際（つまり、進退させた際）に生じる動作音について説明する。

図３は、ＮＤフィルタを駆動した際に生じる動作音を説明するための図である。そして、図３（ａ）はＮＤフィルタを駆動した際の音声信号の一例を示す図であり、図３（ｂ）はＮＤフィルタの動作音の周波数特性を示す図である。また、図３（ｃ）は動作音に起因する残響音の周波数特性を示す図である。

一般に、ＮＤフィルタの動作期間は数ｍｓであって高速に行われるので、ＮＤを開閉する際にはＮＤフィルタを駆動するための駆動機構から駆動音が発生する。この動作音には、ＮＤフィルタを駆動した際にＮＤ駆動機構が振動する振動音とＮＤ駆動部がストッパに当たる衝突音とを含む駆動機構動作音３０１がある。さらには、動作音には、駆動機構動作音３０１がカメラ１００内で反響する反響音とカメラ１００のその他の構成部材が共振した結果生じる共振音（数十〜数百ｍｓ）を合わせた残響音３０２がある。

図３（ａ）に示すように、制御部１０９の制御下で、露出制御部２０５がＮＤフィルタを駆動するための制御信号を露出制御機構２０２に送ると、露出制御機構２０２はＮＤフィルタの駆動を開始する。これによって、マイク２１７の出力であるアナログ音声信号（音声入力）３０３には、まず動作音３０１が重畳され、続いて残響音３０２が重畳される。そして、これら動作音３０１および残響音３０２は次第に減衰する。

図３（ｂ）に示すように、動作音３０１の周波数特性は、音声入力３０３の周波数特性と比べて、その信号レベルが高い。一方、残響音３０２の周波数特性は、音声入力３０３の周波数特性と比べて、その信号レベルがほぼ同一であり、時々音声入力３０３に比べて信号レベルが高くなるピークが存在する。つまり、残響音３０２は、カメラ１００内における共振音を含む狭帯域信号であり、カメラ１００に備えられたバネ機構を考慮すると、残響音３０２は固有振動数による共振成分が支配的となる。

具体的に、ＮＤフィルタを駆動した際には、まず、動作音である衝突音が生じる。この衝突音は広帯域であり、続いて、衝突音に起因する特定の複数の狭帯域信号である残響音が生じる。衝突音は、例えば、７００Ｈｚ〜２０ｋＨｚの周波数帯域であって３０ｍｓ程度の期間で発生する。一方、残響音は、例えば、１ｋＨｚ、２ｋＨｚ、および３ｋＨｚの周波数帯域において４００ｍｓ程度の期間で発生する。

ところで、カメラ１００の状態に応じて、反響音の音圧レベル、周波数、および発生期間が変動する。例えば、鏡筒の繰り出し状態、バリアングル表示部の開閉、外部接続コネクタ部の開閉状態に応じて反響音の継続時間が変化する。さらに、カメラ筺体に存在するばね機構の状態、例えば、ばね部材に加わる質量の変化に応じて、ばねの共振周波数が変動する。

ここでは、残響音（ＮＤ音ともいう）を低減するため、レベル検出２１４によって動作音のレベルを検出して、後述するようにして、残響音の発生期間を推定する。

ここで、一例としてＮＤフィルタを駆動した際の衝突音と当該衝突に伴う反響音を例に挙げて説明するが、特にこのような反響音には限定されない。

前述のように、駆動部（可動部）はズームレンズを移動させるズームモータ、フォーカスレンズを移動させるフォーカスモータ、シャッターを制御する駆動機構などを含む。動作音は、例えば、上記の駆動部が動作開始又は動作終了する際に生じる瞬間的な駆動音（例えば、ズームモータの駆動音、フォーカスモータの駆動音、絞り機構の駆動音、シャッター音）である。

ズームモータなどの動作開始時又は動作終了の際に、モータとギアとが噛み合うことによって発生する「カチッ」又は「パチッ」という動作音に反響する反響音に共振して共振音が生じる。この場合の反響音および共振音は、残響音と呼ばれる。さらに、操作ボタンの押下又はズームレバーの操作の際には、バネに力が加わった状態から解放された際に生じるはじき音などの共振音がある。

図４は、図１に示すカメラにおいて動画撮影を行う際のノイズ低減処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は制御部１０９の制御下で行われる。

動画撮影（動画記録とも呼ぶ）を開始すると、制御部１０９は駆動部（可動部）を駆動させるか否かを監視する（ステップＳ４０１）。例えば、ＮＤフィルタを開閉する駆動部（以下ＮＤ可動部と呼ぶ）を駆動するか否かを判定する際には、制御部１０９は、画像処理部２０４の出力である画像データにおいて被写体の輝度が所定の輝度閾値（ＮＤ開閉輝度閾値）を超えたか否かを判定する。そして、被写体の輝度がＮＤ開閉輝度閾値を超えると、制御部１０９はＮＤ可動部を駆動すると判定することになる。

可動部が動作すると判定すると（ステップＳ４０１において、ＹＥＳ）、制御部１０９は、可動部の動作が残響音処理を必要とする所定の動作であるか否かを判定する（ステップＳ４０２）。例えば、所定の動作は、ズームの際のレンズ繰り出し動作などと異なる動作である。可動部の動作が所定の動作であると判定すると（ステップＳ４０２において、ＹＥＳ）、制御部１０９はフィルタ制御部２１５に対して、周波数帯域を変更する第１のフィルタ処理（フィルタ処理１）を行うことを指示する（ステップＳ４０３）。

一方、可動部の動作が所定の動作でないと判定すると（ステップＳ４０２において、ＮＯ）、制御部１０９はフィルタ制御部２１５に対して、周波数帯域を変更しない第２のフィルタ処理（フィルタ処理２）を行うことを指示する（ステップＳ４０４）。

ステップＳ４０３又はＳ４０４の処理の後、制御部１０９はユーザ操作によって撮影終了の指示が行われたか否かを判定する（ステップＳ４０５）。撮影終了の指示がないと（ステップＳ４０５でＮＯ）、制御部１０９はステップＳ４０１の処理に戻る。撮影終了の指示があると（ステップＳ４０５でＹＥＳ）、制御部１０９は動画撮影を終了する。

なお、可動部が動作しないと判定すると（ステップＳ４０１において、ＮＯ）、制御部１０９はステップＳ４０５の処理に進む。

図５は、図１に示すカメラにおける残響音の低減処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、制御部１０９の制御下で行われる。また、ここでは、ＮＤフィルタの開閉動作に起因する残響音の低減処理について説明する。

残響音、つまり、ノイズ低減処理を開始すると、フィルタ制御部２１５は、制御部１０９から与えられるＮＤフィルタの駆動タイミングに応じて残響音処理を開始する時点を決定する。そして、タイミング制御部２１６は、フィルタ制御部２１５からの指示に応じて、レベル検出部２１４にＮＤフィルタの開閉動作直前における音声入力（環境音）のレベル検出を指示する（ステップＳ５０１）。なお、レベル検出部２１４で検出される音声入力レベルは、タイミング制御部２１６で指定した期間における平均値によって検出されてもよく、特定の帯域のＲＭＳ値によって検出されてもよい。

フィルタ制御部２１５は、動作音記憶部２１３に予め記録された残響音のレベル（ＮＤ音レベルという）ＬＦｍとレベル検出部２１４で検出された音声入力レベルＬｐとを比較して、Ｌｐ＞ＬＦｍであるか否かを判定する（ステップＳ５０２）。

ＮＤ音レベルが環境音レベル以上の場合、つまり、Ｌｐ≦ＬＦｍであると（ステップＳ５０２において、ＮＯ）、フィルタ制御部２１５はユーザに残響音が聞こえると判定する。そして、フィルタ制御部２１５は、動作音記憶部２１３に記録されたＮＤ音レベルと動作開始直前の音声入力レベルとに応じてフィルタ処理を行う期間である残響音処理期間Ｔを決定する（ステップＳ５０３）。なお、残響音処理期間Ｔは、残響音の期間をＴｍ、残響音のレベルをＬＦｍ、直前の環境音のレベルをＬｐとした際、残響音処理期間Ｔ＝Ｔｍ＊ＬＦｍ／Ｌｐの式で求められる。

続いて、制御部１０９の制御下で、露出制御部２０５はＮＤフィルタの開閉動作を行う（ステップＳ５０４：可動部の動作実行）。その後、フィルタ制御部２１５は、フィルタ処理部２１２で行われるフィルタ制御に係るフィルタ制御情報を設定する（ステップＳ５０５）。そして、フィルタ処理部２１２は、フィルタ制御部２１５によって設定されたフィルタ制御情報に基づいてフィルタ処理を行う（ステップＳ５０６）。

上記のフィルタ制御情報は、周波数、音圧レベル、および残響時間を有しており、動作音記憶部２１３に記録されている。フィルタ処理部２１２に設定されるフィルタ制御情報は、対象となるｎ個（ｎは１以上の整数）のノイズ発生駆動源毎に動作音記憶部２１３に記録されている。

具体的には、フィルタ制御情報として、ノイズ処理開始時におけるノイズ周波数の中心周波数Ｆｎ０、帯域幅ＢＷｎ０、およびノイズレベルＬＦｎ０と、音声処理終了時における中心周波数Ｆｎｚ、帯域幅ＢＷｎｚ、ノイズレベルＬＦｎｚ、残響音減衰率βｎ、残響音処理期間Ｔｎ、フィルタゲインＧｎ、およびフィルタ更新時間△Ｔが記録される。

続いて、タイミング制御部２１６は、フィルタ処理を開始されてから経過した時間であるフィルタ処理時間が残響音処理期間Ｔ以下であるか否かを判定する（ステップＳ５０７）。フィルタ処理時間が残響音処理期間以下であると（ステップＳ５０７でＹＥＳ）、タイミング制御部２１６は後述する所定の時間が経過したか否かを判定する（ステップＳ５０８）。

ところで、残響音は、時間の経過とつれて減衰するので、その減衰時間を設定して時間の経過につれてノイズ低減処理を行うレベルを制御する必要がある。よって、フィルタ制御情報の更新が必要であるか否かを判定するためのフィルタ更新時間△Ｔを所定の時間として設定する。その後、当該所定の時間が経過すると（ステップＳ５０８において、ＹＥＳ）、タイミング制御部２１６はステップＳ５０４に戻ってフィルタ制御部にフィルタ制御情報の更新（再設定）を指示する。

一方、所定の時間が経過しないと（ステップＳ５０８でＮＯ）、タイミング制御部２１６は、ステップＳ５０６の処理に戻って、フィルタ処理部２１２によるフィルタ処理を継続する。

フィルタ処理時間が残響音処理期間Ｔ以下でない、つまり、フィルタ処理時間が残響音処理期間Ｔを超えた場合（ステップＳ５０７でＮＯ）、タイミング制御部２１６はノイズ低減処理を終了する。

なお、ＮＤ音レベルが環境音レベルよりも小さいと、つまり、Ｌｐ＞ＬＦｍであると（ステップＳ５０２でＹＥＳ）、フィルタ制御部２１５は動画再生の際に環境音に残響音が埋もれてユーザに聞こえないと判定する。そして、フィルタ制御部２１５はフィルタ処理部２１２に対してフィルタ処理を行わない旨を指示して（ステップＳ５０９）、ノイズ低減処理を終了する。

なお、上述の例では、動作音記憶部２１３は音声入力部１０２に備えられているが、例えば、動作音記憶部２１３としてメモリ１０４の一部領域を用いるようにしてもよい。さらには、動作音記憶部２１３としてＳＤカードなどの外部記憶装置を用いるようにしてもよい。

また、動作音記憶部２１３には環境音に対する入力レベルの閾値と当該閾値毎に対応するフィルタ設定値を記録するようにしてもよい。この場合には、レベル検出部２１４は閾値と入力レベルとを比較して、当該比較結果に応じてフィルタ制御部２１５は動作音記憶部２１３に記録されたフィルタ設定値を選択し、フィルタ処理部２１２に設定する。そして、動作音記憶部２１７に登録するＮＤ音レベルは、ＮＤフィルタを閉じる場合とＮＤフィルタを開く場合とにおいて別に記録するようにしてもよい。

図６は、可動部の１つであるＮＤフィルタを駆動した際の音声処理の一例を説明するための図である。

いま、タイミング制御部２１６からレベル検出部２１４に、時刻Ｔｐにおいてレベル検出指示信号６０２が与えられた後、制御部１０９から露出制御部２０５にＮＤ開信号６０１が与えられたとする。この際、ＮＤフィルタを駆動した際の音声信号レベルが参照番号６０３で示されている。そして、フィルタ制御部２１５は参照番号６０４で示す残響音処理期間Ｔを設定したとする。

図示のように、残響音Ｆ１およびＦ２が存在すると、時刻Ｔ０のタイミングで残響音Ｆ１およびＦ２が発生して、残響音Ｆ１およびＦ２はそれぞれ減衰率β１およびβ２で減衰しつつ、残響音Ｆ１は時刻Ｔ３で、残響音Ｆ２は時刻Ｔ４で終了したとする。なお、無音状態における残響音Ｆ１のレベルを「ＬＦ１」とし、無音状態における残響音Ｆ２のレベルを「ＬＦ２」とする。

ここで、タイミング（時刻）Ｔｐでレベル検出部２１４が音声入力レベルＬｐ１を検出したとする。なお、音声入力レベルＬｐ１は、例えば、室内などで無音に近い状態のレベルである。

フィルタ制御部２１５は、音声入力レベルＬｐ１と動作音記憶部２１３に記録された残響音Ｆ１およびＦ２のレベルを比較して、Ｌｐ１＜ＬＦ１およびＬｐ１＜ＬＦ２の期間を求める。ここでは、時刻Ｔ０〜Ｔ４が残響音処理期間Ｔとして決定され、フィルタ制御部２１５からタイミング制御部２１６に残響音処理時間Ｔが送られる。

図６において、参照番号６１０〜６１３は、それぞれタイミングＴ０〜Ｔ３の時点において音声入力部１０２における残響音Ｆ１およびＦ２の周波数特性を示す。また、参照番号６２０〜６２３は、それぞれタイミングＴ０〜Ｔ３の時点においてフィルタ処理部２１２に設定されるフィルタ特性（つまり、フィルタ制御情報）を示す。そして、参照番号６３０〜６３３は、それぞれタイミングＴ０〜Ｔ３の時点においてフィルタ処理後の音声信号の周波数特性を示す。

残響音Ｆ１およびＦ２の各々は、互いに異なる中心周波数および帯域幅を有しており、ここでは、参照番号６２０で示す周波数特性を有するフィルタによって残響音を低減する。残響音は時間の経過につれて減衰するので、動作音記憶部２１３に記録されたフィルタ更新時間△Ｔを検出する毎に、タイミング制御部２１６は、フィルタ特性変更の指示をフィルタ制御部２１５に送る。フィルタ制御部２１５は、参照番号６２１、６２２、および６２３に示すようにフィルタ更新時間△Ｔに応じてフィルタゲインＧを変更してフィルタ処理部２１２に設定する。

ここでは、タイミングＴ０において、音声入力レベルＬｐ１、レベルＬＦ１、およびレベルＬＦ２に応じて残響音処理期間Ｔを求める。また、タイミングＴ０におけるレベルＬＦ１およびＬＦ２と反響音処理期間に応じた減衰率β１およびβ２とからフィルタ更新時間△Ｔ毎のゲインレベルを算出する。

例えば、残響音Ｆ２に係る残響音期間をＴＦ２、残響音処理期間をＴ、残響音レベルをＬＦ１、直前の環境音レベルをＬｐ１とした場合、残響音処理期間Ｔ＝ＴＦ２×ＬＦ２／Ｌｐ１で算出するようにしてもよい。また、タイミングＴ２におけるフィルタゲインＧ（Ｔ２）は、Ｇ（Ｔ２）＝Ｇ（Ｔ０）−β１×Ｔ２で算出するようにしてもよい。

ところで、共振音毎に周波数特性が異なるので、残響音処理期間（Ｔｎ）は、複数の周波数帯域からなる共振成分の周波数毎に設定するようにしてもよい。また、複数の周波数帯域からなる共振成分の周波数毎にフィルタを構成するようにしてもよい。

ここでは、一例として、残響音Ｆ１およびＦ２を合わせた周波数帯について参照番号６２０〜６２３で示す周波数特性を備えるフィルタ処理を行ったが、残響音Ｆ１およびＦ２の各々に対して互いに異なる周波数特性を備えたフィルタ処理を行うようにしてもよい。

フィルタゲインを変更するフィルタ更新時間△Ｔについては、予め動作音記憶部２１３に記録するようにしてもよく、例えば、音声処理期間である時刻Ｔ０〜Ｔ４を１０分割などの複数の区間に分割してもよい。また、フィルタ更新時間△Ｔの各々を均等とする必要はなく、残響音の減衰に応じて配分するようにしてもよい。

図７は、可動部の１つであるＮＤフィルタを駆動した際の音声処理の他の例を説明するための図である。

いま、タイミング制御部２１６からレベル検出部２１４に、時刻Ｔｐにおいてレベル検出指示信号６０６が与えられた後、制御部１０９から露出制御部２０５にＮＤ開信号６０５が与えられたとする。この際、ＮＤフィルタを駆動した際の音声信号レベルが参照番号６０７で示されている。そして、フィルタ制御部２１５は参照番号６０８で示す残響音処理期間Ｔを設定したとする。

図示のように、残響音Ｆ１およびＦ２が存在すると、時刻Ｔ０のタイミングで残響音Ｆ１およびＦ２が発生して、残響音Ｆ１およびＦ２は減衰しつつ、残響音Ｆ１は時刻Ｔ４よりも前で、残響音Ｆ２は時刻Ｔ４で終了したとする。

ここで、タイミング（時刻）Ｔｐでレベル検出部２１４が音声入力レベルＬＰ２を検出したとする。なお、音声入力レベルＬｐ２は、例えば、屋外などで被写体の周辺である程度の環境音が存在する状態のレベルである。

フィルタ制御部２１５は、音声入力レベルＬｐ２と動作音記憶部２１３に記録された残響音Ｆ１およびＦ２のレベルとを比較して、Ｌｐ２＜ＬＦ１およびＬｐ２＜ＬＦ２の期間を求める。ここでは、残響音Ｆ１のみが音声入力レベル（つまり、環境音）Ｌｐ２より大きく、タイミングＴ０〜Ｔ５が残響音処理期間Ｔとして決定され、フィルタ制御部２１５からタイミング制御部２１６に残響処理時間Ｔが送られる。

図７において、参照番号６５０〜６５１は、それぞれタイミングＴ０〜Ｔ１の時点において音声入力部１０２における残響音Ｆ１およびＦ２の周波数特性を示す。また、参照番号６６０〜６６２は、それぞれタイミングＴ０〜Ｔ１の時点においてフィルタ処理部２１２に設定されるフィルタ特性（つまり、フィルタ制御情報）を示す。そして、参照番号６７０〜６７１は、それぞれタイミングＴ０〜Ｔ１の時点においてフィルタ処理後の音声信号の周波数特性を示す。

フィルタ制御部２１５は、タイミングＴ０において、残響音Ｆ１のレベルが音声入力レベルＬｐ２を超えた場合に、残響音がユーザに聞こえると判定して、図６に参照番号６２０で示す周波数特性と異なる周波数特性（参照番号６６０）を備えたフィルタ制御情報をフィルタ処理部２１２に設定する。

残響音は時間の経過につれて減衰するので、動作音記憶部２１３に記録されたフィルタ更新時間△Ｔを検出する毎に、タイミング制御部２１６は、フィルタ特性変更の指示をフィルタ制御部２１５に送る。フィルタ制御部２１５は、参照番号６６１に示すようにフィルタ更新時間△Ｔに応じてフィルタゲインを変更してフィルタ処理部２１２に設定する。

このように、本発明の第１の実施形態では、残響音が生じる動作の直前における音声入力レベルに応じて、残響音処理期間を変更する。これによって、ユーザに聞こえる残響音が生じる期間に合わせて音声処理を行うことができる。この結果、残響音などの雑音処理が必要な期間においてのみ音声処理を行えばよい。

さらに、残響音が生じる動作の直前における音声入力レベルに応じてフィルタ処理部に設定するフィルタ特性（つまり、フィルタ制御情報）を変更し、時間の経過に応じて当該フィルタ特性を更新する。これによって、動作音に適したノイズ低減処理を行うことができる。

このように、音声レベルに応じて決定された音声処理期間において時間の経過に応じてフィルタ係数を変更するようにしたので、録音すべき音声信号の劣化を抑止しつつ、動作音及び残響音をその周波数及びそのレベルの変化に応じて適切に低減することができる。

［第２の実施形態］
続いて、本発明の第２の実施形態による音声処理装置を備えるカメラの一例について説明する。なお、第２の実施形態に係るカメラの構成は図１に示すカメラと同様である。また、第２の実施形態に係るカメラに備えられた撮像部および音声入力部の構成は図２に示す撮像部および音声入力部と同様である。

図８は、本発明の第２の実施形態による音声処理装置を備えるカメラにおける残響音の低減処理の一例を説明するためのフローチャートである。

なお、ここでは、ＮＤフィルタを駆動した際に生じる残響音の低減処理を例に挙げて説明する。また、図示のフローチャートに係る処理は、制御部１０９の制御下で行われる。

残響音、つまり、ノイズ低減処理を開始すると、フィルタ制御部２１５は、制御部１０９から与えられるＮＤフィルタの駆動タイミング（つまり、ＮＤ開閉動作指示）に応じて第１の音声処理期間および第２の音声処理期間をタイミング制御部２１６に送る。ここで、第１の音声処理期間は、ＮＤフィルタの駆動による動作音の発生期間であって、動作音処理期間ともいう。また、第２の音声処理期間は、ＮＤフィルタの駆動によって生じる残響音の発生期間であって、残響音処理期間ともいう。

なお、ここでは、ＮＤフィルタの駆動を例に挙げて説明しているが、第１および第２の音声処理期間は対象となる可動部毎に動作記憶部２１３に予め記録するようにしてもよい。

続いて、フィルタ制御部２１５は、動作音記憶部２１３に予め記録された第１の音声処理期間に係るフィルタ処理情報を第１のフィルタ情報としてフィルタ処理部２１２に設定する（ステップＳ７０１）。前述の図３で説明した動作音の期間は数ｍｓであり、残響音の期間と比べて短い。このため、動作音に対してはフィルタ特性が処理期間において一定となるフィルタ処理を行うようにする。なお、動作音の期間は短いので、例えば、録音レベルを下げるか又は該当期間をミュート処理するようにしてもよい。

続いて、制御部１０９はＮＤフィルタの開閉動作指示を露出制御部に送って、ＮＤフィルタを開閉する（ステップＳ７０２：可動部動作）。そして、タイミング制御部２１６はレベル検出部２１４に第１の音声処理期間における音声レベルの検出を行うことを指示する（ステップＳ７０３）。さらに、タイミング制御部２１６の制御下で、フィルタ処理部２１２は第１音声処理期間において第１のフィルタ処理（フィルタ処理１）を行う（ステップＳ７０４）。

次に、タイミング制御部２１６は現在、第1の音声処理期間であるか否かを判定する（ステップＳ７０５）。第１の音声処理期間であると（ステップＳ７０５において、ＹＥＳ）、タイミング制御部２１６はステップＳ７０４の処理に戻って、フィルタ処理部２１２によって第１のフィルタ処理を行う。

一方、第１の音声処理期間でないと（ステップＳ７０５において、ＮＯ）、つまり、第１の音声処理期間が終了したと判定されると、フィルタ制御部２１５は動作音記憶部２１３に予め記録された動作音レベルＬＦｓｍと第１の音声処理期間における音声入力レベルＬＦｓとを比較する（ステップＳ７０６）。

ここでは、例えば、フィルタ制御部２１５はＬＦｓ＞ＬＦｓｍであるか否かを判定する。そして、フィルタ制御部２１５は、その比較結果に応じて第２の音声処理期間を変更する（ステップＳ７０７）。

続いて、フィルタ制御部２１５は、フィルタ処理部２１２で行われるフィルタ制御に係るフィルタ制御情報（周波数制御情報）を第２のフィルタ情報として設定する（ステップＳ７０８）。そして、フィルタ処理部２１２は、フィルタ制御部２１５によって設定された第２のフィルタ情報に基づいて第２のフィルタ処理（フィルタ処理２）を行う（ステップＳ７０８）。

上記の第２のフィルタ情報は、対象の可動部毎に動作音記憶部２１３に記録されている。例えば、第２のフィルタ情報として、ノイズ処理開始時におけるノイズ周波数の中心周波数Ｆｎ（０）、帯域幅ＢＷｎ（０）、およびノイズレベルＬＦｎ（０）と、音声処理終了時における中心周波数Ｆｎ（Ｔｎ）、帯域幅ＢＷｎ（Ｔｎ）、ノイズレベルＬＦｎ（Ｔｎ）、残響時間ＴＦｎ、音声処理期間Ｔｎ、フィルタゲインＧｎ、およびフィルタ更新時間△Ｔが記録される。

なお、衝突音レベル（動作音レベル）をＬＦｍｓ、残響音の期間をＴｍ、音声処理期間をＴ、そして、検出した衝突音（動作音）のレベルをＬＦｓとした際、音声処理期間Ｔ＝ＬＦｓ／ＬＦｍｓ×Ｔｍとして比例演算で補正を行うようにしてもよい。

また、第２の音声処理期間におけるフィルタゲインＧを、動作音記憶部２１３に記録された残響音のゲインダウンＧｍとした際には、Ｇ＝ＬＦｓ／ＬＦｍｓ×Ｇｍとして求めることができる。

上述の例では、第２の音声処理期間における第２のフィルタ情報をステップＳ７０６の処理に応じて行うようにしたが、ステップＳ７０４およびＳ７０５における第１の音声処理期間において、フィルタ制御部２１５は並列処理によって第２の音声処理期間における第２のフィルタ情報を決定するようにしてもよい。

続いて、タイミング制御部２１６は、第２の音声処理期間が経過したか否かを判定する（ステップＳ７１０）。第２の音声処理期間が経過しないと（ステップＳ７１０において、ＹＥＳ）、タイミング制御部２１６は後述する所定の時間が経過したか否かを判定する（ステップＳ７１１）。

ここでは、第２のフィルタ情報の更新が必要であるか否かを判定するためのフィルタ更新時間△Ｔを所定の時間として当該所定の時間が経過すると（ステップＳ７１１において、ＹＥＳ）、タイミング制御部２１６はステップＳ７０８の処理に戻ってフィルタ制御部２１５にフィルタ制御情報の更新（再設定）を指示する。

一方、所定の時間が経過しないと（ステップＳ７１１において、ＮＯ）、タイミング制御部２１６は、ステップＳ７０９の処理に戻って、フィルタ処理部２１２によるフィルタ処理を継続する。

第２の音声処理期間が終了すると（ステップＳ７１０において、ＮＯ）、タイミング制御部２１６はノイズ低減処理を終了する。なお、フィルタ制御部２１５によって更新される第２のフィルタ情報はフィルタゲインに限られない。例えば、フィルタゲインを減衰させるとともに、残響音に合わせてフィルタ処理部２１２に設定するフィルタ中心周波数Ｆｎおよび帯域幅ＢＷｎを変更するようにしてもよい。

図９は、本発明の第２の実施形態において可動部の１つであるＮＤフィルタを駆動した際の音声処理の一例を説明するための図である。

いま、制御部１０９から露出制御部２０５にＮＤ開信号８０１が与えられ、タイミング制御部２１６からレベル検出部２１４に、時刻Ｔｓにおいてレベル検出指示信号８０２が与えられたとする。この際、ＮＤフィルタを駆動した際の音声信号レベルが参照番号８０３で示されている。そして、フィルタ制御部２１５は参照番号８０４で示す第２の音声処理期間を設定したとする。

動作音記憶部２１３にＮＤフィルタ動作の際の残響音レベルＦ１および動作音レベルＦＳ１が記録されているとする。そして、レベル検出部２１４によって動作音レベルＦＳ２が検出され、フィルタ制御部２１５によって動作音レベルＦＳ１およびＦＳ２に応じて残響音レベルＦ２が推定されたとする。

図示のように、時刻Ｔ０のタイミングで残響音Ｆ１およびＦ２が発生して、残響音Ｆ１およびＦ２はそれぞれ減衰しつつ、残響音Ｆ１は時刻Ｔ６で、残響音Ｆ２は時刻Ｔ７で終了したとする。

図９において、参照番号８１０〜８１２は、それぞれタイミングＴＳ、Ｔ１、Ｔ６の時点において音声入力部１０２における残響音Ｆ１およびＦ２の周波数特性を示す。また、参照番号８２０〜８２２は、それぞれタイミングＴＳ、Ｔ１、Ｔ６の時点においてフィルタ処理部２１２に設定されるフィルタ特性（つまり、第２のフィルタ情報）を示す。そして、参照番号８３０〜８３２は、それぞれタイミングＴＳ、Ｔ１、Ｔ６の時点においてフィルタ処理後の音声信号の周波数特性を示す。

残響音Ｆ１およびＦ２の各々は、時間の経過につれて減衰するので、動作音記憶部２１３に記録されたフィルタ更新時間△Ｔを検出する毎に、タイミング制御部２１６は、フィルタ特性変更の指示をフィルタ制御部２１５に送る。フィルタ制御部２１５は、参照番号８２１又は８２３に示すようにフィルタ更新時間△Ｔに応じてフィルタゲインを変更してフィルタ処理部２１２に設定する。

これによって、時刻Ｔ１およびＴ６のタイミングにおいてフィルタ処理後の音声信号から残響音が低減され、参照番号８３１又は８３２で示す周波数特性が得られる。

このように、本発明の第２の実施形態では、残響音を生じる動作の開始後（つまり、直後）の音声入力レベルに応じて音声処理期間を変更する。これによって、ユーザに聞こえる残響音の期間に合わせて音声処理が行われて、残響音などの雑音処理が必要な期間においてのみ音声処理を行えばことになる。

さらに、時間の経過につれてフィルタ処理部に設定するフィルタ特性（つまり、フィルタ情報）を変更するようにしたので、動作音に適したノイズ低減処理を行うことができる。

［第３の実施形態］
続いて、本発明の第３の実施形態による音声処理装置を備えるカメラの一例について説明する。なお、第３の実施形態に係るカメラの構成は図１に示すカメラと同様である。また、第３の実施形態に係るカメラに備えられた撮像部および音声入力部の構成は図２に示す撮像部および音声入力部と同様である。

図１０は、本発明の第３の実施形態による音声処理装置を備えるカメラにおける残響音の低減処理の一例を説明するためのフローチャートである。

なお、ここでは、ＮＤフィルタを駆動した際に生じる残響音の低減処理を例に挙げて説明する。また、図示のフローチャートに係る処理は、制御部１０９の制御下で行われる。

残響音、つまり、ノイズ低減処理を開始すると、制御部１０９はＮＤフィルタ動作指示をフィルタ制御部２１５に送る。これによって、フィルタ制御部２１５はレベル検出部２１４にＮＤフィルタ動作直前の音声入力（環境音）レベルＬｐの検出を指示する（ステップＳ９０１）。この際、フィルタ制御部２１５は前述の第１の音声処理期間および第２の音声処理期間をタイミング制御部２１６に送る。

続いて、フィルタ制御部２１５は、動作音記憶部２１３に予め記録された動作音のレベルＬＦｓｍとレベル検出部２１４で検出された音声入力レベルＬｐとを比較して、Ｌｐ＞ＬＦｓｍであるか否かを判定する（ステップＳ９０２）。

動作音レベルＬＦｓｍが音声入力レベルＬｐ以上の場合、つまり、Ｌｐ≦ＬＦｓｍであると（ステップＳ９０２において、ＮＯ）、フィルタ制御部２１５はユーザに動作音が聞こえると判定する。そして、フィルタ制御部２１５は、動作音記憶部２１３に予め記録されたフィルタ制御情報（以下単にフィルタ情報ともいう）をフィルタ処理部２１２に設定する。

続いて、制御部１０９の制御下で、露出制御部２０５はＮＤフィルタの開閉動作を行う（ステップＳ９０３：可動部の動作実行）。そして、タイミング制御部２１６はレベル検出部２１４に第１の音声処理期間における音声レベルの検出を行うことを指示する（ステップＳ９０４）。さらに、タイミング制御部２１６の制御下で、フィルタ処理部２１２は第１音声処理期間において第１のフィルタ処理（フィルタ処理１）を行う（ステップＳ９０５）。

次に、タイミング制御部２１６は現在、第１の音声処理期間であるか否かを判定する（ステップＳ９０６）。第１の音声処理期間であると（ステップＳ９０６において、ＹＥＳ）、タイミング制御部２１６はステップＳ９０５の処理に戻って、フィルタ処理部２１２によって第１のフィルタ処理を行う。

一方、第１の音声処理期間でないと（ステップＳ９０６において、ＮＯ）、つまり、第１の音声処理期間が終了したと判定されると、フィルタ制御部２１５は動作音記憶部２１３に予め記録された動作音レベルＬＦｓｍと第１の音声処理期間における音声入力レベルＬｐとを比較する。そして、フィルタ制御部２１５は、その比較結果に応じて動作音記憶部２１３に記録された残響音情報（残響音レベル）を更新する。

例えば、残響音レベルをＬＦｍ、直前の環境音レベルをＬｐ、更新後の残響音レベルをＬＦｍ２とした際には、フィルタ制御部２１５は、更新後の残響音レベルＬＦｍ２は、ＬＦｍ２＝Ｌｐ／ＬＦｍｓ×ＬＦｍとして算出する。

続いて、フィルタ制御部２１５は更新後の残響音レベルＬＦｍ２とＮＤフィルタの動作直前における音声入力（環境音）レベル検出Ｌｐとを比較して、Ｌｐ＞ＬＦｍ２であるか否かを判定する（ステップＳ９０８）。

なお、ステップＳ９０２において、Ｌｐ＞ＬＦｓｍであると（ステップＳ９０２において、ＹＥＳ）、フィルタ制御部２１５はユーザに動作音が聞こえないと判定する。そして、フィルタ制御部２１５は、第１の音声処理期間においてはフィルタ処理を行わないと決定する（ステップＳ９０７）。そして、フィルタ制御部２１５はステップＳ９０８の処理に進む。

Ｌｐ≦ＬＦｍ２であると（ステップＳ９０８において、ＮＯ）、フィルタ制御部２１５は第２の音声処理期間を変更する（ステップＳ９０９）。そして、フィルタ制御部２１５は、フィルタ処理部２１２で行われるフィルタ制御に係るフィルタ制御情報（周波数制御情報）を第２のフィルタ情報として設定する（ステップＳ９１０）。これによって、フィルタ処理部２１２は、フィルタ制御部２１５によって設定された第２のフィルタ情報に基づいて第２のフィルタ処理（フィルタ処理２）を行う（ステップＳ９１１）。

なお、衝突音レベル（動作音レベル）をＬＦｍｓ、残響音レベルをＬＦｍ、残響音の期間をＴｍ、第２の音声処理期間をＴ、ＮＤフィルタ動作直前の環境音レベルをＬｐ、そして、検出された衝突音レベルをＬＦｓとする。この際、Ｔ＝ＬＦｓ／ＬＦｍｓ×ＬＦｍ／Ｌｐ×Ｔｍとして比例演算で補正を行うようにしてもよい。

また、第２の音声処理期間におけるフィルタゲインＧを、動作音記憶部２１３に記録された残響音のゲインダウンＧｍとした際には、Ｇ＝ＬＦｓ／ＬＦｍｓ×ＬＦｍ／Ｌｐ×Ｇｍとして求めることができる。

続いて、タイミング制御部２１６は、第２の音声処理期間が経過したか否かを判定する（ステップＳ９１２）。第２の音声処理期間が経過しないと（ステップＳ９１２において、ＹＥＳ）、タイミング制御部２１６は、前述の所定の時間が経過したか否かを判定する（ステップＳ９１３）。

フィルタ更新時間△Ｔを所定の時間として当該所定の時間が経過すると（ステップＳ９１３において、ＹＥＳ）、タイミング制御部２１６はステップＳ９１０の処理に戻ってフィルタ制御部２１５にフィルタ制御情報の更新（再設定）を指示する。

一方、所定の時間が経過しないと（ステップＳ９１３において、ＮＯ）、タイミング制御部２１６は、ステップＳ９１１の処理に戻って、フィルタ処理部２１２によるフィルタ処理を継続する。第２の音声処理期間が終了すると（ステップＳ９１２において、ＮＯ）、フィルタ制御部２１５はノイズ低減処理を終了する。

なお、Ｌｐ＞ＬＦｍ２であると（ステップＳ９０８において、ＹＥＳ）、フィルタ制御部２１５はユーザに残響音が聞こえないと判定する。そして、フィルタ制御部２１５は、第２の音声処理期間においてフィルタ処理を行わないと決定する（ステップＳ９１４）。そして、フィルタ制御部２１５はノイズ低減処理を終了する。

図１１は、本発明の第３の実施形態において可動部の１つであるＮＤフィルタを駆動した際の音声処理の一例を説明するための図である。

いま、タイミング制御部２１６からレベル検出部２１４に、時刻Ｔｐにおいてレベル検出指示信号１００２ａが与えられた後、制御部１０９から露出制御部２０５にＮＤ開信号１００１が与えられたとする。さらに、タイミング制御部２１６からレベル検出部２１４に、時刻Ｔｓにおいてレベル検出指示信号１００２ｂが与えられる。この際、ＮＤフィルタを駆動した際の音声信号レベルが参照番号１００３で示されている。そして、フィルタ制御部２１５は参照番号１００４で示す第２の音声処理期間を設定したとする。

動作音記憶部２１３にＮＤフィルタ動作の際の残響音Ｆ１のレベルおよび動作音ＦＳ１のレベルが記録されているとする。そして、レベル検出部２１４によって動作音ＦＳ２のレベルが検出され、フィルタ制御部２１５によって動作音ＦＳ１およびＦＳ２のレベルに応じて残響音Ｆ２のレベルが算出されたとする。

図示のように、時刻Ｔｐで入力音声レベルが検出され、時刻ＴｓでＮＤフィルタの動作音が発生して、動作音の収束にともに時刻Ｔ０で残響音が聞こえ始める。なお、動作音記憶部２１３に予め記録された残響音レベルＦ１の期間は時刻Ｔ０〜Ｔ６である。

時刻（タイミング）Ｔｓにおいて、レベル検出部２１４は音声入力レベルＬＦｓ２を検出する。フィルタ制御部２１５は、音声入力レベルＬＦｓ２と動作音記憶部２１３に記録された動作音レベルＬＦｓ１に応じて反響音Ｆ２のレベルＬＦｍ２と反響時間Ｔを算出する。反響音Ｆ２の反響時間Ｔは、タイミングＴ０〜Ｔ７であると算出される。

次に、フィルタ制御部２１５は、前述のＬｐとＬＦｍ２とを比較し、タイミングＴ０〜Ｔ８の期間が残響音の発生期間Ｔ（つまり、第２の音声処理期間）であると決定する。そして、フィルタ制御部２１５は当該第２の音声処理期間をタイミング制御部２１６に送って、タイミング制御部２１６は、この第２の音声処理期間に応じてフィルタ処理部２１２によるフィルタ処理を行う。

このように、本発明の第３の実施形態では、残響音が生じる動作の開始後における音声入力レベルに応じて、第２の音声処理期間を変更する。これによって、残響音がユーザに聞こえる期間に合わせて音声処理を行って、残響音などの雑音処理が必要な期間においてのみ音声処理を行えばことになる。

さらに、検出した音声入力レベルに応じて、残響音を低減処理するゲインを変更するようにしたので、より精度よくフィルタ処理を行うことができる。

また、時間の経過につれてフィルタ処理部に設定するフィルタ特性（つまり、フィルタ情報）を変更するようにしたので、動作音に適したノイズ低減処理を行うことができる。

［第４の実施形態］
次に、本発明の第４の実施形態による音声処理装置を備えるカメラの一例について説明する。なお、第４の実施形態に係るカメラの構成は図１に示すカメラと同様である。

図１２は、本発明の第４の実施形態に係るカメラにおける撮像部および音声入力部の構成を詳細に示すブロック図である。なお、図１２において、撮像部１０１の構成は図２に示す撮像部と同様であるので、ここでは説明を省略する。

図示の音声入力部１０２は、マイク（ＭＩＣ）２１７、Ａ／Ｄ変換部２１１、フィルタ処理部２１２、オートレベルコントローラ（ＡＬＣ）２１９、音声処理部２２０、タイミング制御部２１６、および周波数変更部２１８を有している。

図２に関連して説明したように、マイク２１７の出力であるアナログ音声信号は、Ａ／Ｄ変換部２１１でデジタル音声信号に変換されて、フィルタ処理部２１２に送られる。そして、フィルタ処理部２１２はデジタル音声信号に対して所定のフィルタ処理を行って、処理済み音声信号を出力する。

ＡＬＣ２１９は、処理済み音声信号の振幅を所定のレベルにコントロールして出力し、音声処理部２２０はＡＬＣ２１９の出力である音声信号に対して所定の処理を行って音声データとしてメモリ１０４に送る。タイミング制御部２１６は、制御部１０９の制御下でフィルタ処理のタイミングを決定する。そして、周波数変更部２１８はタイミング制御部２１５によって決定されたタイミングに基づいて、後述するようにフィルタ処理における中心周波数、帯域幅（周波数帯域幅）、およびゲインを制御する。

なお、タイミング制御部２１５によって決定されるタイミングおよびフィルタ処理における中心周波数、帯域幅、およびゲインなどのフィルタ係数はメモリ１０４に記憶されている。

図１３は、本発明の第４の実施形態に係るカメラにおいて動画撮影を行う際のノイズ低減処理を説明するためのフローチャートである。なお、ここでは、一例として機構系の１つであるＮＤフィルタ駆動の際のノイズ低減処理について説明する。

ユーザが操作部１１０に備えられた記録ボタンを操作すると、操作部１１０から動画撮影開始指示信号が制御部１０９に送られる。動画撮影開始指示信号に応答して、制御部１０９は動画撮影を開始する。動画撮影が開始されると、制御部１０９は機構系を駆動するか否かを判定する（ステップＳ１３０１）。

なお、ここでは、制御部１０９は、画像処理部２０４から入力される画像データにおいて被写体輝度が予め設定されたＮＤ開閉輝度閾値を超えたか否かを判定する。そして、被写体輝度がＮＤ開閉輝度閾値を超えると、制御部１０９は機構系の１つであるＮＤフィルタを駆動する。つまり、制御部１０９は被写体輝度に応じてＮＤフィルタを駆動するか否かを判定することになる。

機構系の１つであるＮＤフィルタを駆動すると判定すると、制御部１０９は当該駆動によって動作音に残響音が伴うか否かを判定する（ステップＳ１３０２）。ＮＤフィルタの駆動は残響音を伴うので（ステップＳ１３０２において、ＹＥＳ）、制御部１０９は周波数変更部２１８に対して第３のフィルタ処理（フィルタ処理Ａ）を行うことを指示する。

さらに、制御部１０９はタイミング制御部２１６に対してＮＤフィルタの駆動を行う旨の通知を行う。これによって、タイミング制御部２１６は周波数変更部２１８に対して音声処理開始を指示する。

図１４は、本発明の第４の実施形態に係るカメラにおいてＮＤフィルタを駆動する際に発生する動作音および残響音の波形とフィルタ波形とを説明するための図である。

図１４において、制御部１０９はＮＤフィルタを駆動する際、露出制御部２０５に対して制御信号（つまり、駆動信号）１４０１を送る。いま、ＮＤフィルタ駆動の際に参照符号１４０２で示す動作音（衝突音）と残響音が発生したとする。そして、ここでは、時刻ｔ１〜ｔｎで規定された音声処理期間１４０３において音声処理が行われる。

図示の例では、時刻（タイミング）ｔ１〜ｔ４に対応してＮＤフィルタ駆動によって周波数特性１４１１〜１４１４で示す動作音および残響音が発生する。そして、フィルタ処理部２１２において行われるフィルタ処理においては、タイミングｔ１〜ｔ４においてそれぞれフィルタ帯域幅１４２１〜１４２４が設定される。

なお、ここでは、フィルタ処理部２１２は３つのノッチフィルタｆ１〜ｆ３を備え、フィルタｆ１〜ｆ３の帯域幅設定値をそれぞれｂ１、ｂ２、およびｂ３とする。そして、これら帯域幅設定値ｂ１〜ｂ３はメモリ１０４に予め記録されており、例えば、タイミングｔ１〜ｔ４において帯域幅設定値ｂ１〜ｂ３は異なる。

タイミング制御部２１６の制御下で、タイミングｔ１において周波数変更部２１８はフィルタｆ１〜ｆ３に対応する帯域幅設定値ｂ１〜ｂ３をメモリ１０４から読み出す（ステップＳ１３０３）。そして、周波数変更部２１８はフィルタｆ１〜ｆ３のフィルタ帯域幅を変更する（ステップＳ１３０４）。その後、フィルタ処理部２１２は、デジタル音声信号に対してフィルタ処理Ａを行う（ステップＳ１３０５）。

続いて、タイミング制御部２１６は、所定の時間が経過したか否かを判定する（ステップＳ１３０６）。ここでは、この所定の時間は時刻ｔｍ（ｍは２〜ｎまでのいずれかの整数）となるまでの時間である。所定の時間が経過しないと（ステップＳ１３０６において、ＮＯ）、タイミング制御部２１６は、ステップＳ１３０３の処理に戻る。

所定の時間が経過すると（ステップＳ１３０６において、ＹＥＳ）、つまり、タイミングｔ２になると、タイミング制御部２１５は周波数変更部２１６に次の制御を行うように指示する。これによって、周波数変更部２１６はタイミングｔ２における帯域幅設定値ｂ１〜ｂ３をメモリ１０４から読み出して、フィルタｆ１〜ｆ３の帯域幅設定値を更新する。

上記のステップＳ１３０３〜Ｓ１３０６の処理は音声処理期間が終了するまで行われる。この際には、ステップＳ１３０６で所定の時間が経過すると、次にタイミングｔ３における帯域幅設定値によってフィルタｆ１〜Ｆ３の帯域幅設定値が更新される。このようにして、所定の時間が経過する都度、帯域幅設定値が更新されることになる。この結果、タイミングｔ１〜ｔ４については、図１４に示すフィルタ帯域幅４２１〜４２４が設定されることになる。つまり、図１４に示すように、帯域幅設定値は時刻の経過にされて徐々に狭められる。

音声処理期間が終了すると、タイミング制御部２１６の制御下で、周波数変更部２１８はフィルタ帯域幅設定値を通常の動画撮影の際の設定値に更新して、フィルタ処理を終了する（ステップＳ１３０７）。

続いて、制御部１０９は操作部１１０に備えられた記録ボタンの操作によって撮影終了指示があったか否かを判定する（ステップＳ１３０８）。撮影終了指示がないと（ステップＳ１３０８において、ＮＯ）、制御部１０９はステップＳ１３０１の処理に戻る。一方、撮影終了指示があると（ステップＳ１３０８において、ＹＥＳ）、制御部１０９は動画撮影を終了する。

ステップＳ１３０２において、機構系の駆動が残響音を伴わないと（ステップＳ１３０２において、ＮＯ）、制御部１０９は周波数変更部２１８に対して第４のフィルタ処理（フィルタ処理Ｂ）を行うことを指示する（ステップＳ１３０９）。この第４のフィルタ処理は、駆動部（つまり、機構系）毎に予め定められたフィルタ処理を一定の期間行う処理である。そして、ステップＳ１３０９の処理に続いてステップＳ１３０７の処理が行われる。

なお、フィルタ処理部２１２に備えられたフィルタに設定する帯域幅設定値は、全てのフィルタについて同一とするようにしてもよく、フィルタ毎に異なる設定値とするようにしてしてもよい。

また、周波数変更部２１８は予め設定した時刻ｔ１〜ｔｎ毎に帯域幅設定値を更新するが、時刻ｔ１〜ｔｎの間隔は同一でもよいし、例えば、予めタイミングｔ１〜ｔｎをメモリに記録して、当該タイミングに応じて帯域幅設定値を更新するようにしてもよい。

上述の例では、時刻の経過につれて帯域幅設定値を変更するようにしたが、帯域幅設定値のみではなく、例えば、フィルタの中心周波数又はゲインも変更するようにしてもよい。さらに、音声処理期間中において、フィルタをオン状態とするようにしてもよいが、途中でオフとするようにしてもよい。

また、上述の例では、フィルタ処理部２１２を構成するノッチフィルタは３つとしたが、フィルタは１つ以上であればよい。さらには、ノッチフィルタの代わりに、例えば、コムフィルタなどを用いるようにしてもよい。

このように、本発明の第４の実施形態では、機構系の動作に起因して生じる雑音の周波数変化に応じて、フィルタ帯域幅を変更するようにしたので、動画音声に記録される残音を精度よく低減することができる。

［第５の実施形態］
次に、本発明の第５の実施形態による音声処理装置を備えるカメラの一例について説明する。

なお、第５の実施形態に係るカメラの構成は図１に示すカメラと同様である。また、第５の実施形態に係るカメラに備えられた撮像部および音声入力部の構成は、図１２に示す撮像部および音声入力部と同様であるが、第５の実施形態では周波数変更部２１８の代わりにゲイン変更部が備えられている。

図１５は、本発明の第５の実施形態に係るカメラにおいて動画撮影を行う際のノイズ低減処理を説明するためのフローチャートである。なお、図示のフローチャートにおいて、図１３に示すフローチャート同一のステップについては同一の参照符号を付して説明を省略する。

図１３で説明したように、ステップＳ１３０２において、機構系（例えば、ＮＤフィルタ）の駆動に残響音を伴うと判定すると、制御部１０９はゲイン変更部に対して第５のフィルタ処理（フィルタ処理Ｃ）を行うことを指示する。そして、制御部１０９はタイミング制御部２１６に対してＮＤフィルタの駆動を行う旨の通知を行う。これによって、タイミング制御部２１６はゲイン変更部に対して音声処理開始を指示する。

図１６は、本発明の第５の実施形態に係るカメラにおいてＮＤフィルタを駆動する際に発生する動作音および残響音の波形とフィルタ波形とを説明するための図である。

図１６において、制御部１０９はＮＤフィルタを駆動する際、露出制御部２０５に対して駆動信号１６０１を送る。いま、ＮＤフィルタ駆動の際に参照符号１６０２で示す動作音（衝突音）と残響音が発生したとする。そして、ここでは、時刻ｔ１〜ｔｎで規定された音声処理期間１６０３において音声処理が行われる。

図示の例では、時刻（タイミング）ｔ１〜ｔ４に対応してＮＤフィルタ駆動によって周波数特性１６１１〜１６１４で示す動作音および残響音が発生する。そして、フィルタ処理部２１２において行われるフィルタ処理においては、タイミングｔ１〜ｔ４においてそれぞれフィルタゲイン１６２１〜１６２４が設定される。

なお、ここでは、フィルタ処理部２１２は複数のノッチフィルタｆ１〜ｆｎを備え、フィルタｆ１〜ｆｎのゲイン設定値をそれぞれｇ１〜ｇｎとする。そして、これらゲイン設定値ｇ１〜ｇｎはメモリ１０４に予め記録されている。

ステップＳ１３０３において、タイミング制御部２１６の制御下で、タイミングｔ１においてゲイン変更部はフィルタに対応するゲイン設定値をメモリ１０４から読み出す。そして、周波数変更部２１８はフィルタのゲインを変更する（ステップＳ１５０１）。その後、フィルタ処理部２１２は、デジタル音声信号に対してフィルタ処理Ｃを行う（ステップＳ１５０２）。このフィルタ処理Ｃは残響音を伴う音声信号に係る処理である。

その後、タイミング制御部２１６は、ステップＳ１３０６において所定の時間が経過したか否かを判定することになる。そして、所定の時間が経過すると、つまり、タイミングｔ２になると、タイミング制御部２１５はゲイン変更部に次の制御を行うように指示する。これによって、ゲイン変更部はタイミングｔ２におけるケイン設定値をメモリ１０４から読み出して、フィルタのゲイン設定値を更新する。

上記のステップＳ１３０３、Ｓ１５０１、Ｓ１５０２、およびＳ１３０６の処理は音声処理期間が終了するまで行われる。この際には、ステップＳ１３０６で所定の時間が経過すると、次にタイミングｔ３におけるゲイン設定値によってフィルタのゲイン設定値が更新される。このようにして、所定の時間が経過する都度、ゲイン設定値が更新されることになる。この結果、タイミングｔ１〜ｔ４については、図１４に示すようにゲイン１６２１〜１６２４が設定されることになる。

ステップＳ１３０２において、機構系の駆動が残響音を伴わないと、制御部１０９はゲイン変更部に対して第６のフィルタ処理（フィルタ処理Ｄ）を行うことを指示する（ステップＳ１５０３）。この第６のフィルタ処理は、駆動部（つまり、機構系）毎に予め定められたフィルタ処理を一定の期間行う処理である。そして、ステップＳ１５０３の処理に続いてステップＳ１３０７の処理が行われる。

ところで、第５の実施形態に係るカメラでは、例えば、ゲイン設定を次のようにして行う。図１６を参照すると、タイミングｔ１においてはフィルタｆ１〜ｆ３のゲインをオンとする（参照番号１６２１を参照）。そして、タイミングｔ２において、フィルタｆ１〜ｆ３のゲインｇ１〜ｇ３をオフとして、フィルタｆ１〜ｆ３よりも帯域幅の狭いフィルタｆ４〜ｆ６のゲインをオンする（参照番号１６２２を参照）。

続いて、タイミングｔ３において、フィルタｆ４〜ｆ６のゲインを下げる（参照番号１６２３を参照）。そして、タイミングｔ４において、フィルタｆ４のゲインをオフ（つまり、ゼロ）として、フィルタｆ５およびｆ６のゲインを下げる（参照番号１６２４を参照）。

以後、予め定められたタイミングで徐々にフィルタｆ５およびｆ６のゲインを下げる。そして、音声処理期間が終了するとフィルタのゲイン設定値を通常の動画撮影の際の設定に更新する。なお、図１６に示す例は、フィルタ処理部２１２がノッチフィルタを６つ（ｎ＝６）備える場合の例である。

なお、設定するゲインは時間の経過つれて上げるようにしてもよく、さらには下げるようにしてもよい。ここでは、ゲイン設定値を変更する場合について説明したが、ゲインのみでなく、例えば、フィルタの中心周波数又は帯域幅をともに変更するようにしてもよい。

また、上述の例では、フィルタ処理部２１２がノッチフィルタを備える場合について説明したが、ノッチフィルタの代わりに、例えば、コムフィルタなどを用いるようにしてもよい。

このように、本発明の第５の実施形態では、機構系の動作に起因して生じる雑音について時間の経過に応じて、フィルタゲインを変更するようにしたので、動画音声に記録される残音を精度よく低減することができる。

以上のように、本発明の実施の形態では、音声レベルに応じて決定された音声処理期間において時間の経過に応じてフィルタ係数を変更制御する。これによって、録音すべき音声信号の劣化を抑止しつつ、動作音および残響音をその周波数およびそのレベルの変化に応じて効果的に低減することができる。

上述の説明から明らかなように、図２又は図１２に示す例においては、制御部１０９、フィルタ制御部２１５、およびタイミング制御部２１６が設定手段およびフィルタ制御手段として機能する。また、制御部１０９、タイミング制御部２１６、および周波数変更部２１８が設定手段およびフィルタ制御手段として機能する。さらに、マイク２１７およびＡ／Ｄ変換部２１１が集音手段として機能する。

なお、少なくとも制御部１０９および音声入力部１０２が音声処理装置を構成することになる。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を音声処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを音声処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

上記の制御方法および制御プログラムの各々は、少なくとも設定ステップ、フィルタ処理ステップ、およびフィルタ制御ステップを有している。

また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵなど）がプログラムを読み出して実行する処理である。

１０１ 撮像部
１０２ 音声入力部
１０４ メモリ
１０９ 制御部
２０２ 露出制御機構
２０５ 露出制御部
２１２ フィルタ処理部
２１４ レベル検出部
２１５ フィルタ制御部
２１６ タイミング制御部

Claims (15)

1. 動作に伴って動作音を発生する駆動部を備え、音声信号が入力されて当該音声信号に対して所定の処理を施して音声データを生成する際、前記駆動部の動作音および当該動作音に起因する残響音を抑制する音声処理装置であって、
   前記音声信号のレベルに応じて前記音声信号を処理する音声処理期間を設定する設定手段と、
   前記音声処理期間において前記音声信号をフィルタリング処理して前記動作音および前記残響音を低減処理するフィルタ処理手段と、
   前記音声処理期間において時間の経過につれて前記フィルタ処理手段におけるフィルタ係数を変更制御するフィルタ制御手段と、
   を有することを特徴とする音声処理装置。
2. 前記駆動部が動作した際の動作音のレベルが動作音レベルとして予め記録された動作音記憶手段と、
   前記音声信号のレベルを音声レベルとして検出するレベル検出手段とを備え、
   前記フィルタ制御手段は、前記動作音レベルと前記音声レベルとを比較して、当該比較結果に応じて前記フィルタ係数である中心周波数、帯域幅、およびゲインと前記音声処理期間の少なくとも一つを変更制御すること特徴とする請求項１に記載の音声処理装置。
3. 前記設定手段は、前記駆動部が動作する直前において前記レベル検出手段で検出された音声レベルに応じて前記音声処理期間を設定することを特徴とする請求項２に記載の音声処理装置。
4. 前記設定手段は、前記駆動部が動作した直後において前記レベル検出手段で検出された音声レベルに応じて前記音声処理期間を設定することを特徴とする請求項２に記載の音声処理装置。
5. 前記フィルタ制御手段は、前記駆動部が動作する直前の音声レベルと前記駆動部が動作した直後における音声レベルとを比較して、当該比較結果に応じて前記残響音をフィルタ処理する際のフィルタ係数を変更することを特徴とする請求項１〜４のいずれか１項に記載の音声処理装置。
6. 前記フィルタ制御手段は、前記音声処理期間において時間の経過に応じて前記フィルタ処理手段に設定するフィルタ係数である周波数帯域幅を変更することを特徴とする請求項１に記載の音声処理装置。
7. 前記フィルタ制御手段は、前記時間の経過に応じて前記周波数帯域幅を狭くすることを特徴とする請求項６に記載の音声処理装置。
8. 前記フィルタ処理手段は、前記音声処理期間において時間の経過に応じて前記フィルタ処理手段に設定するフィルタ係数であるフィルタゲインを変更することを特徴とする請求項１に記載の音声処理装置。
9. 前記フィルタ処理手段は、前記音声処理期間において時間の経過に応じて前記フィルタ処理手段に設定するフィルタ係数である中心周波数、周波数帯域幅、およびフィルタゲインの少なくとも一つを変更することを特徴とする請求項１に記載の音声処理装置。
10. 被写体を撮像して画像データを得る撮像手段と、
    環境音を集音して音声信号を得る集音手段と、
    請求項１〜９のいずれか１項に記載の音声処理装置とを有し、
    前記駆動部は前記撮像手段に備えられていることを特徴とする撮像装置。
11. 前記駆動部はレンズ駆動機構又は前記レンズ駆動機構を操作する操作部であることを特徴とする請求項１０に記載の撮像装置。
12. 前記駆動部は、前記撮像手段に備えられた絞り又はＮＤフィルタを有する露出制御機構であることを特徴とする請求項１０に記載の撮像装置。
13. 前記撮像手段の出力である画像データにおいて被写体の輝度が所定の輝度閾値を超えると前記露出制御機構による露出制御を行う露出制御手段を備え、
    前記フィルタ制御手段は、前記露出制御手段によって前記露出制御機構が駆動されると、前記音声処理期間で時間の経過に応じて前記フィルタ係数を制御することを特徴とする請求項１２に記載の撮像装置。
14. 動作に伴って動作音を発生する駆動部を備え、音声信号が入力されて当該音声信号に対して所定の処理を施して音声データを生成する際、前記駆動部の動作音および当該動作音に起因する残響音を抑制する音声処理装置の制御方法であって、
    前記音声信号のレベルに応じて前記音声信号を処理する音声処理期間を設定する設定ステップと、
    前記音声処理期間において前記音声信号をフィルタリング処理して前記動作音および前記残響音を低減処理するフィルタ処理ステップと、
    前記音声処理期間において時間の経過につれて前記フィルタ処理ステップにおけるフィルタ係数を変更制御するフィルタ制御ステップと、
    を有することを特徴とする制御方法。
15. 動作に伴って動作音を発生する駆動部を備え、音声信号が入力されて当該音声信号に対して所定の処理を施して音声データを生成する際、前記駆動部の動作音および当該動作音に起因する残響音を抑制する音声処理装置で用いられる制御プログラムであって、
    前記音声処理装置が備えるコンピュータに、
    前記音声信号のレベルに応じて前記音声信号を処理する音声処理期間を設定する設定ステップと、
    前記音声処理期間において前記音声信号をフィルタリング処理して前記動作音および前記残響音を低減処理するフィルタ処理ステップと、
    前記音声処理期間において時間の経過につれて前記フィルタ処理ステップにおけるフィルタ係数を変更制御するフィルタ制御ステップと、
    を実行させることを特徴とする制御プログラム。