JP2011205526A - 撮像装置及び方法、並びにプログラム - Google Patents

Abstract

【課題】レンズデバイスの経年変化や個体間のばらつきを考慮してノイズの低減処理を実行することで、ノイズの低減効果を向上させることができるようにする。
【解決手段】 光学ブロックは、ズームレンズとズーム駆動機構とを少なくとも含み、被写体を撮像して被写体の画像データを出力する。ノイズテーブル１４１には、開始位置と終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、ズームパターン毎にノイズが実測され、実測されたノイズのデータをノイズパターンとして保持する。キャリブレーション処理部１２４は、更新対象のノイズパターンを選択し、更新対象のノイズパターンに対応するズームパターンに従ってズームレンズを駆動させ、そのときに発したノイズを実測して、実測されたノイズのデータを用いてキャリブレーション処理を実行する。本発明は、デジタルビデオカメラに適用することができる。
【選択図】図３

Description

本発明は、撮像装置及び方法、並びにプログラムに関し、特に、レンズデバイスの経年変化や個体間のばらつきを考慮してノイズの低減処理を実行することで、ノイズの低減効果を向上させることができるようにした、撮像装置及び方法、並びにプログラムに関する。

一般的に、デジタルカメラは、動被写体を撮像して、その結果得られる動画像のデータを記録する場合、被写体の周囲の音声のデータも併せて記録することができる。なお、このような被写体の周囲の音声のように、記録の目的となる音声を、以下、「目的音」と称する。また、デジタルカメラは、レンズを移動させることで、撮像中に動被写体をフォーカスしたりズームすることができる。

しかしながら、レンズの移動中にデジタルカメラから発生する音声、例えば、レンズを駆動するズーム駆動機構やフォーカス駆動機構といったレンズデバイスの駆動音が、ノイズとして目的音に重畳されてしまう。

このため、従来から、このようなノイズを低減させることが望まれている。このための従来の手法として、「スペクトルサブトラクション法」と称される手法が知られている。（例えば、特許文献１，２参照）。

スペクトルサブトラクション法とは、次のような手法をいう。

すなわち、測定用のデジタルカメラを用いて、レンズの複数の移動パターンについて、各移動パターン毎に、予めノイズが測定され、測定されたノイズに対してFFT（Fast Fourier Transform：高速フーリエ変換処理）が施され、その結果得られる周波数領域のデータが所定のテーブルに格納される。ここで、ノイズの周波数領域のデータを、以下、「ノイズパターン」と称する。レンズの各移動パターン毎のノイズパターンを格納するテーブルを、以下、「ノイズテーブル」と称する。

このような測定用の別のデジタルカメラを用いて生成されたノイズテーブルが、デジタルカメラのメモリに記録された後、当該デジタルカメラは出荷される。このようなデジタルカメラが、レンズの移動中に目的音を入力しようとすると、ノイズも併せて入力することになる。デジタルカメラは、このようにして、目的音にノイズが重畳された音声のデータを入力すると、重畳されたノイズに対応するノイズパターンをノイズテーブルから取得する。次に、デジタルカメラは、周波数領域で、入力した音声のデータから、取得したノイズパターンを減算することで、ノイズが低減された目的音のデータを抽出する。

特開２００５−２２８４００号公報 特開平０８−２２１０９２号公報

しかしながら、従来のスペクトルサブトラクション法では、ノイズテーブルに格納するノイズパターンは、基準となるデジタルカメラを用いて過去の所定の時点で生成されたものである。一方、このようなノイズパターンが減算される音声のデータは、基準となるデジタルカメラとは別の個々のデジタルカメラが操作時点で入力したものであり、ノイズの発生源であるレンズデバイスの経年変化に伴い変化した駆動音や、個体間のばらつきに伴う駆動音、すなわち基準のデジタルカメラの駆動音とは異なる駆動音が重畳された目的音のデータである。

したがって、デジタルカメラが、操作時点で入力した音声の周波数領域のデータから、基準の別のデジタルカメラを用いて過去に生成したノイズパターンを減算したとしても、デバイスの経年変化に伴い変化した駆動音や、個体間のばらつきによりそもそも異なるノイズ成分を低減することは困難である。

このように、従来、レンズデバイスの経年変化や個体間のばらつきは考慮されずに、ノイズの低減処理実行されていたため、十分なノイズ低減効果を得ることができなかった。

本発明は、このような状況に鑑みてなされたものであり、レンズデバイスの経年変化や個体間のばらつきを考慮してノイズの低減処理を実行することで、ノイズの低減効果を向上させることができるようにするものである。

本発明の一側面の撮像装置は、ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像手段と、前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持手段と、前記保持手段に保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンを選択し、前記ズーム駆動機構を制御して、前記更新対象のノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させ、そのときに発した前記ズーム駆動機構の駆動音を含むノイズを実測して、実測されたノイズのデータを用いて、更新対象の前記ノイズパターンを更新するキャリブレーション処理を実行するキャリブレーション処理手段とを備える。

外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理手段をさらに備えることができる。前記キャリブレーション処理手段は、前記ノイズパターンの更新の指示操作を受け付けると、複数の前記ノイズパターンの中から更新対象の前記ノイズパターンを選択して、前記キャリブレーション処理を開始させ、その後、前記指示操作を介在せずに自立的に前記キャリブレーション処理を実行するキャリブレーション実行手段と、前記キャリブレーション実行手段により前記キャリブレーション処理が開始されると、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させるズーム制御手段と、前記ズーム制御手段により前記ズームレンズが駆動されたときに前記入力音声データから出力された前記入力音声データを、前記実測されたノイズのデータとして用いて、更新用のノイズパターンを生成するノイズパターン生成手段とを備えることができる。前記キャリブレーション実行手段は、前記保持手段に保持されている更新対象の前記ノイズパターンを、前記ノイズパターン生成手段により生成された更新用の前記ノイズパターンに更新することができる。

前記キャリブレーション実行手段は、複数の前記ノイズパターンの全てを更新対象の前記ノイズパターンとしてそれぞれ選択し、前記ノイズパターン毎に、前記ズーム制御手段及び前記ノイズパターン生成手段の処理を繰り返し実行させることで、前記複数の前記ノイズパターンの各々に対する更新用の前記ノイズパターンを取得し、前記保持手段に保持されている複数の前記ノイズパターンの全てを、各々に対する更新用の前記ノイズパターンに更新することができる。

前記キャリブレーション実行手段は、複数の前記ノイズパターンの全てを更新対象の前記ノイズパターンとしてそれぞれ選択し、前記ズーム制御手段及び前記ノイズパターン生成手段の処理を制御することによって、前記ズームレンズを駆動範囲内の一端から他端まで連続して往復駆動させ、複数の前記ノイズパターンの各々に対応するズームパターンと等価の移動を前記ズームレンズがする毎に、前記ノイズパターン生成手段によって生成されたノイズパターンを、更新用のノイズパターンとして順次取得して、前記保持手段に保持されている複数の前記ノイズパターンの全てを、各々に対する更新用の前記ノイズパターンに更新することができる。

ユーザに情報を表示する表示手段をさらに備えることができる。前記キャリブレーション実行手段は、さらに、前記キャリブレーションの実行の提案を示す表示情報を前記表示手段に表示し、前記表示手段により前記表示情報が表示された前記ノイズパターンの更新の指示操作が前記ユーザによってなされたとき、前記指示操作を受け付けて、前記キャリブレーション処理を開始させることができる。

前記撮像手段は、フォーカスレンズと、前記フォーカスレンズ駆動機構とをさらに含むことができ、前記保持手段は、さらに、前記フォーカス駆動機構の駆動音が含まれるノイズのデータのノイズパターンを保持することができる。

本発明の一側面の撮像方法及びプログラムは、上述した本発明の一側面の撮像装置に対応する方法及びプログラムである。

本発明の一側面の撮像装置及び方法並びにプログラムにおいては、ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とが少なくとも含まれ、被写体を撮像することによって前記被写体の画像データが出力される。前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータがノイズパターンとして保持される。保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンが選択され、前記ズーム駆動機構が制御されて、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズが駆動され、そのときに発した前記ズーム駆動機構の駆動音を含むノイズが実測されて、実測されたノイズのデータが用いられて、更新対象の前記ノイズパターンを更新するまでの一連の処理が、キャリブレーション処理として実行される。

以上のごとく、本発明によれば、レンズデバイスの経年変化や個体間のばらつきを考慮してノイズの低減処理を実行することで、ノイズの低減効果を向上させることができる。

本発明が適用される撮像装置の背面図である。 本発明が適用される撮像装置の内部構成例を示すブロック図である。 ズームノイズ低減処理を実行するソフトウエアの機能的構成例を示すブロック図である。 ズームノイズ低減部の機能的構成例を示すブロック図である。 ズームノイズ低減処理を説明する模式図である。 固定方式について説明する図である。 ノイズパターンの一例を示す図である。 音声データ加工処理の一例を説明するフローチャートである。 ユーザ操作について説明する図である。 キャリブレーション処理部の機能的構成例を示すブロック図である。 キャリブレーション処理の実行の指示操作について説明する図である。 キャリブレーション処理の一例を説明するフローチャートである。 自動キャリブレーション処理の一例を説明するフローチャートである。

[撮像装置の外観構成例]
図１は、本発明が適用される撮像装置１の背面図である。

ここで、撮像装置１の「背面」とは、正面と対向する面をいう。「正面」とは、撮像時に被写体の側に向けられる面、すなわちレンズが設けられている面をいう。また、以下、背面と正面とに垂直な面のうち、撮影時に上側に配置される面を「上面」と称する。

本実施形態では、図１に示されるように、撮像装置１は、デジタルカメラとして構成されている。図１に示されるように、撮像装置１の上面のうち、背面から見て右側には、画像のデータの記録指示を行う機能が割り当てられているシャッタキー１１が設けられている。すなわち、ユーザは、被写体の画像が撮像されている時に、シャッタキー１１を押下することで、撮像されている被写体の画像（以下、撮像画像と称する）のデータの記録を指示する。

本実施形態では、ユーザは、動画像のデータの記録を指示する場合、メニューキー１４を押下してメニュー画面を撮像装置１の表示部１８に表示させた上で、十字キー１５や決定キー１６を適宜操作することで、撮像装置１の動作モードとして動画記録モードを選択する。このようにして、動画記録モードが選択された状態で、ユーザによってシャッタキー１１が押下されと、撮像装置１は、動画像のデータの記録の処理を開始し、その後、シャッタキー１１が再度押下されると、動画像のデータの記録の処理を終了する。

撮像装置１の背面の右側の領域には、操作キーとして、図１中上側から順に、ズームキー１２、画面キー１３、メニューキー１４、十字キー１５、決定キー１６、及び表示切替キー１７が設けられている。

ズームキー１２には、撮像装置１が被写体を撮像している最中に、望遠（Tele）の指示（すなわち被写体の拡大指示）又は広角（Wide）の指示（すなわち被写体の縮小指示）を行う機能が割り当てられている。具体的には、ズームキー１２においては、「Ｔ」と印字された部分に対して望遠（Tele）の指示を行う機能が割り当てられており、「Ｗ」と印字された部分に対して広角（Wide）の指示を行う機能が割り当てられている。そこで、以下、ズームキー１２のうち、「Ｔ」と印字された部分を「Teleキー」と称し、「Ｗ」と印字された部分を「Wideキー」と称する。

ズームキー１２の下側の左側に設けられた画面キー１３には、後述する表示部１８の表示をオン／オフする指示を行う機能が割り当てられており、その右側に設けられたメニューキー１４には、メニュー画面を表示させる指示を行う機能が割り当てられている。

画面キー１３やメニューキー１４の下側に設けられた十字キー１５ａ乃至ｄには、次のような各種機能が割り当てられている。例えば、撮像装置１がフォーカス動作をする際に、表示部１８に表示された撮像画像に対して設定される複数の領域から焦点判定領域を選択する指示を行う機能が、十字キー１５ａ乃至ｄに割り当てられている。ここで、焦点判定領域とは、撮像装置１がフォーカス動作をする際に、焦点が合っているか否かの判定を行う領域をいう。

また、例えば、メニュー画面が表示されている際に、カーソルを上、右、下、または左に移動させる指示を行う機能が、十字キー１５ａ乃至ｄに割り当てられている。

十字キー１５ａ乃至ｄの中央に設けられた決定キー１６には、複数の項目を含むメニュー画面が表示されている際に、カーソルの配置位置に存在する項目を選択する指示を行う機能が割り当てられている。

従って、ユーザは、メニュー画面が表示されている状態で、十字キー１５ａ乃至ｄ、および決定キー１６のうち必要なキーを適宜押下操作することで、カーソルを所望の項目に移動させ、その項目を選択する指示を行うことができる。

例えば、複数のズーム駆動方式の各々を示す複数の項目が、メニュー画面に表示される場合がある。このような場合、ユーザは、十字キー１５ａ乃至ｄのうち任意の方向のキーを適宜押下操作して、所望のズーム駆動方式を示す項目にカーソルを配置させた後、決定キー１６を押下操作してその項目の選択を指示することで、その項目が示す所望のズーム駆動方式を選択することができる。なお、このようなズーム駆動方式として、次のような固定方式と連続方式がある。

固定方式とは、予め幾つかの種類のズーム倍率が固定されており、例えば等倍（１倍），１．４倍，２倍，３倍，４倍，５倍といった５種類の固定されたズーム倍率が用意されており、固定されたズーム倍率に従って、ズームレンズがズーム駆動機構によって駆動される方式をいう。

連続方式とは、ズーム倍率が下限値から上限値まで連続して変化するように、ズームレンズがズーム駆動機構によって駆動される方式をいう。このとき、ズームキー１２の可動範囲のうち、下限位置にはズーム倍率の下限値が予め対応付けられ、上限位置にはズーム倍率の上限値が予め対応付けられている。具体的には例えば、ズーム倍率の下限値は等倍（１倍）であり、ズーム倍率の上限値は５倍であるとする。この場合、例えば、ズームキー１２の可動範囲が１００等分された各々の位置に、ズーム倍率が１乃至５倍の範囲が１００等分された各々の値が対応付けられている。このように、連続方式を採用する場合には、ズーム倍率の各値はズームキー１２の可動範囲内でマッピングされている。なお、ズーム駆動方式の詳細については図６と図７を参照して後述する。

また、例えば、詳細については後述するが、本実施形態では、ズームレンズの移動の複数のパターン（すなわち後述するズームパターン）毎に、ズーム駆動機構の駆動音等がノイズとして実測され、当該ノイズの周波数領域のデータが、ノイズパターンとして予め記録されている。このノイズパターンを用いて、入力された音声にノイズとして含まれるズーム機構の駆動音等が低減される。しかしながら、ズーム駆動機構の駆動音等のノイズは、レンズデバイスの経年変化に伴って変化する場合がある。したがって、その場合、過去に生成されたノイズパターンにより示されるノイズと、操作時点に入力された音声に含まれるノイズとは異なるため、操作時点に入力された音声に含まれるノイズを十分に低減することは困難である。すなわち、時間が経過すると、ノイズの低減効果が低下してしまう場合がある。したがって、本実施形態では、撮像装置１は、ノイズパターンのキャリブレーション処理を適宜実行し、現在のノイズに対応するようにノイズパターンを更新することによって、ノイズの低減効果を維持するようにする。

このようなノイズパターンのキャリブレーション処理の実行を選択する項目を、メニュー画面に表示させることができる。選択項目が表示された場合、ユーザは、十字キー１５ａ乃至ｄのうち任意の方向のキーを適宜押下操作して、キャリブレーション処理の実行を選択する項目にカーソルを配置させた後、決定キー１６を押下操作してその項目の選択の指示を行うことができる。これにより、撮像装置１は、ノイズパターンのキャリブレーション処理を実行する。

このようなズーム駆動方式やキャリブレーション処理の実行を選択する際に操作される十字キー１５ａ乃至ｄの下側には、表示部１８の表示を切り替える指示を行う機能が割り当てられた表示切替キー１７が設けられている。

以上、撮像装置１に設けられる操作キーについて説明してきたが、上述した操作キーの配置位置や種類は例示である。すなわち、各種の操作キーの配置位置や種類は上述した例に特に限定されない。

撮像装置１の背面の左側の領域には、各種の画像を表示する表示部１８が設けられている。なお、表示部１８は、その画面上にタッチパネルを設け、タッチパネルによってユーザの操作を受け付けるようにしてもよい。

[撮像装置の内部構成例]
図２は、図１の撮像装置１の内部構成例を示すブロック図である。

撮像装置１は、カメラ部３１、カメラDSP（Digital Signal Processor）３２、SDRAM（Synchronous Dynamic Random Access Memory）３３、フォーカス判定部３４、制御部３５、操作部３６、表示制御部３７、表示部１８、外部インタフェース（外部I/F）３８、および記録部３９を備えている。

また、撮像装置１には、着脱可能な記録媒体４０が装着されている。記録媒体４０としては、半導体メモリを用いたいわゆるメモリカード、DVD（Digital Versatile Disc）やCD（Compact Disc）等の光記録媒体、磁気ディスクなどの種々の記録媒体を採用することができる。この記録媒体４０には、デジタルの画像信号（以下、画像データと称する）が所定の画像ファイルフォーマットに準拠して記録される。撮像装置１は、例えば被写体を撮像した結果得られる画像データをJPEG（Joint Photographic Experts Group）方式で圧縮符号化したのち、Exif(Exchange image file format)と称される画像ファイルフォーマットに準拠して、DCF(Design rule for Camera File system)規定に従って記録媒体４０に記録する。

カメラ部３１は、光学ブロック６１、撮像素子６２、前処理部６３、光学ブロック用ドライバ６４、タイミング信号生成部６５、および撮像素子ドライバ６６を備えている。

光学ブロック６１は、レンズ、ズーム駆動機構、フォーカス駆動機構、シャッタ駆動機構、絞り（アイリス）駆動機構などを備えている。

レンズとしては、フォーカスレンズやズームレンズが設けられている。フォーカスレンズは、撮像素子６２の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。

ズーム駆動機構は、光学ブロック用ドライバ６４の制御の下、ズームレンズを光軸方向に進退駆動する。ズームレンズが進退駆動されることで、焦点距離が変化して、すなわち撮影画角が変化して、画像内の被写体像が拡大又は縮小される。

フォーカス駆動機構は、光学ブロック用ドライバ６４の制御の下、フォーカスレンズを光軸方向に進退駆動する。フォーカスレンズが進退駆動されることで、焦点の調整が行われる。

シャッタ駆動機構は、光学ブロック用ドライバ６４の制御の下、例えばシャッタ羽根や、そのシャッタ羽根を開閉させる開閉機構を備えている。なお、電子シャッタで動作される場合、撮像素子６２には被写体からの光が常に入射され、その画像がスルー画像として表示部１８に表示される。シャッタキー１１が操作されたとき、その時点の撮像画像が取り込まれ、SDRAM３３、記録媒体４０に記録される。

絞り駆動機構は、光学ブロック用ドライバ６４の制御の下、撮像素子６２に入射される光束の光量を調節する。

撮像素子６２は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）型のセンサとして構成されている。撮像素子６２は、撮像素子ドライバ６６によって駆動されて、光学ブロック６１を介して撮像面上に結像された光学像の光電変換を行う。すなわち、撮像素子６２には、カメラ部３１のレンズからシャッタ駆動機構を介して被写体像が入射される。そこで、撮像素子６２は、一定時間毎に被写体像を光電変換（撮影）して画像信号を蓄積し、蓄積した画像信号をアナログ信号として、前処理部６３に出力する。

前処理部６３は、撮像素子６２から出力されたアナログの画像信号に対して、CDS（Correlated Double Sampling）処理を施す。これにより、アナログの画像信号から、リセットノイズ、1/f雑音、熱抵抗雑音等が除去されるので、当該アナログの画像信号のS/N(Signal/Noise)比を良好に保つことができる。また、前処理部６３は、AGC（Automatic Gain Control）処理を実行することによって、アナログの画像信号の利得を制御する。さらに、前処理部６３は、A/D（Analog/Digital）変換処理を行って、CDS処理やAGC処理が行われたアナログの画像信号をデジタルの画像信号、すなわち画像データに変換して、カメラDSP３２に出力する。

光学ブロック用ドライバ６４は、制御部３５の制御の下、光学ブロック駆動信号を生成して光学ブロック６１に出力することによって、光学ブロック６１の動作を制御する。

例えば、詳細については後述するが、ズームキー１２が押下操作されると、ズーム倍率の変更指示が、制御部３５から光学ブロック用ドライバ６４に対してなされる。ここで、所定のズーム倍率に対して、当該ズーム倍率に対応する焦点距離となるズームレンズの位置（以下、「ズーム倍率のズームレンズ位置」と称する）が予め決定されている。そこで、光学ブロック用ドライバ６４は、指示された変更後のズーム倍率のズームレンズ位置を示す光学ブロック駆動信号を生成して、光学ブロック６１のズーム駆動機構に出力する。すると、ズーム駆動機構は、光学ブロック駆動信号が示す変更後のズーム倍率のズームレンズ位置まで、ズームレンズを進退駆動する。

タイミング信号生成部６５は、制御部３５からの制御に応じてタイミング信号を生成する。撮像素子ドライバ６６は、タイミング信号生成部６５で生成されたタイミング信号に基づいて駆動信号を生成し、生成した駆動信号を撮像素子６２に出力することによって撮像素子６２を駆動する。

カメラDSP３２は、カメラ信号処理部７１、圧縮／伸張部７２、解像度変換部７３、およびSDRAMコントローラ７４等を有している。

カメラ信号処理部７１は、前処理部６３から出力されたデジタルの画像信号、すなわち画像データに対して、黒レベル補正処理、ホワイトバランス（ＷＢ）処理、γ補正処理、色補正処理等の各種画像処理を施す。以下、これらの画像処理をまとめて、カメラ信号処理と称する。カメラ信号処理後の画像データは、SDRAMコントローラ７４の制御によりSDRAM３３に一旦記憶される。

圧縮／伸張部７２は、制御部３５の制御の下、カメラ信号処理後の画像データをSDRAM３３から読み出して、例えばJPEG方式等に従って圧縮符号化処理を施す。圧縮符号化処理が施された画像データ（以下、圧縮符号化データと称する）は、SDRAM３３又は後述する記録媒体４０に記憶される。

圧縮／伸張部７２はまた、制御部３５の制御の下、圧縮符号化データをSDRAM３３又は後述する記録媒体４０から読み出して、例えばJPEG方式等に従って伸長復号化処理を施し、その結果得られる画像データを、解像度変換部７３に適宜供給する。

解像度変換部７３は、カメラ信号処理後の画像データや、圧縮／伸張部７２による伸張復号化処理の結果として得られた画像データに対して、解像度変換処理を施し、その結果、解像度が変換された画像データを制御部３５に出力する。

SDRAMコントローラ７４は、SDRAM３３に対して各種情報を記憶させ、SDRAM３３に記憶された各種情報の読み出しを制御する。

SDRAM３３は、カメラ信号処理後の画像データを一時的に記憶する。また、SDRAM３３は、各種画像処理に必要な情報や、画像表示用の画像データ等も記憶する。

フォーカス判定部３４は、制御部３５からの要求に応じて、撮像素子６２から出力されたアナログの画像信号のうち、撮像画像に対して設定される複数の領域の中から焦点判定領域として指示された領域の画像信号に基づいて、合焦度合いを算出し、その算出結果を制御部３５に通知する。

制御部３５は、例えばCPU(Central Processing Unit)８１、フラッシュROM（Read Only Memory）８２、RAM（Random Access Memory）８３、計時部８４が、システムバス８５を介して接続されている。また、システムバス８５には、フォーカス判定部３４、表示制御部３７、外部I/F３８、記録部３９が接続されている。

フラッシュROM８２は、CPU８１において実行する種々のプログラムや、各処理に必要とされるデータなどが記憶されている。本実施形態では、後述するノイズテーブル１４１はフラッシュROM８２に記録されている。

RAM８３は、CPU８１がプログラムを実行する際の作業領域や、処理の途中結果を一時的に記憶するなどの作業領域として使用される。また、計時部８４は、計時動作をすることによって、現在の年月日、現在の曜日、現在の時刻や撮像日時などを取得する。

CPU８１は、フラッシュROM８２に記憶されている種々のプログラムを実行することで、各種制御を実行する。

例えば、CPU８１は、ユーザ操作に応じた操作信号が操作部３６から供給されると、撮像装置１の動作がユーザ操作に応じた動作となるように、操作部３６からの操作信号に応じて各部の動作を制御する。

具体的には例えば、CPU８１は、表示制御部３７等を制御することで、表示部１８にスルー画像を表示させる。スルー画像とは、SDRAM３３に現在記憶されている画像データに対応する撮像画像であって、記録媒体４０に当該画像データが記録されていない場合にも表示部１８にリアルタイムに表示される画像である。このため、スルー画像は、ライブビュー画像とも称されている。スルー画像を見たユーザが、シャッタキー１１を押下操作すると、CPU８１は、記録指示がなされたと解釈して、スルー画像の画像データを記録媒体４０に記録させる制御を実行する。

また例えば、CPU８１は、いわゆるＡＦ（Auto Focus）制御を実行することもできる。

CPU８１は、表示制御部３７等を制御することで、スルー画像内の複数の領域を囲む枠を表示部１８に表示させることができる。ユーザは、操作部３６を操作することによって、これらの複数の枠のうち、焦点判定領域としたい領域の枠を選択する指示を行う。CPU８１は、この指示を受けて、焦点判定領域を特定し、焦点判定領域内の合焦度合いの通知をフォーカス判定部３４に要求する。

CPU８１は、フォーカス判定部３４からの合焦度合いの通知を受けると、光学ブロック制御信号を生成して、光学ブロック用ドライバ６４に出力する。

光学ブロック用ドライバ６４は、指示された合焦度合いを示す光学ブロック駆動信号を生成して、光学ブロック６１のフォーカス駆動機構に出力する。すると、フォーカス駆動機構は、光学ブロック駆動信号が示す合焦度合いになるまで、フォーカスレンズを進退駆動する。

さらにまた、CPU８１は、ズーム制御を実行することができる。ズーム制御の詳細については、図６を参照して後述する。

操作部３６は、図１を参照して説明した各種の操作キーを含むように構成されており、ユーザ操作に応じた操作信号を制御部３５のCPU８１に供給する。

表示制御部３７には、液晶表示素子等を用いて構成された表示部１８が接続されている。表示制御部３７は、制御部３５から供給された画像データに基づき表示駆動信号を生成して表示部１８に出力することで、表示部１８に当該画像データに基づく画像を表示させる。

外部I/F３８は、撮像装置１と、外部の各種機器、例えばコンピュータ装置や通信モジュールとを接続するためのインタフェースである。この外部I/F３８を利用することで、例えば、コンピュータ装置から各種情報の供給を受けて、これを装着された記録媒体４０に記録したり、装着された記録媒体４０に記録されている各種情報をコンピュータ装置に供給可能とする。また、通信モジュールを介してインターネットなどのネットワークに接続して、ネットワークを通じて種々の情報を取得して記録媒体４０に記録することが可能となる。さらに、記録媒体４０に記録されている各種情報を、ネットワークを通じて目的とする相手先に送信することが可能となる。なお、外部I/F３８は、IEEE(Institute of Electrical and Electronics Engineers)１３９４、USB(Universal Serial Bus)等の有線インタフェース、光や電波による無線インタフェースである。

記録部３９は、記録媒体４０に画像データや音声データ等の各種情報を記録したり、記録媒体４０に記録されている画像データや音声データ等の各種情報を読み出すためのインタフェースである。

音声処理部９２は、外部から入力される音声のデータを取得し、所定の処理を施して音声データとして出力する。マイクロホン９１によって入力された音声は、音声処理部９２によりA/D変換処理が施された後、音声データとしてCPU８１に供給される。CPU８１において後述するズームノイズ低減処理等が施された音声データは、例えば、記録部３９により記録媒体４０に記録される。逆に、記録媒体４０から読み出された音声データは、音声処理部９２によりA/D変換処理が施され、スピーカ９３に出力される。スピーカ９３は、音声処理部９２から供給された音声データに基づいて音声を出力する。

なお、点線枠に含まれる操作部３６、記録部３９、記録媒体４０、CPU８１、フラッシュROM８２、マイクロホン９１、音声処理部９２、およびスピーカ９３は、本実施の形態のノイズ低減処理に関わる主な構成要素である。

このように構成された撮像装置１は、例えば撮像を行う際に、ユーザが構図を決めることができるように、スルー画像を表示部１８に表示させる。スルー画像を見たユーザが、シャッタキー１１を押下操作すると、CPU８１は、記録指示がなされたと解釈して、スルー画像の画像データを記録媒体４０に記録させる制御を実行する。

ここで、撮像装置１の動作モードが動画記録モードになっている場合、所定時間間隔毎のスルー画像をフレーム画像として、複数のフレーム画像が所定の順番に配置されて構成される動画像のデータが、記録媒体４０に記録される。このとき、外部の音声（目的音）のデータもあわせて記録媒体４０に記録される。

また例えば、撮像装置１は、撮像中にいわゆるＡＦ制御を実行することもできる。すなわち、撮像装置１は、スルー画像内の複数の領域を囲むＡＦ枠を表示部１８に表示させる。ユーザは、操作部３６を操作することによって、これらの複数のＡＦ枠のうち、所望のＡＦ枠を選択する指示を行う。撮像装置１は、この指示を受けて、ユーザにより選択されたＡＦ枠を焦点判定領域として、焦点判定領域を用いて合焦度合いを算出する。そして、撮像装置１は、算出した合焦度合いに基づいて、フォーカスレンズを光軸方向に進退駆動することにより、フォーカスの調整を行う。

さらにまた、撮像装置１は、撮像中にいわゆるズーム制御を実行することができる。ユーザは、ズームキー１２を押下することによって、ズーム倍率の変更指示を行う。撮像装置１は、この変更指示に基づいて、変更後のズーム倍率のズームレンズ位置を特定し、特定したズームレンズ位置まで、ズームレンズを進退駆動する。

ここで、ズームレンズの進退駆動は、ズーム駆動機構の制御に基づいて行われる。従って、撮像装置１の動作モードが動画記録モードになっている場合、すなわち、音声のデータの記録媒体４０への記録が行われている場合にズーム制御が実行されると、ズーム駆動機構の駆動音等がノイズとして重畳された目的音がマイクロホン９１に入力される。このようなマイクロホン９１から入力されたノイズが重畳された目的音は、アナログの音声信号として音声処理部９２に入力され、音声データになる。

そこで、本実施形態では、撮像装置１は、このようなズーム制御時に取得された音声データに対しては、ノイズを低減する処理（以下、ズームノイズ低減処理と称する）を施した上で、記録媒体４０に記録する。

本実施形態では、ズームノイズ低減処理の内容は、ノイズが発生した時点のズーム制御の内容に応じて適宜変化する。より具体的には、ノイズが発生した時点のズーム制御の内容（すなわち後述するズーム倍率）に応じて、ズームノイズ低減処理に用いるノイズパターンが変化する。すなわち、撮像装置１は、ノイズが発生した時点のズーム制御の内容を認識し、その認識結果に応じてノイズパターンを選択し、選択したノイズパターンを用いてズームノイズ低減処理を実行する。このようなズームノイズ低減処理を含む一連の処理を、以下、「音声データ加工処理」と称する。音声データ加工処理の詳細については、図８を参照して後述する。

[ズームノイズ低減処理を実行するソフトウエアの機能的構成例]
図３は、図２のCPU８１が実行するソフトウエアの機能のうち、ズームノイズ低減処理を実行するソフトウエアの機能的構成例を示すブロック図である。

図３のCPU８１は、認識部１２１、ノイズパターン選択部１２２、ズームノイズ低減部１２３、およびキャリブレーション処理部１２４から構成される。

すなわち、本実施形態では、CPU８１は、所定のプログラムを実行することにより、認識部１２１、ノイズパターン選択部１２２、ズームノイズ低減部１２３、およびキャリブレーション処理部１２４の各機能を発揮させることができる。この場合、フラッシュROM８２やRAM８３に記憶されている種々のデータが適宜用いられる。

認識部１２１は、ズーム制御情報を取得することによりユーザが指示したズーム倍率を認識する。

ズーム制御情報とは、ユーザがズームキー１２を操作したときの各種状態に基づいて特定される情報であって、例えば本実施形態では、ズーム制御情報には、ユーザの操作に応じたズームの位置情報、ズームの方向情報、およびズームの速度情報が含まれる。

ズームの位置情報とは、少なくともズームの開始位置と終了位置とを特定可能な情報をいう。ズームの開始位置は、ユーザがズームキー１２の押下を開始した時点のズームレンズ位置である。従って、上述したように、ズーム倍率に応じてズームレンズ位置が決定されるので、開始時のズーム倍率が異なればズームの開始位置は異なる。例えば、ズーム倍率が２倍の状態から開始される場合のズームの開始位置と、ズーム倍率が４倍の状態から開始される場合のズームの開始位置とは異なる。ズームの終了位置は、ユーザがズームキー１２の押下を終了した時点（すなわち指等をズームキー１２から離した時点）のズームレンズ位置である。

ズームの方向情報とは、TeleからWideへの方向若しくはその反対の方向を示す情報であって、ズームキー１２を構成するTeleキーやWideキーが如何に押下されたのかによって特定可能な情報である。

ズームの速度情報とは、ズームレンズの駆動速度、すなわち、ズームレンズの単位時間当たりの移動量の情報であって、例えば、上述したズームの位置情報と、ユーザがズームキー１２を操作した時間とによって特定可能な情報である。なお、ズーム駆動速度は、ズーム倍率によって変化する場合がある。

また、認識部１２１は、ユーザが操作部３６の十字キー１５や決定キー１６等を操作してメニュー画面から選択した項目を認識し、認識した項目に基づいて、ユーザの指示内容を認識する。

例えば、ズーム駆動方式を示す項目、すなわち、固定方式を示す第１項目と、連続方式を示す第２項目がメニュー画面に表示されているとする。この場合、第１項目が選択された時には、認識部１２１は、ユーザがメニュー画面からズーム駆動方式として固定方式を選択したと認識する。一方、第２項目が選択された時には、認識部１２１は、ユーザがメニュー画面からズーム駆動方式として連続方式を選択したと認識する。

ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、現在のズーム制御のズームパターンを認識し、認識したズーム制御のズームパターンに該当するノイズパターンを、フラッシュROM８２に記録されている保持手段としてのノイズテーブル１４１から選択する。

すなわち、ズーム制御とは、第１のズーム倍率のズームレンズ位置から第２のズーム倍率のズームレンズ位置まで、ズームレンズを移動させる制御である。従って、ズーム制御開始時の第１のズーム倍率と、ズーム制御終了時の第２のズーム倍率とをパラメータとして、これらのパラメータを変更することによって、複数のズーム制御のズームパターンを定義することができる。例えば、ズーム制御開始時の第１のズーム倍率が等倍であって、ズーム終了時の第２のズーム倍率が１．４倍になる場合と、ズーム制御開始時の第１のズーム倍率が１．４倍であって、ズーム終了時の第２のズーム倍率が２倍になる場合とでは、それぞれ異なるズーム制御のズームパターンとなる。

本実施形態では、所定のズームパターンのズーム制御が予め実行され、その際に取得されたズーム駆動機構の駆動音等の周波数領域のデータが、ズーム制御の当該所定のズームパターンに該当するノイズパターンとしてノイズテーブル１４１に格納される。このようなノイズパターンは、ズーム制御の複数のズームパターン毎にそれぞれ取得されて、ノイズテーブル１４１に格納される。従って、ノイズパターン選択部１２２は、これらの複数のノイズパターンの中から、ズーム制御の現在のズームパターンに該当するノイズパターンを選択する。なお、ノイズテーブル１４１およびノイズパターンについては図７を参照して後述する。

ズームノイズ低減部１２３には、ズーム制御時に、マイクロホン９１から入力された音声に対して音声処理部９２によってA/D変換処理が施された結果得られる音声データが入力される。このような音声データを、以下、入力音声データと称する。

入力音声データは、目的音に対して、ズーム駆動機構の駆動音がノイズとして含まれた音声のデータである。そこで、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。

具体的には、後述するように、ノイズパターンは周波数領域の音声データである一方、入力音声データは時間領域の音声データである。そこで、ズームノイズ低減部１２３は、入力音声データを周波数領域の音声データに変換する。次に、ズームノイズ低減部１２３は、周波数領域の入力音声データからノイズパターンを減算する。これにより、目的音（より正確には目的音に近い音）についての周波数領域の音声データが得られる。そこで、ズームノイズ低減部１２３は、目的音についての周波数領域の音声データを、時間領域の音声データに逆変換した上で出力する。

この場合、上述したように、時間が経過すると、ズームノイズ低減処理によるノイズ低減効果が低下する。そこで、キャリブレーション処理部１２４は、適当なタイミングで適宜、ノイズテーブル１４１に格納されるノイズパターンのキャリブレーション処理を実行する。

なお、ノイズパターンのキャリブレーション処理の詳細については、図１０乃至図１３を参照して説明する。

[ズームノイズ低減部１２３の構成例]
図４は、図３のズームノイズ低減部１２３の機能的構成例を示すブロック図である。

ズームノイズ低減部１２３は、窓かけフーリエ変換部１６１、減算処理部１６２、および逆フーリエ変換窓かけ部１６３から構成される。

窓かけフーリエ変換部１６１は、時間領域の入力音声データに対して、例えばハミング窓等の時間窓関数を時間軸方向にスライドさせながら乗じる窓かけ処理を施すことにより、フレーム分割による高周波数ノイズが低減された音声データを生成する。そして、窓かけフーリエ変換部１６１は、窓かけ処理が施されたフレーム単位の音声データに対してFFTを施す。これにより、周波数領域の入力音声データ（パワースペクトル密度）が得られ、減算処理部１６２に提供される。このとき、窓かけフーリエ変換部１６１から算出される周波数領域の入力音声データは、例えば、図５の左の図に示されるようなパワースペクトル密度となる。

図５は、ズームノイズ低減処理を説明する模式図である。

図５において、縦軸はパワーを示し、横軸は周波数を示している。図５の左の図は、窓かけフーリエ変換部１６１により算出され、出力される周波数領域の入力音声データ、すなわち入力音声データのパワースペクトル密度を表わしている。窓かけフーリエ変換部１６１から算出される入力音声データのパワースペクトル密度は、目的音のパワースペクトル密度ＰＳと、ノイズのパワースペクトル密度ＮＳとが合成されたものである。すなわち、図５の左の図に棒グラフとして示されるパワースペクトル密度のうち、白抜きで表わされる部分が目的音のパワースペクトル密度ＰＳであり、斜線で表わされる部分がノイズのパワースペクトル密度ＮＳである。

図４の説明に戻り、減算処理部１６２は、窓かけフーリエ変換部１６１から提供された周波数領域の入力音声データ（すなわちパワースペクトル密度）から、ノイズパターン選択部１２２により選択されたノイズパターン（すなわちノイズのパワースペクトル密度）を減算する減算処理を実行する。ノイズパターン選択部１２２により選択されたノイズパターンは、例えば、図５の中央の図に示されるように、所定のズームパターンのズーム制御が予め実行された際に取得されたズーム駆動機構の駆動音のパワースペクトル密度である。ここで、説明の便宜上、図５の中央の図に示されるノイズパターンと、図５の左側の図に斜線で表わされるノイズのパワースペクトル密度ＮＳとが一致しているとする。この場合には、減算処理部１６２による減算処理の結果、図５の右の図に示されるように、目的音のパワースペクトル密度ＰＳが算出される。

図４の説明に戻り、逆フーリエ変換窓かけ部１６３は、減算処理部１６２から出力された周波数領域の音声データ、すなわち理想的には図５の右の図に示される目的音のパワースペクトル密度ＰＳに対して、逆FFTを施す。そして、逆フーリエ変換窓かけ部１６３は、逆FFTが施された結果得られる時間領域の音声データを、逆窓かけ処理を施した上で出力する。逆フーリエ変換窓かけ部１６３から出力された時間領域の音声データは、ズームノイズ低減部１２３によりノイズ成分が抑制された目的音の音声データとして、記録部３９によって記録媒体４０に記録される。また、記録媒体４０から読み出された当該目的音の音声データは、音声処理部９２によってA/D変換処理が施されてアナログの音声信号に変換されて、さらに、スピーカ９３によって、ノイズが抑制された目的音となって、外部に出力される。

このように、ズームノイズ低減部１２３は、目的音にノイズが重畳された音声の音声データが入力音声データとして入力されると、入力音声データに対してズームノイズ低減処理を施す。これにより、理想的にはノイズが除去された目的音の音声データが得られる。なお、理想的と記述したのは、実際に重畳されているノイズの周波数領域のデータ（パワースペクトル密度）と、ノイズパターン（パワースペクトル密度）とが必ずしも完全一致しないからである。すなわち、両者が完全一致すれば、ノイズは完全に除去されるが、一般的には両者の間には差異があるため、ノイズは完全には除去されるのではなく、ノイズが低減されることになる。

[固定方式によるズーム駆動方式]
図６は、ズーム駆動方式のうち固定方式について説明する図である。

上述したように、ズーム駆動方式として、固定方式と連続方式があり、本実施形態ではユーザは操作部３６を操作することによって所望のズーム駆動方式を選択することができる。

本実施形態では、ユーザがズーム駆動方式として固定方式を選択した場合、動画記録時のズーム倍率が、図６に示される５種類に固定された固定方式に従って、ズーム制御が実行される。

図６において、上段左の図は、動画記録時のズーム倍率が等倍（１倍）で被写体１８１が撮像された場合に、表示部１８に表示されるスルー画像２０１を示している。

ズーム倍率が等倍の状態でユーザがTeleキーを押下すると、ズーム倍率は等倍から１．４倍に切り替えられる。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構がレンズを１．４倍のズームレンズ位置まで移動させる。これにより、切り替え前はスルー画像２０１が表示部１８に表示されていたのが、切り替え後は、被写体のサイズが１．４倍に拡大したスルー画像２０２が表示部１８に表示されるようになる。

図６の上段中央の図は、動画記録時のズーム倍率が１．４倍で被写体１８１が撮像された場合に、表示部１８に表示されるスルー画像２０２を示している。このとき、表示部１８の左上の表示領域には、ズーム倍率が１．４倍であることを示す「×１．４」が表示される。

ズーム倍率が１．４倍の状態でユーザがさらにTeleキーを押下すると、ズーム倍率は１．４倍から２倍に切り替えられる。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構がレンズを２倍のズームレンズ位置まで移動させる。これにより、切り替え前はスルー画像２０２が表示部１８に表示されていたのが、切り替え後は、被写体のサイズが２倍に拡大したスルー画像２０３が表示部１８に表示されるようになる。

図６の上段右の図は、動画記録時のズーム倍率が２倍で被写体１８１が撮像された場合に、表示部１８に表示されるスルー画像２０３を示している。このとき、表示部１８の左上の表示領域には、ズーム倍率が２倍であることを示す「×２．０」が表示される。

同様に、ズーム倍率が２倍の状態でユーザからTeleキーを押下する毎に、ズーム倍率は２倍から３倍、３倍から４倍、４倍から５倍へと切り替えられる。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構はレンズを２倍のズームレンズ位置から３倍のズームレンズ位置、３倍のズームレンズ位置から４倍のズームレンズ位置、４倍のズームレンズ位置から５倍のズームレンズ位置へと移動させる。表示部１８の表示は図６の上段右の図に示されるスルー画像２０３から、下段左の図に示されるスルー画像２０４、下段中央の図に示されるスルー画像２０５、下段右の図に示されるスルー画像２０６へと変化していく。このとき、表示部１８の左上の表示領域には、ズーム倍率が３倍、４倍、５倍であることを示す「×３．０」、「×４．０」、「×５．０」が表示される。なお、ズーム倍率が５倍の状態でユーザがさらにTeleキーを押下したとしても、ズーム倍率はそれ以上大きくなることはない。

これに対して、ズーム倍率が５倍の状態でユーザがWideキーを押下すると、ズーム倍率は５倍から４倍に切り替えられる。同様に、ズーム倍率が４倍の状態からユーザがWideキーを押下する毎に、ズーム倍率は３倍、２倍、１．４倍、等倍へと切り替えられる。ズーム駆動機構は、このようにしてズーム倍率が切り替えられる毎に、光学ブロック用ドライバ６４の制御に基づいて、切り替えられたズーム倍率のズームレンズ位置へズームレンズを移動させる。表示部１８の表示は、図６の下段の右の図に示されるスルー画像２０６から、スルー画像２０５、スルー画像２０４、スルー画像２０３、スルー画像２０２、スルー画像２０１へと変化していく。このとき、表示部１８の左上の表示領域には、ズーム倍率を示す表示がされる。なお、ズーム倍率が等倍の状態でユーザがさらにWideキーを押下したとしても、ズーム倍率はそれ以上小さくなることはない。

一方、ユーザがズーム駆動方式として連続方式を選択した場合、ズーム倍率は、ズームキー１２の押下状態に従って１倍乃至５倍の間で例えば０．１の幅で変化する。例えば、ズーム倍率が等倍の状態でユーザがTeleキーを押下すると、ズーム倍率は１．１倍、１．２倍、１．３倍・・・と、ユーザがTeleキーの押下を解除するまで変化する。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構がレンズを対応するズーム倍率のズームレンズ位置まで移動させる。これにより、被写体１８１のサイズが対応するズーム倍率に拡大したスルー画像が表示部１８に表示されるようになる。なお、ズーム倍率が５倍の状態でユーザがTeleキーの押下をし続けても、ズーム倍率はそれ以上大きくなることはない。これに対して、ズーム倍率が５倍の状態からユーザがWideキーを押下すると、ズーム倍率は５倍、４．９倍、４．８倍・・・と、ユーザがWideキーの押下を解除するまで変化する。すると、光学ブロック用ドライバ６４の制御に基づきズーム駆動機構がレンズを対応するズーム倍率のズームレンズ位置まで移動させる。これにより、被写体１８１のサイズが対応するズーム倍率に縮小したスルー画像が表示部１８に表示されるようになる。なお、ズーム倍率が等倍の状態でユーザがWideキーの押下をし続けても、ズーム倍率はそれ以上小さくなることはない。ズーム駆動方式として連続方式が選択された場合も、表示部１８の左上の領域には対応するズーム倍率が表示される。

[ノイズパターンの例]
図７は、ノイズテーブル１４１に格納されるノイズパターンの一例を示す図である。

本実施形態では、上述したように、５種類のズーム倍率を固定することによって、ズーム倍率の可動範囲が明確になる。これにより、ノイズテーブル１４１が格納するノイズパターンも、次の１０種類のノイズパターンＮ１乃至Ｎ１０に限定することが可能になる。

すなわち、ノイズパターンＮ１とは、ズーム倍率が等倍から１．４倍に切り替えられて、レンズが、ズーム倍率が開始位置である等倍のズームレンズ位置からズーム倍率が終了位置である１．４倍のズームレンズ位置に移動するまでに実際に発生したノイズの周波数領域の音声データ（すなわちスペクトル密度）をいう。すなわち、ノイズパターンＮ１とは、ズーム倍率が等倍から１．４倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。

ノイズパターンＮ２とは、ズーム倍率が１．４倍から２倍に切り替えられて、レンズが、ズーム倍率が開始位置である１．４倍のズームレンズ位置からズーム倍率が終了位置である２倍のズームレンズ位置に移動するまでに実際に発生したノイズの周波数領域の音声データ（すなわちスペクトル密度）をいう。すなわち、ノイズパターンＮ２とは、ズーム倍率が１．４倍から２倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。

同様に、ノイズパターンＮ３とは、ズーム倍率が２倍から３倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンであり、ノイズパターンＮ４とは、ズーム倍率が開始位置である３倍から終了位置である４倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンであり、ノイズパターンＮ５とは、ズーム倍率が開始位置である４倍から終了位置である５倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンである。

また、上述のズーム倍率がWideからTele方向に切り替えられるズームパターンに該当するノイズパターンＮ１乃至Ｎ５に対して、その反対方向であるTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンとしては、次の５種類のノイズパターンに限定することができる。すなわち、ズーム倍率が開始位置である５倍から終了位置である４倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ６、ズーム倍率が開始位置である４倍から終了位置である３倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ７、ズーム倍率が開始位置である３倍から終了位置である２倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ８、ズーム倍率が開始位置である２倍から終了位置である１．４倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ９、ズーム倍率が開始位置である１．４倍から終了位置である等倍に切り替えられるというズームパターンのズーム制御に該当するノイズパターンＮ１０の５種類に限定することができる。

すなわち、ズーム倍率の上限値と下限値との範囲内でズーム倍率が１０種類の範囲に分割され、このような１０種類のズーム倍率の分割範囲の各々の中でレンズが移動するといった、１０種類のズームパターンのズーム制御が定義されている。そして、これらの１０種類のズームパターンのズーム制御の各々に該当するノイズパターンが、ノイズパターンＮ１乃至Ｎ１０としてノイズテーブル１４１に格納されている。

なお、ノイズパターンＮ１乃至Ｎ１０として、ズーム駆動機構の駆動音だけの周波数領域の音声データを採用してもよい。しかしながら、実際に入力される入力音声データには、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等もノイズとして含まれる。したがって、本実施形態では、実際にレンズを駆動させて、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等の周波数領域の音声データを取得して、ノイズパターンとしている。したがって、ノイズ低減効果をより高めることができる。

[音声データ加工処理]
図８は、音声データ加工処理の一例を説明するフローチャートである。

音声データ加工処理は、動画記録開始を指示するためシャッタキー１１が押下されると実行される。なお、図８では、説明の簡略上、ズームキー１２としてWideキーが押下されるものとして説明する。しかしながら、Teleキーが押下される場合にも対応する処理が実行されることは言うまでもない。

ステップＳ１において、認識部１２１は、ズームキー１２であるWideキーが押下されたかを判定する。

Wideキーが押下されない場合、ステップＳ１においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、Wideキーが押下されるまでの間、ステップＳ１の判定処理が繰り返される。

その後、Wideキーが押下された場合には、ステップＳ１においてＹＥＳであると判定されて、処理はステップＳ２に進む。

ステップＳ２において、認識部１２１は、ズーム制御情報を取得することにより、現在のズーム倍率を認識する。

ステップＳ３において、認識部１２１は、表示制御部３７を制御することによって、ステップＳ２の処理で取得した現在のズーム倍率を表示部１８の左上の領域に表示する（図６参照）。

ステップＳ４において、認識部１２１は、ズーム駆動方式として固定方式が選択されたかを判定する。すなわち、上述したように、ユーザは、十字キー１５ａ乃至ｄ、および決定キー１６のうち必要なキーを適宜押下することで、メニュー画面に表示された、固定方式を示す項目と、連続方式を示す項目とのうち、所望の項目を選択することができる。

例えば、連続方式を示す項目が選択された場合、認識部１２１は、連続方式が選択されたと認識する。この場合、ステップＳ４においてＮＯであると判定されて、処理はステップＳ８に進む。ただし、ステップＳ８以降の処理については後述する。

これに対して、固定方式を示す項目が選択された場合、認識部１２１は、固定方式が選択されたと認識する。この場合、ステップＳ４においてＹＥＳであると判定されて、処理はステップＳ５に進む。

ステップＳ５において、ノイズパターン選択部１２２は、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０の中から、認識部１２１が認識したズーム倍率に該当するノイズパターンを選択する。

ステップＳ６において、ズームノイズ低減部１２３は、ステップＳ５の処理でノイズパターン選択部１２２によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。すなわち、ズームノイズ低減部１２３は、入力音声データを、時間領域の形態から周波数領域の形態に変換する。次に、ズームノイズ低減部１２３は、周波数領域の入力音声データから、ステップＳ５の処理でノイズパターン選択部１２２により選択されたノイズパターンを減算する。これにより、ノイズが低減された周波数領域の音声データが得られる。そこで、ズームノイズ低減部１２３は、このようにしてノイズが低減された音声データを、周波数領域の形態から時間領域の形態に変換した上で出力する。

ステップＳ７において、認識部１２１は、動画記録の終了が指示されたかを判定する。すなわち、認識部１２１は、既に開始されている動画記録の終了を指示するため、再度シャッタキー１１が押下されたかを判定する。

動画記録の終了が指示されない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、動画記録の終了が指示されるまでの間、ステップＳ１乃至Ｓ７のループ処理が繰り返される。

その後、動画記録の終了が指示された場合、音声データ加工処理は終了する。

例えば、ズーム倍率が５倍の状態でユーザがWideキーを押下すると、ズーム倍率は４倍に切り替えられる。このとき、ステップＳ１の処理でＹＥＳであると判定されて、ステップＳ２の処理が実行される。すなわち、認識部１２１は、ズーム制御情報を取得することにより、ズーム倍率が５倍から４倍に切り替えられたことを認識し、ズーム倍率を表示部１８に表示させる。ここで、ズーム駆動方式として固定方式が選択されている場合には、ステップＳ４の処理でＹＥＳであると判定されて、ステップＳ５の処理が実行される。すなわち、ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるパターンに該当するノイズパターンＮ６乃至Ｎ１０のうち、対応する５倍乃至４倍のノイズパターンＮ６を選択する。すると、ステップＳ６の処理で、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンＮ６を用いて、音声処理部９２から供給された入力音声データに対してズームノイズ低減処理を実行する。その後動画記録の終了が指示されていなければ、処理はステップＳ１に戻され、ズームキー１２が再押下されるまで、ステップＳ１の判定処理が繰り返されて、音声データ加工処理が待機状態になる。

その後、ユーザが、さらにWideキーを押下すると、ズーム倍率は４倍から３倍に切り替えられる。このとき、ステップＳ１の処理でＹＥＳであると判定されて、ステップＳ２の処理が実行される。すなわち、認識部１２１は、ズーム制御情報を取得することにより、ズーム倍率が４倍から３倍に切り替えられたことを認識し、ズーム倍率を表示部１８に表示させる。ここで、ズーム駆動方式として固定方式が選択されている場合には、ステップＳ４の処理でＹＥＳであると判定されて、ステップＳ５の処理が実行される。すなわち、ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０のうち、対応する４倍乃至３倍のノイズパターンＮ７を選択する。すると、ステップＳ６の処理で、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンＮ７を用いて、音声処理部９２から供給された入力音声データに対してズームノイズ低減処理を実行する。そして、再度シャッタキー１１が押下されて動画記録の終了が指示されると、音声データ加工処理は終了する。

以上、ズーム駆動方式として固定方式が選択された場合の音声データ加工処理について説明した。

次に、ズーム駆動方式として連続方式が選択された場合の音声データ加工処理について説明する。

すなわち、上述したように、ユーザは、十字キー１５ａ乃至ｄ、および決定キー１６のうち必要なキーを適宜押下することで、メニュー画面に表示された、固定方式を示す項目と連続方式を示す項目とのうちの、所望の項目を選択することができる。

図９は、連続方式を示す項目を選択するユーザ操作について説明する図である。

図９の左の図は、表示部１８に表示されるメニュー画面２２１として、「カメラ設定メニュー」の１つのメニューである「ズーム駆動方式」の選択メニューが表示されている状態を示している。

メニュー画面２２１に示されるように、ここではデフォルトとして、ズーム駆動方式は固定方式に設定されている。なお、図面中の「固定」という表示は、固定方式を示している。

この状態で、ユーザが、ズーム駆動方式として連続方式を選択することを所望したとする。この場合、ユーザは、十字キー１５ａ乃至ｄのうち必要なキーを適宜押下することで、「ズーム駆動方式」と表示された項目にカーソルを移動させ、決定キー１６を押下する。すると、表示部１８の表示状態が図９の中央の図に示す表示状態に遷移する。

図９の中央の図は、表示部１８に表示されるメニュー画面２２２として、「ズーム駆動方式」の２つの方式として固定方式と連続方式の項目が表示されている状態を示している。なお、図面中の「連続」という表示は、連続方式を示している。ユーザは、十字キー１５ａ乃至ｄのうち必要なキーを適宜押下することで、「連続」と表示された項目にカーソルを移動させ、決定キー１６を押下する。すると、表示部１８の表示状態が図９の右の図に示す表示状態に遷移する。

図９の右の図のメニュー画面２２３に示されるように、ズーム駆動方式は連続方式に設定される。

このようにして、ユーザにより「連続」の項目が選択されると、上述したように、ステップＳ４においてＮＯであると判定されて、処理はステップＳ８に進む。

ステップＳ８において、ノイズパターン選択部１２２は、ノイズテーブル１４１に格納されたTeleからWide方向へのノイズパターンＮ６乃至Ｎ１０の中から、ステップＳ２の処理で認識部１２１が認識したズーム倍率の値が含まれるノイズパターンを選択する。

ステップＳ９において、ズームノイズ低減部１２３は、ステップＳ８の処理でノイズパターン選択部１２２によって選択されたノイズパターンを用いて、ズームノイズ低減処理を実行する。すなわち、ズームノイズ低減部１２３は、入力音声データを、時間領域の形態から周波数領域の形態に変換する。次に、ズームノイズ低減部１２３は、周波数領域の入力音声データから、ノイズパターン選択部１２２により選択されたノイズパターンを減算する。これにより、ノイズが低減された周波数領域の音声データが得られる。そこで、ズームノイズ低減部１２３は、このようにしてノイズが低減された音声データを、周波数領域の形態から時間領域の形態に変換した上で出力する。

ステップＳ１０において、認識部１２１は、ズームキー１２の押下が継続しているかを判定する。

ズームキー１２の押下が継続している場合、ステップＳ１０においてＹＥＳであると判定されて、処理はステップＳ２に戻され、それ以降の処理が繰り返される。すなわち、ズームキー１２の押下が継続されている期間、ステップＳ２乃至Ｓ１０のループ処理が繰り返される。

その後、ユーザがズームキー１２から指を離す等してズームキー１２の押下が解除された場合、ステップＳ１０においてＮＯであると判定されて、処理はステップＳ７に進む。

ステップＳ７において、認識部１２１は、動画記録の終了が指示されたかを判定する。

動画記録の終了が指示されない場合、ステップＳ７においてＮＯであると判定されて、処理はステップＳ１に戻され、それ以降の処理が繰り返される。すなわち、動画記録の終了が指示されるまでの間、ステップＳ１乃至Ｓ１０のループ処理が繰り返される。

その後、動画記録の終了が指示された場合、音声データ加工処理は終了する。

例えば、ズーム倍率が５倍の状態でユーザがWideキーを押下し、ズーム倍率が４．５倍に切り替えられたとする。このとき、認識部１２１は、ズーム制御情報を取得することにより、ズーム倍率が５倍から４．５倍に切り替えられたことを認識し、ズーム倍率を表示部１８に表示させる。すると、ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０のうち、４．５倍の値が含まれる５倍から４倍のノイズパターンＮ６を選択する。すなわち、ズーム駆動方式が連続方式である場合、認識されたズーム倍率の値がその範囲に含まれるノイズパターンが選択される。すると、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンＮ６を用いて、音声処理部９２から供給された入力音声データに対してズームノイズ低減処理を実行する。

その後、ズーム倍率が４．５倍の状態でユーザがTeleキーの押下を継続していて、ズーム倍率が３．１倍に切り替えられたとする。このとき、認識部１２１は、ズーム制御情報を取得することにより、ズーム倍率が４．５倍から３．１倍に切り替えられたことを認識し、ズーム倍率を表示部１８に表示させる。すると、ノイズパターン選択部１２２は、認識部１２１が認識したズーム倍率に基づいて、ノイズテーブル１４１に格納されているTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０のうち、３．１倍の値が含まれる４倍から３倍のノイズパターンＮ７を選択する。すると、ズームノイズ低減部１２３は、ノイズパターン選択部１２２によって選択されたノイズパターンＮ７を用いて、音声処理部９２から供給された入力音声データに対してズームノイズ低減処理を実行する。そして、ズームキー１２の押下が継続されなくなり、再度シャッタキー１１が押下されて動画記録の終了が指示されると、音声データ加工処理は終了する。

このように、５種類のズーム倍率を固定することによって、ノイズテーブル１４１が格納するノイズパターンも、１０種類のノイズパターンＮ１乃至Ｎ１０に限定することが可能になる。したがって、一定のメモリ容量でノイズテーブル１４１を記録することができる。そして、一定のメモリ容量に記録されたノイズテーブル１４１を用いてズームノイズ低減処理を実行することにより、一定以上のノイズの低減効果を得ることができる。

なお、本実施形態では、ノイズパターンＮ１乃至Ｎ１０は、ズーム駆動機構の駆動音のみならず、ズーム駆動機構の駆動開始音および駆動終了音、その他のレンズデバイス駆動音であるフォーカス駆動機構の駆動音等もノイズとしてあわせて集音された結果得られる周波数領域の音声データである。しかしながら、ノイズパターンは、特にこれらに限定されず、ズーム駆動機構の駆動音以外のノイズの周波数領域の音声データを、別のノイズパターンとして、ノイズテーブル１４１にそれぞれ個別に、または同時に格納させてもよい。この場合でも、ズーム駆動機構の駆動音についてのノイズパターンＮ１乃至Ｎ１０のデータ容量は変わらないため、ノイズテーブル１４１のうちノイズパターンＮ１乃至Ｎ１０が格納される分のメモリ容量は一定になる。したがって、メモリの空き容量がある分だけ、ズーム機構の駆動音以外の音声についての別のノイズパターンを、ノイズテーブル１４１に追加して格納することができる。この場合には、ズーム機構の駆動音とそれ以外とを区別してノイズ低減処理を実行することができるので、ノイズ低減効果をより一段と高めることができる。

以上の説明では、ノイズテーブル１４１が格納している１０種類のノイズパターンＮ１乃至Ｎ１０を用いてズームノイズ低減処理が実行された。１０種類のズームレンズの移動パターン毎に、過去の所定の時点で実際にズームレンズが移動した際に発したズーム駆動機構やフォーカス駆動機構の駆動音等がノイズとして集音されて、当該ノイズの周波数領域の音声データとして生成されたものが、ノイズパターンＮ１乃至Ｎ１０である。

しかしながら、ズーム駆動機構の駆動音やフォーカス駆動機構の駆動音等のノイズは、レンズデバイスの経年変化に伴って変化する場合がある。また、撮像装置１の個体間のばらつきによっても、ズーム駆動機構やフォーカス駆動機構等の発生音は異なっている。

したがって、長期間同一のノイズパターンを用いてズームノイズ低減処理を実行すると、操作時点で入力された音声に含まれるノイズと、過去に生成されたノイズパターンにより示されるノイズとの差分が演算される。この差分は、長期間同一のノイズパターンを用いるほど大きくなる場合があり、過去に生成されたノイズパターンを用いてズームノイズ低減処理を実行すると、ノイズの低減効果が低下してしまうおそれがある。このため、ユーザの指示により、ノイズパターンＮ１乃至Ｎ１０について、適宜キャリブレーション（較正）を行うことで、ノイズの低減効果を実現できるようにする。

[キャリブレーション処理部１２４の機能的構成例]
図１０は、図３のCPU８１が有するキャリブレーション処理部１２４の機能的構成例を示すブロック図である。

図１０のキャリブレーション処理部１２４は、ズーム制御部２４１、ノイズパターン生成部２４２、およびキャリブレーション実行部２４３から構成される。

上述したように、ユーザは、十字キー１５ａ乃至ｄ、および決定キー１６のうち必要なキーを適宜押下することで、メニュー画面に表示された複数の項目の中から、ノイズパターンのキャリブレーション処理の実行を指示する項目を選択することができる。このような選択がなされた場合、ノイズパターンのキャリブレーション処理の実行の指示がズーム制御部２４１に通知される。

このようにしてユーザがノイズパターンのキャリブレーション処理の実行を指示した場合、ズーム制御部２４１は、光学ブロック用ドライバ６４を介して、ズーム駆動機構を制御して、ノイズパターンＮ１乃至Ｎ１０に対応するズームパターン毎に、ズーム制御を実行する。

すなわち、ズーム制御部２４１が、ノイズパターンＮ１乃至Ｎ５のうちのいずれかに対応するズームパターンで、ズーム制御を実行すると、ズームレンズは、WideからTeleに向かう方向に移動する。この場合のズーム機構によるズームレンズの駆動を、以下、「Ｗ→Ｔ駆動」と表現する。

一方、ズーム制御部２４１が、ノイズパターンＮ６乃至Ｎ１０のうちのいずれかに対応するズームパターンで、ズーム制御を実行すると、ズームレンズは、TeleからWideに向かう方向に移動する。この場合のズーム機構によるズームレンズの駆動を、以下、「Ｔ→Ｗ駆動」と表現する。

ノイズパターン生成部２４２は、ズーム制御部２４１によって、ノイズパターンＮｉ（ｉは、１乃至１０のうちのいずれかの値）に対応するズームパターンでズーム制御が実行された場合、ズーム駆動機構の駆動音等をノイズとして集音し、当該ノイズの周波数領域のデータを、ノイズパターンｉとして生成する。

キャリブレーション実行部２４３は、ノイズパターンのキャリブレーション処理を行う。例えば、キャリブレーション実行部２４３は、ノイズパターンのキャリブレーション処理の開始タイミングを制御する。本実施形態では、ノイズパターンのキャリブレーション処理は、ユーザによる明示の指示があったときに開始する。すなわち、ユーザは、所望のタイミングで、十字キー１５ａ乃至ｄ、および決定キー１６のうち必要なキーを適宜押下することで、メニュー画面に表示された複数の項目の中から、ノイズパターンのキャリブレーション処理の実行を指示する項目を選択する。これにより、ユーザは、所望のタイミングでノイズパターンのキャリブレーション処理の実行を指示することができる。キャリブレーション実行部２４３は、このような明示の指示を受けて、ノイズパターンのキャリブレーション処理の実行を開始する。

経年変化があると、前回のキャリブレーション処理の実行から時間が経過する程、ノイズパターンは、実際のノイズにそぐわないものになっていく。そこで、本実施形態では、キャリブレーション実行部２４３は、前回のノイズパターンのキャリブレーション処理の実行からの経過時間を管理する。そして、キャリブレーション実行部２４３は、前回のノイズパターンのキャリブレーション処理の実行から一定時間以上経過すると、表示制御部３７を制御して、ノイズパターンのキャリブレーション処理の実行をうながす表示をする。この表示を見たユーザは、ノイズパターンのキャリブレーション処理の実行を指示するか否かを判断することができる。この場合も、キャリブレーション実行部２４３は、このようなユーザからの指示を受けると、ノイズパターンのキャリブレーション処理の実行を開始する。

また例えば、キャリブレーション実行部２４３は、更新用のノイズパターンの番号を表わす変数ｉを制御し、ノイズパターンのキャリブレーション処理を実行する。すなわち、具体的には、キャリブレーション実行部２４３は、ノイズパターンのキャリブレーション処理を開始させた後、ノイズパターン生成部２４２によりノイズパターンｉが生成される毎に、当該ノイズパターンｉを取得して保持する。キャリブレーション実行部２４３は、このようにして全ての更新用のノイズパターン１乃至１０を取得して保持すると、そのとき保存されている古いノイズパターンＮ１乃至Ｎ１０を、更新用のノイズパターン１乃至１０に更新する。或いは、古いノイズパターンＮ１乃至Ｎ１０が格納されたノイズテーブル１４１が、更新用のノイズパターン１乃至１０が格納されたノイズテーブル１４１に差し替えられると把握してもよい。

[ユーザ操作]
次に、このようなキャリブレーション処理部１２４に対する、ノイズパターンのキャリブレーション処理の実行の指示操作の一例について説明する。

図１１は、ノイズパターンのキャリブレーション処理の実行の指示操作について説明する図である。

図１１の上段左の図は、表示部１８にメニュー画面２６１が表示されている状態、すなわち、「カメラ設定メニュー」の１つのメニューである「キャリブレーション」の選択メニューを含むメニュー画面２６１が表示されている状態を示している。

この状態で、ユーザが、ノイズパターンのキャリブレーション処理の実行を所望したとする。この場合、ユーザは、十字キー１５ａ乃至ｄのうち必要なキーを適宜押下することで、「キャリブレーション」と表示された項目にカーソルを移動させ、決定キー１６を押下する。すると、表示部１８が図１１の上段右の図に示す表示状態になる。

図１１の上段右の図は、表示部１８にメニュー画面２６２が表示されている状態、すなわち、「実行」の項目、及び「キャンセル」の項目を含むメニュー画面２６２が表示されている状態を示している。ユーザが、十字キー１５ａ乃至ｄのうち必要なキーを適宜押下することで、「キャンセル」の項目にカーソルを移動させ、決定キー１６を押下したとする。すると、表示部１８が図１１の上段左の図に示す表示状態に戻る。一方、ユーザが、「実行」の項目にカーソルを移動させ、決定キー１６を押下したとする。すると、表示部１８は図１１の下段左の図に示す表示状態になる。

図１１の下段左の図は、表示部１８にメニュー画面２６３が表示されている状態、すなわち、キャリブレーション処理を「開始する」の項目、及び「キャンセル」の項目を含むメニュー画面２６３が表示されている状態を示している。ユーザが、十字キー１５ａ乃至ｄのうち必要なキーを適宜押下することで、「開始する」の項目にカーソルを移動させ、決定キー１６を押下したとする。すると、表示部１８は図１１の下段中央の図に示す表示状態に遷移する。

図１１の下段中央の図は、表示部１８にメニュー画面２６４が表示されている状態、すなわち、ノイズパターンのキャリブレーション処理が「実行中」のメッセージを含むメニュー画面２６４が表示されている状態を示している。このとき、表示部１８には、「実行中」のメッセージを含むメニュー画面２６４を表示しても、スルー画像を表示しても、ブラックアウトさせるようにしてもよい。ノイズパターンのキャリブレーション処理が完了すると、表示部１８は図１１の下段右の図に示す表示状態に遷移する。

図１１の下段右の図は、表示部１８にメニュー画面２６５が表示されている状態、すなわち、「キャリブレーション処理が完了しました」というメッセージを含むメニュー画面２６５が表示されている状態を示している。ノイズパターンのキャリブレーション処理完了の通知が数秒間表示されると、表示部１８は図１１の上段左の図に示す表示状態に遷移する。

このようにして、ユーザによりノイズパターンのキャリブレーション処理の実行が指示されると、ノイズパターンのキャリブレーション処理が開始される。

[キャリブレーション処理]
図１２は、キャリブレーション処理の一例を説明するフローチャートである。この処理は、ユーザが上述したメニュー画面からキャリブレーションの開始を指示したときに開始される。

ステップＳ３１において、キャリブレーション実行部２４３は、更新用のノイズパターンの番号を表わす変数ｉ＝１に設定する。

ステップＳ３２において、ズーム制御部２４１は、光学ブロック用ドライバ６４を介してズーム駆動機構を制御して、ノイズパターンＮｉに対応するＷ→Ｔ駆動をする。例えば、ステップＳ３１の処理後のステップＳ３２の処理では、ノイズパターンｉ＝１に対応する古いノイズパターンＮ１が生成された時と同一のズーム制御のズームパターンに従って、ズームレンズが移動する。すなわちズーム倍率が開始位置である等倍から終了位置である１．４倍に切り替えられるというズームパターンのズーム制御が実行される。

ステップＳ３３において、ノイズパターン生成部２４２は、ノイズパターンｉを生成する。すなわち、ノイズパターン生成部２４２は、ステップＳ３２の処理でズーム制御部２４１の制御により実行されたズーム制御の際に発生したズーム駆動機構の駆動音等をノイズとして集音し、当該ノイズの周波数領域のデータを、ノイズパターンｉとして生成する。

ステップＳ３４において、キャリブレーション実行部２４３は、ノイズパターンｉを保持する。

ステップＳ３５において、キャリブレーション実行部２４３は、ノイズパターンの変数ｉを１だけインクリメントする。

ステップＳ３６において、キャリブレーション実行部２４３は、変数ｉが６以上であるかを判定する。

変数ｉが６未満である場合、ステップＳ３６においてＮＯであると判定され、処理はステップＳ３２に戻され、それ以降の処理が繰り返される。すなわち、ノイズパターンｉが６以上となるまでの間、ステップＳ３２乃至Ｓ３６のループ処理が繰り返されることによって、ノイズパターン１乃至５が生成され、保持される。

これに対して、変数ｉが６以上の場合、ステップＳ３６においてＹＥＳであると判定され、処理はステップＳ３７に進む。

なお、ステップＳ３６において、変数ｉが６以上の場合とは、直近のステップＳ３３の処理で生成されたノイズパターンｉが、ノイズパターンＮ５に対応するノイズパターン５であったことを意味する。本実施形態では、ノイズパターンは、ズーム倍率がWideからTele方向に切り替えられるパターンに該当するノイズパターンＮ１乃至Ｎ５と、その反対方向であるTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０に限定されている。従って、ステップＳ３３の処理でノイズパターンＮ５に対応するノイズパターン５が生成された場合には、ステップＳ３７以降の処理に進む。そして、ステップＳ３７乃至Ｓ４１の処理で、TeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０に対応するノイズパターン６乃至１０が生成される。

すなわちステップＳ３７において、ズーム制御部２４１は、光学ブロック用ドライバ６４を介してズーム駆動機構を制御して、ノイズパターンＮｉに対応するＴ→Ｗ駆動をする。例えば、ステップＳ３６の処理後のステップＳ３７の処理では、ノイズパターンｉ＝６に対応するノイズパターンＮ６が生成された時と同一のズーム制御のズームパターンに従って、ズームレンズが移動する。すなわちズーム倍率が開始位置である５倍から終了位置である４倍に切り替えられるというズームパターンのズーム制御が実行される。

ステップＳ３８において、ノイズパターン生成部２４２は、ノイズパターンｉを生成する。すなわち、ノイズパターン生成部２４２は、ステップＳ３７の処理でズーム制御部２４１の制御により実行されたズーム制御の際に発したズーム駆動機構の駆動音等をノイズとして集音し、当該ノイズの周波数領域のデータを、ノイズパターンｉとして生成する。

ステップＳ３９において、キャリブレーション実行部２４３は、ノイズパターンｉを保持する。

ステップＳ４０において、キャリブレーション実行部２４３は、ノイズパターンの変数ｉを１だけインクリメントする。

ステップＳ４１において、キャリブレーション実行部２４３は、ノイズパターンの変数ｉが１１以上であるかを判定する。

ノイズパターンの変数ｉが１１未満である場合、ステップＳ４１においてＮＯであると判定され、処理はステップＳ３７に戻され、それ以降の処理が繰り返される。すなわち、ノイズパターンの変数ｉが１１以上となるまでの間、ステップＳ３７乃至Ｓ４１のループ処理が繰り返されることによって、ノイズパターン６乃至１０が生成され、保持される。

これに対して、ノイズパターンの変数ｉが１１以上の場合、ステップＳ４１においてＹＥＳであると判定され、処理はステップＳ４２に進む。

なお、ステップＳ４１において、ノイズパターンの変数ｉが１１以上の場合とは、ステップＳ３８の処理で生成されたノイズパターンｉが、ノイズパターンＮ１０に対応するノイズパターン１０であったことを意味する。本実施形態では、ノイズパターンは、ズーム倍率がWideからTele方向に切り替えられるパターンに該当するノイズパターンＮ１乃至Ｎ５と、その反対方向であるTeleからWide方向に切り替えられるズームパターンに該当するノイズパターンＮ６乃至Ｎ１０に限定されている。従って、ステップＳ３８の処理でノイズパターンＮ１０に対応するノイズパターン１０が生成された場合には、これ以上ノイズパターンは生成されない。

ステップＳ４２において、キャリブレーション実行部２４３は、ノイズパターンＮ１乃至Ｎ１０をノイズパターン１乃至１０に更新する。これにより、キャリブレーション処理は終了する。

このように、ノイズパターンのキャリブレーション処理を実行することにより、現時点で実際にズームレンズが移動した際に発したズーム駆動機構やフォーカス駆動機構の駆動音等がノイズとして集音されて、当該ノイズの周波数領域の音声データとして生成されたものが、ノイズパターンＮ１乃至Ｎ１０としてノイズテーブル１４１に格納される。したがって、キャリブレーション処理を実行したノイズパターンを用いてズームノイズ低減処理を行うことにより、ノイズの低減効果をより確実に実現することができる。

なお、キャリブレーション実行部２４３は、ユーザによるノイズパターンのキャリブレーション処理の実行の指示操作がなされると、ノイズパターンのキャリブレーション処理を開始し、その後、ユーザの指示操作を介在することなく自立的に判断して、すなわち自動的に、ノイズパターンのキャリブレーション処理を実行して終了させることができる。すなわち、ユーザにとっては、最初にキャリブレーション処理の実行の指示操作をするだけで、その後何ら操作をすることなく、ノイズパターンのキャリブレーション処理が自動的に実行される。したがって、ユーザは、容易にノイズパターンのキャリブレーション処理を実行することができる。

[自動キャリブレーション処理]
上述したように、ユーザは、所望のタイミングで、ノイズパターンのキャリブレーション処理の実行を指示することができる。しかしながら、前回のキャリブレーション処理の実行から時間が経過する程、経年変化が進むので、ノイズパターンは、実際のノイズにそぐわないものになっていく。したがって、撮像装置１は、例えば、前回のノイズパターンのキャリブレーション処理の実行から一定時間以上経過すると、ユーザに対して、ノイズパターンのキャリブレーション処理の実行をうながす画像を表示部１８に表示する。なお、ユーザにノイズパターンのキャリブレーション処理の実行をうながしてから、ノイズパターンのキャリブレーション処理が実行される一連の処理を、以下、自動キャリブレーション処理と称する。

ノイズパターンの自動キャリブレーション処理が開始されるタイミングは、前回のノイズパターンのキャリブレーション処理の実行時から一定時間以上経過した場合に限られない。例えば、ズーム操作の回数が所定の値以上になったとき、或いは、定期的にズームノイズ低減処理の効果を測定し、ノイズ低減効果が十分でないと判断されたときに、ノイズパターンの自動キャリブレーション処理が開始されるとしてもよい。

ステップＳ６１において、キャリブレーション実行部２４３は、表示制御部３７を制御して、表示部１８にノイズパターンのキャリブレーション処理の実行をうながす表示をする。例えば、「前回のキャリブレーションから２年が経過しました。キャリブレーションを実行して下さい」のようなメッセージが表示される。

ステップＳ６２において、キャリブレーション実行部２４３は、ノイズパターンのキャリブレーション処理の実行が指示されたかを判定する。すなわち、キャリブレーション実行部２４３は、ユーザが、表示部１８に表示されたメニュー画面から「キャリブレーション」の項目を選択し、ノイズパターンのキャリブレーション処理の実行を指示したかを判定する。

ノイズパターンのキャリブレーション処理の実行が指示されなかった場合、自動キャリブレーション処理は終了する。

これに対して、ノイズパターンのキャリブレーション処理の実行が指示された場合、処理はステップＳ６３に進む。

なお、ステップＳ６３乃至ステップＳ７４の各処理は、図１２のキャリブレーション処理のステップＳ３１乃至Ｓ４２の各処理と同様の処理である。したがって、これらの各処理の説明は繰り返しになるので省略する。

ステップＳ７４において、古いノイズパターンＮ１乃至Ｎ１０が更新用のノイズパターン１乃至１０に更新されると、自動キャリブレーション処理は終了する。

なお、ノイズパターンのキャリブレーション処理および自動キャリブレーション処理では、ノイズパターン１乃至１０を、１０回に分割して生成した。しかしながら、ノイズパターン１乃至１０の生成の手法はこれに限定されず、ノイズパターン１乃至１０を一括して生成してもよい。すなわち、キャリブレーション実行部２４３は、ズーム制御部２４１とノイズパターン生成部２４２を制御することにより、ズームレンズを駆動範囲の一端であるWide端から他端であるTele端まで連続して移動させた後、Tele端からWide端まで連続して移動させ、その際に、１０パターンのノイズを順次取得して、これらの１０パターンのノイズの周波数領域のデータを、ノイズパターン１乃至１０のそれぞれとして一括して生成してもよい。

この場合には、ズームレンズは連続して移動しているため、ズームレンズの移動が開始する時にのみ、ズーム駆動機構の駆動開始音が取得される。このため、最初のノイズパターン１のみが、ズーム駆動機構の駆動音以外に、ズーム駆動機構の駆動開始音をノイズとして含むデータになっており、それ以外のノイズパターン２乃至１０は、ズーム駆動機構の駆動開始音をノイズとして含まないデータになる。

同様に、ズームレンズは連続して移動しているため、ズームレンズの移動が終了する時にのみ、ズーム駆動機構の駆動終了音が取得される。このため、最後のノイズパターン１０のみが、ズーム駆動機構の駆動音以外に、ズーム駆動機構の駆動終了音をノイズとして含むデータになっており、それ以外のノイズパターン１乃至９は、ズーム駆動機構の駆動終了音をノイズとして含まないデータになる。

本発明は、デジタルカメラの他、デジタルビデオカメラ等、撮像機能と、光学系ズーム機能と、撮像時に入力される音声のデータを記録する記録機能とを備えた撮像装置に適用することができる。

[本発明のプログラムへの適用]
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることができる。

一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

このようなプログラムを含む記録媒体は、図２に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVDを含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなる記録媒体４０により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているフラッシュROM８２や、記録部３９に含まれるハードディスクなどで構成される。

なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

１ 撮像装置， １２ ズームキー， １５ 十字キー， １６ 決定キー， １８ 表示部， ３６ 操作部， ３９ 記録部， ４０ 記録媒体， ６１ 光学ブロック， ８１ CPU， ８２ フラッシュROM８２， ９１ マイクロホン， ９２ 音声処理部， ９３ スピーカ， １２１ 認識部， １２２ ノイズパターン選択部， １２３ ズームノイズ低減部， １２４ キャリブレーション処理部， １４１ ノイズテーブル， １６１ 窓かけフーリエ変換部， １６２ 減算処理部， １６３ 逆フーリエ変換窓かけ部， ２４１ ズーム制御部， ２４２ ノイズパターン生成部， ２４３ キャリブレーション実行部

Claims (8)

1. ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像手段と、
   前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持手段と、
   前記保持手段に保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンを選択し、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させ、そのときに発した前記ズーム駆動機構の駆動音を含むノイズを実測して、実測されたノイズのデータを用いて、更新対象の前記ノイズパターンを更新するキャリブレーション処理を実行するキャリブレーション処理手段と
   を備える撮像装置。
2. 外部から入力される音声のデータを取得し、入力音声データとして出力する音声処理手段をさらに備え、
   前記キャリブレーション処理手段は、
   前記ノイズパターンの更新の指示操作を受け付けると、複数の前記ノイズパターンの中から更新対象の前記ノイズパターンを選択して、前記キャリブレーション処理を開始させ、その後、前記指示操作を介在せずに自立的に前記キャリブレーション処理を実行するキャリブレーション実行手段と、
   前記キャリブレーション実行手段により前記キャリブレーション処理が開始されると、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させるズーム制御手段と、
   前記ズーム制御手段により前記ズームレンズが駆動されたときに前記入力音声データから出力された前記入力音声データを、前記実測されたノイズのデータとして用いて、更新用のノイズパターンを生成するノイズパターン生成手段と
   を備え、
   前記キャリブレーション実行手段は、前記保持手段に保持されている更新対象の前記ノイズパターンを、前記ノイズパターン生成手段により生成された更新用の前記ノイズパターンに更新する
   請求項１に記載の撮像装置。
3. 前記キャリブレーション実行手段は、
   複数の前記ノイズパターンの全てを更新対象の前記ノイズパターンとしてそれぞれ選択し、
   前記ノイズパターン毎に、前記ズーム制御手段及び前記ノイズパターン生成手段の処理を繰り返し実行させることで、複数の前記ノイズパターンの各々に対する更新用の前記ノイズパターンを取得し、
   前記保持手段に保持されている複数の前記ノイズパターンの全てを、各々に対する更新用の前記ノイズパターンに更新する
   請求項２に記載の撮像装置。
4. 前記キャリブレーション実行手段は、
   複数の前記ノイズパターンの全てを更新対象の前記ノイズパターンとしてそれぞれ選択し、
   前記ズーム制御手段及び前記ノイズパターン生成手段の処理を制御することによって、前記ズームレンズを駆動範囲内の一端から他端まで連続して往復駆動させ、複数の前記ノイズパターンの各々に対応するズームパターンと等価の移動を前記ズームレンズがする毎に、前記ノイズパターン生成手段によって生成されたノイズパターンを、更新用のノイズパターンとして順次取得して、
   前記保持手段に保持されている複数の前記ノイズパターンの全てを、各々に対する更新用の前記ノイズパターンに更新する
   請求項２に記載の撮像装置。
5. ユーザに情報を表示する表示手段をさらに備え、
   前記キャリブレーション実行手段は、さらに、前記キャリブレーションの実行の提案を示す表示情報を前記表示手段に表示し、前記表示手段により前記表示情報が表示された前記ノイズパターンの更新の指示操作が前記ユーザによってなされたとき、前記指示操作を受け付けて、前記キャリブレーション処理を開始させる
   請求項３に記載の撮像装置。
6. 前記撮像手段は、フォーカスレンズと、前記フォーカスレンズ駆動機構とをさらに含み、
   前記保持手段は、さらに、前記フォーカス駆動機構の駆動音が含まれるノイズのデータのノイズパターンを保持する
   請求項５に記載の撮像装置。
7. ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力する撮像ステップと、
   前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持する保持ステップと、
   前記保持ステップの処理により保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンを選択し、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させ、そのときに発した前記ズーム駆動機構の駆動音を含むノイズを実測して、実測されたノイズのデータを用いて、更新対象の前記ノイズパターンを更新するキャリブレーション処理を実行するキャリブレーション処理ステップと
   を含む撮像方法。
8. ズームレンズと、前記ズームレンズを駆動するズーム駆動機構とを少なくとも含み、被写体を撮像することによって前記被写体の画像データを出力し、
   前記ズーム駆動機構により駆動された前記ズームレンズが開始位置から終了位置まで移動するズームパターンとして、前記開始位置と前記終了位置との組み合わせを変化させた複数のズームパターンが予め定義されており、前記ズームパターン毎に、前記ズーム駆動機構の駆動音を含むノイズが実測され、実測された前記ノイズのデータをノイズパターンとして保持し、
   保持されている複数の前記ノイズパターンの中から更新対象のノイズパターンを選択し、前記ズーム駆動機構を制御して、更新対象の前記ノイズパターンに対応するズームパターンに従って前記ズームレンズを駆動させ、そのときに発した前記ズーム駆動機構の駆動音を含むノイズを実測して、実測されたノイズのデータを用いて、更新対象の前記ノイズパターンを更新するキャリブレーション処理を実行する
   ステップを含む制御処理をコンピュータに実行させるプログラム。

Images