JP2011077604A

JP2011077604A - ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法

Info

Publication number: JP2011077604A
Application number: JP2009224105A
Authority: JP
Inventors: Tatsuya Koizumi; 達哉小泉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-09-29
Filing date: 2009-09-29
Publication date: 2011-04-14

Abstract

【課題】交換レンズの使用を想定した場合のレンズノイズを除去するのにあたり、これまでよりも良好な除去効果を得る。
【解決手段】交換レンズが記憶するノイズデータを取得し、このノイズデータに基づいて、入力音声信号からノイズを除去する動作を実行する。ノイズデータは、それが記憶されている交換レンズにて発生するレンズノイズについてのデータである。これにより、装着される交換レンズに関わらず、その交換レンズのノイズデータを利用することで、適切なノイズ除去処理が実行可能になる。
【選択図】図４

Description

本発明は、例えば一般に交換レンズなどといわれるレンズ装置に関する。また、このレンズ装置が駆動されることで発生するノイズを除去するノイズ除去装置とその方法に関する。また、上記レンズ装置とノイズ除去装置とから成る撮像装置に関する。

マイクロフォンなどにより収音して得られる音声信号には、外部からのノイズが混入し得る。そこで、音声信号からノイズを除去するための構成がこれまでにも提案されている。
例えば特許文献１には、ディスク状記録媒体を回転させるスピンドルモータであるとか、磁気テープの記録再生に必要な回転ドラムを回転させるドラムモータなどから定常的に発生する周期性のノイズを、適応フィルタを利用して除去する構成が記載されている。
また、特許文献２には、間欠的に発生するノイズを低減させるために、想定されるノイズ信号を予め標本抽出して、これを疑似ノイズ波形として、ノイズ低減装置内のメモリに記録させ、メモリから読み出した疑似ノイズ波形を入力信号から減算する構成が記載されている。

特開２００６−３３１５６７号公報特開２０００−２９３９６５号公報

ここで、ズーミングやフォーカシングなどの動作に応じて、レンズの機構部品、モータなどの動きにより発生するノイズを除去しようとする場合を考えてみる。
例えば特許文献１に記載されるようにして適応フィルタを利用する構成では、周期性のノイズに対しては有効なノイズ除去効果が期待できる。しかし、上記のようなレンズから発生するノイズは間欠的なものとなる。適応フィルタのフィードバックの引き込み時定数については或る程度大きい値を与える必要があるので、ノイズが発生している区間と発生していない区間との変化に対応させて、早い応答で適応フィルタを動作させることが難しい。つまり、間欠的に発生する性質のノイズには、良好なノイズ除去効果を期待することが難しい。

これに対して特許文献２に記載の構成は、間欠的に発生するノイズに対応して有効にノイズ除去が行える。
ただし、いわゆる交換用レンズといわれる、撮像装置に対して交換して装着可能なレンズ装置の使用が前提となる場合には、交換用レンズの物理的な構造の違いなどに応じて、交換用レンズごとに発生するノイズとしての周波数特性が変化する。しかし、例えば特許文献２においてメモリに記録される疑似ノイズ波形は、或る１つの周波数特性に合わせて固定されたものとなっている。このために、特許文献２により交換レンズごとに対応して適切なノイズ除去を行うことは難しくなる。仮に、特許文献２の構成により交換レンズごとに対応させようとすれば、想定される全ての交換レンズごとに応じた特性の疑似ノイズ波形を記録する必要があるが、交換用レンズの機種などが豊富であることを考えると、全ての交換レンズに対応可能とすることは現実的ではない。
そこで、本願発明は、交換レンズの使用を想定したレンズのノイズを除去するのに有効な構成を提案しようとするものである。

そこで本発明は上記した課題を考慮して、ノイズ除去装置として次のように構成する。
つまり、ノイズ除去装置に装着されている交換レンズに記憶されているデータであって、当該交換レンズにて発生するレンズノイズを復元するためのデータであるノイズデータを取得するノイズデータ取得手段と、ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手段とを備えることとした。

また、撮像装置本体に装着されるレンズ装置であって、当該レンズ装置が備える機構部位の動きにより発生するノイズであるレンズノイズを復元するためのデータであるノイズデータを記憶する記憶手段と、上記撮像装置本体に対して上記ノイズデータを転送するノイズデータ転送手段とを備えることとした。

また、撮像装置として、レンズ装置と、当該レンズ装置が装着される撮像装置本体とから成り、上記レンズ装置は、当該レンズ装置が備える機構部位の動きにより発生するノイズであるレンズノイズを復元するためのデータであるノイズデータを記憶する記憶手段と、上記撮像装置本体に対して上記ノイズデータを転送するノイズデータ転送手段とを備え、上記撮像装置は、上記ノイズデータ転送手段により転送される上記ノイズデータを受信するノイズデータ取得手段と、上記ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手段とを備えることとした。

上記構成では、レンズ装置が記憶するノイズデータを取得し、このノイズデータに基づいて、入力音声信号からノイズを除去する動作を実行する。ノイズデータは、それが記憶されているレンズ装置にて発生するレンズノイズについてのデータである。これにより、いかなるレンズが装着されようとも、装着されたレンズ装置のノイズデータを利用して、そのレンズ装置にて発生して入力音声信号に混入したレンズノイズの特性に合わせた適切なノイズ除去を行うことが可能になる。

このようにして本発明は、例えば交換レンズの使用を想定した場合のレンズノイズを除去するのにあたり、これまでよりも良好な除去効果が得られる。

本実施形態の撮像装置の構成例を示すブロック図である。交換レンズに記憶されるノイズデータの内容例を示す図である。ノイズ除去処理部としての基本的な信号処理構成例を示すブロック図である。第１実施形態としてのノイズ除去処理部の信号処理構成をより具体的に示す図である。第１実施形態としてのノイズ除去処理部の処理手順例を示すフローチャートである。 BPFによるノイズ周波数帯域の入力信号抽出処理を模式的に示す図である。レンズノイズの周波数特性例を示す図である。第１実施形態における相関性検出処理の手法例を説明するための図である。相関性検出結果に応じたノイズ除去オン／オフ設定例を示す図である。図９のノイズ除去オン／オフ設定に応じて減算器に入力されるノイズ波形データの例を示す図である。減算用のノイズ波形データの生成の仕方について説明するための図である。図９のノイズ除去オン／オフ設定に応じて得られるノイズ除去結果と、ノイズ除去オン／オフ設定を行わずに、全ノイズ周波数帯域でノイズ除去を行った場合の結果とを比較して示す図である。ノイズデータを作成するときの環境、及びシステム構成例を示す図である。ノイズデータ作成の作業手順例を示すフローチャートである。暗ノイズの音声信号と、実ノイズの音声信号とを、スペクトラムにより比較して示す図である。第２実施形態に対応するもので、ノイズデータにおいて、速度に応じたノイズ周波数の違いの例を模式的に示す図である。第３実施形態に対応するもので、ノイズ周波数帯域の経年変化係数の例を模式的に示す図である。第４実施形態に対応するノイズ除去処理のための構成例を示す図である。第５実施形態に対応するノイズ除去処理のための構成例を示す図である。第５実施形態におけるｆ特補正部の動作例を示す図である。第６実施形態に対応するもので、交換レンズに対する内蔵マイクロフォンと外部マイクロフォンの各距離の関係を示す図である。第７実施形態に対応するノイズ除去処理部の構成例を示す図である。第７実施形態におけるノッチフィルタのフィルタ特性例と、ノッチフィルタのフィルタ特性設定のために必要なパラメーラ例を示す図である。第８実施形態に対応するノイズ除去処理のための構成例を示す図である。第８実施形態におけるダウンサンプル処理の一例を示す図である。第８実施形態におけるダウンサンプル処理の切り換えのための処理手順例を示すフローチャートである。第９実施形態に対応する相関性検出の他の手法例を示す図である。第９実施形態に対応して、複数の相関性検出の手法を併用する場合の、相関判定のための構成例を示す図である。第１０実施形態に対応するもので、レンズ駆動／非駆動の状態に応じたノイズ除去処理のオン／オフ切り換え動作例を示す図である。第１１実施形態に対応するもので、ノイズ除去処理のオン／オフ設定例について説明するための図である。

以下、本願発明を実施するための形態（以下、実施形態という）について、下記の順により説明する。
＜１．撮像装置の構成＞
＜２．ノイズデータの内容例＞
＜３．ノイズ除去処理部の構成（第１実施形態）＞
＜４．ノイズデータの作成例＞
＜５．第２実施形態：レンズ駆動速度に応じた処理＞
＜６．第３実施形態：レンズの経年変化に応じた処理＞
＜７．第４実施形態：交換レンズのノイズデータが無い場合の処理＞
＜８．第５実施形態：マイクロフォンの周波数特性を考慮した処理＞
＜９．第６実施形態：外部マイクロフォンに対応した処理＞
＜１０．第７実施形態：ノッチフィルタを採用する処理＞
＜１１．第８実施形態：ノイズ波形データのダウンサンプリングを併用する処理＞
＜１２．第９実施形態：相関性検出の他の例＞
＜１３．第１０実施形態：レンズ駆動時と非駆動時とに応じた処理＞
＜１４．第１１実施形態：他のノイズ除去オン／オフ判定＞

なお、以降において、ノイズを対象としての除去、若しくは低減、という語句を用いるが、本願においては、ノイズを対象とする除去、低減は、同等の意味を持つものとする。ノイズの除去は、音声信号に重畳されているノイズを取り除こうとする動作、処理からみた語句といえる。このノイズ除去の結果としては、例えば厳密な意味で完全にノイズが取り除かれるのではなく、或る程度の成分が残留する場合がある。ノイズ低減は、このようにしてノイズ除去処理の結果からみた語句といえる。

＜１．撮像装置の構成＞
図１のブロック図は、本実施形態の撮像装置の構成例を示している。
本実施形態の撮像装置は、交換レンズ（レンズ装置）１と、この交換レンズが装着される撮像装置本体２とから成る。
交換レンズ１は、レンズ部１１、レンズ制御部１２、レンズＲＯＭ１３、ノイズデータメモリ１４を有して成る。
レンズ部１１は、撮像のための必要枚数のレンズと、ズームレンズを動かすためのズーム機構部、フォーカスレンズを動かすためのフォーカス機構部、絞り、等が組み合わされて成る。なお、ズーム機構部、フォーカス機構部は、それぞれ、機構部位を動かすためのズームモータ、フォーカスモータを備える。

ここでは図示していないが、交換レンズ１と撮像装置本体２との取り付け機構部により、交換レンズ１が撮像装置本体２に取り付けられた状態では、このレンズ部１１にて入射された像光が、後述する撮像装置本体２のイメージセンサ２３の受光部に導かれ、撮像光として受光される。

レンズ制御部１２は、交換レンズ１が撮像装置本体２にて取り付けられた状態で、後述する撮像装置本体２のカメラ制御部３１と通信を実行する。そして、カメラ制御部３１からの指令に応じて、レンズ部１１におけるズーム機構部、フォーカス機構部の駆動制御（モータ駆動制御）、また絞り制御などを実行する。

レンズＲＯＭ１３には、レンズ制御部１２に実行させるプログラムのほか、例えば、この交換レンズ１の機種、型番などが示されるハードウェア情報を記憶している。

ノイズデータメモリ１４は、この交換レンズ１から発生するノイズに関する所定内容のデータから成る、ノイズデータ４６を記憶している。このノイズデータ４６の内容については、図２により後述する。

撮像装置本体２におけるマイクロフォン２１は、この場合には撮像装置本体２に内蔵のものとされて、外部の音声を収音できるようにして設けられている。
マイクロフォン２１により収音して得られたアナログの音声信号は、音声用A/D変換器２２によりデジタルの音声信号に変換されて、ＤＳＰ２５に対して入力される。

イメージセンサ２３は、撮像装置本体２に取り付けられた交換レンズ１のレンズ部１１からの撮像光を受光して電気信号に変換し、アナログの映像信号を出力する。このアナログの映像信号は、画像用A/D変換器２４によりデジタルの映像信号に変換されてＤＳＰ２５に入力される。

ＤＳＰ(Digital Signal Processor)２５は、入力されるデジタルの映像信号と音声信号について所要のデジタル信号処理を実行する。
ここで、上記画像用A/D変換器２４からの映像信号と、上記音声用A/D変換器２２からの音声信号を入力している場合に、例えばＤＳＰ２５が制御部３０の記録要求を受けているとする。この場合、ＤＳＰ２５は、入力した映像信号・音声信号のそれぞれについて、記録、モニタ表示等に関連した信号処理を実行して、リップシンクといわれる映像信号・音声信号の再生時間軸が同期した状態でコーデック信号処理部２６に渡す。

コーデック信号処理部２６は、ＤＳＰ２５から出力されてくる上記映像信号、音声信号について、所定の圧縮符号化方式による圧縮処理（エンコード処理）を実行し、映像・音声が同期した記録用ビデオデータとして、カードインターフェイス２７に渡す。カードインターフェイス２７からは、この記録用ビデオデータをメモリカード２８に転送する。これにより、記録用ビデオデータがメモリカードに記憶される。

また、メモリカード２８から読み出したビデオデータは、カードインターフェイス２７を経由してコーデック信号処理部２６に対して、再生用ビデオデータとして渡される。
コーデック信号処理部２６は、入力した再生用ビデオデータについて、上記の圧縮符号化に応じた復号処理（デコード処理）を実行して、再生時間軸が同期したデジタルの映像信号・音声信号を、ＤＳＰ２５に対して出力する。ＤＳＰ２５は、この再生用ビデオデータについて、再生のための所要の信号処理を施す。そして、再生信号処理を経た映像信号・音声信号を例えば、外部対応入出力部２９に渡すことで外部に出力させることができる。また、映像信号をモニタドライバ３５に出力させることで、モニタ３６にて画像として再生表示させる。なお、例えばこのようにしてモニタ３６にて再生用ビデオデータの映像信号を再生出力させているときには、これと再生時間軸が同期するようにして、ここでは図示していない内蔵のスピーカから音声信号も再生出力させる。

制御部３０は、撮像装置本体２における全体制御を司る部位であり、例えばマイクロコンピュータ、マイクロプロセッサなどにより構成される。
カメラ制御部３１は、制御部３０と連携して、交換レンズ１に対するズーミング、フォーカシング、絞り調整などの制御を実行する。カメラ制御部３１も例えばマイクロコンピュータ、マイクロプロセッサなどにより構成される。

操作部３２は、撮像装置本体２に設けられている各種操作子、また、リモートコントローラとその受信部などを一括して示している。制御部３２は、操作部３２に対して行われた操作によって入力される操作信号に応じて、適宜、所要の動作が得られるようにして制御を実行する。

ビューファインダ３４は、そのときに撮像されている画像(モニタ画像)が表示される部位である。こここでのビューファインダ３４は、例えば液晶ディスプレイなどを利用した、いわゆる電子ビューファインダである。
ビューファインダ３４にモニタ画像を表示させる際には、ＤＳＰ２５が、画像用A/D変換器２４から入力する映像信号(撮像映像信号)についてビューファインダ３４での表示に適合した信号処理を実行して、ビューファインダドライバ３３に出力する。そしてビューファインダドライバ３３が入力した映像信号によりビューファインダ３４としての表示デバイスを駆動する。これによりモニタ画像が表示される。

モニタ３６は、例えば３インチ程度で、ビューファインダよりも大型の表示パネルサイズを有し、前述した再生画像の表示の他、モニタ画像の表示、また、記録されたビデオデータのリストや各種設定画面などのGUI(Graphical User Interface)画像の表示等が行われる部位である。
モニタ３６にてモニタ画像を表示させる際には、ＤＳＰ２５から、モニタ３６での表示に対応した信号処理が施された撮像映像信号がモニタドライバ３５に出力される。また、ＧＵＩ画像を表示させる際には、例えばＤＳＰ２５のオンスクリーンディスプレイ機能により、表示させるべきＧＵＩ画像に対応する映像信号を生成して、必要に応じてモニタ画像用、若しくは再生用の映像信号などに合成して出力する。モニタドライバ３５は、上記のようにして入力される撮像映像信号によりモニタ３６を駆動する。これにより、モニタ画像であるとかＧＵＩ画像がモニタ３６にて表示される。

電源部３７は、例えばバッテリ３８から供給される電力から、撮像装置本体２の所要の回路部に供給すべき電源電圧Vccを生成して出力する。
なお、電源部３７の動作のオン／オフ、つまり、撮像装置本体２のメイン電源のオン／オフは、制御部３０によって制御することができる。

＜２．ノイズデータの内容例＞
交換レンズ１におけるレンズ部１１は、上記したように、例えばズーミング、フォーカシングなどが行われることに応じて、ズーム機構部、フォーカス機構部が物理的に動く。このとき、ズーム機構部、フォーカス機構部を形成するモータをはじめとして機構部品が物理的に動くことが原因でノイズが発生する。このときにマイクロフォン２１で音声を収音しているとすると、交換レンズ１にて発生しているノイズも収音してしまうことになる。つまり、本来収音しようとしている音成分だけではなく、不要な交換レンズ１のノイズ成分も収音してしまう。例えば、ビデオデータなどの記録のためにマイクロフォン２１による収音を行ったとすれば、このビデオデータとして記録された音声信号には、交換レンズ１のノイズが含まれてしまう。そして、このビデオデータを再生すれば、交換レンズ１のノイズも聞こえることになってしまい、音質を損ねることになる。

そこで、本実施形態の撮像装置としては、交換レンズ１から発生するノイズ(以降、レンズノイズともいう)を除去するための構成を備える。そして、本実施形態においては、撮像装置本体２側にてレンズノイズを除去する処理を行うのであるが、この際に、交換レンズ１のノイズデータメモリ１４に記憶されているノイズデータ４６を利用する。

ノイズデータ４６は、以降の説明からも理解されるように、主としては、そのノイズデータ４６を格納する交換レンズ１（対応交換レンズ）が実際に発生させているものとしてみることのできるノイズを例えば音声信号として復元可能な内容のデータ項目を有して成る。

図２は、ノイズデータ４６の内容例を示している。なお、この図に示される内容は、以降説明する実施形態ごとに対応して必要になるデータ項目をほぼ総合したものとなっている。従って、実際のノイズデータ４６としては、図２に示されるデータ項目のうちから、適用される実施形態の態様に応じて必要となるデータ項目のみを有して形成するようにしてよい。また、図２の内容はあくまでも一例であって、図２に示される以外のデータ項目が追加されてもよい。

図２に示されるノイズデータは、レンズ仕様データ、ズーム対応ノイズデータ、フォーカス対応ノイズデータから成るものとしている。
レンズ仕様データは、例えば図示もしているように、対応交換レンズが備えるモータの種類、そのモータの駆動方式などをはじめとした、対応交換レンズの仕様として、ノイズ除去に必要なデータ項目を有して成る。

ズーム対応ノイズデータは、ズームレンズを動かすときに発生するノイズに対応したデータ項目から成る。
ズーム対応ノイズデータとしては、データ項目として、開始周波数、中心周波数、終了周波数、暗ノイズデータ、実ノイズデータ、疑似ノイズデータ、経年変化係数、温度変化係数、湿度変化係数、テレコンバータ(テレコン)補正係数などが挙げられている。

また、各データ項目は、複数の周波数帯域ごとの値を格納することとしている。
あくまでも一例であるが、ここでは上記複数の周波数帯域として、第１周波数帯域、第２周波数帯域、第３周波数帯域の３つの周波数帯域を設定している。例えばレンズノイズのスペクトルは、広い帯域にわたって発生するのではなく、比較的狭いいくつかの特定の周波数帯域で強いエネルギーが現れるようにして発生する。そこで、本実施形態のノイズデータとしては、レンズノイズが発生する特定の複数の周波数帯域のみに対応させてデータ項目の値を格納する構造としている。

先に述べたように、ノイズデータは、主として対応交換レンズで発生するノイズに相当する音声を復元可能な内容のデータを有する。この場合において、ノイズデータにより、入力信号と同じ周波数帯域による音声信号を復元しようとすると、そのデータサイズが非常に大きくなる。この場合、ノイズデータメモリ１４の容量を増加したり、音声信号化の処理の負荷が重くなるなどの不都合を生じる。そこで、本実施形態のようにしてレンズノイズが発生する帯域のみに対応したノイズデータとすれば、データサイズも小さくて済み、また、処理負荷も軽くできる。

また、図２のズーム対応ノイズデータにおいては、さらに、第１〜第Ｎの周波数帯域ごとに、ズームレンズを動かす速度（駆動速度）ごとに対応してデータが格納されている。この場合、ズームレンズの駆動速度は一定ではなく、例えば所定の複数段階により可変させることができる。レンズノイズの発生する周波数帯域、レベルなどの特性は、このようなズームレンズの駆動速度に応じて変化する。実際においても、ズームレンズの駆動速度を変化させると、そのときのレンズノイズの音の高さ、音量、音質などが変化してきこえることを確認できる。なお、この点については、フォーカスレンズについて同様のことがいえる。
図２においては、一例として、低速、中速、高速としての３段階の駆動速度に対応させて、各データ項目の値を格納している。上記の低速、中速、高速は、実際には、所定値の駆動速度（例えばモータの回転速度などとして捉えることができる）が対応する。
そして、図示は省略しているが、フォーカス対応ノイズデータとしても、上記したズーム対応ノイズデータと同じ構造を有して、各データ項目の値を格納している。

次に、図２に示されているデータ項目について説明する。
開始周波数は、対応する第ｎ周波数帯域における、レンズノイズが発生する始まりの周波数を示す。
中心周波数は、対応する第ｎ周波数帯域において、レンズノイズが発生する周波数の中心の値を示す。
終了周波数は、対応する第ｎ周波数帯域において、レンズノイズが発生する終端の周波数（（例えば開始周波数より高い）を示す。
つまり、第１〜第３周波数帯域（・≦ｎ≦・）ごとの実際の範囲（ノイズ周波数帯域範囲）が、上記開始周波数、中心周波数、終了周波数によって示される。なお、以降において、開始周波数、中心周波数、終了周波数により示されるレンズノイズが発生する周波数帯域のことを「ノイズ周波数帯域」ともいう。

暗ノイズデータと実ノイズデータは、対応する周波数帯域における振幅を示すデータである。
より詳しいことについては後述するが、暗ノイズデータは、対応する第ｎ周波数帯域において、レンズを動かしていないときに得られる暗ノイズの振幅(レベル)を示すデータとなる。
実ノイズデータは、対応する第ｎ周波数帯域において、レンズを動かしているときに得られるノイズの振幅を示すデータとなる。
疑似ノイズデータについては後述する。

また、レンズノイズの特性は、例えば経年変化により変化する。ここでのレンズノイズの特性を変化させ得る経年変化の要因としては、例えばグリスの粘性の変化、構成部品の摩耗、変形などを挙げることができる。
経年変化係数は、交換レンズ１の使用時間に応じて、例えば開始周波数、中心周波数、終了周波数、また、暗ノイズデータ、実ノイズデータ、疑似データ等の波形などのデータ項目の値、パラメータを変化させるための係数である。経年変化係数との関係では、これらの経年変化係数が与えられるデータ項目（係数付与対象データ項目）は、例えば対応交換レンズを最初に使用したときに対応して得られる値となる。
また、経年変化係数は、例えば係数付与対象データ項目ごとに加速度試験などを行って測定することによって得ることができる。

また、レンズノイズの特性が、温度、湿度に応じても変化する場合に、温度変化係数、湿度変化係数を設けることができる。温度変化係数、湿度変化係数は、それぞれ、温度、湿度に応じて、係数付与対象データ項目の値を変化させる係数である。

また、交換レンズ１にテレコンバータが装着された場合には、例えばズーム、フォーカシングの制御に変更が生じ、これに応じてレンズノイズ特性が変化する場合に、テレコンバータ補正係数を設けることができる。
テレコンバータ補正係数は、コンバージョンレンズとしてテレコンバータが装着されたことに応じて、係数付与対象データ項目の値を変化させる係数である。

＜３．ノイズ除去処理部の構成（第１実施形態）＞

図３は、撮像装置本体２において備えられるノイズ除去処理部４０としての信号処理機能の基本的な構成例（第１実施形態）をブロック図により示している。
ノイズ除去処理部４０の入力信号は、図１のマイクロフォン２１により収音して得られるアナログの音声信号である。従って、例えば交換レンズ１における機構部品などが動いていれば、その動きに応じて発生したノイズがマイクロフォン２１により収音されて、入力信号に含まれることになる。

この図においてノイズ除去処理部４０は、Ａ／Ｄ変換処理４１、ノイズ周波数帯域抽出処理４２、比較処理４３、ノイズ除去処理オン／オフ判定４４、ノイズ減算処理４５の各実行機能を有するものとして示されている。図１との対応としては、Ａ／Ｄ変換処理４１は、音声用Ａ／Ｄ変換器２２に相当する。また、ノイズ周波数帯域抽出処理４２、比較処理４３、ノイズ除去処理４４、ノイズ減算処理４５は、ＤＳＰ２５がプログラム（インストラクション）を実行することで実現される音声信号処理となる。
また、この図においてはノイズデータ４６が示される。ここでのノイズデータ４６は、交換レンズ１（ノイズデータメモリ１４）から読み出して撮像装置本体２側に取り込んだものとしてみることができる。

図３において、入力信号は、Ａ／Ｄ変換処理４１によってデジタル信号に変換されると、ノイズ周波数帯域抽出処理４２、ノイズ減算処理４５に渡される。

ノイズ周波数帯域抽出処理４２は、ノイズデータ４６のノイズ周波数帯域データを取り込む。図２との対応では、第１〜第３周波数帯域ごとのノイズ周波数帯域データ（開始周波数、中心周波数、終了周波数）を取り込むことになる。
そして、ノイズ周波数帯域抽出部４２は、デジタルの入力信号から、取り込んだノイズ周波数帯域データのそれぞれが示すノイズ周波数帯域ごとの成分を抜き出して抽出し、比較処理４３に渡す。

なお、この基本構成の説明にあたっては、説明を簡単なものとすることの便宜上、レンズデータ４６において、レンズ駆動速度に応じたノイズ周波数帯域の区分は行われておらず、第１〜第３周波数帯域ごとに１つのノイズ周波数帯域データが設定されているものとして扱う。
また、図２においては、ズーム対応ノイズデータとフォーカス対応ノイズデータとが示されている。ノイズ周波数帯域抽出処理４２は、ズームレンズが駆動されているときには、ズーム対応ノイズデータのノイズ周波数帯域データを取り込み、フォーカスレンズが駆動されているときには、フォーカス対応ノイズデータのノイズ周波数帯域データを取り込み、

比較処理４３は、ノイズ周波数帯域抽出処理４２により抽出されたのと同じノイズ周波数帯域ごとに対応するノイズ波形データを取り込む。ここでのノイズ波形データは、ノイズ成分に対応した波形のデータであり、例えば図２との対応では、少なくとも実ノイズデータから得ることができる。
そして、比較処理４３は、ノイズ周波数帯域ごとに、取り込んだノイズ波形データが示すノイズ波形と、ノイズ周波数帯域抽出処理４２からの入力信号波形とを、所定の手法により比較し、両者の相関性について検出を行う。相関性が高いほど、抽出されたノイズ周波数帯域における入力信号はノイズに近いことになる。そして、例えば相関性についての検出結果を、ノイズ除去処理オン／オフ判定４４に渡す。なお、相関性の検出結果としては、例えば、相関性の度数などに応じた値として得られても良いし、単純に相関性の有無、即ち、入力信号がノイズであるか否かを示すものであってもよい。また、比較検出結果は、ここでは、ノイズ周波数帯域ごとに、個別に得られるものとする。

ノイズ除去処理オン／オフ判定４４は、比較処理４３の比較処理結果に基づいて、ノイズ周波数帯域ごとにノイズ除去処理を実行させるか否かを判定する。つまりノイズ除去処理のオン／オフ設定についての判定を行う。これにより、入力信号がノイズであると推定されるノイズ周波数帯域についてノイズ除去処理がオンとなり、入力信号がノイズでないと推定されるノイズ周波数帯域についてはノイズ除去処理がオフとなるようにして設定される。
そして、ノイズ除去処理オン／オフ判定４４は、ノイズ周波数帯域ごとのノイズ波形データを入力している。ノイズ除去処理オン／オフ判定４４は、この入力しているノイズ波形データのうち、ノイズ除去処理をオンに設定したノイズ周波数帯域のノイズ波形データのみを、ノイズ減算処理４５に渡す。

ノイズ減算処理４５は、Ａ／Ｄ変換処理４１から渡される入力信号に対して、上記ノイズ除去処理オン／オフ判定４４から渡されるノイズ波形データを減算する。このようにしてノイズ波形データが減算されることでノイズが除去されることになる。そして、このノイズ除去後の信号が、ノイズ除去処理部４０の出力信号となる。

図４は、上記図３に示したノイズ除去処理部４０の信号処理機能をより具体化して示している。また、この図は、ノイズデータ４６としては、図３での場合と同様に、データ項目は、第１〜第３周波数帯域ごとに区分されているが、レンズ駆動速度に応じた区分はないことを前提とする。

この図に示すノイズ除去処理部４０は、Ａ／Ｄ変換器５０、ＦＦＴ処理部５１、第１ＢＰＦ(Band Pass Filter)５２、第２ＢＰＦ５３、第３ＢＰＦ５４、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７、スイッチＳＷ１，ＳＷ２，ＳＷ３、ＩＦＦＴ処理部５８、減算器５９を有して構成されている。これらの部位についての図１との対応としては、先ず、Ａ／Ｄ変換器５０が音声用Ａ／Ｄ変換器２２に相当する。また、他の部位についてはＤＳＰ２５にプログラムを実行させることで得られる信号処理として実現される。

入力信号は、先ずＡ／Ｄ変換器５０によりデジタルの信号に変換され、ＦＦＴ処理部５１と減算器５９とに入力される。

ＦＦＴ処理部５１は、入力された時間軸による信号を、ＦＦＴ（Fast Fourier Transform：高速フーリエ変換）により周波数領域の信号(周波数信号)に変換する。また、減算器５９に対しては、ＩＦＦＴ(Inverse FFT)処理部５８により周波数信号から時間軸信号に変換されたうえでノイズ波形データに相当する信号が入力される。つまり、本実施形態では、ノイズ除去のオン／オフ判定に関する処理は、周波数領域の信号を用いて行うこととしている。
ＦＦＴ処理部５１にて得られた周波数領域の入力信号は、第１〜第３ＢＰＦ５２〜５４のそれぞれに対して渡される。

第１ＢＰＦ５２、第２ＢＰＦ５３、第３ＢＰＦ５４は、図３のノイズ周波数帯域抽出処理４１を実行する。第１ＢＰＦ５２、第２ＢＰＦ５３、第３ＢＰＦ５４は、それぞれ、ノイズデータ４６の第１周波数帯域、第２周波数帯域、第３周波数帯域に対応して設けられている。
第１ＢＰＦ５２は、ノイズデータ４６から第１周波数帯域に対応するノイズ周波数帯域データを取り込んで、このノイズ周波数帯域データが示すノイズ周波数帯域ＮＷ１に対応する周波数帯域範囲を通過帯域として設定する。
同様に、第２ＢＰＦ５３は、ノイズデータ４６から第２周波数帯域に対応するノイズ周波数帯域データを取り込み、このノイズ周波数帯域データが示すノイズ周波数帯域ＮＷ２に対応する周波数帯域範囲を通過帯域として設定する。
同様に、第３ＢＰＦ５４は、ノイズデータ４６から第３周波数帯域に対応するノイズ周波数帯域データを取り込み、このノイズ周波数帯域が示すノイズ周波数帯域ＮＷ３に対応する周波数帯域範囲を通過帯域として設定する。
ここでは、第１ＢＰＦ５２を通過したノイズ周波数帯域ＮＷ１の信号、第２ＢＰＦ５３を通過したノイズ周波数帯域ＮＷ２の信号、第３ＢＰＦ５４を通過したノイズ周波数帯域ＮＷ２の信号を、それぞれ信号Ｓ１，Ｓ２，Ｓ３とする。

図６は、上記第１ＢＰＦ５２、第２ＢＰＦ５３、第３ＢＰＦ５４の処理を模式的に示している。
図６（ａ）は、ＦＦＴ処理部５１から出力されて第１ＢＰＦ５２、第２ＢＰＦ５３、第３ＢＰＦ５４に入力される段階の入力信号を周波数領域により示している。この入力信号の周波数帯域範囲に対して、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３により特定される周波数帯域は、例えば図のようになる。
そして、第１ＢＰＦ５２は、図６（ｂ）に示すように、ノイズ周波数帯域ＮＷ１を通過帯域として設定することで、図６（ａ）の入力信号からノイズ周波数帯域ＮＷ１のみを通過させた信号成分を信号Ｓ１として出力する。
同様に、第２ＢＰＦ５３は、図６（ｃ）に示すように、ノイズ周波数帯域ＮＷ２を通過帯域として設定することで、図６（ａ）の入力信号からノイズ周波数帯域ＮＷ２のみを通過させた信号成分を信号Ｓ２として出力する。
同様に、第３ＢＰＦ５４は、図６（ｄ）に示すように、ノイズ周波数帯域ＮＷ３を通過帯域として設定することで、図６（ａ）の入力信号からノイズ周波数帯域ＮＷ３のみを通過させた信号成分を信号Ｓ３として出力する。

図４において、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７は、図３の比較処理４３に相当する。
第１相関性検出部５５は、信号Ｓ１と、ノイズ周波数帯域ＮＷ１に対応するノイズ波形データ（実ノイズデータ）Ｎ１とを入力して相関性を検出する。同様に、第２相関性検出部５６、第３相関性検出部５７は、それぞれ、信号Ｓ２，Ｓ３と、ノイズ周波数帯域ＮＷ２，ＮＷ３に対応するノイズ波形データＮ２，Ｎ３とを入力して相関性を検出する。

図７には、レンズノイズが含まれる入力信号（収音音声信号）の周波数特性が示されている。
この図に示されるように、レンズノイズは、ノイズ周波数帯域ＮＷ１、ＮＷ２、ＮＷ３において振幅のピークが突出して出現する特性となっている。ノイズ波形データ（暗ノイズデータ、実ノイズデータ）は、図７のノイズ周波数帯域ＮＷ１、ＮＷ２、ＮＷ３における暗ノイズの音声信号、若しくは実ノイズの音声信号の振幅を示す。
また、ここではノイズ波形データとの名称を与えているが、これまでの説明から理解されるように、実際においては、ノイズ波形データは周波数領域の信号である。周波数領域の信号を時間領域の信号に変換したとすれば、ノイズとしての波形が復元されるものであり、この点で、周波数領域の信号であっても、実質、ノイズ波形を示しているといえる。

第１相関性検出部５５が実行する相関性検出の処理として基本となる一例を図８に示す。
図８には、ノイズ周波数帯域ＮＷ１に対応する信号Ｓ１（破線）と、実ノイズデータから得られるノイズ波形信号Ｎ１（実線）とが示されている。ここでの信号Ｓ１とノイズ波形信号Ｎ１のスペクトラムの近似の度合い、即ち、波形の近似の度合いは、図において斜線で示す形状差部分の面積により扱うことができる。この形状差部分の面積が小さいほど、入力信号は、ノイズとの相関が高くなる。
そこで、例えば信号Ｓ１についてのノイズ周波数帯域ＮＷ１の区間での積分値Int_S1を求める。同様に、ノイズ波形データＮ１についてのノイズ周波数帯域ＮＷ１の区間での積分値Int_N1を求める。そのうえで、
｜Int_S1 − Int_N1｜=D1・・・（式１）
を求める。このようにして求められる差分絶対値D1が、上記図８の形状差部分の面積を示している。
第２相関性検出部５６、第３相関性検出部５７も同様にして上記（式１）に準じて差分絶対値D2,D3を求める。

この場合の第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７は、図３のノイズキャンセル処理オン／オフ判定４４における、オン／オフ判定も実行するものとする。
このために、第１相関性検出部５５は、上記のようにして求めた差分絶対値D1と閾値とを比較し、例えば差分絶対値D1が閾値を越えていなければ、入力信号とノイズは相関が無いと判定する。また、差分絶対値D1が閾値以内であれば、入力信号とノイズは相関が有ると判定する。
同様に、第２相関性検出部５６は、差分絶対値D2と閾値とを比較して、入力信号とノイズとの相関の有無を判定する。また、第３相関性検出部５７は、差分絶対値D3と閾値とを比較して、入力信号とノイズとの相関の有無を判定する。
このようにして、本実施形態では、ノイズ周波数帯域ごとに対応して個別に相関性検出つまり、レンズノイズの有無についての判定を行うようにしている。

図９は、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７のそれぞれによるオン／オフ判定の結果例を示している。
入力信号の周波数特性として、例えば図９（ａ）にて実線で示すものであったとする。また、ノイズ波形データに対応したノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３の各ノイズ成分のスペクトラムは、図において斜線で示す部分であるとする。この場合、ノイズ周波数帯域ＮＷ１，ＮＷ３においては、入力信号とレンズノイズのスペクトラム(振幅形状)はほぼ一致している。これに対して、ノイズ周波数帯域ＮＷ２の近傍においては、レンズノイズとは全く異なるスペクトルとなっている。

上記図９（ａ）の状態に応じては、差分絶対値D1,D3がそれぞれ閾値を越えるが、差分絶対値D2は閾値以内との比較結果が得られるものとする。これにより、例えば図９（ｂ）に示すように、第１相関性検出部５５、第３相関性検出部５７は相関性有りとの判定結果を得る。これに応じて、ノイズ除去についてはオンを設定する。これに対して、第２相関性検出部５６は相関性無しとの判定結果を得ることになり、これに応じて、ノイズ除去についてはオフを設定する。

スイッチＳＷ１，ＳＷ２，ＳＷ３は、図３のノイズ除去処理オン／オフ判定４４においてノイズ波形データをノイズ減算処理４５に出力させるか否かの設定を行う部位に相当する。
スイッチＳＷ１，ＳＷ２，ＳＷ３は、それぞれ、減算用のノイズ波形データＮ１，Ｎ２，Ｎ３をＩＦＦＴ処理部５８に入力させる経路に挿入されるようにして設けられている。なお、減算用のノイズ波形データについては後述する。
第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７は、上記のノイズ除去設定のオン／オフ判定結果に応じて、それぞれ上記スイッチＳＷ１，ＳＷ２，ＳＷ３のオン／オフ設定を行う。ノイズ除去設定がオンとの判定の場合には、スイッチＳＷをオンとし、ノイズ除去設定がオフとの判定の場合には、スイッチＳＷをオフとする。

例えば図９の判定結果に応じては、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７は、それぞれ、スイッチＳＷ１をオン、スイッチＳＷ２をオフ、スイッチＳＷ３をオンとする。
図１０は、図９の判定結果に応じてＩＦＦＴ処理部５８経由で減算器５９に対して入力させる減算用のノイズ波形データの信号を周波数領域により示している。この図に示すように、スイッチＳＷ１，ＳＷ３がオン、スイッチＳＷ２がオフとされていることで、減算器５９に対しては、ノイズ周波数帯域ＮＷ１、ＮＷ２に対応するノイズ波形データのみが出力される。

ここで、スイッチＳＷ１，ＳＷ２，ＳＷ３経由で減算器５９に対して出力する減算用のノイズ波形データＮ１，Ｎ２，Ｎ３として、最も基本的で簡易なものとしては、ノイズデータ４６の実ノイズデータとされればよい。
しかし、厳密には、実ノイズデータには、レンズが動いていないときに定常的に発生している暗ノイズも含まれている。この暗ノイズのエネルギーが非常に小さい場合には、減算用のノイズ波形データとして、上記実ノイズデータのみを利用しても問題になることはない。しかし、暗ノイズも比較的にエネルギーが強いような場合には、実ノイズデータのみにより減算を行うと、レンズの動きに応じて発生したノイズだけでなく、暗ノイズも除去することになる。この場合、必要以上に信号を減衰させることになってしまい、レンズの動きがないときと同等の波形を得ることができなくなる。つまり、減算用としては、暗ノイズ成分を除いた、レンズノイズ成分のみから成るノイズ波形データのほうが、より良好なノイズ除去が可能になる。

そこで、本実施形態では、減算用のノイズ波形データとして、ノイズデータ４６における実ノイズデータに加えて、暗ノイズデータも利用することによって、暗ノイズを除いたノイズ波形データを生成できるようにしている。
図１１（ａ）は、マイクロフォンにより収音された音声について、レンズの動きによってノイズが発生しているときの状態を示している。実ノイズデータは、例えば図１１（ａ）においてノイズが発生している周波数帯域範囲である、ノイズ周波数帯域ＮＷにおける信号成分を抜き出したデータである。
図１１（ｂ）は、マイクロフォンにより収音された音声について、レンズノイズが発生していないときの状態を示している。この図において現れているスペクトラムが暗ノイズを示している。ノイズ周波数帯域ＮＷに対応する暗ノイズは、この図１１（ｂ）に示されるノイズ周波数帯域ＮＷの信号成分を抜き出したデータである。

そして、図１１（ａ）、図１１（ｂ）から分かるように、暗ノイズ成分を含まないノイズ波形データは、実ノイズデータから暗ノイズデータを減算することによって得ることができる。ノイズ除去処理部４０は、スイッチＳＷ１，ＳＷ２，ＳＷ３に対して、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３ごとに求めた暗ノイズ成分を含まないノイズ波形データ減算器５９での減算用として供給する。

図４において、減算器５９は、A/D変換器５０からの入力信号に対して、ＩＦＦＴ処理部５８経由で時間軸信号に変換された減算用のノイズ波形データの信号を減算する。これにより、入力信号からレンズの動きに応じて発生したノイズの除去が行われたことになる。
例えば、入力信号が図９に示したものであった場合、減算器５９からの出力信号のスペクトルは、図１２（ａ）に示されるものとなる。図９（ａ）と比較して分かるように、図１２（ａ）においては、ノイズ周波数帯域ＮＷ１，ＮＷ３において現れていた、ノイズとして判定されたピークが抑制されている。また、ノイズ周波数帯域ＮＷ２においてはノイズ波形信号による減算が行われておらず、図９（ａ）と同じスペクトルが得られていることが分かる。この図１２（ａ）に示されるスペクトルは、レンズの動きによるノイズが発生していない場合において得られていたものと同等であるとみることができる。

また、比較として、図１２（ｂ）に、ノイズ除去のオン／オフ設定をノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３ごとに個別に行うことなく、一律に行うこととした場合のノイズ除去結果を示す。
ノイズ除去のオン／オフ設定をノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３で一律に行った場合には、実際にノイズが発生したノイズ周波数帯域ＮＷ１，ＮＷ３だけではなく、ノイズが発生していないノイズ周波数帯域ＮＷ２も対象にしてノイズを除去してしまうことになる。この結果、図１２（ｂ）において示されるように、ノイズ周波数帯域ＮＷ２においては、本来のノイズ以外の音のスペクトルが損なわれる。つまり、適切なノイズ除去が行われない。

なお、上記の例では、ノイズデータ４６において図２に示したとおりに、暗ノイズデータと実ノイズデータが記憶されており、これら暗ノイズデータと実ノイズデータとを利用して減算用のノイズ波形データを生成することとしている。しかし、例えば暗ノイズデータをノイズデータ４６に格納する代わりに、ノイズ周波数帯域ごとに応じた減算用のノイズ波形データ（振幅値のデータ）を格納しておいてもよい。

図５のフローチャートは、これまでに説明したノイズ除去処理に対応して撮像装置本体２が実行する処理を示している。また、この図では、撮像装置本体２側でのノイズデータ取得に関連して、交換レンズ１の処理も示されている。
なお、この図において、撮像装置本体２側が実行する処理は、制御部３０、カメラ制御部３１、ＤＳＰ２５が適宜実行する処理としてみることができる。
また、この図に示す処理は、撮像装置本体２に交換レンズ１が装着されていることで、撮像装置本体２と交換レンズ１とで通信可能な状態にあることを前提とする。図１との対応では、撮像装置本体２の制御部３０は、カメラ制御部３１を経由して、レンズ制御部１２と通信可能な状態にある。

先ず、ノイズ除去処理の開始にあたり、撮像装置本体２は、ステップＳ１０１により、交換レンズ１に対して、ノイズデータ４６を保持しているか否かについての問い合わせを送信する。
交換レンズ１では、ステップＳ２０１により上記の問い合わせを受信したことに応じて、ステップＳ２０２により、ノイズデータを保有していることの通知を返す。

撮像装置本体２は、ステップＳ１０２により、交換レンズ１がノイズデータ４６を保有しているか否かについて判別する。
例えば、この図のとおりに、ステップＳ２０２により送信された通知が撮像装置本体２にて受信されたのであれば、ステップＳ１０２において肯定の判別結果が得られる。これに対して、交換レンズ１がノイズデータ４６を保有しておらず、問い合わせに対する応答がない、若しくは、ノイズデータ４６を保有していないことの通知が行われた場合には、否定の判別結果が得られる。

ここでは、ステップＳ１０２において否定の判別結果が得られた場合の最も簡単な処理として、ステップＳ１１７にて所定のアラート処理を実行する。アラート処理としては、例えば撮像装置本体２のモニタ３６などに、現在装着されている交換レンズはノイズデータ４６を保持していないために、ノイズデータ４６を利用したノイズ除去はできない旨を通知するための表示を実行させる。なお、以降においては、例えば標準として予め撮像装置本体２に記憶させたノイズデータを利用してノイズ除去処理を実行させる、若しくは、ノイズデータ自体を利用しない、他のノイズ除去処理を実行させるという対策を考えることができる。

ステップＳ１０２において肯定の判別結果が得られた場合には、ステップＳ１０３以降の、ノイズデータ４６を利用したノイズ除去処理を開始する。
先ず、ステップＳ１０３においては、変数ｎに１を代入する。この変数ｎは、図２のノイズデータ４６との対応では、第１周波数帯域、第２周波数帯域、第３周波数帯域の何れかの番号に対応する。

ステップＳ１０４においては、撮像装置本体２から交換レンズ１に対して、第ｎノイズ周波数帯域データ（ＮＷｎ）を要求する。ここでいう第ｎノイズ周波数帯域データとは、ノイズデータ４６において、第ｎ周波数帯域に対応して格納されているノイズ周波数帯域データ（開始周波数、中心周波数、終了周波数（ＮＷｎ））をいう。
交換レンズ１では、ステップＳ２０３により上記の要求を受信すると、これに応答して、ステップＳ２０４により、ノイズデータメモリ１４のノイズデータ４６から、第ｎノイズ周波数帯域データ（ＮＷｎ）を読み出して、撮像装置本体２に送信する。
撮像装置本体２は、ステップＳ１０５により第ｎノイズ周波数帯域データ（ＮＷｎ）を受信すると、ステップＳ１０６により、入力信号から、第ｎノイズ周波数帯域データ（ＮＷｎ）が示す周波数帯域の信号成分を抽出する処理を実行する。つまり、図４との対応では、第１〜第３ＢＰＦ５２〜５４のうち、変数ｎにより指定される１つのＢＰＦにより入力信号を通過させる処理が実行される。

次に、撮像装置本体２は、ステップＳ１０７により第ｎ周波数帯域に対応して格納されるノイズ波形データを、交換レンズ１に対して要求する。なお、ここで要求するノイズ波形データとしては、実ノイズデータと暗ノイズデータとを要求する。
交換レンズ１では、ステップＳ２０５により上記の要求を受信したことに応じて、ステップＳ２０６により、ノイズデータメモリ１４のノイズデータ４６から、第ｎ周波数帯域に対応して格納されている実ノイズデータと暗ノイズデータを読み出して、要求されたノイズ波形データとして、撮像装置本体２に送信する。

撮像装置本体２は、ステップＳ１０８により上記ノイズ波形データを受信すると、まずは、実ノイズデータを利用してステップＳ１０９にて相関性検出処理を実行する。この相関性検出処理は、図４との対応では、第１〜第３相関性検出部３３〜５７のうち、変数ｎにより指定される１つの相関性検出部が、例えば先に述べた手法による相関性検出を実行するものとなる。

次に撮像装置本体２は、ステップＳ１０９の相関性検出処理により、相関性有りとの検出結果が得られたか否かについて判別する。ここで、肯定の判別結果が得られた場合には、ステップＳ１１１に進んで、第ｎ周波数帯域のノイズ除去をオンに設定する。これに対して、相関性無しとの検出結果が得られたことに応じて、否定の判別結果が得られたのであれば、ステップＳ１１２に進んで、第ｎ周波数帯域のノイズ除去をオフに設定する。図４との対応では、このオン／オフ設定に応じて、変数ｎにより指定される１つの相関性検出部が，対応するスイッチＳＷｎのオン／オフを切り換える。

ステップＳ１１３では、変数ｎについてインクリメントし、ステップＳ１１４にて現在の変数ｎが最大値を越えていると判別されなければ、ステップＳ１０４に戻る。つまり、ノイズ除去処理部４０において、次の第ｎ周波数帯域に対応するノイズ判定処理が実行されることになる。
そして、ステップＳ１０４〜ステップＳ１１２までの処理を、設定されたノイズ周波数帯域ごとに実行すると、ステップＳ１１４にて肯定の判別結果が得られることとなって、ステップＳ１１５、Ｓ１１６の処理に進む。

ステップＳ１１５は、ノイズ除去オンが設定されたノイズ周波数帯域ごとに対応して、例えば図１１により説明したようにして、暗ノイズデータと実ノイズデータとを利用して、減算用のノイズ波形データを生成し、これらの減算用のノイズ波形データを合成する。図４との対応では、減算用のノイズ波形データの合成は、スイッチＳＷ１，ＳＷ２，ＳＷ３を経由した後において実行される。
そして、ステップＳ１１６により、入力信号から、上記合成された減算用ノイズデータを減算する。つまり、図４の減算器５９としての処理を実行する。
ステップＳ１１６の後はステップＳ１０３に戻る。つまり、これまでに説明した設定されたノイズ周波数帯域ごとのノイズ除去オン／オフ設定と、この設定結果に応じたノイズ周波数帯域ごとのノイズ除去処理を繰り返す。

なお、図５の処理では、撮像装置本体２は、ノイズ周波数帯域ごとのノイズ除去オン／オフ設定を実行する都度、交換レンズ１からノイズデータ４６を取得するようにしている。しかし、実際においては、撮像装置本体２としては、例えば交換レンズ１が装着されて通信可能となったときに、予め、交換レンズ１からノイズデータ４６を読み出して保持しておき、以降、この保持したノイズデータ４６からの読み出しを行って、図５に準じたノイズ除去処理を繰り返し実行すればよい。

また、図２のようにしてズーム対応ノイズデータとフォーカス対応ノイズデータとを有する場合には、現在駆動されているレンズが、ズームレンズとフォーカスレンズとの何れであるのかを判定しているようにする。この判定は、例えばカメラ制御３１のレンズ駆動制御状態を監視することで行える。
そして、ズームレンズが駆動されているのであればズーム対応ノイズデータから、フォーカスレンズが駆動されているのであればフォーカスレンズ対応ノイズデータから、必要なノイズデータ項目を取得してノイズ除去処理に用いるようにする。

＜４．ノイズデータの作成例＞
続いて，図１３〜図１５を参照して、ノイズデータ４６の作成例について説明する。
ノイズデータ４６を作成するのにあたっては、先ず、図１３に示すようにして、交換レンズ１を装着した撮像装置本体２を無響室６１に置く。無響室６１に置くことで、レンズノイズ以外の不要な音が存在しない環境が得られる。

また、この場合においては、マイクロフォン２１により収音して得られた音声信号は、例えばＡ／Ｄ変換器５０によりデジタルに変換した後に、ノイズデータ作成部６０に対して入力されるようにしている。
ノイズデータ作成部６０は、例えばコンピュータ装置などにより構成されて、入力される音声信号からノイズデータ４６を作成する機能を与えられている。また、ここでは、ノイズデータ作成部６０により作成したノイズデータ４６を、交換レンズ１のノイズデータメモリ１４に書き込むことができるようになっている。

図１４は、図１３の環境でのノイズデータ４６の作成作業の手順をフローチャートとして示したものである。
ここでは先ず、ステップＳ３０１により、交換レンズ１を駆動せずにレンズを停止させた状態でマイクロフォン２１による収音を行って音声信号を得る。
ここで、レンズを駆動した状態でマイクロフォン２１により収音される音は、暗ノイズとなる。この暗ノイズの音声信号は、例えば、図１５（ａ）に示すような比較的平坦なスペクトラムが得られる。
次のステップＳ３０２においては、上記ステップＳ３０１により収音して得られた暗ノイズの音声信号を、ノイズデータ作成部６０に入力する。ノイズデータ作成部６０では、この入力された暗ノイズの音声信号のデータを保持しておく。

次のステップＳ３０３は、交換レンズ１を駆動してレンズを動かした状態でマイクロフォン２１による収音を行う。このようにしてレンズを動かしたときに収音される音声は、レンズが動いたことで発生したノイズが重畳されている。つまり、実ノイズの音声信号となる。このような実ノイズの音声信号のスペクトルの例は、図１５（ｂ）に示される。
そこで、次のステップＳ３０４により、上記ステップＳ３０３により収音して得られた実ノイズの音声信号を、ノイズデータ作成部６０に入力する。ノイズデータ作成部６０は、この入力された実ノイズの音声信号のデータも保持しておく。

ステップＳ３０５においては、これまでの作業手順によりノイズデータ作成部６０が保持することとなった実ノイズと暗ノイズとに対応する音声信号を利用して、ノイズデータ４６を作成する。つまり、ノイズデータを形成するデータ項目の値を求めて、求められたデータ項目の値により、例えば図２に示した構造のノイズデータを作成する。
例えば、ノイズ周波数帯域は、実ノイズの音声信号と暗ノイズの音声信号のスペクトルを比較することで特定できる。つまり、暗ノイズの音は図１５（ｂ）に示すように比較的平坦な特性であるのに対して、実ノイズの音は、図１５（ｂ）に示すようにして、レンズの動きに応じて発生したノイズに対応する周波数帯域のレベルに大きなピークが現れる。従って、ノイズデータ作成部６０は、暗ノイズと実ノイズの特性とを比較する処理によって、ノイズ周波数帯域を容易に特定できる。
また、実ノイズデータは、実ノイズの音声信号から、特定されたノイズ周波数帯域ごとの信号成分を抜き出して、これをデータ化すればよい。
暗ノイズデータも、同様に、暗ノイズの音声信号から、特定されたノイズ周波数帯域ごとの信号成分を抜き出して、これをデータ化すればよい。

また、疑似ノイズデータについては、特定されたノイズ周波数帯域ごとの、実ノイズと暗ノイズの信号成分に基づいて、例えば所定の変換アルゴリズムなどを用いて作成することが可能である。

また、経年変化係数、温度変化係数、湿度変化係数、テレコンバータ補正係数などは、例えば予めの試験などにより求めておいたうえで、ノイズデータ作成部６０に保持させておくようにすればよい。そして、このステップＳ３０５としてのノイズデータ作成時において、これらの係数のデータを読み出して、データ項目として作成すればよい。

また、図２のノイズデータ４６のようにして、異なるレンズ駆動速度ごとのデータ項目を必要とするときには、ステップＳ３０３，Ｓ３０４による実ノイズの音声の収音と、ノイズデータ作成部６０への入力について、レンズ駆動速度を変更しながら、必要回数を繰り返せばよい。

そして、上記のようにしてノイズデータ４６が作成されたのであれば、ノイズデータ作成部６０から交換レンズ１のノイズデータメモリ１４に対して、作成したノイズデータ４６を転送して書き込むようにする。
また、図２のノイズデータ４６の例のようにして、ズーム対応ノイズデータとフォーカス対応ノイズデータとを有する場合には、ステップＳ３０３，Ｓ３０４の作業を、ズーム対応ノイズデータとフォーカス対応ノイズデータとに対応させて２回実行すればよい。つまり、ステップＳ３０３でズームレンズを駆動させて、ズームレンズが動いているときの実ノイズの音声信号を得る作業と、ステップＳ３０３でフォーカスレンズを駆動させてズームレンズが動いているときの実ノイズの音声信号を得る作業とを行えばよい。

なお、ここでは、ノイズデータ作成部６０により作成したノイズデータを、直ちに、交換レンズ１のノイズデータメモリ１４に書き込むこととしている。しかし、例えばノイズデータ作成部６０により作成したノイズデータを、一旦、内部に記憶させておき、後において、同じ機種、形式の交換レンズ１のノイズデータメモリ１４に対して一括して書き込むようにしてもよい。
ただし、同じ機種、形式の交換レンズ１であっても、個体差により、レンズノイズの特性には違いがあると考えられる。そこで、図１４に示した作業により、交換レンズごとにノイズデータ４６を作成して書き込むこととすれば、上記の交換レンズの固体差に応じた特性の違いに対して容易に対応できる。

＜５．第２実施形態：レンズ駆動速度に応じた処理＞
これまでにも述べているように、ノイズデータ４６には、周波数帯域ごとに、レンズ駆動速度に応じたデータ項目を格納することができる。図２のノイズデータ４６の例では、第１〜第３周波数帯域ごとに、低速、中速、高速の３段階のレンズ駆動速度に応じたデータ項目が格納されている。
先の第１実施形態での説明では、基本的な本実施形態のノイズ除去処理を説明する便宜上、レンズ駆動速度に応じた処理については説明を省いた。
そこで、第２実施形態として、レンズ駆動速度に応じたノイズ除去処理の例について説明する。

図１６（ａ）（ｂ）（ｃ）は、それぞれ、低速、中速、高速のレンズ駆動速度ごとに応じて得られる、実ノイズの音声信号を示している。
これらの図を比較して分かるように、先ず、レンズ駆動速度が異なるのに応じて、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３としての周波数範囲が変化している。また、各ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３において現れる実ノイズに対応した振幅形状も、レンズ駆動速度が異なるのに応じて変化している。この振幅形状の違いは、実ノイズデータにより示されるものとなる。
ノイズデータ４６は、このようなレンズ駆動速度ごとに応じた違いが反映されるようにして、レンズ駆動速度ごとのノイズ周波数帯域データ、実ノイズデータなどをはじめとするデータ項目の値を格納している。

そして、駆動速度の違いに対応したノイズ除去処理を実行するのにあたっては、例えば撮像装置本体２の制御部３０は、カメラ制御部３１から、現在のレンズ駆動速度の情報を取り込むようにする。レンズ駆動の制御はカメラ制御部３１が実行するので、レンズ駆動速度は、カメラ制御部３１から得ることができる。
次に、制御部３０は、取り込んだレンズ駆動速度が、例えば図２との対応であれば、低速、中速、高速の何れの段階に該当するのかを判定し、その判定結果をＤＳＰ２５のノイズ除去処理部４０に通知する。
ノイズ除去処理部４０は、そのときに実行しているノイズ除去処理に利用するためのノイズデータとして、通知されたレンズ駆動速度に応じて格納されているノイズデータを読み出して利用する。これにより、レンズ駆動速度に応じたレンズノイズの特性の変化に対応して、適切にノイズ除去を行えることになる。

なお、例えば実際においては、レンズ駆動速度、つまり、レンズが動かされる速度は、例えば高速、低速、中速などとしての規定の段階速度の間で速度が変化する過渡期において、その中間の速度が現れる。
実際においては、段階的に設定した速度のみに対応するノイズデータのデータ項目を利用してノイズ除去処理を実行すれば、充分なノイズ除去結果を期待できる。
しかし、より厳密にノイズ除去を行おうとすれば、上記の過渡期における中間速度にも対応してノイズ除去をおこなうようにしてよい。
このためには、例えば、規定の段階速度の間で速度を変更するときには、その過渡期において、ノイズ周波数帯域データ、ノイズ波形データなどのデータに、その中間速度に応じた係数を与え、この係数が与えられたノイズ周波数帯域データ、ノイズ波形データを利用してノイズ除去処理を実行するように構成することが考えられる。

＜６．第３実施形態：レンズの経年変化に応じた処理＞
また、図２のノイズデータ４６の例では、経年変化係数が示されている。
この経年変化係数は、先に述べたように、交換レンズ１の使用時間に応じて、例えば、ノイズ周波数帯域（開始周波数、中心周波数、終了周波数）、また、暗ノイズデータ、実ノイズデータ、疑似データなどのデータ項目の値を変化させるための係数である。
例として、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３（開始周波数、中心周波数、終了周波数）についての、経年変化係数を図１７に示す。この場合のノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３の経年変化について試験したところ、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３（開始周波数、中心周波数、終了周波数）は、それぞれ、使用時間に応じて、或る一定比率でその周波数高くなっていくような傾向にあったものとされる。そこで、係数値としては、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３ごとに、使用時間が０のときに１とされたうえで、使用時間の増加に応じて、上記の一定比率に応じて増加していくものとなる。ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３の経年変化係数は、例えばこのような使用時間に応じて変化する係数値を示し得る、所定構造のデータとなる。なお、この場合には、ノイズ周波数帯域、ノイズ波形データをはじめ、経年変化係数を与えるべきデータ項目の値については、使用時間が０のときに対応して得られる値（実際は、はじめて使用したときに得られる値）をノイズデータ４６に格納しておくことになる。また、このような係数値として例えば暗ノイズデータ、実ノイズデータのためのものについても格納しておくようにする。
なお、図１７は、係数値が使用時間に応じて一次関数的に変化する状態として示しているが、ノイズデータ４６に格納する経年変化係数としては、例えば、或る使用時間ごとの幅に応じて段階的に変化する値を格納するようにしてもよい。

そして、撮像装置本体２が、実際のノイズ除去処理に際して、例えばノイズ周波数帯域やノイズ波形データを利用するときには、そのときの交換レンズ１の使用時間の情報を取得したうえで、ノイズデータ４６から読み出したノイズ周波数帯域、ノイズ波形データの値に対して、取得した使用時間に応じた経年変化係数を乗算し、現在の使用時間に応じたノイズ周波数帯域、ノイズ波形データの値を求める。そして、この求められたノイズ周波数帯域、ノイズ波形データの値を利用して、ノイズ除去処理を実行する。

なお、上記のようにして経年変化係数を利用してノイズ除去処理を実行するためには、交換レンズ１の使用時間の情報が、常に実際の使用に応じて更新されるようにして保持されている必要がある。このための構成としてはいくつか考えられるが、最も順当なものの１つとして、例えば交換レンズ１のレンズ制御部１２が、この使用時間の情報を保持管理するように構成することが考えられる。このためには、レンズ制御部１２は、レンズ部１１１が駆動されるごとにその駆動された時間を積算し、この積算された時間を使用時間として記憶しておくようにする。そして、撮像装置本体２が、ノイズ除去処理を実行するのにあたっては、交換レンズ１から、ノイズデータ４６のノイズ周波数帯域やノイズ波形データとともに、上記の使用時間も取得する。そして、取得したノイズ周波数帯域やノイズ波形データの値に対して、経年変化係数により乗算して得られる値を利用して、ノイズ除去処理を実行する。

なお、図２のノイズデータ４６には、係数のデータ項目として、経年変化係数のほかに、温度変化係数、湿度変化係数、テレコン補正係数が示されている。
温度変化係数、湿度変化係数を利用してノイズ除去処理を実行する場合には、例えば撮像装置本体２が、現在の温度、湿度を測定するとともに、交換レンズ１のノイズデータ４６から、測定した現在の温度、湿度に対応する温度変化係数、湿度変化係数としての係数値を取得する。そして、撮像装置本体２は、ノイズ周波数帯域やノイズ波形データの値に対して、取得した係数値を乗算した値を求め、この求められた値を利用してノイズ除去処理を実行する。

また、テレコン補正係数を利用してノイズ除去処理を実行する場合には、撮像装置本体２が、交換レンズ１に対してテレコンバータが装着されている状態であるか否かについて認識できるようにする。そして、テレコンバータが装着されていると認識しているとき、撮像装置本体２は、交換レンズ１のノイズデータ４６から、ノイズ周波数帯域、ノイズ波形データなどのデータとともに、テレコン補正係数の値も取得する。そして、ノイズ周波数帯域、ノイズ波形データの値に対して、テレコン補正係数を乗算した値を求め、この求められた値を利用してノイズ除去処理を実行する。
なお、テレコンバータが装着されていることを撮像装置本体２が認識できるようにするための構成としては、例えば、先ず、交換レンズ１にて、メカスイッチなどの機構により、テレコンバータが装着されていることを検出できるようにする。そして、交換レンズ１から撮像装置本体２に対して、テレコンバータが装着されていることを通知する、という構成が考えられる。また、撮像装置本体２に対する所定のユーザ操作によって、テレコンバータが装着されていることを内部の制御部３０に通知するような構成とすることも考えられる。

また、コンバージョンレンズには、テレコンバータの他にワイドコンバータもある。例えば、ノイズデータ４６にワイドコンバータに対応した補正係数を格納すれば、上記テレコン補正係数に対応したノイズ除去処理に準じて、ワイドコンバータの装着時に対応したノイズ除去処理を実現できる。

また、補正係数としては、他にも、例えば重力、気圧などに応じたものを考えることができる。

＜７．第４実施形態：交換レンズのノイズデータが無い場合の処理＞
先に図５のフローチャートに示した撮像装置本体２のノイズ除去処理では、最も基本的な処理の流れとして、ステップＳ１０２によりノイズデータが無いとして否定の判別結果が得られた場合には、ステップＳ１１７によりアラート処理を実行する。そして、ステップＳ１１７の処理の後は、ノイズデータ４６を利用したノイズ除去処理は実行しないこととしている。

しかし、ノイズデータ４６を保有していない交換レンズが装着された場合であっても、ノイズデータを利用したノイズ除去処理が実行できる可能性ができるだけ与えられるようにすれば、その交換レンズが発生するノイズを有効に低減できて好ましい。
そこで、第４実施形態として、ノイズデータを記憶保持していない交換レンズが装着されている場合に対応した下記の構成を提案する。

図１８は、第４実施形態に対応するノイズ除去処理部４０の構成例を示している。なお、この図において図１４と同一部分には同一符号を付して説明を省略する。
図１８に示されるノイズ除去処理部４０においては、本体内データ７０が設けられている。
本体内データ７０は、１以上の交換レンズの機種ごとに対応したノイズデータが格納されている。交換レンズの機種ごとのノイズデータの構造、内容としては、例えば図２に準ずればよい。

そして、第４実施形態では、例えば次のようにして、本体内ノイズデータ７０を利用する。
先ず、図２に示すステップＳ１０２においてノイズデータが無いとして否定の判別結果が得られたとする。この場合、第４実施形態の撮像装置本体２は、ステップＳ１１７の処理に代えて、下記の処理を実行する。

つまり、撮像装置本体２は、そのときに装着されている交換レンズ１に対して、その機種を示すデータを要求して取得する。次に、本体内ノイズデータ７０から、取得した交換レンズ１の機種のデータが示すものと同じ機種に対応するノイズデータが記憶されているかどうかを検索する。
そして、本体内ノイズデータ７０において交換レンズ１の機種に対応するノイズデータが記憶されているのであれば、以降は、この本体内ノイズデータ７０における交換レンズ１のノイズデータを利用して、ノイズ除去処理を実行する。つまり、図１８において、第１ＢＰＦ５２、第２ＢＰＦ５３、第３ＢＰＦ５４に入力するノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３のデータは、本体内ノイズデータ７０から読み出したデータとなる。同じく、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７、スイッチＳＷ１，ＳＷ２，ＳＷ３に入力するノイズ波形データも、本体内ノイズデータ７０から読み出したデータに基づくものとなる。
また、本体内ノイズデータ７０において交換レンズ１の機種に対応するノイズデータが記憶されていなければ、ここで改めてステップＳ１１７に準じたアラート処理を実行して、例えば標準のノイズデータを利用したノイズ除去処理を実行する。

＜８．第５実施形態：マイクロフォンの周波数特性を考慮した処理＞
撮像装置本体２が備えるマイクロフォン２１は、例えば実際に採用される製品の型などに応じて、異なる周波数特性を持っていると考えてよい。
このことからすると、厳密には、マイクロフォン２１により収音して得られた音声信号（入力信号）に含まれるレンズノイズは、マイクロフォン２１の周波数特性が与えられていることになる。このことは、実際に入力信号に含まれるレンズノイズの周波数特性は、ノイズデータ４６において格納されているノイズ周波数帯域やノイズ波形データの特性に対して、マイクロフォン２１の周波数特性の影響分による差を生じていることになる。

第５実施形態は、上記したマイクロフォン２１の周波数特性の影響による入力信号のノイズ特性と、ノイズデータ４６との誤差を解消して、より適切にノイズ除去処理が行えるようにするための構成である。

図１９は、第５実施形態に対応したマイクロフォン２１、及びノイズ除去処理部４０の構成例を示している。なお、この図において、図４と同一部分には、同一符号を付して説明を省略する。
第５実施形態に対応しては、先ず、マイクロフォン２１が、周波数特性（ｆ特）データ２１ａを記憶保持する。また、ノイズ除去処理部４０においては、ノイズデータ４６から読み出したノイズ波形データを、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７、スイッチＳＷ１，ＳＷ２，ＳＷ３に入力させる系に対して、周波数特性（ｆ特）補正部７１を挿入して設ける。

第５実施形態のノイズ除去処理は次のようになる。
ノイズ除去処理に際しては、ノイズ除去処理部４０においては、上記第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７、スイッチＳＷ１，ＳＷ２，ＳＷ３に入力させるべきノイズ波形データ（実ノイズデータ、暗ノイズデータ）を、先ず、周波数特性補正部７１が入力する。また、周波数特性補正部７１は、マイクロフォン２１に記憶されている周波数特性データ２１ａも入力する。

ここで、周波数特性補正部７１に対して、ノイズデータ４６から入力したノイズ波形データ（例えば実ノイズ波形）の周波数特性が図２０（ａ）に示すものであったとする。なお、先に述べたように、ノイズ波形データは、実際には、ノイズ周波数帯域ごとの振幅の情報しか有していない。しかし、ここでは、特性について視覚的に分かりやすくなることを考慮して、入力信号の周波数帯域に対応したレンズノイズの振幅を示している。

また、周波数特性補正部７１が入力した、マイクロフォン２１の周波数特性データ２１ａが示す周波数特性の例を図２０（ｂ）に示す。

そして、周波数特性補正部７１は、図２０（ｃ）に示すようにして、図２０（ａ）に示される元のノイズ波形データの周波数特性に対して、図２０（ｂ）に示されるマイクロフォン２１の周波数特性を与える処理を実行する。この図２０（ｃ）に示される周波数特性は、元々のノイズ波形データの周波数特性を、マイクロフォン２１の周波数特性に対応させて、実際にマイクロフォン２１により収音されたレンズノイズの周波数特性との誤差が解消されるように補正したものとなる。

そして、ノイズ除去処理部４０においては、上記図２０（ｃ）に示されるようにして補正されたノイズ波形データを、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７、スイッチＳＷ１，ＳＷ２，ＳＷ３に渡すようにする。これにより、マイクロフォン２１の周波数特性に対応して、良好にレンズノイズが除去される。

＜９．第６実施形態：外部マイクロフォンに対応した処理＞

これまでにおけるマイクロフォン２１は、撮像装置本体２において内蔵されるものであるとしていた。ここで、撮像装置本体２が、図２１の平面図に示すようにして、内蔵のマイクロフォン２１だけではなく、外部マイクロフォン２１Ａも装着して収音させることができるようになっているとする。なお、このように複数のマイクロフォンを使用可能な場合には、例えばユーザ操作であるとか、外部マイクロフォン２１Ａの接続状態などに応じて、実際に収音に使用する１つのマイクロフォンについて切換が行われるようになっている。

このようにして、収音に使用するマイクロフォンが複数設けられている場合、例えば、図２１に示しているように、交換レンズ１（即ちレンズノイズ発生源）からマイクロフォン２１までの距離Ｌ１と、外部マイクロフォン２１Ａまでの距離Ｌ２とが異なってくる。これは、マイクロフォン２１を収音のために使用した場合と、外部マイクロフォン２１Ａを収音のために使用した場合とで、収音されるレンズノイズのレベルが変化することになる。
従って、例えばマイクロフォン２１を収音のために使用しているときと、外部マイクロフォン２１Ａを使用しているときとで、同じノイズ波形データを利用していると、上記のレベル差により、例えば外部マイクロフォン２１Ａの使用時には、適正なノイズ除去結果が得られなくなる可能性がある。

そこで、第６実施形態のノイズ除去処理としては、撮像装置本体２が、マイクロフォン２１からノイズ発生点（例えば装着された交換レンズ１において定めた所定の一点）までの距離Ｌ１と、外部マイクロフォン２１Ａからノイズ発生点までの距離Ｌ２の各値を保持しておくようにする。

そのうえで、例えば先ず、内蔵のマイクロフォン２１を使用して収音しているときには、ノイズデータ４６から読み出したノイズ波形データをそのまま利用してノイズ除去処理を実行する。

これに対して、外部マイクロフォン２１Ａを使用して収音しているときには、ノイズ除去処理部４０は、保持している距離L1，L2を利用して、ノイズ波形データのレベルを変更するようにして補正する。最も簡単な例としては、音圧レベルが距離の2条に比例して小さくなることに基づき、ノイズ波形データのレベルについて、例えば(L1/L2)^2（^2は2のべき乗を示す）により得られる値を乗算して補正するというものである。
そして、ノイズ除去処理部４０は、上記のようにしてレベル補正したノイズ波形データ(N1,N2,N3)を、それぞれ、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７、また、スイッチＳＷ１，ＳＷ２，ＳＷ３に入力させるようにする。これにより、使用されるマイクロフォンの切り換えに対応して適切にレンズノイズを除去可能になる。

＜１０．第７実施形態：ノッチフィルタを採用する処理＞
これまでにおいては、ノイズ波形データとして、例えば暗ノイズデータと実ノイズデータから成るデータを利用してノイズ除去処理を実行する場合を例に挙げてきた。
上記したノイズ波形データは、実際のレンズノイズのスペクトルが忠実に反映されているので、ノイズ除去効果が非常に高い。
しかし、例えば或る一定以上のノイズ除去効果が得られさえすれば、むしろノイズ除去処理の負荷を軽くすることを優先したい場合もあると考えられる。第７実施形態はこのような構成の一例となる。

第７実施形態においては、ノイズ波形データ（暗ノイズデータ、実ノイズデータ）に代えて、図２に示した疑似ノイズデータを利用する。
そして、この場合の疑似ノイズデータは、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３ごとにノッチフィルタ（帯域阻止フィルタ (Band-Elimination Filter : BEFともいう)を形成するためのノッチフィルタ特性データＦ１，Ｆ２，Ｆ３となる。

図２２は、第７実施形態に対応したノイズ除去処理部４０の構成例を示している。なお、この図において、図４と同一部分には同一符号を付して説明を省略する。
この図のノイズ除去処理部４０においては、スイッチＳＷ１，ＳＷ２，ＳＷ３に対しては、それぞれ、ノイズ波形データＮ１，Ｎ２，Ｎ３に代えて、ノッチフィルタ特性データＦ１，Ｆ２，Ｆ３が入力される。
また、この図のノイズ除去処理部４０においては、減算器５９に代えてノッチフィルタ８０を挿入する。このノッチフィルタ８０に対して、オン状態のスイッチＳＷ１，ＳＷ２，ＳＷ３を介して、ノッチフィルタ特性データＦ１，Ｆ２，Ｆ３が入力される。ノッチフィルタ８０は、入力されるノッチフィルタ特性データＦ１，Ｆ２，Ｆ３に応じてノッチフィルタの特性を設定して、入力信号を通過させて出力信号として出力する。

ノッチフィルタ特性データＦ１，Ｆ２，Ｆ３は、それぞれ、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３に対応したものとなる。
図２３（ａ）は、ノッチフィルタ特性データＦ１，Ｆ２，Ｆ３を全て有効に設定した場合のノッチフィルタ８０の特性の例を示している。この図に模式的に示されるようにして、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３ごとにおける遮断特性に対応するＶ字形状は、それぞれ異なったものとなっている。
ノッチフィルタとしての１つの遮断特性を決定するパラメータは、例えば図２３（ｂ）に示すようにして、中心周波数ｆｍ、帯域幅ｗ、選択度Q、減衰度dなどとなる。ここで、中心周波数ｆｍ、帯域幅ｗのパラメータは、この場合には、ノイズデータ４６におけるノイズ周波数帯域（開始周波数、中心周波数、終了周波数）として決定されている。従って、ノイズデータ４６において格納されるノッチフィルタ特性データＦ１，Ｆ２，Ｆ３としては、例えば中心周波数ｆｍ、帯域幅ｗは省略して、選択度Q及び減衰度dを有して形成されてよい。

図２２に示したノイズ除去処理部４０の一動作例を記載しておく。
ここで、例えば第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７による各相関性検出処理の結果、第１相関性検出部５５と第３相関性検出部５７では相関有りと検出され、第２相関性検出部５６では相関無しと検出されたとする。これに応じてスイッチＳＷ１，ＳＷ３はオン、スイッチＳＷ２はオフとなるようにして設定される。これに応じて、ノッチフィルタ８０には、スイッチＳＷ１，ＳＷ３を介して、ノッチフィルタ特性データＦ１，Ｆ３が入力されるが、ノッチフィルタ特性Ｆ２は入力されないことになる。

これに応じて、ノッチフィルタ８０は、ノイズ周波数帯域ＮＷ１においてノッチフィルタ特性データＦ１のパラメータによる遮断特性を設定するとともに、ノイズ周波数帯域ＮＷ３においてノッチフィルタ特性データＦ３のパラメータによる遮断特性を設定する。つまり、入力信号の周波数帯域において、ノイズ周波数帯域ＮＷ１、ＮＷ２の２つの帯域範囲にて遮断特性を設定する。これは、例えば図２３（ａ）のフィルタ特性について、ノイズ周波数帯域ＮＷ２については遮断特性を与えずにフラットな特性を与えるようにして変更設定したものとなる。
そして、ノッチフィルタ８０は、上記のようにして自身の特性を設定したうえで、入力信号を通過させる。これにより、出力信号としては、ノイズ周波数帯域ＮＷ１、ＮＷ３が減衰され、一方で、レンズノイズが発生していないノイズ周波数帯域ＮＷ２については減衰されない状態で出力される。つまり、ノイズ周波数帯域ＮＷ１、ＮＷ３にて発生したレンズノイズ成分のみが適正に除去された出力信号が得られる。このようにして、ノッチフィルタを採用する場合においても、ノイズ除去処理のオン／オフは、ノイズ周波数帯域ごとに個別に設定できる。

＜１１．第８実施形態：ノイズ波形データのダウンサンプリングを併用する処理＞
上記第７実施形態は、ノイズ除去処理の負荷を軽くすることを優先する目的で、ノイズ波形データに代えてノッチフィルタを動作させる構成としている。
第８実施形態は、同様にノイズ除去処理の負荷を軽くすることを優先する目的で、ノイズ除去処理に利用するノイズ波形データのデータ量を小さくしようというものである。ノイズ波形データのデータ量が小さくなれば、ノイズ波形データを利用する相関検出処理、減算器５９における入力信号に対するノイズ波形データの減算処理は、その負荷を軽減できる。
また、第８実施形態では、レンズノイズ発生量に応じて、ノイズ除去処理に利用するノイズ波形データについて、ダウンサンプリングしないノイズデータ４６から読み出したままのサンプリング周波数のノイズ波形データと、ダウンサンプリングしたノイズ波形データとで切り換えを行うように構成する。

図２４は、第８実施形態に対応するノイズ除去処理系の構成を示している。なお、この図において図４などと同一委部分には同一符号を付して説明を省略する。
図２４に示すノイズ除去処理部４０においては、ノイズデータ４６から読み出したノイズ波形データＮ１，Ｎ２，Ｎ３を、それぞれ、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７、及びスイッチＳＷ１，ＳＷ２，ＳＷ３に入力させる系において、ダウンサンプル処理部７２を挿入して設けている。

例えば交換レンズ１のレンズ駆動が、比較的長い時間に渡って細かく頻繁に行われるなどしたときには、単位時間のレンズノイズの発生量が増加する。カメラ制御部３１は、現在のレンズ駆動の状態について判断しており、その判断結果をダウンサンプル処理部７２に対して出力する。
ダウンサンプル処理部７２は、カメラ制御部３１から出力される上記のレンズ駆動状態についての判断結果に基づいて、入力するノイズ波形データをダウンサンプルして出力する動作と、ダウンサンプルせずに元のサンプリング周波数によるノイズ波形データのまま通過させて出力する動作とを切り換える。カメラ制御部３１は、交換レンズ１のレンズの駆動制御を実行する部位であるから、レンズ駆動状態については、自身が把握している。

ダウンサンプル処理部７２のダウンサンプル処理例を、図２５に模式的に示す。
図２５（ａ）は、ノイズデータ４６から読み出したとする元のサンプリング周波数によるノイズ波形データを示す。ダウンサンプル処理部７２は、この図２５（ａ）に示す元のサンプリング周波数によるノイズ波形データを入力してダウンサンプル処理を施すことで、例えば図２５（ｂ）に示すようにして、ダウンサンプルされたノイズ波形データを出力する。
図２５（ｃ）は、図２５（ａ）のノイズ波形データを図２５（ｂ）に示すようにしてダウンサンプルする処理の一例を示している。
図２５（ｃ）において実線で示されている波形は、図２５（ａ）のノイズ波形データに相当し、そのサンプリング周波数に応じたサンプルタイミングは、図２５（ｃ）の時点t1,t2,t3として示されている。
そして、この波形に対するダウンサンプル処理としては、例えば時点ｔ２としてのサンプルタイミングにおけるレベルａと、次のサンプリングタイミングにおけるレベルｂとの平均値a+b/2を求める。そして、時点ｔ3のサンプリングタイミングのレベルをa+b/2とする。そして、図２５（ｃ）において破線で示すようにして、時点t1に続くサンプルタイミングとしては、時点t3とする。つまり、ここでは、元のノイズ波形データのサンプリング周波数を1/2とするダウンサンプル処理が実行されている。

このようにしてダウンサンプル処理部７２がダウンサンプリングを実行することで、ノイズ波形データのデータ量が削減される。例えばサンプリング周波数が1/2とされれば、量子化ビット数が同じ条件では、データ量も1/2になる。これにより、第１相関性検出部５５、第２相関性検出部５６、第３相関性検出部５７の相関性検出処理と、減算器５９にて実行される入力信号からの減算処理など、ノイズ波形データを利用する処理の負荷が軽減されることになる。

図２６は、第８実施形態のノイズ除去処理として、ダウンサンプル処理部７２のダウンサンプル処理についてのオン／オフ切り換えのための処理手順例を示している。
ここで、ダウンサンプル処理部７２は、先ず、ステップＳ４０１により、カメラ制御部３１におけるレンズ駆動状態についての判定結果から、交換レンズ１がレンズ駆動を実行中にあるか否かについて判別する。
ステップＳ４０１にて否定の判別結果が得られた場合には、レンズが駆動されておらず、従ってレンズノイズも発生してはいない状態にある。このときには、ステップＳ４０５に進む。ステップＳ４０５では、ダウンサンプル処理は停止させて、入力しているノイズ波形データについては、そのままのサンプリング周波数により出力させる。
また、ステップＳ４０１において肯定の判別結果が得られた場合には、ステップＳ４０２に進む。

ステップＳ４０２においてダウンサンプル処理部７２は、カメラ制御部３１におけるレンズ駆動状態についての判定結果から、レンズ駆動の速度が一定以上であるか否かについて判別する。ステップＳ４０２において否定の判別結果が得られた場合、レンズは駆動されている状態にあるが、レンズ駆動速度が一定以下であるために、レンズノイズの発生量としても一定以下に抑えられている状態であることになる。ここでは、レンズノイズの発生量が一定以下であれば、ノイズデータ４６から読み出したままのサンプリング周波数によるノイズ波形データを利用してノイズ除去処理を実行しても、処理負荷には余裕がある状態が得られている。
そこで、この場合には、ステップＳ４０５に進んで、ダウンサンプル処理は停止させる。

これに対してステップＳ４０２にて肯定の判別結果が得られた場合には、ステップＳ４０３に進む。
ステップＳ４０３においてダウンサンプル処理部７２は、同じくカメラ制御部３１におけるレンズ駆動状態についての判定結果から、レンズ駆動状態として、駆動速度がステップＳ４０２に対応する一定以上で、かつ、駆動時間が所定以上継続しているか否かについて判別する。
ここで、否定の判別結果が得られたのであれば、レンズノイズ発生量は一定以下の状態であるとみなされるので、ステップＳ４０５に進む。これに対して、ステップＳ４０３にて肯定の判別結果が得られた場合には、レンズノイズ発生量が一定以上の状態であることになる。つまり、ノイズデータ４６から読み出したままのサンプリング周波数によるノイズ波形データによるノイズ除去処理では処理負荷が重いとされる状態である。
そこでこの場合には、ステップＳ４０４に進む。ステップＳ４０４では、ダウンサンプル処理部７２は、ノイズ波形データについてダウンサンプリングの処理を実行して出力する。これにより、ノイズ発生量の増加に対して、ノイズ波形データを利用した処理の負荷が軽減される。
このようにして図２６に示す手順によってダウンサンプル処理のオン／オフの切り換えを行うことで、常に、ノイズ発生量に応じて、処理の負荷に負担を与えることなく、良好で適切なノイズ除去効果を期待できる。

なお、図２６のステップＳ４０１〜Ｓ４０３として示した、レンズ駆動状態と、レンズノイズ発生量との関係はあくまでも一例である。現実には、実際のレンズ駆動状態と、これに応じたレンズノイズ発生量、また、実際のノイズ除去処理能力を勘案して、レンズ駆動状態の判定アルゴリズムを設定すべきものとなる。
また、ステップＳ４０４，Ｓ４０５によりノイズ波形データのサンプリング周波数が偏向されるのに応じては、図２４のＡ／Ｄ変換器５０についても、ノイズ波形データのサンプリング周波数に対応したサンプリング周波数によるＡ／Ｄ変換が行われるようにして動作を切り換えることが好ましい。これにより、減算器５９に入力される入力信号とノイズ波形データのサンプリング周波数を同じにすることができ、減算処理を実行しやすくなる。

また、図２６に示した動作の切り換えは、先の第７実施形態にも適用できる。
つまり、例えばステップＳ４０１〜Ｓ４０３に準じたレンズ駆動状態の判定結果として否定の判別結果が得られる場合には、例えば図４などに示した、ノイズ波形データ（実ノイズデータ、暗ノイズデータ）を利用したノイズ除去処理を実行する。
これに対して、ステップＳ４０３において肯定の判別結果が得られた場合には、ノイズ除去処理部４０を、例えば図２２に示したノッチフィルタ８０によりノイズを除去する構成に変更する、というものである。

＜１２．第９実施形態：相関性検出の他の例＞
本実施形態における相関性検出の手法としては、いくつか考えられるということについては、先に述べた。また、その中での基本的な手法の１つとして、ノイズ波形データと入力信号とのスペクトラム形状の面積の差分（差分絶対値D）を求め、この差分絶対値Dに基づいて相関性の有無を判定する手法を、図８により説明した。

ここでは、相関性検出処理の他の手法例について、図２７により説明する。
ここで説明する手法は、入力信号とノイズ波形データのスペクトラム形状の相似性を用いるものとなる。
ここで、図２７（ａ）には、或る同じ周波数帯域における入力信号とノイズ波形データのスペクトラムを、それぞれ、実線と破線とにより示している。
そのうえで、入力信号のスペクトラムにおける１つの周波数ポイントの値をf(x1)として、この周波数ポイントの値を積分した値を、図２７（ｂ）に示すようにしてF(x1)として表す。
同様に、ノイズ波形データのスペクトラムにおける１つの周波数ポイントの値をf(x2)とし、この周波数ポイントの値を積分した値を、図２７（ｂ）に示すようにしてF(x2)として表す。
次に、例えば
F(x2) = c * F(x1)・・・(式２)
が成立する係数cを求める。そして、
| f(x2) ・ c * f(x1) |・・・(式３)
として表される演算値を、周波数ポイントごとに行って積分する。この積分値を、ここでは、相似度対応積分値という。
仮に、入力信号とノイズ波形データのスペクトラム形状が互いに完全に相似していれば、| f(x2) ・ c * f(x1) |は、各周波数ポイントで０になる。従って、相似度対応積分値も０となる。これに対して、入力信号とノイズ波形データのスペクトラム形状との間での相似性が低いほど、各周波数ポイントにて得られる| f(x2) ・ c * f(x1) |の値も大きくなる。このように、相似度対応積分値は、その値が０に近くなるほど、入力信号とノイズ波形データのスペクトラム形状が相似していることを意味する。そこで、例えばこのようにして得られる相似度対応積分値を、予め設定した閾値と比較することで、相関性の有無を判定できることになる。

そして、ここまでの説明によると、相関性検出の手法としては、先に図８に示した手法と、この図２７により説明した手法との２つが挙げられたことになる。そこで、ここでは、これら２つの相関性検出処理の手法を例に、複数の相関性検出処理を併用する場合の構成例についても説明しておくこととする。

図２８（ａ）（ｂ）は、それぞれ、２つの相関性検出処理を併用する場合の構成として、ノイズ除去処理部４０における、ノイズ周波数帯域ＮＷ１に対応した系を抜き出して示している。図２８（ａ）に対応しては、他のノイズ周波数帯域ＮＷ２，ＮＷ３に対応する系も、図２８（ａ）と同様の構成を有する。同様に、図２８（ｂ）に対応しては、他のノイズ周波数帯域ＮＷ２，ＮＷ３に対応する系も、図２８（ｂ）と同様の構成を有する。

先ず、図２８（ａ）は、２つの相関性検出処理を直列的に実行させることとした場合の例となる。第１ＢＰＦにより抽出されたノイズ周波数帯域ＮＷ１の入力信号Ｓ１は、先ず、第１Ａ相関性検出部５５Ａに入力される。例えば、第１Ａ相関性検出部５５Ａは、図８により説明した手法による相関性検出処理を実行し、相関性有無について判定する。そして、相関性有りとの判定を行った場合において、入力信号Ｓ１を次の第１Ｂ相関性検出部５５Ｂに入力する。相関性無しとの判定の場合、第１Ａ相関性検出部５５Ａは、第１Ｂ相関性検出部５５Ｂに対して入力信号Ｓ１を入力させない。
第１Ｂ相関性検出部５５Ｂは、入力信号Ｓ１が入力された場合においてのみ、上記図２７により説明した手法により相関性検出処理を実行して相関性の有無について判定する。そして、相関性有りと判定したときには、スイッチＳＷ１をオンとし、相関性なしと判定したときにはスイッチＳＷ１をオフとするようにしてコントロールする。つまり、最終的な相関性有無についての判定結果を得る。

また、図２８（ｂ）は、２つの相関性検出処理を直列的に実行させることとした場合の例となる。
この場合において、第１ＢＰＦ５２から出力される信号Ｓ１は、分岐して、第１Ａ相関性検出部５５Ａと第１Ｂ相関性検出部５５Ｂに対して入力される。
第１Ａ相関性検出部５５Ａと第１Ｂ相関性検出部５５Ｂは、それぞれ、図８，図２７により説明した手法による相関性検出処理を実行して相関性有無についての判定結果を出力する。

この場合、第１Ａ相関性検出部５５Ａ、第１Ｂ相関性検出部５５Ｂの各相関性有無の判定結果は、ＯＲゲートとしての機能を有する判定部５５Ｃに入力されている。この場合の判定部５５Ｃは、第１Ａ相関性検出部５５Ａと第１Ｂ相関性検出部５５Ｂから出力される判定結果のうち、少なくとも何れか一方が相関性有りの判定結果であれば、スイッチＳＷ１をオンとし、両者の判定結果が相関性なしであれば、スイッチＳＷ１をオフとするようにコントロールする。
このようにして、複数の相関性検出処理を併用する場合には、総合的な判定結果として、各相関性検出処理結果の論理和を取ることもできるし論理積を取ることもできる。
また、例えば第１Ａ相関性検出部５５Ａにより求められる差分絶対値D1と、第１Ｂ相関性検出部５５Ｂにより求められる相似度対応積分値とを利用して所定の演算を行って総合的な相関度としての値を求めたうえで、この相関度の値に基づいて最終的な相関性有無の判定結果を得るようにしてもよい。

＜１３．第１０実施形態：レンズ駆動時と非駆動時とに応じた処理＞

これまでの説明においては、レンズを駆動しているときと駆動していないときとで、ノイズ除去処理自体のオン／オフを切り換えることについての言及はしていなかった。そこで、第１０実施形態として、交換レンズを駆動中のときと駆動していないときとで、ノイズ除去処理のオン／オフを切り換える構成について述べておく。
つまり、第１０実施形態としては、図２９に模式的に示すように、交換レンズ１に対するレンズ駆動が行われていないとき（レンズ駆動無し）には、ノイズ除去処理をオフに設定する。つまり、例えばノイズ除去処理部４０としてのノイズ除去処理自体を停止させる。これに対して、レンズ駆動が行われているとき（レンズ駆動有り）には、ノイズ除去処理をオンとする。
例えばこのようにしてノイズ除去処理のオン／オフ設定を行うことで、レンズが駆動されていないときにノイズ除去処理が実行されて無駄にリソースを消費することがなくなる。また、レンズが駆動されていないのにかかわらず，何らかの原因で、ノイズ除去処理部４０がレンズノイズ有りと判断してノイズ除去処理を実行してしまう誤動作が防がれる。

＜１４．第１１実施形態：他のノイズ除去オン／オフ判定＞
第１１実施形態は、これまでの説明のようにして、ノイズ除去をノイズ周波数帯域ごとに実行できない環境の場合に対応して有効となる、ノイズ除去処理のオン／オフ判定について説明する。ノイズ除去をノイズ周波数帯域ごとに実行できない環境とは、例えばコストなどの関係で、ノイズ除去処理部４０に対応するＤＳＰなどとして相当に処理能力が低いものを採用する場合などを挙げることができる。

図３０（ａ）において実線で示されるスペクトルは、マイクロフォン２１により収音された音声信号を示す。また、破線で示すスペクトル形状は、収音された音声信号に含まれているノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３ごとのレンズノイズの成分を示している。
そして、ここでは、先ず、スペクトル上での入力信号Ｓ１の平均値（入力信号平均値）avrを求めるようにする。そのうえで、この入力信号平均値avrと、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３におけるピークレベルとの差を、それぞれ、Lv1,Lv2.Lv3として求め、さらに、これらLv1,Lv2,Lv3の平均値（ピーク差分平均値 = Lv1+Lv2+Lv3 / 3）を求める。このようにして求められるピーク差分平均値が大きいほど、レンズノイズが大きいことを意味する。従って、ピーク差分平均値と、予め設定した閾値とを比較し、ピーク差分平均値が閾値を越えていれば、レンズノイズ有りと判定してノイズ除去処理をオンとする。これに対して、ピーク差分平均値が閾値を以内であれば、レンズノイズ無しと判定してノイズ除去処理をオフとする。

先ず、図３０（ａ）の例では、入力信号平均値avrに対して、ノイズ周波数帯域ＮＷ１，ＮＷ２，ＮＷ３の各レンズノイズの成分のエネルギーが突出している。これは、相当に大きくきこえるレンズノイズが発生しているとみる。そして、この場合には、Lv1,Lv2,Lv3としても相応に大きな値が得られることから、ピーク差分平均値も大きな値が得られる。そして、この場合に得られるピーク差分平均値としては、閾値を越えることとなり、ノイズ除去処理がオンに設定される。

次に、図３０（ｂ）の例は、レンズノイズが発生してはいるが、収音音声のレベルも相当に大きく、従って、例えば実際においては、レンズノイズが他の音声成分によってマスキングされてあまりきこえないような状況である。
そして、このような状態では、先ず、入力信号平均値avrが相当に高いレベルの値となるのに対して、レンズノイズのレベルは収音音声信号のレベルよりも小さい。従って、ピーク差分平均値は小さくなる。この場合に得られるピーク差分平均値としては、閾値以内となって、ノイズ除去処理がオフに設定される。

次に、図３０（ｃ）の例は、ノイズ周波数帯域ＮＷ１，ＮＷ３においては、或る程度のレンズノイズが他の音声成分よりも強く表れているが、ノイズ周波数帯域ＮＷ２においては、レンズノイズ成分は、完全に他の音声信号成分によってマスキングされている状態である。
例えば、結果から言えば、このような状態では、ノイズ除去処理をオンとすると、ノイズ周波数帯域ＮＷ２においてレンズノイズ成分以外の、本来必要な音声成分までを相当量除去してしまう。このために、ノイズ除去処理はオフとすべきことになる。

この場合の入力信号平均値avrとピークとの差分値をみてみると、Lv2についてはかなり大きな値を示してはいる。しかし、Lv1,Lv3については相当に小さい。このために、ピーク差分平均値としては、相応に小さくなる。従って、このピーク差分平均値としては、閾値を以下となってノイズ除去処理はオフに設定される。つまり、ピーク差分平均値に基づく手法によれば、このようにして適正に、実際のレンズノイズのマスキングの状態に応じて、高い精度で、ノイズ除去処理のオン／オフ設定が判定できるといえる。

なお、現状において、一般に、交換レンズに対応する撮像装置本体としては、一眼式のデジタルスチルカメラを挙げることができる。デジタルスチルカメラは、主たる目的は静止画像を撮影記録することであるが、周知のように、一眼式のデジタルスチルカメラであっても、収音音声と同期して動画としてのビデオデータを撮影記録することが可能とされている。また、静止画の撮像画像データに対して収音音声を負荷して記録することも可能とされているものが多く知られている。本実施形態の構成は、例えばこのようなデジタルスチルカメラなどにおいて収音音声を記録する際に、レンズノイズを除去できることになる。また、例えば撮像装置本体２としては、レンズ交換が可能なビデオカメラ装置とされてもよい。
また、これまでの説明においては、ノイズデータは、フォーカスレンズとズームレンズの駆動に応じて発生するノイズについてのものとされているが、これには限定されない。例えば、モータなどを含む交換レンズ１の機構部品の動きにより発生するノイズであれば、除去すべきレンズノイズとしてノイズデータに含められる。

１交換レンズ、２撮像装置本体、１１レンズ部、１２レンズ制御部、１３レンズＲＯＭ、１４ノイズデータメモリ、２１マイクロフォン(内蔵)、２１Ａ (外部マイクロフォン)２２音声用Ａ／Ｄ変換器、２５ＤＳＰ、３０制御部、３１カメラ制御部、４６ノイズデータ、５０Ａ／Ｄ変換器、５１ＦＦＴ処理部、５２第１ＢＰＦ、５３第２ＢＰＦ、５４第３ＢＰＦ、５５第１相関性検出部、５６第２相関性検出部、５７第３相関性検出部、５８ＩＦＦＴ処理部、ＳＷ１・ＳＷ２・ＳＷ３スイッチ、５９減算器、６０ノイズデータ作成部、６１無響室、７０本体内ノイズデータ、７１ｆ特補正部、７２ダウンサンプル処理部、８０ノッチフィルタ

Claims

ノイズ除去装置に装着されている交換レンズに記憶されているデータであって、当該交換レンズにて発生するレンズノイズを復元するためのデータであるノイズデータを取得するノイズデータ取得手段と、
上記ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手段と、
を備えるノイズ除去装置。
上記ノイズデータは、上記レンズノイズが発生している１以上の周波数帯域範囲を示す、ノイズ周波数帯域データを有しており、
上記ノイズ除去手段は、
入力音声信号から上記ノイズ周波数帯域データが示す周波数帯域範囲ごとの帯域信号を抽出する帯域周波数抽出手段と、
上記周波数帯域範囲ごとに、上記帯域信号と、上記ノイズデータが有する上記ノイズ周波数帯域におけるレンズノイズの振幅を示す振幅データとの相関性を検出する相関性検出手段とを有し、
上記相関性検出手段の検出結果に基づいて、入力音声信号から上記レンズノイズを除去する動作を実行するか否かを設定する、
請求項１に記載のノイズ除去装置。
上記ノイズ除去手段は、
上記周波数帯域範囲ごとに、上記帯域信号と振幅データとの相関性を検出する相関性検出手段と、
上記相関性検出手段の検出結果に基づいて、上記ノイズ周波数帯域範囲のうちで、上記入力音声信号から上記レンズノイズを除去する動作を実行する周波数帯域範囲と、実行しない周波数帯域範囲とを設定する、
請求項２に記載のノイズ除去装置。
上記ノイズ除去手段は、
上記入力音声信号を収音したマイクロフォンの周波数特性を取得するマイクロフォン周波数特性取得手段と、
上記マイクロフォンの周波数特性に基づいて、上記振幅データの周波数特性を補正する補正手段とをさらに備える、
請求項３に記載のノイズ除去装置。
上記ノイズデータは、上記交換レンズの機構部位が動くときの速度に対応したノイズデータである速度対応ノイズデータを有し、
上記ノイズ除去手段は、上記速度対応ノイズデータのうち、上記交換レンズの機構部位の動く速度に対応する速度対応ノイズデータに基づいて、上記入力音声信号から上記レンズノイズを除去する、
請求項１乃至請求項４の何れかに記載のノイズ除去装置。
上記ノイズデータは、上記交換レンズの経年変化に応じて変化するノイズデータの内容を示す経年変化データを有し、
上記ノイズ除去手段は、
上記交換ノイズの積算使用時間に応じた経年変化データのノイズデータに基づいて、上記入力音声信号から上記レンズノイズを除去する、
請求項１乃至請求項５の何れかに記載のノイズ除去装置。
上記ノイズ除去手段は、
上記入力音声信号から上記レンズノイズを除去するために、上記ノイズ周波数帯域データの周波数帯域範囲に対応する振幅データに基づいて復元したレンズノイズを、上記入力音声信号から減算する、
請求項１乃至請求項６の何れかに記載のノイズ除去装置。
上記ノイズ周波数帯域データの周波数帯域範囲に対応する振幅データは、暗ノイズ成分を除去た振幅を示す、
請求項７に記載のノイズ除去装置。
上記ノイズ除去手段は、
上記入力音声信号から上記レンズノイズを除去するために、上記ノイズ周波数帯域データの周波数帯域範囲ごとの遮断フィルタ特性データに基づいて生成した帯域遮断フィルタに上記入力音声信号を通過させる、
請求項１乃至請求項８の何れかに記載のノイズ除去装置。
上記ノイズ除去手段は、
異なる手法により相関性を検出する複数の相関性検出手段を備え、
上記複数の相関性検出手段の検出結果に基づいて、入力音声信号から上記レンズノイズの音声信号成分を除去する動作を実行するか否かを設定する、
請求項２乃至請求項９の何れかに記載のノイズ除去装置。
上記ノイズ除去手段は、
上記相関性検出手段に代えて、上記レンズ周波数帯域データの周波数帯域範囲ごとのピーク値と、上記入力音声信号のスペクトルの振幅についての平均値である入力信号平均値との差分の平均値である差分平均値を求める差分平均値算出手段を備え、
上記差分平均値に基づいて上記入力音声信号から上記レンズノイズを除去する動作を実行するか否かを設定する、
請求項２乃至請求項１０の何れかに記載のノイズ除去装置。
上記ノイズ除去手段は、
上記入力音声信号が複数のマイクロフォンのうちの何れのマイクロフォンで収音されたかを判別する使用マイクロフォン判別手段と、
使用マイクロフォン判別手段により収音のために使用されたマイクロフォンと交換レンズとの距離に応じて上記振幅データの振幅を変更する、振幅変更設定手段とを備える、
請求項２乃至請求項１１の何れかに記載のノイズ除去装置。
撮像装置本体に装着されるレンズ装置であって、
当該レンズ装置が備える機構部位の動きにより発生するノイズであるレンズノイズを復元するためのデータであるノイズデータを記憶する記憶手段と、
上記撮像装置本体に対して上記ノイズデータを転送するノイズデータ転送手段と、
を備えるレンズ装置。
上記ノイズデータ転送手段は、
上記ノイズデータとして、上記レンズノイズが発生している１以上の周波数帯域範囲を示すノイズ周波数帯域データと、上記ノイズ周波数帯域におけるレンズノイズの振幅を示す振幅データとを転送する、
請求項１３に記載のレンズ装置。
上記ノイズデータ転送手段は、
上記ノイズデータとして、上記交換レンズの機能部位が動くときの速度に対応したノイズデータである速度対応ノイズデータを転送する、
請求項１３又は請求項１４に記載のレンズ装置。
上記ノイズデータ転送手段は、
上記ノイズデータとして、上記交換レンズの経年変化に応じて変化するノイズデータの内容を示す経年変化データを転送する、
請求項１３乃至請求項１５に記載のレンズ装置。
レンズ装置と、当該レンズ装置が装着される撮像装置本体とから成り、
上記レンズ装置は、
当該レンズ装置が備える機構部位の動きにより発生するノイズであるレンズノイズを復元するためのデータであるノイズデータを記憶する記憶手段と、
上記撮像装置本体に対して上記ノイズデータを転送するノイズデータ転送手段とを備え、
上記撮像装置は、上記ノイズデータ転送手段により転送される上記ノイズデータを受信するノイズデータ取得手段と、
上記ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手段とを備える、
撮像装置。
ノイズ除去装置に装着されている交換レンズに記憶されており、当該交換レンズにて発生するレンズノイズを復元するためのデータであるノイズデータを取得するノイズデータ取得手順と、
上記ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手順と、
を実行するノイズ除去方法。