JP2011077604A - ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法 - Google Patents

ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法 Download PDF

Info

Publication number
JP2011077604A
JP2011077604A JP2009224105A JP2009224105A JP2011077604A JP 2011077604 A JP2011077604 A JP 2011077604A JP 2009224105 A JP2009224105 A JP 2009224105A JP 2009224105 A JP2009224105 A JP 2009224105A JP 2011077604 A JP2011077604 A JP 2011077604A
Authority
JP
Japan
Prior art keywords
noise
data
lens
frequency band
audio signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009224105A
Other languages
English (en)
Inventor
Tatsuya Koizumi
達哉 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009224105A priority Critical patent/JP2011077604A/ja
Publication of JP2011077604A publication Critical patent/JP2011077604A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】交換レンズの使用を想定した場合のレンズノイズを除去するのにあたり、これまでよりも良好な除去効果を得る。
【解決手段】交換レンズが記憶するノイズデータを取得し、このノイズデータに基づいて、入力音声信号からノイズを除去する動作を実行する。ノイズデータは、それが記憶されている交換レンズにて発生するレンズノイズについてのデータである。これにより、装着される交換レンズに関わらず、その交換レンズのノイズデータを利用することで、適切なノイズ除去処理が実行可能になる。
【選択図】図4

Description

本発明は、例えば一般に交換レンズなどといわれるレンズ装置に関する。また、このレンズ装置が駆動されることで発生するノイズを除去するノイズ除去装置とその方法に関する。また、上記レンズ装置とノイズ除去装置とから成る撮像装置に関する。
マイクロフォンなどにより収音して得られる音声信号には、外部からのノイズが混入し得る。そこで、音声信号からノイズを除去するための構成がこれまでにも提案されている。
例えば特許文献1には、ディスク状記録媒体を回転させるスピンドルモータであるとか、磁気テープの記録再生に必要な回転ドラムを回転させるドラムモータなどから定常的に発生する周期性のノイズを、適応フィルタを利用して除去する構成が記載されている。
また、特許文献2には、間欠的に発生するノイズを低減させるために、想定されるノイズ信号を予め標本抽出して、これを疑似ノイズ波形として、ノイズ低減装置内のメモリに記録させ、メモリから読み出した疑似ノイズ波形を入力信号から減算する構成が記載されている。
特開2006−331567号公報 特開2000−293965号公報
ここで、ズーミングやフォーカシングなどの動作に応じて、レンズの機構部品、モータなどの動きにより発生するノイズを除去しようとする場合を考えてみる。
例えば特許文献1に記載されるようにして適応フィルタを利用する構成では、周期性のノイズに対しては有効なノイズ除去効果が期待できる。しかし、上記のようなレンズから発生するノイズは間欠的なものとなる。適応フィルタのフィードバックの引き込み時定数については或る程度大きい値を与える必要があるので、ノイズが発生している区間と発生していない区間との変化に対応させて、早い応答で適応フィルタを動作させることが難しい。つまり、間欠的に発生する性質のノイズには、良好なノイズ除去効果を期待することが難しい。
これに対して特許文献2に記載の構成は、間欠的に発生するノイズに対応して有効にノイズ除去が行える。
ただし、いわゆる交換用レンズといわれる、撮像装置に対して交換して装着可能なレンズ装置の使用が前提となる場合には、交換用レンズの物理的な構造の違いなどに応じて、交換用レンズごとに発生するノイズとしての周波数特性が変化する。しかし、例えば特許文献2においてメモリに記録される疑似ノイズ波形は、或る1つの周波数特性に合わせて固定されたものとなっている。このために、特許文献2により交換レンズごとに対応して適切なノイズ除去を行うことは難しくなる。仮に、特許文献2の構成により交換レンズごとに対応させようとすれば、想定される全ての交換レンズごとに応じた特性の疑似ノイズ波形を記録する必要があるが、交換用レンズの機種などが豊富であることを考えると、全ての交換レンズに対応可能とすることは現実的ではない。
そこで、本願発明は、交換レンズの使用を想定したレンズのノイズを除去するのに有効な構成を提案しようとするものである。
そこで本発明は上記した課題を考慮して、ノイズ除去装置として次のように構成する。
つまり、ノイズ除去装置に装着されている交換レンズに記憶されているデータであって、当該交換レンズにて発生するレンズノイズを復元するためのデータであるノイズデータを取得するノイズデータ取得手段と、ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手段とを備えることとした。
また、撮像装置本体に装着されるレンズ装置であって、当該レンズ装置が備える機構部位の動きにより発生するノイズであるレンズノイズを復元するためのデータであるノイズデータを記憶する記憶手段と、上記撮像装置本体に対して上記ノイズデータを転送するノイズデータ転送手段とを備えることとした。
また、撮像装置として、レンズ装置と、当該レンズ装置が装着される撮像装置本体とから成り、上記レンズ装置は、当該レンズ装置が備える機構部位の動きにより発生するノイズであるレンズノイズを復元するためのデータであるノイズデータを記憶する記憶手段と、上記撮像装置本体に対して上記ノイズデータを転送するノイズデータ転送手段とを備え、上記撮像装置は、上記ノイズデータ転送手段により転送される上記ノイズデータを受信するノイズデータ取得手段と、上記ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手段とを備えることとした。
上記構成では、レンズ装置が記憶するノイズデータを取得し、このノイズデータに基づいて、入力音声信号からノイズを除去する動作を実行する。ノイズデータは、それが記憶されているレンズ装置にて発生するレンズノイズについてのデータである。これにより、いかなるレンズが装着されようとも、装着されたレンズ装置のノイズデータを利用して、そのレンズ装置にて発生して入力音声信号に混入したレンズノイズの特性に合わせた適切なノイズ除去を行うことが可能になる。
このようにして本発明は、例えば交換レンズの使用を想定した場合のレンズノイズを除去するのにあたり、これまでよりも良好な除去効果が得られる。
本実施形態の撮像装置の構成例を示すブロック図である。 交換レンズに記憶されるノイズデータの内容例を示す図である。 ノイズ除去処理部としての基本的な信号処理構成例を示すブロック図である。 第1実施形態としてのノイズ除去処理部の信号処理構成をより具体的に示す図である。 第1実施形態としてのノイズ除去処理部の処理手順例を示すフローチャートである。 BPFによるノイズ周波数帯域の入力信号抽出処理を模式的に示す図である。 レンズノイズの周波数特性例を示す図である。 第1実施形態における相関性検出処理の手法例を説明するための図である。 相関性検出結果に応じたノイズ除去オン/オフ設定例を示す図である。 図9のノイズ除去オン/オフ設定に応じて減算器に入力されるノイズ波形データの例を示す図である。 減算用のノイズ波形データの生成の仕方について説明するための図である。 図9のノイズ除去オン/オフ設定に応じて得られるノイズ除去結果と、ノイズ除去オン/オフ設定を行わずに、全ノイズ周波数帯域でノイズ除去を行った場合の結果とを比較して示す図である。 ノイズデータを作成するときの環境、及びシステム構成例を示す図である。 ノイズデータ作成の作業手順例を示すフローチャートである。 暗ノイズの音声信号と、実ノイズの音声信号とを、スペクトラムにより比較して示す図である。 第2実施形態に対応するもので、ノイズデータにおいて、速度に応じたノイズ周波数の違いの例を模式的に示す図である。 第3実施形態に対応するもので、ノイズ周波数帯域の経年変化係数の例を模式的に示す図である。 第4実施形態に対応するノイズ除去処理のための構成例を示す図である。 第5実施形態に対応するノイズ除去処理のための構成例を示す図である。 第5実施形態におけるf特補正部の動作例を示す図である。 第6実施形態に対応するもので、交換レンズに対する内蔵マイクロフォンと外部マイクロフォンの各距離の関係を示す図である。 第7実施形態に対応するノイズ除去処理部の構成例を示す図である。 第7実施形態におけるノッチフィルタのフィルタ特性例と、ノッチフィルタのフィルタ特性設定のために必要なパラメーラ例を示す図である。 第8実施形態に対応するノイズ除去処理のための構成例を示す図である。 第8実施形態におけるダウンサンプル処理の一例を示す図である。 第8実施形態におけるダウンサンプル処理の切り換えのための処理手順例を示すフローチャートである。 第9実施形態に対応する相関性検出の他の手法例を示す図である。 第9実施形態に対応して、複数の相関性検出の手法を併用する場合の、相関判定のための構成例を示す図である。 第10実施形態に対応するもので、レンズ駆動/非駆動の状態に応じたノイズ除去処理のオン/オフ切り換え動作例を示す図である。 第11実施形態に対応するもので、ノイズ除去処理のオン/オフ設定例について説明するための図である。
以下、本願発明を実施するための形態(以下、実施形態という)について、下記の順により説明する。
<1.撮像装置の構成>
<2.ノイズデータの内容例>
<3.ノイズ除去処理部の構成(第1実施形態)>
<4.ノイズデータの作成例>
<5.第2実施形態:レンズ駆動速度に応じた処理>
<6.第3実施形態:レンズの経年変化に応じた処理>
<7.第4実施形態:交換レンズのノイズデータが無い場合の処理>
<8.第5実施形態:マイクロフォンの周波数特性を考慮した処理>
<9.第6実施形態:外部マイクロフォンに対応した処理>
<10.第7実施形態:ノッチフィルタを採用する処理>
<11.第8実施形態:ノイズ波形データのダウンサンプリングを併用する処理>
<12.第9実施形態:相関性検出の他の例>
<13.第10実施形態:レンズ駆動時と非駆動時とに応じた処理>
<14.第11実施形態:他のノイズ除去オン/オフ判定>

なお、以降において、ノイズを対象としての除去、若しくは低減、という語句を用いるが、本願においては、ノイズを対象とする除去、低減は、同等の意味を持つものとする。ノイズの除去は、音声信号に重畳されているノイズを取り除こうとする動作、処理からみた語句といえる。このノイズ除去の結果としては、例えば厳密な意味で完全にノイズが取り除かれるのではなく、或る程度の成分が残留する場合がある。ノイズ低減は、このようにしてノイズ除去処理の結果からみた語句といえる。
<1.撮像装置の構成>
図1のブロック図は、本実施形態の撮像装置の構成例を示している。
本実施形態の撮像装置は、交換レンズ(レンズ装置)1と、この交換レンズが装着される撮像装置本体2とから成る。
交換レンズ1は、レンズ部11、レンズ制御部12、レンズROM13、ノイズデータメモリ14を有して成る。
レンズ部11は、撮像のための必要枚数のレンズと、ズームレンズを動かすためのズーム機構部、フォーカスレンズを動かすためのフォーカス機構部、絞り、等が組み合わされて成る。なお、ズーム機構部、フォーカス機構部は、それぞれ、機構部位を動かすためのズームモータ、フォーカスモータを備える。
ここでは図示していないが、交換レンズ1と撮像装置本体2との取り付け機構部により、交換レンズ1が撮像装置本体2に取り付けられた状態では、このレンズ部11にて入射された像光が、後述する撮像装置本体2のイメージセンサ23の受光部に導かれ、撮像光として受光される。
レンズ制御部12は、交換レンズ1が撮像装置本体2にて取り付けられた状態で、後述する撮像装置本体2のカメラ制御部31と通信を実行する。そして、カメラ制御部31からの指令に応じて、レンズ部11におけるズーム機構部、フォーカス機構部の駆動制御(モータ駆動制御)、また絞り制御などを実行する。
レンズROM13には、レンズ制御部12に実行させるプログラムのほか、例えば、この交換レンズ1の機種、型番などが示されるハードウェア情報を記憶している。
ノイズデータメモリ14は、この交換レンズ1から発生するノイズに関する所定内容のデータから成る、ノイズデータ46を記憶している。このノイズデータ46の内容については、図2により後述する。
撮像装置本体2におけるマイクロフォン21は、この場合には撮像装置本体2に内蔵のものとされて、外部の音声を収音できるようにして設けられている。
マイクロフォン21により収音して得られたアナログの音声信号は、音声用A/D変換器22によりデジタルの音声信号に変換されて、DSP25に対して入力される。
イメージセンサ23は、撮像装置本体2に取り付けられた交換レンズ1のレンズ部11からの撮像光を受光して電気信号に変換し、アナログの映像信号を出力する。このアナログの映像信号は、画像用A/D変換器24によりデジタルの映像信号に変換されてDSP25に入力される。
DSP(Digital Signal Processor)25は、入力されるデジタルの映像信号と音声信号について所要のデジタル信号処理を実行する。
ここで、上記画像用A/D変換器24からの映像信号と、上記音声用A/D変換器22からの音声信号を入力している場合に、例えばDSP25が制御部30の記録要求を受けているとする。この場合、DSP25は、入力した映像信号・音声信号のそれぞれについて、記録、モニタ表示等に関連した信号処理を実行して、リップシンクといわれる映像信号・音声信号の再生時間軸が同期した状態でコーデック信号処理部26に渡す。
コーデック信号処理部26は、DSP25から出力されてくる上記映像信号、音声信号について、所定の圧縮符号化方式による圧縮処理(エンコード処理)を実行し、映像・音声が同期した記録用ビデオデータとして、カードインターフェイス27に渡す。カードインターフェイス27からは、この記録用ビデオデータをメモリカード28に転送する。これにより、記録用ビデオデータがメモリカードに記憶される。
また、メモリカード28から読み出したビデオデータは、カードインターフェイス27を経由してコーデック信号処理部26に対して、再生用ビデオデータとして渡される。
コーデック信号処理部26は、入力した再生用ビデオデータについて、上記の圧縮符号化に応じた復号処理(デコード処理)を実行して、再生時間軸が同期したデジタルの映像信号・音声信号を、DSP25に対して出力する。DSP25は、この再生用ビデオデータについて、再生のための所要の信号処理を施す。そして、再生信号処理を経た映像信号・音声信号を例えば、外部対応入出力部29に渡すことで外部に出力させることができる。また、映像信号をモニタドライバ35に出力させることで、モニタ36にて画像として再生表示させる。なお、例えばこのようにしてモニタ36にて再生用ビデオデータの映像信号を再生出力させているときには、これと再生時間軸が同期するようにして、ここでは図示していない内蔵のスピーカから音声信号も再生出力させる。
制御部30は、撮像装置本体2における全体制御を司る部位であり、例えばマイクロコンピュータ、マイクロプロセッサなどにより構成される。
カメラ制御部31は、制御部30と連携して、交換レンズ1に対するズーミング、フォーカシング、絞り調整などの制御を実行する。カメラ制御部31も例えばマイクロコンピュータ、マイクロプロセッサなどにより構成される。
操作部32は、撮像装置本体2に設けられている各種操作子、また、リモートコントローラとその受信部などを一括して示している。制御部32は、操作部32に対して行われた操作によって入力される操作信号に応じて、適宜、所要の動作が得られるようにして制御を実行する。
ビューファインダ34は、そのときに撮像されている画像(モニタ画像)が表示される部位である。こここでのビューファインダ34は、例えば液晶ディスプレイなどを利用した、いわゆる電子ビューファインダである。
ビューファインダ34にモニタ画像を表示させる際には、DSP25が、画像用A/D変換器24から入力する映像信号(撮像映像信号)についてビューファインダ34での表示に適合した信号処理を実行して、ビューファインダドライバ33に出力する。そしてビューファインダドライバ33が入力した映像信号によりビューファインダ34としての表示デバイスを駆動する。これによりモニタ画像が表示される。
モニタ36は、例えば3インチ程度で、ビューファインダよりも大型の表示パネルサイズを有し、前述した再生画像の表示の他、モニタ画像の表示、また、記録されたビデオデータのリストや各種設定画面などのGUI(Graphical User Interface)画像の表示等が行われる部位である。
モニタ36にてモニタ画像を表示させる際には、DSP25から、モニタ36での表示に対応した信号処理が施された撮像映像信号がモニタドライバ35に出力される。また、GUI画像を表示させる際には、例えばDSP25のオンスクリーンディスプレイ機能により、表示させるべきGUI画像に対応する映像信号を生成して、必要に応じてモニタ画像用、若しくは再生用の映像信号などに合成して出力する。モニタドライバ35は、上記のようにして入力される撮像映像信号によりモニタ36を駆動する。これにより、モニタ画像であるとかGUI画像がモニタ36にて表示される。
電源部37は、例えばバッテリ38から供給される電力から、撮像装置本体2の所要の回路部に供給すべき電源電圧Vccを生成して出力する。
なお、電源部37の動作のオン/オフ、つまり、撮像装置本体2のメイン電源のオン/オフは、制御部30によって制御することができる。
<2.ノイズデータの内容例>
交換レンズ1におけるレンズ部11は、上記したように、例えばズーミング、フォーカシングなどが行われることに応じて、ズーム機構部、フォーカス機構部が物理的に動く。このとき、ズーム機構部、フォーカス機構部を形成するモータをはじめとして機構部品が物理的に動くことが原因でノイズが発生する。このときにマイクロフォン21で音声を収音しているとすると、交換レンズ1にて発生しているノイズも収音してしまうことになる。つまり、本来収音しようとしている音成分だけではなく、不要な交換レンズ1のノイズ成分も収音してしまう。例えば、ビデオデータなどの記録のためにマイクロフォン21による収音を行ったとすれば、このビデオデータとして記録された音声信号には、交換レンズ1のノイズが含まれてしまう。そして、このビデオデータを再生すれば、交換レンズ1のノイズも聞こえることになってしまい、音質を損ねることになる。
そこで、本実施形態の撮像装置としては、交換レンズ1から発生するノイズ(以降、レンズノイズともいう)を除去するための構成を備える。そして、本実施形態においては、撮像装置本体2側にてレンズノイズを除去する処理を行うのであるが、この際に、交換レンズ1のノイズデータメモリ14に記憶されているノイズデータ46を利用する。
ノイズデータ46は、以降の説明からも理解されるように、主としては、そのノイズデータ46を格納する交換レンズ1(対応交換レンズ)が実際に発生させているものとしてみることのできるノイズを例えば音声信号として復元可能な内容のデータ項目を有して成る。
図2は、ノイズデータ46の内容例を示している。なお、この図に示される内容は、以降説明する実施形態ごとに対応して必要になるデータ項目をほぼ総合したものとなっている。従って、実際のノイズデータ46としては、図2に示されるデータ項目のうちから、適用される実施形態の態様に応じて必要となるデータ項目のみを有して形成するようにしてよい。また、図2の内容はあくまでも一例であって、図2に示される以外のデータ項目が追加されてもよい。
図2に示されるノイズデータは、レンズ仕様データ、ズーム対応ノイズデータ、フォーカス対応ノイズデータから成るものとしている。
レンズ仕様データは、例えば図示もしているように、対応交換レンズが備えるモータの種類、そのモータの駆動方式などをはじめとした、対応交換レンズの仕様として、ノイズ除去に必要なデータ項目を有して成る。
ズーム対応ノイズデータは、ズームレンズを動かすときに発生するノイズに対応したデータ項目から成る。
ズーム対応ノイズデータとしては、データ項目として、開始周波数、中心周波数、終了周波数、暗ノイズデータ、実ノイズデータ、疑似ノイズデータ、経年変化係数、温度変化係数、湿度変化係数、テレコンバータ(テレコン)補正係数などが挙げられている。
また、各データ項目は、複数の周波数帯域ごとの値を格納することとしている。
あくまでも一例であるが、ここでは上記複数の周波数帯域として、第1周波数帯域、第2周波数帯域、第3周波数帯域の3つの周波数帯域を設定している。例えばレンズノイズのスペクトルは、広い帯域にわたって発生するのではなく、比較的狭いいくつかの特定の周波数帯域で強いエネルギーが現れるようにして発生する。そこで、本実施形態のノイズデータとしては、レンズノイズが発生する特定の複数の周波数帯域のみに対応させてデータ項目の値を格納する構造としている。
先に述べたように、ノイズデータは、主として対応交換レンズで発生するノイズに相当する音声を復元可能な内容のデータを有する。この場合において、ノイズデータにより、入力信号と同じ周波数帯域による音声信号を復元しようとすると、そのデータサイズが非常に大きくなる。この場合、ノイズデータメモリ14の容量を増加したり、音声信号化の処理の負荷が重くなるなどの不都合を生じる。そこで、本実施形態のようにしてレンズノイズが発生する帯域のみに対応したノイズデータとすれば、データサイズも小さくて済み、また、処理負荷も軽くできる。
また、図2のズーム対応ノイズデータにおいては、さらに、第1〜第Nの周波数帯域ごとに、ズームレンズを動かす速度(駆動速度)ごとに対応してデータが格納されている。この場合、ズームレンズの駆動速度は一定ではなく、例えば所定の複数段階により可変させることができる。レンズノイズの発生する周波数帯域、レベルなどの特性は、このようなズームレンズの駆動速度に応じて変化する。実際においても、ズームレンズの駆動速度を変化させると、そのときのレンズノイズの音の高さ、音量、音質などが変化してきこえることを確認できる。なお、この点については、フォーカスレンズについて同様のことがいえる。
図2においては、一例として、低速、中速、高速としての3段階の駆動速度に対応させて、各データ項目の値を格納している。上記の低速、中速、高速は、実際には、所定値の駆動速度(例えばモータの回転速度などとして捉えることができる)が対応する。
そして、図示は省略しているが、フォーカス対応ノイズデータとしても、上記したズーム対応ノイズデータと同じ構造を有して、各データ項目の値を格納している。
次に、図2に示されているデータ項目について説明する。
開始周波数は、対応する第n周波数帯域における、レンズノイズが発生する始まりの周波数を示す。
中心周波数は、対応する第n周波数帯域において、レンズノイズが発生する周波数の中心の値を示す。
終了周波数は、対応する第n周波数帯域において、レンズノイズが発生する終端の周波数((例えば開始周波数より高い)を示す。
つまり、第1〜第3周波数帯域(・≦n≦・)ごとの実際の範囲(ノイズ周波数帯域範囲)が、上記開始周波数、中心周波数、終了周波数によって示される。なお、以降において、開始周波数、中心周波数、終了周波数により示されるレンズノイズが発生する周波数帯域のことを「ノイズ周波数帯域」ともいう。
暗ノイズデータと実ノイズデータは、対応する周波数帯域における振幅を示すデータである。
より詳しいことについては後述するが、暗ノイズデータは、対応する第n周波数帯域において、レンズを動かしていないときに得られる暗ノイズの振幅(レベル)を示すデータとなる。
実ノイズデータは、対応する第n周波数帯域において、レンズを動かしているときに得られるノイズの振幅を示すデータとなる。
疑似ノイズデータについては後述する。
また、レンズノイズの特性は、例えば経年変化により変化する。ここでのレンズノイズの特性を変化させ得る経年変化の要因としては、例えばグリスの粘性の変化、構成部品の摩耗、変形などを挙げることができる。
経年変化係数は、交換レンズ1の使用時間に応じて、例えば開始周波数、中心周波数、終了周波数、また、暗ノイズデータ、実ノイズデータ、疑似データ等の波形などのデータ項目の値、パラメータを変化させるための係数である。経年変化係数との関係では、これらの経年変化係数が与えられるデータ項目(係数付与対象データ項目)は、例えば対応交換レンズを最初に使用したときに対応して得られる値となる。
また、経年変化係数は、例えば係数付与対象データ項目ごとに加速度試験などを行って測定することによって得ることができる。
また、レンズノイズの特性が、温度、湿度に応じても変化する場合に、温度変化係数、湿度変化係数を設けることができる。温度変化係数、湿度変化係数は、それぞれ、温度、湿度に応じて、係数付与対象データ項目の値を変化させる係数である。
また、交換レンズ1にテレコンバータが装着された場合には、例えばズーム、フォーカシングの制御に変更が生じ、これに応じてレンズノイズ特性が変化する場合に、テレコンバータ補正係数を設けることができる。
テレコンバータ補正係数は、コンバージョンレンズとしてテレコンバータが装着されたことに応じて、係数付与対象データ項目の値を変化させる係数である。
<3.ノイズ除去処理部の構成(第1実施形態)>

図3は、撮像装置本体2において備えられるノイズ除去処理部40としての信号処理機能の基本的な構成例(第1実施形態)をブロック図により示している。
ノイズ除去処理部40の入力信号は、図1のマイクロフォン21により収音して得られるアナログの音声信号である。従って、例えば交換レンズ1における機構部品などが動いていれば、その動きに応じて発生したノイズがマイクロフォン21により収音されて、入力信号に含まれることになる。
この図においてノイズ除去処理部40は、A/D変換処理41、ノイズ周波数帯域抽出処理42、比較処理43、ノイズ除去処理オン/オフ判定44、ノイズ減算処理45の各実行機能を有するものとして示されている。図1との対応としては、A/D変換処理41は、音声用A/D変換器22に相当する。また、ノイズ周波数帯域抽出処理42、比較処理43、ノイズ除去処理44、ノイズ減算処理45は、DSP25がプログラム(インストラクション)を実行することで実現される音声信号処理となる。
また、この図においてはノイズデータ46が示される。ここでのノイズデータ46は、交換レンズ1(ノイズデータメモリ14)から読み出して撮像装置本体2側に取り込んだものとしてみることができる。
図3において、入力信号は、A/D変換処理41によってデジタル信号に変換されると、ノイズ周波数帯域抽出処理42、ノイズ減算処理45に渡される。
ノイズ周波数帯域抽出処理42は、ノイズデータ46のノイズ周波数帯域データを取り込む。図2との対応では、第1〜第3周波数帯域ごとのノイズ周波数帯域データ(開始周波数、中心周波数、終了周波数)を取り込むことになる。
そして、ノイズ周波数帯域抽出部42は、デジタルの入力信号から、取り込んだノイズ周波数帯域データのそれぞれが示すノイズ周波数帯域ごとの成分を抜き出して抽出し、比較処理43に渡す。
なお、この基本構成の説明にあたっては、説明を簡単なものとすることの便宜上、レンズデータ46において、レンズ駆動速度に応じたノイズ周波数帯域の区分は行われておらず、第1〜第3周波数帯域ごとに1つのノイズ周波数帯域データが設定されているものとして扱う。
また、図2においては、ズーム対応ノイズデータとフォーカス対応ノイズデータとが示されている。ノイズ周波数帯域抽出処理42は、ズームレンズが駆動されているときには、ズーム対応ノイズデータのノイズ周波数帯域データを取り込み、フォーカスレンズが駆動されているときには、フォーカス対応ノイズデータのノイズ周波数帯域データを取り込み、
比較処理43は、ノイズ周波数帯域抽出処理42により抽出されたのと同じノイズ周波数帯域ごとに対応するノイズ波形データを取り込む。ここでのノイズ波形データは、ノイズ成分に対応した波形のデータであり、例えば図2との対応では、少なくとも実ノイズデータから得ることができる。
そして、比較処理43は、ノイズ周波数帯域ごとに、取り込んだノイズ波形データが示すノイズ波形と、ノイズ周波数帯域抽出処理42からの入力信号波形とを、所定の手法により比較し、両者の相関性について検出を行う。相関性が高いほど、抽出されたノイズ周波数帯域における入力信号はノイズに近いことになる。そして、例えば相関性についての検出結果を、ノイズ除去処理オン/オフ判定44に渡す。なお、相関性の検出結果としては、例えば、相関性の度数などに応じた値として得られても良いし、単純に相関性の有無、即ち、入力信号がノイズであるか否かを示すものであってもよい。また、比較検出結果は、ここでは、ノイズ周波数帯域ごとに、個別に得られるものとする。
ノイズ除去処理オン/オフ判定44は、比較処理43の比較処理結果に基づいて、ノイズ周波数帯域ごとにノイズ除去処理を実行させるか否かを判定する。つまりノイズ除去処理のオン/オフ設定についての判定を行う。これにより、入力信号がノイズであると推定されるノイズ周波数帯域についてノイズ除去処理がオンとなり、入力信号がノイズでないと推定されるノイズ周波数帯域についてはノイズ除去処理がオフとなるようにして設定される。
そして、ノイズ除去処理オン/オフ判定44は、ノイズ周波数帯域ごとのノイズ波形データを入力している。ノイズ除去処理オン/オフ判定44は、この入力しているノイズ波形データのうち、ノイズ除去処理をオンに設定したノイズ周波数帯域のノイズ波形データのみを、ノイズ減算処理45に渡す。
ノイズ減算処理45は、A/D変換処理41から渡される入力信号に対して、上記ノイズ除去処理オン/オフ判定44から渡されるノイズ波形データを減算する。このようにしてノイズ波形データが減算されることでノイズが除去されることになる。そして、このノイズ除去後の信号が、ノイズ除去処理部40の出力信号となる。
図4は、上記図3に示したノイズ除去処理部40の信号処理機能をより具体化して示している。また、この図は、ノイズデータ46としては、図3での場合と同様に、データ項目は、第1〜第3周波数帯域ごとに区分されているが、レンズ駆動速度に応じた区分はないことを前提とする。
この図に示すノイズ除去処理部40は、A/D変換器50、FFT処理部51、第1BPF(Band Pass Filter)52、第2BPF53、第3BPF54、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57、スイッチSW1,SW2,SW3、IFFT処理部58、減算器59を有して構成されている。これらの部位についての図1との対応としては、先ず、A/D変換器50が音声用A/D変換器22に相当する。また、他の部位についてはDSP25にプログラムを実行させることで得られる信号処理として実現される。
入力信号は、先ずA/D変換器50によりデジタルの信号に変換され、FFT処理部51と減算器59とに入力される。
FFT処理部51は、入力された時間軸による信号を、FFT(Fast Fourier Transform:高速フーリエ変換)により周波数領域の信号(周波数信号)に変換する。また、減算器59に対しては、IFFT(Inverse FFT)処理部58により周波数信号から時間軸信号に変換されたうえでノイズ波形データに相当する信号が入力される。つまり、本実施形態では、ノイズ除去のオン/オフ判定に関する処理は、周波数領域の信号を用いて行うこととしている。
FFT処理部51にて得られた周波数領域の入力信号は、第1〜第3BPF52〜54のそれぞれに対して渡される。
第1BPF52、第2BPF53、第3BPF54は、図3のノイズ周波数帯域抽出処理41を実行する。第1BPF52、第2BPF53、第3BPF54は、それぞれ、ノイズデータ46の第1周波数帯域、第2周波数帯域、第3周波数帯域に対応して設けられている。
第1BPF52は、ノイズデータ46から第1周波数帯域に対応するノイズ周波数帯域データを取り込んで、このノイズ周波数帯域データが示すノイズ周波数帯域NW1に対応する周波数帯域範囲を通過帯域として設定する。
同様に、第2BPF53は、ノイズデータ46から第2周波数帯域に対応するノイズ周波数帯域データを取り込み、このノイズ周波数帯域データが示すノイズ周波数帯域NW2に対応する周波数帯域範囲を通過帯域として設定する。
同様に、第3BPF54は、ノイズデータ46から第3周波数帯域に対応するノイズ周波数帯域データを取り込み、このノイズ周波数帯域が示すノイズ周波数帯域NW3に対応する周波数帯域範囲を通過帯域として設定する。
ここでは、第1BPF52を通過したノイズ周波数帯域NW1の信号、第2BPF53を通過したノイズ周波数帯域NW2の信号、第3BPF54を通過したノイズ周波数帯域NW2の信号を、それぞれ信号S1,S2,S3とする。
図6は、上記第1BPF52、第2BPF53、第3BPF54の処理を模式的に示している。
図6(a)は、FFT処理部51から出力されて第1BPF52、第2BPF53、第3BPF54に入力される段階の入力信号を周波数領域により示している。この入力信号の周波数帯域範囲に対して、ノイズ周波数帯域NW1,NW2,NW3により特定される周波数帯域は、例えば図のようになる。
そして、第1BPF52は、図6(b)に示すように、ノイズ周波数帯域NW1を通過帯域として設定することで、図6(a)の入力信号からノイズ周波数帯域NW1のみを通過させた信号成分を信号S1として出力する。
同様に、第2BPF53は、図6(c)に示すように、ノイズ周波数帯域NW2を通過帯域として設定することで、図6(a)の入力信号からノイズ周波数帯域NW2のみを通過させた信号成分を信号S2として出力する。
同様に、第3BPF54は、図6(d)に示すように、ノイズ周波数帯域NW3を通過帯域として設定することで、図6(a)の入力信号からノイズ周波数帯域NW3のみを通過させた信号成分を信号S3として出力する。
図4において、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57は、図3の比較処理43に相当する。
第1相関性検出部55は、信号S1と、ノイズ周波数帯域NW1に対応するノイズ波形データ(実ノイズデータ)N1とを入力して相関性を検出する。同様に、第2相関性検出部56、第3相関性検出部57は、それぞれ、信号S2,S3と、ノイズ周波数帯域NW2,NW3に対応するノイズ波形データN2,N3とを入力して相関性を検出する。
図7には、レンズノイズが含まれる入力信号(収音音声信号)の周波数特性が示されている。
この図に示されるように、レンズノイズは、ノイズ周波数帯域NW1、NW2、NW3において振幅のピークが突出して出現する特性となっている。ノイズ波形データ(暗ノイズデータ、実ノイズデータ)は、図7のノイズ周波数帯域NW1、NW2、NW3における暗ノイズの音声信号、若しくは実ノイズの音声信号の振幅を示す。
また、ここではノイズ波形データとの名称を与えているが、これまでの説明から理解されるように、実際においては、ノイズ波形データは周波数領域の信号である。周波数領域の信号を時間領域の信号に変換したとすれば、ノイズとしての波形が復元されるものであり、この点で、周波数領域の信号であっても、実質、ノイズ波形を示しているといえる。
第1相関性検出部55が実行する相関性検出の処理として基本となる一例を図8に示す。
図8には、ノイズ周波数帯域NW1に対応する信号S1(破線)と、実ノイズデータから得られるノイズ波形信号N1(実線)とが示されている。ここでの信号S1とノイズ波形信号N1のスペクトラムの近似の度合い、即ち、波形の近似の度合いは、図において斜線で示す形状差部分の面積により扱うことができる。この形状差部分の面積が小さいほど、入力信号は、ノイズとの相関が高くなる。
そこで、例えば信号S1についてのノイズ周波数帯域NW1の区間での積分値Int_S1を求める。同様に、ノイズ波形データN1についてのノイズ周波数帯域NW1の区間での積分値Int_N1を求める。そのうえで、
|Int_S1 − Int_N1|=D1・・・(式1)
を求める。このようにして求められる差分絶対値D1が、上記図8の形状差部分の面積を示している。
第2相関性検出部56、第3相関性検出部57も同様にして上記(式1)に準じて差分絶対値D2,D3を求める。
この場合の第1相関性検出部55、第2相関性検出部56、第3相関性検出部57は、図3のノイズキャンセル処理オン/オフ判定44における、オン/オフ判定も実行するものとする。
このために、第1相関性検出部55は、上記のようにして求めた差分絶対値D1と閾値とを比較し、例えば差分絶対値D1が閾値を越えていなければ、入力信号とノイズは相関が無いと判定する。また、差分絶対値D1が閾値以内であれば、入力信号とノイズは相関が有ると判定する。
同様に、第2相関性検出部56は、差分絶対値D2と閾値とを比較して、入力信号とノイズとの相関の有無を判定する。また、第3相関性検出部57は、差分絶対値D3と閾値とを比較して、入力信号とノイズとの相関の有無を判定する。
このようにして、本実施形態では、ノイズ周波数帯域ごとに対応して個別に相関性検出つまり、レンズノイズの有無についての判定を行うようにしている。
図9は、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57のそれぞれによるオン/オフ判定の結果例を示している。
入力信号の周波数特性として、例えば図9(a)にて実線で示すものであったとする。また、ノイズ波形データに対応したノイズ周波数帯域NW1,NW2,NW3の各ノイズ成分のスペクトラムは、図において斜線で示す部分であるとする。この場合、ノイズ周波数帯域NW1,NW3においては、入力信号とレンズノイズのスペクトラム(振幅形状)はほぼ一致している。これに対して、ノイズ周波数帯域NW2の近傍においては、レンズノイズとは全く異なるスペクトルとなっている。
上記図9(a)の状態に応じては、差分絶対値D1,D3がそれぞれ閾値を越えるが、差分絶対値D2は閾値以内との比較結果が得られるものとする。これにより、例えば図9(b)に示すように、第1相関性検出部55、第3相関性検出部57は相関性有りとの判定結果を得る。これに応じて、ノイズ除去についてはオンを設定する。これに対して、第2相関性検出部56は相関性無しとの判定結果を得ることになり、これに応じて、ノイズ除去についてはオフを設定する。
スイッチSW1,SW2,SW3は、図3のノイズ除去処理オン/オフ判定44においてノイズ波形データをノイズ減算処理45に出力させるか否かの設定を行う部位に相当する。
スイッチSW1,SW2,SW3は、それぞれ、減算用のノイズ波形データN1,N2,N3をIFFT処理部58に入力させる経路に挿入されるようにして設けられている。なお、減算用のノイズ波形データについては後述する。
第1相関性検出部55、第2相関性検出部56、第3相関性検出部57は、上記のノイズ除去設定のオン/オフ判定結果に応じて、それぞれ上記スイッチSW1,SW2,SW3のオン/オフ設定を行う。ノイズ除去設定がオンとの判定の場合には、スイッチSWをオンとし、ノイズ除去設定がオフとの判定の場合には、スイッチSWをオフとする。
例えば図9の判定結果に応じては、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57は、それぞれ、スイッチSW1をオン、スイッチSW2をオフ、スイッチSW3をオンとする。
図10は、図9の判定結果に応じてIFFT処理部58経由で減算器59に対して入力させる減算用のノイズ波形データの信号を周波数領域により示している。この図に示すように、スイッチSW1,SW3がオン、スイッチSW2がオフとされていることで、減算器59に対しては、ノイズ周波数帯域NW1、NW2に対応するノイズ波形データのみが出力される。
ここで、スイッチSW1,SW2,SW3経由で減算器59に対して出力する減算用のノイズ波形データN1,N2,N3として、最も基本的で簡易なものとしては、ノイズデータ46の実ノイズデータとされればよい。
しかし、厳密には、実ノイズデータには、レンズが動いていないときに定常的に発生している暗ノイズも含まれている。この暗ノイズのエネルギーが非常に小さい場合には、減算用のノイズ波形データとして、上記実ノイズデータのみを利用しても問題になることはない。しかし、暗ノイズも比較的にエネルギーが強いような場合には、実ノイズデータのみにより減算を行うと、レンズの動きに応じて発生したノイズだけでなく、暗ノイズも除去することになる。この場合、必要以上に信号を減衰させることになってしまい、レンズの動きがないときと同等の波形を得ることができなくなる。つまり、減算用としては、暗ノイズ成分を除いた、レンズノイズ成分のみから成るノイズ波形データのほうが、より良好なノイズ除去が可能になる。
そこで、本実施形態では、減算用のノイズ波形データとして、ノイズデータ46における実ノイズデータに加えて、暗ノイズデータも利用することによって、暗ノイズを除いたノイズ波形データを生成できるようにしている。
図11(a)は、マイクロフォンにより収音された音声について、レンズの動きによってノイズが発生しているときの状態を示している。実ノイズデータは、例えば図11(a)においてノイズが発生している周波数帯域範囲である、ノイズ周波数帯域NWにおける信号成分を抜き出したデータである。
図11(b)は、マイクロフォンにより収音された音声について、レンズノイズが発生していないときの状態を示している。この図において現れているスペクトラムが暗ノイズを示している。ノイズ周波数帯域NWに対応する暗ノイズは、この図11(b)に示されるノイズ周波数帯域NWの信号成分を抜き出したデータである。
そして、図11(a)、図11(b)から分かるように、暗ノイズ成分を含まないノイズ波形データは、実ノイズデータから暗ノイズデータを減算することによって得ることができる。ノイズ除去処理部40は、スイッチSW1,SW2,SW3に対して、ノイズ周波数帯域NW1,NW2,NW3ごとに求めた暗ノイズ成分を含まないノイズ波形データ減算器59での減算用として供給する。
図4において、減算器59は、A/D変換器50からの入力信号に対して、IFFT処理部58経由で時間軸信号に変換された減算用のノイズ波形データの信号を減算する。これにより、入力信号からレンズの動きに応じて発生したノイズの除去が行われたことになる。
例えば、入力信号が図9に示したものであった場合、減算器59からの出力信号のスペクトルは、図12(a)に示されるものとなる。図9(a)と比較して分かるように、図12(a)においては、ノイズ周波数帯域NW1,NW3において現れていた、ノイズとして判定されたピークが抑制されている。また、ノイズ周波数帯域NW2においてはノイズ波形信号による減算が行われておらず、図9(a)と同じスペクトルが得られていることが分かる。この図12(a)に示されるスペクトルは、レンズの動きによるノイズが発生していない場合において得られていたものと同等であるとみることができる。
また、比較として、図12(b)に、ノイズ除去のオン/オフ設定をノイズ周波数帯域NW1,NW2,NW3ごとに個別に行うことなく、一律に行うこととした場合のノイズ除去結果を示す。
ノイズ除去のオン/オフ設定をノイズ周波数帯域NW1,NW2,NW3で一律に行った場合には、実際にノイズが発生したノイズ周波数帯域NW1,NW3だけではなく、ノイズが発生していないノイズ周波数帯域NW2も対象にしてノイズを除去してしまうことになる。この結果、図12(b)において示されるように、ノイズ周波数帯域NW2においては、本来のノイズ以外の音のスペクトルが損なわれる。つまり、適切なノイズ除去が行われない。
なお、上記の例では、ノイズデータ46において図2に示したとおりに、暗ノイズデータと実ノイズデータが記憶されており、これら暗ノイズデータと実ノイズデータとを利用して減算用のノイズ波形データを生成することとしている。しかし、例えば暗ノイズデータをノイズデータ46に格納する代わりに、ノイズ周波数帯域ごとに応じた減算用のノイズ波形データ(振幅値のデータ)を格納しておいてもよい。
図5のフローチャートは、これまでに説明したノイズ除去処理に対応して撮像装置本体2が実行する処理を示している。また、この図では、撮像装置本体2側でのノイズデータ取得に関連して、交換レンズ1の処理も示されている。
なお、この図において、撮像装置本体2側が実行する処理は、制御部30、カメラ制御部31、DSP25が適宜実行する処理としてみることができる。
また、この図に示す処理は、撮像装置本体2に交換レンズ1が装着されていることで、撮像装置本体2と交換レンズ1とで通信可能な状態にあることを前提とする。図1との対応では、撮像装置本体2の制御部30は、カメラ制御部31を経由して、レンズ制御部12と通信可能な状態にある。
先ず、ノイズ除去処理の開始にあたり、撮像装置本体2は、ステップS101により、交換レンズ1に対して、ノイズデータ46を保持しているか否かについての問い合わせを送信する。
交換レンズ1では、ステップS201により上記の問い合わせを受信したことに応じて、ステップS202により、ノイズデータを保有していることの通知を返す。
撮像装置本体2は、ステップS102により、交換レンズ1がノイズデータ46を保有しているか否かについて判別する。
例えば、この図のとおりに、ステップS202により送信された通知が撮像装置本体2にて受信されたのであれば、ステップS102において肯定の判別結果が得られる。これに対して、交換レンズ1がノイズデータ46を保有しておらず、問い合わせに対する応答がない、若しくは、ノイズデータ46を保有していないことの通知が行われた場合には、否定の判別結果が得られる。
ここでは、ステップS102において否定の判別結果が得られた場合の最も簡単な処理として、ステップS117にて所定のアラート処理を実行する。アラート処理としては、例えば撮像装置本体2のモニタ36などに、現在装着されている交換レンズはノイズデータ46を保持していないために、ノイズデータ46を利用したノイズ除去はできない旨を通知するための表示を実行させる。なお、以降においては、例えば標準として予め撮像装置本体2に記憶させたノイズデータを利用してノイズ除去処理を実行させる、若しくは、ノイズデータ自体を利用しない、他のノイズ除去処理を実行させるという対策を考えることができる。
ステップS102において肯定の判別結果が得られた場合には、ステップS103以降の、ノイズデータ46を利用したノイズ除去処理を開始する。
先ず、ステップS103においては、変数nに1を代入する。この変数nは、図2のノイズデータ46との対応では、第1周波数帯域、第2周波数帯域、第3周波数帯域の何れかの番号に対応する。
ステップS104においては、撮像装置本体2から交換レンズ1に対して、第nノイズ周波数帯域データ(NWn)を要求する。ここでいう第nノイズ周波数帯域データとは、ノイズデータ46において、第n周波数帯域に対応して格納されているノイズ周波数帯域データ(開始周波数、中心周波数、終了周波数(NWn))をいう。
交換レンズ1では、ステップS203により上記の要求を受信すると、これに応答して、ステップS204により、ノイズデータメモリ14のノイズデータ46から、第nノイズ周波数帯域データ(NWn)を読み出して、撮像装置本体2に送信する。
撮像装置本体2は、ステップS105により第nノイズ周波数帯域データ(NWn)を受信すると、ステップS106により、入力信号から、第nノイズ周波数帯域データ(NWn)が示す周波数帯域の信号成分を抽出する処理を実行する。つまり、図4との対応では、第1〜第3BPF52〜54のうち、変数nにより指定される1つのBPFにより入力信号を通過させる処理が実行される。
次に、撮像装置本体2は、ステップS107により第n周波数帯域に対応して格納されるノイズ波形データを、交換レンズ1に対して要求する。なお、ここで要求するノイズ波形データとしては、実ノイズデータと暗ノイズデータとを要求する。
交換レンズ1では、ステップS205により上記の要求を受信したことに応じて、ステップS206により、ノイズデータメモリ14のノイズデータ46から、第n周波数帯域に対応して格納されている実ノイズデータと暗ノイズデータを読み出して、要求されたノイズ波形データとして、撮像装置本体2に送信する。
撮像装置本体2は、ステップS108により上記ノイズ波形データを受信すると、まずは、実ノイズデータを利用してステップS109にて相関性検出処理を実行する。この相関性検出処理は、図4との対応では、第1〜第3相関性検出部33〜57のうち、変数nにより指定される1つの相関性検出部が、例えば先に述べた手法による相関性検出を実行するものとなる。
次に撮像装置本体2は、ステップS109の相関性検出処理により、相関性有りとの検出結果が得られたか否かについて判別する。ここで、肯定の判別結果が得られた場合には、ステップS111に進んで、第n周波数帯域のノイズ除去をオンに設定する。これに対して、相関性無しとの検出結果が得られたことに応じて、否定の判別結果が得られたのであれば、ステップS112に進んで、第n周波数帯域のノイズ除去をオフに設定する。図4との対応では、このオン/オフ設定に応じて、変数nにより指定される1つの相関性検出部が,対応するスイッチSWnのオン/オフを切り換える。
ステップS113では、変数nについてインクリメントし、ステップS114にて現在の変数nが最大値を越えていると判別されなければ、ステップS104に戻る。つまり、ノイズ除去処理部40において、次の第n周波数帯域に対応するノイズ判定処理が実行されることになる。
そして、ステップS104〜ステップS112までの処理を、設定されたノイズ周波数帯域ごとに実行すると、ステップS114にて肯定の判別結果が得られることとなって、ステップS115、S116の処理に進む。
ステップS115は、ノイズ除去オンが設定されたノイズ周波数帯域ごとに対応して、例えば図11により説明したようにして、暗ノイズデータと実ノイズデータとを利用して、減算用のノイズ波形データを生成し、これらの減算用のノイズ波形データを合成する。図4との対応では、減算用のノイズ波形データの合成は、スイッチSW1,SW2,SW3を経由した後において実行される。
そして、ステップS116により、入力信号から、上記合成された減算用ノイズデータを減算する。つまり、図4の減算器59としての処理を実行する。
ステップS116の後はステップS103に戻る。つまり、これまでに説明した設定されたノイズ周波数帯域ごとのノイズ除去オン/オフ設定と、この設定結果に応じたノイズ周波数帯域ごとのノイズ除去処理を繰り返す。
なお、図5の処理では、撮像装置本体2は、ノイズ周波数帯域ごとのノイズ除去オン/オフ設定を実行する都度、交換レンズ1からノイズデータ46を取得するようにしている。しかし、実際においては、撮像装置本体2としては、例えば交換レンズ1が装着されて通信可能となったときに、予め、交換レンズ1からノイズデータ46を読み出して保持しておき、以降、この保持したノイズデータ46からの読み出しを行って、図5に準じたノイズ除去処理を繰り返し実行すればよい。
また、図2のようにしてズーム対応ノイズデータとフォーカス対応ノイズデータとを有する場合には、現在駆動されているレンズが、ズームレンズとフォーカスレンズとの何れであるのかを判定しているようにする。この判定は、例えばカメラ制御31のレンズ駆動制御状態を監視することで行える。
そして、ズームレンズが駆動されているのであればズーム対応ノイズデータから、フォーカスレンズが駆動されているのであればフォーカスレンズ対応ノイズデータから、必要なノイズデータ項目を取得してノイズ除去処理に用いるようにする。
<4.ノイズデータの作成例>
続いて,図13〜図15を参照して、ノイズデータ46の作成例について説明する。
ノイズデータ46を作成するのにあたっては、先ず、図13に示すようにして、交換レンズ1を装着した撮像装置本体2を無響室61に置く。無響室61に置くことで、レンズノイズ以外の不要な音が存在しない環境が得られる。
また、この場合においては、マイクロフォン21により収音して得られた音声信号は、例えばA/D変換器50によりデジタルに変換した後に、ノイズデータ作成部60に対して入力されるようにしている。
ノイズデータ作成部60は、例えばコンピュータ装置などにより構成されて、入力される音声信号からノイズデータ46を作成する機能を与えられている。また、ここでは、ノイズデータ作成部60により作成したノイズデータ46を、交換レンズ1のノイズデータメモリ14に書き込むことができるようになっている。
図14は、図13の環境でのノイズデータ46の作成作業の手順をフローチャートとして示したものである。
ここでは先ず、ステップS301により、交換レンズ1を駆動せずにレンズを停止させた状態でマイクロフォン21による収音を行って音声信号を得る。
ここで、レンズを駆動した状態でマイクロフォン21により収音される音は、暗ノイズとなる。この暗ノイズの音声信号は、例えば、図15(a)に示すような比較的平坦なスペクトラムが得られる。
次のステップS302においては、上記ステップS301により収音して得られた暗ノイズの音声信号を、ノイズデータ作成部60に入力する。ノイズデータ作成部60では、この入力された暗ノイズの音声信号のデータを保持しておく。
次のステップS303は、交換レンズ1を駆動してレンズを動かした状態でマイクロフォン21による収音を行う。このようにしてレンズを動かしたときに収音される音声は、レンズが動いたことで発生したノイズが重畳されている。つまり、実ノイズの音声信号となる。このような実ノイズの音声信号のスペクトルの例は、図15(b)に示される。
そこで、次のステップS304により、上記ステップS303により収音して得られた実ノイズの音声信号を、ノイズデータ作成部60に入力する。ノイズデータ作成部60は、この入力された実ノイズの音声信号のデータも保持しておく。
ステップS305においては、これまでの作業手順によりノイズデータ作成部60が保持することとなった実ノイズと暗ノイズとに対応する音声信号を利用して、ノイズデータ46を作成する。つまり、ノイズデータを形成するデータ項目の値を求めて、求められたデータ項目の値により、例えば図2に示した構造のノイズデータを作成する。
例えば、ノイズ周波数帯域は、実ノイズの音声信号と暗ノイズの音声信号のスペクトルを比較することで特定できる。つまり、暗ノイズの音は図15(b)に示すように比較的平坦な特性であるのに対して、実ノイズの音は、図15(b)に示すようにして、レンズの動きに応じて発生したノイズに対応する周波数帯域のレベルに大きなピークが現れる。従って、ノイズデータ作成部60は、暗ノイズと実ノイズの特性とを比較する処理によって、ノイズ周波数帯域を容易に特定できる。
また、実ノイズデータは、実ノイズの音声信号から、特定されたノイズ周波数帯域ごとの信号成分を抜き出して、これをデータ化すればよい。
暗ノイズデータも、同様に、暗ノイズの音声信号から、特定されたノイズ周波数帯域ごとの信号成分を抜き出して、これをデータ化すればよい。
また、疑似ノイズデータについては、特定されたノイズ周波数帯域ごとの、実ノイズと暗ノイズの信号成分に基づいて、例えば所定の変換アルゴリズムなどを用いて作成することが可能である。
また、経年変化係数、温度変化係数、湿度変化係数、テレコンバータ補正係数などは、例えば予めの試験などにより求めておいたうえで、ノイズデータ作成部60に保持させておくようにすればよい。そして、このステップS305としてのノイズデータ作成時において、これらの係数のデータを読み出して、データ項目として作成すればよい。
また、図2のノイズデータ46のようにして、異なるレンズ駆動速度ごとのデータ項目を必要とするときには、ステップS303,S304による実ノイズの音声の収音と、ノイズデータ作成部60への入力について、レンズ駆動速度を変更しながら、必要回数を繰り返せばよい。
そして、上記のようにしてノイズデータ46が作成されたのであれば、ノイズデータ作成部60から交換レンズ1のノイズデータメモリ14に対して、作成したノイズデータ46を転送して書き込むようにする。
また、図2のノイズデータ46の例のようにして、ズーム対応ノイズデータとフォーカス対応ノイズデータとを有する場合には、ステップS303,S304の作業を、ズーム対応ノイズデータとフォーカス対応ノイズデータとに対応させて2回実行すればよい。つまり、ステップS303でズームレンズを駆動させて、ズームレンズが動いているときの実ノイズの音声信号を得る作業と、ステップS303でフォーカスレンズを駆動させてズームレンズが動いているときの実ノイズの音声信号を得る作業とを行えばよい。
なお、ここでは、ノイズデータ作成部60により作成したノイズデータを、直ちに、交換レンズ1のノイズデータメモリ14に書き込むこととしている。しかし、例えばノイズデータ作成部60により作成したノイズデータを、一旦、内部に記憶させておき、後において、同じ機種、形式の交換レンズ1のノイズデータメモリ14に対して一括して書き込むようにしてもよい。
ただし、同じ機種、形式の交換レンズ1であっても、個体差により、レンズノイズの特性には違いがあると考えられる。そこで、図14に示した作業により、交換レンズごとにノイズデータ46を作成して書き込むこととすれば、上記の交換レンズの固体差に応じた特性の違いに対して容易に対応できる。
<5.第2実施形態:レンズ駆動速度に応じた処理>
これまでにも述べているように、ノイズデータ46には、周波数帯域ごとに、レンズ駆動速度に応じたデータ項目を格納することができる。図2のノイズデータ46の例では、第1〜第3周波数帯域ごとに、低速、中速、高速の3段階のレンズ駆動速度に応じたデータ項目が格納されている。
先の第1実施形態での説明では、基本的な本実施形態のノイズ除去処理を説明する便宜上、レンズ駆動速度に応じた処理については説明を省いた。
そこで、第2実施形態として、レンズ駆動速度に応じたノイズ除去処理の例について説明する。
図16(a)(b)(c)は、それぞれ、低速、中速、高速のレンズ駆動速度ごとに応じて得られる、実ノイズの音声信号を示している。
これらの図を比較して分かるように、先ず、レンズ駆動速度が異なるのに応じて、ノイズ周波数帯域NW1,NW2,NW3としての周波数範囲が変化している。また、各ノイズ周波数帯域NW1,NW2,NW3において現れる実ノイズに対応した振幅形状も、レンズ駆動速度が異なるのに応じて変化している。この振幅形状の違いは、実ノイズデータにより示されるものとなる。
ノイズデータ46は、このようなレンズ駆動速度ごとに応じた違いが反映されるようにして、レンズ駆動速度ごとのノイズ周波数帯域データ、実ノイズデータなどをはじめとするデータ項目の値を格納している。
そして、駆動速度の違いに対応したノイズ除去処理を実行するのにあたっては、例えば撮像装置本体2の制御部30は、カメラ制御部31から、現在のレンズ駆動速度の情報を取り込むようにする。レンズ駆動の制御はカメラ制御部31が実行するので、レンズ駆動速度は、カメラ制御部31から得ることができる。
次に、制御部30は、取り込んだレンズ駆動速度が、例えば図2との対応であれば、低速、中速、高速の何れの段階に該当するのかを判定し、その判定結果をDSP25のノイズ除去処理部40に通知する。
ノイズ除去処理部40は、そのときに実行しているノイズ除去処理に利用するためのノイズデータとして、通知されたレンズ駆動速度に応じて格納されているノイズデータを読み出して利用する。これにより、レンズ駆動速度に応じたレンズノイズの特性の変化に対応して、適切にノイズ除去を行えることになる。
なお、例えば実際においては、レンズ駆動速度、つまり、レンズが動かされる速度は、例えば高速、低速、中速などとしての規定の段階速度の間で速度が変化する過渡期において、その中間の速度が現れる。
実際においては、段階的に設定した速度のみに対応するノイズデータのデータ項目を利用してノイズ除去処理を実行すれば、充分なノイズ除去結果を期待できる。
しかし、より厳密にノイズ除去を行おうとすれば、上記の過渡期における中間速度にも対応してノイズ除去をおこなうようにしてよい。
このためには、例えば、規定の段階速度の間で速度を変更するときには、その過渡期において、ノイズ周波数帯域データ、ノイズ波形データなどのデータに、その中間速度に応じた係数を与え、この係数が与えられたノイズ周波数帯域データ、ノイズ波形データを利用してノイズ除去処理を実行するように構成することが考えられる。
<6.第3実施形態:レンズの経年変化に応じた処理>
また、図2のノイズデータ46の例では、経年変化係数が示されている。
この経年変化係数は、先に述べたように、交換レンズ1の使用時間に応じて、例えば、ノイズ周波数帯域(開始周波数、中心周波数、終了周波数)、また、暗ノイズデータ、実ノイズデータ、疑似データなどのデータ項目の値を変化させるための係数である。
例として、ノイズ周波数帯域NW1,NW2,NW3(開始周波数、中心周波数、終了周波数)についての、経年変化係数を図17に示す。この場合のノイズ周波数帯域NW1,NW2,NW3の経年変化について試験したところ、ノイズ周波数帯域NW1,NW2,NW3(開始周波数、中心周波数、終了周波数)は、それぞれ、使用時間に応じて、或る一定比率でその周波数高くなっていくような傾向にあったものとされる。そこで、係数値としては、ノイズ周波数帯域NW1,NW2,NW3ごとに、使用時間が0のときに1とされたうえで、使用時間の増加に応じて、上記の一定比率に応じて増加していくものとなる。ノイズ周波数帯域NW1,NW2,NW3の経年変化係数は、例えばこのような使用時間に応じて変化する係数値を示し得る、所定構造のデータとなる。なお、この場合には、ノイズ周波数帯域、ノイズ波形データをはじめ、経年変化係数を与えるべきデータ項目の値については、使用時間が0のときに対応して得られる値(実際は、はじめて使用したときに得られる値)をノイズデータ46に格納しておくことになる。また、このような係数値として例えば暗ノイズデータ、実ノイズデータのためのものについても格納しておくようにする。
なお、図17は、係数値が使用時間に応じて一次関数的に変化する状態として示しているが、ノイズデータ46に格納する経年変化係数としては、例えば、或る使用時間ごとの幅に応じて段階的に変化する値を格納するようにしてもよい。
そして、撮像装置本体2が、実際のノイズ除去処理に際して、例えばノイズ周波数帯域やノイズ波形データを利用するときには、そのときの交換レンズ1の使用時間の情報を取得したうえで、ノイズデータ46から読み出したノイズ周波数帯域、ノイズ波形データの値に対して、取得した使用時間に応じた経年変化係数を乗算し、現在の使用時間に応じたノイズ周波数帯域、ノイズ波形データの値を求める。そして、この求められたノイズ周波数帯域、ノイズ波形データの値を利用して、ノイズ除去処理を実行する。
なお、上記のようにして経年変化係数を利用してノイズ除去処理を実行するためには、交換レンズ1の使用時間の情報が、常に実際の使用に応じて更新されるようにして保持されている必要がある。このための構成としてはいくつか考えられるが、最も順当なものの1つとして、例えば交換レンズ1のレンズ制御部12が、この使用時間の情報を保持管理するように構成することが考えられる。このためには、レンズ制御部12は、レンズ部111が駆動されるごとにその駆動された時間を積算し、この積算された時間を使用時間として記憶しておくようにする。そして、撮像装置本体2が、ノイズ除去処理を実行するのにあたっては、交換レンズ1から、ノイズデータ46のノイズ周波数帯域やノイズ波形データとともに、上記の使用時間も取得する。そして、取得したノイズ周波数帯域やノイズ波形データの値に対して、経年変化係数により乗算して得られる値を利用して、ノイズ除去処理を実行する。
なお、図2のノイズデータ46には、係数のデータ項目として、経年変化係数のほかに、温度変化係数、湿度変化係数、テレコン補正係数が示されている。
温度変化係数、湿度変化係数を利用してノイズ除去処理を実行する場合には、例えば撮像装置本体2が、現在の温度、湿度を測定するとともに、交換レンズ1のノイズデータ46から、測定した現在の温度、湿度に対応する温度変化係数、湿度変化係数としての係数値を取得する。そして、撮像装置本体2は、ノイズ周波数帯域やノイズ波形データの値に対して、取得した係数値を乗算した値を求め、この求められた値を利用してノイズ除去処理を実行する。
また、テレコン補正係数を利用してノイズ除去処理を実行する場合には、撮像装置本体2が、交換レンズ1に対してテレコンバータが装着されている状態であるか否かについて認識できるようにする。そして、テレコンバータが装着されていると認識しているとき、撮像装置本体2は、交換レンズ1のノイズデータ46から、ノイズ周波数帯域、ノイズ波形データなどのデータとともに、テレコン補正係数の値も取得する。そして、ノイズ周波数帯域、ノイズ波形データの値に対して、テレコン補正係数を乗算した値を求め、この求められた値を利用してノイズ除去処理を実行する。
なお、テレコンバータが装着されていることを撮像装置本体2が認識できるようにするための構成としては、例えば、先ず、交換レンズ1にて、メカスイッチなどの機構により、テレコンバータが装着されていることを検出できるようにする。そして、交換レンズ1から撮像装置本体2に対して、テレコンバータが装着されていることを通知する、という構成が考えられる。また、撮像装置本体2に対する所定のユーザ操作によって、テレコンバータが装着されていることを内部の制御部30に通知するような構成とすることも考えられる。
また、コンバージョンレンズには、テレコンバータの他にワイドコンバータもある。例えば、ノイズデータ46にワイドコンバータに対応した補正係数を格納すれば、上記テレコン補正係数に対応したノイズ除去処理に準じて、ワイドコンバータの装着時に対応したノイズ除去処理を実現できる。
また、補正係数としては、他にも、例えば重力、気圧などに応じたものを考えることができる。
<7.第4実施形態:交換レンズのノイズデータが無い場合の処理>
先に図5のフローチャートに示した撮像装置本体2のノイズ除去処理では、最も基本的な処理の流れとして、ステップS102によりノイズデータが無いとして否定の判別結果が得られた場合には、ステップS117によりアラート処理を実行する。そして、ステップS117の処理の後は、ノイズデータ46を利用したノイズ除去処理は実行しないこととしている。
しかし、ノイズデータ46を保有していない交換レンズが装着された場合であっても、ノイズデータを利用したノイズ除去処理が実行できる可能性ができるだけ与えられるようにすれば、その交換レンズが発生するノイズを有効に低減できて好ましい。
そこで、第4実施形態として、ノイズデータを記憶保持していない交換レンズが装着されている場合に対応した下記の構成を提案する。
図18は、第4実施形態に対応するノイズ除去処理部40の構成例を示している。なお、この図において図14と同一部分には同一符号を付して説明を省略する。
図18に示されるノイズ除去処理部40においては、本体内データ70が設けられている。
本体内データ70は、1以上の交換レンズの機種ごとに対応したノイズデータが格納されている。交換レンズの機種ごとのノイズデータの構造、内容としては、例えば図2に準ずればよい。
そして、第4実施形態では、例えば次のようにして、本体内ノイズデータ70を利用する。
先ず、図2に示すステップS102においてノイズデータが無いとして否定の判別結果が得られたとする。この場合、第4実施形態の撮像装置本体2は、ステップS117の処理に代えて、下記の処理を実行する。
つまり、撮像装置本体2は、そのときに装着されている交換レンズ1に対して、その機種を示すデータを要求して取得する。次に、本体内ノイズデータ70から、取得した交換レンズ1の機種のデータが示すものと同じ機種に対応するノイズデータが記憶されているかどうかを検索する。
そして、本体内ノイズデータ70において交換レンズ1の機種に対応するノイズデータが記憶されているのであれば、以降は、この本体内ノイズデータ70における交換レンズ1のノイズデータを利用して、ノイズ除去処理を実行する。つまり、図18において、第1BPF52、第2BPF53、第3BPF54に入力するノイズ周波数帯域NW1,NW2,NW3のデータは、本体内ノイズデータ70から読み出したデータとなる。同じく、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57、スイッチSW1,SW2,SW3に入力するノイズ波形データも、本体内ノイズデータ70から読み出したデータに基づくものとなる。
また、本体内ノイズデータ70において交換レンズ1の機種に対応するノイズデータが記憶されていなければ、ここで改めてステップS117に準じたアラート処理を実行して、例えば標準のノイズデータを利用したノイズ除去処理を実行する。
<8.第5実施形態:マイクロフォンの周波数特性を考慮した処理>
撮像装置本体2が備えるマイクロフォン21は、例えば実際に採用される製品の型などに応じて、異なる周波数特性を持っていると考えてよい。
このことからすると、厳密には、マイクロフォン21により収音して得られた音声信号(入力信号)に含まれるレンズノイズは、マイクロフォン21の周波数特性が与えられていることになる。このことは、実際に入力信号に含まれるレンズノイズの周波数特性は、ノイズデータ46において格納されているノイズ周波数帯域やノイズ波形データの特性に対して、マイクロフォン21の周波数特性の影響分による差を生じていることになる。
第5実施形態は、上記したマイクロフォン21の周波数特性の影響による入力信号のノイズ特性と、ノイズデータ46との誤差を解消して、より適切にノイズ除去処理が行えるようにするための構成である。
図19は、第5実施形態に対応したマイクロフォン21、及びノイズ除去処理部40の構成例を示している。なお、この図において、図4と同一部分には、同一符号を付して説明を省略する。
第5実施形態に対応しては、先ず、マイクロフォン21が、周波数特性(f特)データ21aを記憶保持する。また、ノイズ除去処理部40においては、ノイズデータ46から読み出したノイズ波形データを、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57、スイッチSW1,SW2,SW3に入力させる系に対して、周波数特性(f特)補正部71を挿入して設ける。
第5実施形態のノイズ除去処理は次のようになる。
ノイズ除去処理に際しては、ノイズ除去処理部40においては、上記第1相関性検出部55、第2相関性検出部56、第3相関性検出部57、スイッチSW1,SW2,SW3に入力させるべきノイズ波形データ(実ノイズデータ、暗ノイズデータ)を、先ず、周波数特性補正部71が入力する。また、周波数特性補正部71は、マイクロフォン21に記憶されている周波数特性データ21aも入力する。
ここで、周波数特性補正部71に対して、ノイズデータ46から入力したノイズ波形データ(例えば実ノイズ波形)の周波数特性が図20(a)に示すものであったとする。なお、先に述べたように、ノイズ波形データは、実際には、ノイズ周波数帯域ごとの振幅の情報しか有していない。しかし、ここでは、特性について視覚的に分かりやすくなることを考慮して、入力信号の周波数帯域に対応したレンズノイズの振幅を示している。
また、周波数特性補正部71が入力した、マイクロフォン21の周波数特性データ21aが示す周波数特性の例を図20(b)に示す。
そして、周波数特性補正部71は、図20(c)に示すようにして、図20(a)に示される元のノイズ波形データの周波数特性に対して、図20(b)に示されるマイクロフォン21の周波数特性を与える処理を実行する。この図20(c)に示される周波数特性は、元々のノイズ波形データの周波数特性を、マイクロフォン21の周波数特性に対応させて、実際にマイクロフォン21により収音されたレンズノイズの周波数特性との誤差が解消されるように補正したものとなる。
そして、ノイズ除去処理部40においては、上記図20(c)に示されるようにして補正されたノイズ波形データを、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57、スイッチSW1,SW2,SW3に渡すようにする。これにより、マイクロフォン21の周波数特性に対応して、良好にレンズノイズが除去される。
<9.第6実施形態:外部マイクロフォンに対応した処理>

これまでにおけるマイクロフォン21は、撮像装置本体2において内蔵されるものであるとしていた。ここで、撮像装置本体2が、図21の平面図に示すようにして、内蔵のマイクロフォン21だけではなく、外部マイクロフォン21Aも装着して収音させることができるようになっているとする。なお、このように複数のマイクロフォンを使用可能な場合には、例えばユーザ操作であるとか、外部マイクロフォン21Aの接続状態などに応じて、実際に収音に使用する1つのマイクロフォンについて切換が行われるようになっている。
このようにして、収音に使用するマイクロフォンが複数設けられている場合、例えば、図21に示しているように、交換レンズ1(即ちレンズノイズ発生源)からマイクロフォン21までの距離L1と、外部マイクロフォン21Aまでの距離L2とが異なってくる。これは、マイクロフォン21を収音のために使用した場合と、外部マイクロフォン21Aを収音のために使用した場合とで、収音されるレンズノイズのレベルが変化することになる。
従って、例えばマイクロフォン21を収音のために使用しているときと、外部マイクロフォン21Aを使用しているときとで、同じノイズ波形データを利用していると、上記のレベル差により、例えば外部マイクロフォン21Aの使用時には、適正なノイズ除去結果が得られなくなる可能性がある。
そこで、第6実施形態のノイズ除去処理としては、撮像装置本体2が、マイクロフォン21からノイズ発生点(例えば装着された交換レンズ1において定めた所定の一点)までの距離L1と、外部マイクロフォン21Aからノイズ発生点までの距離L2の各値を保持しておくようにする。
そのうえで、例えば先ず、内蔵のマイクロフォン21を使用して収音しているときには、ノイズデータ46から読み出したノイズ波形データをそのまま利用してノイズ除去処理を実行する。
これに対して、外部マイクロフォン21Aを使用して収音しているときには、ノイズ除去処理部40は、保持している距離L1,L2を利用して、ノイズ波形データのレベルを変更するようにして補正する。最も簡単な例としては、音圧レベルが距離の2条に比例して小さくなることに基づき、ノイズ波形データのレベルについて、例えば(L1/L2)^2(^2は2のべき乗を示す)により得られる値を乗算して補正するというものである。
そして、ノイズ除去処理部40は、上記のようにしてレベル補正したノイズ波形データ(N1,N2,N3)を、それぞれ、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57、また、スイッチSW1,SW2,SW3に入力させるようにする。これにより、使用されるマイクロフォンの切り換えに対応して適切にレンズノイズを除去可能になる。
<10.第7実施形態:ノッチフィルタを採用する処理>
これまでにおいては、ノイズ波形データとして、例えば暗ノイズデータと実ノイズデータから成るデータを利用してノイズ除去処理を実行する場合を例に挙げてきた。
上記したノイズ波形データは、実際のレンズノイズのスペクトルが忠実に反映されているので、ノイズ除去効果が非常に高い。
しかし、例えば或る一定以上のノイズ除去効果が得られさえすれば、むしろノイズ除去処理の負荷を軽くすることを優先したい場合もあると考えられる。第7実施形態はこのような構成の一例となる。
第7実施形態においては、ノイズ波形データ(暗ノイズデータ、実ノイズデータ)に代えて、図2に示した疑似ノイズデータを利用する。
そして、この場合の疑似ノイズデータは、ノイズ周波数帯域NW1,NW2,NW3ごとにノッチフィルタ(帯域阻止フィルタ (Band-Elimination Filter : BEFともいう)を形成するためのノッチフィルタ特性データF1,F2,F3となる。
図22は、第7実施形態に対応したノイズ除去処理部40の構成例を示している。なお、この図において、図4と同一部分には同一符号を付して説明を省略する。
この図のノイズ除去処理部40においては、スイッチSW1,SW2,SW3に対しては、それぞれ、ノイズ波形データN1,N2,N3に代えて、ノッチフィルタ特性データF1,F2,F3が入力される。
また、この図のノイズ除去処理部40においては、減算器59に代えてノッチフィルタ80を挿入する。このノッチフィルタ80に対して、オン状態のスイッチSW1,SW2,SW3を介して、ノッチフィルタ特性データF1,F2,F3が入力される。ノッチフィルタ80は、入力されるノッチフィルタ特性データF1,F2,F3に応じてノッチフィルタの特性を設定して、入力信号を通過させて出力信号として出力する。
ノッチフィルタ特性データF1,F2,F3は、それぞれ、ノイズ周波数帯域NW1,NW2,NW3に対応したものとなる。
図23(a)は、ノッチフィルタ特性データF1,F2,F3を全て有効に設定した場合のノッチフィルタ80の特性の例を示している。この図に模式的に示されるようにして、ノイズ周波数帯域NW1,NW2,NW3ごとにおける遮断特性に対応するV字形状は、それぞれ異なったものとなっている。
ノッチフィルタとしての1つの遮断特性を決定するパラメータは、例えば図23(b)に示すようにして、中心周波数fm、帯域幅w、選択度Q、減衰度dなどとなる。ここで、中心周波数fm、帯域幅wのパラメータは、この場合には、ノイズデータ46におけるノイズ周波数帯域(開始周波数、中心周波数、終了周波数)として決定されている。従って、ノイズデータ46において格納されるノッチフィルタ特性データF1,F2,F3としては、例えば中心周波数fm、帯域幅wは省略して、選択度Q及び減衰度dを有して形成されてよい。
図22に示したノイズ除去処理部40の一動作例を記載しておく。
ここで、例えば第1相関性検出部55、第2相関性検出部56、第3相関性検出部57による各相関性検出処理の結果、第1相関性検出部55と第3相関性検出部57では相関有りと検出され、第2相関性検出部56では相関無しと検出されたとする。これに応じてスイッチSW1,SW3はオン、スイッチSW2はオフとなるようにして設定される。これに応じて、ノッチフィルタ80には、スイッチSW1,SW3を介して、ノッチフィルタ特性データF1,F3が入力されるが、ノッチフィルタ特性F2は入力されないことになる。
これに応じて、ノッチフィルタ80は、ノイズ周波数帯域NW1においてノッチフィルタ特性データF1のパラメータによる遮断特性を設定するとともに、ノイズ周波数帯域NW3においてノッチフィルタ特性データF3のパラメータによる遮断特性を設定する。つまり、入力信号の周波数帯域において、ノイズ周波数帯域NW1、NW2の2つの帯域範囲にて遮断特性を設定する。これは、例えば図23(a)のフィルタ特性について、ノイズ周波数帯域NW2については遮断特性を与えずにフラットな特性を与えるようにして変更設定したものとなる。
そして、ノッチフィルタ80は、上記のようにして自身の特性を設定したうえで、入力信号を通過させる。これにより、出力信号としては、ノイズ周波数帯域NW1、NW3が減衰され、一方で、レンズノイズが発生していないノイズ周波数帯域NW2については減衰されない状態で出力される。つまり、ノイズ周波数帯域NW1、NW3にて発生したレンズノイズ成分のみが適正に除去された出力信号が得られる。このようにして、ノッチフィルタを採用する場合においても、ノイズ除去処理のオン/オフは、ノイズ周波数帯域ごとに個別に設定できる。
<11.第8実施形態:ノイズ波形データのダウンサンプリングを併用する処理>
上記第7実施形態は、ノイズ除去処理の負荷を軽くすることを優先する目的で、ノイズ波形データに代えてノッチフィルタを動作させる構成としている。
第8実施形態は、同様にノイズ除去処理の負荷を軽くすることを優先する目的で、ノイズ除去処理に利用するノイズ波形データのデータ量を小さくしようというものである。ノイズ波形データのデータ量が小さくなれば、ノイズ波形データを利用する相関検出処理、減算器59における入力信号に対するノイズ波形データの減算処理は、その負荷を軽減できる。
また、第8実施形態では、レンズノイズ発生量に応じて、ノイズ除去処理に利用するノイズ波形データについて、ダウンサンプリングしないノイズデータ46から読み出したままのサンプリング周波数のノイズ波形データと、ダウンサンプリングしたノイズ波形データとで切り換えを行うように構成する。
図24は、第8実施形態に対応するノイズ除去処理系の構成を示している。なお、この図において図4などと同一委部分には同一符号を付して説明を省略する。
図24に示すノイズ除去処理部40においては、ノイズデータ46から読み出したノイズ波形データN1,N2,N3を、それぞれ、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57、及びスイッチSW1,SW2,SW3に入力させる系において、ダウンサンプル処理部72を挿入して設けている。
例えば交換レンズ1のレンズ駆動が、比較的長い時間に渡って細かく頻繁に行われるなどしたときには、単位時間のレンズノイズの発生量が増加する。カメラ制御部31は、現在のレンズ駆動の状態について判断しており、その判断結果をダウンサンプル処理部72に対して出力する。
ダウンサンプル処理部72は、カメラ制御部31から出力される上記のレンズ駆動状態についての判断結果に基づいて、入力するノイズ波形データをダウンサンプルして出力する動作と、ダウンサンプルせずに元のサンプリング周波数によるノイズ波形データのまま通過させて出力する動作とを切り換える。カメラ制御部31は、交換レンズ1のレンズの駆動制御を実行する部位であるから、レンズ駆動状態については、自身が把握している。
ダウンサンプル処理部72のダウンサンプル処理例を、図25に模式的に示す。
図25(a)は、ノイズデータ46から読み出したとする元のサンプリング周波数によるノイズ波形データを示す。ダウンサンプル処理部72は、この図25(a)に示す元のサンプリング周波数によるノイズ波形データを入力してダウンサンプル処理を施すことで、例えば図25(b)に示すようにして、ダウンサンプルされたノイズ波形データを出力する。
図25(c)は、図25(a)のノイズ波形データを図25(b)に示すようにしてダウンサンプルする処理の一例を示している。
図25(c)において実線で示されている波形は、図25(a)のノイズ波形データに相当し、そのサンプリング周波数に応じたサンプルタイミングは、図25(c)の時点t1,t2,t3として示されている。
そして、この波形に対するダウンサンプル処理としては、例えば時点t2としてのサンプルタイミングにおけるレベルaと、次のサンプリングタイミングにおけるレベルbとの平均値a+b/2を求める。そして、時点t3のサンプリングタイミングのレベルをa+b/2とする。そして、図25(c)において破線で示すようにして、時点t1に続くサンプルタイミングとしては、時点t3とする。つまり、ここでは、元のノイズ波形データのサンプリング周波数を1/2とするダウンサンプル処理が実行されている。
このようにしてダウンサンプル処理部72がダウンサンプリングを実行することで、ノイズ波形データのデータ量が削減される。例えばサンプリング周波数が1/2とされれば、量子化ビット数が同じ条件では、データ量も1/2になる。これにより、第1相関性検出部55、第2相関性検出部56、第3相関性検出部57の相関性検出処理と、減算器59にて実行される入力信号からの減算処理など、ノイズ波形データを利用する処理の負荷が軽減されることになる。
図26は、第8実施形態のノイズ除去処理として、ダウンサンプル処理部72のダウンサンプル処理についてのオン/オフ切り換えのための処理手順例を示している。
ここで、ダウンサンプル処理部72は、先ず、ステップS401により、カメラ制御部31におけるレンズ駆動状態についての判定結果から、交換レンズ1がレンズ駆動を実行中にあるか否かについて判別する。
ステップS401にて否定の判別結果が得られた場合には、レンズが駆動されておらず、従ってレンズノイズも発生してはいない状態にある。このときには、ステップS405に進む。ステップS405では、ダウンサンプル処理は停止させて、入力しているノイズ波形データについては、そのままのサンプリング周波数により出力させる。
また、ステップS401において肯定の判別結果が得られた場合には、ステップS402に進む。
ステップS402においてダウンサンプル処理部72は、カメラ制御部31におけるレンズ駆動状態についての判定結果から、レンズ駆動の速度が一定以上であるか否かについて判別する。ステップS402において否定の判別結果が得られた場合、レンズは駆動されている状態にあるが、レンズ駆動速度が一定以下であるために、レンズノイズの発生量としても一定以下に抑えられている状態であることになる。ここでは、レンズノイズの発生量が一定以下であれば、ノイズデータ46から読み出したままのサンプリング周波数によるノイズ波形データを利用してノイズ除去処理を実行しても、処理負荷には余裕がある状態が得られている。
そこで、この場合には、ステップS405に進んで、ダウンサンプル処理は停止させる。
これに対してステップS402にて肯定の判別結果が得られた場合には、ステップS403に進む。
ステップS403においてダウンサンプル処理部72は、同じくカメラ制御部31におけるレンズ駆動状態についての判定結果から、レンズ駆動状態として、駆動速度がステップS402に対応する一定以上で、かつ、駆動時間が所定以上継続しているか否かについて判別する。
ここで、否定の判別結果が得られたのであれば、レンズノイズ発生量は一定以下の状態であるとみなされるので、ステップS405に進む。これに対して、ステップS403にて肯定の判別結果が得られた場合には、レンズノイズ発生量が一定以上の状態であることになる。つまり、ノイズデータ46から読み出したままのサンプリング周波数によるノイズ波形データによるノイズ除去処理では処理負荷が重いとされる状態である。
そこでこの場合には、ステップS404に進む。ステップS404では、ダウンサンプル処理部72は、ノイズ波形データについてダウンサンプリングの処理を実行して出力する。これにより、ノイズ発生量の増加に対して、ノイズ波形データを利用した処理の負荷が軽減される。
このようにして図26に示す手順によってダウンサンプル処理のオン/オフの切り換えを行うことで、常に、ノイズ発生量に応じて、処理の負荷に負担を与えることなく、良好で適切なノイズ除去効果を期待できる。
なお、図26のステップS401〜S403として示した、レンズ駆動状態と、レンズノイズ発生量との関係はあくまでも一例である。現実には、実際のレンズ駆動状態と、これに応じたレンズノイズ発生量、また、実際のノイズ除去処理能力を勘案して、レンズ駆動状態の判定アルゴリズムを設定すべきものとなる。
また、ステップS404,S405によりノイズ波形データのサンプリング周波数が偏向されるのに応じては、図24のA/D変換器50についても、ノイズ波形データのサンプリング周波数に対応したサンプリング周波数によるA/D変換が行われるようにして動作を切り換えることが好ましい。これにより、減算器59に入力される入力信号とノイズ波形データのサンプリング周波数を同じにすることができ、減算処理を実行しやすくなる。
また、図26に示した動作の切り換えは、先の第7実施形態にも適用できる。
つまり、例えばステップS401〜S403に準じたレンズ駆動状態の判定結果として否定の判別結果が得られる場合には、例えば図4などに示した、ノイズ波形データ(実ノイズデータ、暗ノイズデータ)を利用したノイズ除去処理を実行する。
これに対して、ステップS403において肯定の判別結果が得られた場合には、ノイズ除去処理部40を、例えば図22に示したノッチフィルタ80によりノイズを除去する構成に変更する、というものである。
<12.第9実施形態:相関性検出の他の例>
本実施形態における相関性検出の手法としては、いくつか考えられるということについては、先に述べた。また、その中での基本的な手法の1つとして、ノイズ波形データと入力信号とのスペクトラム形状の面積の差分(差分絶対値D)を求め、この差分絶対値Dに基づいて相関性の有無を判定する手法を、図8により説明した。
ここでは、相関性検出処理の他の手法例について、図27により説明する。
ここで説明する手法は、入力信号とノイズ波形データのスペクトラム形状の相似性を用いるものとなる。
ここで、図27(a)には、或る同じ周波数帯域における入力信号とノイズ波形データのスペクトラムを、それぞれ、実線と破線とにより示している。
そのうえで、入力信号のスペクトラムにおける1つの周波数ポイントの値をf(x1)として、この周波数ポイントの値を積分した値を、図27(b)に示すようにしてF(x1)として表す。
同様に、ノイズ波形データのスペクトラムにおける1つの周波数ポイントの値をf(x2)とし、この周波数ポイントの値を積分した値を、図27(b)に示すようにしてF(x2)として表す。
次に、例えば
F(x2) = c * F(x1)・・・(式2)
が成立する係数cを求める。そして、
| f(x2) ・ c * f(x1) |・・・(式3)
として表される演算値を、周波数ポイントごとに行って積分する。この積分値を、ここでは、相似度対応積分値という。
仮に、入力信号とノイズ波形データのスペクトラム形状が互いに完全に相似していれば、| f(x2) ・ c * f(x1) |は、各周波数ポイントで0になる。従って、相似度対応積分値も0となる。これに対して、入力信号とノイズ波形データのスペクトラム形状との間での相似性が低いほど、各周波数ポイントにて得られる| f(x2) ・ c * f(x1) |の値も大きくなる。このように、相似度対応積分値は、その値が0に近くなるほど、入力信号とノイズ波形データのスペクトラム形状が相似していることを意味する。そこで、例えばこのようにして得られる相似度対応積分値を、予め設定した閾値と比較することで、相関性の有無を判定できることになる。
そして、ここまでの説明によると、相関性検出の手法としては、先に図8に示した手法と、この図27により説明した手法との2つが挙げられたことになる。そこで、ここでは、これら2つの相関性検出処理の手法を例に、複数の相関性検出処理を併用する場合の構成例についても説明しておくこととする。
図28(a)(b)は、それぞれ、2つの相関性検出処理を併用する場合の構成として、ノイズ除去処理部40における、ノイズ周波数帯域NW1に対応した系を抜き出して示している。図28(a)に対応しては、他のノイズ周波数帯域NW2,NW3に対応する系も、図28(a)と同様の構成を有する。同様に、図28(b)に対応しては、他のノイズ周波数帯域NW2,NW3に対応する系も、図28(b)と同様の構成を有する。
先ず、図28(a)は、2つの相関性検出処理を直列的に実行させることとした場合の例となる。第1BPFにより抽出されたノイズ周波数帯域NW1の入力信号S1は、先ず、第1A相関性検出部55Aに入力される。例えば、第1A相関性検出部55Aは、図8により説明した手法による相関性検出処理を実行し、相関性有無について判定する。そして、相関性有りとの判定を行った場合において、入力信号S1を次の第1B相関性検出部55Bに入力する。相関性無しとの判定の場合、第1A相関性検出部55Aは、第1B相関性検出部55Bに対して入力信号S1を入力させない。
第1B相関性検出部55Bは、入力信号S1が入力された場合においてのみ、上記図27により説明した手法により相関性検出処理を実行して相関性の有無について判定する。そして、相関性有りと判定したときには、スイッチSW1をオンとし、相関性なしと判定したときにはスイッチSW1をオフとするようにしてコントロールする。つまり、最終的な相関性有無についての判定結果を得る。
また、図28(b)は、2つの相関性検出処理を直列的に実行させることとした場合の例となる。
この場合において、第1BPF52から出力される信号S1は、分岐して、第1A相関性検出部55Aと第1B相関性検出部55Bに対して入力される。
第1A相関性検出部55Aと第1B相関性検出部55Bは、それぞれ、図8,図27により説明した手法による相関性検出処理を実行して相関性有無についての判定結果を出力する。
この場合、第1A相関性検出部55A、第1B相関性検出部55Bの各相関性有無の判定結果は、ORゲートとしての機能を有する判定部55Cに入力されている。この場合の判定部55Cは、第1A相関性検出部55Aと第1B相関性検出部55Bから出力される判定結果のうち、少なくとも何れか一方が相関性有りの判定結果であれば、スイッチSW1をオンとし、両者の判定結果が相関性なしであれば、スイッチSW1をオフとするようにコントロールする。
このようにして、複数の相関性検出処理を併用する場合には、総合的な判定結果として、各相関性検出処理結果の論理和を取ることもできるし論理積を取ることもできる。
また、例えば第1A相関性検出部55Aにより求められる差分絶対値D1と、第1B相関性検出部55Bにより求められる相似度対応積分値とを利用して所定の演算を行って総合的な相関度としての値を求めたうえで、この相関度の値に基づいて最終的な相関性有無の判定結果を得るようにしてもよい。
<13.第10実施形態:レンズ駆動時と非駆動時とに応じた処理>

これまでの説明においては、レンズを駆動しているときと駆動していないときとで、ノイズ除去処理自体のオン/オフを切り換えることについての言及はしていなかった。そこで、第10実施形態として、交換レンズを駆動中のときと駆動していないときとで、ノイズ除去処理のオン/オフを切り換える構成について述べておく。
つまり、第10実施形態としては、図29に模式的に示すように、交換レンズ1に対するレンズ駆動が行われていないとき(レンズ駆動無し)には、ノイズ除去処理をオフに設定する。つまり、例えばノイズ除去処理部40としてのノイズ除去処理自体を停止させる。これに対して、レンズ駆動が行われているとき(レンズ駆動有り)には、ノイズ除去処理をオンとする。
例えばこのようにしてノイズ除去処理のオン/オフ設定を行うことで、レンズが駆動されていないときにノイズ除去処理が実行されて無駄にリソースを消費することがなくなる。また、レンズが駆動されていないのにかかわらず,何らかの原因で、ノイズ除去処理部40がレンズノイズ有りと判断してノイズ除去処理を実行してしまう誤動作が防がれる。
<14.第11実施形態:他のノイズ除去オン/オフ判定>
第11実施形態は、これまでの説明のようにして、ノイズ除去をノイズ周波数帯域ごとに実行できない環境の場合に対応して有効となる、ノイズ除去処理のオン/オフ判定について説明する。ノイズ除去をノイズ周波数帯域ごとに実行できない環境とは、例えばコストなどの関係で、ノイズ除去処理部40に対応するDSPなどとして相当に処理能力が低いものを採用する場合などを挙げることができる。
図30(a)において実線で示されるスペクトルは、マイクロフォン21により収音された音声信号を示す。また、破線で示すスペクトル形状は、収音された音声信号に含まれているノイズ周波数帯域NW1,NW2,NW3ごとのレンズノイズの成分を示している。
そして、ここでは、先ず、スペクトル上での入力信号S1の平均値(入力信号平均値)avrを求めるようにする。そのうえで、この入力信号平均値avrと、ノイズ周波数帯域NW1,NW2,NW3におけるピークレベルとの差を、それぞれ、Lv1,Lv2.Lv3として求め、さらに、これらLv1,Lv2,Lv3の平均値(ピーク差分平均値 = Lv1+Lv2+Lv3 / 3)を求める。このようにして求められるピーク差分平均値が大きいほど、レンズノイズが大きいことを意味する。従って、ピーク差分平均値と、予め設定した閾値とを比較し、ピーク差分平均値が閾値を越えていれば、レンズノイズ有りと判定してノイズ除去処理をオンとする。これに対して、ピーク差分平均値が閾値を以内であれば、レンズノイズ無しと判定してノイズ除去処理をオフとする。
先ず、図30(a)の例では、入力信号平均値avrに対して、ノイズ周波数帯域NW1,NW2,NW3の各レンズノイズの成分のエネルギーが突出している。これは、相当に大きくきこえるレンズノイズが発生しているとみる。そして、この場合には、Lv1,Lv2,Lv3としても相応に大きな値が得られることから、ピーク差分平均値も大きな値が得られる。そして、この場合に得られるピーク差分平均値としては、閾値を越えることとなり、ノイズ除去処理がオンに設定される。
次に、図30(b)の例は、レンズノイズが発生してはいるが、収音音声のレベルも相当に大きく、従って、例えば実際においては、レンズノイズが他の音声成分によってマスキングされてあまりきこえないような状況である。
そして、このような状態では、先ず、入力信号平均値avrが相当に高いレベルの値となるのに対して、レンズノイズのレベルは収音音声信号のレベルよりも小さい。従って、ピーク差分平均値は小さくなる。この場合に得られるピーク差分平均値としては、閾値以内となって、ノイズ除去処理がオフに設定される。
次に、図30(c)の例は、ノイズ周波数帯域NW1,NW3においては、或る程度のレンズノイズが他の音声成分よりも強く表れているが、ノイズ周波数帯域NW2においては、レンズノイズ成分は、完全に他の音声信号成分によってマスキングされている状態である。
例えば、結果から言えば、このような状態では、ノイズ除去処理をオンとすると、ノイズ周波数帯域NW2においてレンズノイズ成分以外の、本来必要な音声成分までを相当量除去してしまう。このために、ノイズ除去処理はオフとすべきことになる。
この場合の入力信号平均値avrとピークとの差分値をみてみると、Lv2についてはかなり大きな値を示してはいる。しかし、Lv1,Lv3については相当に小さい。このために、ピーク差分平均値としては、相応に小さくなる。従って、このピーク差分平均値としては、閾値を以下となってノイズ除去処理はオフに設定される。つまり、ピーク差分平均値に基づく手法によれば、このようにして適正に、実際のレンズノイズのマスキングの状態に応じて、高い精度で、ノイズ除去処理のオン/オフ設定が判定できるといえる。
なお、現状において、一般に、交換レンズに対応する撮像装置本体としては、一眼式のデジタルスチルカメラを挙げることができる。デジタルスチルカメラは、主たる目的は静止画像を撮影記録することであるが、周知のように、一眼式のデジタルスチルカメラであっても、収音音声と同期して動画としてのビデオデータを撮影記録することが可能とされている。また、静止画の撮像画像データに対して収音音声を負荷して記録することも可能とされているものが多く知られている。本実施形態の構成は、例えばこのようなデジタルスチルカメラなどにおいて収音音声を記録する際に、レンズノイズを除去できることになる。また、例えば撮像装置本体2としては、レンズ交換が可能なビデオカメラ装置とされてもよい。
また、これまでの説明においては、ノイズデータは、フォーカスレンズとズームレンズの駆動に応じて発生するノイズについてのものとされているが、これには限定されない。例えば、モータなどを含む交換レンズ1の機構部品の動きにより発生するノイズであれば、除去すべきレンズノイズとしてノイズデータに含められる。
1 交換レンズ、2 撮像装置本体、11 レンズ部、12 レンズ制御部、13 レンズROM、14 ノイズデータメモリ、21 マイクロフォン(内蔵)、21A (外部マイクロフォン)22 音声用A/D変換器、25 DSP、30 制御部、31 カメラ制御部、46 ノイズデータ、50 A/D変換器、51 FFT処理部、52 第1BPF、53 第2BPF、54 第3BPF、55 第1相関性検出部、56 第2相関性検出部、57 第3相関性検出部、58 IFFT処理部、SW1・SW2・SW3 スイッチ、59 減算器、60 ノイズデータ作成部、61 無響室、70 本体内ノイズデータ、71 f特補正部、72 ダウンサンプル処理部、80 ノッチフィルタ

Claims (18)

  1. ノイズ除去装置に装着されている交換レンズに記憶されているデータであって、当該交換レンズにて発生するレンズノイズを復元するためのデータであるノイズデータを取得するノイズデータ取得手段と、
    上記ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手段と、
    を備えるノイズ除去装置。
  2. 上記ノイズデータは、上記レンズノイズが発生している1以上の周波数帯域範囲を示す、ノイズ周波数帯域データを有しており、
    上記ノイズ除去手段は、
    入力音声信号から上記ノイズ周波数帯域データが示す周波数帯域範囲ごとの帯域信号を抽出する帯域周波数抽出手段と、
    上記周波数帯域範囲ごとに、上記帯域信号と、上記ノイズデータが有する上記ノイズ周波数帯域におけるレンズノイズの振幅を示す振幅データとの相関性を検出する相関性検出手段とを有し、
    上記相関性検出手段の検出結果に基づいて、入力音声信号から上記レンズノイズを除去する動作を実行するか否かを設定する、
    請求項1に記載のノイズ除去装置。
  3. 上記ノイズ除去手段は、
    上記周波数帯域範囲ごとに、上記帯域信号と振幅データとの相関性を検出する相関性検出手段と、
    上記相関性検出手段の検出結果に基づいて、上記ノイズ周波数帯域範囲のうちで、上記入力音声信号から上記レンズノイズを除去する動作を実行する周波数帯域範囲と、実行しない周波数帯域範囲とを設定する、
    請求項2に記載のノイズ除去装置。
  4. 上記ノイズ除去手段は、
    上記入力音声信号を収音したマイクロフォンの周波数特性を取得するマイクロフォン周波数特性取得手段と、
    上記マイクロフォンの周波数特性に基づいて、上記振幅データの周波数特性を補正する補正手段とをさらに備える、
    請求項3に記載のノイズ除去装置。
  5. 上記ノイズデータは、上記交換レンズの機構部位が動くときの速度に対応したノイズデータである速度対応ノイズデータを有し、
    上記ノイズ除去手段は、上記速度対応ノイズデータのうち、上記交換レンズの機構部位の動く速度に対応する速度対応ノイズデータに基づいて、上記入力音声信号から上記レンズノイズを除去する、
    請求項1乃至請求項4の何れかに記載のノイズ除去装置。
  6. 上記ノイズデータは、上記交換レンズの経年変化に応じて変化するノイズデータの内容を示す経年変化データを有し、
    上記ノイズ除去手段は、
    上記交換ノイズの積算使用時間に応じた経年変化データのノイズデータに基づいて、上記入力音声信号から上記レンズノイズを除去する、
    請求項1乃至請求項5の何れかに記載のノイズ除去装置。
  7. 上記ノイズ除去手段は、
    上記入力音声信号から上記レンズノイズを除去するために、上記ノイズ周波数帯域データの周波数帯域範囲に対応する振幅データに基づいて復元したレンズノイズを、上記入力音声信号から減算する、
    請求項1乃至請求項6の何れかに記載のノイズ除去装置。
  8. 上記ノイズ周波数帯域データの周波数帯域範囲に対応する振幅データは、暗ノイズ成分を除去た振幅を示す、
    請求項7に記載のノイズ除去装置。
  9. 上記ノイズ除去手段は、
    上記入力音声信号から上記レンズノイズを除去するために、上記ノイズ周波数帯域データの周波数帯域範囲ごとの遮断フィルタ特性データに基づいて生成した帯域遮断フィルタに上記入力音声信号を通過させる、
    請求項1乃至請求項8の何れかに記載のノイズ除去装置。
  10. 上記ノイズ除去手段は、
    異なる手法により相関性を検出する複数の相関性検出手段を備え、
    上記複数の相関性検出手段の検出結果に基づいて、入力音声信号から上記レンズノイズの音声信号成分を除去する動作を実行するか否かを設定する、
    請求項2乃至請求項9の何れかに記載のノイズ除去装置。
  11. 上記ノイズ除去手段は、
    上記相関性検出手段に代えて、上記レンズ周波数帯域データの周波数帯域範囲ごとのピーク値と、上記入力音声信号のスペクトルの振幅についての平均値である入力信号平均値との差分の平均値である差分平均値を求める差分平均値算出手段を備え、
    上記差分平均値に基づいて上記入力音声信号から上記レンズノイズを除去する動作を実行するか否かを設定する、
    請求項2乃至請求項10の何れかに記載のノイズ除去装置。
  12. 上記ノイズ除去手段は、
    上記入力音声信号が複数のマイクロフォンのうちの何れのマイクロフォンで収音されたかを判別する使用マイクロフォン判別手段と、
    使用マイクロフォン判別手段により収音のために使用されたマイクロフォンと交換レンズとの距離に応じて上記振幅データの振幅を変更する、振幅変更設定手段とを備える、
    請求項2乃至請求項11の何れかに記載のノイズ除去装置。
  13. 撮像装置本体に装着されるレンズ装置であって、
    当該レンズ装置が備える機構部位の動きにより発生するノイズであるレンズノイズを復元するためのデータであるノイズデータを記憶する記憶手段と、
    上記撮像装置本体に対して上記ノイズデータを転送するノイズデータ転送手段と、
    を備えるレンズ装置。
  14. 上記ノイズデータ転送手段は、
    上記ノイズデータとして、上記レンズノイズが発生している1以上の周波数帯域範囲を示すノイズ周波数帯域データと、上記ノイズ周波数帯域におけるレンズノイズの振幅を示す振幅データとを転送する、
    請求項13に記載のレンズ装置。
  15. 上記ノイズデータ転送手段は、
    上記ノイズデータとして、上記交換レンズの機能部位が動くときの速度に対応したノイズデータである速度対応ノイズデータを転送する、
    請求項13又は請求項14に記載のレンズ装置。
  16. 上記ノイズデータ転送手段は、
    上記ノイズデータとして、上記交換レンズの経年変化に応じて変化するノイズデータの内容を示す経年変化データを転送する、
    請求項13乃至請求項15に記載のレンズ装置。
  17. レンズ装置と、当該レンズ装置が装着される撮像装置本体とから成り、
    上記レンズ装置は、
    当該レンズ装置が備える機構部位の動きにより発生するノイズであるレンズノイズを復元するためのデータであるノイズデータを記憶する記憶手段と、
    上記撮像装置本体に対して上記ノイズデータを転送するノイズデータ転送手段とを備え、
    上記撮像装置は、上記ノイズデータ転送手段により転送される上記ノイズデータを受信するノイズデータ取得手段と、
    上記ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手段とを備える、
    撮像装置。
  18. ノイズ除去装置に装着されている交換レンズに記憶されており、当該交換レンズにて発生するレンズノイズを復元するためのデータであるノイズデータを取得するノイズデータ取得手順と、
    上記ノイズデータに基づいて、入力音声信号から上記レンズノイズを除去するノイズ除去手順と、
    を実行するノイズ除去方法。
JP2009224105A 2009-09-29 2009-09-29 ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法 Pending JP2011077604A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009224105A JP2011077604A (ja) 2009-09-29 2009-09-29 ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009224105A JP2011077604A (ja) 2009-09-29 2009-09-29 ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法

Publications (1)

Publication Number Publication Date
JP2011077604A true JP2011077604A (ja) 2011-04-14

Family

ID=44021166

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009224105A Pending JP2011077604A (ja) 2009-09-29 2009-09-29 ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法

Country Status (1)

Country Link
JP (1) JP2011077604A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242891A1 (en) * 2011-03-23 2012-09-27 Canon Kabushiki Kaisha Audio signal processing apparatus
JP2012249109A (ja) * 2011-05-27 2012-12-13 Nikon Corp ノイズ情報記録装置、撮像装置、交換レンズ、ノイズ低減処理装置、およびプログラム
WO2013015011A1 (ja) * 2011-07-26 2013-01-31 ソニー株式会社 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
US20130271647A1 (en) * 2012-04-17 2013-10-17 Panasonic Corporation Sound pickup device and imaging device
WO2019012646A1 (ja) * 2017-07-13 2019-01-17 ヤマハ株式会社 収音装置、移動体、および収音方法
JP2019035875A (ja) * 2017-08-17 2019-03-07 キヤノン株式会社 音声処理装置及びその制御方法
WO2020230539A1 (ja) * 2019-05-16 2020-11-19 ソニー株式会社 信号処理装置、信号処理方法、プログラムおよび撮像装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120242891A1 (en) * 2011-03-23 2012-09-27 Canon Kabushiki Kaisha Audio signal processing apparatus
US8654212B2 (en) * 2011-03-23 2014-02-18 Canon Kabushiki Kaisha Audio signal processing apparatus
JP2012249109A (ja) * 2011-05-27 2012-12-13 Nikon Corp ノイズ情報記録装置、撮像装置、交換レンズ、ノイズ低減処理装置、およびプログラム
WO2013015011A1 (ja) * 2011-07-26 2013-01-31 ソニー株式会社 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
JP2013025291A (ja) * 2011-07-26 2013-02-04 Sony Corp 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
US9495950B2 (en) 2011-07-26 2016-11-15 Sony Corporation Audio signal processing device, imaging device, audio signal processing method, program, and recording medium
CN103688307A (zh) * 2011-07-26 2014-03-26 索尼公司 音频信号处理装置、成像装置、音频信号处理方法、程序和记录介质
US20140169581A1 (en) * 2011-07-26 2014-06-19 Sony Corporation Audio signal processing device, imaging device, audio signal processing method, program, and recording medium
US9064487B2 (en) 2012-04-17 2015-06-23 Panasonic Intellectual Property Management Co., Ltd. Imaging device superimposing wideband noise on output sound signal
US20130271647A1 (en) * 2012-04-17 2013-10-17 Panasonic Corporation Sound pickup device and imaging device
WO2019012646A1 (ja) * 2017-07-13 2019-01-17 ヤマハ株式会社 収音装置、移動体、および収音方法
US11217263B2 (en) 2017-07-13 2022-01-04 Yamaha Corporation Sound collection device, moving body, and sound collection method
JP2019035875A (ja) * 2017-08-17 2019-03-07 キヤノン株式会社 音声処理装置及びその制御方法
WO2020230539A1 (ja) * 2019-05-16 2020-11-19 ソニー株式会社 信号処理装置、信号処理方法、プログラムおよび撮像装置
JPWO2020230539A1 (ja) * 2019-05-16 2020-11-19
JP7505489B2 (ja) 2019-05-16 2024-06-25 ソニーグループ株式会社 信号処理装置、信号処理方法、プログラムおよび撮像装置

Similar Documents

Publication Publication Date Title
JP2011077604A (ja) ノイズ除去装置、レンズ装置、撮像装置、ノイズ除去方法
US9495950B2 (en) Audio signal processing device, imaging device, audio signal processing method, program, and recording medium
JP5056157B2 (ja) ノイズ低減回路
KR101739942B1 (ko) 오디오 노이즈 제거 방법 및 이를 적용한 영상 촬영 장치
JP2008263498A (ja) 風雑音低減装置、音響信号録音装置及び撮像装置
JP2006229401A (ja) 電子カメラ、ノイズ低減装置及びノイズ低減制御プログラム
CN112509595A (zh) 音频数据处理方法、系统及存储介质
JP6637926B2 (ja) 音声処理装置及びその制御方法
US20150271439A1 (en) Signal processing device, imaging device, and program
US10418049B2 (en) Audio processing apparatus and control method thereof
JP5998483B2 (ja) 音声信号処理装置、音声信号処理方法、プログラム及び記録媒体
JP5349062B2 (ja) 音響処理装置及びそれを備えた電子機器並びに音響処理方法
JP2009296219A (ja) 判定装置及びそれを備えた電子機器並びに判定方法
JP6902961B2 (ja) 音声処理装置及びその制御方法
JP2010118975A (ja) 集音装置及びノイズ抑制方法
JP2006067355A (ja) 録音装置
US20110205385A1 (en) Signal processing apparatus and imaging apparatus
JP6985821B2 (ja) 音声処理装置及びその制御方法
JP6929137B2 (ja) 音声処理装置及びその制御方法
US11729548B2 (en) Audio processing apparatus, control method, and storage medium, each for performing noise reduction using audio signals input from plurality of microphones
JP6912969B2 (ja) 音声処理装置及びその制御方法
WO2020230539A1 (ja) 信号処理装置、信号処理方法、プログラムおよび撮像装置
JP2010134260A (ja) 電子機器及び音声処理方法
JP2013047710A (ja) 音声信号処理装置、撮像装置、音声信号処理方法、プログラム及び記録媒体
JP6877246B2 (ja) 音声処理装置及びその制御方法