JP2013178456A - 信号処理装置、カメラおよび信号処理プログラム - Google Patents

Abstract

【課題】適切に雑音低減を行う信号処理装置を提供すること。
【解決手段】信号処理装置１は、音響信号を所定フレームごとにスペクトル信号に変換する変換手段１６と、変換手段１６が変換したスペクトル信号に基づいて、環境音に応じたスペクトル信号を生成する環境音閾値生成手段１６と、変換手段１６が変換したスペクトル信号のうち、環境音に応じたスペクトル信号より大となる周波数成分の信号を雑音低減対象とする雑音低減対象決定手段１６と、変換手段１６が変換したスペクトル信号から、雑音低減対象とされた周波数成分の信号を減算するスペクトル減算手段１６と、スペクトル減算後のスペクトル信号を音響信号に逆変換する逆変換手段１６と、を備える。
【選択図】図１

Description

本発明は、信号処理装置、カメラおよび信号処理プログラムに関する。

撮影中に取得した音響信号を撮影画像とともに記録する場合に、雑音となる撮影動作時の機構音をあらかじめスペクトル化した信号として記憶しておき、上記機構音が発生するタイミングに基づいて、上記スペクトル化信号に所定係数を乗じた信号を取得した音響信号から減算することにより、音響信号に混入する機構音を抑制する技術が知られている（特許文献１参照）。

特開２００６−２７９１８５号公報

従来技術では、取得した音響信号から、雑音をあらかじめスペクトル化した信号に基づいた値を減算していたので、撮影対象に関連する特徴的な音（例えば雨音）であっても、特徴的な音の周波数成分が雑音の周波数成分と共通する場合は必ず減算処理で抑えられてしまうという問題があった。

本発明による信号処理装置は、音響信号を所定フレームごとにスペクトル信号に変換する変換手段と、変換手段が変換したスペクトル信号に基づいて、環境音に応じたスペクトル信号を生成する環境音閾値生成手段と、変換手段が変換したスペクトル信号のうち、環境音に応じたスペクトル信号より大となる周波数成分の信号を雑音低減対象とする雑音低減対象決定手段と、変換手段が変換したスペクトル信号から、雑音低減対象とされた周波数成分の信号を減算するスペクトル減算手段と、スペクトル減算後のスペクトル信号を音響信号に逆変換する逆変換手段と、を備えることを特徴とする。

本発明によれば、適切に雑音低減を行うことができる。

本発明の第一の実施形態による雑音低減用の信号処理装置を搭載する電子カメラの構成を例示するブロック図である。 ＣＰＵが実行する雑音低減処理の流れを説明するフローチャートである。 コンピュータ装置を例示する図である。 音響データを例示する図である。 第二の実施形態のＣＰＵが環境音閾値スペクトルを決定する処理の流れを説明するフローチャートである。 ＣＰＵが実行する雑音低減処理の流れを説明するフローチャートである。

以下、図面を参照して本発明を実施するための形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による雑音低減用の信号処理装置を搭載する電子カメラ１の構成を例示するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、画像処理部１３と、ＲＡＭ１４と、ＬＣＤモニタ１５と、ＣＰＵ１６と、不揮発性メモリ１７と、カードインターフェース(I/F)１８と、通信インターフェース(I/F)１９と、操作部材２０と、マイク２１と、音響処理回路２２とを備える。

ＣＰＵ１６、不揮発性メモリ１７、カードインターフェース１８、通信インターフェース１９、音響処理回路２２、画像処理部１３、ＲＡＭ１４およびＬＣＤモニタ１５は、それぞれがバス２５を介して接続されている。

撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。

撮像素子１２は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部１３に入力される。画像処理部１３は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。

ＬＣＤモニタ１５は液晶パネルなどによって構成される。ＬＣＤモニタ１５は、ＣＰＵ１６からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。ＲＡＭ１４は、画像処理部１３による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、後述する雑音低減処理の前工程や後工程でのデジタル音響データを一時的に記憶したり、ＣＰＵ１６によるプログラム実行時の作業用メモリとして用いられる。不揮発性メモリ１７は、フラッシュメモリなどによって構成される。不揮発性メモリ１７は電源オフ時にも記憶内容を保持するので、ＣＰＵ１６が実行するプログラムなどを記憶させる。

ＣＰＵ１６は、不揮発性メモリ１７が記憶するプログラムを実行することにより、電子カメラ１が行う動作を制御する。ＣＰＵ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、例えば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求める。ライブビュー画像は、レリーズ操作前に撮像素子１２によって所定の時間間隔（例えば３０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。

カードインターフェース１８はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体３０が接続される。カードインターフェース１８は、接続された記憶媒体３０に対するデータの書き込みや、記憶媒体３０からのデータの読み込みを行う。記憶媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。

通信インターフェース１９は、例えば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体３０が記憶している画像データや音響データなどを外部機器へ送信したりする。操作部材２０は、電源スイッチをはじめ、レリーズボタンや録画ボタン、十字キースイッチなどの各操作部材を含む。操作部材２０は、静止画撮影指示、録画（および録音）指示、モード切替え指示や各種選択指示など、各指示に応じた操作信号をＣＰＵ１６へ送出する。

音響処理回路２２は、マイク２２で集音された音響信号を増幅し、増幅後の信号をＡ／Ｄ変換回路（不図示）によってデジタル音響データに変換する。レンズ駆動機構２３は、ＣＰＵ１６からの指示に応じてフォーカシングレンズ（不図示）を光軸方向に進退移動させる。

電子カメラ１は、レリーズボタンの押下操作に応じて静止画像を撮影する機能と、録画ボタンの押下操作に応じて動画像の録画および録音を行う機能とを有する。録画時のＣＰＵ１６は、録画ボタンが押下されると動画像の取得および録音を開始する。例えばライブビュー画像と同じ３０コマ／毎秒のフレームレートで撮像を開始させるとともに、音響データの取得を開始させる。録画ボタンが再度押下されると画像取得および音響取得を終了し、取得したフレーム画像群によって構成される動画像を格納するファイル、および取得した音響データを格納するファイルを生成する。

なお、本実施形態のＣＰＵ１６が生成した音響データファイルには、音響データと同じ時間軸で表されたレンズ駆動機構２３の駆動情報が含まれる。駆動情報は、録音時にレンズ駆動機構２３がフォーカシングレンズを駆動中であったか否かを示すデータである。例えば、駆動開始時刻と駆動終了時刻とを示すタイムデータでもよいし、駆動中を「１」で表し、非駆動中を「０」で表す２値データでもよい。

本実施形態は、上述した録画時に取得した音響データを対象にする雑音低減処理に特徴を有するので、以降の説明は雑音低減のためにＣＰＵ１６が実行する処理を中心に行う。

図２は、ＣＰＵ１６が実行する雑音低減処理の流れを説明するフローチャートである。ＣＰＵ１６は、例えば、音響データを一時的にＲＡＭ１４へ記憶しておき、雑音低減処理プログラムを実行後の音響データを記憶媒体３０に記録する。ＣＰＵ１６は、音響データを構成する１フレームごとに雑音低減を行う処理を繰り返す。

図２のステップＳ１０において、ＣＰＵ１６は、ＲＡＭ１４から１フレーム分の音響データおよびレンズ駆動機構２３の駆動情報を読み出してステップＳ２０へ進む。ステップＳ２０において、ＣＰＵ１６は、対象フレームの音響データに対して短時間フーリエ変換を施してステップＳ３０へ進む。これにより、音響信号の周波数成分ごとの振幅（周波数特徴スペクトルと呼ぶ）が得られる。例えば、サンプリング周波数が４４．１kHzで約２０００の周波数成分に分割する場合には、１周波数成分当たりのスペクトル幅は約２０Hzである。

ステップＳ３０において、ＣＰＵ１６は、音響データに音声が含まれているか否かを判定する。一般に、人の声は周波数２kHz以下において所定の周波数間隔で複数の「山」波形を有する。ＣＰＵ１６は、周波数特徴スペクトルにおいて２kHz以下の周波数帯に上記周波数間隔で複数の「山」波形が並び、かつ「山」波形のピーク値が第１所定値以上である場合には、ステップＳ３０を肯定判定してステップＳ４０へ進む。ステップＳ３０を肯定判定する場合は、対象フレームの音響データに会話やナレーションなどが含まれる可能性が高いので、当該フレームの音響データを雑音低減対象とせず、当該フレームの音響データを環境音閾値の決定にも用いない。環境音閾値は、後述する雑音低減を行うか否かの判定に用いる判定閾値である。一方、ＣＰＵ１６は、２kHz以下の周波数帯において上記ピーク値が第１所定値以上となる「山」波形が上記周波数間隔で並んでいない場合には、ステップＳ３０を否定判定してステップＳ６０へ進む。

ステップＳ４０において、ＣＰＵ１６は、対象フレームの周波数特徴スペクトルに対して短時間逆フーリエ変換を施してステップＳ５０へ進む。ステップＳ５０において、ＣＰＵ１６は、上記処理後の音響データをＲＡＭ１４へ記録して図２による処理を終了する。なお、本実施形態では、後述するステップＳ１１０へ進む場合を除き、対象フレームの音響データを雑音低減の対象にしない。つまり、ステップＳ１１０へ進まない場合は対象フレームの音響データをそのまま保存対象とし、ステップＳ１１０へ進む場合には、Ｓ１１０およびＳ１２０による処理後の音響データを保存対象とする。

上述したステップＳ３０を否定判定して進むステップＳ６０において、ＣＰＵ１６は、対象フレームにおける周波数特徴スペクトルの総和（すなわち、上記約２０００の周波数成分ごとの振幅値の総和）が第２所定値以上か否かを判定する。ＣＰＵ１６は、上記総和が第２所定値以上の場合にステップＳ６０を肯定判定してステップＳ４０へ進む。ステップＳ６０を肯定判定する場合は、対象フレームの音響データに突発的な音が含まれる可能性が高いので、当該フレームの音響データを雑音低減対象とせず、当該フレームの音響データを環境音閾値の決定にも用いない。一方、ＣＰＵ１６は、上記総和が第２所定値未満の場合にはステップＳ６０を否定判定し、ステップＳ７０へ進む。

ステップＳ７０において、ＣＰＵ１６は、対象フレームにおける音響データが可動部駆動中に取得されたデータか否かを判定する。ＣＰＵ１６は、例えば、当該フレームがフォーカシングレンズの駆動中に該当することが上述したレンズ駆動機構２３の駆動情報によって示される場合は、ステップＳ７０を肯定判定してステップＳ７５へ進む。ステップＳ７０を肯定判定する場合は、対象フレームの音響データに可動部駆動音が含まれている可能性が高いので、当該フレームの音響データを環境音閾値の決定に用いない。ＣＰＵ１６は、当該フレームがフォーカシングレンズの駆動中に該当しないことが上述したレンズ駆動機構２３の駆動情報によって示される場合は、ステップＳ７０を否定判定してステップＳ８０へ進む。

ステップＳ８０において、ＣＰＵ１６は、対象フレームの周波数特徴スペクトルを用いて環境音閾値を決定、更新してステップＳ４０へ進む。ＣＰＵ１６は、例えば、音響データを構成する第１フレームから対象フレームまでの各フレームの周波数特徴スペクトルから、上記約２０００の周波数成分ごとに最大値を抽出し、抽出した約２０００の周波数成分からなる周波数特徴スペクトルを環境音閾値スペクトルとする。ＣＰＵ１６は、当該フレームの周波数特徴スペクトルのいずれかの周波数成分の値が最大値に該当する場合は、環境音閾値スペクトルの対応する周波数成分の値を上記最大値と置換することによって環境音閾値スペクトルを更新する。これにより、可動部駆動音が含まれていない直近のフレームの音響データを環境音閾値スペクトルに反映させることができる。

ステップＳ７５において、ＣＰＵ１６は、ステップＳ１１０における公知のスペクトル減算に用いる雑音（ノイズ）スペクトルを推定してステップＳ９０へ進む。この場合の雑音は、可動部駆動音に起因するものである。なお、雑音推定は公知なので説明を省略する。

ステップＳ９０において、ＣＰＵ１６は、対象フレームにおける周波数特徴スペクトルが第３所定値以上変動したか否かを判定する。ＣＰＵ１６は、当該フレームにおける周波数特徴スペクトル（すなわち、上記約２０００の周波数成分）のうち、少なくとも１つの周波数成分で前フレームに比べて第３所定値より大きく増減した場合にステップＳ９０を肯定判定してステップＳ１００へ進む。ＣＰＵ１６は、当該フレームにおける周波数特徴スペクトルの中で前フレームに比べて第３所定値より大きく増減した周波数成分が存在しない場合には、ステップＳ９０を否定判定してステップＳ４０へ進む。ステップＳ９０を肯定判定する場合は、対象フレームの音響データが突発的に変化した可能性が高いので、当該フレームの音響データを雑音低減対象とせず、当該フレームの音響データを環境音閾値の決定にも用いない。

ステップＳ１００において、ＣＰＵ１６は、対象フレームにおける周波数特徴スペクトル（すなわち、上記約２０００の周波数成分）のうち、環境音閾値スペクトルの対応する周波数成分の値より大きい値を有する周波数成分があるか否かを判定する。ＣＰＵ１６は、当該フレームにおける周波数特徴スペクトルのうち、少なくとも１つの周波数成分で環境音閾値スペクトルの対応する周波数成分より大きな値を有する場合に、ステップＳ１００を肯定判定してステップＳ１１０へ進む。ＣＰＵ１６は、当該フレームにおける周波数特徴スペクトルが環境音閾値スペクトルの対応する周波数成分の値より大きい値を有していない場合には、ステップＳ１００を否定判定してステップＳ４０へ進む。ステップＳ１００を否定判定する場合は、当該フレームの音響データに含まれる可動部駆動音が許容範囲内と判断し、当該フレームの音響データを雑音低減対象としない。しかしながら、当該フレームの音響データは可動部駆動音を含むので、当該フレームの音響データを環境音閾値の決定には用いない。

ステップＳ１１０において、ＣＰＵ１６は、対象フレームにおける周波数特徴スペクトル（すなわち、上記約２０００の周波数成分）のうち、環境音閾値スペクトルの対応する周波数成分の値より大きい値を有する周波数成分について、ステップＳ７５で推定した雑音スペクトルのうち対応する周波数成分の値を減算してステップＳ１２０へ進む。ステップＳ１２０において、ＣＰＵ１６はフロアリング処理を行ってステップＳ４０へ進む。フロアリングは、例えば、減算後に負の値になった周波数成分を補完してスペクトログラム上の不連続を解消させることをいう。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
（１）雑音低減を行う信号処理装置を搭載する電子カメラ１は、音響信号を所定フレームごとに周波数特徴スペクトルにフーリエ変換するＣＰＵ１６と、ＣＰＵ１６が変換した周波数特徴スペクトルに基づいて、環境音に応じた環境音閾値スペクトルを生成するＣＰＵ１６と、ＣＰＵ１６が変換した周波数特徴スペクトルのうち、環境音に応じた環境音閾値スペクトルより大となる周波数成分の信号を雑音低減対象とするＣＰＵ１６と、ＣＰＵ１６が変換したスペクトル信号から、雑音低減対象とした周波数成分の信号を減算するＣＰＵ１６と、スペクトル減算後のスペクトル信号を音響信号に逆フーリエ変換するＣＰＵ１６とを備えるようにしたので、適切に雑音低減を行うことができる。すなわち、環境音閾値スペクトルより小さい周波数成分はそのまま残し、環境音閾値スペクトルより大きい周波数成分のみスペクトル減算の対象にするため、雑音低減対象とする周波数成分の信号を常に減算する場合に比べて、信号振幅が小さい音（例えば雨音など）の消失を防ぐことができる。

（２）上記（１）の電子カメラ１において、音響信号がフォーカシングレンズの駆動中に取得されたか否かを判定するＣＰＵ１６をさらに備え、ＣＰＵ１６は、上記肯定判定された音響信号に対応する周波数特徴スペクトルを対象に減算処理を行うようにしたので、可動部駆動に起因する音響信号の雑音を適切に低減することができる。

（３）上記電子カメラ１において、ＣＰＵ１６は、異なるフレームでそれぞれフーリエ変換された複数フレームの周波数特徴スペクトルの各周波数成分ごとに最大値を抽出し、抽出した各周波数成分の信号で構成される周波数特徴スペクトルを環境音に応じた環境音閾値スペクトルとしたので、雑音が許容範囲か否かの判断基準を適切に求めることができる。

（４）上記電子カメラ１において、ＣＰＵ１６は、音響信号がフォーカシングレンズの駆動中に取得されたか否かの判定で否定判定された音響信号に対応する周波数特徴スペクトルに基づいて環境音に応じた環境音閾値スペクトルを生成したので、フォーカシングレンズを非駆動中の環境音に応じた環境音閾値スペクトルを生成する。このため、雑音が許容範囲か否かの判断基準を適切に求めることができる。

（５）上記電子カメラ１において、ＣＰＵ１６がフーリエ変換した周波数特徴スペクトルのフレーム内の周波数成分の信号値の総和が第２所定値より大か否かを判定するＣＰＵ１６をさらに備える。ＣＰＵ１６は、上記信号値の総和が第２所定値より小であることが判定された周波数特徴スペクトルに基づいて環境音に応じた環境音閾値スペクトルを生成する。このため、雑音が許容範囲か否かの判断基準を適切に求めることができる。

（６）上記電子カメラ１において、音響信号に音声が含まれるか否かを判定するＣＰＵ１６をさらに備える。ＣＰＵ１６は、音声を含まないことが判定された音響信号に対応する周波数特徴スペクトルに基づいて環境音に応じた環境音閾値スペクトルを生成する。このため、雑音が許容範囲か否かの判断基準を適切に求めることができる。

（７）上記電子カメラ１において、ＣＰＵ１６は、音声を含まないことが判定された音響信号に対応する周波数特徴スペクトルを対象に減算処理を行うようにしたので、音声情報を減算しないように制御することができる。

（８）上記電子カメラ１において、ＣＰＵ１６がフーリエ変換した連続するフレーム間の周波数特徴スペクトルの変化が第３所定値より大か否かを判定するＣＰＵ１６をさらに備える。ＣＰＵ１６は、連続するフレーム間の周波数特徴スペクトルの変化が第３所定値より小であることが判定された周波数特徴スペクトルを対象に減算処理を行うようにしたので、適切に雑音低減処理をすることができる。

（変形例１）
音響データファイルを記憶媒体３０に記録する直前に図２に例示する雑音低減処理プログラムを起動する例を説明したが、音響データの取得と雑音低減処理とをリアルタイムに行うように構成してもよい。この場合のＣＰＵ１６は、１フレームごとに雑音低減処理を行い、該雑音低減処理後の音響データを逐次記録媒体３０に記録させることができる。

（変形例２）
対象フレームの周波数特徴スペクトルを用いて環境音閾値を決定、更新する（ステップＳ８０）場合に、以下のように決定、更新してもよい。変形例２のＣＰＵ１６は、例えば、音響データを構成する第１フレームから対象フレームまでの各フレームの周波数特徴スペクトルの総和（すなわち、上記約２０００の周波数成分ごとの振幅値の総和）が最小となるフレームを選ぶ。そして、当該フレームについての上記約２０００の周波数成分からなる周波数特徴スペクトルに第４所定値を乗じた周波数特徴スペクトルを従前の環境音閾値スペクトルと置換することによって環境音閾値スペクトルを更新する。

変形例２によれば、突発的な音を含まない可能性が高いフレームの音響データに基づいて環境音閾値スペクトルの決定、更新をするので、環境音閾値スペクトルが特定の周波数成分で大きな値を有することを避けられる。このため、特定の周波数成分において雑音低減が不十分となってしまうおそれを低減できる。

（変形例３）
対象フレームの周波数特徴スペクトルを用いて環境音閾値を決定、更新する（ステップＳ８０）場合に、以下のように決定、更新してもよい。変形例３のＣＰＵ１６は、例えば、音響データを構成する第１フレームから対象フレームまでの各フレームの周波数特徴スペクトルを用いて、上記約２０００の周波数成分ごとに振幅値の平均値を算出する。そして、各周波数成分の平均値からなる周波数特徴スペクトルに第５所定値を乗じた周波数特徴スペクトルを従前の環境音閾値スペクトルと置換することによって環境音閾値スペクトルを更新する。

変形例３によれば、あるフレームに突発的に含まれる音の成分を平準化するように環境音閾値スペクトルの決定、更新をするので、環境音閾値スペクトルが特定の周波数成分で大きな値を有することを避けられる。このため、特定の周波数成分において雑音低減が不十分となってしまうおそれを低減できる。

（変形例４）
上述した音響データに音声が含まれているか否かの判定（ステップＳ３０）において、音声信号の自己相関関数のピーク値を用いて検出してもよい。変形例４のＣＰＵ１６は、音声信号の基本周波数（例えば５０Hz〜４００Hz）の１周期に相当する時間遅れ領域（サンプリング周波数が４４．１kHzの場合、約８８０Point〜約１１０Point）における自己相関関数のピーク値を求める。そして、ＣＰＵ１６は、ピーク値が所定の判定閾値より大きい場合に音声が含まれていると判定する。ピーク値が所定の判定閾値より小さい場合には、音声が含まれていないと判定する。

（変形例５）
あるいは、音声スペクトル波形（横軸が信号周波数、縦軸が信号の振幅）の包絡線を用いて検出してもよい。変形例５のＣＰＵ１６は、線形予測分析等によって音声スペクトル波形の包絡線を求める。そして、ＣＰＵ１６は、包絡線の時間変化量が所定の判定閾値より大きい場合に音声が含まれていると判定する。包絡線の時間変化量が所定の判定閾値より小さい場合には、音声が含まれていないと判定する。

（変形例６）
上述した実施形態では、電子カメラ１に雑音低減用の信号処理装置を搭載する例を説明したが、信号処理装置をパーソナルコンピュータによって構成するようにしてもよい。図２に例示したフローチャートに基づく処理を行うプログラムを図３に示すコンピュータ装置１００に実行させることにより、信号処理装置を構成する。プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって信号処理装置として使用する。

パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

以上説明した変形例６によれば、上記実施形態と同様の作用効果が得られる。なお、パーソナルコンピュータによって構成する他にも、再生機能を備えるデジタルフォトフレームやプロジェクタ等にも上述した雑音低減処理をさせるように構成して構わない。

（第二の実施形態）
第二の実施形態は、第一の実施形態と比べた場合に雑音低減用の信号処理装置を搭載する電子カメラ１の構成は共通であって、環境音閾値スペクトルの求め方が異なる。このため、環境音閾値スペクトルの求め方を中心に説明する。図４は、ＣＰＵ１６が雑音低減処理プログラムを実行する前の音響データを例示する図であり、一時的にＲＡＭ１４へ記憶された音響データを表す。図４の横軸は、音響データを構成するフレームを表す。音響データは左側のフレームから順番に取得されているので、横軸は時間軸にも対応する。図４の縦軸は、音響振幅を表す。振幅が大きいほど大きな「音」が録音され、振幅が小さいほど録音されている「音」が小さい。

一般に、録画途中にＡＦ動作が行われると、レンズ駆動機構２３がフォーカシングレンズを駆動する音が音響データに含まれやすい。本例では「ＡＦ音発生範囲」において音響振幅が大きくなっていることから、音響データに駆動音が含まれる。ここで、「ＡＦ音発生範囲」とは、ＡＦ動作時にフォーカシングレンズを駆動していた区間のことを表す。音響データにおけるＡＦ音発生区間は、上述したレンズ駆動機構２３の駆動情報に基づいて特定できる。

ＣＰＵ１６は、音響データの時間軸上で対象フレームを左から右へ順番にずらしながら（時間的に前のフレームから後のフレームへ向けて走査しながら）、対象フレームに近い所定範囲の学習区間に含まれる複数フレーム（例えば１０フレーム）に含まれる音響データに基づいて、以下のように環境音閾値スペクトルを求める。ここでは、対象フレームの位置が符号４１、４２、４３、４４、４５で示される場合を例に説明する。

＜ＡＦ音が発生していない範囲＞
対象フレームの位置が符号４１および４５に該当する場合は、対象フレームの位置がＡＦ音発生範囲の外に存在する場合である。この場合のＣＰＵ１６は、対象フレームを含む所定範囲の学習区間（例えば１０フレーム）に含まれる音響データに基づいて、環境音閾値スペクトルを求める。

具体的には、上記学習区間に含まれるフレームの周波数特徴スペクトルから、約２０００の周波数成分ごとに最大値を抽出し、抽出した約２０００の周波数成分からなる周波数特徴スペクトルを環境音閾値スペクトルとする。このように、対象フレームごとに、対応する学習区間に含まれる音響データを用いて環境音閾値スペクトルを決定する。これにより、対象フレームと時間的に近いフレームの音響データを環境音閾値スペクトルに反映できる。

＜ＡＦ音が発生している範囲＞
対象フレームの位置が符号４２、４３および４４に該当する場合は、対象フレームの位置がＡＦ音発生範囲の中に存在する場合である。この場合に対象フレームを含む所定範囲を学習区間（例えば１０フレーム）に定めると、学習区間にフォーカシングレンズの駆動音を含むことになるため、環境音閾値スペクトルの決定に用いることは適切でない。そこでＣＰＵ１６は、学習区間を次のように定める。

すなわち、対象フレームの位置がＡＦ音発生範囲の中に存在する場合のＣＰＵ１６は、ＡＦ音発生範囲の外であって時間的に対象フレームに近い位置に学習区間（例えば１０フレーム）を定め、この学習区間に含まれる音響データに基づいて、環境音閾値スペクトルを決定する。例えば、対象フレームの位置が、ＡＦ音発生範囲の開始点直後の符号４２で示す位置にある場合、ＣＰＵ１６は、ＡＦ音発生範囲の直前に学習期間「１」を設け、学習区間「１」に含まれる音響データを用いて環境音閾値スペクトルを決定する。

また、対象フレームの位置が、ＡＦ音発生範囲の終了点直前の符号４４で示す位置にある場合、ＣＰＵ１６はＡＦ音発生範囲の直後に学習期間「２」を設け、学習区間「２」に含まれる音響データを用いて環境音閾値スペクトルを決定する。

上述した構成にすることにより、フォーカシング時の駆動音を含む音響データを除外した上で、対象フレームと時間的に近いフレームの音響データを環境音閾値スペクトルに反映できる。

さらに、対象フレームの位置が、ＡＦ音発生範囲の中ほどの符号４３で示す位置にある場合のＣＰＵ１６は、ＡＦ音発生範囲の直前の学習期間「１」のうちＡＦ音発生範囲に近い５フレームの音響データと、ＡＦ音発生範囲の直後の学習期間「２」のうちＡＦ音発生範囲に近い５フレームの音響データとを用いて環境音閾値スペクトルを決定する。

上記構成にすることにより、フォーカシング時の駆動音を含む音響データを除外した上で、ＡＦ音発生範囲の前後において対象フレームまでの時間的な長さが共通するフレームの音響データを環境音閾値スペクトルに反映できる。

対象フレームの位置が、ＡＦ音発生範囲において上記符号４２および符号４３で示される位置の間に存在する場合のＣＰＵ１６は、ＡＦ音発生範囲の直前の学習期間「１」のうちＡＦ音発生範囲に近い(１０−Ｘ)フレームの音響データと、ＡＦ音発生範囲の直後の学習期間「２」のうちＡＦ音発生範囲に近いＸフレームの音響データとを用いて環境音閾値スペクトルを決定する。Ｘの値は整数であり、対象フレームの位置が符号４２の位置に近いほど０に近づけ、対象フレームの位置が符号４３の位置に近いほど５に近づける。本実施形態では、環境音閾値スペクトルの決定に用いるフレーム数を、合計１０フレームとする。

同様に、対象フレームの位置が、ＡＦ音発生範囲において上記符号４３および符号４４で示される位置の間に存在する場合のＣＰＵ１６は、ＡＦ音発生範囲の直前の学習期間「１」のうちＡＦ音発生範囲に近いＹフレームの音響データと、ＡＦ音発生範囲の直後の学習期間「２」のうちＡＦ音発生範囲に近い(１０−Ｙ)フレームの音響データとを用いて環境音閾値スペクトルを決定する。Ｙの値は整数であり、対象フレームの位置が符号４４の位置に近いほど０に近づけ、対象フレームの位置が符号４３の位置に近いほど５に近づける。

図５は、ＣＰＵ１６が実行する環境音閾値スペクトルを決定する処理の流れを説明するフローチャートである。ＣＰＵ１６は、対象フレームごとに、図５の処理によって環境音閾値スペクトルを決定する。

図５のステップＳ２１０において、ＣＰＵ１６は、対象フレームにおける音響データが可動部駆動中に取得されたデータか否かを判定する。ＣＰＵ１６は、対象フレームの位置がＡＦ音発生範囲の中に存在する場合は、ステップＳ２１０を肯定判定してステップＳ２２０へ進む。ステップＳ２２０を肯定判定する場合は、対象フレームの音響データにＡＦ音が含まれている可能性が高いので、当該フレームの音響データを環境音閾値の決定に用いない。ＣＰＵ１６は、対象フレームの位置がＡＦ音発生範囲の外に存在する場合は、ステップＳ２２０を否定判定してステップＳ２３０へ進む。

ステップＳ２２０において、ＣＰＵ１６は、上述したようにＡＦ音発生範囲の前後に定めた学習区間に基づいて環境音閾値スペクトルを決定し、図５による処理を終了する。ステップＳ２３０において、ＣＰＵ１６は、上述したように対象フレームを含む所定範囲の学習区間（例えば１０フレーム）に含まれる音響データに基づいて、環境音閾値スペクトルを決定し、図５による処理を終了する。

図６は、ＣＰＵ１６が実行する雑音低減処理の流れを説明するフローチャートである。ＣＰＵ１６は、第一の実施形態による雑音低減処理（図２）に代えて、図６による雑音低減処理を実行する。なお、図６による雑音低減処理は、上述した図５による環境音閾値スペクトル決定処理と並行して行う。

図６においては、第一の実施形態による雑音低減処理（図２）と共通の処理ステップは図２の場合と同一のステップ番号を付加して説明を省略する。

図６のステップＳ１００Ｂにおいて、ＣＰＵ１６は、対象フレームにおける周波数特徴スペクトル（上記約２０００の周波数成分）のうち、図５の処理によって決定された環境音閾値スペクトルの対応する周波数成分の値より大きい値を有する周波数成分があるか否かを判定する。ＣＰＵ１６は、当該フレームにおける周波数特徴スペクトルのうち、少なくとも１つの周波数成分で環境音閾値スペクトルの対応する周波数成分より大きな値を有する場合に、ステップＳ１００Ｂを肯定判定してステップＳ１１０へ進む。

ＣＰＵ１６は、当該フレームにおける周波数特徴スペクトルが環境音閾値スペクトルの対応する周波数成分の値より大きい値を有していない場合には、ステップＳ１００Ｂを否定判定してステップＳ４０へ進む。ステップＳ１００Ｂを否定判定する場合は、当該フレームの音響データに含まれる音が許容範囲内と判断し、当該フレームの音響データを雑音低減対象としない。

これに対し、ステップＳ１００Ｂを肯定判定したＣＰＵ１６は、当該フレームの音響データに含まれる音が許容範囲を超えていると判断し、当該フレームの音響データを雑音低減対象とする。

以上説明した第二の実施形態によれば、次の作用効果が得られる。
（１）雑音低減を行う信号処理装置を搭載する電子カメラ１は、音響信号を所定フレームごとに周波数特徴スペクトルにフーリエ変換するＣＰＵ１６と、ＣＰＵ１６が変換した周波数特徴スペクトルに基づいて、環境音に応じた環境音閾値スペクトルを生成するＣＰＵ１６と、ＣＰＵ１６が変換した周波数特徴スペクトルのうち、環境音に応じた環境音閾値スペクトルより大となる周波数成分の信号を雑音低減対象とするＣＰＵ１６と、ＣＰＵ１６が変換したスペクトル信号から、雑音低減対象とした周波数成分の信号を減算するＣＰＵ１６と、スペクトル減算後のスペクトル信号を音響信号に逆フーリエ変換するＣＰＵ１６とを備えるようにしたので、適切に雑音低減を行うことができる。すなわち、環境音閾値スペクトルより小さい周波数成分はそのまま残し、環境音閾値スペクトルより大きい周波数成分のみスペクトル減算の対象にするため、雑音低減対象とする周波数成分の信号を常に減算する場合に比べて、信号振幅が小さい音（例えば雨音など）の消失を防ぐことができる。

（２）上記（１）の電子カメラ１において、ＣＰＵ１６は、対象フレームごとに、ＣＰＵ１６が変換したスペクトル信号のうち、環境音に応じたスペクトル信号より大となる周波数成分の信号を雑音低減対象とし、ＣＰＵ１６は、時間軸上で対象フレームと近接する複数フレームにおいてそれぞれＣＰＵ１６が変換したスペクトル信号に基づいて環境音に応じた環境音閾値スペクトルを生成するようにしたので、対象フレームと時間的に近いフレームの音響信号を環境音に応じた環境音閾値スペクトルに反映できる。この結果、雑音低減の開始時点と終了時点における聴感上の不連続感を軽減し得る。

（３）上記（２）の電子カメラ１において、対象フレームの音響信号がＡＦ音発生範囲で取得されたか否かを判定するＣＰＵ１６をさらに備え、ＣＰＵ１６は、肯定判定したフレームを除く時間軸上で対象フレームと近接する複数フレームにおいてそれぞれＣＰＵ１６が変換したスペクトル信号に基づいて環境音に応じた環境音閾値スペクトルを生成するようにした。これにより、フォーカシング時の駆動音を含む音響信号を除外した上で、対象フレームと時間的に近いフレームの音響信号を環境音閾値スペクトルに反映できる。

（４）上記（３）の電子カメラ１において、ＣＰＵ１６は、対象フレームが否定判定されたフレームに該当する場合、対象フレームおよび時間軸上で対象フレームと近接する複数フレームにおいてそれぞれＣＰＵ１６が変換したスペクトル信号に基づいて環境音に応じた環境音閾値スペクトルを生成するようにした。これにより、対象フレームと時間的に近いフレームの音響信号を環境音閾値スペクトルに反映できる。

上述した説明では、ＣＰＵ１６が音響データを一時的にＲＡＭ１４へ記憶しておき、雑音低減処理プログラムを実行後の音響データを記憶媒体３０に記録する例を説明した。この代わりに、雑音低減処理は、音響データをＲＡＭ１４へ記憶しながらリアルタイムに実行するようにしてもよい。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。各実施形態および変形例は、適宜組み合わせても構わない。

１…電子カメラ
１４…ＲＡＭ
１５…ＬＣＤモニタ
１６…ＣＰＵ
１８…カードインターフェース
２０…操作部材
２１…マイク
２２…音響処理回路
２３…レンズ駆動機構
３０…記憶媒体
１００…パーソナルコンピュータ

Claims (15)

1. 音響信号を所定フレームごとにスペクトル信号に変換する変換手段と、
   前記変換手段が変換したスペクトル信号に基づいて、環境音に応じたスペクトル信号を生成する環境音閾値生成手段と、
   前記変換手段が変換したスペクトル信号のうち、前記環境音に応じたスペクトル信号より大となる周波数成分の信号を雑音低減対象とする雑音低減対象決定手段と、
   前記変換手段が変換したスペクトル信号から、前記雑音低減対象とされた周波数成分の信号を減算するスペクトル減算手段と、
   前記スペクトル減算後のスペクトル信号を音響信号に逆変換する逆変換手段と、
   を備えることを特徴とする信号処理装置。
2. 請求項１に記載の信号処理装置において、
   前記音響信号が雑音の発生タイミングで取得されたか否かを判定する取得タイミング判定手段をさらに備え、
   前記スペクトル減算手段は、前記取得タイミング判定手段によって肯定判定された音響信号に対応するスペクトル信号を対象に前記スペクトル減算を行うことを特徴とする信号処理装置。
3. 請求項１または２に記載の信号処理装置において、
   前記環境音閾値生成手段は、前記変換手段によって異なるフレームでそれぞれ変換された複数フレームのスペクトル信号の各周波数成分ごとに最大値を抽出し、抽出した各周波数成分の信号で構成されるスペクトル信号を前記環境音に応じたスペクトル信号とすることを特徴とする信号処理装置。
4. 請求項１または２に記載の信号処理装置において、
   前記環境音閾値生成手段は、前記変換手段によって異なるフレームでそれぞれ変換された複数フレームのスペクトル信号のうち、フレーム内の周波数成分の信号値の総和が最小となるフレームのスペクトル信号に所定値を乗じて前記環境音に応じたスペクトル信号とすることを特徴とする信号処理装置。
5. 請求項１または２に記載の信号処理装置において、
   前記環境音閾値生成手段は、前記変換手段によって異なるフレームでそれぞれ変換された複数フレームのスペクトル信号の各周波数成分ごとに平均値を算出し、各平均値に所定値を乗じた信号で構成されるスペクトル信号を前記環境音に応じたスペクトル信号とすることを特徴とする信号処理装置。
6. 請求項１〜５のいずれか一項に記載の信号処理装置において、
   前記環境音閾値生成手段は、前記取得タイミング判定手段によって否定判定された音響信号に対応するスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。
7. 請求項１〜６のいずれか一項に記載の信号処理装置において、
   前記変換手段が変換したスペクトル信号のフレーム内の周波数成分の信号値の総和が第１の判定閾値より大か否かを判定する総和判定手段をさらに備え、
   前記環境音閾値生成手段は、前記総和判定手段によって否定判定されたスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。
8. 請求項１〜７のいずれか一項に記載の信号処理装置において、
   前記音響信号に音声が含まれるか否かを判定する音声判定手段をさらに備え、
   前記環境音閾値生成手段は、前記音声判定手段によって否定判定された音響信号に対応するスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。
9. 請求項８に記載の信号処理装置において、
   前記スペクトル減算手段は、前記音声判定手段によって否定判定された音響信号に対応するスペクトル信号を対象に前記スペクトル減算を行うことを特徴とする信号処理装置。
10. 請求項９に記載の信号処理装置において、
    前記変換手段が変換した連続するフレーム間のスペクトル信号の変化が第２の判定閾値より大か否かを判定する変化判定手段をさらに備え、
    前記スペクトル減算手段は、前記変化判定手段によって否定判定されたスペクトル信号を対象に前記スペクトル減算を行うことを特徴とする信号処理装置。
11. 請求項１に記載の信号処理装置において、
    前記雑音低減対象決定手段は、対象フレームごとに、前記変換手段が変換したスペクトル信号のうち、前記環境音に応じたスペクトル信号より大となる周波数成分の信号を雑音低減対象とし、
    前記環境音閾値生成手段は、時間軸上で前記対象フレームと近接する複数フレームにおいてそれぞれ前記変換手段が変換したスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。
12. 請求項１１に記載の信号処理装置において、
    前記対象フレームの音響信号が雑音の発生区間で取得されたか否かを判定する取得区間判定手段をさらに備え、
    前記環境音閾値生成手段は、前記取得区間判定手段によって肯定判定されたフレームを除く前記時間軸上で前記対象フレームと近接する複数フレームにおいてそれぞれ前記変換手段が変換したスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。
13. 請求項１２に記載の信号処理装置において、
    前記環境音閾値生成手段は、前記対象フレームが前記取得区間判定手段によって否定判定されたフレームに該当する場合、前記対象フレームおよび前記時間軸上で前記対象フレームと近接する複数フレームにおいてそれぞれ前記変換手段が変換したスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。
14. 請求項１〜１３のいずれか一項に記載の信号処理装置を搭載することを特徴とするカメラ。
15. 音響信号を読み出す第１処理と、
    前記音響信号を所定フレームごとにスペクトル信号に変換する第２処理と、
    前記変換したスペクトル信号に基づいて、環境音に応じたスペクトル信号を生成する第３処理と、
    前記変換したスペクトル信号のうち、前記環境音に応じたスペクトル信号より大となる周波数成分の信号を前記雑音低減対象とする第４処理と、
    前記変換したスペクトル信号から、前記雑音低減対象とした周波数成分の信号を減算する第５処理と、
    前記スペクトル減算後のスペクトル信号を音響信号に逆変換する第６処理と、
    をコンピュータに実行させることを特徴とする信号処理プログラム。

Images