JP2012173353A - 信号処理装置、撮像装置、及びプログラム - Google Patents

Abstract

【課題】入力信号に重畳しているノイズを適切に低減する。
【解決手段】信号処理装置（１００）は、入力信号を周波数領域信号に変換する変換部（２３１）と、入力信号に含まれるノイズが発生したタイミングに基づいて推定される第１の推定ノイズ周波数領域信号が、ノイズを入力信号から除去するための推定ノイズの周波数領域信号を示す第２の推定ノイズ周波数領域信号を変更する場合に適している度合いを、ノイズが発生する前の期間において変換部（２３１）によって変換された第１の周波数領域信号又はノイズが発生した後の期間において変換部（２３１）によって変換された第２の周波数領域信号に基づいて判定する判定部（２３２）と、判定部（２３２）の判定結果と第１の推定ノイズ周波数領域信号とに基づいて、第２の推定ノイズ周波数領域信号を変更する推定ノイズ変更部（２４）とを備える。
【選択図】図２

Description

本発明は、信号処理装置、撮像装置、及びプログラムに関する。

音信号に重畳しているノイズを低減する技術が知られている（例えば、特許文献１を参照）。特許文献１に記載されている技術では、モータ音などの機構音による非定常ノイズを、予め定められている推定ノイズによって低減する。

特開２００６−２７９１８５号公報

しかしながら、入力信号（音信号）に重畳している非定常ノイズ、例えば、撮像装置において、レンズのＡＦ（オートフォーカス）音によるノイズは、装着するレンズの種類、焦点距離、及び合焦位置などによって変化する場合がある。そのため、特許文献１に記載されている技術では、音信号に重畳しているノイズを低減できないことがある。
つまり、特許文献１に記載されている技術では、入力信号に重畳しているノイズを適切に低減できないという問題がある。

本発明は、上記問題を解決すべくなされたもので、その目的は、入力信号に重畳しているノイズを、適切に低減することができる信号処理装置、撮像装置、及びプログラムを提供することにある。

上記問題を解決するために、本発明は、入力された入力信号を、周波数領域信号に変換する変換部と、前記入力信号に含まれるノイズが発生したタイミングに基づいて推定される第１の推定ノイズ周波数領域信号が、前記ノイズを前記入力信号から除去するための推定ノイズの周波数領域信号を示す第２の推定ノイズ周波数領域信号を変更する場合に適している度合いを、前記ノイズが発生する前の期間において前記変換部によって変換された第１の周波数領域信号又は前記ノイズが発生した後の期間において前記変換部によって変換された第２の周波数領域信号に基づいて、判定する判定部と、前記判定部の判定結果と前記第１の推定ノイズ周波数領域信号とに基づいて、前記第２の推定ノイズ周波数領域信号を変更する推定ノイズ変更部とを備えることを特徴とする信号処理装置である。

また、本発明は、上記の信号処理装置を備えることを特徴とする撮像装置である。

また、本発明は、信号処理装置としてのコンピュータに、変換部が、入力された入力信号を、周波数領域信号に変換する変換手順と、前記入力信号に含まれるノイズが発生したタイミングに基づいて推定される第１の推定ノイズ周波数領域信号が、前記ノイズを前記入力信号から除去するための推定ノイズの周波数領域信号を示す第２の推定ノイズ周波数領域信号を変更する場合に適している度合いを、前記ノイズが発生する前の期間において前記変換手順によって変換された第１の周波数領域信号又は前記ノイズが発生した後の期間において前記変換手順によって変換された第２の周波数領域信号に基づいて、判定部が判定する判定手順と、推定ノイズ変更部が、前記判定手順の判定結果と前記第１の推定ノイズ周波数領域信号とに基づいて、前記第２の推定ノイズ周波数領域信号を変更する推定ノイズ変更手順とを実行させるためのプログラムである。

本発明によれば、入力信号に重畳しているノイズを適切に低減することができる。

本実施形態による撮像装置を示す概略ブロック図である。 同実施形態における信号処理装置を示す概略ブロック図である。 同実施形態におけるノイズが重畳した音信号の例を示す説明図である。 同実施形態におけるノイズ低減処理の動作を示すフローチャートである。 第１の方法における推定ノイズの変更処理の一例を示す第１のフローチャートである。 同実施形態におけるノイズ候補を説明する説明図である。 第１の方法における推定ノイズの変更処理の別の一例を示す第２のフローチャートである。

以下、本発明の一実施形態による信号処理装置及び撮像装置について図面を参照して説明する。
図１は、本実施形態による撮像装置１を示す概略ブロック図である。
この図において、本実施形態による撮像装置１は、撮像部１０、バッファメモリ部３０、画像処理部４０、表示部５０、記憶部６０、通信部７０、操作部８０、ＣＰＵ（Central Processing Unit）９０、マイク２１、Ａ／Ｄ（Analog/Digital）変換部２２、音信号処理部２３、及びバス３００を備えている。この撮像装置１が備える構成のうち、例えば、音信号処理部２３と、記憶部６０の一部と、ＣＰＵ９０の一部とが、信号処理装置１００に対応する。

撮像部１０は、光学系１１と、撮像素子１９と、Ａ/Ｄ変換部２０とを含み、設定された撮像条件（例えば絞り値、露出値等）に従ってＣＰＵ９０により制御され、光学系１１による光学像を撮像素子１９に結像させて、Ａ/Ｄ変換部２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。

光学系１１は、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）１２と、手振れ防止用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）１３と、ズームレンズ１４と、ズームエンコーダ１５と、レンズ駆動部１６と、ＡＦエンコーダ１７と、手振れ防止部１８とを備えている。
この光学系１１は、ズームレンズ１４、ＶＲレンズ１３、及びＡＦレンズ１２を通過した光学像を撮像素子１９の受光面に導く。

レンズ駆動部１６は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ズームレンズ１４又はＡＦエンコーダ１７の位置を制御する。
手振れ防止部１８は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ＶＲレンズ１３の位置を制御する。この手振れ防止部１８は、ＶＲレンズ１３の位置を検出していてもよい。

ズームエンコーダ１５は、ズームレンズ１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ９０に出力する。
ＡＦエンコーダ１７は、ＡＦレンズ１２の位置を表わすフォーカスポジションを検出し、検出したズームポジション及びフォーカスポジションをＣＰＵ９０に出力する。

なお、上述した光学系１１は、撮像装置１に取り付けられて一体とされていてもよいし、撮像装置１に着脱可能に取り付けられてもよい。

撮像素子１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部２０に出力する。
また、撮像素子１９は、操作部８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、記憶媒体２００に記憶させる。

一方、撮像素子１９は、例えば、操作部８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、ＣＰＵ９０及び表示部５０に出力する。

Ａ/Ｄ変換部２０は、撮像素子１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。

バッファメモリ部３０は、撮像部１０によって撮像された画像データや、音信号処理部２３により変換された音信号等を、一時的に記憶する。
画像処理部４０は、記憶部６０に記憶されている画像処理条件を参照して、バッファメモリ部３０、又は、記憶媒体２００に記録されている画像データに対して画像処理をする。

表示部５０は、例えば液晶ディスプレイであって、撮像部１０によって得られた画像データや、操作画面等を表示する。
記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件等を記憶する。また、記憶部６０は、後述する音信号処理部２３において音信号のノイズを低減するノイズ低減処理に使用する情報を記憶する。ここで、ノイズ低減処理に使用する情報とは、例えば、後述する変換信号、ノイズ候補、推定ノイズ等である。

マイク２１は、音を収音し、収音した音に応じた音信号を出力する。この音信号は、アナログ信号である。
Ａ／Ｄ変換部２２は、マイク２１から入力されたアナログ信号である音信号を、デジタル信号である音信号に、アナログデジタル変換する。

音信号処理部２３は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号に対して、例えば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。この音信号処理部２３の詳細については、後述する。
なお、音信号処理部２３により音信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１９により撮像された画像データと、時間的に関係付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。

通信部７０は、カードメモリ等の取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。
操作部８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ９０に出力する。

記憶媒体２００は、撮像装置１に対して着脱可能に接続される記憶部であって、例えば、撮像部１０によって生成された（撮影された）画像データや、音信号処理部２３により音信号処理された音信号を記憶する。

ＣＰＵ９０は、撮像装置１全体を制御するが、一例としては、ズームエンコーダ１５から入力されるズームポジション、及び、ＡＦエンコーダ１７から入力されるフォーカスポジションと、操作部８０から入力される操作入力とに基づいて、ズームエンコーダ１５及びＡＦエンコーダ１７の位置を制御する駆動制御信号を生成する。ＣＰＵ９０は、この駆動制御信号に基づいて、レンズ駆動部１６を介してズームエンコーダ１５及びＡＦエンコーダ１７の位置を制御する。
また、このＣＰＵ９０は、タイミング検出部９１を備えている。このタイミング検出部９１は、撮像装置１が備えている動作部が動作するタイミングを検出する。

ここでいう動作部とは、一例としては、上述したズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２、又は操作部８０のことであり、撮像装置１が備えている構成のうち、動作することにより、又は、動作されることにより、音が生じる（又は、音が生じる可能性がある）構成である。
また、この動作部とは、撮像装置１が備えている構成のうち、動作することにより生じた音、又は、動作されることにより生じた音が、マイク２１により収音される（又は、収音される可能性のある）構成である。

このタイミング検出部９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部を動作させる駆動部に対して、動作部を動作させるようにする制御信号、又は、この駆動部を駆動させる制御信号である。
例えば、タイミング検出部９１は、ズームレンズ１４、ＶＲレンズ１３、又は、ＡＦレンズ１２を駆動させるためにレンズ駆動部１６又は手振れ防止部１８に入力される駆動制御信号に基づいて、又は、ＣＰＵ９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。

そして、タイミング検出部９１は、撮像装置１が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号（タイミング信号）を、音信号処理部２３に出力する（後述する図３（Ａ）を参照）。このタイミング信号は、音信号（入力信号）に含まれるノイズが発生したタイミングを示す信号である。ここで、一例として、上述したノイズの発生源となる駆動部が動作している場合に、タイミング信号の状態は、Ｈ（ハイ）状態とし、駆動部が停止している場合に、タイミング信号の状態は、Ｌ（ロウ）状態とする。

バス３００は、撮像部１０と、音信号処理部２３と、バッファメモリ部３０と、画像処理部４０と、表示部５０と、記憶部６０と、通信部７０と、操作部８０と、ＣＰＵ９０とに接続され、各部から出力されたデータ等を転送する。

次に、図２を参照して、図１の構成のうち、信号処理装置１００及び音信号処理部２３の詳細な構成について説明する。
図２は、本実施形態における信号処理装置１００を示す概略ブロック図である。
この図において、信号処理装置１００は、音信号処理部２３、ＣＰＵ９０のタイミング検出部９１、変換信号記憶部６１、ノイズ候補記憶部６２及び推定ノイズ記憶部６３を備えている。なお、変換信号記憶部６１、ノイズ候補記憶部６２及び推定ノイズ記憶部６３は、例えば、記憶部６０に備えられ、記憶部６０の一部である。

音信号処理部２３は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号（入力信号）に対して、例えば、ノイズを低減するなどの音信号処理を実行し、この音信号処理した音信号を記憶媒体２００に記憶させる。なお、本実施形態において、「ノイズ」とは、上述した動作部による動作によって発生し、音信号に含まれる（すなわち、音信号に重畳している）ノイズ信号のことである。

また、音信号処理部２３は、タイミング検出部９１によって検出されたタイミング信号に基づいて、入力信号に含まれるノイズの候補を示すノイズ候補を生成する。そして、音信号処理部２３は、生成したノイズ候補に基づいて、上述のノイズを低減する処理における推定ノイズを変更（更新）する処理を実行する。
また、音信号処理部２３は、変換部２３１、ノイズ候補判定部２３２、ノイズ候補生成部２３３、推定ノイズ算出部２３４、ノイズ低減処理部２３５及び逆変換部２３６を備えている。また、この音信号処理部２３が備える構成のうち、例えば、ノイズ候補生成部２３３、及び推定ノイズ算出部２３４が、推定ノイズ変更部２４に対応する。

変換部２３１は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号を、フレーム単位でフーリエ変換して周波数スペクトル（周波数領域信号）に分解する。つまり、変換部２３１は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号（入力された入力信号）をフレーム単位で周波数領域信号に順次変換する。
なお、フレームとは、音信号を分割した区間のことである。ここでは、例えば、予め定められた期間を２分の１期間ずつずらした区間をフレームをとした場合について説明する（後述する図３（Ｂ）を参照）。
また、変換部２３１は、フレーム単位に変換した周波数スペクトルを、タイミング検出部９１によって検出されたタイミング信号の状態と関連付けて、変換信号記憶部６１に順次記憶させる。

推定ノイズ変更部２４のノイズ候補生成部２３３は、音信号に含まれるノイズが発生したタイミングに基づいて推定されるノイズ候補（第１の推定ノイズ周波数領域信号）を生成する。つまり、ノイズ候補生成部２３３は、タイミング検出部９１によって検出されたタイミング信号がＬ状態からＨ状態に遷移するタイミングに基づいて、ノイズ候補を生成する。

このノイズ候補は、後述する推定ノイズの候補となる周波数スペクトルであり、例えば、ノイズが発生する前後の期間において変換部２３１によって変換された周波数スペクトルに基づいて生成される。ここで、ノイズが発生する前の期間（例えば、図３のフレームＦ３）において変換部２３１によって変換された周波数スペクトルを第１の周波数スペクトル（第１の周波数領域信号）とする。また、ノイズが発生した後の期間（例えば、図３のフレームＦ６）において変換された周波数スペクトルを第２の周波数スペクトル（第２の周波数領域信号）とする。つまり、ノイズ候補生成部２３３（推定ノイズ変更部２４）は、第１の周波数スペクトル（第１の周波数領域信号）と第２の周波数スペクトル（第２の周波数領域信号）とに基づいてノイズ候補を生成する。
また、ノイズ候補生成部２３３は、生成したノイズ候補をノイズ候補記憶部６２に記憶させる。

ノイズ候補判定部２３２（判定部）は、上述したノイズ候補が推定ノイズ（第２の推定ノイズ周波数領域信号）を変更する場合に適している度合い（適合度）を、上述した第１の周波数スペクトル又は上述した第２の周波数スペクトルに基づいて判定する。ここで、「推定ノイズ（第２の推定ノイズ周波数領域信号）」とは、後述するノイズ低減処理部によってノイズを入力信号から除去（又は低減）するための推定ノイズの周波数スペクトルを示す。すなわち、「推定ノイズ（第２の推定ノイズ周波数領域信号）」とは、入力信号に含まれるノイズの推定値を示す。

また、ノイズ候補判定部２３２は、例えば、ノイズ候補に対する第１の周波数スペクトルの比であるＳＮＲ（signal-noise ratio）を算出し、算出したＳＮＲの値に基づいて、上述の度合いを判定する（第１の方法）。そして、ノイズ候補判定部２３２は、判定結果を推定ノイズ変更部２４の推定ノイズ算出部２３４に供給する。ここで、ノイズ候補判定部２３２が推定ノイズ算出部２３４に供給する判定結果は、算出したＳＮＲの値でもよいし、算出したＳＮＲの値に基づいて判定したレベルや“１”又は“０”の判定値でもよい。ここでは、一例として、判定結果がＳＮＲの値である場合について説明する。

推定ノイズ変更部２４の推定ノイズ算出部２３４は、例えば、上述のＳＮＲの値に基づいて、推定ノイズを変更するか否かを判定する。推定ノイズ算出部２３４は、推定ノイズを変更すると判定した場合に、ノイズ候補生成部２３３によって生成されたノイズ候補に基づいて、推定ノイズを算出する。そして、推定ノイズ算出部２３４は、算出した推定ノイズを推定ノイズ記憶部６３に記憶させる。すなわち、推定ノイズ算出部２３４（推定ノイズ変更部２４）は、ノイズ候補判定部２３２の判定結果とノイズ候補とに基づいて、推定ノイズを変更する。

なお、推定ノイズ算出部２３４は、新しい推定ノイズを算出する際に、ノイズ候補生成部２３３と、過去に生成されたノイズ候補又は既に推定ノイズ記憶部６３に記憶されている推定ノイズとの平均値に基づいて、推定ノイズを算出してもよい。
また、推定ノイズ算出部２３４は、上述のＳＮＲの値に基づいて重み付けして、過去に生成されたノイズ候補又は既に推定ノイズ記憶部６３に記憶されている推定ノイズとの平均値に基づいて、推定ノイズを算出してもよい。この場合、推定ノイズ算出部２３４は、推定ノイズを変更するか否かを判定する処理を省略して、ＳＮＲの値に基づいて重み付け平均値に基づいて、推定ノイズを変更してもよい。

ノイズ低減処理部２３５は、スペクトル減算法を用い、変換部２３１によって変換された音信号の周波数スペクトルから、推定ノイズを減算することで、収音された音信号からノイズを低減するノイズ低減処理を行う。このスペクトル減算法は、例えば、「ＢＯＬＬ， Ｓ． Ｆ． Ｓｕｐｐｒｅｓｓｉｏｎ ｏｆ Ａｃｏｕｓｔｉｃ Ｎｏｉｓｅ ｉｎ Ｓｐｅｅｃｈ Ｕｓｉｎｇ Ｓｐｅｃｔｒａｌ Ｓｕｂｔｒａｃｔｉｏｎ． ＩＥＥＥ Ｔｒａｎｓ． Ａｃｏｕｓｔ．， Ｓｐｅｅｃｈ， Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ｖｏｌ． ＡＳＳＰ−２７， ｐｐ． １１３−１２０， Ａｐｒ． １９７９」に記載されている。

ノイズ低減処理部２３５は、フレーム単位に変換された周波数スペクトルから、推定ノイズ記憶部６３に記憶されている推定ノイズを減算し、ノイズ除去後の周波数スペクトルを生成する。そして、ノイズ低減処理部２３５は、生成したノイズ除去後の周波数スペクトルを逆変換部２３６に順次供給する。
なお、ノイズ低減処理部２３５は、フレーム単位に変換された周波数スペクトルとタイミング信号の状態とを変換信号記憶部６１から順次読み出して、タイミング信号の状態に基づいて、ノイズ低減処理を実行するか否かを判定し、ノイズ低減処理を実行すると判定した場合に、上述のノイズ低減処理を実行する。つまり、ノイズ低減処理部２３５は、ノイズ低減処理を実行しないと判定した場合に、ノイズ低減処理を実行せずに、周波数スペクトルを逆変換部２３６に順次供給する。

逆変換部２３６は、ノイズ低減処理部２３５から供給されるフレーム単位の周波数スペクトルを逆フーリエ変換し、この逆変換結果に基づいて音信号を合成する。そして、逆変換部２３６は、合成した音信号を、通信部７０を介して記憶媒体２００に記憶させる。

変換信号記憶部６１は、変換部２３１によって、フレーム単位に変換した周波数スペクトルと、タイミング検出部９１によって検出されたタイミング信号の状態とを関連付けて記憶する。

ノイズ候補記憶部６２は、音信号に含まれるノイズが発生したタイミングに基づいて、ノイズ候補生成部２３３によって生成されたノイズ候補を記憶する。なお、このノイズ候補には、過去に生成されたノイズ候補が含まれてもよい。推定ノイズ記憶部６３は、例えば、過去４回分のノイズ候補を記憶する。
推定ノイズ記憶部６３は、推定ノイズ算出部２３４によって算出された推定ノイズを記憶する。

次に、本実施形態における撮像装置１及び信号処理装置１００の動作について説明する。

まず、撮像装置１の撮像動作について説明する。
撮像装置１において、ＣＰＵ９０は、例えば、操作部８０を介して撮像指示を受け付けた際に、撮像部１０を介して得られる画像データを、記憶媒体２００に記憶させる。この際に、ＣＰＵ９０は、レンズ駆動部１６及び手振れ防止部１８を制御して、ズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２を駆動させる。

なお、使用者が動画を撮像する場合には、マイク２１により音信号が収音され、収音された音信号が、Ａ／Ｄ変換部２２及び音信号処理部２３を介して、音信号が記憶媒体２００に記憶される。この場合に、ズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２の駆動や操作部８０の操作により、マイク２１により収音された音信号にノイズが重畳されることがある。本実施形態における撮像装置１では、音信号処理部２３を含む信号処理装置１００を備えており、この信号処理装置１００によって、音信号に重畳されたノイズを低減するノイズ低減処理を実行する。

図３は、本実施形態におけるノイズが重畳した音信号の例を示す説明図である。
図３（Ａ）は、タイミング検出部９１の出力であるタイミング信号の波形を示すグラフである。この図において、横軸は時刻ｔを示し、縦軸は、タイミング信号の状態（Ｈ状態又はＬ状態）を示している。また、この図では、時刻Ｔ１において、タイミング信号がＬ状態からＨ状態に遷移する場合の一例を示している。

図３（Ｂ）は、音信号を分割するフレームの一例を示す図である。この図において、横軸は、横軸は時刻ｔを示し、予め定められた期間を２分の１期間ずつずらした区間を１つのフレームをとして、フレームＦ１からフレームＦ７に分割される例を示している。

図３（Ｃ）は、マイク２１により収音された音信号の波形を示すグラフである。この図において、横軸は時刻ｔを示し、縦軸は、音信号の電圧を示している。なお、波形Ｗ１は、時刻Ｔ１までの期間（ノイズが発生する前の期間）の音信号を示し、波形Ｗ２は、時刻Ｔ１以降の期間（ノイズが発生した後の期間）の音信号を示している。波形Ｗ２に示すように、時刻Ｔ１以降の期間において、上述のズームレンズ１４、ＶＲレンズ１３、又はＡＦレンズ１２の駆動や操作部８０の操作により、音信号にノイズが重畳される。

次に、信号処理装置１００におけるノイズ低減処理に関する動作を説明する。
図４は、本実施形態におけるノイズ低減処理の動作を示すフローチャートである。

この図において、まず、信号処理装置１００は、入力された音信号をフレーム単位でフーリエ変換する（ステップＳ１０１）。つまり、音信号処理部２３の変換部２３１は、Ａ／Ｄ変換部２２によりデジタル信号に変換された音信号をフレーム単位で周波数領域信号に変換する。なお、変換部２３１は、フーリエ変換する際に、例えば、ハミング窓を窓関数として使用する。そして、変換部２３１は、フレーム単位に変換した周波数スペクトルを、タイミング検出部９１によって検出されたタイミング信号の状態と関連付けて、変換信号記憶部６１に順次記憶させる。

次に、信号処理装置１００は、ノイズのタイミング信号が検出されているか否かを判定する（ステップＳ１０２）。つまり、音信号処理部２３は、変換信号記憶部６１に記憶されたタイミング検出部９１によって検出されたタイミング信号の状態に基づいて、ノイズが発生しているか否か（タイミング信号がＨ状態になっているか否か）を判定する。音信号処理部２３は、ノイズが発生している（タイミング信号がＨ状態になっている）と判定した場合に、処理をステップＳ１０３に進める。また、音信号処理部２３は、ノイズが発生していいない（タイミング信号がＬ状態になっている）と判定した場合に、処理をステップＳ１０６に進める。

次に、ステップＳ１０３において、信号処理装置１００は、ステップＳ１０４における推定ノイズの変更処理を既に実行しているか否かを判定する。つまり、音信号処理部２３は、推定ノイズ変更部２４による推定ノイズの変更処理が実行されている状態か否かを判定する。音信号処理部２３は、推定ノイズの変更処理が実行されている状態であると判定した場合には、処理をステップＳ１０５に進める。また、音信号処理部２３は、推定ノイズの変更処理が実行されていない状態であると判定した場合には、処理をステップＳ１０４に進める。

なお、音信号処理部２３において、推定ノイズの変更処理が実行されている状態か否かを判定する処理は、例えば、記憶部６０に設けられえたフラグに基づいて、判定される。このフラグは、例えば、推定ノイズの変更処理が実行された際に、推定ノイズ変更部２４によって“１”が書き込まれ、タイミング信号がＬ状態になったことを検出した場合に、変換部２３１によって“０”が書き込まれる。つまり、このフラグは、“１”である場合に、推定ノイズの変更処理が実行されたことを示し、“０”である場合に、推定ノイズの変更処理が実行されていないことを示す。

次に、ステップＳ１０４において、信号処理装置１００は、推定ノイズの変更処理を実行する。つまり、ノイズ候補判定部２３２及び推定ノイズ変更部２４が、推定ノイズの変更処理を実行する。このステップＳ１０４における推定ノイズの変更処理の詳細については、後述する。

次に、信号処理装置１００は、推定ノイズによりノイズを低減するノイズ低減処理を実行する（ステップＳ１０５）。つまり、ノイズ低減処理部２３５は、変換信号記憶部６１に記憶されているフレーム単位に変換された周波数スペクトルから、推定ノイズ記憶部６３に記憶されている推定ノイズを減算し、ノイズ除去後の周波数スペクトルを生成する。そして、ノイズ低減処理部２３５は、生成したノイズ除去後の周波数スペクトルを逆変換部２３６に供給する。

次に、信号処理装置１００は、フレーム単位で逆フーリエ変換する（ステップＳ１０６）。つまり、逆変換部２３６は、ノイズ低減処理部２３５から供給されるフレーム単位の周波数スペクトル（ノイズ除去後の周波数スペクトル又は変換部２３１によってフーリエ変換された周波数スペクトル）を逆フーリエ変換（逆変換）して、音信号を合成する。そして、逆変換部２３６は、合成した音信号を、通信部７０を介して記憶媒体２００に記憶させる。

次に、信号処理装置１００は、録音終了か否かを判定する（ステップＳ１０７）。つまり、音信号処理部２３は、ＣＰＵ９０の指示に基づいて、マイク２１による収音を終了するか否かを判定し、収音を終了すると判定した場合に、このノイズ低減処理を終了させる。また、音信号処理部２３は、マイク２１による収音を継続する（終了しない）と判定した場合に、処理をステップＳ１０１に戻す。これにより、ステップＳ１０１〜Ｓ１０７の処理が繰り返され、フレーム単位で順次ノイズ低減処理が実行される。

次に、上述したステップＳ１０４の処理である推定ノイズの変更処理について、詳細に説明する。なお、ここでは、推定ノイズの変更処理として、第１〜第４の方法による実施形態を説明する。
図５は、本実施形態による第１の方法における推定ノイズの変更処理の一例を示す第１のフローチャートである。
また、図６は、本実施形態におけるノイズ候補を説明する説明図である。
この図において、各グラフは、周波数スペクトルを示す。また、各グラフにおいて、横軸が周波数領域を示し、縦軸が例えば、ＰＳＤ（Power Spectrum Density）を示す。

［第１の方法］
なお、本実施形態による推定ノイズの変更処理における第１の方法は、ノイズ候補に対する第１の周波数スペクトルの比であるＳＮＲの値に基づいて、推定ノイズを変更する方法である。
また、図５に示される本実施形態では、信号処理装置１００は、ノイズ候補判定部２３２の判定結果に基づいて、推定ノイズを変更するか否かを判定し、この判定結果に基づいて、推定ノイズを変更する形態である。

図５において、まず、推定ノイズ変更部２４のノイズ候補生成部２３３は、音信号に含まれるノイズが発生したタイミングに基づいて推定されるノイズ候補を生成（算出）する（ステップＳ２０１）。つまり、ノイズ候補生成部２３３は、図６に示すように、第１の周波数スペクトル（例えば、フレームＦ３における周波数スペクトル）と第２の周波数スペクトル（例えば、フレームＦ６における周波数スペクトル）との差分として、ノイズ候補を生成する。

例えば、図６（ａ）において、ノイズ候補である周波数スペクトルＷ５は、ノイズ候補生成部２３３によって、フレームＦ６における周波数スペクトルＷ４からフレームＦ３における周波数スペクトルＷ３を減算された差分として算出される。また、図６（ｂ）において、ノイズ候補である周波数スペクトルＷ８は、ノイズ候補生成部２３３によって、フレームＦ６における周波数スペクトルＷ７からフレームＦ３における周波数スペクトルＷ６を減算された差分として算出される。

次に、推定ノイズ変更部２４のノイズ候補判定部２３２は、ノイズ候補に対する第１の周波数スペクトルの大きさの比であるＳＮＲを算出する（ステップＳ２０２）。例えば、図６（ａ）において、ノイズ候補判定部２３２は、ノイズ候補である周波数スペクトルＷ５に対するフレームＦ３における周波数スペクトルＷ３の比としてＳＮＲを算出する。また、図６（ｂ）において、ノイズ候補判定部２３２は、ノイズ候補である周波数スペクトルＷ８に対するフレームＦ３における周波数スペクトルＷ６の比としてＳＮＲを算出する。
そして、ノイズ候補判定部２３２は、算出したＳＮＲの値を判定結果として推定ノイズ変更部２４の推定ノイズ算出部２３４に供給する。

なお、図６（ａ）は、ＳＮＲの値が小さい場合の例を示し、図６（ｂ）は、ＳＮＲの値が大きい場合の例を示しめしている。ここで、ＳＮＲの値が大きい場合とは、例えば、ＳＮＲの値が、予め定められた第１閾値以上である場合を示し、ＳＮＲの値が小さい場合とは、ＳＮＲの値が、予め定められた第１閾値より小さい場合を示す。

次に、推定ノイズ算出部２３４は、ＳＮＲの値が第１閾値以上であるか否かを判定する（ステップＳ２０３）。推定ノイズ算出部２３４は、ＳＮＲの値が第１閾値以上である場合には、推定ノイズの変更処理を中止し、処理を終了させる（例えば、図６（ｂ）のような場合）。これは、ノイズ発生前の周波数スペクトルである第１の周波数スペクトルに対して、ノイズ候補が小さい場合である。
この場合、目的音がノイズ（ノイズ候補）に対して大きいため、ノイズ発生の前後で目的音が大きく変化した可能性が考えられ、このノイズ候補に基づいて推定ノイズを変更すると、推定ノイズと実際のノイズとの間に大きな誤差が生じてしまう。そのため、推定ノイズ算出部２３４は、ノイズ候補に基づいて推定ノイズを変更する場合に適していないと判定する。

よって、この場合には、推定ノイズ算出部２３４は、推定ノイズの変更を行わず、ノイズ低減処理部２３５は、それ以前の推定ノイズを続けて使用して、ノイズの低減処理を実行する。ここで、目的音とは、使用者が、撮像装置１のマイク２１によって収音しようとしている目的の音（録音対象の音）である。

また、推定ノイズ算出部２３４は、ＳＮＲの値が第１閾値未満である場合に、処理をステップＳ２０４に進める（例えば、図６（ａ）のような場合）。この場合、目的音がノイズ（ノイズ候補）に対して小さいため、ノイズ候補の信頼度が高いと考えられる。

次に、ステップＳ２０４において、推定ノイズ算出部２３４は、推定ノイズを変更する。つまり、推定ノイズ算出部２３４は、ノイズ候補生成部２３３によって生成されたノイズ候補に基づいて、推定ノイズを算出する。そして、推定ノイズ算出部２３４は、算出した推定ノイズを推定ノイズ記憶部６３に記憶させる。これにより、推定ノイズが変更（更新）される。

なお、推定ノイズ算出部２３４が変更する新しい推定ノイズは、ノイズ候補生成部２３３によって生成されたノイズ候補をそのままの値でもよいし、ノイズ候補生成部２３３によって生成されたノイズ候補と、過去に生成されたノイズ候補又は既に推定ノイズ記憶部６３に記憶されている推定ノイズとの平均値でもよい。また、この新しい推定ノイズは、さらに、算出されたこの平均値に基づいて生成されてもよい。
ステップＳ２０４の処理が完了すると、推定ノイズ変更部２４は、処理を終了させる。

次に、本実施形態による第１の方法における推定ノイズの変更処理の別の一例について説明する。
図７は、本実施形態による第１の方法における推定ノイズの変更処理の別の一例を示す第２のフローチャートである。
図７に示される本実施形態では、信号処理装置１００は、ノイズ候補判定部２３２の判定結果に基づいて、重み付け平均値を算出し、算出した平均値に基づいて、推定ノイズを変更する形態である。

図５において、まず、推定ノイズ変更部２４のノイズ候補生成部２３３は、音信号に含まれるノイズが発生したタイミングに基づいて推定されるノイズ候補を生成（算出）する（ステップＳ３０１）。つまり、ノイズ候補生成部２３３は、第１の周波数スペクトルと第２の周波数スペクトルとの差分として、ノイズ候補を生成する。このステップＳ３０１の処理は、図５におけるステップＳ２０１の処理と同様である。

次に、推定ノイズ変更部２４のノイズ候補判定部２３２は、ノイズ候補に対する第１の周波数スペクトルの大きさの比であるＳＮＲを算出する（ステップＳ３０２）。そして、ノイズ候補判定部２３２は、算出したＳＮＲの値を判定結果として推定ノイズ変更部２４の推定ノイズ算出部２３４に供給する。このステップＳ３０２の処理は、図５におけるステップＳ２０２の処理と同様である。

次に、推定ノイズ算出部２３４は、ＳＮＲの値に基づいて、ノイズ候補を重き付け平均する（ステップＳ３０３）。つまり、推定ノイズ算出部２３４は、ＳＮＲの値に基づいて重み付けして、ノイズ候補生成部２３３によって生成されたノイズ候補と過去に生成されたノイズ候補（例えば、過去４回分のノイズ候補）又は既に推定ノイズ記憶部６３に記憶されている推定ノイズとの平均値を算出する。この重み付けは、ＳＮＲの値が小さい場合（例えば、図６（ａ）のような場合）に高く（重く）し、ＳＮＲの値が大きい場合（例えば、図６（ｂ）のような場合）に低く（軽く）する。推定ノイズ算出部２３４は、例えば、ＳＮＲの逆数に基づいて、重み付け係数を算出してもよいし、ＳＮＲの値と重み付け係数とを関連付けた変換テーブルを用いて、重み付け係数を取得してもよい。

次に、推定ノイズ算出部２３４は、推定ノイズを変更する（ステップＳ３０４）。つまり、推定ノイズ算出部２３４は、上述のステップＳ３０３の処理において算出された平均値を、推定ノイズとして推定ノイズ記憶部６３に記憶させる。これにより、推定ノイズが変更（更新）される。

なお、この図７に示されるノイズ候補の重み付け平均に基づいて、推定ノイズを変更する形態は、図５に示される形態を組み合わせて適用してもよい。例えば、推定ノイズ算出部２３４は、ＳＮＲの値が第１閾値未満である場合に、上述のステップＳ３０３及びステップＳ３０４の処理を実行してもよい。

以上のように、一例として、推定ノイズの変更処理における第１の方法を説明したが、以下のような方法を適用することも可能である。

［第２の方法］
推定ノイズの変更処理における第２の方法では、ノイズ発生前の周波数スペクトルである第１の周波数スペクトルの大きさに基づいて、推定ノイズを変更する。つまり、推定ノイズ変更部２４のノイズ候補判定部２３２は、例えば、第１の周波数スペクトルの大きさとして、第１の周波数スペクトルにおける全周波数成分の振幅の和を算出する。そして、ノイズ候補判定部２３２は、算出した第１の周波数スペクトルの大きさを判定結果として推定ノイズ変更部２４の推定ノイズ算出部２３４に供給する。

次に、推定ノイズ算出部２３４は、第１の周波数スペクトルの大きさが予め定められた第２閾値以上であるか否かを判定する。推定ノイズ算出部２３４は、第１の周波数スペクトルの大きさが第２閾値以上である場合には、推定ノイズの変更処理を中止し、処理を終了させる。この場合、第１の周波数スペクトルが大きい、すなわち、ノイズ発生前に収音した音量が全体に大きいため、推定ノイズ算出部２３４は、ノイズ候補に基づいて推定ノイズを変更する場合に適していないと判定する。

また、推定ノイズ算出部２３４は、第１の周波数スペクトルの大きさが第２閾値未満である場合に、推定ノイズを変更する。つまり、推定ノイズ算出部２３４は、ノイズ候補生成部２３３によって生成されたノイズ候補に基づいて、推定ノイズを算出する。そして、推定ノイズ算出部２３４は、算出した推定ノイズを推定ノイズ記憶部６３に記憶させる。これにより、推定ノイズが変更（更新）される。
なお、ノイズ候補生成部２３３によって生成されたノイズ候補に基づいて、推定ノイズを算出する処理は、上述した第１の方法と同様である。また、第１の方法と同様に、推定ノイズを重み付け平均に基づいて算出してもよい。

例えば、第２の方法において、重み付け平均に基づいて推定ノイズを算出する際には、推定ノイズ算出部２３４は、第１の周波数スペクトルの大きさが小さい場合に重み付けを高く（重く）し、第１の周波数スペクトルの大きさが大きい場合に重み付けを低く（軽く）する。

［第３の方法］
次に、推定ノイズの変更処理における第３の方法では、ノイズ発生後の周波数スペクトルである第２の周波数スペクトルの大きさとノイズ発生前の周波数スペクトルである第１の周波数スペクトルの大きさとの差に基づいて、推定ノイズを変更する。つまり、推定ノイズ変更部２４のノイズ候補判定部２３２は、例えば、第２の周波数スペクトルの大きさとして、第２の周波数スペクトルにおける全周波数成分の振幅の和を算出する。
また、ノイズ候補判定部２３２は、例えば、第１の周波数スペクトルの大きさとして、第１の周波数スペクトルにおける全周波数成分の振幅の和を算出する。そして、ノイズ候補判定部２３２は、第２の周波数スペクトルの大きさと第１の周波数スペクトルの大きさとの差であるノイズ発生前後の周波数スペクトルの大きさの差ΔＳ（以下、ノイズ発生前後の差ΔＳという）を算出する。ノイズ候補判定部２３２は、算出したこのノイズ発生前後の差ΔＳを判定結果として推定ノイズ変更部２４の推定ノイズ算出部２３４に供給する。

次に、推定ノイズ算出部２３４は、ノイズ発生前後の差ΔＳが予め定められた第３閾値以上であるか否かを判定する。推定ノイズ算出部２３４は、ノイズ発生前後の差ΔＳが第３閾値以上である場合には、推定ノイズの変更処理を中止し、処理を終了させる。この場合、ノイズ発生前後の差ΔＳが大きい、すなわち、ノイズ発生前後において、収音した音量が大きく変化したことを示す。そのため、推定ノイズ算出部２３４は、ノイズ候補に基づいて推定ノイズを変更する場合に適していないと判定する。

また、推定ノイズ算出部２３４は、ノイズ発生前後の差ΔＳが第３閾値未満である場合に、推定ノイズを変更する。つまり、推定ノイズ算出部２３４は、ノイズ候補生成部２３３によって生成されたノイズ候補に基づいて、推定ノイズを算出する。そして、推定ノイズ算出部２３４は、算出した推定ノイズを推定ノイズ記憶部６３に記憶させる。これにより、推定ノイズが変更（更新）される。
なお、ノイズ候補生成部２３３によって生成されたノイズ候補に基づいて、推定ノイズを算出する処理は、上述した第１の方法と同様である。また、第１の方法と同様に、推定ノイズを重み付け平均に基づいて算出してもよい。

例えば、第３の方法において、重み付け平均に基づいて推定ノイズを算出する際には、推定ノイズ算出部２３４は、ノイズ発生前後の差ΔＳが小さい場合に重み付けを高く（重く）し、ノイズ発生前後の差ΔＳが大きい場合に重み付けを低く（軽く）する。

［第４の方法］
次に、推定ノイズの変更処理における第４の方法では、ノイズ発生後の周波数スペクトルである第２の周波数スペクトルの大きさに基づいて、推定ノイズを変更する。つまり、推定ノイズ変更部２４のノイズ候補判定部２３２は、例えば、第２の周波数スペクトルの大きさとして、第２の周波数スペクトルにおける全周波数成分の振幅の和を算出する。そして、ノイズ候補判定部２３２は、算出した第２の周波数スペクトルの大きさを判定結果として推定ノイズ変更部２４の推定ノイズ算出部２３４に供給する。

次に、推定ノイズ算出部２３４は、第２の周波数スペクトルの大きさが、第１の周波数スペクトルの大きさより小さいか否かを判定する。推定ノイズ算出部２３４は、第２の周波数スペクトルの大きさが、第１の周波数スペクトルの大きさより小さい場合には、推定ノイズの変更処理を中止し、処理を終了させる。この場合、第２の周波数スペクトルが第１の周波数スペクトルの大きさより小さいため、第２の周波数スペクトルから第１の周波数スペクトルを減算する差分としてノイズ候補を算出できない。そのため、推定ノイズ算出部２３４は、ノイズ候補に基づいて推定ノイズを変更する場合に適していないと判定する。

また、推定ノイズ算出部２３４は、第２の周波数スペクトルの大きさが、第１の周波数スペクトルの大きさ以上である場合に、推定ノイズを変更する。つまり、推定ノイズ算出部２３４は、ノイズ候補生成部２３３によって生成されたノイズ候補に基づいて、推定ノイズを算出する。そして、推定ノイズ算出部２３４は、算出した推定ノイズを推定ノイズ記憶部６３に記憶させる。これにより、推定ノイズが変更（更新）される。

なお、上述では、推定ノイズ算出部２３４は、第２の周波数スペクトルの大きさが、第１の周波数スペクトルの大きさより小さい場合に、推定ノイズの変更処理を中止しているが、第２の周波数スペクトルの大きさが、予め定められた第４閾値以下である場合に推定ノイズの変更処理を中止してもよい。

また、ノイズ候補生成部２３３によって生成されたノイズ候補に基づいて、推定ノイズを算出する処理は、上述した第１の方法と同様である。また、第１の方法と同様に、推定ノイズを重み付け平均に基づいて算出してもよい。

例えば、第４の方法において、重み付け平均に基づいて推定ノイズを算出する際には、推定ノイズ算出部２３４は、第２の周波数スペクトルの大きさが大きい場合に重み付けを高く（重く）し、第１の周波数スペクトルの大きさが小さい場合に重み付けを低く（軽く）する。

なお、本実施形態の信号処理装置１００及び撮像装置１において、上述した第１〜第４の方法は、単独で適用されてもよいし、複数を組み合わせて使用してもよい。

以上のように、本実施形態による信号処理装置１００は、変換部２３１が、入力された入力信号を、周波数領域信号に変換する。そして、ノイズ候補判定部２３２は、適合度（度合い）を、第１の周波数スペクトル（第１の周波数領域信号）又は第２の周波数スペクトル（第２の周波数領域信号）に基づいて判定する。ここで、適合度（度合い）は、ノイズ候補（第１の推定ノイズ周波数領域信号）が、ノイズを音信号（入力信号）から除去するための推定ノイズ（第２の推定ノイズ周波数領域信号）を変更する場合に適しているかの度合いを示す。また、第１の周波数スペクトルは、ノイズ発生前の周波数スペクトルであり、第２の周波数スペクトルは、ノイズ発生後の周波数スペクトルである。さらに、推定ノイズ変更部２４は、ノイズ候補判定部２３２の判定結果とノイズ候補とに基づいて、推定ノイズを変更する。

これにより、本実施形態による信号処理装置１００では、ノイズが発生したタイミングよって推定されるノイズ候補と、上述の適合度（度合い）とに基づいて、ノイズ低減処理に使用される推定ノイズが変更される。そのため、信号処理装置１００は、音信号（入力信号）に重畳しているノイズを適切に低減することができる。例えば、撮像装置１に装着するレンズの種類、焦点距離、及び合焦位置などによってノイズが変化する場合であっても、信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。また、例えば、ノイズ発生の前後で目的音が大きく変化したなどの場合でも、信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。

また、本実施形態において、ノイズ候補判定部２３２は、ノイズ候補に対する第１の周波数スペクトルの比（ＳＮＲ）、第１の周波数スペクトルの大きさ、第２の周波数スペクトルの大きさ、及び、第２の周波数スペクトルと第１の周波数スペクトルとの差（ΔＳ）のうちのいずれか１つ、又は組み合わせに基づいて、上述の適合度（度合い）を判定する。
これにより、ノイズ発生前後で、目的音が大きく変化して、ノイズ候補の信頼度が低い場合に、対応することができる。そのため、信号処理装置１００は、推定ノイズの精度を向上することができ、音信号から目的音を精度よく取り出すことができる。

また、本実施形態において、推定ノイズ変更部２４は、以下の（１）〜（４）の条件のうちのいずれか１つ、又は組み合わせを満たす場合に、推定ノイズを変更しない。
（１）ノイズ候補に対する第１の周波数スペクトルの比（ＳＮＲ）が予め定められた第１閾値以上であるという条件（第１の方法による判定条件）。
（２）第１の周波数スペクトルの大きさが予め定められた第２閾値以上であるという条件（第２の方法による判定条件）。
（３）第２の周波数スペクトルの大きさが第１の周波数領域信号より小さいという条件（第４の方法による判定条件）。
（４）第２の周波数スペクトルと第１の周波数スペクトルとの差が予め定められた第３閾値以上であるという条件（第３の方法による判定条件）。

これにより、ノイズ発生前後で、目的音が大きく変化して、ノイズ候補の信頼度が低い場合に、推定ノイズ変更部２４は、推定ノイズを変更（更新）しない。つまり、推定ノイズ変更部２４は、ノイズ候補と実際のノイズとの間に大きな誤差が生じている可能性のある場合に、推定ノイズを変更（更新）しない。そのため、信号処理装置１００は、推定ノイズの精度を向上することができ、音信号から目的音を精度よく取り出すことができる。

また、本実施形態において、推定ノイズ変更部２４は、推定ノイズを変更する場合に、上述の適合度（度合い）に基づいて重み付けして、ノイズ候補と過去に取得されたノイズ候補（例えば、過去４回分）との平均値を算出し、算出した平均値に基づいて、推定ノイズを変更する。
これにより、推定ノイズ変更部２４は、ノイズ候補と実際のノイズとの間に大きな誤差が生じている可能性のある場合に、その影響度を低減して（重み付けを低くして）、推定ノイズを変更する。そのため、信号処理装置１００は、推定ノイズの精度を向上することができ、音信号から目的音を精度よく取り出すことができる。

また、本実施形態において、推定ノイズ変更部２４は、第１の周波数スペクトルと第２の周波数スペクトルとに基づいて、ノイズ候補を算出する。
これにより、ノイズが発生したタイミングに基づいて毎回、ノイズ候補を算出するので、信号処理装置１００は、最新のノイズに基づいて、推定ノイズを更新することができる。そのため、信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。

また、本実施形態において、撮像装置１は、上述の信号処理装置１００を備える。
これにより、撮像装置１は、信号処理装置１００と同様の効果が期待でき、音信号に重畳しているノイズを適切に低減することができる。

なお、本発明の実施形態によれば、プログラムは、信号処理装置１００としてのコンピュータに、変換部２３１が、入力された入力信号を、周波数領域信号に変換する変換手順（ステップＳ１０１）と、入力信号に含まれるノイズが発生したタイミングに基づいて推定されるノイズ候補が、ノイズを入力信号から除去するための推定ノイズを変更する場合に適している度合いを、ノイズが発生する前の期間において変換手順によって変換された第１の周波数スペクトル又はノイズが発生した後の期間において変換手順によって変換された第２の周波数スペクトルに基づいて、ノイズ候補判定部２３２が判定する判定手順（ステップＳ２０２又はＳ３０２）と、推定ノイズ変更部２４が、判定手順の判定結果とノイズ候補とに基づいて、推定ノイズを変更する推定ノイズ変更手順（ステップＳ２０３及びＳ２０４又はステップＳ３０３及びＳ３０４）とを実行させるためのプログラムである。
これにより、プログラムは、信号処理装置１００と同様の効果が期待でき、音信号に重畳しているノイズを適切に低減することができる。

なお、本発明は、上記の各実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で変更可能である。
上記の各実施形態において、推定ノイズ変更部２４（推定ノイズ算出部２３４）が、ノイズ候補判定部２３２の判定結果（度合い）に基づいて、重み付けした平均を算出する形態を説明したが、他の方法によって、重み付け平均を算出する形態でもよい。例えば、推定ノイズ変更部２４は、推定ノイズを変更する場合に、ノイズ候補と過去に取得された複数のノイズ候補との平均値を、過去に取得された複数のノイズ候補の取得された順番が早いほど重み付けを低くして算出し、算出した平均値に基づいて、推定ノイズを変更する形態でもよい。この場合、最近のノイズ候補が重視されて推定ノイズを変更するので、信号処理装置１００は、音信号に重畳しているノイズを適切に低減することができる。

また、上記の各実施形態において、信号処理装置１００は、記憶部６０の一部（変換信号記憶部６１、ノイズ候補記憶部６２及び推定ノイズ記憶部６３）とタイミング検出部９１とを備える形態を説明したが、信号処理装置１００の外部に備える形態でもよい。
また、上記の各実施形態において、信号処理装置１００は、マイク２１によって収音された音信号をノイズ低減する形態を説明したが、記憶部６０又はバッファメモリ部３０に記憶されている音信号をノイズ低減する形態でもよい。

また、上記の各実施形態において、タイミング検出部９１は、駆動制御信号に基づいて、動作部が動作するタイミングを検出する形態を説明したが、これに限定されない。
例えば、タイミング検出部９１は、操作部８０から入力されるズームレンズ１４、又は、ＡＦレンズ１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

また、このタイミング検出部９１は、動作部が動作されたことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
例えば、タイミング検出部９１は、ズームエンコーダ１５又はＡＦエンコーダ１７の出力に基づいて、ズームレンズ１４又はＡＦレンズ１２が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部９１は、手振れ防止部１８からの出力に基づいて、ＶＲレンズ１３が駆動されたことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部９１は、操作部８０からの入力に基づいて、操作部８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。

また、上記の各実施形態において、タイミング検出部９１及び音信号処理部２３は、専用のハードウェアによって実現されてもよい。また、タイミング検出部９１及び音信号処理部２３は、メモリ及びＣＰＵにより構成され、タイミング検出部９１及び音信号処理部２３の各機能は、プログラムによって実現されてもよい。
また、上記の各実施形態において、信号処理装置１００を撮像装置１に適用する形態を説明したが、これに限定されるものではない。例えば、レコーダなどの録音装置や電話機などのキー操作による音がノイズとして目的音である音信号に重畳されるような装置に適用してもよい。

上述の信号処理装置１００は内部に、コンピュータシステムを有している。そして、上述した信号処理装置１００の処理過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。

１…撮像装置、１００…信号処理装置、２４…推定ノイズ変更部、２３１…変換部、２３２…ノイズ候補判定部

Claims (8)

1. 入力された入力信号を、周波数領域信号に変換する変換部と、
   前記入力信号に含まれるノイズが発生したタイミングに基づいて推定される第１の推定ノイズ周波数領域信号が、前記ノイズを前記入力信号から除去するための推定ノイズの周波数領域信号を示す第２の推定ノイズ周波数領域信号を変更する場合に適している度合いを、前記ノイズが発生する前の期間において前記変換部によって変換された第１の周波数領域信号又は前記ノイズが発生した後の期間において前記変換部によって変換された第２の周波数領域信号に基づいて、判定する判定部と、
   前記判定部の判定結果と前記第１の推定ノイズ周波数領域信号とに基づいて、前記第２の推定ノイズ周波数領域信号を変更する推定ノイズ変更部と
   を備えることを特徴とする信号処理装置。
2. 前記判定部は、
   前記第１の推定ノイズ周波数領域信号に対する前記第１の周波数領域信号の比、前記第１の周波数領域信号の大きさ、前記第２の周波数領域信号の大きさ、及び、前記第２の周波数領域信号と前記第１の周波数領域信号との差のうちのいずれか１つ、又は組み合わせに基づいて、前記度合いを判定する
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記推定ノイズ変更部は、
   前記第１の推定ノイズ周波数領域信号に対する前記第１の周波数領域信号の比が予め定められた第１閾値以上であるという条件、
   前記第１の周波数領域信号の大きさが予め定められた第２閾値以上であるという条件、
   前記第２の周波数領域信号の大きさが前記第１の周波数領域信号より小さいという条件、
   及び、前記第２の周波数領域信号と前記第１の周波数領域信号との差が予め定められた第３閾値以上であるという条件のうちのいずれか１つ、又は組み合わせを満たす場合に、前記第２の推定ノイズ周波数領域信号を変更しない
   ことを特徴とする請求項２に記載の信号処理装置。
4. 前記推定ノイズ変更部は、
   前記第２の推定ノイズ周波数領域信号を変更する場合に、前記度合いに基づいて重み付けして、前記第１の推定ノイズ周波数領域信号と過去に取得された前記第１の推定ノイズ周波数領域信号との平均値を算出し、算出した前記平均値に基づいて、前記第２の推定ノイズ周波数領域信号を変更する
   ことを特徴とする請求項２又は請求項３に記載の信号処理装置。
5. 前記推定ノイズ変更部は、
   前記第２の推定ノイズ周波数領域信号を変更する場合に、前記第１の推定ノイズ周波数領域信号と過去に取得された複数の前記第１の推定ノイズ周波数領域信号との平均値を、前記複数の前記第１の推定ノイズ周波数領域信号の取得された順番が早いほど重み付けを低くして算出し、算出した前記平均値に基づいて、前記第２の推定ノイズ周波数領域信号を変更する
   ことを特徴とする請求項４に記載の信号処理装置。
6. 前記推定ノイズ変更部は、
   前記第１の周波数領域信号と前記第２の周波数領域信号とに基づいて、前記第１の推定ノイズ周波数領域信号を算出する
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の信号処理装置。
7. 請求項１から請求項６のいずれか１項に記載の信号処理装置を備えることを特徴とする撮像装置。
8. 信号処理装置としてのコンピュータに、
   変換部が、入力された入力信号を、周波数領域信号に変換する変換手順と、
   前記入力信号に含まれるノイズが発生したタイミングに基づいて推定される第１の推定ノイズ周波数領域信号が、前記ノイズを前記入力信号から除去するための推定ノイズの周波数領域信号を示す第２の推定ノイズ周波数領域信号を変更する場合に適している度合いを、前記ノイズが発生する前の期間において前記変換手順によって変換された第１の周波数領域信号又は前記ノイズが発生した後の期間において前記変換手順によって変換された第２の周波数領域信号に基づいて、判定部が判定する判定手順と、
   推定ノイズ変更部が、前記判定手順の判定結果と前記第１の推定ノイズ周波数領域信号とに基づいて、前記第２の推定ノイズ周波数領域信号を変更する推定ノイズ変更手順と
   を実行させるためのプログラム。

Images