JP2015087601A - 信号処理装置、撮像装置およびプログラム - Google Patents

Abstract

【課題】音信号に含まれているノイズを適切に低減する。
【解決手段】信号処理装置１００は、減算部１１５と、補正部１２０とを備える。このうち、減算部は、音信号における所定のノイズが少なくとも一部含まれる、取得された音に基づく第１信号から、所定の信号を減算する。また、補正部は、減算部によって減算された第１信号に加算される第２信号を生成する生成部と、第１信号、および生成された第２信号のうち、少なくとも一方の信号の振幅を補正する。
【選択図】図１

Description

本発明は、信号処理装置、撮像装置およびプログラムに関する。

音信号に含まれているノイズを低減する技術がある（例えば、非特許文献１参照）。非特許文献１に記載されている技術は、音信号に含まれている定常ノイズを推定ノイズによって低減するものである。

BOLL, S. F. "Suppression of Acoustic Noise in Speech UsingSpectral Subtraction." IEEE TRANSACTION ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, vol. ASSP-27, pp. 113-120, APRIL, 1979.

しかしながら、非特許文献１に記載されている技術では、非定常的なノイズ（例えば、大きさが変化するノイズ、間欠的に発生するノイズなど）を低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算あるいは過小減算により、音の劣化もしくはノイズの残存が発生することがある。
つまり、非特許文献１に記載されている技術では、音信号に含まれているノイズを適切に低減できないことがあるという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、音信号に含まれているノイズを適切に低減することができる信号処理装置、撮像装置およびプログラムを提供することにある。

本発明の一実施形態は、音信号における所定のノイズが少なくとも一部含まれる、取得された音に基づく第１信号から、所定の信号を減算する減算部と、前記減算部によって減算された前記第１信号に加算される第２信号を生成する生成部と、前記第１信号、および前記生成された前記第２信号のうち、少なくとも一方の信号の振幅を補正する補正部とを備えることを特徴とする信号処理装置である。

また、本発明の一実施形態は、上記の信号処理装置を備えることを特徴とする撮像装置である。

また、本発明の一実施形態は、コンピュータに、音信号における所定のノイズが少なくとも一部含まれる、取得された音に基づく第１信号から、所定の信号を減算する減算ステップと、前記減算ステップにおいて減算された前記第１信号に加算される第２信号を生成する生成ステップと、前記第１信号、および前記生成された前記第２信号のうち、少なくとも一方の信号の振幅を補正する補正ステップとを実行させるためのプログラムである。

この発明によれば、音信号に含まれているノイズを適切に低減することができる。

本発明の第１実施形態による信号処理装置の構成の一例を示す概略ブロック図である。 本実施形態の音信号の一例を示す模式図である。 窓関数の適用前後の音信号の波形の一例を示すグラフである。 本実施形態の環境音特徴スペクトルおよび推定ノイズスペクトルの一例を示す模式図である。 本実施形態のノイズ低減処理の一例を示す模式図である。 本実施形態の本実施形態のフレームの構成の一例を示す模式図である。 本実施形態の音補正処理部によるノイズ低減の波形の一例を示す波形図である。 本実施形態の補正信号生成部が生成する信号の一例を示す模式図である。 本実施形態の加算部が信号を加算した波形の一例を示す模式図である。 ノイズ低減結果の一例を示す模式図である。 本実施形態におけるノイズ低減処理の一例を示すフローチャートである。 本発明の第２実施形態に係る撮像装置の構成の一例を示す概略ブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。
［第１実施形態］
図１は、本発明の第１実施形態による信号処理装置１００の構成の一例を示す概略ブロック図である。まず、信号処理装置１００の概要について説明する。

この図１に示す信号処理装置１００は、入力された音信号（符号５００）に対して信号処理を実行し、処理後の音信号（符号５１０）を出力する。例えば、信号処理装置１００は、記憶媒体に記録されている音信号を取得し、取得した音信号に対して信号処理を実行する。ここで、記憶媒体とは、例えば、フラッシュメモリカード、磁気ディスク、光学ディスクなどの可搬媒体である。

なお、信号処理装置１００は、記憶媒体から音信号を読み出すための読み出し部を、内部に備えた構成としてもよいし、有線通信または無線通信などにより接続可能な外部装置（読み出し装置）が備えた構成としてもよい。また、記憶媒体に代えて、フラッシュメモリを搭載してＵＳＢ（Universal Serial Bus）コネクタを介して接続可能なＵＳＢメモリ、またはハードディスクなどの記憶装置としてもよい。

記憶媒体には、録音された音の音信号が記憶されている。例えば、記憶媒体には、少なくとも音を録音する機能を有する装置により収音されて録音された音の音信号が記憶されている。また、記憶媒体には、この収音された（録音された）音の音信号における所定のノイズが含まれる期間または所定のノイズが含まれない期間、を示す情報（或いは、所定のノイズが含まれる期間または所定のノイズが含まれない期間を判定可能な情報）が、その音信号と対応付けられて記録されている。

例えば、収音された音の音信号における所定のノイズが含まれる期間は、この音信号の音を収音した装置が備えている動作部が動作している期間であってもよい。一方、収音された音の音信号における所定のノイズが含まれない期間は、この音信号の音を録音した装置が備えている動作部が動作していない期間であってもよい。また、収音された音の音信号における所定のノイズが含まれる期間または所定のノイズが含まれない期間、を示す情報は、この音信号の音を収音した装置が備えている動作部が動作するタイミングを示す情報であってもよい。

ここで、収音した装置が備えている動作部とは、収音した装置が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。例えば、収音した装置が撮像装置の場合、その撮像装置が備えている、ズームレンズ、防振用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）、操作部、などが動作部であってもよい。すなわち、この場合の所定のノイズとは、撮像装置が備えている、ズームレンズ、ＶＲレンズ、ＡＦレンズ、操作部、などが動作することによって生じた音が収音されたものである。

例えば、撮像装置は、動作部であるズームレンズ、ＶＲレンズ、またはＡＦレンズそれぞれを駆動する駆動部を、駆動制御信号を制御することにより駆動する。つまり、撮像装置は、駆動制御信号を制御するタイミングによって上述の動作部を動作させる。例えば、撮像装置は、駆動制御信号を制御するタイミングを示す情報を、動作部が動作するタイミングを示す情報として、録音した音の音信号に対応付けて記憶媒体に記憶させてもよい。
なお、このような収音機能を有する撮像装置の構成について、詳しくは後述する。

信号処理装置１００は、音信号に対して信号処理を実行する。例えば、信号処理装置１００は、上述したような、録音された音の音信号と、その音信号に対応付けられた動作部が動作するタイミングを示す情報とに基づいて、音信号に含まれるノイズを低減する処理を実行する。

続いて、図１に示す信号処理装置１００の構成について詳しく説明する。信号処理装置１００は、信号処理部１１０と、記憶部１６０と、を備えている。

記憶部１６０は、環境音特徴スペクトル記憶部１６１と、ノイズ記憶部１６２と、ノイズ低減処理情報記憶部１６３とを備えている。
環境音特徴スペクトル記憶部１６１には、後述する環境音特徴スペクトルが記憶される。ノイズ記憶部１６２には、後述する推定ノイズ（推定ノイズスペクトル）が記憶される。ノイズ低減処理情報記憶部１６３には、ノイズ低減処理において、音信号の周波数成分毎にノイズ成分を低減させる処理を実行したか否かを示す情報が周波数成分毎に対応付けられて記憶される。

信号処理部１１０は、記憶媒体から読み出されて入力された音信号に対して、例えば、ノイズ低減処理などの信号処理を実行し、この信号処理を実行した音信号を出力する（或いは記憶媒体に記憶させる）。なお、信号処理部１１０は、入力された音信号にノイズ低減処理を実行した音信号と、入力された音信号そのままの信号とを切り替えて出力してもよい。

＜信号処理部１１０の詳細な構成＞
次に、図１に示す信号処理部１１０の詳細について、図１から図４を用いて説明する。信号処理部１１０は、第１変換部１１１（変換部）、判定部１１２、環境音特徴スペクトル推定部１１３、ノイズ推定部１１４、ノイズ低減部１１５（減算部）、逆変換部１１６、および、音補正処理部１２０、を備えている。

ここでは、図２のように信号処理部１１０に、音信号（例えば撮像装置により収音されて録音された音信号）と、その音信号に対応付けられた動作部（例えば撮像装置が備えている動作部）が動作するタイミングを示す信号とが、記憶媒体から読み出されて入力された場合について説明する。なお、入力された音信号は、収音された音がデジタル信号に変換された音信号である。この図２において、上段から下段に向かって、（ａ）動作部が動作するタイミングを示す信号、（ｂ）時刻、（ｃ）フレーム番号、および、（ｄ）入力された音信号の波形を示している。

この図２において、横軸は時間軸、または、フレーム番号であり、縦軸は、例えば、各信号の電圧である。また、この図２（ｄ）に示すように、例えば、音声が収音された場合の音信号の場合、数十ミリ秒程度の短い時間内では、比較的に繰り返し信号が多い。

この図２の例においては、フレームと時刻との関係は、時刻ｔ０からｔ２までがフレーム番号４１に対応し、時刻ｔ１からｔ３までがフレーム番号４２に対応し、時刻ｔ２からｔ４までがフレーム番号４３に対応し、時刻ｔ３からｔ５までがフレーム番号４４に対応し、時刻ｔ４からｔ６までがフレーム番号４５に対応し、時刻ｔ５からｔ７までがフレーム番号４６に対応し、時刻ｔ６以降がフレーム番号４７に対応している。なお、各フレームの時間長は同じものとする。

また、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、（ａ）動作部が動作するタイミングを示す信号が、ロウレベルからハイレベルに遷移している（図２の符号Ｏ参照）ことを示している。なお、ここでは、ロウレベルは動作部が動作していないことを示し、ハイレベルは動作部が動作していることを示すものとする。
このように、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、動作部が動作しない状態から動作する状態へと遷移していることを示している。

そして、このような動作部の動作に応じて、（ｄ）入力された音信号の波形に、フレーム番号４４および４５の途中以降から、ノイズが重畳されている。ここで、各フレームとノイズ発生区間との関係について着目すると、フレーム番号４４および４５の途中で（ａ）動作部が動作するタイミングを示す信号が立ち上がっていることからフレーム番号４４以降（４４、４５、４６，４７…）においてノイズが収音されている。また、フレーム番号４６以降（４６，４７…）においては、フレームの全区間においてノイズが収音されている。一方、フレーム番号４３以前（４３，４２，４１…）にはノイズが全く収音されていない。

ここで、第１変換部１１１は、入力された音信号を周波数領域信号に変換する。例えば、第１変換部１１１は、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、第１変換部１１１は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、第１変換部１１１は、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により、フーリエ変換してもよい。

ここで、各フレームの音信号に対する窓関数の適用の一例について説明する。窓関数とは、ある有限区間以外で値が０（ゼロ）になる関数である。この一例においては、各フレームの開始タイミングと終了タイミングとの間が有限区間である。すなわち、この窓関数とは、フレーム内においてある値をとり、フレーム外においては値が０（ゼロ）になる関数である。窓関数の適用前後の波形の具体例を図３に示す。

図３は、窓関数の適用前後の音信号の波形の一例を示すグラフである。窓関数適用前の音信号の波形Ｗｉの一例を図３（ａ）に示す。また、窓関数の波形Ｗｗおよび窓関数適用後の音信号の波形Ｗｏの一例を図３（ｂ）に示す。同図に示すように、窓関数適用前の波形Ｗｉは、時刻ｔ０から時刻ｔ２の間において、振幅Ａが一定である。また、窓関数適用後の波形Ｗｏは、時刻ｔ０および時刻ｔ２において、振幅Ａが０（ゼロ）であり、時刻ｔ１において、振幅Ａが最大である。なお、この一例において、時刻ｔ０から時刻ｔ２までが１フレームである。この窓関数を適用せずにフーリエ変換した場合には、逆フーリエ変換後の音信号が、各フレーム間で不連続な波形になることがある。窓関数を適用してフーリエ変換することにより、逆フーリエ変換後の音信号が、各フレーム間で不連続な波形になることを低減することができる。

なお、第１変換部１１１は、入力された音信号の周波数スペクトルを生成する際に、音信号の周波数成分の振幅情報（符号ＳＧ１）および位相情報（符号ＳＧ２）を得る。また、第１変換部１１１が変換したフレーム毎の音信号の周波数スペクトルに対して、信号処理部１１０は、後述するようなノイズ低減処理を実行する。そして、その後、逆変換部１１６は、ノイズ低減処理した各フレームの周波数スペクトル（後述の加算部１２８の加算処理後の周波数スペクトル）を逆フーリエ変換して出力する。
なお、信号処理部１１０は、逆フーリエ変換して出力した音信号を、記憶媒体に記憶させてもよい。

判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する。すなわち、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれる期間のフレームであるか、または、所定のノイズが含まれない期間のフレームであるかを判定する。

なお、判定部１１２は、独立した構成であることに限られるものではなく、環境音特徴スペクトル推定部１１３またはノイズ推定部１１４が、上述した判定部１１２の機能を有する構成としてもよい。

環境音特徴スペクトル推定部１１３は、入力された音信号の周波数スペクトルから、環境音特徴スペクトルを推定する。そして、環境音特徴スペクトル推定部１１３は、推定した環境音特徴スペクトルを、環境音特徴スペクトル記憶部１６１に記憶させる。ここで、環境音特徴スペクトルとは、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれない期間の音信号の周波数スペクトル、すなわち所定のノイズが含まれない周囲の環境音（周囲音、目的音）が収音された音信号の周波数スペクトルのことをいう。

例えば、環境音特徴スペクトル推定部１１３は、所定のノイズが含まれない期間のフレームにおける音信号（環境音の音信号）の周波数スペクトルを、環境音特徴スペクトルとして推定する。すなわち、環境音特徴スペクトル推定部１１３は、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルとして推定する。具体的には、例えば、環境音特徴スペクトル推定部１１３は、判定部１１２により動作部が動作するタイミングに基づいて判定された、動作部が動作する期間を含まない直前のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルとして推定する。

図２に示す音信号の例の場合、環境音特徴スペクトル推定部１１３は、例えばフレーム番号４３における音信号の周波数スペクトルを環境音特徴スペクトルとして推定する。そして、環境音特徴スペクトル推定部１１３は、このフレーム番号４３における音信号の周波数スペクトルを環境音特徴スペクトルとして、環境音特徴スペクトル記憶部１６１に記憶させる。

以降、フレーム番号４３における音信号の周波数スペクトル（＝Ｓ４３）を環境音特徴スペクトルＦＳと称して説明する。また、環境音特徴スペクトルＦＳの、各周波数ビンの強度（各周波数成分の大きさ）を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５と称して説明する（図４（ａ）参照）。なお、周波数ビンの数は、ノイズ低減処理において必要とされる周波数スペクトルの分解能に応じて設定することができる。

ノイズ推定部１１４は、入力された音信号から所定のノイズ（例えば動作部が動作することにより発生するノイズ）を低減するためのノイズを推定する。例えば、ノイズ推定部１１４は、動作部が動作するタイミングに基づいて、入力された音信号の周波数スペクトルからノイズの周波数スペクトルを推定する。そして、ノイズ推定部１１４は、推定したノイズを、ノイズ記憶部１６２に記憶させる。

例えば、ノイズ推定部１１４は、所定のノイズが含まれる期間のフレームにおける音信号の周波数スペクトル（第１周波数領域信号）と、所定のノイズが含まれない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。すなわち、ノイズ推定部１１４は、動作部が動作している期間のフレームにおける音信号の周波数スペクトルと、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。

具体的には、例えば、ノイズ推定部１１４は、判定部１１２により動作部が動作するタイミングに基づいて判定された、動作部が動作を開始したタイミングの直後のフレーム（かつ、フレームの全ての期間に渡って動作部が動作しているフレーム）における音信号の周波数スペクトルと、動作部が動作を開始するタイミングの直前のフレーム（かつ、フレームの全ての期間に渡って動作部が動作していないフレーム）における音信号の周波数スペクトル（例えば環境音特徴スペクトルＦＳ）との差を、ノイズの周波数スペクトルとして推定する。

図２に示す音信号の例の場合、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図４（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわち環境音特徴スペクトルＦＳ）（図４（ａ）参照）を、周波数ビン毎に減算する。

なお、フレーム番号４６における音信号の周波数スペクトルを、周波数スペクトルＳ４６（図４（ｂ）参照）と称して説明する。また、周波数スペクトルＳ４６の、各周波数ビンの強度を、低周波数から高周波数へ順にＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５と称して説明する（図４（ｂ）参照）。

そして、ノイズ推定部１１４は、減算により算出した周波数スペクトルを、ノイズの周波数スペクトルとして推定する（図４（ｄ）参照）。そして、ノイズ推定部１１４は、推定したノイズを、ノイズ記憶部１６２に記憶させる。

以降、ノイズ推定部１１４により推定されたノイズの周波数スペクトルを、推定ノイズスペクトルＮＳと称して説明する。また、推定ノイズスペクトルＮＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５と称して説明する(図４（ｄ）参照）。

信号処理部１１０は、このようにして得られたノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）を推定ノイズとして、ノイズが含まれるフレーム（例えば、フレーム番号４４、４５、４６、４７…）の周波数スペクトルより減算することにより、ノイズが含まれるフレームの音信号の周波数スペクトルのノイズを低減（除去）することができる。

例えば、ノイズ低減部１１５（減算部）は、ノイズが含まれるフレーム（例えば、フレーム番号４４、４５、４６、４７…）の周波数スペクトルから、ノイズ推定部１１４により推定された推定ノイズスペクトルＮＳを、周波数ビン毎（周波数成分毎）にそれぞれ減算する。すなわち、ノイズ低減部１１５は、音信号において所定のノイズが含まれるノイズ期間ＰｒＮの時間領域信号Ｗ１（第１信号）から、所定のノイズを低減するために推定された推定ノイズの時間領域信号を減算することにより時間領域信号Ｗ１’を生成する。すなわち、ノイズ低減部１１５は、音信号における所定のノイズが少なくとも一部含まれる第１信号から、所定の信号を減算する。

具体的には、例えば、ノイズ低減部１１５は、フレーム番号４６における音信号の周波数スペクトルＳ４６から推定ノイズスペクトルＮＳを減算したノイズ低減後の周波数スペクトル（周波数スペクトルＳＣと称する）を、以下のような関係式に基づいて算出する。
ここで、周波数スペクトルＳＣの、各周波数ビンの強度を、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５と称する(図４（ｅ）参照）。

周波数スペクトルＳＣの各周波数ビンの強度を算出する関係式は、例えば、低周波数から高周波数へ順に、Ｃ１＝Ｂ１−Ｎ１、Ｃ２＝Ｂ２−Ｎ２、Ｃ３＝Ｂ３−Ｎ３、Ｃ４＝Ｂ４−Ｎ４、Ｃ５＝Ｂ５−Ｎ５、として示される。なお、所定の減算係数を用いて推定ノイズスペクトルＮＳを減算してもよい。すなわち、上述の関係式は、例えば係数ｍを用いて、低周波数から高周波数へ順に、Ｃ１＝Ｂ１−（Ｎ１×ｍ）、Ｃ２＝Ｂ２−（Ｎ２×ｍ）、Ｃ３＝Ｂ３−（Ｎ３×ｍ）、Ｃ４＝Ｂ４−（Ｎ４×ｍ）、Ｃ５＝Ｂ５−（Ｎ５×ｍ）、としてもよい。

なお、ノイズ低減部１１５は、ノイズが含まれるフレームの周波数スペクトルと環境音特徴スペクトルＦＳとを周波数ビン毎に比較した結果に基づいて、周波数ビン毎に推定ノイズスペクトルＮＳを減算するか否かを選択してもよい。例えば、ノイズ低減部１１５は、ノイズが含まれるフレームの周波数スペクトルの強度（振幅）が環境音特徴スペクトルＦＳの強度より大きい周波数ビンについては、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算する処理としてもよい。一方、ノイズ低減部１１５は、ノイズが含まれるフレームの周波数スペクトルの強度が環境音特徴スペクトルＦＳの強度以下の周波数ビンについては、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算しない処理としてもよい。

なお、ノイズ低減部１１５が、周波数ビン毎に推定ノイズスペクトルＮＳを減算するか否かを選択する処理は、ノイズが含まれるフレームの周波数スペクトルと環境音特徴スペクトルＦＳとを周波数ビン毎に比較した結果に基づいて選択する処理に限られるものではなく、他の条件に基づいて選択する処理としてもよい。例えば、ノイズ低減部１１５は、周波数ビン毎に推定ノイズスペクトルＮＳを減算するか否かを選択する場合、ノイズが含まれるフレームの周波数スペクトルと推定ノイズスペクトルＮＳとを周波数ビン毎に比較した結果に基づいて選択してもよいし、推定ノイズスペクトルＮＳの周波数ビン毎の大きさに基づいて選択してもよいし、周波数ビン毎に予め設定された減算するか否かの条件に基づいて選択してもよい。また、ノイズ低減部１１５は、単に全ての周波数ビン毎に推定ノイズスペクトルＮＳを減算してもよい。

また、ノイズ低減部１１５は、周波数ビン毎に推定ノイズスペクトルＮＳを減算したか否かを示す情報をノイズ低減処理情報記憶部１６３に記憶させてもよい。なお、ノイズ低減部１１５は、推定ノイズスペクトルＮＳを減算した周波数ビンを示す情報のみをノイズ低減処理情報記憶部１６３に記憶させてもよいし、推定ノイズスペクトルＮＳを減算していない周波数ビンを示す情報のみをノイズ低減処理情報記憶部１６３に記憶させてもよい。

このように、信号処理部１１０は、ノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）に基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。なお、信号処理部１１０（逆変換部１１６）は、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）により、逆フーリエ変換してもよい。

図１の説明に戻り、信号処理部１１０が備えている各構成について引き続き説明する。
以下の説明では、図２および図４を用いて説明した環境音特徴スペクトルＦＳが、環境音特徴スペクトル推定部１１３により推定されて環境音特徴スペクトル記憶部１６１に記憶されているものとする。なお、予め設定された環境音特徴スペクトルが環境音特徴スペクトル記憶部１６１に記憶されていてもよい。また、図２および図４を用いて説明した推定ノイズスペクトルＮＳが、ノイズ推定部１１４により推定されてノイズ記憶部１６２に記憶されているものとする。なお、予め設定された推定ノイズがノイズ記憶部１６２に記憶されていてもよい。

上述したように、信号処理装置１００は、例えば、動作部が動作するタイミングに基づいて推定した推定ノイズスペクトルＮＳをノイズが含まれる音信号の周波数スペクトルから減算することにより、音信号に対するノイズ低減処理を行うことができる。

ところで、上述したようなノイズ低減処理において、推定ノイズスペクトルＮＳに少なくとも所定のノイズ（例えば、動作部が動作することにより生じるノイズ）以外の音信号の周波数スペクトルが含まれているような場合には、所定のノイズ以外の環境音の音信号も減算されてしまうことがあり、環境音の劣化が生じることがある。また、非定常的なノイズ（例えば、大きさが変化するノイズ、間欠的に発生するノイズなど）を低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算により音の劣化が発生することがある。このような場合、周波数スペクトルの強度が小さい音信号ほど劣化しやすく、例えば、環境音に含まれる白色雑音（その場面の臨場感を表すのに大切な音）のように、周波数帯域が広く且つ周波数スペクトルの強度が小さい音信号の劣化が生じやすい。

ここで、環境音の劣化が生じないよう推定ノイズスペクトルＮＳの減算量を小さくしてしまうと、ノイズの過小減算によりノイズの残存が発生してしまうことがある。そのため、所定のノイズを過小減算とならないように減算量を大きくすればするほど、環境音に含まれる白色雑音のような音までがより減算（低減）されてしまうことがあり、ノイズ低減処理を行ったフレーム期間のみ白色雑音のような音が途切れてしまうというような違和感のある音になる場合がある。

そこで、本実施形態の信号処理装置１００は、ノイズ低減処理において、以下に示す補正処理を実行する。信号処理部１１０の音補正処理部１２０は、ノイズ低減処理において劣化が生じることがある環境音を補正する。例えば、音補正処理部１２０は、ノイズ低減処理において劣化が生じることがある環境音に含まれる白色雑音（その場面の臨場感を表すのに大切な音）の信号を補正する補正信号を生成し、生成した補正信号をノイズ低減処理後の音信号に加算する処理を行う。

ここでは初めに、音補正処理部１２０が補正信号を生成し、生成した補正信号をノイズ低減処理後の音信号に加算する処理の一例について概説する。次に、音補正処理部１２０が補正信号を生成する処理の一例について詳細に説明する。次に、音補正処理部１２０が補正信号の振幅を補正する処理の一例について詳細に説明する。

＜音補正処理部による処理の一例＞
音補正処理部１２０は、補正信号生成部１２１、振幅補正部１２６、および加算部１２８を備えている。
補正信号生成部１２１は、擬似乱数信号生成部１２２、第２変換部１２３、イコライズ部１２４、および、周波数抽出部１２５を備えている。この補正信号生成部１２１は、擬似乱数信号と環境音特徴スペクトルＦＳとに基づいて、補正信号の周波数スペクトルを生成する。

擬似乱数信号生成部１２２は、擬似乱数信号列を生成する。例えば、擬似乱数信号生成部１２２は、線形合同法、線形帰還シフトレジスタを用いた方法、カオス乱数を用いた方法などにより、擬似乱数信号列を生成する。なお、擬似乱数信号生成部１２２は、上述した方法以外の方法を用いて擬似乱数信号列を生成してもよい。

第２変換部１２３は、擬似乱数信号生成部１２２により生成された擬似乱数信号列を周波数領域信号に変換する。例えば、第１変換部１１１は、擬似乱数信号列をフレームに分割し、分割した各フレームの擬似乱数信号をフーリエ変換し、各フレームにおける擬似乱数信号の周波数スペクトルを生成する。

また、第２変換部１２３は、各フレームの擬似乱数信号を周波数スペクトルに変換する場合、各フレームの擬似乱数信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、第２変換部１２３は、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により、フーリエ変換してもよい。なお、第２変換部１２３は第１変換部１１１と共通の構成としてもよい。

なお、第２変換部１２３は、擬似乱数信号の周波数スペクトルを生成する際に、擬似乱数信号の周波数成分の振幅情報（符号ＳＧ３）および位相情報（符号ＳＧ４）を得る。

イコライズ部１２４は、擬似乱数信号の周波数スペクトルと環境音特徴スペクトルＦＳとに基づいて、補正信号の周波数スペクトルを生成する。例えば、イコライズ部１２４は、擬似乱数信号の周波数スペクトルを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルを生成する。

具体的には、イコライズ部１２４は、例えば、擬似乱数信号の周波数スペクトルと環境音特徴スペクトルＦＳとを周波数ビン毎に乗算し、全周波数ビンの周波数スペクトルの和（全周波数成分の振幅の和、或いは全周波数成分の強度の和）が、環境音特徴スペクトルＦＳの和（全周波数ビンのスペクトルの和）と、略等しくなるように規格化（正規化、平均化）することにより、補正信号を生成する。
例えば、イコライズ部１２４は、次に示す式（１）により補正信号を算出してもよい。

周波数抽出部１２５は、加算部１２８において加算する周波数ビンを選択し、イコライズ部１２４が生成した補正信号の周波数スペクトルのうち、選択した周波数ビンの周波数スペクトルを抽出する。例えば、周波数抽出部１２５は、ノイズ低減部１１５が推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報に基づいて、加算部１２８において加算する周波数ビンを選択する。すなわち、周波数抽出部１２５は、ノイズ低減部１１５が推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報に基づいて、加算部１２８において加算する周波数ビンの補正信号の周波数スペクトルを抽出する。
なお、周波数抽出部１２５は、ノイズ低減処理情報記憶部１６３を参照して、推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報を取得してもよい。

また、例えば、周波数抽出部１２５は、推定ノイズスペクトルＮＳを減算した周波数ビンについて、補正信号の周波数スペクトルを加算対象として抽出し、推定ノイズスペクトルＮＳを減算しなかった周波数ビンについて、補正信号の周波数スペクトルを加算対象として抽出しない。

なお、周波数抽出部１２５は、推定ノイズスペクトルＮＳを減算したか否かを示す周波数ビン毎の情報に基づいて、加算対象とする周波数ビンの補正信号の周波数スペクトルに対して係数「１」を乗算してもよいし、加算対象としない周波数ビンの補正信号の周波数スペクトルに対して係数「０」を乗算してもよい。なお、加算対象とする周波数ビンの補正信号の周波数スペクトルに対して乗算する係数は「１」以外であってもよい。一方、加算対象としない周波数ビンの補正信号の周波数スペクトルに対して乗算する係数は「０」以外であってもよい。例えば、加算対象とする場合の係数が加算対象としない場合の係数よりも大きければ、加算対象とする場合の係数が「１」より大きい係数または小さい係数であってもよいし、加算対象としない場合の係数が「０」より大きい係数であってもよい。

加算部１２８は、ノイズ低減部１１５が推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトルに、周波数抽出部１２５が抽出した周波数ビンの補正信号の周波数スペクトルを加算する。

例えば、加算部１２８は、周波数抽出部１２５が加算対象とした周波数ビンの補正信号の周波数スペクトルを加算する。つまり、加算部１２８は、ノイズ低減部１１５が音信号の周波数スペクトル（第１周波数領域信号）から推定ノイズスペクトルＮＳを周波数ビン毎に減算した周波数ビンに対して、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトルに補正信号の周波数スペクトルを加算する。

一方、加算部１２８は、ノイズ低減部１１５が音信号の周波数スペクトル（第１周波数領域信号）から推定ノイズスペクトルＮＳを周波数ビン毎に減算した周波数ビンに対して、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトルに加算する補正信号の周波数スペクトルの加算量を低減する（例えば加算量を「０」にする、すなわち加算しない）。すなわち、加算部１２８は、生成された補正信号Ｗ３−１（第１期間の第２信号）および補正信号Ｗ３−２（第２期間の第２信号）の周波数領域信号に、時間領域信号Ｗ１’の周波数領域信号をそれぞれ加算する。この加算後の信号を時間領域に逆変換すれば、時間領域信号Ｗ１’’が得られる。すなわち、加算部１２８は、時間領域信号Ｗ１’’（加算後の第１信号）を生成する。

なお、加算部１２８は、ノイズ低減部１１５が音信号の周波数スペクトル（第１周波数領域信号）から推定ノイズスペクトルＮＳを周波数ビン毎に減算する際に減算量が少なかった周波数ビンにおいて、推定ノイズスペクトルＮＳを減算した後の音信号の周波数スペクトルに加算する補正信号の周波数スペクトルの加算量を低減してもよい。

例えば、加算部１２８は、ノイズ低減部１１５における周波数ビン毎の減算量に応じて、補正信号の周波数スペクトルの加算量を周波数ビン毎に異ならせてもよい。つまり、加算部１２８は、ノイズ低減部１１５における周波数ビン毎の減算量が大きい場合には、その周波数ビンの補正信号の周波数スペクトルの加算量を大きくしてもよいし、ノイズ低減部１１５における周波数ビン毎の減算量が小さい場合には、その周波数ビンの補正信号の周波数スペクトルの加算量を小さくしてもよい。

振幅補正部１２６は、加算部１２８が加算した時間領域信号Ｗ１’’（加算後の第１信号）の振幅を補正する。この振幅補正部１２６による補正信号の振幅補正処理の詳細については、図９、および図１０を参照して後述する。

図５は、本実施形態のノイズ低減処理の一例を示す模式図である。次に、図５を参照して、上述した補正信号を加算する補正処理を含むノイズ低減処理の一例について説明する。この図５に示す周波数スペクトルは、１２個の周波数ビンを備えているものとする。また、図２および図４の各部に対応する構成には同じ符号を付けている。

図５（ａ）に示す周波数スペクトルＳＢは、第１変換部１１１により変換された音信号の周波数スペクトルであり、所定のノイズが含まれている期間のフレーム番号４６における周波数スペクトルＳ４６である。この図に示す周波数スペクトルＳＢの各周波数ビンの強度を、低周波数から高周波数へ順にＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８、Ｂ９、Ｂ１０、Ｂ１１、Ｂ１２と称する。

図５（ｂ）に示す周波数スペクトルは、環境音特徴スペクトルＦＳであって、所定のノイズが含まれていない期間のフレーム番号４３における周波数スペクトルＳ４６である。
この図に示す環境音特徴スペクトルＦＳの各周波数ビンの強度を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８、Ｆ９、Ｆ１０、Ｆ１１、Ｆ１２と称する。

図５（ｃ）に示す周波数スペクトルは、擬似乱数信号生成部１２２により生成された擬似乱数信号列を第２変換部１２３が変換した擬似乱数信号の周波数スペクトルＲＮである。この図に示す擬似乱数信号の周波数スペクトルＲＮの各周波数ビンの強度を、低周波数から高周波数へ順にＲ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９、Ｒ１０、Ｒ１１、Ｒ１２と称する。

イコライズ部１２４は、擬似乱数信号の周波数スペクトルＲＮを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトル（以下、補正信号の周波数スペクトルＳＥと称する）を生成する。

このイコライズ部１２４が生成した補正信号の周波数スペクトルＳＥの一例を、図５（ｅ）に示している。この図に示す補正信号の周波数スペクトルＳＥの各周波数ビンの強度を、低周波数から高周波数へ順にＥ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６、Ｅ７、Ｅ８、Ｅ９、Ｅ１０、Ｅ１１、Ｅ１２と称する。

イコライズ部１２４は、擬似乱数信号の周波数スペクトルＲＮを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルＳＥの周波数ビン毎の強度を算出する。なお、イコライズ部１２４は、例えば、前述した式（１）に示す関係式を用いて、補正信号の周波数スペクトルＳＥの各周波数ビンの強度を算出する。なお、式（１）に示す「ＦＳ（ｋ）」が、図５（ａ）に示す環境音特徴スペクトルＦＳの各周波数ビンの強度Ｆ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５、Ｆ６、Ｆ７、Ｆ８、Ｆ９、Ｆ１０、Ｆ１１、Ｆ１２に対応する。また、式（１）に示す「ＲＮ＿ａｍｐ（ｋ）」が、図５（ｃ）に示す擬似乱数信号の周波数スペクトルＲＮの各周波数ビンの強度Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６、Ｒ７、Ｒ８、Ｒ９、Ｒ１０、Ｒ１１、Ｒ１２に対応する。また、式（１）に示す「ＳＥ＿ａｍｐ（ｋ）」が、図５（ｅ）に示す補正信号の周波数スペクトルＳＥの各周波数ビンの強度Ｅ１、Ｅ２、Ｅ３、Ｅ４、Ｅ５、Ｅ６、Ｅ７、Ｅ８、Ｅ９、Ｅ１０、Ｅ１１、Ｅ１２に対応する。

一方、図５（ｄ）に示す周波数スペクトルは、ノイズ低減部１１５が図５（ａ）に示す音信号の周波数スペクトルＳＢから推定ノイズスペクトルＮＳを減算する処理が実行された後の音信号の周波数スペクトルＳＣである。この図に示す周波数スペクトルＳＣの各周波数ビンの強度を、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８、Ｃ９、Ｃ１０、Ｃ１１、Ｃ１２と称する。

ノイズ低減部１１５は、図５（ａ）に示す周波数スペクトルＳＢから推定ノイズスペクトルＮＳを減算することにより、周波数スペクトルＳＣを生成する。ここで、ノイズ低減部１１５は、周波数ビン毎に周波数スペクトルＳＢと環境音特徴スペクトルＦＳとを比較し、周波数スペクトルＳＢの強度が環境音特徴スペクトルＦＳの強度より小さい周波数ビンについては、推定ノイズスペクトルＮＳを減算しない処理とする。すなわち、ノイズ低減部１１５は、周波数スペクトルＳＢの強度が環境音特徴スペクトルＦＳの強度以下の周波数ビン（図５では、周波数ビン番号７、８、９，１０、１１）についてのみ、推定ノイズスペクトルＮＳを減算する処理とする。

例えば、推定ノイズスペクトルＮＳの各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５、Ｎ６、Ｎ７、Ｎ８、Ｎ９、Ｎ１０、Ｎ１１、Ｎ１２、とした場合、ノイズ低減部１１５は、推定ノイズスペクトルＮＳの周波数ビン番号７、８、９，１０、１１のそれぞれについて、各周波数ビンの強度Ｎ７、Ｎ８、Ｎ９、Ｎ１０、Ｎ１１それぞれを減算する。

すなわち、ノイズ低減部１１５が周波数スペクトルＳＣの各周波数ビンの強度を算出する関係式は、例えば上述の例では、低周波数から高周波数へ順に、Ｃ１＝Ｂ１、Ｃ２＝Ｂ２、Ｃ３＝Ｂ３、Ｃ４＝Ｂ４、Ｃ５＝Ｂ５、Ｃ６＝Ｂ６、Ｃ７＝Ｂ７−Ｎ７、Ｃ８＝Ｂ８−Ｎ８、Ｃ９＝Ｂ９−Ｎ９、Ｃ１０＝Ｂ１０−Ｎ１０、Ｃ１１＝Ｂ１１−Ｎ１１、Ｃ１２＝Ｂ１２、として示される。

図５（ｆ）に示す周波数スペクトルは、図５（ｅ）に示す補正信号の周波数スペクトルＳＥのうち、周波数抽出部１２５が、加算部１２８において加算して抽出した周波数ビンの周波数スペクトルＳＤである。この図５（ｆ）の例では、周波数抽出部１２５は、ノイズ低減部１１５が減算した周波数ビン（周波数ビン番号７、８、９，１０、１１）のみを加算対象とする。この図に示す加算対象とする補正信号の周波数スペクトルＳＤの各周波数ビンの強度を、周波数ビン番号７、８、９，１０、１１の順にＤ７、Ｄ８、Ｄ９、Ｄ１０、Ｄ１１と称する。

加算部１２８は、図５（ｄ）に示す周波数スペクトルＳＣに、図５（ｆ）に示す周波数スペクトルＳＤを加算する。すなわち、加算部１２８は、ノイズ低減部１１５が図５（ａ）に示す音信号の周波数スペクトルＳＢから推定ノイズスペクトルＮＳを減算した周波数スペクトルＳＣに対して、減算処理により劣化した音信号を補正するための補正信号としての周波数スペクトルＳＤを加算する。この補正信号とは、振幅補正部１２６によってイコライズ部１２４が生成した補正信号の振幅が補正された後の補正信号である。そして、信号処理部１１０は、周波数スペクトルＳＣに対して周波数スペクトルＳＤを加算するとともに、逆変換部１１６において逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する。

すなわち、補正信号生成部１２１（生成部）は、ノイズ低減部１１５（減算部）によって減算された第１信号に加算される第２信号を生成する。

このように、信号処理装置１００は、音信号の周波数スペクトルに対して、推定ノイズスペクトルＮＳを減算するとともに、擬似乱数信号の周波数スペクトルＲＮを環境音特徴スペクトルＦＳを用いてイコライズして生成した補正信号の周波数スペクトルＳＥ（周波数スペクトルＳＤ）を加算する。

これにより、信号処理装置１００は、音信号から所定のノイズを減算した際に、所定のノイズ以外の音信号までもが低減されてしまう場合であっても、その所定のノイズ以外の音の代わりとなる音信号を生成して加算することができる。例えば、信号処理装置１００は、音信号から所定のノイズを減算した際に、所定のノイズ以外の環境音に含まれる白色雑音のような音信号までもが低減されてしまう場合であっても、その白色雑音のような音信号の代わりになる音信号を擬似乱数信号から生成して加算することができる。

よって、信号処理装置１００は、所定のノイズ以外の音信号までもが低減されてしまうことにより（ノイズの過大減算となることにより）生じる音の劣化を抑制することができる。また、信号処理装置１００は、所定のノイズ以外の音信号までもが低減されてしまうことを懸念してノイズの過小減算となることを抑制するため、ノイズの残存が発生することを抑制することができる。

また、信号処理装置１００は、音信号の周波数スペクトルのうち、推定ノイズスペクトルＮＳを減算した周波数ビンの周波数スペクトルにのみ、生成した補正信号の周波数スペクトルＳＥのうちの当該減算した周波数ビンに対応する周波数スペクトルＳＤを加算する。これにより、信号処理装置１００は、音信号から所定のノイズを減算した周波数ビン（周波数成分）のみに、補正信号（所定のノイズ以外の音信号の代わりとなる音信号）を生成して加算することができる。よって、信号処理装置１００は、補正が不要な周波数ビンについては補正信号を加算することなく、補正が必要な周波数ビンについてのみ適切に補正信号を加算することができる。

＜音補正処理部１２０が補正信号を生成する処理の一例＞
次に、音補正処理部１２０が補正信号を生成する処理の一例について説明する。
図６は、本実施形態のフレームの構成の一例を示す模式図である。上述において、図２を参照してフレームと時刻との関係について説明した。ここでは、図６を参照して、フレーム長ＦＬと、フレームシフトＦＲＳと、フレーム間のオーバーラップＦＷとの関係について説明する。この図６において横軸は時間を、縦軸は各フレームの窓関数の大きさの量を示す。図６に示すように、フレームｋ−３〜フレームｋ＋３の各フレームは、フレーム長ＦＬの大きさがＬ１である。また、フレームｋ−３〜フレームｋ＋３の各フレームは、フレームシフトＦＲＳの大きさがＬ１／２である。したがって、フレームｋ−３〜フレームｋ＋３の各フレームは、隣接するフレーム間のオーバーラップＦＷの大きさがＬ１／２である。これらのフレームｋ−３〜フレームｋ＋３のうち、フレームｋにおいて音信号にノイズが混入した場合のノイズ低減処理について、図７を参照して説明する。

図７は、本実施形態の音補正処理部１２０によるノイズ低減の波形の一例を示す波形図である。図７において、横軸は時間を示す。図７（ａ）において、縦軸は各フレーム間の窓関数の大きさの量を示す。図７（ｂ）（ｃ）において、各縦軸は時間領域信号の値を示す。以下、フレームｋにおいてノイズＮ１が音信号に混入した場合を一例にして説明する。

ここで、ノイズ期間ＰｒＮとは、音信号において所定のノイズが含まれる期間である。図７（ａ）（ｂ）に示すように、フレームｋにおいて音信号にノイズＮ１が混入している場合、ノイズ期間ＰｒＮとは、フレームｋの前後のフレームを含む期間である。この例においては、フレームｋ−１〜フレームｋ＋１を含む期間が、ノイズ期間ＰｒＮである。ここで時間領域信号Ｗ１とは、ノイズ期間ＰｒＮにおける音信号の時間領域信号である（図７（ｂ）を参照。）。この時間領域信号Ｗ１とは、第１信号の一例である。

ノイズ低減部１１５は、時間領域信号Ｗ１から、推定ノイズの信号を減算する。より具体的には、ノイズ低減部１１５は、時間領域信号Ｗ１の周波数領域信号から、推定ノイズの周波数領域信号を減算する。また、推定ノイズの時間領域信号とは、上述した既知の方法によって推定された時間領域信号であり、ノイズＮ１を低減するための時間領域信号である。これにより、ノイズＮ１が低減される。このノイズＮ１が低減された信号を時間領域に変換した信号が時間領域信号Ｗ１’であり、その一例を図７（ｃ）に示す。ここでノイズ低減部１１５が、ノイズＮ１を低減する場合に、時間領域信号Ｗ１に含まれるノイズ以外の成分も低減することがある。具体的には、上述したように、推定ノイズスペクトルＮＳに少なくとも所定のノイズ（例えば、動作部が動作することにより生じるノイズ）以外の音信号の周波数スペクトルが含まれているような場合には、所定のノイズ以外の環境音の音信号も減算されることがある。この場合には、環境音の劣化が生じることがある。図７（ｃ）の時間領域信号Ｗ１’は、環境音の劣化が生じた時間領域信号の一例である。そこで、加算部１２８は、環境音の劣化が生じた時間領域信号に擬似的な環境音を加算することにより、環境音の劣化を低減する。

図８は、本実施形態の補正信号生成部１２１が生成する信号の一例を示す模式図である。この図８において、横軸は時間を示す。図８（ａ）において、縦軸は各フレームの窓関数の大きさの量を示す。図８（ｂ）（ｃ）において、各縦軸は時間領域信号の値を示す。加算部１２８は、時間領域信号Ｗ１’の周波数領域信号と、フレームごとに擬似的な環境音の周波数領域信号とを加算する。ここでは、加算部１２８が、フレームｋ−１とフレームｋとにおいて擬似的な環境音を加算する場合を一例にして説明する。加算部１２８は、フレームｋ−１において擬似的な環境音Ｗ３−１（図８（ｂ−３））の周波数領域信号と、時間領域信号Ｗ１’の周波数領域信号とを加算する。また、加算部１２８は、フレームｋにおいて擬似的な環境音Ｗ３−２（図８（ｃ−３））の周波数領域信号と、時間領域信号Ｗ１’の周波数領域信号とを加算する。この擬似的な環境音Ｗ３−１、および擬似的な環境音Ｗ３−２とは、第２信号の一例である。換言すれば、補正信号生成部１２１は、減算部１１５によって減算された第１信号に加算される第２信号を生成する。すなわち、補正信号生成部１２１（生成部）は、第１信号の複数の期間のうち、互いの一部の期間が重複する第１期間と第２期間とについて、第１期間の第２信号と、第２期間の第２信号とをそれぞれ生成する。なお、以下の説明において、擬似的な環境音Ｗ３の周波数領域信号を、イコライジング後の補正信号Ｗ３とも記載する。次に、擬似乱数信号生成部１２２および補正信号生成部１２１が、これらの擬似的な環境音Ｗ３−１および擬似的な環境音Ｗ３−２を生成する仕組みについて説明する。

擬似乱数信号生成部１２２は、補正元信号を生成する。この補正元信号とは、擬似的な環境音を生成するための擬似乱数信号列に基づく信号である。具体的には、図８（ｂ−１）（ｃ−１）に示すように、擬似乱数信号生成部１２２は、フレームｋ−１に対する補正元信号Ｗ２−１と、フレームｋに対する補正元信号Ｗ２−２とを生成する。このフレームｋ−１とは、第１期間Ｐｒ１の一例である。また、フレームｋとは第２期間Ｐｒ２の一例である。すなわち、ノイズ期間ＰｒＮには、互いの一部の期間が重なる期間Ｐｒ１と第２期間Ｐｒ２とが含まれる。

次に、補正信号生成部１２１が周波数領域信号を生成する仕組みについて説明する。補正信号生成部１２１は、図８（ｂ−１）に示す第１期間Ｐｒ１の補正元信号Ｗ２−１に対して窓関数を適用して、図８（ｂ−２）に示す窓掛け後の補正信号Ｗ２’−１を生成する。また、補正信号生成部１２１は、窓掛け後の補正信号Ｗ２’−１に対して周波数領域変換およびイコライジングを行い、イコライジング後の補正信号Ｗ３−１を生成する。このイコライジング後の補正信号Ｗ３−１を時間領域に逆変換した信号波形を図８（ｂ−３）に示す。このイコライジング後の補正信号Ｗ３−１とは、第２信号の一例である。

また、補正信号生成部１２１は、図８（ｃ−１）に示す第２期間Ｐｒ２の補正元信号ＷＷ２−２に対して窓関数を適用して、図８（ｃ−２）に示す窓掛け後の補正信号Ｗ２’−２を生成する。また、補正信号生成部１２１は、窓掛け後の補正信号Ｗ２’−２に対して周波数領域変換およびイコライジングを行い、イコライジング後の補正信号Ｗ３−２を生成する。このイコライジング後の補正信号Ｗ３−２を時間領域に逆変換した信号波形を図８（ｃ−３）に示す。このイコライジング後の補正信号Ｗ３−２とは、第２信号の一例である。また、補正信号生成部１２１は、第１期間Ｐｒ１、第２期間Ｐｒ２と同様にして、第３期間Ｐｒ３のイコライジング後の補正信号Ｗ３−３を生成する。

すなわち、補正信号生成部１２１（生成部）は、第１期間Ｐｒ１の時間領域信号Ｗ１’を補正する補正信号Ｗ３−１（第１期間の第２信号）と、第２期間Ｐｒ２の時間領域信号Ｗ１’を補正する補正信号Ｗ３−２（第２期間の第２信号）とをそれぞれ生成する。

次に、図９を参照して、加算部１２８が各周波数領域信号を加算して、ノイズ低減後の周波数領域信号を補正する仕組みについて説明する。
図９は、本実施形態の加算部１２８が信号を加算した波形の一例を示す模式図である。この図９において、横軸は時間を示す。図９（ａ）において、縦軸は各フレームの窓関数の大きさの量を示す。図９（ｂ）〜（ｆ）において、各縦軸は信号の値を示す。上述したように、補正信号生成部１２１は、第１期間Ｐｒ１〜第３期間Ｐｒ３について、イコライジング後の補正信号Ｗ３−１、Ｗ３−２、Ｗ３−３をそれぞれ生成する（図９（ｂ））。

ここで、振幅補正部１２６は、図９（ｄ）に示す振幅補正信号Ｗ４により、加算部１２８による加算後の時間領域信号Ｗ１’’の振幅を補正する。この振幅補正信号Ｗ４は、時間領域信号Ｗ１’に加算される補正信号Ｗ３−１の振幅と補正信号Ｗ３−２の振幅との割合に基づいて生成されている。すなわち、振幅補正部１２６は、時間領域信号Ｗ１’に加算される補正信号Ｗ３−１の振幅と補正信号Ｗ３−２の振幅との割合に基づいて、加算後の時間領域信号Ｗ１’’の振幅を補正して、時間領域信号Ｗ１’’’を生成する。
なお、ここでは、振幅補正部１２６は、加算後の時間領域信号Ｗ１’’の振幅を補正するとして説明したがこれに限られない。振幅補正部１２６は、加算前の各信号の振幅を補正してもよい。具体的には、振幅補正部１２６は、補正元信号Ｗ２−１および補正元信号Ｗ２−２の振幅を補正してもよい。また、振幅補正部１２６は、窓掛け後の補正信号Ｗ２’−１および窓掛け後の補正信号Ｗ２’−２の振幅を補正してもよい。また、振幅補正部１２６は、補正信号Ｗ３−１および補正信号Ｗ３−２の振幅を補正してもよい。すなわち、振幅補正部１２６（補正部）は、第１信号、および生成された第２信号のうち、少なくとも一方の信号の振幅を補正する。より具体的には、振幅補正部１２６（補正部）は、第１信号、生成された第１期間の第２信号、および第２期間の第２信号のうち、少なくとも一の信号の振幅を補正する。この振幅補正信号Ｗ４について詳細に説明する。

上述したように、各フレームは、隣接するフレームどうしが各フレーム長ＦＬの半分の大きさのオーバーラップＦＷぶんずつ重なっている。例えば、図９（ａ）に示すように第１期間Ｐｒ１の後半部分と、第２期間Ｐｒ２の前半部分とは互いに重なっている。したがって、第１期間Ｐｒ１と第２期間Ｐｒ２とが互いに重なる重複期間ＰｒＤ１２とすれば、第１期間Ｐｒ１の後半部分と、第２期間Ｐｒ２の前半部分が重複期間ＰｒＤ１２になる。

イコライジング後の補正信号Ｗ３−１と、イコライジング後の補正信号Ｗ３−２とは、いずれも上述した窓関数が適用されているため、その振幅が連続的に変化する。また、重複期間ＰｒＤ１２においては、イコライジング後の補正信号Ｗ３−１の振幅と、イコライジング後の補正信号Ｗ３−２の振幅との割合が連続的に変化する。具体的には、図９に示す時刻ｔ１においては、イコライジング後の補正信号Ｗ３−１の振幅の割合が１００％であり、イコライジング後の補正信号Ｗ３−２の振幅の割合が０％である。また、図９に示す時刻ｔ２においては、イコライジング後の補正信号Ｗ３−１の振幅の割合が５０％であり、イコライジング後の補正信号Ｗ３−２の振幅の割合が５０％である。また、図９に示す時刻ｔ３においては、イコライジング後の補正信号Ｗ３−１の振幅の割合が０％であり、イコライジング後の補正信号Ｗ３−２の振幅の割合が１００％である。

振幅補正信号Ｗ４は、イコライジング後の補正信号Ｗ３−１の振幅と、イコライジング後の補正信号Ｗ３−２の振幅との割合に基づいて、その補正量が変化するようにして生成されている。具体的には、イコライジング後の補正信号Ｗ３−１の振幅の割合が１００％であり、イコライジング後の補正信号Ｗ３−２の振幅の割合が０％である場合（例えば、時刻ｔ１の場合）には、補正量が少なくなるように生成されている。また、振幅補正信号Ｗ４は、イコライジング後の補正信号Ｗ３−１の振幅の割合が５０％であり、イコライジング後の補正信号Ｗ３−２の振幅の割合が５０％である場合（例えば、時刻ｔ２の場合）には、補正量が多くなるように生成されている。また、イコライジング後の補正信号Ｗ３−１の振幅の割合が０％であり、イコライジング後の補正信号Ｗ３−２の振幅の割合が１００％である場合（例えば、時刻ｔ３の場合）には、補正量が少なくなるように生成されている。

すなわち、振幅補正信号Ｗ４は、時間領域信号Ｗ１’に加算される補正信号Ｗ３−１の割合と補正信号Ｗ３−２の割合との差が大きい場合（例えば、時刻ｔ１または時刻ｔ３の場合）には、補正量が少なくなるように生成されている。また、振幅補正信号Ｗ４は、時間領域信号Ｗ１’に加算される補正信号Ｗ３−１の割合と補正信号Ｗ３−２の割合との差が小さい場合（例えば、時刻ｔ２の場合）には、補正量が多くなるように生成されている。すなわち、振幅補正部１２６は、時間領域信号Ｗ１’に加算される補正信号Ｗ３−１の割合と補正信号Ｗ３−２の割合との差に基づいて、加算後の時間領域信号Ｗ１’’の振幅を補正する。また、振幅補正部１２６は、時間領域信号Ｗ１’に加算される補正信号Ｗ３−１の割合と補正信号Ｗ３−２の割合との差が小さいほど振幅の補正量を多くして、加算後の時間領域信号Ｗ１’’の振幅を補正する。

ここで、補正信号Ｗ３−２の振幅との割合とは、補正信号Ｗ３−１の振幅の移動平均値と、補正信号Ｗ３−２の振幅の移動平均値との割合である。すなわち、振幅補正部１２６は、時間領域信号Ｗ１’に加算される補正信号Ｗ３−１（第２信号）の振幅の移動平均値と、補正信号Ｗ３−２の振幅の移動平均値との割合に基づいて、加算後の時間領域信号Ｗ１’’の振幅を補正する。

振幅補正部１２６は、加算後の時間領域信号Ｗ１’’の振幅を振幅補正信号Ｗ４（図９（ｄ）を参照。）により補正して、時間領域信号Ｗ１’’’を生成する（図９（ｅ）を参照。）。

このようして生成された時間領域信号Ｗ１’’’を音信号に変換した後の振幅波形（移動平均振幅波形）Ｗ５を、図９（ｆ）に示す。ノイズ期間ＰｒＮとそれ以外の期間とにおいてこの振幅波形Ｗ５の振幅の差が少ない場合には、適切にノイズ低減が行われていることを示している。ここで、時間領域信号Ｗ１’’の振幅を補正せずに、つまり、振幅補正後の時間領域信号Ｗ１’’’を生成せずに、補正信号を生成した場合について、図１０を参照して説明する。

図１０は、補正元信号によるノイズ低減結果の一例を示す模式図である。上述したように、本実施形態の振幅補正部１２６は、補正信号Ｗ３−１の振幅と補正信号Ｗ３−２の振幅との割合に基づいて振幅を補正した時間領域信号Ｗ１’’’を生成した。
一方、この補正元信号によるノイズ低減の方法においては、振幅補正部１２６による振幅の補正を行うことなく、つまり、振幅補正後の時間領域信号Ｗ１’’’を生成せずに、時間領域信号Ｗ６を生成する（図１０（ｂ）を参照。）。

この時間領域信号Ｗ６を音信号に変換した後の振幅波形（移動平均振幅波形）Ｗ７を、図１０（ｃ）に示す。この振幅波形Ｗ７と、図９（ｆ）に示した振幅波形Ｗ５とを比較すると、図１０の破線Ａ１〜Ａ４で示す期間において、振幅波形Ｗ７の方が振幅の差が大きいことがわかる。以下、補正元信号によってノイズを低減する場合に、振幅波形Ｗ７の振幅の差が大きくなる理由について説明する。

補正信号Ｗ３−１および補正信号Ｗ３−２は、互いに相関性の低い疑似乱数系列に基づいて、それぞれ生成される。ここで、補正信号Ｗ３−１と補正信号Ｗ３−２とを加算することは、相関性の低い２つの疑似乱数系列を加算することである。相関性の低い２つの疑似乱数系列どうしを加算した結果と、元の疑似乱数系列とを比較することにより、振幅波形Ｗ５の振幅の差よりも、振幅波形Ｗ７の振幅の差の方が大きくなることが次のように説明できる。

ここで、乱数ａと乱数ｂとは、いずれも時間的にランダムな値（ここでは、−１〜１の間の値）をとる、互いに相関性の低い変数である。また、乱数ａに対して所定の重み付けを行う値を重みＷａとし、乱数ｂに対して所定の重み付けを行う値を重みＷｂとする。この乱数ａと乱数ｂとを加算した場合の移動平均値の振幅の差を求める。
まず、乱数ａに対して重みＷａによって重み付けした値Ｗａ・ａの絶対値｜Ｗａ・ａ｜の期待値＜｜Ｗａ・ａ｜＞は、式（２）によって求められる。

次に、乱数ａと乱数ｂとを加算した結果の絶対値を求める。ここで、乱数ａの重みを重みＷＴ１とし、乱数ｂの重みを重みＷＴ２とする。ここで、重みＷＴ１および重みＷＴ２とは、例えば、ハニング関数またはハミング関数などの窓関数による重みである。この場合、乱数ａと乱数ｂとを加算した結果の絶対値の期待値は、期待値＜｜ＷＴ１・ａ＋ＷＴ２・ｂ｜＞と表すことができる。この期待値＜｜ＷＴ１・ａ＋ＷＴ２・ｂ｜＞は、ＷＴ１≧ＷＴ２の場合、式（３）によって求められる。

ここで、式（２）の結果と式（３）の結果とを比較する。例えば、重みＷＴ１＋重みＷＴ２＝重みＷａとし、重みＷＴ１＝重みＷＴ２＝１／２である場合についての比較結果を、式（４）〜式（６）に示す。

すなわち、乱数ａと乱数ｂとを加算した場合の期待値は、乱数ａの期待値よりも小さい値をとることが示される。なお、重みＷＴ１＋重みＷＴ２＝重みＷａ、重みＷＴ１＞０、重みＷＴ２＞０、重みＷａ＞０である場合には、期待値＜｜ＷＴ１・ａ＋ＷＴ２・ｂ｜＞が最小となる重みＷＴ１とは、重みＷＴ１＝重みＷａ／２である。この場合、期待値＜｜ＷＴ１・ａ＋ＷＴ２・ｂ｜＞＝重みＷａ／３である。

この式（２）〜（６）が示すように、相関性の低い乱数どうしを加算すると、元の乱数が取り得る振幅よりも、加算後の値が取り得る振幅の方が小さくなることがある。再び図１０を参照すると、補正信号Ｗ３−１と補正信号Ｗ３−２は、いずれも相関性の低い疑似乱数系列に基づいて生成されている。したがって、補正信号Ｗ３−１と補正信号Ｗ３−２とを加算すると、図１０（ｅ）の破線Ａ１〜Ａ４で示す期間における振幅波形Ｗ７に示すように、振幅が他の部分よりも小さくなる部分が生じる。

一方、本実施形態の振幅補正部１２６は、補正信号Ｗ３−１の振幅と補正信号Ｗ３−２の振幅との割合に基づいて、加算後の時間領域信号Ｗ１’’の振幅を補正する。ここで、振幅補正部１２６は、元の乱数が取り得る振幅よりも、加算後の値が取り得る振幅の方が小さく期間において、補正量を多くして振幅を補正する。具体的には、式（７）に示す補正式に基づく補正量によって、信号の振幅を補正する。

この式（７）において、値ＷＡは、補正信号Ｗ３−１の振幅の割合を、値ＷＢは、補正信号Ｗ３−２の振幅の割合をそれぞれ示す。また、式（７）において、値ＷＣは、値ＷＡと値ＷＢとの和が常に１になるように正規化した場合の、加算後の信号の振幅を示す。

つまり、振幅補正部１２６は、相関性の低い乱数どうしを加算した場合に、加算後の値の振幅が小さくなる部分について、その振幅が大きくなるようにして、振幅を補正する。これにより、振幅補正部１２６は、相関性の低い乱数どうしを加算した場合における、加算後の値が取り得る振幅の変化量を少なくすることができる。加算部１２８は、このようにして振幅が補正された補正信号Ｗ３−１と補正信号Ｗ３−２とを加算する。これにより、信号処理装置１００は、加算後の音信号の振幅波形Ｗ５の振幅の変化を低減することができる。

以上説明したように、本実施形態の信号処理装置１００は、振幅補正部１２６を備えている。この振幅補正部１２６は、補正信号Ｗ３−１の振幅と補正信号Ｗ３−２の振幅との割合に基づいて、加算後の時間領域信号Ｗ１’’の振幅を補正する。これにより、本実施形態の信号処理装置１００は、音信号に含まれているノイズを適切に低減することができる。

［変形例］
以下、再び、図１から図５を参照し、上述した第１実施形態における変形例について説明する。
上述した図１において、振幅補正部１２６は、加算部１２８が加算した後の信号の振幅を補正しているが、これに限られない。具体的には、振幅補正部１２６は、加算部１２８が加算する前の信号の振幅を補正することによっても、加算後の音信号の振幅波形Ｗ５の振幅の変化を低減することができる。すなわち、振幅補正部１２６（補正部）は、第１信号、および生成された第２信号のうち、少なくとも一方の信号の振幅を補正する構成であってもよい。

（環境音特徴スペクトルの推定方法）
上述の図２および図４を用いた説明においては、環境音特徴スペクトル推定部１１３が、フレーム番号４３における音信号の周波数スペクトルを環境音特徴スペクトルＦＳとして推定するものとして説明した。しかし、環境音特徴スペクトル推定部１１３による環境音特徴スペクトルの推定方法は、これに限られるものではない。

例えば、環境音特徴スペクトル推定部１１３は、動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号の周波数スペクトルそれぞれを周波数ビン毎に平均した周波数スペクトルを、環境音特徴スペクトルＦＳとして推定してもよい。

また、環境音特徴スペクトル推定部１１３は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、環境音特徴処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。

また、環境音特徴スペクトル推定部１１３は、動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号の周波数スペクトルの周波数ビン毎のそれぞれの最大値または最小値となる周波数スペクトルを、環境音特徴スペクトルＦＳとして推定してもよい。

また、環境音特徴スペクトル推定部１１３は、動作部が動作するタイミングに基づいて、動作部が動作したタイミングの後のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルＦＳとして推定してもよい。また、環境音特徴スペクトル推定部１１３は、動作部が動作したタイミングの後の複数フレームにおける音信号の周波数スペクトルに基づいて、環境音特徴スペクトルＦＳを推定してもよい。
なお、環境音特徴スペクトル推定部１１３は、環境音特徴スペクトルＦＳを推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、環境音特徴スペクトルＦＳを推定することが望ましい。これは、環境音特徴スペクトルＦＳとしては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、環境音特徴スペクトルＦＳを生成する音信号のフレームが、環境音特徴処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対しての環境音特徴スペクトルＦＳとしての適切さも低減するからである。

また、環境音特徴スペクトル記憶部１６１に予め環境音特徴スペクトルＦＳが記憶されていてもよい。例えば、環境音特徴スペクトル記憶部１６１には、収音する装置（例えば撮像装置）が収音（撮影）する場合の周囲の音の状況を示す環境情報、または、撮影モードを示す撮影モード情報と関連付けられて、それぞれの場合に応じた環境音特徴スペクトルＦＳが予め記憶されていてもよい。そして、信号処理部１１０は、ユーザにより選択された環境情報または撮影モード情報に関連付けられている環境音特徴スペクトルＦＳを環境音特徴スペクトル記憶部１６１から読み出し、当該読み出した環境音特徴スペクトルＦＳに基づいて、上述の図２、図４、または図５の説明において説明したノイズ低減処理を実行してもよい。

また、ノイズ低減処理を行う信号を揮発性メモリ（不図示）などに記憶させた場合には、発生していたノイズが消失した後の情報に基づいて、環境音特徴スペクトルＦＳを算出することも可能となる。

（図２のフレーム番号４７以降に対しての処理について）
上述の図２から図５を用いた説明においては、信号処理部１１０が、フレーム番号４６の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部１１０は、フレーム番号４６の音信号の場合と同様に、フレーム番号４６よりも後の音信号であるフレーム番号４７以降の音信号に対しても、ノイズ低減処理することができる。

（ノイズの推定について）
また、上述の図２から図５を用いた説明においては、ノイズ推定部１１４が、フレーム番号４６における音信号の周波数スペクトルＳ４６（図４（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわち環境音特徴スペクトルＦＳ）（図４（ａ）参照）を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部１１４が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。

まず、ノイズ推定部１１４は、フレーム番号４３における音信号の周波数スペクトルである環境音特徴スペクトルＦＳに代えて、上記に説明した環境音特徴スペクトル推定部１１３が環境音特徴スペクトルＦＳを推定する場合の任意の方法により推定された環境音特徴スペクトルＦＳを用いることができる。

また、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６に代えて、タイミング検出部９１により検出された動作部が動作するタイミングに基づいて、動作部が動作しているタイミングにおける複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。例えば、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６に代えて、フレーム４６、４７という複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。

また、ノイズ推定部１１４は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、環境音特徴処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。また、ノイズ推定部１１４は、周波数スペクトルＳ４６に代えて、動作部が動作しているタイミングにおける複数のフレームの周波数スペクトルの周波数ビン毎の最大値または最小値となる周波数スペクトルを用いてもよい。なお、環境音特徴スペクトルＦＳの場合と同様に、ノイズの周波数スペクトルが、ノイズ記憶部１６２に予め記憶されていてもよい。

（擬似乱数信号のイコライズについて）
また、上述の図５の説明においては、イコライズ部１２４が、擬似乱数信号の周波数スペクトルＲＮを、フレーム番号４３における音信号の周波数スペクトル（すなわち環境音特徴スペクトルＦＳ）を用いてイコライズするものとして説明した。しかし、イコライズ部１２４が擬似乱数信号の周波数スペクトルＲＮをイコライズする方法は、これに限られるものではない。

例えば、イコライズ部１２４は、フレーム番号４３における音信号の周波数スペクトルである環境音特徴スペクトルＦＳに代えて、上記に説明した環境音特徴スペクトル推定部１１３が環境音特徴スペクトルＦＳを推定する場合の任意の方法により推定された環境音特徴スペクトルＦＳを用いることができる。

すなわち、イコライズ部１２４は、動作部が動作するタイミングの前の複数のフレームの周波数スペクトルの周波数ビン毎の平均値、最大値、または最小値とした環境音特徴スペクトルＦＳを用いて、擬似乱数信号の周波数スペクトルＲＮをイコライズしてもよい。
また、イコライズ部１２４は、動作部が動作したタイミングの後のフレームの周波数スペクトルに基づいて推定した環境音特徴スペクトルＦＳを用いて、擬似乱数信号の周波数スペクトルＲＮをイコライズしてもよい。例えば、イコライズ部１２４は、動作部が動作したタイミングの後の複数のフレームの周波数スペクトルの周波数ビン毎の平均値、最大値、または最小値とした環境音特徴スペクトルＦＳを用いて、擬似乱数信号の周波数スペクトルＲＮをイコライズしてもよい。また、イコライズ部１２４は、擬似乱数信号の周波数スペクトルＲＮを、予め定められた環境音特徴スペクトルＦＳを用いてイコライズしてもよい。

なお、上述の図２、図４、および図５を用いた説明においては、（ａ）動作部が動作するタイミングを示す信号とは無関係に、音信号がフレームに分割されている場合について説明した（図２（ｃ）参照）。

しかしこれに限られるものではなく、信号処理部１１０は、（ａ）動作部が動作するタイミングを示す信号に応じてフレームを分割する位置を制御してもよい。例えば、信号処理部１１０は、（ａ）動作部が動作するタイミングを示す信号がロウレベルからハイレベルに変化するタイミング（図２の符号Ｏ参照）と、音信号のフレームの境界とが一致するように、音信号に対してフレームを生成してもよい。

そして、信号処理部１１０は、動作部が動作するタイミングを示す信号に応じて、動作部が動作する前の期間と、動作部が動作している期間とに基づいて、上述したノイズ低減処理を実行してもよい。

＜ノイズ低減処理の動作＞
次に、図１１を参照して、本実施形態におけるノイズ低減処理の動作について説明する。図１１は、第１実施形態におけるノイズ低減処理の一例を示すフローチャートである。

まず、信号処理部１１０は、記憶媒体から音信号を読み出す。読み出した音信号は、信号処理部１１０の第１変換部１１１に入力される（ステップＳ１１）。

次に、第１変換部１１１は、入力された音信号を周波数領域信号に変換する。例えば、第１変換部１１１は、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する（ステップＳ１２）。

次に、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する。すなわち、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれる期間のフレームであるか否か（所定のノイズが混入しているか否か）を判定する（ステップＳ１３）。

環境音特徴スペクトル推定部１１３は、入力された音信号の各フレームのうち、所定のノイズが含まれない期間のフレームであると判定された（ステップＳ１３：ＮＯ）フレームの音信号の周波数スペクトルに基づいて、環境音特徴スペクトルＦＳ（環境音の周波数スペクトル、図５（ｂ）参照）を推定する（ステップＳ１４）。

一方、ノイズ推定部１１４は、入力された音信号の各フレームのうち、所定のノイズが含まれる期間のフレームであると判定された（ステップＳ１３：ＹＥＳ）フレームの音信号の周波数スペクトルＳＢ（図５（ａ）参照）と、環境音特徴スペクトルＦＳとに基づいて、ノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）を推定する。例えば、ノイズ推定部１１４は、所定のノイズが含まれる期間のフレームの音信号の周波数スペクトルＳＢから環境音特徴スペクトルＦＳを周波数ビン毎に減算することにより、推定ノイズスペクトルＮＳを生成する（ステップＳ１５）。

続いて、ノイズ低減部１１５は、周波数スペクトルＳＢから、ノイズ推定部１１４により推定された推定ノイズスペクトルＮＳを、周波数ビン毎（周波数成分毎）に減算する（ステップＳ１６）。例えば、ノイズ低減部１１５は、周波数ビン毎に周波数スペクトルＳＢと環境音特徴スペクトルＦＳとを比較し、周波数スペクトルＳＢの強度が環境音特徴スペクトルＦＳの強度以下の周波数ビンについてのみ、推定ノイズスペクトルＮＳを減算する（図５（ｄ）参照）。

一方、擬似乱数信号生成部１２２は、擬似乱数信号列を生成する。このとき、擬似乱数信号生成部１２２は、第１期間Ｐｒ１の第１補正元信号を生成する。また、擬似乱数信号生成部１２２は、第２期間Ｐｒ２の第２補正元信号を生成する（ステップＳ１９）。

次に、擬似乱数信号生成部１２２は、第１期間Ｐｒ１と第２期間Ｐｒ２とが重複する期間の第１補正元信号を置換する。具体的には、擬似乱数信号生成部１２２は、ステップＳ１９において生成した第１補正元信号について、第１期間Ｐｒ１の後半分の期間の信号を、第２期間Ｐｒ２の前半分の期間の第２補正元信号と置換する（ステップＳ２０）。次に、擬似乱数信号生成部１２２は、生成した第１補正元信号および第２補正元信号に対して窓関数を適用して、窓掛け後の補正信号を生成する（ステップＳ２１）。

なお、ここでは、第１補正元信号と第２補正元信号とを生成した後に、重複する期間の信号を置換する手順によって補正元信号を生成する例を説明したが、これに限られない。擬似乱数信号生成部１２２は、第１期間Ｐｒ１の第１補正元信号を生成した後に、第１期間Ｐｒ１の後半分の期間の信号に基づいて第２期間Ｐｒ２の前半分の期間の第２補正元信号を生成し、第２期間Ｐｒ２の後半分の期間の第２補正元信号を生成してもよい。

次に、第２変換部１２３は、擬似乱数信号生成部１２２により生成された窓掛け後の補正信号を周波数領域信号に変換する。例えば、第１変換部１１１は、窓掛け後の補正信号をフレームに分割し、分割した各フレームの窓掛け後の補正信号をフーリエ変換し、各フレームにおける窓掛け後の補正信号の周波数スペクトルＲＮ（図５（ｃ）参照）を生成する（ステップＳ２２）。

次に、イコライズ部１２４は、擬似乱数信号の周波数スペクトルＲＮを、環境音特徴スペクトルＦＳを用いてイコライズすることにより、補正信号の周波数スペクトルＳＥ（図５（ｅ）参照）を生成する（ステップＳ２３）。

また、周波数抽出部１２５は、補正信号の周波数スペクトルＳＥのうち、加算部１２８において加算対象とする周波数ビンの周波数スペクトルＳＤを抽出する。すなわち、周波数抽出部１２５は、補正信号の周波数スペクトルＳＥから、加算対象の周波数ビンの補正信号の周波数スペクトルＳＤを抽出する（ステップＳ２４）。例えば、周波数抽出部１２５は、ステップＳ１６においてノイズ低減部１１５が推定ノイズスペクトルＮＳを減算した周波数ビンを加算対象の周波数ビンとして選択し、選択した周波数ビンの周波数スペクトルＳＤを抽出する。

次に、加算部１２８は、ステップＳ１６において周波数スペクトルＳＢから推定ノイズスペクトルＮＳが減算された周波数スペクトルＳＣ（図５（ｄ）参照）に、ステップＳ２４において抽出された周波数スペクトルＳＤを加算する（ステップＳ２５）。

次に、振幅補正部１２６は、ステップＳ２５において加算された周波数スペクトルＳＤの振幅を補正する（ステップＳ２６）。

続いて、逆変換部１１６は、周波数スペクトルＳＣに周波数スペクトルＳＤを加算した周波数スペクトルを逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する（ステップＳ２７）。そして、信号処理部１１０は、ノイズ低減処理後の時間領域の音信号を出力する（ステップＳ２８）。

［第２実施形態］
次に、第２実施形態を説明する。第２実施形態は、上述の信号処理装置１００を備えている撮像装置１の例である。

図１２は、本発明の第２実施形態に係る撮像装置１の構成の一例を示す概略ブロック図である。なお、この図１２において図１の各部に対応する構成には同じ符号を付してその説明を省略する。

撮像装置１は、撮像部１０と、ＣＰＵ（Central processing unit）９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部６０と、バッファメモリ部３０と、通信部７０と、マイク２１と、Ａ／Ｄ（Analog/Digital）変換部２２と、音信号処理部２３と、信号処理部１１０と、バス３００と、を備えている。この撮像装置１が備える構成のうち、信号処理部１１０と、記憶部６０の一部とが、信号処理装置１００に対応する。

撮像部１０は、光学系１１と、撮像素子１９と、Ａ/Ｄ変換部２０とを含み、設定された撮像条件（例えば絞り値、露出値など）に従ってＣＰＵ９０により制御され、光学系１１による光学像を撮像素子１９に結像させて、Ａ/Ｄ変換部２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。

光学系１１は、ズームレンズ１４と、ＶＲレンズ１３と、ＡＦレンズ１２と、ズームエンコーダ１５と、レンズ駆動部１６と、ＡＦエンコーダ１７と、防振制御部１８と、を備える。

この光学系１１は、ズームレンズ１４、ＶＲレンズ１３、および、ＡＦレンズ１２を通過した光学像を撮像素子１９の受光面に導く。

レンズ駆動部１６は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ズームレンズ１４またはＡＦレンズ１２の位置を制御する。

防振制御部１８は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ＶＲレンズ１３の位置を制御する。この防振制御部１８は、ＶＲレンズ１３の位置を検出していてもよい。

ズームエンコーダ１５は、ズームレンズ１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ９０に出力する。

ＡＦエンコーダ１７は、ＡＦレンズ１２の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをＣＰＵ９０に出力する。

なお、上述した光学系１１は、撮像装置１に取り付けられて一体とされていてもよいし、撮像装置１に着脱可能に取り付けられてもよい。

撮像素子１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部２０に出力する。

また、撮像素子１９は、操作部８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、記憶媒体２００に記憶させる。

一方、撮像素子１９は、例えば、操作部８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、ＣＰＵ９０および表示部５０に出力する。

Ａ/Ｄ変換部２０は、撮像素子１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。

操作部８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ９０に出力する。

画像処理部４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。

表示部５０は、例えば液晶ディスプレイであって、撮像部１０によって得られた画像データや、操作画面などを表示する。

記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件などを記憶する。

マイク２１は、音を収音し、収音した音に応じた音信号に変換する。この音信号は、アナログ信号である。

Ａ／Ｄ変換部２２は、マイク２１によって変換されたアナログ信号である音信号を、デジタル信号である音信号に変換する。

音信号処理部２３は、Ａ／Ｄ変換部２２が変換したデジタル信号である音信号に対して、記憶媒体２００に記憶させるための信号処理を実行する。また、音信号処理部２３は、動作部が動作するタイミングを示す情報を、音信号に対応付けて記憶媒体２００に記憶させる。この動作部が動作するタイミングを示す情報は、例えば、後述するタイミング検出部９１が検出した情報である。
なお、音信号処理部２３が記憶媒体２００に記憶させる音信号は、例えば、動画に関連づけて記憶される音の音信号、記憶媒体２００に記憶されている静止画像に対して音声を付加するために録音された音の音信号、ボイスレコーダとして録音された音の音信号、などである。

バッファメモリ部３０は、撮像部１０によって撮像された画像データや、音信号処理部２３により信号処理された音信号や情報などを、一時的に記憶する。

通信部７０は、カードメモリなどの取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置１に対して着脱可能に接続される記憶部であって、例えば、撮像部１０によって生成された（撮影された）画像データや、音信号処理部２３により信号処理された音信号や情報を記憶する。

ＣＰＵ９０は、撮像装置１の全体を制御するが、一例としては、ズームエンコーダ１５から入力されるズームポジション、および、ＡＦエンコーダ１７から入力されるフォーカスポジションと、操作部８０から入力される操作入力に基づいて、ズームレンズ１４およびＡＦレンズ１２の位置を制御する駆動制御信号を生成する。ＣＰＵ９０は、この駆動制御信号に基づいて、レンズ駆動部１６を介してズームレンズ１４およびＡＦレンズ１２の位置を制御する。

また、このＣＰＵ９０は、タイミング検出部９１を備えている。このタイミング検出部９１は、撮像装置１が備えている動作部が動作するタイミングを検出する。

ここでいう動作部とは、一例としては、上述したズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２、または、操作部８０のことであり、撮像装置１が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。

また、この動作部とは、撮像装置１が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２１により収音される（または、収音される可能性のある）構成である。

このタイミング検出部９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部の動作を制御する制御信号、または、この動作部（例えば、ズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２など）を駆動する駆動部（例えば、レンズ駆動部１６、防振制御部１８）を制御する駆動制御信号である。

例えば、タイミング検出部９１は、ズームレンズ１４、ＶＲレンズ１３、または、ＡＦレンズ１２を駆動させるためにレンズ駆動部１６または防振制御部１８に入力される駆動制御信号に基づいて、または、ＣＰＵ９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ９０が駆動制御信号を生成する場合に、タイミング検出部９１は、ＣＰＵ９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部９１は、操作部８０から入力されるズームレンズ１４、または、ＡＦレンズ１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

また、このタイミング検出部９１は、動作部が動作したことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

例えば、タイミング検出部９１は、ズームエンコーダ１５またはＡＦエンコーダ１７の出力に基づいて、ズームレンズ１４またはＡＦレンズ１２が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部９１は、防振制御部１８からの出力に基づいて、ＶＲレンズ１３が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部９１は、操作部８０からの入力に基づいて、操作部８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。

そして、タイミング検出部９１は、撮像装置１が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、音信号処理部２３に出力する。

バス３００は、撮像部１０と、ＣＰＵ９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部１６０と、バッファメモリ部３０と、通信部７０と、音信号処理部２３とに接続され、各部から出力されたデータや制御信号などを転送する。

記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件などを記憶するとともに、例えば、図１における記憶部１６０が備えている環境音特徴スペクトル記憶部１６１と、ノイズ記憶部１６２と、ノイズ低減処理情報記憶部１６３とを備えていてもよい。

このように構成された撮像装置１は、記憶媒体２００に記憶されている音信号に対して、第１実施形態、第２実施形態、または、第３実施形態を用いて説明したノイズ低減処理を実行することができる。ここで、記憶媒体２００に記憶されている音信号は、撮像装置１が収音して記録した音信号であってもよいし、他の撮像装置が収音して記録した音信号であってもよい。

これにより、撮像装置１は、音信号から所定のノイズを減算した際に、所定のノイズ以外の音信号までもが低減されてしまう場合であっても、その所定のノイズ以外の音の代わりとなる音信号を生成して加算することができる。例えば、撮像装置１は、音信号から所定のノイズを減算した際に、所定のノイズ以外の環境音に含まれる白色雑音のような音信号までもが低減されてしまう場合であっても、その白色雑音のような音信号の代わりになる音信号を擬似乱数信号から生成して加算することができる。

よって、撮像装置１は、所定のノイズ以外の音信号までもが低減されてしまうことにより（ノイズの過大減算となることにより）生じる音の劣化を抑制することができる。また、撮像装置１は、所定のノイズ以外の音信号までもが低減されてしまうことを懸念してノイズの過小減算となることを抑制するため、ノイズの残存が発生することを抑制することができる。
つまり、撮像装置１は、音信号に含まれているノイズを適切に低減することができる。

なお、撮像装置１が、記憶媒体２００に記憶されている音信号に対してのみ、上述した信号処理部１１０によるノイズ低減処理を実行することに限られるものではない。例えば、撮像装置１は、マイク２１により収音された音信号に対して信号処理部１１０によるノイズ低減を実行してから、処理後の音信号を記憶媒体２００に記憶させてもよい。すなわち、撮像装置１は、マイク２１により収音された音信号に対して、リアルタイムに信号処理部１１０によるノイズ低減を実行してもよい。

なお、信号処理部１１０により信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１９により撮像された画像データと、時間的に関連付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。

以上、第１〜第２実施形態を用いて説明してきように、信号処理装置１００または撮像装置１は、音信号に含まれているノイズを適切に低減することができる。

なお、上記の説明においては、音信号に含まれるノイズ（所定のノイズ）として、主に光学系１１が動作することにより生じる音について説明したが、ノイズはこれに限られるものではない。例えば、操作部８０に備えられているボタンなどが押下された場合に生じる音の場合も、同様である。この場合も、操作部８０に備えられているボタンなどが押下されたことを検出する信号が、ＣＰＵ９０のタイミング検出部９１に入力される。よって、タイミング検出部９１は、光学系１１が駆動する場合と同様に、操作部８０などの動作するタイミングを検出することができる。すなわち、操作部８０などの動作するタイミングを示す情報を、動作部が動作するタイミングを示す情報としてもよい。

また、動作部は、光学系１１が備えている各レンズ、または、操作部８０に限られるものではなく、動作することによって音が発生する（或いは音が発生する可能性がある）他の構成であってもよい。例えば、動作部は、ポップアップ時に音が発生するポップアップ式の光源（例えば、撮影用の光源、閃光装置（フラッシュ）など）であってもよい。

また、上記の説明においては、信号処理装置１００または撮像装置１が、撮像装置１により収音された音の音信号に対して信号処理部１１０による処理を実行する例について説明したが、撮像装置以外の装置に収音された音の音信号に対して信号処理部１１０による処理を実行してもよい。

また、上記第２実施形態において、信号処理装置１００（信号処理部１１０）が撮像装置１に備えられている構成について説明したが、信号処理装置１００（信号処理部１１０）は、例えば、録音装置、携帯電話、パーソナルコンピュータ、タブレット型端末、電子玩具、または、通信端末などの他の装置に備えられていてもよい。

なお、図１、図１２における信号処理部１１０、または、この信号処理部１１０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。

なお、図１、図１２における信号処理部１１０、または、この信号処理部１１０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この信号処理部１１０、または、この信号処理部１１０が備える各部はメモリおよびＣＰＵ（中央演算装置）により構成され、信号処理部１１０、または、この信号処理部１１０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、図１、図１２における信号処理部１１０、または、この信号処理部１１０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号処理部１１０、または、この信号処理部１１０が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

１…撮像装置、１００…信号処理装置、１１０…信号処理部、１１１…第１変換部（変換部）、１１５…ノイズ低減部（減算部）、１２１…補正信号生成部（生成部）、１２３…第２変換部（変換部）、１２６…振幅補正部、１２８…加算部

Claims (10)

1. 所定のノイズが少なくとも一部含まれる、取得された音に基づく第１信号から所定の信号を減算する減算部と、
   前記減算部によって減算された前記第１信号に加算される第２信号を生成する生成部と、
   前記第１信号、および前記生成された前記第２信号のうち、少なくとも一方の信号の振幅を補正する補正部と
   を備えることを特徴とする信号処理装置。
2. 前記補正部は、
   前記第１信号と、前記生成された前記第２信号とが加算された信号の振幅を補正する
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記生成部は、
   前記第１信号の複数の期間のうち、互いの一部の期間が重複する第１期間と第２期間とについて、前記第１期間の前記第２信号と、前記第２期間の前記第２信号とをそれぞれ生成する
   ことを特徴とする請求項１または請求項２に記載の信号処理装置。
4. 前記補正部は、
   前記第１信号にそれぞれ加算される前記第１期間の前記第２信号の振幅と、前記第２期間の第２信号の振幅との割合に基づいて、前記第１信号と、前記生成された前記第２信号とが加算された信号の振幅を補正する
   ことを特徴とする請求項３に記載の信号処理装置。
5. 前記補正部は、
   前記第２信号が加算された前記第１信号の前記重複する期間における振幅の変化が低減するようにして、前記第１信号と、前記生成された前記第２信号とが加算された信号の振幅を補正する
   ことを特徴とする請求項３または請求項４に記載の信号処理装置。
6. 前記補正部は、
   前記第１信号にそれぞれ加算される前記第１期間の前記第２信号の割合と前記第２期間の前記第２信号の割合との差が小さいほど、振幅の補正量を多くして、前記第１信号と、前記生成された前記第２信号とが加算された信号の振幅を補正する
   ことを特徴とする請求項３から請求項５のいずれか一項に記載の信号処理装置。
7. 前記補正部は、
   前記第１信号、前記生成された前記第１期間の前記第２信号、および前記第２期間の前記第２信号のうち、少なくとも一の信号の振幅を補正する
   ことを特徴とする請求項３に記載の信号処理装置。
8. 前記第１信号は、音を収音する装置が備える動作部が動作するタイミングを示す情報と対応付けられている
   ことを特徴とする請求項１から請求項７のいずれか一項に記載の信号処理装置。
9. 請求項１から請求項８のいずれか一項に記載の信号処理装置、
   を備えることを特徴とする撮像装置。
10. コンピュータに、
    所定のノイズが少なくとも一部含まれる、取得された音に基づく第１信号から所定の信号を減算する減算ステップと、
    前記減算ステップにおいて減算された前記第１信号に加算される第２信号を生成する生成ステップと、
    前記第１信号、および前記生成された前記第２信号のうち、少なくとも一方の信号の振幅を補正する補正ステップと
    を実行させるためのプログラム。