JP2014026032A - 信号処理装置、撮像装置、及び、プログラム - Google Patents

Abstract

【課題】音信号に含まれているノイズを適切に低減することができる信号処理装置を提供する。
【解決手段】信号処理装置は、音信号を周波数領域信号に変換する変換部と、音信号の周波数領域信号の周波数成分の大きさの平坦度を算出する算出部と、音信号の周波数領域信号からノイズの周波数領域信号を減算する際の減算係数を、算出部が算出した平坦度に基づいて決定する決定部と、決定部が決定した減算係数に応じて、音信号の周波数領域信号からノイズの周波数領域信号を減算する減算部と、を備える。
【選択図】図１

Description

本発明は、信号処理装置、撮像装置、及び、プログラムに関する。

音信号に含まれているノイズを低減する際に、音声信号と推定ノイズとの比に応じて設定した減算係数を用いてノイズを低減する技術がある（例えば、非特許文献１参照）。

M. Berouti, R. Schwartz and J. Makhoul, "Enhancement of speech corrupted by acoustic noise," Proc. IEEE Int. Conf. Accoust., Speech, Signal Process., pp.208-211, Apr. 1979.

非特許文献１に記載されている技術は、定常ノイズに音声信号が重畳されている音信号を対象としたノイズ低減処理であって、音声が含まれない期間の音信号においてノイズを推定して減算係数を設定している。しかしながら、非特許文献１に記載されている技術では、非定常のノイズ（例えば、間欠的に発生するノイズ等）を低減する場合には、音声が含まれない期間に非定常のノイズが含まれるとは限られないため、推定ノイズや減算係数の精度が低下し、音声の劣化もしくはノイズの残存が発生することがある。
つまり、非特許文献１に記載されている技術では、音信号に含まれているノイズを適切に低減できないことがあるという問題がある。

本発明は、このような事情に鑑みてなされたもので、その目的は、音信号に含まれているノイズを適切に低減することができる信号処理装置、撮像装置、及び、プログラムを提供することにある。

この発明は上述した課題を解決するためになされたもので、本発明は、音信号を周波数領域信号に変換する変換部と、前記音信号の周波数領域信号の周波数成分の大きさの平坦度を算出する算出部と、前記音信号の周波数領域信号からノイズの周波数領域信号を減算する際の減算係数を、前記算出部が算出した前記平坦度に基づいて決定する決定部と、前記決定部が決定した前記減算係数に応じて、前記音信号の周波数領域信号からノイズの周波数領域信号を減算する減算部と、を備えることを特徴とする信号処理装置である。

また、本発明は、上記記載の信号処理装置、を備えることを特徴とする撮像装置である。

また、本発明は、コンピュータに、音信号を周波数領域信号に変換するステップと、前記音信号の周波数領域信号の周波数成分の大きさの平坦度を算出するステップと、前記音信号の周波数領域信号からノイズの周波数領域信号を減算する際の減算係数を、前記平坦度に基づいて決定するステップと、前記減算係数に応じて、前記音信号の周波数領域信号からノイズの周波数領域信号を減算するステップと、を実行させるためのプログラムである。

この発明によれば、音信号に含まれているノイズを適切に低減することができるができる。

第１実施形態に係る信号処理装置の構成の一例を示す概略ブロック図である。 音信号の一例を示す図である。 ノイズ低減処理の一例を説明する図である。 帯域の分割例を示す図である。 音信号の周波数スペクトルの平坦度を算出した場合の一例を示す図である。 減算係数を決定するための算出方法の一例を示す図である。 信号処理装置のノイズ低減処理の一例を示すフローチャートである。 平坦度を算出する方法の別の例を説明する図である。 収音機能を有する撮像装置の構成の一例を示す概略ブロック図である。 第２実施形態に係る撮像装置の構成の一例を示す概略ブロック図である。

以下、図面を参照して、本発明の実施の形態について説明する。
［第１実施形態］
図１は、この発明の第１実施形態に係る信号処理装置１００の構成の一例を示す概略ブロック図である。まず、信号処理装置１００の概要について説明する。

この図１に示す信号処理装置１００は、入力された音信号（符号５００）に対して信号処理を実行し、処理後の音信号（符号５１０）を出力する。例えば、信号処理装置１００は、記憶媒体に記録されている音信号を取得し、取得した音信号に対して信号処理を実行する。ここで、記憶媒体とは、例えば、フラッシュメモリカード、磁気ディスク、光学ディスクなどの可搬媒体である。

なお、信号処理装置１００は、記憶媒体から音信号を読み出すための読み出し部を、内部に備えた構成としてもよいし、有線通信または無線通信などにより接続可能な外部装置（読み出し装置）が備えた構成としてもよい。また、記憶媒体に代えて、フラッシュメモリを搭載してＵＳＢ（Universal Serial Bus）コネクタを介して接続可能なＵＳＢメモリ、またはハードディスクなどの記憶装置としてもよい。

記憶媒体には、録音された音の音信号が記憶されている。例えば、記憶媒体には、少なくとも音を録音する機能を有する装置により収音されて録音された音の音信号が記憶されている。また、記憶媒体には、この収音された（録音された）音の音信号における所定のノイズが含まれる期間または所定のノイズが含まれない期間、を示す情報（或いは、所定のノイズが含まれる期間または所定のノイズが含まれない期間を判定可能な情報）が、その音信号と対応付けられて記録されている。

例えば、収音された音の音信号における所定のノイズが含まれる期間は、この音信号の音を収音した装置が備えている動作部が動作している期間であってもよい。一方、収音された音の音信号における所定のノイズが含まれない期間は、この音信号の音を録音した装置が備えている動作部が動作していない期間であってもよい。また、収音された音の音信号における所定のノイズが含まれる期間または所定のノイズが含まれない期間、を示す情報は、この音信号の音を収音した装置が備えている動作部が動作するタイミングを示す情報であってもよい。

ここで、収音した装置が備えている動作部とは、収音した装置が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。例えば、収音した装置が撮像装置の場合、その撮像装置が備えている、ズームレンズ、防振用レンズ（以下、ＶＲ（Vibration Reduction）レンズという）、焦点調整レンズ（以下、ＡＦ（Auto Focus）レンズという）、操作部、などが動作部であってもよい。すなわち、この場合の所定のノイズとは、撮像装置が備えている、ズームレンズ、ＶＲレンズ、ＡＦレンズ、操作部、などが動作することによって生じた音が収音されたものである。

例えば、撮像装置は、動作部であるズームレンズ、ＶＲレンズ、またはＡＦレンズそれぞれを駆動する駆動部を、駆動制御信号を制御することにより駆動する。つまり、撮像装置は、駆動制御信号を制御するタイミングによって上述の動作部を動作させる。例えば、撮像装置は、駆動制御信号を制御するタイミングを示す情報を、動作部が動作するタイミングを示す情報として、録音した音の音信号に対応付けて記憶媒体に記憶させてもよい。
なお、このような収音機能を有する撮像装置の構成について、詳しくは後述する。

信号処理装置１００は、音信号に対して信号処理を実行する。例えば、信号処理装置１００は、上述したような、録音された音の音信号と、その音信号に対応付けられた動作部が動作するタイミングを示す情報とに基づいて、音信号に含まれるノイズを低減する処理を実行する。

続いて、図１に示す信号処理装置１００の構成について詳しく説明する。信号処理装置１００は、信号処理部１１０と、記憶部１６０と、を備えている。

記憶部１６０は、フロアリングスペクトル記憶部１６１と、ノイズ記憶部１６２と、減算係数決定情報記憶部１６３とを備えている。
フロアリングスペクトル記憶部１６１には、後述するフロアリングスペクトルが記憶される。ノイズ記憶部１６２には、後述する推定ノイズ（推定ノイズスペクトル）が記憶される。減算係数決定情報記憶部１６３には、ノイズ低減処理において、音信号の周波数スペクトルから推定ノイズを減算する際の減算量の大きさを設定するための減算係数を示す情報が記憶されている。例えば、減算係数決定情報記憶部１６３には、後述する周波数スペクトルの平坦度と減算係数との関係を示す情報が対応付けられて記憶されている。

信号処理部１１０は、記憶媒体から読み出されて入力された音信号に対して、例えば、ノイズ低減処理などの信号処理を実行し、この信号処理を実行した音信号を出力する（或いは記憶媒体に記憶させる）。なお、信号処理部１１０は、入力された音信号にノイズ低減処理を実行した音信号と、入力された音信号そのままの信号とを切り替えて出力してもよい。

＜信号処理部１１０の詳細な構成＞
次に、図１に示す信号処理部１１０の詳細について、図１、図２、及び図３を用いて説明する。信号処理部１１０は、変換部１１１、判定部１１２、フロアリングスペクトル推定部１１３、ノイズ推定部１１４、ノイズ低減部１１５（減算部）、平坦度算出部１１６（算出部）、減算係数決定部１１７（決定部）、及び、逆変換部１１８、を備えている。

ここでは、図２のように信号処理部１１０に、音信号（例えば撮像装置により収音されて録音された音信号）と、その音信号に対応付けられた動作部（例えば撮像装置が備えている動作部）が動作するタイミングを示す信号とが、記憶媒体から読み出されて入力された場合について説明する。なお、入力された音信号は、収音された音がデジタル信号に変換された音信号である。この図２において、上段から下段に向かって、（ａ）動作部が動作するタイミングを示す信号、（ｂ）時刻、（ｃ）フレーム番号、及び、（ｄ）入力された音信号の波形を示している。

この図２において、横軸は時間軸であり、縦軸は、例えば、各信号の電圧、時刻、または、フレーム番号である。また、この図２（ｄ）に示すように、例えば、音声が収音された場合の音信号の場合、数十ミリ秒程度の短い時間内では、比較的に繰り返し信号が多い。

この図２の例においては、フレームと時刻との関係は、時刻ｔ０からｔ２までがフレーム番号４１に対応し、時刻ｔ１からｔ３までがフレーム番号４２に対応し、時刻ｔ２からｔ４までがフレーム番号４３に対応し、時刻ｔ３からｔ５までがフレーム番号４４に対応し、時刻ｔ４からｔ６までがフレーム番号４５に対応し、時刻ｔ５からｔ７までがフレーム番号４６に対応し、時刻ｔ６以降がフレーム番号４７に対応している。なお、各フレームの時間長は同じものとする。

また、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、（ａ）動作部が動作するタイミングを示す信号が、ロウレベルからハイレベルに遷移している（図２の符号Ｏ参照）ことを示している。なお、ここでは、ロウレベルは動作部が動作していないことを示し、ハイレベルは動作部が動作していることを示すものとする。このように、この図２の例においては、時刻ｔ４より後であり、かつ、時刻ｔ５の前において、動作部が動作しない状態から動作する状態へと遷移していることを示している。

そして、このような動作部の動作に応じて、（ｄ）入力された音信号の波形に、フレーム番号４４及び４５の途中以降から、ノイズが重畳されている。ここで、各フレームとノイズ発生区間との関係について着目すると、フレーム番号４４及び４５の途中で（ａ）動作部が動作するタイミングを示す信号が立ち上がっていることからフレーム番号４４以降（４４、４５、４６，４７…）においてノイズが収音されている。また、フレーム番号４６以降（４６，４７…）においては、フレームの全区間においてノイズが収音されている。一方、フレーム番号４３以前（４３，４２，４１…）にはノイズが全く収音されていない。

ここで、変換部１１１は、入力された音信号を周波数領域信号に変換する。例えば、変換部１１１は、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、変換部１１１は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、変換部１１１は、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）により、フーリエ変換してもよい。

また、変換部１１１が変換したフレーム毎の音信号の周波数スペクトルに対して、信号処理部１１０は、後述するようなノイズ低減処理を実行する。そして、その後、逆変換部１１８は、ノイズ低減処理した各フレームの周波数スペクトルを逆フーリエ変換して出力する。
なお、信号処理部１１０は、逆フーリエ変換して出力した音信号を、記憶媒体に記憶させてもよい。

判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する。すなわち、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれる期間のフレームであるか、または、所定のノイズが含まれない期間のフレームであるかを判定する。

なお、判定部１１２は、独立した構成であることに限られるものではなく、フロアリングスペクトル推定部１１３またはノイズ推定部１１４が、上述した判定部１１２の機能を有する構成としてもよい。

フロアリングスペクトル推定部１１３は、入力された音信号の周波数スペクトルから、フロアリングスペクトルを推定する。そして、フロアリングスペクトル推定部１１３は、推定したフロアリングスペクトルを、フロアリングスペクトル記憶部１６１に記憶させる。ここで、フロアリングスペクトルとは、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれない期間の音信号の周波数スペクトル、すなわち所定のノイズが含まれない周囲の環境音が収音された音信号の周波数スペクトルのことをいう。

例えば、フロアリングスペクトル推定部１１３は、所定のノイズが含まれない期間のフレームにおける音信号（環境音の音信号）の周波数スペクトルを、フロアリングスペクトルとして推定する。すなわち、フロアリングスペクトル推定部１１３は、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルを、フロアリングスペクトルとして推定する。具体的には、例えば、フロアリングスペクトル推定部１１３は、判定部１１２により動作部が動作するタイミングに基づいて判定された、動作部が動作する期間を含まない直前のフレームにおける音信号の周波数スペクトルを、フロアリングスペクトルとして推定する。

図２に示す音信号の例の場合、フロアリングスペクトル推定部１１３は、例えばフレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトルとして推定する。そして、フロアリングスペクトル推定部１１３は、このフレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトルとして、フロアリングスペクトル記憶部１６１に記憶させる。

以降、フレーム番号４３における音信号の周波数スペクトル（＝Ｓ４３）をフロアリングスペクトルＦＳと称して説明する。また、フロアリングスペクトルＦＳの各周波数ビンの強度（各周波数成分の大きさ）を、低周波数から高周波数へ順にＦ１、Ｆ２、Ｆ３、Ｆ４、Ｆ５と称して説明する（図３（ａ）参照）。なお、周波数ビンの数は、ノイズ低減処理において必要とされる周波数スペクトルの解像度に応じて設定することができる。

ノイズ推定部１１４は、入力された音信号から所定のノイズ（例えば動作部が動作することにより発生するノイズ）を低減するためのノイズを推定する。例えば、ノイズ推定部１１４は、動作部が動作するタイミングに基づいて、入力された音信号の周波数スペクトルからノイズの周波数スペクトルを推定する。そして、ノイズ推定部１１４は、推定したノイズを、ノイズ記憶部１６２に記憶させる。

例えば、ノイズ推定部１１４は、所定のノイズが含まれる期間のフレームにおける音信号の周波数スペクトルと、所定のノイズが含まれない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。すなわち、ノイズ推定部１１４は、動作部が動作している期間のフレームにおける音信号の周波数スペクトルと、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。

具体的には、例えば、ノイズ推定部１１４は、判定部１１２により動作部が動作するタイミングに基づいて判定された、動作部が動作を開始したタイミングの直後のフレーム（かつ、フレームの全ての期間に渡って動作部が動作しているフレーム）における音信号の周波数スペクトルと、動作部が動作を開始するタイミングの直前のフレーム（かつ、フレームの全ての期間に渡って動作部が動作していないフレーム）における音信号の周波数スペクトル（例えばフロアリングスペクトルＦＳ）との差を、ノイズの周波数スペクトルとして推定する。

図２に示す音信号の例の場合、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわちフロアリングスペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算する。

なお、フレーム番号４６における音信号の周波数スペクトルを、周波数スペクトルＳ４６（図３（ｂ）参照）と称して説明する。また、周波数スペクトルＳ４６の、各周波数ビンの強度を、低周波数から高周波数へ順にＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５と称して説明する（図３（ｂ）参照）。

そして、ノイズ推定部１１４は、減算により算出した周波数スペクトルを、ノイズの周波数スペクトルとして推定する（図３（ｄ）参照）。そして、ノイズ推定部１１４は、推定したノイズを、ノイズ記憶部１６２に記憶させる。

以降、ノイズ推定部１１４により推定されたノイズの周波数スペクトルを、推定ノイズスペクトルＮＳと称して説明する。また、推定ノイズスペクトルＮＳの、各周波数ビンの強度を、低周波数から高周波数へ順にＮ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５と称して説明する(図３（ｄ）参照）。

信号処理部１１０は、このようにして得られたノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）を推定ノイズとして、ノイズが含まれるフレーム（例えば、フレーム番号４４、４５、４６、４７…）の周波数スペクトルより減算することにより、ノイズが含まれるフレームの音信号の周波数スペクトルのノイズを低減（除去）することができる。

例えば、ノイズ低減部１１５は、ノイズが含まれるフレーム（例えば、フレーム番号４４、４５、４６、４７…）の周波数スペクトルから、ノイズ推定部１１４により推定された推定ノイズスペクトルＮＳを、周波数ビン毎（周波数成分毎）にそれぞれ減算する。

具体的には、例えば、ノイズ低減部１１５は、フレーム番号４６における音信号の周波数スペクトルＳ４６から推定ノイズスペクトルＮＳを減算したノイズ低減後の周波数スペクトル（周波数スペクトルＳＣと称する）を、以下のような関係式に基づいて算出する。ここで、周波数スペクトルＳＣの、各周波数ビンの強度を、低周波数から高周波数へ順にＣ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５と称する(図３（ｅ）参照）。周波数スペクトルＳＣの各周波数ビンの強度を算出する関係式は、例えば、低周波数から高周波数へ順に、Ｃ１＝Ｂ１−Ｎ１、Ｃ２＝Ｂ２−Ｎ２、Ｃ３＝Ｂ３−Ｎ３、Ｃ４＝Ｂ４−Ｎ４、Ｃ５＝Ｂ５−Ｎ５、としてもよい。

また、ノイズ低減部１１５は、ノイズが含まれるフレームの周波数スペクトルにおいて、分割された帯域毎に推定ノイズスペクトルＮＳを減算する。例えば、ノイズ低減部１１５は、分割された帯域それぞれにおける周波数成分の大きさの平坦度（以下、周波数スペクトルの平坦度ともいう）に基づいて決定された減算係数（Ａｔ（ｋ）、ｋは帯域番号）を、それぞれの帯域毎に推定ノイズスペクトルＮＳに乗算する。そして、ノイズ低減部１１５は、それぞれの帯域毎に減算係数を乗算した推定ノイズスペクトルＮＳを、ノイズが含まれるフレームの周波数スペクトルから減算する。

例えば、周波数スペクトルＳ４６から推定ノイズスペクトルＮＳを減算する関係式は、周波数スペクトルＳ４６から推定ノイズスペクトルＮＳを減算した後のｋ番目の帯域の周波数スペクトルを周波数スペクトルＳＣ（ｋ）とすると、「周波数スペクトルＳＣ（ｋ）＝周波数スペクトルＳ４６（ｋ）−（推定ノイズスペクトルＮＳ（ｋ）×Ａｔ（ｋ））」により示される。ここで、周波数スペクトルＳ４６（ｋ）はｋ番目の帯域の周波数スペクトルＳ４６であり、推定ノイズスペクトルＮＳ（ｋ）はｋ番目の帯域の推定ノイズスペクトルＮＳである。

具体的には、例えば、上述した周波数スペクトルＳＣの各周波数ビンの強度Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５を、周波数スペクトルＳＣのｋ番目の帯域の各周波数ビンの強度とする。また、周波数スペクトルＳ４６の各周波数ビンの強度Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５を、周波数スペクトルＳ４６のｋ番目の帯域の各周波数ビンの強度とし、推定ノイズスペクトルＮＳの各周波数ビンの強度Ｎ１、Ｎ２、Ｎ３、Ｎ４、Ｎ５を、推定ノイズスペクトルＮＳのｋ番目の帯域の各周波数ビンの強度とする。

この場合、周波数スペクトルＳＣの各周波数ビンの強度を算出する関係式は、例えば、低周波数から高周波数へ順に、Ｃ１＝Ｂ１−Ｎ１×Ａｔ（ｋ）、Ｃ２＝Ｂ２−Ｎ２×Ａｔ（ｋ）、Ｃ３＝Ｂ３−Ｎ３×Ａｔ（ｋ）、Ｃ４＝Ｂ４−Ｎ４×Ａｔ（ｋ）、Ｃ５＝Ｂ５−Ｎ５×Ａｔ（ｋ）、としてもよい。

すなわち、ノイズ低減部１１５は、ノイズが含まれるフレームの周波数スペクトルの平坦度に基づいて決定した減算係数に応じて、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算する。

このように、信号処理部１１０は、ノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）に基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。なお、信号処理部１１０（逆変換部１１８）は、逆高速フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）により、逆フーリエ変換してもよい。

平坦度算出部１１６は、上述の周波数スペクトルの平坦度を算出する。また、減算係数決定部１１７は、上述の平坦度に応じて減算係数を決定する。以下に、周波数スペクトルの平坦度を算出する処理と平坦度に応じて減算係数を決定する処理とについて、詳しく説明する。

（平坦度の算出）
平坦度算出部１１６は、音信号の周波数スペクトルの平坦度を算出する。例えば、平坦度算出部１１６は、ノイズが含まれるフレーム（例えば、フレーム番号４４、４５、４６、４７…）の周波数スペクトルを複数の帯域に分割し、分割した帯域毎に周波数スペクトルの平坦度を算出する。

図４は、周波数スペクトルを複数の帯域に分割した場合の一例を示す図である。この図では、平坦度算出部１１６は、周波数スペクトルを帯域番号ｋ＝１〜２０の２０個の帯域（帯域番号１が周波数０〜１００Ｈｚ、帯域番号２が周波数１００〜２００Ｈｚ、帯域番号３が周波数２００〜３００Ｈｚ…）に分割している。

また、平坦度算出部１１６は、分割した帯域毎の周波数スペクトルの平坦度を算出する。ここで、周波数スペクトルの平坦度とは、周波数スペクトルの周波数ビン毎の強度（大きさ）の平坦度である。この平坦度は音信号に含まれている音の種類を区別するために利用される。例えば、音声や音楽などのような音は、特定の周波数成分にエネルギーが集中しているため、周波数ビン毎の周波数スペクトルの強度の起伏が激しくなる。一方、音声や音楽などのような音が無い場合の音は、周波数ビン毎の周波数スペクトルの強度が平坦になる。つまり、音声や音楽などのような音が含まれているか否かに応じて、周波数スペクトルの平坦度が異なる。

なお、以下の説明において、周波数スペクトルの周波数ビン毎の強度の起伏が激しい場合を平坦度が高いという。一方、周波数スペクトルの周波数ビン毎の強度が平坦な場合を平坦度が低いという。

例えば、平坦度算出部１１６は、周波数スペクトルの相加平均及び相乗平均に基づいて、周波数スペクトルの平坦度を算出する。
具体的には、ｋ番目の帯域の周波数スペクトルの強度の相加平均を「ＡＢ（ｋ）」とし、ｋ番目の帯域の周波数スペクトルの強度の相乗平均を「ＧＢ（ｋ）」とすると、平坦度算出部１１６は、次に示す数式１によりｋ番目の帯域の周波数スペクトルの平坦度「ＴＮＢ（ｋ）」を算出してもよい。

なお、平坦度算出部１１６は、ｋ番目の帯域の周波数スペクトルの強度の相加平均「ＡＢ（ｋ）」と相乗平均「ＧＢ（ｋ）」とのそれぞれを、次に示す数式２と数式３とにより算出してもよい。

例えば、周波数ビン毎の強度の起伏が激しい場合、平坦度算出部１１６が算出した平坦度は高くなる。一方、周波数ビン毎の強度が平坦な場合、平坦度算出部１１６が算出した平坦度は低くなる。

図５は、音信号の周波数スペクトルの平坦度を算出した場合の一例を示す図である。この図では、各帯域における周波数ビン（周波数成分）の数を７個としている。図５（ａ）は、平坦度が最も低い（ＴＮＢ＝０）場合の周波数スペクトルの例を示している。この図に示す周波数スペクトルの各周波数ビンの強度（Ｓｗｍ＿ａｍｐ（ｓ））を、低周波数から高周波数へ順にＬ１、Ｌ２、Ｌ３、Ｌ４、Ｌ５、Ｌ６、Ｌ７と称する。この例では、Ｌ１〜Ｌ７の全ての強度が「２」であり、平坦度（ＴＮＢ）が「０」である。

図５（ｂ）、（ｃ）は、図５（ｄ）に示す音信号の周波数スペクトルのうちの分割された一部の帯域の周波数スペクトルを示している。なお、図５（ｄ）は音声が含まれている音信号の周波数スペクトルの一例を示している。

図５（ｂ）は、図５（ｄ）に示す音信号の周波数スペクトルのうち音声が含まれていない帯域（符号Ｋ２参照）の周波数スペクトルを示している。この図に示す周波数スペクトルの各周波数ビンの強度（Ｓｗｍ＿ａｍｐ（ｓ））を、低周波数から高周波数へ順にＭ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍ７と称する。この帯域には音声が含まれていないため、特定の周波数成分にエネルギーが集中していない。この例では、Ｍ１〜Ｍ７のそれぞれの強度が「２．５」〜「１」の範囲の値である。これにより算出された平坦度（ＴＮＢ）が、例えば約「０．０２１」である。

図５（ｃ）は、図５（ｄ）に示す音信号の周波数スペクトルのうち音声が含まれている帯域（符号Ｋ１参照）の周波数スペクトルを示している。この図に示す周波数スペクトルの各周波数ビンの強度（Ｓｗｍ＿ａｍｐ（ｓ））を、低周波数から高周波数へ順にＰ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、Ｐ７と称する。この帯域には音声が含まれているため、特定の周波数成分にエネルギーが集中している。この例では、Ｐ４の強度が「８」であって、Ｐ８以外のＰ１、Ｐ２、Ｐ３、Ｐ５、Ｐ６、Ｐ７のそれぞれの強度が「１」である。これにより算出された平坦度（ＴＮＢ）が、例えば約「０．１２４」である。

このように、平坦度算出部１１６は、音信号の周波数スペクトルの分割した帯域毎に平坦度を算出する。そして、平坦度算出部１１６が算出した平坦度は、音声が含まれている帯域では高くなり、音声が含まれていない帯域では低くなる。なお、音楽が含まれている帯域も音声が含まれている帯域と同様に平坦度は高くなる。

（減算係数を決定するための算出方法）
減算係数決定部１１７は、平坦度算出部１１６が算出した平坦度に基づいて、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算する際の減算係数を決定する。例えば、減算係数決定部１１７は、平坦度算出部１１６が算出した分割した帯域毎の周波数スペクトルの平坦度に基づいて、その分割した帯域毎の減算係数を決定する。

具体的には、例えば、減算係数決定部１１７は、周波数スペクトルの平坦度に基づいて、平坦度が低いほど（周波数スペクトルが平坦なほど）減算係数を、推定ノイズスペクトルＮＳを減算する減算量が大きくなる値とする。一方、減算係数決定部１１７は、平坦度が高いほど（周波数スペクトルの起伏が激しいほど）減算係数を、推定ノイズスペクトルＮＳを減算する減算量が小さくなる値とする。なお、以下の説明において、減算係数が大きいほど減算量が大きくなるものとし、減算係数が小さいほど減算量が小さくなるものとする。

また、このような、平坦度に応じて決定される減算係数と平坦度との関係を示す情報が、例えば予め減算係数決定情報記憶部１６３に記憶されている。減算係数決定部１１７は、減算係数決定情報記憶部１６３に記憶されている減算係数と平坦度との関係を示す情報を参照して、平坦度算出部１１６が算出した平坦度に基づいて、減算係数を決定する。

図６は、減算係数を決定するための算出方法の一例を示す図である。この図６は、減算係数を決定するための算出方法として、減算係数と平坦度との関係を示している。なお、例えばこの図に示す減算係数と平坦度との関係を示す情報が減算係数決定情報記憶部１６３に記憶されていてもよい。

この図は、横軸が周波数スペクトルの平坦度、縦軸が減算係数であり、ｋ番目の帯域の周波数スペクトルの平坦度「ＴＮＢ（ｋ）」とｋ番目の帯域の減算係数「Ａｔ（ｋ）」との関係を示している。また、平坦度の最小値「ＴＮｍｉｎ」が「０」（「ＴＮｍｉｎ＝０」）であり、平坦度の最大値「ＴＮｍａｘ」が「０．２」（「ＴＮｍａｘ＝０．２」）である場合を示している。また、減算係数の最大値「Ａｔｍａｘ」が「１」（「Ａｔｍａｘ＝１」）であり、減算係数の最小値「Ａｔｍｉｎ」が「０」（「Ａｔｍｉｎ＝０」）である場合を示している。

この図では、平坦度「ＴＮＢ（ｋ）」が「０」の場合、減算係数「Ａｔ（ｋ）」は「Ａｔｍａｘ＝１」となる。そして、平坦度「ＴＮＢ（ｋ）」が「ＴＮｍｉｎ＝０」から増加する（高くなる）にしたがって、減算係数「Ａｔ（ｋ）」は「Ａｔｍａｘ＝１」から徐々に減少する。平坦度「ＴＮＢ（ｋ）」が「ＴＮｍａｘ＝０．２」（最大値）の場合、減算係数「Ａｔ（ｋ）」は「Ａｔｍｉｎ＝０」となる。

例えば、減算係数決定部１１７は、次の（１）〜（３）に示す数式２、数式３、または、数式４によりｋ番目の帯域の減算係数「Ａｔ（ｋ）」を算出してもよい。
（１）ｋ番目の帯域の平坦度「ＴＮＢ（ｋ）」が平坦度の最小値「ＴＮｍｉｎ」より低い場合、減算係数決定部１１７は、次の数式４により減算係数「Ａｔ（ｋ）」を算出してもよい。

（２）ｋ番目の帯域の平坦度「ＴＮＢ（ｋ）」が平坦度の最小値「ＴＮｍｉｎ」以上、且つ平坦度の最大値「ＴＮｍａｘ」以下の場合、減算係数決定部１１７は、次の数式５により減算係数「Ａｔ（ｋ）」を算出してもよい。

（３）ｋ番目の帯域の平坦度「ＴＮＢ（ｋ）」が平坦度の最大値「ＴＮｍａｘ」より高い場合、減算係数決定部１１７は、次の数式６により減算係数「Ａｔ（ｋ）」を算出してもよい。

なお、減算係数決定情報記憶部１６３には、減算係数と平坦度との関係を示す情報として、上述したような減算係数と平坦度との関係を算出するための数式を示す情報が記憶されていてもよいし、減算係数の値と平坦度の値との対応付けを示す情報が記憶されていてもよい。

なお、図６を用いて説明した減算係数を決定する例は、平坦度の値が変化することに応じて線形（リニア）に減算係数の値が変化する例であるが、線形に変化することに限られるものではなく非線形に変化するようにしてもよい。

（ノイズ低減処理の動作）
次に、図７を参照して、本実施形態に係るノイズ低減処理の動作を説明する。
図７は、信号処理装置１００のノイズ低減処理の一例を示すフローチャートである。

ここでは、図２及び図３を用いて説明したフロアリングスペクトルＦＳが、フロアリングスペクトル推定部１１３により推定されてフロアリングスペクトル記憶部１６１に記憶されているものとする。なお、予め設定されたフロアリングスペクトルがフロアリングスペクトル記憶部１６１に記憶されていてもよい。

まず、信号処理部１１０は、記憶媒体から音信号を読み出す。読み出した音信号は、信号処理部１１０の変換部１１１に入力される（ステップＳ１１）。

次に、変換部１１１は、入力された音信号を周波数領域信号に変換する。例えば、変換部１１１は、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する（ステップＳ１２）。

次に、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する。すなわち、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ（例えば動作部が動作することにより生じるノイズ）が含まれる期間のフレームであるか否か（所定のノイズが混入しているか否か）を判定する（ステップＳ１３）。

信号処理部１１０は、入力された音信号の各フレームのうち、所定のノイズが含まれない期間のフレームであると判定された（ステップＳ１３：ＮＯ）フレームの音信号の周波数スペクトルに対してはノイズ低減処理を行わないで、ステップＳ１８に処理を進める。

一方、ノイズ推定部１１４は、入力された音信号の各フレームのうち、所定のノイズが含まれる期間のフレームであると判定された（ステップＳ１３：ＹＥＳ）フレームの音信号の周波数スペクトル（例えば、周波数スペクトルＳ４６、図３（ｂ）参照）と、フロアリングスペクトルＦＳ（例えば、図３（ｃ）参照）とに基づいて、ノイズの周波数スペクトル（推定ノイズスペクトルＮＳ）を推定する。例えば、ノイズ推定部１１４は、所定のノイズが含まれる期間のフレームの音信号の周波数スペクトルＳ４６からフロアリングスペクトルＦＳを周波数ビン毎に減算することにより、推定ノイズスペクトルＮＳを生成する（ステップＳ１４）。

続いて、平坦度算出部１１６は、所定のノイズが含まれる期間のフレームであると判定されたフレームの音信号の周波数スペクトル（例えば、周波数スペクトルＳ４６）を複数の帯域に分割し、分割した帯域毎に周波数スペクトルの平坦度を算出する（ステップＳ１５）。
例えば、平坦度算出部１１６は、図４に示す帯域の分割例にしたがって、所定のノイズが含まれる期間のフレームの音信号の周波数スペクトル（例えば、周波数スペクトルＳ４６）を、複数の帯域に分割する。そして、平坦度算出部１１６は、分割した帯域において、周波数スペクトルの周波数ビン毎の強度（大きさ）の平坦度を算出する。

次に、減算係数決定部１１７は、平坦度算出部１１６が算出した平坦度に基づいて、所定のノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算する際の減算係数を決定する。例えば、減算係数決定部１１７は、平坦度算出部１１６が算出した分割した帯域毎の周波数スペクトルの平坦度に基づいて、その分割した帯域毎の減算係数を決定する（ステップＳ１６）。

具体的には、例えば、減算係数決定部１１７は、周波数スペクトルの平坦度に基づいて、平坦度が低いほど（周波数スペクトルが平坦なほど）減算係数を、推定ノイズスペクトルＮＳを減算する減算量が大きくなる値とする。一方、減算係数決定部１１７は、平坦度が高いほど（周波数スペクトルの起伏が激しいほど）減算係数を、推定ノイズスペクトルＮＳを減算する減算量が小さくなる値とする。一例として図６、及び、数式３、数式４、または数式５を用いて説明した減算係数を決定するための算出方法にしたがって、減算係数を決定する。

次に、ノイズ低減部１１５は、分割した帯域それぞれにおいて、ステップＳ１６で決定した減算係数を用いて、所定のノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを周波数ビン毎（周波数成分毎）に減算する（ステップＳ１７）。すなわち、ノイズ低減部１１５は、平坦度に基づいて決定した減算係数に応じて、所定のノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルＮＳを減算する。

続いて、逆変換部１１８は、ステップＳ１７において推定ノイズスペクトルＮＳを減算した周波数スペクトルを逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する（ステップＳ１８）。そして、信号処理部１１０は、ノイズ低減処理後の時間領域の音信号を出力する（ステップＳ１９）。

このように、信号処理装置１００は、音信号の周波数スペクトルの平坦度に応じた減算係数により、所定のノイズが含まれる音信号の周波数スペクトルから推定ノイズスペクトルＮＳを減算する。例えば、信号処理装置１００は、音信号の周波数スペクトルの平坦度が高いほど、所定のノイズが含まれる音信号の周波数スペクトルから減算する推定ノイズスペクトルＮＳの減算量が少なくなるように減算する。一方、信号処理装置１００は、音信号の周波数スペクトルの平坦度が低いほど、所定のノイズが含まれる音信号の周波数スペクトルから減算する推定ノイズスペクトルＮＳの減算量が多くなるように減算する。

これにより、信号処理装置１００は、ノイズの推定精度によらず、音信号の周波数スペクトルの平坦度に応じてノイズの減算量を調整することができる。例えば、信号処理装置１００は、音信号の周波数スペクトルに音声や音楽などの音信号が含まれている場合にはノイズの残存が目立ちにくいことから、推定ノイズスペクトルＮＳの減算量を少なくして減算することができるため、音声や音楽が劣化しないように所定のノイズを低減することができる。

一方、信号処理装置１００は、音信号の周波数スペクトルに音声や音楽などの音信号が含まれていない場合には、推定ノイズスペクトルＮＳの減算量を多くして減算することができるため、ノイズの残存を抑制することができる。
よって、信号処理装置１００は、音声や音楽などの劣化を抑制するとともに、音声や音楽などの音信号が含まれていない音信号の場合には（所定のノイズ以外の音信号が少ない場合には）ノイズの残存を抑制することができる。

また、信号処理装置１００は、周波数スペクトルを複数の帯域に分割し、分割した帯域毎の平坦度に応じて帯域毎に減算係数を決定するため、音声や音楽などの基本周波数成分やその倍音の周波数成分が含まれる帯域と含まれない帯域とのそれぞれの帯域毎に異なる減算係数とすることができる。よって、信号処理装置１００は、音声や音楽などが含まれる帯域と含まれない帯域とに対してそれぞれ適切にノイズ低減処理を行うことができる。

このように、信号処理装置１００は、所定のノイズ以外の音信号までもが低減されてしまうことにより（ノイズの過大減算となることにより）生じる音の劣化を抑制することができる。また、信号処理装置１００は、所定のノイズ以外の音信号が少ない場合にはノイズの過小減算となることを抑制するため、ノイズの残存が発生することを抑制することができる。
すなわち、信号処理装置１００は、音信号に含まれているノイズを適切に低減することができる。

以下、上述した第１実施形態における異なる実施例について説明する。
（帯域分割の別の例）
図４を用いて、音信号の周波数スペクトルを２０個の帯域に分割する例を説明したが、分割数または分割する帯域幅はこの図に示す例に限られるものではない。例えば、帯域の分割数は２０個より多くてもよいし、少なくてもよい。また、分割する帯域幅は等間隔であってもよいし、等間隔でなくてもよい。例えば、平坦度算出部１１６は、音声や音楽などの周波数成分が含まれるような帯域においては帯域幅を狭くして分割数を多くし、音声や音楽などの周波数成分が含まれないような帯域においては帯域幅を広くして分割数を少なくしてもよい。また、平坦度算出部１１６は、周波数が高くなるほど分割する帯域幅を広げてもよい。また、平坦度算出部１１６は、周波数スペクトルの分布状態に基づいて、周波数スペクトルの周波数ビン毎の強度の変化が少ない帯域（すなわち平坦度の低い帯域）においては、分割する帯域幅を広げてもよい。

また、平坦度算出部１１６は、音信号の周波数領域信号の基本周波数スペクトルに基づいて、音信号の周波数領域信号を分割する際の帯域幅を設定するようにしてもよい。例えば、平坦度算出部１１６は、基本周期または基本周期の倍周期が２つ以上含まれないような帯域幅で分割するようにしてもよい。この帯域幅は予め定められていてもよいし、平坦度算出部１１６が基本周期を検出することによってこの帯域幅を設定してもよい。また、音信号の周波数スペクトルにおいて、全ての帯域を複数の帯域に分割してもよいし、可聴範囲に基づいて制限した帯域を複数の帯域に分割してもよい。

なお、信号処理部１１０は、平坦度算出部１１６が音信号の周波数スペクトルを複数の帯域に分割するのに代えて、音信号の周波数スペクトルを複数の帯域に分割する帯域分割部を別に備えている構成としてもよい。例えば、平坦度算出部１１６は、その帯域分割部が分割した帯域毎の周波数スペクトルの平坦度を算出してもよい。また、判定部１１２は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを、その帯域分割部が分割した帯域毎に判定してもよい。また、フロアリングスペクトル推定部１１３は、フロアリングスペクトルＦＳをその帯域分割部が分割した帯域毎に推定してもよい。ノイズ推定部１１４は、推定ノイズスペクトルＮＳをその帯域分割部が分割した帯域毎に推定してもよい。

なお、信号処理部１１０は、音信号の周波数スペクトルを複数の帯域に分割しなくてもよい。例えば、信号処理部１１０は、音信号の周波数スペクトルを複数の帯域に分割せずに全体の周波数帯域または予め定められた帯域において、（平坦度算出部１１６において）平坦度を算出し、算出した平坦度に応じて（減算係数決定部１１７において）減算係数を決定してもよい。

（平坦度の算出の別の例）
なお、平坦度算出部１１６は、相加平均及び相乗平均に基づいて算出する方法（例えば、前述の数式１による算出方法）以外の方法を用いて平坦度を算出してもよい。例えば、平坦度算出部１１６は、以下に示すように周波数スペクトルのエントロピーを算出することにより、平坦度を算出してもよい。

例えば、平坦度算出部１１６は、次に示す数式７により周波数スペクトルのエントロピーを算出してもよい。数式７は、ある帯域の周波数スペクトルのエントロピー「Ｈ」を算出する式の一例である。

ここで、エントロピー「Ｈ」は、周波数スペクトルの全ての周波数ビンの強度が等しいとき（すなわち、最も平坦であるとき）に最大値となる。よって、この場合、算出したエントロピーが大きい値であるほど平坦度が低く、エントロピーが小さい値であるほど平坦度が高い。

また、平坦度算出部１１６は、次のような方法を用いて平坦度を算出してもよい。例えば、平坦度算出部１１６は、周波数ビン毎の強度の大きさの大きい順または小さい順に周波数ビン毎の周波数スペクトルを並べかえて、その並べかえた順における周波数スペクトルの強度の変化度合いによって、平坦度を算出してもよい。

図８は、周波数ビン毎の強度の大きさに応じて周波数スペクトルを並べかえたときの変化度合いに基づいて平坦度を算出する方法を説明する図である。
図８（ａ）、（ｂ）は、それぞれある帯域の周波数スペクトルを示しており、図８（ａ）の周波数スペクトルよりも図８（ｂ）の周波数スペクトルの方が平坦度の低い周波数スペクトルであることを示している。

図８（ｃ）は、図８(ａ)に示す周波数スペクトルを周波数ビン毎の強度の大きさの順に並べかえた状態を示している。また、図８（ｄ）は、図８(ｂ)に示す周波数スペクトルを周波数ビン毎の強度の大きさの順に並べかえた状態を示している。この図８（ｃ）及び図８（ｄ）の大きさの順に並べかえた周波数スペクトルの変化度合いを比較すると、図８（ｄ）の変化度合い（図８（ｄ）の符号Ｅ２参照）に対して図８（ｃ）の変化度合い（図８（ｃ）の符号Ｅ１参照）の方が大きい（変化率が大きい、変化直線（曲線）の傾きの最大値が大きい）ことがわかる。

つまり、平坦度算出部１１６は、周波数スペクトルを周波数ビン毎の強度の大きさの順に並べかえた場合に、その並べかえた周波数スペクトルの変化度合いを平坦度として用いることができる。例えば、平坦度算出部１１６は、変化度合いが大きいほど高い平坦度として算出し、変化度合いが小さいほど低い平坦度として算出することができる。

なお、平坦度算出部１１６が上述の変化度合いを算出する方法は、周波数スペクトルの変化の微分値により算出する方法としてもよいし、周波数スペクトルの変化直線（曲線）の傾きの最大値を算出する方法としてもよいし、周波数スペクトルの強度の最大値と最小値とに基づいて算出する方法としてもよい。また、平坦度算出部１１６が上述の変化度合いを算出する方法は、並べかえた周波数スペクトルにおいて自己相関により解析することによって算出する方法としてもよいし、並べかえた周波数スペクトルを予め設定されたスペクトルパターンと比較することによって算出する方法としてもよい。

（フロアリングスペクトルの推定方法）
上述の図２及び図３を用いた説明においては、フロアリングスペクトル推定部１１３が、フレーム番号４３における音信号の周波数スペクトルをフロアリングスペクトルＦＳとして推定するものとして説明した。しかし、フロアリングスペクトル推定部１１３によるフロアリングスペクトルの推定方法は、これに限られるものではない。

例えば、フロアリングスペクトル推定部１１３は、動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号の周波数スペクトルそれぞれを周波数ビン毎に平均した周波数スペクトルを、フロアリングスペクトルＦＳとして推定してもよい。

また、フロアリングスペクトル推定部１１３は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。

また、フロアリングスペクトル推定部１１３は、動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号の周波数スペクトルの周波数ビン毎のそれぞれの最大値または最小値となる周波数スペクトルを、フロアリングスペクトルＦＳとして推定してもよい。

なお、フロアリングスペクトル推定部１１３は、フロアリングスペクトルＦＳを推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、フロアリングスペクトルＦＳを推定することが望ましい。これは、フロアリングスペクトルＦＳとしては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、フロアリングスペクトルＦＳを生成する音信号のフレームが、フロアリング処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対してのフロアリングスペクトルＦＳとしての適切さも低減するからである。

また、フロアリングスペクトル記憶部１６１に予めフロアリングスペクトルＦＳが記憶されていてもよい。例えば、フロアリングスペクトル記憶部１６１には、収音する装置（例えば撮像装置）が収音（撮影）する場合の周囲の音の状況を示す環境情報、または、撮影モードを示す撮影モード情報と関連付けられて、それぞれの場合に応じたフロアリングスペクトルＦＳが予め記憶されていてもよい。そして、信号処理部１１０は、ユーザにより選択された環境情報または撮影モード情報に関連付けられているフロアリングスペクトルＦＳをフロアリングスペクトル記憶部１６１から読み出し、当該読み出したフロアリングスペクトルＦＳに基づいて、上述の図２、または図３の説明において説明したノイズ低減処理を実行してもよい。

また、ノイズ低減処理を行う信号を揮発性メモリ（不図示）などに記憶させた場合には、発生していたノイズが消失した後の情報に基づいて、フロアリングスペクトルＦＳを算出することも可能となる。

（図２のフレーム番号４７以降に対しての処理について）
上述の図２及び図３を用いた説明においては、信号処理部１１０が、フレーム番号４６の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部１１０は、フレーム番号４６の音信号の場合と同様に、フレーム番号４６よりも後の音信号であるフレーム番号４７以降の音信号に対しても、ノイズ低減処理することができる。

（ノイズの推定について）
また、上述の図２及び図３を用いた説明においては、ノイズ推定部１１４が、フレーム番号４６における音信号の周波数スペクトルＳ４６（図３（ｂ）参照）から、フレーム番号４３における音信号の周波数スペクトル（すなわちフロアリングスペクトルＦＳ）（図３（ａ）参照）を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部１１４が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。

まず、ノイズ推定部１１４は、フレーム番号４３における音信号の周波数スペクトルであるフロアリングスペクトルＦＳに代えて、上記に説明したフロアリングスペクトル推定部１１３がフロアリングスペクトルＦＳを推定する場合の任意の方法により推定されたフロアリングスペクトルＦＳを用いることができる。

また、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６に代えて、タイミング検出部９１により検出された動作部が動作するタイミングに基づいて、動作部が動作しているタイミングにおける複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。例えば、ノイズ推定部１１４は、フレーム番号４６における音信号の周波数スペクトルＳ４６に代えて、フレーム４６、４７という複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。

また、ノイズ推定部１１４は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、フロアリング処理の対象とする音信号のフレーム（開始フレーム）から遠ざかるに従い、軽くなるようにしてもよい。また、ノイズ推定部１１４は、周波数スペクトルＳ４６に代えて、動作部が動作しているタイミングにおける複数のフレームの周波数スペクトルの周波数ビン毎の最大値または最小値となる周波数スペクトルを用いてもよい。なお、フロアリングスペクトルＦＳの場合と同様に、ノイズの周波数スペクトルが、ノイズ記憶部１６２に予め記憶されていてもよい。

（図２におけるフレームについて）
また、図２の説明においては、各フレーム間にはオーバーラップがあるものとして説明した。しかし、これに限られるものではなく、各フレーム間にはオーバーラップがなくてもよい。例えば、互いに隣接するフレームは、フレーム毎に独立するように期間を設定してもよい。

なお、上述の図２及び図３を用いた説明においては、（ａ）動作部が動作するタイミングを示す信号とは無関係に、音信号がフレームに分割されている場合について説明した（図２（ｃ）参照）。

しかしこれに限られるものではなく、信号処理部１１０は、（ａ）動作部が動作するタイミングを示す信号に応じてフレームを分割する位置を制御してもよい。例えば、信号処理部１１０は、（ａ）動作部が動作するタイミングを示す信号がロウレベルからハイレベルに変化するタイミング（図２の符号Ｏ参照）と、音信号のフレームの境界とが一致するように、音信号に対してフレームを生成してもよい。

そして、信号処理部１１０は、動作部が動作するタイミングを示す信号に応じて、動作部が動作する前の期間と、動作部が動作している期間とに基づいて、上述したノイズ低減処理を実行してもよい。

＜収音機能を有する撮像装置の構成例＞
次に、上述した記憶媒体に記憶されている音信号の音を収音した撮像装置の構成の一例について説明する。以下に説明する撮像装置の構成は、収音するためのマイクを備えているとともに、上述した動作部を備え、動作部が動作するタイミングを示す情報を収音して録音した音信号に対応付けて記憶媒体に記憶させるものである。

図９は、収音機能を有する撮像装置４００の構成の一例を示す概略ブロック図である。この図９の撮像装置４００は、撮像部１０と、ＣＰＵ（Central processing unit）９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部６０と、バッファメモリ部３０と、通信部７０と、マイク２１と、Ａ／Ｄ（Analog/Digital）変換部２２と、音信号処理部２３と、バス３００と、を備えている。

撮像部１０は、光学系１１と、撮像素子１９と、Ａ/Ｄ変換部２０とを含み、設定された撮像条件（例えば絞り値、露出値など）に従ってＣＰＵ９０により制御され、光学系１１による光学像を撮像素子１９に結像させて、Ａ/Ｄ変換部２０によってデジタル信号に変換された当該光学像に基づく画像データを生成する。

光学系１１は、ズームレンズ１４と、ＶＲレンズ１３と、ＡＦレンズ１２と、ズームエンコーダ１５と、レンズ駆動部１６と、ＡＦエンコーダ１７と、防振制御部１８と、を備える。

この光学系１１は、ズームレンズ１４、ＶＲレンズ１３、及び、ＡＦレンズ１２を通過した光学像を撮像素子１９の受光面に導く。

レンズ駆動部１６は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ズームレンズ１４またはＡＦレンズ１２の位置を制御する。

防振制御部１８は、後述するＣＰＵ９０から入力される駆動制御信号に基づいて、ＶＲレンズ１３の位置を制御する。この防振制御部１８は、ＶＲレンズ１３の位置を検出していてもよい。

ズームエンコーダ１５は、ズームレンズ１４の位置を表わすズームポジションを検出し、検出したズームポジションをＣＰＵ９０に出力する。

ＡＦエンコーダ１７は、ＡＦレンズ１２の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをＣＰＵ９０に出力する。

なお、上述した光学系１１は、撮像装置４００に取り付けられて一体とされていてもよいし、撮像装置４００に着脱可能に取り付けられてもよい。

撮像素子１９は、例えば、受光面に結像した光学像を電気信号に変換して、Ａ/Ｄ変換部２０に出力する。

また、撮像素子１９は、操作部８０を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、記憶媒体２００に記憶させる。

一方、撮像素子１９は、例えば、操作部８０を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、Ａ/Ｄ変換部２０や画像処理部４０を介して、ＣＰＵ９０及び表示部５０に出力する。

Ａ/Ｄ変換部２０は、撮像素子１９によって変換された電子信号をアナログ／デジタル変換し、この変換したデジタル信号である画像データを出力する。

操作部８０は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、ＣＰＵ９０に出力する。

画像処理部４０は、記憶部１６０に記憶されている画像処理条件を参照して、バッファメモリ部３０、または、記憶媒体２００に記録されている画像データに対して画像処理をする。

表示部５０は、例えば液晶ディスプレイであって、撮像部１０によって得られた画像データや、操作画面などを表示する。

記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件などを記憶する。

マイク２１は、音を収音し、収音した音に応じた音信号に変換する。この音信号は、アナログ信号である。

Ａ／Ｄ変換部２２は、マイク２１によって変換されたアナログ信号である音信号を、デジタル信号である音信号に変換する。

音信号処理部２３は、Ａ／Ｄ変換部２２が変換したデジタル信号である音信号に対して、記憶媒体２００に記憶させるための信号処理を実行する。また、音信号処理部２３は、動作部が動作するタイミングを示す情報を、音信号に対応付けて記憶媒体２００に記憶させる。この動作部が動作するタイミングを示す情報は、例えば、後述するタイミング検出部９１が検出した情報である。
なお、音信号処理部２３が記憶媒体２００に記憶させる音信号は、例えば、動画に関連づけて記憶される音の音信号、記憶媒体２００に記憶されている静止画像に対して音声を付加するために録音された音の音信号、ボイスレコーダとして録音された音の音信号、などである。

バッファメモリ部３０は、撮像部１０によって撮像された画像データや、音信号処理部２３により信号処理された音信号や情報などを、一時的に記憶する。

通信部７０は、カードメモリなどの取り外しが可能な記憶媒体２００と接続され、この記憶媒体２００への情報の書込み、読み出し、あるいは消去を行う。

記憶媒体２００は、撮像装置４００に対して着脱可能に接続される記憶部であって、例えば、撮像部１０によって生成された（撮影された）画像データや、音信号処理部２３により信号処理された音信号や情報を記憶する。

ＣＰＵ９０は、撮像装置４００の全体を制御するが、一例としては、ズームエンコーダ１５から入力されるズームポジション、及び、ＡＦエンコーダ１７から入力されるフォーカスポジションと、操作部８０から入力される操作入力に基づいて、ズームレンズ１４及びＡＦレンズ１２の位置を制御する駆動制御信号を生成する。ＣＰＵ９０は、この駆動制御信号に基づいて、レンズ駆動部１６を介してズームレンズ１４及びＡＦレンズ１２の位置を制御する。

また、このＣＰＵ９０は、タイミング検出部９１を備えている。このタイミング検出部９１は、撮像装置４００が備えている動作部が動作するタイミングを検出する。

ここでいう動作部とは、一例としては、上述したズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２、または、操作部８０のことであり、撮像装置４００が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる（または、音が生じる可能性がある）構成である。

また、この動作部とは、撮像装置４００が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク２１により収音される（または、収音される可能性のある）構成である。

このタイミング検出部９１は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部の動作を制御する制御信号、または、この動作部（例えば、ズームレンズ１４、ＶＲレンズ１３、ＡＦレンズ１２など）を駆動する駆動部（例えば、レンズ駆動部１６、防振制御部１８）を制御する駆動制御信号である。

例えば、タイミング検出部９１は、ズームレンズ１４、ＶＲレンズ１３、または、ＡＦレンズ１２を駆動させるためにレンズ駆動部１６または防振制御部１８に入力される駆動制御信号に基づいて、または、ＣＰＵ９０で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。
また、ＣＰＵ９０が駆動制御信号を生成する場合に、タイミング検出部９１は、ＣＰＵ９０内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部９１は、操作部８０から入力されるズームレンズ１４、または、ＡＦレンズ１２を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

また、このタイミング検出部９１は、動作部が動作したことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。

例えば、タイミング検出部９１は、ズームエンコーダ１５またはＡＦエンコーダ１７の出力に基づいて、ズームレンズ１４またはＡＦレンズ１２が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、タイミング検出部９１は、防振制御部１８からの出力に基づいて、ＶＲレンズ１３が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。
また、このタイミング検出部９１は、操作部８０からの入力に基づいて、操作部８０が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。

そして、タイミング検出部９１は、撮像装置４００が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、音信号処理部２３に出力する。

バス３００は、撮像部１０と、ＣＰＵ９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部１６０と、バッファメモリ部３０と、通信部７０と、音信号処理部２３とに接続され、各部から出力されたデータや制御信号などを転送する。

［第２実施形態］
次に、第４実施形態を説明する。第４実施形態は、第１実施形態、第２実施形態、または、第３実施形態の信号処理装置１００を備えている撮像装置１の例である。

図１０は、第４実施形態に係る撮像装置１の構成の一例を示す概略ブロック図である。この図１０に示す撮像装置１の構成は、図９に示す撮像装置４００が信号処理装置１００をさらに備えている構成である。なお、この図１０において図１または図９の各部に対応する構成には同じ符号をつけておりその説明を省略する。

撮像装置１は、撮像部１０と、ＣＰＵ９０と、操作部８０と、画像処理部４０と、表示部５０と、記憶部６０と、バッファメモリ部３０と、通信部７０と、マイク２１と、Ａ／Ｄ変換部２２と、音信号処理部２３と、信号処理部１１０と、バス３００と、を備えている。この撮像装置１が備える構成のうち、信号処理部１１０と、記憶部６０の一部とが、信号処理装置１００に対応する。

記憶部６０は、ＣＰＵ９０によってシーン判定の際に参照される判定条件や、撮像条件などを記憶するとともに、例えば、図１における記憶部１６０が備えているフロアリングスペクトル記憶部１６１と、ノイズ記憶部１６２と、減算係数決定情報記憶部１６３とを備えていてもよい。

このように構成された撮像装置１は、記憶媒体２００に記憶されている音信号に対して、第１実施形態を用いて説明したノイズ低減処理を実行することができる。ここで、記憶媒体２００に記憶されている音信号は、撮像装置１が収音して記録した音信号であってもよいし、他の撮像装置が収音して記録した音信号であってもよい。

これにより、撮像装置１は、ノイズの推定精度によらず、音信号の周波数スペクトルの平坦度に応じてノイズの減算量を調整することができる。例えば、撮像装置１は、音信号の周波数スペクトルに音声や音楽などの音信号が含まれている場合にはノイズの残存が目立ちにくいことから、推定ノイズスペクトルＮＳの減算量を少なくして減算することができるため、音声や音楽が劣化しないように所定のノイズを低減することができる。

一方、撮像装置１は、音信号の周波数スペクトルに音声や音楽などの音信号が含まれていない場合には、推定ノイズスペクトルＮＳの減算量を多くして減算することができるため、ノイズの残存を抑制することができる。
よって、撮像装置１は、音声や音楽などの劣化を抑制するとともに、音声や音楽などの音信号が含まれていない音信号の場合には（所定のノイズ以外の音信号が少ない場合には）ノイズの残存を抑制することができる。

また、撮像装置１は、周波数スペクトルを複数の帯域に分割し、分割した帯域毎の平坦度に応じて帯域毎に減算係数を決定するため、音声や音楽などの基本周波数成分やその倍音の周波数成分が含まれる帯域と含まれない帯域とのそれぞれの帯域毎に異なる減算係数とすることができる。よって、撮像装置１は、音声や音楽などが含まれる帯域と含まれない帯域とに対してそれぞれ適切にノイズ低減処理を行うことができる。

このように、撮像装置１は、所定のノイズ以外の音信号までもが低減されてしまうことにより（ノイズの過大減算となることにより）生じる音の劣化を抑制することができる。また、撮像装置１は、所定のノイズ以外の音信号が少ない場合にはノイズの過小減算となることを抑制するため、ノイズの残存が発生することを抑制することができる。
すなわち、撮像装置１は、音信号に含まれているノイズを適切に低減することができる。

なお、撮像装置１が、記憶媒体２００に記憶されている音信号に対してのみ、上述した信号処理部１１０によるノイズ低減処理を実行することに限られるものではない。例えば、撮像装置１は、マイク２１により収音された音信号に対して信号処理部１１０によるノイズ低減を実行してから、処理後の音信号を記憶媒体２００に記憶させてもよい。すなわち、撮像装置１は、マイク２１により収音された音信号に対して、リアルタイムに信号処理部１１０によるノイズ低減を実行してもよい。

なお、信号処理部１１０により信号処理された音信号が記憶媒体２００に記憶される場合、撮像素子１９により撮像された画像データと、時間的に関連付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。

以上、第１、第２実施形態を用いて説明してきように、信号処理装置１００または撮像装置１は、音信号に含まれているノイズを適切に低減することができる。

なお、上記の説明においては、音信号に含まれるノイズ（所定のノイズ）として、主に光学系１１が動作することにより生じる音について説明したが、ノイズはこれに限られるものではない。例えば、操作部８０に備えられているボタンなどが押下された場合に生じる音の場合も、同様である。この場合も、操作部８０に備えられているボタンなどが押下されたことを検出する信号が、ＣＰＵ９０のタイミング検出部９１に入力される。よって、タイミング検出部９１は、光学系１１が駆動する場合と同様に、操作部８０などの動作するタイミングを検出する。すなわち、操作部８０などの動作するタイミングを示す情報を、動作部が動作するタイミングを示す情報としてもよい。また、音信号に含まれるノイズ（所定のノイズ）は、動作部が動作することにより生じる音以外の音によるノイズであってもよい。

また、動作部は、光学系１１が備えている各レンズ、または、操作部８０に限られるものではなく、動作することによって音が発生する（或いは音が発生する可能性がある）他の構成であってもよい。例えば、動作部は、ポップアップ時に音が発生するポップアップ式の光源（例えば、撮影用の光源、閃光装置（フラッシュ）など）であってもよい。

また、上記の説明においては、信号処理装置１００または撮像装置１が、撮像装置（例えば撮像装置４００或いは撮像装置１）により収音された音の音信号に対して信号処理部１１０による処理を実行する例について説明したが、撮像装置以外の装置に収音された音の音信号に対して信号処理部１１０による処理を実行してもよい。

また、上記第２実施形態において、信号処理装置１００（信号処理部１１０）が撮像装置１に備えられている構成について説明したが、信号処理装置１００（信号処理部１１０）は、例えば、録音装置、携帯電話、パーソナルコンピュータ、タブレット型端末、電子玩具、または、通信端末などの他の装置に備えられていてもよい。

なお、上述の信号処理部１１０、または、この信号処理部１１０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリ及びマイクロプロセッサにより実現させるものであってもよい。

なお、上述の信号処理部１１０、または、この信号処理部１１０が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この信号処理部１１０、または、この信号処理部１１０が備える各部はメモリ及びＣＰＵ（中央演算装置）により構成され、信号処理部１１０、または、この信号処理部１１０が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

また、上述の信号処理部１１０、または、この信号処理部１１０が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号処理部１１０、または、この信号処理部１１０が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。

１ 撮像装置、１００ 信号処理装置、１１０ 信号処理部、１１１ 変換部、１１５ ノイズ低減部（減算部）、１１６ 平坦度算出部（算出部）、１１７ 減算係数決定部（決定部）

Claims (7)

1. 音信号を周波数領域信号に変換する変換部と、
   前記音信号の周波数領域信号の周波数成分の大きさの平坦度を算出する算出部と、
   前記音信号の周波数領域信号からノイズの周波数領域信号を減算する際の減算係数を、前記算出部が算出した前記平坦度に基づいて決定する決定部と、
   前記決定部が決定した前記減算係数に応じて、前記音信号の周波数領域信号からノイズの周波数領域信号を減算する減算部と、
   を備えることを特徴とする信号処理装置。
2. 前記算出部は、
   前記音信号の周波数領域信号を複数の帯域に分割し、分割した帯域毎に前記平坦度を算出し、
   前記決定部は、
   前記算出部が算出した前記分割した帯域毎の前記平坦度に基づいて、前記分割した帯域毎の前記減算係数を決定し、
   前記減算部は、
   前記決定部が決定した前記分割した帯域毎の前記減算係数に応じて、前記音信号の周波数領域信号から前記ノイズの周波数領域信号を前記分割した帯域毎に減算する
   ことを特徴とする請求項１に記載の信号処理装置。
3. 前記決定部は、
   前記平坦度に基づいて、前記周波数成分の大きさが平坦なほど前記減算係数を減算量が大きくなる値とし、前記周波数成分の大きさの起伏が激しいほど前記減算係数を減算量が小さくなる値とする
   ことを特徴とする請求項１または２に記載の信号処理装置。
4. 前記算出部は、
   前記周波数スペクトルの相加平均及び相乗平均に基づいて、前記平坦度を算出する
   ことを特徴とする請求項１から３の何れか一項に記載の信号処理装置。
5. 前記算出部は、
   前記音信号の周波数領域信号の基本周波数スペクトルに基づいて、前記音信号の周波数領域信号を分割する際の帯域幅を設定する
   ことを特徴とする請求項２に記載の信号処理装置。
6. 請求項１から５の何れか一項に記載の信号処理装置、
   を備えることを特徴とする撮像装置。
7. コンピュータに、
   音信号を周波数領域信号に変換するステップと、
   前記音信号の周波数領域信号の周波数成分の大きさの平坦度を算出するステップと、
   前記音信号の周波数領域信号からノイズの周波数領域信号を減算する際の減算係数を、前記平坦度に基づいて決定するステップと、
   前記減算係数に応じて、前記音信号の周波数領域信号からノイズの周波数領域信号を減算するステップと、
   を実行させるためのプログラム。

Images