JP2014225731A - 信号処理装置、撮像装置、及び、プログラム - Google Patents

Abstract

【課題】ノイズを適切に低減することができる信号処理装置、撮像装置、及び、プログラムを提供する。【解決手段】本発明の信号処理装置は、入力された音情報から特定音の発生区間を検出する区間検出部と、前記区間検出部によって検出された前記発生区間に含まれる前記特定音の特徴量を検出する特徴量検出部と、入力された音情報に対してノイズ低減処理を行うノイズ低減処理部とを備え、前記ノイズ低減処理部は、前記発生区間と前記特定音の特徴量とに基づいて前記ノイズ低減処理の方法を変更する。【選択図】図１

Description

本発明は、信号処理装置、撮像装置、及び、プログラムに関する。

動画撮影が可能な撮像装置において動画撮影時には、オートフォーカスレンズの駆動部の動作に伴い発生する動作音（以下、ＡＦノイズという）等のノイズが、マイク等の収音装置により収音され、被写体の発する音声等の目的音に混入し、目的音の品質を損なうことがある。
このようなＡＦノイズを低減する方法として、ＡＦ駆動部の動作前に入力される音声信号のパワー値を取得し、この音声信号のパワー値に基づいてフロアリング係数を変化させることにより、ノイズを除去する方法が提案されている（例えば、特許文献１参照）。

特開２００８−２５２３８９号公報

しかし、特許文献１によるノイズ低減処理の場合は、ＡＦノイズを低減することができる反面、音信号を多く減算してしまい、音声信号を劣化させる可能性があった。

本発明の課題は、ノイズを適切に低減することができる信号処理装置、撮像装置、及び、プログラムを提供することである。

本発明は、以下のような解決手段により前記課題を解決する。
本発明の第一の態様に係る信号装置は、入力された音情報から特定音の発生区間を検出する区間検出部と、前記区間検出部によって検出された前記発生区間に含まれる前記特定音の特徴量を検出する特徴量検出部と、入力された音情報に対してノイズ低減処理を行うノイズ低減処理部とを備え、前記ノイズ低減処理部は、前記発生区間と前記特定音の特徴量とに基づいて前記ノイズ低減処理の方法を変更することを特徴とする。
また本発明の他の態様に係るプログラムは、コンピュータに、入力された音情報から特定音の発生区間を検出する区間検出ステップと、前記区間検出ステップにおいて検出された前記発生区間に含まれる前記特定音の特徴量を検出する特徴量検出ステップと、入力された音情報に対してノイズ低減処理を行うノイズ低減処理ステップとを実行させるプログラムであって、前記ノイズ低減処理ステップは、前記発生区間と前記特定音の特徴量とに基づいて前記ノイズ低減処理の方法を変更することを特徴とする。

本発明によれば、ノイズを適切に低減することができる信号処理装置、撮像装置、及び、プログラムを提供できる。

本発明の第１実施形態を適用した撮像装置の構成を示すブロック図である。 ＡＦ動作時における各部の信号出力例である。 音声波形を示す図である。 図３に示す音声波形の自己相関関数を説明する図である。 音声区間検出の説明図である。 図３に示す音声波形をＦＦＴ処理した周波数スペクトルを示す図である。 周波数領域選択減算処理における周波数ビンの選択例を示す図である。 処理する音信号の説明図である。 図８における区間Ａの周波数スペクトル図である。 図８における区間Ｂの周波数スペクトル図である。 フロアリングスペクトル図である。 図８における区間Ｃの周波数スペクトル図である。 推定ノイズの周波数スペクトル図である。 図８における区間Ｃのスペクトル減算後の周波数スペクトル図である。 図１４に示す周波数スペクトルをフロアリングした周波数スペクトル図である。 図８に示す区間Ｄの周波数スペクトル図である。 図８における区間Ｄのスペクトル減算後の周波数スペクトル図である。 図８における区間Ｄに対するノイズ低減処理後の周波数スペクトル図である。 ノイズ低減処理動作のフローを示すフローチャートである。 本発明の第２実施形態を適用した信号処理装置の構成を示すブロック図である。

（第１実施形態)
以下、図面等を参照して、本発明の第１実施形態について説明する。図１は、本発明の第１実施形態を適用した撮像装置１００の構成を示すブロック図である。

図１に示すように、撮像装置１００は、カメラ本体１１０と、レンズ鏡筒１２０と、を備える。
カメラ本体１１０は、レンズ鏡筒１２０を通過した被写体像を撮像してＡ／Ｄ変換すると共に、画像処理して画像データを生成する画像処理部１３０と、収音した音情報をＡ／Ｄ変換すると共にノイズ低減処理する音情報処理部１４０と、画像処理部１３０で得られた画像データ及び音情報処理部１４０で得られた音声信号を記録する記録部１５０と、制御部１６０と、を備える。

レンズ鏡筒１２０は、図示しない結像光学系と、焦点調整（以下、ＡＦ（Auto Focus）と称する）機構部１２１と、手振れ補正（以下、ＶＲ（Vibration Reduction）と称する）レンズ１２２Ｌを備えるＶＲユニット１２２と、を備える。

ＡＦ機構部１２１は、結像光学系の構成要素であるＡＦレンズ１２１Ｌ，ＡＦ駆動用モータ１２１ＭおよびＡＦエンコーダ１２１Ｅを備える。
ＡＦ駆動用モータ１２１Ｍは、カメラ本体１１０における制御部１６０から入力されるＡＦレンズ１２１Ｌの位置を制御するための駆動制御信号に応じて、ＡＦレンズ１２１Ｌを移動駆動する。
ＡＦエンコーダ１２１Ｅは、ＡＦレンズ１２１Ｌの位置を検出してカメラ本体１１０における制御部１６０に出力する。

カメラ本体１１０における制御部１６０は、ＣＰＵを備えて構成され、設定された撮像条件（例えば、絞り値、露出値等）に応じてレンズ鏡筒１２０を制御する。

制御部１６０は、例えば、ＡＦエンコーダ１２１Ｅから入力されるフォーカスポジションと、操作部から入力される操作入力に基づいて、ＡＦレンズ１２１Ｌの位置を制御する駆動制御信号を生成する。
制御部１６０は、この駆動制御信号に基づいて、ＡＦエンコーダ１２１Ｅを介して、ＡＦレンズ１２１Ｌの位置を制御する。

つぎに、音情報処理部１４０について詳細に説明する。
音情報処理部１４０は、マイク１４１と、マイク１４１によって収音されＡ／Ｄ変換された音情報を処理する音信号処理部１４２と、ノイズ低減処理部１４３と、を備える。
そして、以下に説明するように、マイク１４１が収音した（マイク１４１から入力された）音情報に対して、音信号処理部１４２におけるノイズタイミング検出部１４５によるＡＦ駆動区間の検出結果と、音声区間検出部１４６による音声区間の検出結果と、音声特徴量検出部１４７により求めた音声の特徴量(基本周波数ｆ０)に基づいて、ノイズ低減処理部１４３がノイズ低減処理を行い、記録部１５０に出力する。

音信号処理部１４２は、ＡＦ駆動用モータ１２１ＭにおけるＡＦ動作ノイズの発生タイミングを検出するノイズタイミング検出部１４５と、マイク１４１により収音された音情報から音声区間を検出する音声区間検出部１４６と、音声区間検出部１４６で検出された音声区間の音情報から音声の特徴量(基本周波数ｆ０)を求める音声特徴量検出部１４７を備える。

ノイズタイミング検出部１４５はＡＦ駆動用モータ１２１Ｍの動作情報から、ＡＦ動作ノイズの発生するタイミング（ＡＦ駆動区間）を検出する。ノイズタイミング検出部１４５は、たとえば、以下のようにしてＡＦ駆動区間の検出を行う。

図２は、ＡＦ動作時（ＡＦ駆動用モータ１２１Ｍ駆動時）における各部の信号出力例であり、（ａ）は制御部１６０からのＡＦ駆動コマンド出力、（ｂ）はＡＦエンコーダ１２１Ｅの出力、（ｃ）はマイク出力を示している。

図２に示すように、ＡＦ駆動コマンドの出力によってＡＦ駆動用モータ１２１Ｍが作動すると、ＡＦ駆動コマンドの出力時刻であるＡＦ駆動用モータ１２１Ｍの動作開始時刻ｔ１から動作終了時刻ｔ３まで連続して駆動音（ＡＦ動作ノイズ）が発生する。マイク１４１によって集音された音情報には、このＡＦ動作ノイズが記録目的音（被写体の音声および背景音等）に重畳している。
なお、図２では、説明を簡略にするため、ＡＦ動作ノイズのみを示している。また、後述するノイズ低減処理部１４３においてノイズ低減処理を行うために所定の窓サイズに分割したデータ毎にＦＦＴ処理を行う。実際はオーバーラップした窓がけを行うが、説明を簡略にするため、オーバーラップを省略して図示した。

ノイズタイミング検出部１４５は、ＡＦ駆動用モータ１２１Ｍの駆動音（ＡＦ動作ノイズ）の発生タイミング（ＡＦ駆動区間）を、カメラ本体１１０における制御部１６０からレンズ鏡筒１２０のＡＦ機構部１２１（ＡＦ駆動用モータ１２１Ｍ）に対して送るＡＦ駆動コマンド、およびレンズ鏡筒１２０におけるＡＦ機構部１２１に設けられたＡＦエンコーダ１２１Ｅの出力、を用いて推定する。

なお、駆動方向反転時には、ＡＦ駆動開始（ＡＦ駆動コマンドの出力時刻：ｔ１）より遅れたｔ２でエンコーダが検出情報を出力する場合があり、その場合はＡＦコマンド出力のタイミングで駆動開始時を推定したほうが正確なタイミングを得られる。
この場合、コマンド出力のｔ１で駆動開始を推定し、エンコーダ出力のｔ３で駆動停止時を推定する。すなわち、ＡＦ駆動コマンドの出力時刻ｔ１からＡＦエンコーダ１２１Ｅの出力停止ｔ３までをＡＦ駆動区間として検出し、それ以外を非ＡＦ駆動区間として検出する。

なお、タイミング検出部１４５が検出する動作部のタイミングは、上述のように、ＡＦ駆動用モータ１２１Ｍの動作情報による、ＡＦ動作ノイズの発生するタイミングに限定されず、カメラ本体１１０が備える動作部の、その他の動作タイミングであってもよい。

動作部とは、例えば、上述のＶＲレンズ１２２Ｌ、ＡＦレンズ１２１Ｌや、図示しないズームレンズや操作部であり、カメラ本体１１０が備えている構成のうち、動作により、音を生じる構成である。駆動部とは、動作部を駆動する防振制御部１２２Ｍ、ＡＦモータ１２１Ｍ等である。制御信号とは、動作部の動作を制御する制御信号、または、駆動部を制御する駆動制御信号である。

そして、タイミング検出部１４５は、動作部を動作させる制御信号、動作部を駆動させるために駆動部に入力される駆動制御信号、制御部１６０で生成される駆動制御信号、制御部１６０が駆動制御信号を生成する場合に制御部１６０内部で実行される処理やコマンド、操作部から入力される駆動部を駆動させることを示す信号等により動作部が動作するタイミングを検出してもよい。

音声区間検出部１４６は、マイク１４１により収音された音情報から音声区間を検出する。音声区間検出部１４６は、たとえば、マイク１４１により収音された音情報から、音声信号の含まれる区間（音声区間）と、それ以外の区間（音声が発生していない区間）とを、自己相関関数のピーク値に基づいて判別する。なお、ここでは音声信号の含まれる区間の検出に自己相関関数のピーク値を用いるが、これ以外の方法を用いてでも良い。
以下に、この音声区間検出部１４６による音声区間検出の概要を説明する。

図３は、音声波形を示している。この音声波形の任意の一部を切り出して自己相関関数を求めると、図４に示すような波形となる。この図４からわかるように、音声の基本周波数に対応したピークがあり、このピークの大きさによって音声か音声でないかを区別することができる。

図５は、音声区間の検出例である。（ａ）は、マイク１４１の出力波形，（ｂ）は、自己相関関数のピークに閾値を設け、閾値以上の部分をＨｉｇｈの表示にしたものである。
図５（ａ）に示すように、マイク１４１出力波形の前半には、ＡＦ動作ノイズが発生しており、後半には音声とＡＦ動作ノイズが発生している。これに対して、自己相関関数のピークに閾値を設け、閾値以上の部分を検出することで、（ｂ）に示すように音声位置と一致した音声区間を検出することができる。

また、音声特徴量検出部１４７は、図４に示す自己相関関数から、後述するノイズ低減処理部１４３において利用するために、音声区間であると判断された音信号（時間領域音情報）から音声の特徴量として基本周波数ｆ０を求める。
基本周波数ｆ０は、自己相関関数における基本周波数に関連する最初のピークのラグと、サンプリング周波数と、に基づいて算出する。

すなわち、図４において、基本周波数に関連する最初のピークのラグをτ０、サンプリング周波数をｆｓとすると、ｆ０＝ｆｓ／τ０となる。例えばサンプリング周波数ｆｓ＝４８ｋＨｚ、ラグτ０＝４００とすると、基本周波数ｆ０＝４８０００／４００＝１２０Ｈｚとなる。

ノイズ低減処理部１４３は、ＡＦ動作ノイズを低減処理する。
以下に、このノイズ低減処理部１４３によるＡＦ動作ノイズを低減処理の概要を説明する。
ノイズ低減処理部１４３は、ノイズの周波数スペクトル（推定ノイズスペクトル）に基づいて、音信号にスペクトル減算（Spectral Subtraction）処理することにより、音信号のノイズを低減させる処理を行う。

スペクトル減算処理は、まず、時間領域音信号を予め決められた区間毎に分割して窓関数で重み付けする共に、この区間毎の音データを高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）して周波数領域の振幅情報と位相情報を求め、周波数スペクトルを得る。
そして、その各周波数領域の振幅情報から推定ノイズ成分を減じ、処理後の周波数スペクトルに対して高速逆フーリエ変換（ＩＦＦＴ：Inverse Fast Fourier Transform）を行なって時間領域に変換するものである。ＦＦＴ時に求めた位相情報は、ＩＦＦＴ時に使用する。

推定ノイズスペクトルは、たとえば、図２に示す動作ノイズ発生前の区間Ｘの周波数スペクトルにおける各周波数領域の振幅成分と、動作ノイズ発生後の区間Ｙの周波数スペクトルにおける各周波数領域の振幅成分と、を比較することで生成する。この推定ノイズスペクトルは、随時更新する。

ノイズ低減処理部１４３は、たとえば、４８ｋＨｚサンプリングで求めた時間領域音データについて、１フレーム４０９６サンプルのＦＦＴ処理を行う。ＦＦＴ時にはハニングウィンドウ処理を行い、隣のフレームとは１／２オーバーラップするようにＦＦＴ処理を行う。
図３の音声波形をＦＦＴ処理すると、図６の周波数スペクトルが得られる。音声の特徴である調波構造が見られ、基本周波数ｆ０およびその高調波が見られる。

ここで、ノイズ低減処理部１４３は、ＡＦ動作ノイズの発生区間（ＡＦ駆動区間）であって、且つ、音声区間である場合には、音声の劣化を回避するために、周波数領域を選択してスペクトル減算処理（以下、これを周波数選択減算処理と称する）を行う。
周波数領域選択減算処理は、音声の基本周波数に基づいて周波数領域（周波数ビン）を選択し、その選択した周波数ビンの成分は減算処理を行わず、それ以外の周波数ビンの成分に対してのみ減算処理を行うものである。この周波数領域選択減算処理については、後に詳述する。

さらに、ノイズ低減処理部１４３は、前述したスペクトル減算で引きすぎて減少または無くなってしまうスペクトルを補正するために、フロアリング処理を行う。
フロアリング処理は、周波数毎に減算後のスペクトルとフロアリングスペクトルの大きさを比較し、フロアリングスペクトルを下回っている場合はフロアリングスペクトルを採用する処理を行い、減算後のスペクトルの下限値をフロアリングスペクトルとする。ただし、減算前のスペクトルがフロアリングスペクトルを下回っている場合は、その周波数スペクトルについてはフロアリング処理を行わない。
フロアリングスペクトルは、ＡＦ駆動区間と音声区間の検出結果に基づいて、ＡＦノイズと音声がない区間から推定し、ＡＦノイズスペクトルや音声スペクトルを含まないようにする。

つぎに、ノイズ低減処理部１４３による周波数領域選択減算処理について、詳細に説明する。
周波数領域選択減算処理は、音声の基本周波数ｆ０の１以上ｎ以下の整数倍（ｆ０、ｆ０×２、ｆ０×３、・・・、ｆ０×ｎ）を含む周波数ビンを選択し、その周波数ビンの成分に対しては減算処理を行わず、それ以外の周波数ビンの成分に対してのみ減算処理を行う。

音声の基本周波数ｆ０は、前述したように、音声特徴量検出部１４７によって、音声区間検出部１４６で音声区間であると判断された音信号から求められる。ここでは、たとえば、基本周波数ｆ０＝１２０Ｈｚとして説明する。
選択する周波数ビンは、基本周波数ｆ０の整数倍の周波数に最も近いＦＦＴ周波数のものとする。しかし、音声成分は隣接する周波数ビンにも含まれるため、その前後のビンも加えて（たとえば計３個）選択することが好ましい。また、選択するビンは、より近い側のビンと２個とする等、適宜変更可能である。

図７は、サンプリング周波数４８ｋＨｚ、ＦＦＴのフレーム長４０９６点のＦＦＴを行った場合における、周波数ビンの選択例を示す。ＦＦＴの周波数分解能は１１．７Ｈｚである。基本周波数ｆ０に乗ずる整数ｎは、１〜２０（途中省略）である。なお、整数ｎは、２０に限らず適宜選択可能であるが、少なくとも５程度とするのが好ましい。

この図７に示す例では、基本周波数ｆ０＝１２０Ｈｚの整数倍に最も近いＦＦＴ周波数ビンを選択すると共に、その前後の合計３個のビンを選択している。すなわち、ｆ０＝１２０Ｈｚに対応する周波数ビンとしてビンNo.９，１０，１１のビンを、ｆ０×２＝２４０Ｈｚに対応する周波数ビンとしてビンNo.１９，２０，２１のビンを選択している。ここではｎが１〜２０であるために、合計６０個の周波数ビンを選択している。

ノイズ低減処理部１４３は、上述したように、周波数領域選択減算処理においては、選択した周波数ビンの成分は減算処理をせず、それ以外の周波数ビンの成分に対しては減算処理を行う。これにより、音声に含まれる調波構造の周波数スペクトルは保存されることとなり、その結果、スペクトル減算処理による音声の劣化を抑制することができる。

なお、本実施形態では、音声の基本周波数ｆ０は時間領域音情報から求め、その情報を周波数領域音データで使用しているが、ＦＦＴ後の周波数領域音情報から基本周波数ｆ０を求めても良い。
しかし、本実施例のように基本周波数を時間領域音情報から求めるほうが桁違いに高い周波数分解能を得られ、より好ましい。すなわち、本実施例のサンプリング周波数ｆｓ＝４８ｋＨｚ、基本周波数ｆ０＝１２０Ｈｚの場合、自己相関関数がピークとなるラグは４００なので、基本周波数を求める際の周波数分解能Δｆ１＝４８０００／３９９−４８０００／４００＝０．３Ｈｚとなる。
一方、ＦＦＴ後の周波数領域音情報から基本周波数ｆ０を求める場合は、基本周波数を求める際の周波数分解能Δｆ２はＦＦＴの周波数分解能と同じ１１．７Ｈｚとなり、周波数分解能は低くなる。

つぎに、上述したノイズ低減処理部１４３による音声の基本周波数を用いたスペクトル減算処理の具体例を、図８〜図１８を参照して説明する。
図８は、処理音例を説明する図である。図９は、図８における区間Ａの周波数スペクトル図である。図１０は、図８における区間Ｂの周波数スペクトル図である。図１１は、フロアリングスペクトル図である。図１２は、図８における区間Ｃの周波数スペクトル図である。図１３は、推定ノイズ周波数スペクトル図である。図１４は、図８における区間Ｃのスペクトル減算後の周波数スペクトル図である。図１５は、図１４に示す周波数スペクトルをフロアリングした周波数スペクトル図である。図１６は、図８に示す区間Ｄの周波数スペクトル図である。図１７は、図８における区間Ｄのスペクトル減算後の周波数スペクトル図である。図１８は、図８における区間Ｄに対するノイズ低減処理後の周波数スペクトル図である。
なお、本例における各周波数スペクトル図は、８個の周波数ビン（ｆ１〜ｆ８）を備えているものとする。

図８において、区間Ａは背景音のみ、区間Ｂは背景音と音声、区間Ｃは背景音とＡＦノイズ、区間Ｄは背景音とＡＦノイズが発生しているものとする。この、区間Ｃおよび区間Ｄの時間領域音データをノイズ低減処理する例を説明する。なお、説明を簡単にするために、音声の基本周波数ｆ０をｆ３とし、基本周波数の２倍の周波数はｆ６とする。また、スペクトル減算を行わない周波数スペクトルはｆ３，ｆ６のみとする。また、推定ノイズ更新処理は省略して説明する。

図８において、ＡＦノイズが発生する直前の区間は区間Ｂ（図１０に周波数スペクトルを示す）であるが、区間Ｂは音声区間であるため、フロアリングスペクトルの推定には使用しない。そのため、区間Ｂの直前の、区間Ａの周波数スペクトル（図９に示す）からフロアリングスペクトルを推定する。この例では、区間Ａのスペクトルを１／２にしたものをフロアリングスペクトル（図１１に示す）とする。

図８に示す区間Ｃ（図１２に周波数スペクトルを示す）は、ＡＦ区間であるのでスペクトル減算処理を行うが、音声区間でもあるため、音声に含まれる周波数成分（ｆ３およびｆ６）を保存する周波数領域選択減算処理を行う。すなわち、ｆ３、ｆ６以外のスペクトル成分から推定ノイズスペクトル（図１３に周波数スペクトルを示す）の成分を減算すると、図１４に示す周波数スペクトルになる。その後、フロアリングを行うと、図１５に示すノイズ低減処理後の周波数スペクトルになる。

一方、図８に示す区間Ｄ（図１６に周波数スペクトルを示す）は、ＡＦ区間であるが音声区間ではないため、通常のスペクトル減算を行う。すなわち、図１６に示す周波数スペクトルの各周波数成分から図１３に示す推定ノイズの周波数スペクトルの各周波数成分をそれぞれ減算して図１７に示す周波数スペクトルとし、これに対してフロアリングを行って、図１８に示すノイズ低減処理後の周波数スペクトルを得る。

上記のように、撮像装置１００の音情報処理部１４０は、音信号処理部１４２におけるノイズタイミング検出部１４５によるＡＦ駆動区間の検出結果と、音声区間検出部１４６による音声区間の検出結果と、音声特徴量検出部１４７により求めた音声の基本周波数ｆ０に基づいて、マイク１４１が収音した（マイク１４１から入力された）音情報に対するノイズ低減処理部１４３における処理を変更（通常のスペクトル減算処理または周波数領域選択減算処理）する。

すなわち、音声区間でなく、ＡＦ駆動区間でもない場合には、ＡＦ駆動区間でないのでノイズ低減処理を行わず、フロアリングスペクトルの更新のみを行う。
このように、フロアリングスペクトルの更新は、ＡＦ駆動区間および音声区間の判断に基づいて、ＡＦノイズや音声を含まない背景音のみが発生している音情報を用いて行う。
これは、もし、ＡＦ動作ノイズが含まれた音情報でフロアリングスペクトルを更新すると、フロアリングスペクトルにＡＦノイズのスペクトルが含まれてしまい、フロアリング処理でＡＦノイズスペクトルが付加され、低減処理後の音にＡＦノイズが含まれてしまうことによる。
また、同様に、音声が含まれた音情報でフロアリングスペクトルを更新すると、フロアリングスペクトルに音声のスペクトルが含まれるため、フロアリング処理で音声スペクトルが付加され、処理後の音に本来無い音声が生じてしまう。

一方、音声区間であって、且つ、ＡＦ駆動区間である場合には、音情報には音声が含まれているため、ノイズ推定は行わず、周波数選択減算処理を行う。ノイズ推定を行わない理由は、音声が含まれた音情報を用いてノイズ推定を行うと、推定ノイズスペクトルに音声スペクトルが含まれるため、その後のスペクトル減算で減算されるスペクトル（目的音＋ノイズ）から音声スペクトルを減算してしまい、目的音に含まれる音声を劣化させてしまうことによる。

また、音声区間であり、ＡＦ駆動区間でない場合には、ＡＦ駆動区間でないのでノイズ低減処理を行わない。また、音声区間であることからフロアリングスペクトルの更新を行わない。
さらに、音声区間でなく、ＡＦ区間である場合には、ノイズ推定を行い、通常のスペクトル減算処理を行うものである。

つぎに、本実施形態の撮像装置１００の音情報処理部１４０によるノイズ低減処理動作（ノイズ低減方法）を、図１９に示すフローチャートに沿って説明する。なお、図１９および以下の説明において、ステップを「Ｓ」とも略記する。

音情報処理部１４０は、マイク１４１から音信号が出力されると、その音情報に対して、音信号処理部１４２のノイズタイミング検出部１４５が、ＡＦ駆動用モータ１２１ＭにおけるＡＦ動作ノイズの発生タイミングの検出（ＡＦ駆動区間の検出）を開始する（Ｓ０１）。

また、音声区間検出部１４６が、音情報に対して、音声区間の検出を開始する（Ｓ０２）。
このステップ０２では、音声区間検出部１４６は、前述したように、音声信号の含まれる区間（音声区間）と、それ以外の区間（音声が発生していない区間）とを、たとえば、自己相関関数のピーク値に基づいて判別する。
音声特徴量検出部１４７は、音声区間であると判断された音信号について音声の基本周波数ｆ０を求める。この基本周波数ｆ０は、後述するステップ１０に送られ、周波数領域選択減算処理に用いられる。

ついで、ノイズ低減処理部１４３が、時間領域音信号を予め決められた区間毎に分割して窓関数で重み付けすると共に、この区間毎の音データをたとえば高速フーリエ変換（ＦＦＴ）して周波数領域の振幅情報と位相情報を求め、周波数スペクトルを得る（Ｓ０３）。
このステップ０３で得られた周波数領域の振幅情報（周波数スペクトル）は続くステップ０４に送られ、位相情報は後述するステップ１２における高速逆フーリエ変換（ＩＦＦＴ）に用いられる。

ここで、ノイズタイミング検出部１４５の検出結果に基づいて、ＡＦ動作ノイズの発生タイミングであるか否か（ＡＦ駆動区間であるか否か）を判断する（Ｓ０４）。
ステップ０４において、ＡＦ駆動区間であると判断された場合（Ｙｅｓ）にはステップ０５に進み、ＡＦ駆動区間でないと判断される（Ｎｏ）とステップ０６に進む。

ステップ０６では、音声区間検出部１４６によって音声区間として検出されているか否かを判断し、音声区間であると判断された場合（Ｙｅｓ）には、ＡＦ区間でないのでノイズ低減処理（スペクトル減算処理，フロアリング処理）を行わず、後述するステップ１２に進む。
ステップ０６において、音声区間でないと判断された場合（Ｎｏ）には、ＡＦ駆動区間でなく音声区間でもないので、フロアリングスペクトルを更新し（Ｓ０７）、後述するステップ１２に進む。

一方、ステップ０４においてＡＦ動作ノイズの発生タイミングであると判断された場合には、ステップ０５において音声区間検出部１４６によって音声区間として検出されているか否かを判断する。

ステップ０５において音声区間でないと判断される（Ｎｏ）と、推定ノイズの更新を行い（Ｓ０８）、通常のスペクトル減算処理を行う（Ｓ０９）。
また、ステップ０５において音声区間であると判断された場合（Ｙｅｓ）には、推定ノイズの更新を行うことなく、周波数領域選択減算処理を行う（Ｓ１０）。
このように、推定ノイズの更新を行わないで周波数領域選択減算処理を行うのは、前述したように、音声区間であって、且つ、ＡＦ駆動区間であるの場合は、当該音情報には音声が含まれており、その音声の劣化を防ぐためである。また、周波数領域選択減算処理では、音声に含まれる調波構造の周波数スペクトルが保存されるため、スペクトル減算による音声の劣化を防止できる。

ステップ０９によるスペクトル減算処理、または、ステップ１０による周波数領域選択減算処理の後、フロアリング処理を行う（Ｓ１１）。
前述したように、フロアリング処理は、スペクトル減算処理により、周波数スペクトルが著しく減少したり、消失したりする場合があるので、これに対応するものである。ここで用いるフロアリングスペクトルは、ＡＦ駆動区間と音声区間の検出結果に基づいてＡＦノイズと音声がない区間から、前述したステップ０７において求めたものである。

そして、ステップ１１においてフロアリング処理が行われた後の周波数スペクトル、または、ステップ０４においてＡＦ駆動区間でないと判断されてステップ０６またはステップ０７における処理を終えた周波数スペクトルに対して、ステップ０３における高速フーリエ変換（ＦＦＴ）処理の際に求められた位相情報を用いて、高速逆フーリエ変換（ＩＦＦＴ）処理を行ない（Ｓ１２）、時間領域に変換して記録部１５０に出力する。

以上、本実施形態によると、以下の効果を有する。
（１）ノイズ低減処理部１４３は、マイク１４１が収音した音情報に対して、ＡＦ動作ノイズの発生区間（ＡＦ駆動区間）であって、且つ、音声区間である場合には、音声の基本周波数に基づいて周波数領域を選択してスペクトル減算処理（周波数選択減算処理）を行う。これにより、音情報に含まれる音声の劣化を抑えてノイズ低減を行うことができる。

（２）ノイズ低減処理部１４３は、音信号処理部１４２における音声区間検出部１４６が音声区間であると判断された時間領域音情報から音声特徴量検出部１４７が求めた音声の基本周波数に基づいて、周波数領域を選択してスペクトル減算処理（周波数選択減算処理）を行う。これにより、高い周波数分解能を得られ、周波数領域の選択を高精度で行うことが可能となる。その結果、ノイズ低減効果への影響を少なく抑えて音声の劣化を抑制できる。

(第２実施形態)
以下、図面等を参照して、本発明の第２実施形態について説明する。図２０は、本発明の第２実施形態の信号処理装置２００の構成を示すブロック図である。信号処理装置２００は、例えば、入力された音信号５００に対して信号処理を実行し、処理後の音信号５１０を出力する。この、音信号５００は、例えば、記憶媒体３００に記録されている。また音信号５００は、外部機器からデータを入力するための入力部（音声データを受信するためのインターフェース等）を介して入力されてもよい。また、この入力部は、音信号５１０を出力する出力部と一体的（音声データを送受信するためのインターフェース等）に構成されてもよい。
ここで、記憶媒体３００とは、例えば、フラッシュメモリカード、磁気ディスク、光学ディスクなどの可搬媒体である。また、記憶媒体３００に代えて、フラッシュメモリを搭載してＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタを介して接続可能なＵＳＢメモリ、またはハードディスクなどの記憶装置であってもよい。ＵＳＢメモリを上記した入力部に接続し、ＵＳＢメモリで記憶されたデータを信号処理装置２００に入力してもよい。

記憶媒体３００には、例えば、音を録音する機能を有する装置により収音されて録音された音の音信号が記憶されている。また、記憶媒体３００には、音信号が収音された装置の動作部を動作させる制御信号等のタイミング情報も、その音信号と対応付けられて記録されている。

信号処理装置２００は、マイク１４１を備えていない以外、第１実施形態の音情報処理部１４０と同様であり、音信号処理部２４２と、ノイズ低減処理部２４３とを備える。

ノイズタイミング検出部２４５は、記憶媒体３００に記憶されているタイミング情報より、音信号５００におけるノイズの発生タイミングを検出する。
音声区間検出部２４６は、第１実施形態の音声区間検出部１４６と同様の機能を有し、記憶媒体３００を介して入力された音信号５００から、音声信号の含まれる区間（特定音発生区間）と、音声信号が含まれていない区間（特定音が発生していない区間）とを、自己相関関数のピーク値に基づいて判別する。
音声特徴量検出部２４７は、第１実施形態の音声特徴量検出部１４７と同様の機能を有し、ノイズ低減処理部２４３において利用するために、音声区間であると判断された音信号から音声の特徴量として基本周波数ｆ０を求める。

そして、ノイズ低減処理部２４３は、記憶媒体３００を介して入力された音信号５００に対して、（１）ノイズタイミング検出部２４５により検出されたノイズの発生タイミングをもとにノイズ発生期間と判定され、且つ、（２）音声区間検出部２４６により音声区間と判別された場合、音声の基本周波数に基づいて周波数領域を選択してスペクトル減算処理（周波数選択減算処理）を行い処理後の音信号５１０を出力する。
これにより、第１実施形態と同様に音情報に含まれる音声の劣化を抑えてノイズ低減を行うことができる。

また、ノイズ低減処理部２４３は、音信号処理部２４２における音声区間検出部２４６により音声区間であると判断された時間領域音情報から、音声特徴量検出部２４７が求めた音声の基本周波数に基づいて、周波数領域を選択してスペクトル減算処理（周波数選択減算処理）を行う。
これにより、第１実施形態と同様に、高い周波数分解能を得られ、周波数領域の選択を高精度で行うことが可能となる。その結果、ノイズ低減効果への影響を少なく抑えて音声の劣化を抑制できる。

さらに本実施形態によると、リアルタイムに処理する際に装置にかかる負荷を軽減することができる。

以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上述の実施形態において、音信号処理部１４２，２４２で処理される被処理音として音声を例に説明をしたが、本発明はこれに限定されるものではなく、楽器から発せられる音のように、基本周波数を有し、その倍音、３倍音などの倍音（高調波）を含むような音でもよい。また基本周波数と基本周波数に対して整数倍の音を少なくとも一つ含むような音とで構成されるような音（特定音）であっても本実施形態における音信号処理部１４２、２４２を適応することができる。
（２）上述の実施形態において、音声区間検出部１４６、２４６で検出される区間は音声に限らない。例えば、楽器から発せられる音のように、基本周波数を有し、その倍音、３倍音などの倍音（高調波）を複数含むような音でもよい。また基本周波数と基本周波数に対して整数倍の音を少なくとも一つ含むような音とで構成されるような音であってもよい。音声区間検出部（区間検出部）１４６、２４６は、上記のような特定音が発生している区間を検出することも含む。
（３）上述の実施形態において、音声特徴量検出部１４７、２４７で検出される特徴量は音声に限らない。例えば、楽器から発せられる音のように、基本周波数を有し、その倍音、３倍音などの倍音（高調波）を複数含むような音であってもよい。また基本周波数と基本周波数に対して整数倍の音を少なくとも一つ含むような音とで構成されるような音であってもよい。音声特徴量検出部（特徴量検出部）１４７、２４７は上記のような音（特定音）から特徴量を検出することも含む。
（４）例えば音情報処理部１４０が備える構成要素（音信号処理部１４２およびノイズ低減処理部１４３）の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、音情報処理部１４０または音情報処理部１４０が備える構成要素による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器などのハードウェアを含むものとする。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。

１００：撮像装置、１４０：音情報処理部、１４１：マイク、１４２：音信号処理部、１４５：ノイズタイミング検出部、１４６：音声区間検出部、１４７：音声特徴量検出部、１４３：ノイズ低減処理部

Claims (8)

1. 入力された音情報から特定音の発生区間を検出する区間検出部と、
   前記区間検出部によって検出された前記発生区間に含まれる前記特定音の特徴量を検出する特徴量検出部と、
   入力された音情報に対してノイズ低減処理を行い、前記発生区間と前記特定音の特徴量とに基づいて前記ノイズ低減処理の方法を変更するノイズ低減処理部とを備える
   ことを特徴とする信号処理装置。
2. 請求項１に記載の信号処理装置であって、
   前記ノイズ低減処理部は、前記特徴量検出部により検出された前記特定音の特徴量に対応する第１周波数成分と前記第１周波数成分とは異なる第２周波数成分とで異なるノイズ低減処理を行う
   ことを特徴とする信号処理装置。
3. 請求項２に記載の信号処理装置であって、
   前記第１周波数成分は、前記区間検出部によって検出された前記発生区間に含まれる前記特定音の基本周波数であって、
   前記第２周波数成分は、前記基本周波数の整数倍の周波数成分とは異なる周波数成分である
   ことを特徴とする信号処理装置。
4. 請求項３に記載の信号処理装置であって、
   前記ノイズ低減処理部は、前記基本周波数の整数倍の周波数成分を含む所定の周波数帯域に対しては、ノイズ低減処理の程度を弱める
   ことを特徴とする信号処理装置。
5. 請求項２から４のいずれか１項に記載の信号処理装置であって、
   前記特徴量検出部は、基本周波数を前記音情報における時間領域音情報から求めること、
   を特徴とする信号処理装置。
6. 請求項１に記載の信号処理装置であって、
   前記区間検出部は、入力された前記音情報から少なくとも基本周波数と前記基本周波数の整数倍の音とで構成された前記特定音が発生された区間を検出する
   ことを特徴とする信号処理装置。
7. 請求項１から６のいずれか１項に記載の信号処理装置を備える撮像装置。
8. コンピュータに、
   入力された音情報から特定音の発生区間を検出する区間検出ステップと、
   前記区間検出ステップにおいて検出された前記発生区間に含まれる前記特定音の特徴量を検出する特徴量検出ステップと、
   入力された音情報に対してノイズ低減処理を行うノイズ低減処理ステップとを実行させるプログラムであって、
   前記ノイズ低減処理ステップは、前記発生区間と前記特定音の特徴量とに基づいて前記ノイズ低減処理の方法を変更する
   ことを特徴とするプログラム。

Images