JP2013250448A - ノイズ低減装置、撮像装置及びプログラム - Google Patents

Abstract

【課題】撮像装置においてステレオ録音を行う場合のノイズ低減処理をより適切に行う。
【解決手段】ノイズ低減装置は、可動部１１０と、複数の集音装置１３１と、前記複数の集音装置１３１によって集音された音の信号を基に、前記可動部１１０の動作ノイズを推定するノイズ推定部１３２，１３３と、前記ノイズ推定部によって推定された前記動作ノイズを配分し、前記複数の集音装置１３１それぞれによって集音された音から、配分された前記動作ノイズを低減するノイズ低減処理部１３３と、を備える。
【選択図】図２

Description

本発明は、ノイズ低減装置、撮像装置及びプログラムに関する。

近年、動画と音声とを同時に記録する撮像装置において、ノイズ低減処理が可能な撮像装置が知られている。ノイズ低減処理では、レンズの機構音（ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）駆動音、ズーム音等）やＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）駆動音等のノイズが、動画撮影時に音声に混入することを抑制している。
このようなノイズ低減処理については、例えば特許文献１に開示されている。

特許第４１６２６０４号公報

しかしながら、特許文献１に記載された技術においては、ステレオ録音における遠近感や音源の動き等を考慮したものとなっていないため、ノイズ低減を行った部分と行わない部分とで音の左右比に不整合が生じてしまう可能性がある。
このように、従来の撮像装置においては、ステレオ録音を行う場合のノイズ低減処理を適切に行うことが困難である。

本発明の課題は、撮像装置においてステレオ録音を行う場合のノイズ低減処理をより適切に行うことである。

本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。

請求項１に記載の発明は、可動部（１１０）と、複数の集音装置（１３１Ｌ，１３１Ｒ）と、前記複数の集音装置（１３１Ｌ，１３１Ｒ）によって集音された音の信号を基に、前記可動部の動作ノイズを推定するノイズ推定部（１３２，１３３）と、前記ノイズ推定部によって推定された前記動作ノイズを配分し、前記複数の集音装置それぞれによって集音された音から、配分された前記動作ノイズを低減するノイズ低減処理部（１３３）と、を備えることを特徴とするノイズ低減装置である。
請求項２に記載の発明は、請求項１に記載のノイズ低減装置であって、前記ノイズ推定部（１３２，１３３）は、複数の周波数帯域毎に前記動作ノイズを推定し、前記ノイズ低減処理部（１３３）は、前記ノイズ推定部によって推定された前記動作ノイズを前記周波数帯域毎に配分し、前記複数の集音装置（１３１Ｌ，１３１Ｒ）それぞれによって集音された音から、配分された前記動作ノイズを前記周波数帯域毎に低減すること、を特徴とするノイズ低減装置である。
請求項３に記載の発明は、請求項１または２に記載のノイズ低減装置であって、前記ノイズ低減処理部（１３３）は、前記可動部の種類毎に設定された前記動作ノイズの配分比率によって前記動作ノイズを配分すること、を特徴とするノイズ低減装置である。
請求項４に記載の発明は、請求項１から３のいずれか１項に記載のノイズ低減装置であって、前記ノイズ低減処理部（１３３）は、予め設定された前記動作ノイズの配分比率によって前記動作ノイズを配分すること、を特徴とするノイズ低減装置である。
請求項５に記載の発明は、請求項１から３のいずれか１項に記載のノイズ低減装置であって、前記ノイズ低減処理部（１３３）は、前記可動部（１１０）を動作させることによって前記複数の集音装置（１３１Ｌ，１３１Ｒ）で取得された動作ノイズに基づいて設定された前記動作ノイズの配分比率によって前記動作ノイズを配分すること、を特徴とするノイズ低減装置である。
請求項６に記載の発明は、請求項１から５のいずれか１項に記載のノイズ低減装置を備えた撮像装置（１００）である。
請求項７に記載の発明は、コンピュータに、複数の集音装置によって集音された音の信号を基に、可動部の動作ノイズを推定するノイズ推定機能と、前記ノイズ推定機能によって推定された前記動作ノイズを配分し、前記複数の集音装置それぞれによって集音された音から、配分された前記動作ノイズを低減するノイズ低減処理機能と、を実現させることを特徴とするプログラムである。

本発明によれば、撮像装置においてステレオ録音を行う場合のノイズ低減処理をより適切に行うことが可能となる。

本発明におけるノイズ低減装置の一実施形態を適用した撮像装置１００の外観構成を示す図である。 本発明におけるノイズ低減装置の一実施形態を適用した撮像装置１００の構成を示すブロック図である。 音声波形を示す図である。 ノイズ配分比率テーブルの具体例を示す図である。 ノイズ低減処理動作のフローを示すフローチャートである。 スペクトル減算処理動作のフローを示すフローチャートである。 推定ノイズスペクトルの配分を示す模式図である。 スペクトル減算処理動作において、左の音信号のスペクトルに施される処理を示す模式図である。 スペクトル減算処理動作において、右の音信号のスペクトルに施される処理を示す模式図である。

以下、図面等を参照して、本発明の実施形態について説明する。
図１は、本発明におけるノイズ低減装置の一実施形態を適用した撮像装置１００の外観構成を示す図であり、図１（ａ）は正面図、図１（ｂ）は上面図である。図２は、本発明におけるノイズ低減装置の一実施形態を適用した撮像装置１００の構成を示すブロック図である。

図１及び図２に示すように、撮像装置１００は、レンズ鏡筒１１０と、レンズ鏡筒１１０を通過した被写体像を撮像してＡ／Ｄ変換すると共に、画像処理して画像データを生成する画像処理部１２０と、集音された音をＡ／Ｄ変換すると共に、ノイズ低減処理する音情報処理部１３０と、画像処理部１２０で得られた画像データ及び音情報処理部１３０で得られた音声信号を記録する記録部１４０と、ＣＰＵ１５０と、を備える。

レンズ鏡筒１１０は、焦点自動調整（以下、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）レンズ、手振れ補正（以下、ＶＲ（Ｖｉｂｒａｔｉｏｎ Ｒｅｄｕｃｔｉｏｎ）レンズ、手振れ補正レンズ駆動用モータ、ズームレンズ、ズームレンズ駆動用モータ、ズームエンコーダ等を備えるＶＲユニット１１１と、ＡＦエンコーダ１１２と、ＡＦ駆動用モータ１１３と、を備える。

ＡＦエンコーダ１１２は、光学系のＡＦレンズの位置を検出してＣＰＵ１５０に出力する。ＡＦ駆動用モータ１１３には、ＡＦレンズの位置を制御するための駆動制御信号がＣＰＵ１５０から入力され、その駆動制御信号に応じて、ＡＦレンズの位置が制御される。

ＣＰＵ１５０は、設定された撮像条件（例えば、絞り値、露出値等）に応じてレンズ鏡筒１１０を制御する。ＣＰＵ１５０は、手振れ補正レンズ駆動用モータ、ズームレンズ駆動用モータ及びＡＦ駆動用モータ１１３を駆動する駆動制御信号を生成し、手振れ補正レンズ駆動用モータ、ズームレンズ駆動用モータ及びＡＦ駆動用モータ１１３に出力する。

音情報処理部１３０は、ステレオ録音の集音装置である左右のマイク１３１Ｌ，１３１Ｒと、マイク１３１Ｌ，１３１Ｒによって集音されＡ／Ｄ変換された音信号を処理する音信号処理部１３２と、ノイズ低減処理部１３３と、を備える。

マイク１３１Ｌ，１３１Ｒは、レンズ鏡筒１１０の光軸中心から距離ｄ１，ｄ２の位置にそれぞれ設置されている。そして、マイク１３１Ｌ，１３１Ｒは、撮像装置１００が録音するステレオ音として、それぞれ左音信号及び右音信号を音信号処理部１３２に出力する。
音信号処理部１３２は、マイク１３１Ｌ，１３１Ｒにより集音された音をＡ／Ｄ変換した音信号において、音声を表す信号（音声信号）が入力されている区間（音声区間）を検出する音声区間検出部１３４と、ＡＦ駆動用モータ１１３の動作情報から動作ノイズの発生する区間を検出するノイズ区間検出部１３５と、を備える。

音声区間検出部１３４は、マイク１３１Ｌ，１３１Ｒにより集音された音をＡ／Ｄ変換した音信号から、音声信号の含まれる区間（音声区間）とそれ以外の区間（非音声区間）とを、自己相関関数のピーク値に基づいて判別する。音声区間検出部１３４による音声区間検出の概要を説明すると、次のとおりである。

図３は、音声の波形（音声波形）を示す図である。
なお、図３の矩形信号は、フレーム分割のための信号を表しており、図３に示す例では、一定の時間間隔でフレームが分割されている。
図３に示すように、音声波形の信号（音声信号）の場合、数十ミリ秒程度の時間内では、周期的な成分が支配的となる（図３中のＳａ部分の信号）。そして、撮像装置１００のＡＦ駆動用モータ１１３等が駆動されると、この音声に、動作ノイズが混入する（図３中のＳｂ部分）。

図３に示す音声信号の波形の任意の一部を切り出して自己相関関数を求めると、この音声波形は、音声、即ち、声帯の振動数に対応した基本周波数及びそれの倍音に対応した周波数帯域にピークが集中する性質（調波性）を有している。そこで、この調波性を利用して自己相関関数のピーク値の大きさによって、音声であるか非音声であるかを区別することが可能である。
即ち、ＡＦノイズが発生し、音声とＡＦノイズとが発生している場合に、自己相関関数のピークに閾値を設定して、閾値以上の部分を識別することにより、出力波形に音声と一致した音声区間があることを検出できる。

ノイズ区間検出部１３５は、ＶＲユニット１１１及びＡＦ駆動用モータ１１３の動作情報から動作ノイズ（動作に伴う駆動音等のノイズ）の発生する区間を検出する。このノイズ区間検出部１３５では、ＶＲユニット１１１に対するＣＰＵ１５０からの駆動制御信号の出力や、ＣＰＵ１５０にＡＦ駆動用モータ１１３に対する駆動制御信号を出力するように指示するＡＦ駆動コマンド及びＡＦエンコーダ１１２からの出力といった動作情報を参照して、動作ノイズの発生区間を検出（推定）する。

ノイズ区間検出部１３５による動作ノイズの発生区間検出の詳細を説明すると、次のとおりである。なお、ここではＡＦ駆動用モータ１１３の動作情報から動作ノイズの発生区間を検出する場合を例に挙げて説明する。
ＡＦ駆動コマンドの出力によりＡＦ駆動用モータ１１３が動作されると、ＡＦ駆動コマンドの出力時刻であるＡＦ駆動用モータ１１３の動作開始時刻ｔ１から動作終了時刻ｔ３まで連続して動作ノイズは発生される。マイク１３１Ｌ，１３１Ｒには、被写体の音声等の記録目的音に動作ノイズが重畳された音が集音され、その集音された音の信号がマイク１３１Ｌ，１３１Ｒから出力される。

このとき、ＡＦエンコーダ１１２からは、ＡＦ駆動系のギア列で起きるバックラッシュ等の影響でＡＦ駆動用モータ１１３の動作開始時刻ｔ１よりも遅れた時刻ｔ２からＡＦレンズの位置の検出結果が出力されることがある。そこで、ノイズ区間検出部１３５は、ＡＦ駆動コマンドの出力時刻ｔ１からＡＦエンコーダ１１２の出力停止ｔ３までを動作ノイズの発生区間として検出し、それ以外を非ノイズ区間として検出する。

ノイズ低減処理部１３３は、各種動作ノイズのうち、ＡＦ動作開始時及びＡＦ動作終了時に発生する衝撃音ノイズを低減処理する。
具体的には、ノイズ低減処理部１３３は、動作ノイズ発生前の区間に設定した窓ｘの第１周波数スペクトルと、動作ノイズ発生後の区間に設定した窓ｙの第２周波数スペクトルと、を取得する。取得した第１周波数スペクトルと第２周波数スペクトルとを比較し、比較の結果、第２周波数スペクトルが第１周波数スペクトルより大きい場合、第２周波数スペクトルを第１周波数スペクトルに置き換えることにより、第１のノイズの低減処理を行う。なお、本実施形態において、スペクトルとは、周波数軸における各周波数成分の大きさを表す。

ここで、音声区間検出部１３４により音声区間であると検出された場合、所定の周波数（例えば、４０００Ｈｚ）までのスペクトルは置き換えずに保存し、また、非音声区間であると検出された場合、それよりも小さい所定の周波数（例えば、５００Ｈｚ）までのスペクトルは置き換えずに保存する。即ち、音声区間と検出された場合の保存する周波数の上限を、例えば、４０００Ｈｚとし、非音声区間と検出された場合の保存する周波数の上限を、例えば、５００Ｈｚとすることにより、音声区間であると検出された場合、非音声区間であると検出された場合よりも弱い第１の衝撃音ノイズ低減処理を行う。
なお、本実施形態において、第１の衝撃音ノイズ低減処理を行うことなく、以降の処理を行うことも可能である。

また、ノイズ低減処理部１３３は、ノイズ配分比率テーブルを記憶するノイズ配分テーブル記憶部１３３ａを有している。ノイズ配分比率テーブルは、動作ノイズの左右の配分比率が設定されたテーブル形式のデータである。
図４は、ノイズ配分比率テーブルの具体例を示す図である。
図４に示すように、ノイズ配分比率テーブルには、動作ノイズの発生源と左右のマイク１３１Ｌ，１３１Ｒとの位置関係を基に設定された周波数帯域毎の配分比率（左右ノイズの配分比率）が、各種動作ノイズ毎に予め定められている。

例えば、ノイズ配分比率テーブルには、ＡＦ駆動用モータ１１３を発生源とするＡＦノイズについて、動作ノイズの発生源であるＡＦ駆動用モータ１１３と左右のマイク１３１Ｌ，１３１Ｒとの距離に対応して設定された周波数帯域Ｆ１〜Ｆ５の配分比率（Ｘ１１：Ｙ１１）〜（Ｘ１５：Ｙ１５）や手振れ補正レンズ駆動用モータを発生源とするＶＲノイズについて、動作ノイズの発生源である手振れ補正レンズ駆動用モータと左右のマイク１３１Ｌ，１３１Ｒとの距離に対応して設定された周波数帯域Ｆ１〜Ｆ５の配分比率（Ｘ２１：Ｙ２１）〜（Ｘ２５：Ｙ２５）が定められている。

なお、ノイズ配分比率テーブルには、その他、ズームレンズ駆動用モータの駆動音や、ズームレンズ、ＶＲレンズ及びＡＦレンズの移動摩擦音、シャッタボタンの操作音といった撮像装置１００において発生され得る各種ノイズについて、左右ノイズの配分比率が記憶されている。また、ノイズ配分比率テーブルにおいて、動作ノイズの発生源と左右のマイク１３１Ｌ，１３１Ｒとの距離に加え、動作ノイズの伝達媒体となる撮像装置１００の部分の構造（材質、硬さ、音の共振特性等）に対応して、周波数帯域Ｆ１〜Ｆ５の配分比率（Ｘ２１：Ｙ２１）〜（Ｘ２５：Ｙ２５）を定めることも可能である。

そして、ノイズ低減処理部１３３は、音声区間検出部１３４において非音声区間であると検出されて強い衝撃音ノイズ低減処理が行われた場合の周波数スペクトルからノイズを推定し、推定ノイズを更新すると共に、その推定ノイズを用いて、第１の衝撃音ノイズ低減処理が行われた周波数スペクトルから減算して周波数スペクトルを生成するスペクトル減算処理（第２のノイズ低減処理）を行う。このとき、ノイズ低減処理部１３３は、左右のマイク１３１Ｌ，１３１Ｒで集音した音の合計（即ちモノラル音）を基にノイズ推定を行い、後述するように、ノイズ配分比率テーブルを参照して動作ノイズの発生源に応じた配分比率で推定ノイズ（より詳細には、推定ノイズスペクトル）を左右の音信号に配分する。そして、ノイズ低減処理部１３３は、配分した推定ノイズを左右の音信号のスペクトルから減算し、第２のノイズ低減処理を行う。

即ち、本実施形態における第２のノイズ低減処理では、各種動作ノイズの発生源に応じた左右ノイズの配分比率を予め定めておき、推定ノイズをその配分比率で配分して、左右の音信号それぞれにおいて、スペクトル減算処理（第２のノイズ低減処理）を行う。これにより、左右の音信号に対応した推定ノイズのスペクトル減算処理を行うことができ、ステレオ録音を行う場合のノイズ低減処理をより適切に行うことが可能となる。

また、周波数帯域毎に左右ノイズの配分比率を設定しているため、動作ノイズの発生源と左右のマイク１３１Ｌ，１３１Ｒとの距離に加え、周波数帯域毎の推定ノイズのスペクトルの相違を反映させて、より正確なノイズ低減処理を行うことが可能となる。

上記した構成の他に、音情報処理部１３０には、マイク１３１Ｌ，１３１Ｒから出力される音信号を予め決められた区間毎に分割して窓関数で重み付けすると共に、この区間毎に抽出した音のデータ（音データ）をフーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）して周波数領域に変換する処理部を有する。また、ＦＦＴ処理により周波数領域の振幅情報と位相情報とに分けられ、周波数領域の振幅情報を利用してノイズ低減処理（スペクトル減算処理）が行われたスペクトルに対して、逆フーリエ変換（ＩＦＦＴ：Ｉｎｖｅｒｓｅ Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）を行うことにより、ノイズ低減処理後のスペクトルを時間領域に変換する処理部を有する。これら処理部については、図示を省略する。

さらに、ノイズ低減処理部１３３は、第２のノイズ低減処理（スペクトル減算処理）により、スペクトルが著しく減少した場合やスペクトルが消失した場合においてスペクトルを補正するフロアリング機能を有する。このフロアリングでは、ノイズ区間検出部１３５により非ノイズ区間であると検出され、且つ、音声区間検出部１３４により非音声区間であると検出された場合の音信号を基に生成されたフロアリングスペクトルと第２のノイズ低減処理において減算された後のスペクトルとを比較し、減算後のスペクトルの振幅がフロアリングスペクトルの振幅を下回っている（スペクトル強度が小さい）場合、フロアリングスペクトルを採用したスペクトルを生成し、これをＩＦＦＴ処理する。
ただし、減算後のスペクトルの振幅がフロアリングスペクトルの振幅を上回っている（スペクトル強度が大きい）場合は、フロアリング処理を行っても良いし、また、行わなくても良い。

また、フロアリング機能に用いるフロアリングスペクトルは、ノイズ区間検出部１３５により非ノイズ区間であると検出され、且つ、音声区間検出部１３４により非音声区間であると検出された場合の音信号を用いて更新する。これにより、フロアリングスペクトルには、動作ノイズスペクトル、音声スペクトルのいずれも含まず、背景音スペクトルのみが含まれており、フロアリング処理時に音声スペクトルが付加され、ノイズ低減処理後の音信号が本来ない音声の信号を含むことがないようにしている。

次に、本実施形態の撮像装置１００におけるノイズ低減処理の動作（ノイズ低減方法）を、図面に基づいて説明する。
図５は、ノイズ低減処理動作のフローを示すフローチャートである。
ノイズ低減処理は、撮像装置１００の動画の撮像開始（即ち、録画及び録音の開始）と共に繰り返し実行される。
なお、以下、２つの異なる形態の処理対象音を対象として、ノイズ低減処理動作が行われる場合について、それぞれ説明する。

（第１の処理対象音）
第１の処理対象音は、区間Ａが背景音のみ、区間Ｂが背景音と音声（目的音）、区間Ｃが背景音とＡＦノイズを発生している形態である。以下、区間Ｃにおいてマイク１３１Ｌ，１３１Ｒが集音し出力される音信号からＡＦノイズを低減処理する動作及びフロアリング更新について説明する。

（ステップＳＴ１）
まず、ノイズ区間検出部１３５により、マイク１３１Ｌ，１３１Ｒから出力される音信号に基づいて、ノイズ区間の検出が開始される。

（ステップＳＴ２）
続いて、音声区間検出部１３４により、マイク１３１Ｌ，１３１Ｒから出力される音信号に基づいて、音声区間の検出が開始される。このとき、音声区間検出部１３４は、マイク１３１Ｌ，１３１Ｒから出力される音信号を合わせたモノラル音を対象として、音声区間の検出を行う。ただし、マイク１３１Ｌ，１３１Ｒのいずれか一方の音信号を対象として音声区間の検出を行っても良い。

（ステップＳＴ３）
音情報処理部１３０のＦＦＴを実行する処理部により、マイク１３１Ｌ，１３１Ｒから出力される音信号、及びそれらを合計したモノラル音の信号がＦＦＴ処理され、周波数領域の振幅情報と位相情報とに分けられる。

（ステップＳＴ４）
次に、ノイズ区間検出部１３５によって、動作ノイズの発生区間であるか非ノイズ区間であるか、が検出（判定）される。

（ステップＳＴ４，ＹＥＳ）
ステップＳＴ４において、区間Ｃは動作ノイズの発生区間であると判定され（ＹＥＳ）、ステップＳＴ５に進む。
（ステップＳＴ４，ＮＯ）
区間Ａ及びＢは非ノイズ区間であると判定され、ステップＳＴ１１に進む。

（ステップＳＴ５）
ステップＳＴ５においては、音声区間検出部１３４によって、音声区間であるか、非音声区間であるかが検出（判定）される。区間Ｃは、非音声区間であるので（ＮＯ）、ステップＳＴ７に進む。

（ステップＳＴ７）
ここでは、ＡＦ動作開始時及びＡＦ動作終了時が含まれる場合、ノイズ低減処理部１３３によって、上限が所定の周波数（例えば、５００Ｈｚ）までのスペクトルを置き換えずに保存するといった強い衝撃音ノイズ低減処理が行われ、区間Ｃのスペクトルを得る。
ＡＦ動作開始時及びＡＦ動作終了時が含まれない場合は、衝撃音ノイズが含まれないと判断し、ノイズ低減処理部１３３は、衝撃音ノイズ低減処理を行わない。このとき、ノイズ低減処理部１３３は、マイク１３１Ｌ，１３１Ｒから出力される音信号を合わせたモノラル音信号のスペクトルを対象として、衝撃音ノイズ低減処理を行う。ただし、マイク１３１Ｌ，１３１Ｒそれぞれの音信号を対象として衝撃音ノイズ低減処理を行っても良い。

（ステップＳＴ８）
次いで、ノイズ低減処理部１３３は、ステップＳＴ７のノイズ低減処理により得られた区間Ｃのスペクトルにおけるノイズを推定し、推定ノイズスペクトルをステップＳＴ９に出力する。このとき、ノイズ低減処理部１３３は、マイク１３１Ｌ，１３１Ｒから出力される音信号を合わせたモノラル音信号のスペクトルを対象として、ノイズを推定する。

（ステップＳＴ９）
続いて、ノイズ低減処理部１３３によって、ステップＳＴ７の衝撃音ノイズ低減処理により得られた区間ＣのスペクトルからステップＳＴ８の推定により得られた推定ノイズスペクトルを減算するスペクトル減算処理（第２のノイズ低減処理）が行われ、ノイズ低減後のスペクトルが得られる。このとき、ノイズ低減処理部１３３は、ノイズ配分比率テーブルを参照し、推定ノイズスペクトルを、左右ノイズの配分比率で配分し、マイク１３１Ｌ，１３１Ｒの音信号のスペクトルから、配分された推定ノイズスペクトルをそれぞれ減算する。

（ステップＳＴ１０）
第２のノイズ低減処理（スペクトル減算処理）により、ノイズ低減後のスペクトルが著しく減少したり、消失したりする場合があるので、これに対応するため、ノイズ低減処理部１３３によって、ノイズ低減後のスペクトルを補正するフロアリングが行われる。
このフロアリングでは、ノイズ低減後のスペクトルと基準となるフロアリングスペクトルとの振幅の大きさを比較する。そして、比較の結果、振幅の大きいスペクトル（スペクトル強度の大きい方）を採用して、フロアリング後のスペクトルを生成する。ここで用いたフロアリングスペクトルは、後述するが、区間Ａから求めたフロアリングスペクトルである。

このとき、ノイズ低減処理部１３３は、マイク１３１Ｌ，１３１Ｒそれぞれの音信号を対象としてフロアリングを行う。

（ステップＳＴ１１）
ステップＳＴ１１に戻り、ここでは、音声区間検出部１３４によって、音声区間であるか、非音声区間（背景音のみの区間）であるか、が検出（判定）される。その結果、区間Ｂは音声区間であると判定され（ＹＥＳ）、ノイズ低減処理、スペクトル減算、フロアリングを行わず、ステップＳＴ１３に進む。区間Ａは非音声区間であると判定され（ＮＯ）、ステップＳＴ１２に進む。

（ステップＳＴ１２）
ステップＳＴ１２においては、背景音のみが発生している区間Ａのスペクトルの各周波数における振幅の所定割合（例えば半分）から、上述のフロアリングスペクトルを得る。このフロアリングスペクトルを、前述したようにステップＳＴ１０のフロアリングに用いると共に、保持しておくフロアリングスペクトルを、このフロアリングスペクトルに更新する。

（ステップＳＴ１３）
最後のステップＳＴ１３において、音情報処理部１３０は、ステップＳＴ３において分けられた位相を用いてＩＦＦＴ処理を行うことにより、ノイズ低減処理後のスペクトルを時間領域に変換して記録部１４０に出力する。このとき、音情報処理部１３０のＩＦＦＴを実行する処理部は、マイク１３１Ｌ，１３１Ｒそれぞれの音信号を対象としてＩＦＦＴを実行し、左右それぞれの音信号を生成する。

（第２の処理対象音）
次に、上述した第１の処理対象音と異なる形態を有する第２の処理対象音を用いた場合のノイズ低減処理動作（ノイズ低減方法）について説明する。なお、ノイズ低減処理動作フローの各ステップは、第１の処理対象音の場合は略同様であるため、主として各ステップにおける処理内容の相違点を中心に説明する。

第２の処理対象音は、区間Ｄが背景音のみ、区間Ｅが背景音とＡＦノイズ、区間Ｆが背景音と音声とＡＦノイズを発生している形態である。第２の処理対象音の区間Ｅ及び区間Ｆにおいてマイク１３１Ｌ，１３１Ｒが集音し出力される音信号からＡＦノイズを低減処理する動作及びフロアリング更新について説明する。

ステップＳＴ１からＳＴ４までは上述の第１の処理対象音の区間Ｃと同様であるので省略する。
（ステップＳＴ５）
ステップＳＴ５において、区間Ｆは音声区間であると判定され（ＹＥＳ）、ステップＳＴ６に進む。

（ステップＳＴ６）
ステップＳＴ６においては、ＡＦ動作開始時及びＡＦ動作終了時が含まれる場合、上限が所定の周波数（例えば、４０００Ｈｚ）までのスペクトルを置き換えずに保存するといった弱い第１の衝撃音ノイズ低減処理が行われる。
ＡＦ動作開始時及びＡＦ動作終了時が含まれない場合は、衝撃音ノイズが含まれないと判断し、衝撃音ノイズ低減処理を行わない。

この第１の衝撃音ノイズ低減処理が行われたスペクトルは、音声スペクトル成分を含む。このスペクトルは、推定ノイズ更新に使用されず、第２のノイズ低減処理であるスペクトル減算処理を行うためのステップＳＴ９に進む。

第２の処理対象音の場合、動作ノイズの発生区間で且つ非音声区間である区間Ｅにおいては、背景音と動作ノイズのスペクトルが得られ、動作ノイズの発生区間で且つ音声区間である区間Ｆにおいては、背景音と音声と動作ノイズのスペクトルが得られる。
そこで、ステップＳＴ８においては、区間Ｅで得られたスペクトルからノイズを推定し更新する。

そして、ステップＳＴ９において、区間Ｆにおけるスペクトルから推定ノイズスペクトルを減算し、さらに、ステップＳＴ１０においてフロアリングすることにより、フロアリング後のスペクトルを生成する。
なお、第２の処理対象音の場合のフロアリングスペクトルは、背景音のみが発生している区間Ｄから得る。このフロアリングスペクトルは、第１の処理対象音の場合と同様に区間Ａの背景音を半減処理等したスペクトルを用いる。

（スペクトル減算処理）
次に、図５のノイズ低減処理におけるステップＳＴ９で実行されるスペクトル減算処理（第２のノイズ低減処理）について説明する。
図６は、スペクトル減算処理動作のフローを示すフローチャートである。

（ステップＳＴ１１０）
図６に示すように、まず、ノイズ低減処理部１３３は、ノイズ配分比率テーブルを参照し、ノイズ低減処理のステップＳＴ８で得られた推定ノイズスペクトルを左右ノイズに配分する。

図７は、推定ノイズスペクトルの配分を示す模式図である。
図７に示すように、ノイズ低減処理部１３３は、ノイズ配分比率テーブルを参照して得られた周波数帯域毎の動作ノイズの左右の配分比率によって、推定ノイズスペクトルを左右ノイズに配分する。図７に示す例では、推定ノイズスペクトルを周波数が低い周波数帯域から順に、左ノイズ（ｎ１〜ｎ５）及び右ノイズ（Ｎ１〜Ｎ５）について、（ｎ１：Ｎ１）＝（２：３）、（ｎ２：Ｎ２）＝（３：４）、（ｎ３：Ｎ３）＝（３：２）、（ｎ４：Ｎ４）＝（１：１）、（ｎ５：Ｎ５）＝（４：３）の配分比率で配分している。ノイズ比率配分テーブルには、このような左右の配分比率が動作ノイズの発生源に対応して設定されており、ノイズ低減処理部１３３は、動作ノイズの発生源を判定して、その動作ノイズの発生源に応じた配分比率で推定ノイズを左右ノイズに配分する。

（ステップＳＴ１２０）
次いで、ノイズ低減処理部１３３は、ステップＳＴ１１０で左右ノイズに配分した推定ノイズスペクトルを左右の音信号のスペクトルからそれぞれ減算する。

図８は、スペクトル減算処理動作において、左の音信号のスペクトルに施される処理を示す模式図である。また、図９は、スペクトル減算処理動作において、右の音信号のスペクトルに施される処理を示す模式図である。
図８に示すように、ノイズ低減処理部１３３は、ノイズを含む左の音信号のスペクトル（（Ｌ１＋ｎ１）〜（Ｌ５＋ｎ５））から、左右のうち左に配分された推定ノイズ（ｎ１〜ｎ５）をそれぞれ減算し、ノイズ低減後の左の音信号のスペクトル（Ｌ１〜Ｌ５）を出力する。同様に、図９に示すように、ノイズ低減処理部１３３は、ノイズを含む右の音信号のスペクトル（（Ｒ１＋Ｎ１）〜（Ｒ５＋Ｎ５））から、左右のうち右に配分された推定ノイズ（Ｎ１〜Ｎ５）をそれぞれ減算し、ノイズ低減後の左の音信号のスペクトル（Ｒ１〜Ｒ５）を出力する。
ステップＳＴ１２０の後、処理は図５のステップＳＴ１０に進む。

このようなスペクトル減算処理（第２のノイズ低減処理）の結果、撮像装置１００が録音した音声において、ノイズであると推定されたスペクトル成分が、ノイズの発生源に対応して左右の音声に配分され、配分されたノイズのスペクトル成分が左右の音声信号のスペクトルから減算される。

そのため、ノイズ低減処理が行われる場合のノイズ低減度合いが、ノイズの発生源に応じて、左右の音声で適切な配分となるため、音の左右比に不整合が生じる事態を抑制できる。
したがって、撮像装置においてステレオ録音を行う場合のノイズ低減処理をより適切に行うことが可能となる。
また、本実施形態における撮像装置１００において、動作ノイズの発生源と左右のマイク１３１Ｌ，１３１Ｒとの距離に加え、動作ノイズの伝達媒体となる撮像装置１００の部分の構造（材質、硬さ、音の共振特性等）に対応して、周波数帯域Ｆ１〜Ｆ５の配分比率（Ｘ２１：Ｙ２１）〜（Ｘ２５：Ｙ２５）を定めることも可能である。
この場合、動作ノイズの伝達媒体となる部分の構造を反映させて、ステレオ録音を行う場合のノイズ低減処理をさらに適切に行うことが可能となる。
なお、本実施形態では、撮像装置１００において、図５に示すノイズ低減処理を実行するものとしたが、マイク１３１Ｌ，１３１Ｒによってステレオ録音された音の信号を記録しておき、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等、他のコンピュータにおいて、図５に示すノイズ低減処理を実行しても良い。

この場合、図５に示すノイズ低減処理及び図６に示すスペクトル減算処理における各処理ステップを実行するためのプログラムを、サーバからネットワークを介して、あるいは、プログラムを記録した記録媒体を介して、他のコンピュータに記憶させる。そして、記憶したプログラムをコンピュータにインストールすることにより、図５に示すノイズ低減処理及び図６に示すスペクトル減算処理を実行可能なコンピュータを実現することが可能となる。

以上、本実施形態によると、以下の効果を有する。
（１）マイク１３１Ｌ，１３１Ｒによって集音された音の信号から動作ノイズを推定し、推定されたノイズが、ノイズの発生源に対応して設定された比率で左右の音声に配分された上で、ノイズ低減処理が行われる。
そのため、ノイズ低減処理が行われる場合のノイズ低減度合いが、ノイズの発生源に応じて、左右の音声で適切な配分となるため、音の左右比に不整合が生じる事態を抑制できる。
したがって、撮像装置１００においてステレオ録音を行う場合のノイズ低減処理をより適切に行うことが可能となる。

（２）ノイズ低減が行われる場合、周波数帯域毎に設定された左右ノイズの配分比率に応じて、各周波数帯域の音声からノイズが低減される。
そのため、周波数帯域毎に適切な左右ノイズの配分比率を設定することができ、ノイズ低減処理をより高精度に行うことが可能となる。

（３）ノイズ配分比率テーブルには、動作ノイズの発生源と左右のマイク１３１Ｌ，１３１Ｒとの位置関係を基に設定された周波数帯域毎の配分比率（左右ノイズの配分比率）が、各種動作ノイズ毎に予め定められているため、発生するノイズの種類に応じて、より適切な配分比率で左右ノイズを低減することが可能となる。

（４）撮像装置１００は、各種動作ノイズ毎に左右ノイズの配分比率が設定されたノイズ配分比率テーブルを、ノイズ配分テーブル記憶部１３３ａに予め記憶している。
そのため、撮像装置１００において発生される種々の動作ノイズに対応して、適切なノイズ低減処理を容易に行うことが可能となる。

以上、説明した実施形態に限定されることなく、以下に示すような種々の変形が可能であり、それらも本発明の範囲内である。
（変形例１）
上記実施形態では、撮像装置１００がノイズ配分テーブル記憶部１３３ａにノイズ配分テーブルを予め記憶しているものとして説明したが、ノイズ配分テーブルあるいはノイズ配分テーブルに設定される左右ノイズの配分比率のデータは、種々の態様で撮像装置１００が取得することとしても良い。
例えば、交換用の各種レンズ鏡筒１１０が、そのレンズ鏡筒１１０が撮像装置１００に連結された場合の左右ノイズの配分比率のデータを記憶しておき、撮像装置１００に連結された際に、レンズ鏡筒１１０に記憶されている左右ノイズの配分比率のデータを撮像装置１００が読み出して、ノイズ配分比率テーブルに格納することができる。
また、撮像装置１００にインターネット等のネットワークを介して通信する機能を備えておき、ノイズ配分比率テーブルを最新のものに更新したり、撮像装置１００に連結可能なレンズ鏡筒１１０の左右ノイズの配分比率のデータを適宜取得して、ノイズ配分比率テーブルに格納したりすることができる。

（変形例２）
上記実施形態では、ＡＦ駆動用モータ１１３や手振れ補正レンズ駆動用モータ等の動作ノイズについて、左右ノイズの配分比率を固定的な比率であるものとして説明した。これに対し、撮像装置１００の本体に対して移動する構成物については、撮像装置１００に対する位置に応じて左右ノイズの配分比率を異なるものに設定することができる。
例えば、ＡＦ駆動用モータ１１３の駆動音やＡＦレンズの移動摩擦音等については、焦点距離に応じた左右ノイズの配分比率を設定しておき、ノイズ配分比率テーブルから焦点距離の変化に応じた左右ノイズの配分比率を取得して、スペクトル減算処理（第２のノイズ低減処理）を行うことが可能である。

（変形例３）
上記実施形態では、スペクトル減算処理（第２のノイズ低減処理）を行う際に、推定ノイズの全ての周波数帯域について、配分比率によって配分された左右ノイズのスペクトルを左右の音信号のスペクトルから減算するものとして説明した。これに対し、推定ノイズの一部の周波数帯域についてのみ、左右の音信号のスペクトルから推定ノイズのスペクトルを減算することが可能である。
例えば、ＡＦ駆動用モータ１１３の動作ノイズが発生している場合、ＡＦ駆動用モータ１１３の動作ノイズが主として現れる周波数帯域についてのみ、推定ノイズのスペクトルを減算し、人間の声の周波数帯域等、主に目的音の周波数帯域となる部分については、左右の音信号のスペクトルを維持することができる。
これにより、ノイズ低減処理によって目的音が抑制されることを防止できる。また、ノイズ低減処理のための処理負荷を軽減することができる。

（変形例４）
上記実施形態では、ＦＦＴによって取得されるスペクトルの周波数帯域の幅を単位として、推定ノイズのスペクトルを左右の音信号のスペクトルから減算するものとして説明した。即ち、上記実施形態では、推定ノイズのスペクトルを左右の音信号のスペクトルから減算する際に、処理単位となる周波数帯域幅を均等なものとした。これに対し、推定ノイズのスペクトルを左右の音信号のスペクトルから減算する際の処理単位となる周波数帯域幅を不均等なものとすることができる。
例えば、ＦＦＴによって取得されるスペクトルの周波数帯域の幅を複数集合させ、それらの周波数帯域における音信号のスペクトルの重み付け平均、最大値あるいは最小値等の代表値を対象として、推定ノイズのスペクトルを左右の音信号のスペクトルから減算することが可能である。
これにより、ノイズ低減処理における処理単位とする周波数帯域幅を変更することができるため、周波数帯域毎にノイズ低減処理の精度を異ならせることが可能となる。

（変形例５）
上記実施形態では、撮像装置１００のノイズ配分テーブル記憶部１３３ａに記憶された１つのノイズ配分テーブルを参照して、左右ノイズの配分比率を設定するものとして説明した。これに対し、レンズ鏡筒１１０に、そのレンズ鏡筒１１０固有の左右ノイズの配分比率のデータを記憶しておき、撮像装置１００に、撮像装置１００固有の左右ノイズの配分比率のデータを記憶しておき、レンズ鏡筒１１０固有の左右ノイズの配分比率のデータと撮像装置１００の左右ノイズの配分比率のデータとを基に、総合的な左右ノイズの配分比率のデータを決定して、スペクトル減算処理に用いることができる。
例えば、レンズ鏡筒１１０固有の左右ノイズの配分比率のデータと撮像装置１００の左右ノイズの配分比率のデータとに対して、総合的な左右ノイズの配分比率を定義したテーブル形式のデータ（総合ノイズ配分テーブル）を撮像装置１００が記憶しておき、この総合ノイズ配分テーブルを参照して、スペクトル減算処理に用いる左右ノイズの配分比率を決定することができる。

また、その他の手法として、例えば、交換用の各種レンズ鏡筒１１０が、そのレンズ鏡筒１１０の左右の基準位置（例えば、マウント部の左右５ｃｍの位置等）にマイクが設置されている場合の左右ノイズの配分比率のデータを記憶しておき、撮像装置１００が、その基準位置と撮像装置１００に備えられた左右のマイクの位置との差による左右ノイズの配分比率を補正するための補正用データを記憶しておく。そして、撮像装置１００がスペクトル減算処理において、左右ノイズの配分比率を設定する場合、レンズ鏡筒１１０に記憶されている左右ノイズの配分比率を、撮像装置１００に記憶されている補正用データによって補正する等して、総合的な左右ノイズの配分比率のデータを決定することができる。
これにより、各種レンズ鏡筒１１０の特性と、撮像装置１００本体の特性とをより正確に反映させて、ノイズ低減処理を行うことが可能となる。

（変形例６）
上記実施形態では、ノイズ低減処理部１３３は、左右のマイク１３１Ｌ，１３１Ｒで集音した音の合計を基にノイズ推定を行うものとして説明した。これに対し、左右のマイク１３１Ｌ，１３１Ｒのいずれかで集音した音を基にノイズ推定を行い、推定したノイズのスペクトルを２倍とすることで、左右のマイク１３１Ｌ，１３１Ｒで集音した音に含まれる合計のノイズを推定することができる。
この場合、一方のマイクによって集音した音から推定した動作ノイズを左右ノイズの配分比率で配分し、両方のマイクによって集音された音の信号のスペクトルそれぞれから左右ノイズのスペクトルを減算する。
これにより、左右のマイク１３１Ｌ，１３１Ｒで集音された音の一方がノイズ推定に適していない場合（大音量が入力することで、音信号が飽和している場合等）であっても、より適確に左右ノイズを推定することが可能となる。

（変形例７）
上記実施形態において、ノイズ配分比率テーブルに定められている左右ノイズの配分比率を、撮像装置１００の温度や支持状態（三脚に固定されているか手持ちか等）といった使用状況に応じて補正することができる。
これにより、より高精度なノイズ低減処理を行うことが可能となる。

（変形例８）
上記実施形態において、ノイズ配分比率テーブルにおける左右ノイズの配分比率を、外界の音を遮断した静音環境において、各種動作ノイズを発生させることにより左右のマイク１３１Ｌ，１３１Ｒによって録音し、録音された動作ノイズのスペクトルを基に定めることができる。
これにより、撮像装置１００において発生する実際の動作ノイズを参照して、左右ノイズの配分比率を定義できるため、より適切なノイズ配分比率テーブルを生成することができる。

（変形例９）
上記実施形態においては、ノイズ低減処理において、逐次推定した動作ノイズを用いることとしたが、動作ノイズの初期値を予め記憶しておき、ノイズ低減処理においては、推定した動作ノイズによって、動作ノイズの初期値を補正して用いることが可能である。
この場合、外界の音を遮断した静音環境において発生させた各種動作ノイズを録音しておき、これを各種動作ノイズの初期値として記憶する。
これにより、動作ノイズの推定精度に影響を与える録音環境においても、動作ノイズの推定精度を向上させることが可能となる。

（変形例１０）
上記実施形態では、マイク１３１Ｌ，１３１Ｒで集音した音の周波数帯域毎に左右ノイズの配分比率を設定するものとして説明した。これに対し、全周波数帯域について、左右ノイズの配分比率を一定に設定することができる。
これにより、ノイズ低減処理の処理負荷を軽減することが可能となる。
なお、上記実施形態及び変形例は、適宜組み合わせて用いることもできる。また、本発明は以上説明した実施形態によって限定されるものではない。

１００：撮像装置、１１０：レンズ鏡筒（可動部）、１３１Ｌ，１３１Ｒ：マイク（集音装置）、１３２：音信号処理部（ノイズ推定部）、１３３：ノイズ低減処理部（ノイズ推定部、ノイズ低減処理部）

Claims (7)

1. 可動部と、
   複数の集音装置と、
   前記複数の集音装置によって集音された音の信号を基に、前記可動部の動作ノイズを推定するノイズ推定部と、
   前記ノイズ推定部によって推定された前記動作ノイズを配分し、前記複数の集音装置それぞれによって集音された音から、配分された前記動作ノイズを低減するノイズ低減処理部と、
   を備えることを特徴とするノイズ低減装置。
2. 請求項１に記載のノイズ低減装置であって、
   前記ノイズ推定部は、複数の周波数帯域毎に前記動作ノイズを推定し、
   前記ノイズ低減処理部は、前記ノイズ推定部によって推定された前記動作ノイズを前記周波数帯域毎に配分し、前記複数の集音装置それぞれによって集音された音から、配分された前記動作ノイズを前記周波数帯域毎に低減すること、
   を特徴とするノイズ低減装置。
3. 請求項１または２に記載のノイズ低減装置であって、
   前記ノイズ低減処理部は、前記可動部の種類毎に設定された前記動作ノイズの配分比率によって前記動作ノイズを配分すること、
   を特徴とするノイズ低減装置。
4. 請求項１から３のいずれか１項に記載のノイズ低減装置であって、
   前記ノイズ低減処理部は、予め設定された前記動作ノイズの配分比率によって前記動作ノイズを配分すること、
   を特徴とするノイズ低減装置。
5. 請求項１から３のいずれか１項に記載のノイズ低減装置であって、
   前記ノイズ低減処理部は、前記可動部を動作させることによって前記複数の集音装置で取得された動作ノイズに基づいて設定された前記動作ノイズの配分比率によって前記動作ノイズを配分すること、
   を特徴とするノイズ低減装置。
6. 請求項１から５のいずれか１項に記載のノイズ低減装置を備えた撮像装置。
7. コンピュータに、
   複数の集音装置によって集音された音の信号を基に、可動部の動作ノイズを推定するノイズ推定機能と、
   前記ノイズ推定機能によって推定された前記動作ノイズを配分し、前記複数の集音装置それぞれによって集音された音から、配分された前記動作ノイズを低減するノイズ低減処理機能と、
   を実現させることを特徴とするプログラム。

Images