JP2018182751A - 音処理装置および音処理プログラム - Google Patents

Abstract

【課題】ノイズ低減処理に伴う音像の変位を抑制できる音処理装置および音処理プログラムを提供する。【解決手段】複数の集音部によって集音された音のうち、第１集音部により集音された第１音と第２集音部により集音された第２音との関係である基準関係を算出する算出部と、前記第１音と前記第２音との関係が、前記算出部で算出された前記基準関係を含む所定の範囲に含まれるよう、前記複数の集音部によって集音された音を処理する処理部とを備えることを特徴とする音処理装置。【選択図】図２

Description

本発明は、音処理装置および音処理プログラムに関するものである。

複数の集音装置を備えたステレオ録音が可能な撮像装置として、動画撮影時にオートフォーカス（以後、「ＡＦ」と略記する）等の駆動音の発生に合わせてノイズ低減処理を行うものがある。
ステレオ等の複数チャンネルの有する音信号の雑音を抑制する雑音抑制装置においては、ステレオ成分の雑音を抑制する技術が知られている（特許文献１等参照）。

特開２００８−２８３３８５号公報

ところで、ステレオ録音時において、駆動音の発生に合わせてノイズ低減処理を行うと、ノイズ低減処理に起因して音信号のバランスが変化してしまうことがあり、その結果、音像が変位し、再生時に違和感を生じさせるという問題がある。

本発明の課題は、ノイズ低減処理に伴う音像の変位を抑制できる音処理装置および音処理プログラムを提供することである。

本発明の音処理装置は、第１音データを出力する第１集音部と第２音データを出力する第２集音部とを有する集音部と、前記第１音データと前記第２音データとの、少なくとも１つの周波数領域における振幅の比を算出する算出部と、前記第１音データと前記第２音データとのうち少なくとも一方から、一部の音データを除去する除去部と、少なくとも一方から前記一部の音データが除去された前記第１音データと前記第２音データの前記周波数領域における振幅の比を、前記一部の音データを除去しない時間帯に集音された前記第１音データと前記第２音データとの前記周波数領域における振幅の比に近づける処理部とを備える構成とした。
本発明のプログラムは、第１集音部による第１音データと、第２集音部による第２音データとを入力する処理と、前記第１音データと前記第２音データとの、少なくとも１つの周波数領域における振幅の比を算出する処理と、前記第１音データと前記第２音データとのうち少なくとも一方から、一部の音データを除去する処理と、少なくとも一方から前記一部の音データが除去された前記第１音データと前記第２音データの前記周波数領域における振幅の比を、前記一部の音データを除去しない時間帯に集音された前記第１音データと前記第２音データとの前記周波数領域における振幅の比に近づける処理とをコンピュータに実行させる構成とした。

本発明によれば、ノイズ低減処理に伴う音像の変位を抑制できる音処理装置および音処理プログラムを提供できる。

本発明における音処理装置の一実施形態であるカメラを示し、（ａ）はそのブロック構成図、（ｂ）は概念正面図である。 音情報処理部におけるノイズ低減処理とその補正の説明図である。 音情報処理部におけるノイズ低減処理と補正のフローチャートである。 音像変位を説明する図である。 第２実施形態にかかる音情報処理部におけるノイズ低減処理と補正のフローチャートである。 ノイズ低減処理部分の前後の信号比変化と対応させた補正を説明する図である。

以下、図面等を参照して、本発明の実施形態について説明する。
（第１実施形態）
図１は、本発明における音処理装置の一実施形態であるカメラ１を示し、図１（ａ）はそのブロック構成図、図１（ｂ）はカメラ１の概念正面図である。
図１（ａ）に示すように、カメラ１は、カメラ本体１０と、レンズ鏡筒２０とにより構成されている。カメラ１は、自動的に合焦するオートフォーカス（以下ＡＦと略記する）機能を備えている。また、カメラ１は、静止画と動画の何れも撮影可能であって、動画撮影時には画像と同時に音をステレオで記録可能である。

カメラ本体１０は、撮像素子１１と、画像処理部１２と、ステレオ集音装置１３と、音情報処理部１４と、記憶部１５と、制御部１６と、出力部１８と、入力部１９とを備えている。
撮像素子１１は、ＣＣＤ等の光電変換素子により構成され、レンズ鏡筒２０の結像光学系によって結像された被写体像光を電気信号に変換する。
画像処理部１２は、撮像素子１１から出力されるアナログの画像情報をＡ／Ｄ変換すると共に画像処理して画像データを生成する。

ステレオ集音装置１３は、図１（ｂ）に示すように、左右一対のマイク（左マイク１３Ｌ，右マイク１３Ｒ）を備えている。左マイク１３Ｌと右マイク１３Ｒとは、カメラ１を横位置で構えた状態においてレンズ鏡筒２０の中心を通る鉛直線を挟む略対称位置に配置されている。各マイク１３Ｌ，１３Ｒは、それぞれ外部の音を集音してアナログ信号として検出し、音情報処理部１４に出力する。
音情報処理部１４は、ステレオ集音装置１３から入力される音信号をＡ／Ｄ変換してデジタル信号とすると共にノイズ低減処理を行う。音情報処理部１４は、ノイズ低減処理係る機能部として、ノイズ低減処理部１４Ａと、補正部１４Ｂと、を備えている。これらについては、後に詳述する。

記憶部１５は、画像処理部１２が出力する画像データおよび音情報処理部１４が出力する音データを記憶する。記憶部１５は、バッファーやカメラに内蔵されたメモリでもよいし、またＳＤカードやＨＤＤ等の外部の記憶媒体でもよい。

出力部１８は、記憶部１５に記憶された画像データ及び音データを出力する。出力部１８は、外部機器へ音情報（電気信号）を出力するためのインターフェース等である。外部機器とは、これに限定されないが、例えばＰＣ、外部スピーカ、携帯電話等である。ただし、これに限定されず、出力部１８は、カメラ１に設けられた背面液晶及びスピーカであってもよい。なお、出力部１８がスピーカの場合、出力部１８は音情報（電気信号）を音に変換する変換部も備える。

入力部１９は、外部機器からデータを入力するためのインターフェース等である。
外部機器とデータのやり取り（通信）をする際には、出力部１８と入力部１９は別体となっていなくてもよく、入力部１９と出力部１８が一体となっているような構成であってもよい。
なお、外部機器とは、これに限定されないが、例えばＰＣ、外部マイク、携帯電話等である。

制御部１６は、ＣＰＵ等を備えて構成され、設定された撮像条件（例えば、絞り値、露出値等）に応じて、レンズ鏡筒２０の後述する各構成要素を含めたカメラ１の各構成要素を統括制御する。たとえば、制御部１６は、後述するレンズ鏡筒２０におけるＡＦ駆動用モータ２２を駆動する駆動制御信号を生成し、レンズ制御部２４に出力する。

レンズ鏡筒２０は、フォーカシングレンズ、手振れ補正レンズ、ズーミングレンズ等を備える結像光学系（図示省略）と、ＡＦエンコーダ２１と、ＡＦ駆動用モータ２２と、を備えている。
ＡＦエンコーダ２１は、フォーカシングレンズの位置を検出してレンズ制御部２４および制御部１６に出力する。レンズ制御部２４は、検出されたフォーカシングレンズの位置情報を制御部１６に出力する。
ＡＦ駆動用モータ２２は、レンズ制御部２４から入力されるＡＦレンズの位置を制御するための駆動制御信号に応じて、ＡＦレンズを移動駆動する。

そして、カメラ１は、使用者による図示しないシャッタボタンの押圧操作によって撮影が指令されると、制御部１６によって制御されて撮影作用を行う。
すなわち、撮像素子１１によって被写体像光を電気信号に変換し、画像処理部１２によって処理した画像データを、記憶部１５に記憶させる（撮影する）。制御部１６は、撮影時において、レンズ制御部２４、ＡＦ駆動用モータ２２を介してＡＦレンズを移動駆動するＡＦ制御を行う。

動画撮影時においては、撮像素子１１は、被写体像光を電気信号に変換して順次取り込み、記憶部１５を介して１秒間に所定のフレーム（コマ数）の画像を記憶する。また、前述したように、音情報処理部１４が集音した音データを、画像データと共に記憶部１５を介して記憶（録音）する。動画撮影時には、撮影期間を通してＡＦ制御が行われる。

ここで、ステレオ集音装置１３が集音した音情報は、音情報処理部１４に入力される。音情報処理部１４は、ステレオ集音装置１３が集音した音に含まれるＡＦ制御にかかる駆動ノイズ（ＡＦ駆動音）を低減処理する。そして、音情報処理部１４は、駆動ノイズ（ＡＦ駆動音）が低減処理された音情報を記憶部１５に出力する。

ただし、上記の処理の流れに限定されない。例えば変形形態として、１）制御部１６は、ステレオ集音装置１３が集音した音を、一旦、記憶部１５に記憶させる、２）制御部１６は、その記憶された音データをノイズ低減処理部１４Ａへ出力する、３）低減処理部１４Ａは音データに対して低減処理を施す、４）次いで、制御部１６は、低減処理された音データを、再度、記憶部１５に記憶する、といった処理の流れでも良い。

本実施形態の処理の流れに戻り、前述した図１に加えて図２〜図４を参照し、音情報処理部１４について詳細に説明する。図２は、音情報処理部１４におけるノイズ低減処理とその補正の説明図である。図３は、音情報処理部１４におけるノイズ低減処理と補正のフローチャートである。図４は、音像変位を説明する図である。

音情報処理部１４は、前述したように、ノイズ低減処理部１４Ａと、補正部１４Ｂとを備えている。
ノイズ低減処理部１４Ａは、ノイズ周波数スペクトルＳＮを用い、スペクトル減算法によってＡＦ駆動音に対するノイズ低減処理を行う。ノイズ周波数スペクトルＳＮは、図２（ｂ）に一例を示すような、予め記憶している動作ノイズ情報又は過去に集音した音情報から推定したものである。

具体的に説明すると、ノイズ低減処理部１４Ａは、ステレオ集音装置１３（左マイク１３Ｌ，右マイク１３Ｒ）から入力されてデジタル化された音信号を、所定の長さで区切ったフレーム単位でフーリエ変換等により周波数解析を行う。
そして、図２（ａ）に一例を示すような複数の周波数帯域（ｆ１〜ｆ８）に分割した周波数スペクトルＳＩＬ，ＳＩＲを得る。
その周波数スペクトルＳＩＬ，ＳＩＲから図２（ｂ）に示すノイズ周波数スペクトルＳＮを減算してノイズ成分を除去する。
さらに、必要に応じて、信号の下限規制等のフロアリング処理を行って、図２（ｃ）に示すノイズ低減処理後の周波数スペクトルＳＳＬ，ＳＳＲを補正部１４Ｂに出力する。

このノイズ低減処理部１４Ａによるノイズ低減処理は、ＡＦ駆動音が含まれるフレームに対して、フレーム毎に行われる。
ＡＦ駆動音が含まれるフレームの検知は、たとえば、ＡＦレンズの位置を検出するＡＦエンコーダ２１の出力に基づいて（ＡＦレンズが移動するとＡＦエンコーダ２１の出力が変化する）行われる。
なお、図２（ａ）における周波数スペクトルＳＩＬ，ＳＩＲに対する網掛け部位は、ＡＦ駆動音が含まれない目的音のみの周波数スペクトルを参考的に示すものである。

ここで、ノイズ低減処理部１４Ａによるノイズ低減処理は、ステレオ集音装置１３における左右のマイク（左マイク１３Ｌ，右マイク１３Ｒ）からの音信号に対して、それぞれ独立して行われる。
ただし、左マイク１３Ｌおよび右マイク１３Ｒはレンズ鏡筒２０に対して略対称に配置されているため、入力されるＡＦノイズ（ＡＦ駆動音）は同一であるものとしてノイズ周波数スペクトルＳＮは同一のものを用いる。
なお、左マイク１３Ｌおよび右マイク１３Ｒはレンズ鏡筒２０に対して略対称に配置される形態に限定されず、光軸に対した左右非対称であってもよい。

補正部１４Ｂは、
・ノイズ低減処理部１４Ａによるノイズ低減処理前の周波数スペクトル（処理前スペクトル）ＳＩＬ，ＳＩＲの、各周波数帯域（ｆ１〜ｆ８）における左右の信号比（処理前比、基準比）と、
・ノイズ低減処理部１４Ａによるノイズ低減処理後の周波数スペクトル（処理後スペクトル）ＳＳＬ，ＳＳＲの各周波数帯域（ｆ１〜ｆ８）における左右の信号比（処理後比、第１の関係）と、
を各々比較する。

補正部１４Ｂは、その比較結果に基づいて、処理後比ＲＳが処理前比ＲＩと、各周波数帯域において、それぞれ略一致するように補正して補正後比ＲＣ（第２の関係）、補正後の周波数スペクトル（補正後スペクトル）ＳＣＬ，ＳＣＲを求める。
そして、補正部１４Ｂは、この補正後スペクトルＳＣＬ，ＳＣＲを記憶部１５に出力する。

以下、この補正部１４Ｂによる補正について、図２に即してより詳細に説明する。
（処理前スペクトル）
図２（ａ）に示すように、ノイズ低減処理部１４Ａによるノイズ低減処理前における左マイク１３Ｌから入力した音（音信号Ｌ）の周波数スペクトル（処理前スペクトル（Ｌ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＩＬ１〜ＳＩＬ８とする。
右マイク１３Ｒから入力した音（音信号Ｒ）の周波数スペクトル（処理前スペクトル（Ｒ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＩＲ１〜ＳＩＲ８とする。
処理前スペクトルの周波数帯域（ｆ１〜ｆ８）ごとの振幅の左／右信号比（以下、この左／右信号比を処理前比とする）は、ＲＩ１＝ＳＩＬ１／ＳＩＲ１，・・・，ＲＩ８＝ＳＩＬ８／ＳＩＲ８となる。

（処理後スペクトル）
また、図２（ｃ）に示すように、ノイズ低減処理部１４Ａによるノイズ低減処理後の音信号Ｌの周波数スペクトル（処理後スペクトル（Ｌ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＳＬ１〜ＳＳＬ８とする。
ノイズ低減処理部１４Ａによるノイズ低減処理後の音信号Ｒの周波数スペクトル（処理後スペクトル（Ｒ））における各周波数帯域（ｆ１〜ｆ８）の振幅をＳＳＲ１〜ＳＳＲ８とする。
処理後スペクトルの周波数帯域（ｆ１〜ｆ８）ごとの振幅の左／右信号比（以下、この左／右信号比を処理後比とする）は、ＲＳ１＝ＳＳＬ１／ＳＳＲ１，・・・，ＲＳ８＝ＳＳＬ８／ＳＳＲ８となる。

（補正後スペクトル）
補正部１４Ｂは、処理前比（ＲＩ１〜ＲＩ８）と、処理後比（ＲＳ１〜ＲＳ８）と、
を各周波数帯域（ｆ１〜ｆ８）において比較する。
そして、補正部１４Ｂは、図２（ｄ）に示すように、処理後比（ＲＳ１〜ＲＳ８）が処理前比（ＲＩ１〜ＲＩ８）と各々等しくなるように補正する。そして、補正後スペクトル（Ｌ）（ＳＣＬ１〜ＳＣＬ８）及び補正後スペクトル（Ｒ）（ＳＣＲ１〜ＳＣＲ８）を得る。

ここで、補正後スペクトルを得る方式には、増加補正と、減少補正と、平均補正と、がある。

（増加補正）
増加補正は、処理後スペクトル（Ｌ）又は処理後スペクトル（Ｒ）の何れかの振幅を大きく補正して、処理後比ＲＳを処理前比ＲＩに一致させるものである。
１．処理後比ＲＳｎが処理前比ＲＩｎより大きい場合
（１）補正後スペクトル（Ｌ）を求める（Ｌ固定）
処理後スペクトル（Ｌ）ＳＳＬｎを補正後スペクトル（Ｌ）ＳＣＬｎとする（ＳＣＬｎ＝ＳＳＬｎ）
（２）補正後スペクトル（Ｒ）を求める
そして、（１）で求めた補正後スペクトル（Ｌ）ＳＣＬｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｒ）ＳＣＲｎを求める。
このとき、処理後比ＲＳｎは、処理前比ＲＩｎより大きいので、処理後スペクトル（Ｌ）と同じ値の補正後スペクトル（Ｌ）ＳＣＬに対して処理前比を満たすように、処理後スペクトル（Ｒ）ＳＳＲを補正すると、補正後スペクトル（Ｒ）ＳＣＲｎは、処理後スペクトル（Ｒ）ＳＳＲｎより大きくなる（ＳＣＲｎ＞ＳＳＲｎ）。

２．処理後比ＲＳｎが処理前比ＲＩｎより小さい場合
（１）補正後スペクトル（Ｒ）を求める（Ｒ固定）
処理後スペクトル（Ｒ）ＳＳＲｎを補正後スペクトル（Ｒ）ＳＣＲｎとする（ＳＣＲｎ＝ＳＳＲｎ）
（２）補正後スペクトル（Ｌ）を求める
そして、（１）で求めた補正後スペクトル（Ｒ）ＳＣＲｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｌ）ＳＣＬｎを求める。
このとき、ＳＣＬｎ＞ＳＳＬｎとなる。
なお、上記「ｎ」には、各周波数帯域を示す数字（１〜８）が入る。

上記の増加補正において、補正後スペクトルの振幅は、本実施形態においてノイズ低減処理前の振幅以下であるが、これに限定されない。例えば、ノイズ低減処理後のスペクトルを一旦増幅した後にスペクトルの振幅を補正した場合には、補正後のスペクトルの振幅はノイズ低減処理前の振幅よりも大きくなることがある。

３．具体例
具体例として、図２（ａ）〜（ｅ）中に示すように、周波数スペクトルにおける周波数帯域ｆ３に左右で差があり、周波数帯域ｆ３における左右（Ｌ，Ｒ）の振幅値がノイズ低減処理前（６，３）で、ノイズ低減処理によって（４，１）に変化したとする。
この場合、処理前比ＲＩ３は６／３＝２、処理後比ＲＳ３は４／１＝４、と異なる。補正後における左右信号比（補正後比）ＲＣ３を処理前比ＲＩ３と等しくするため、ノイズ低減処理後の右（Ｒ）の振幅値を１から２に補正する。
その結果、補正後におけるＬ、Ｒの振幅値は（４，２）となり、処理前比２と等しくなる。
このような増加補正によれば、目的音の劣化を抑えることができ、人の音がある場合や目的音が大きくノイズがあまり気にならない場合等に適する。

（減少補正）
減少補正は、処理後スペクトル（Ｌ）又は処理後スペクトル（Ｒ）の何れかの振幅を小さく補正して、処理後比ＲＳを処理前比ＲＩに一致させるものである。
１．処理後比ＲＳｎが処理前比ＲＩｎより大きい場合
（１）補正後スペクトル（Ｒ）を求める（Ｒ固定）
処理後スペクトル（Ｒ）ＳＳＲｎを補正後スペクトル（Ｒ）ＳＣＲｎとする（ＳＣＲｎ＝ＳＳＲｎ）
（２）補正後スペクトル（Ｌ）を求める
そして、（１）で求めた補正後スペクトル（Ｒ）ＳＣＲｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｌ）ＳＣＬｎを求める。
このとき、ＳＣＬｎ＜ＳＳＬｎとなる。

２．処理後比ＲＳｎが処理前比ＲＩｎより小さい場合
（１）補正後スペクトル（Ｌ）を求める（Ｌ固定）
処理後スペクトル（Ｌ）ＳＳＬｎを補正後スペクトル（Ｌ）ＳＣＬｎとする（ＳＣＬｎ＝ＳＳＬｎ）
（２）補正後スペクトル（Ｒ）を求める
そして、（１）で求めた補正後スペクトル（Ｌ）ＳＣＬｎに対する比が、処理前比ＲＩｎと等しくなるように、補正後スペクトル（Ｒ）ＳＣＲｎを求める。
このとき、ＳＣＲｎ＜ＳＳＲｎとなる。
このような減少補正は、ノイズ低減効果が高く、人声のない静かな場合等に適する。

なお上記の減少補正において、補正後スペクトルの振幅は、本実施形態においてノイズ低減処理後の振幅以下であるが、これに限定されない。例えば、ノイズ低減処理後のスペクトルを一旦増幅した後にスペクトルの振幅を補正した場合には、補正後のスペクトルの振幅はノイズ低減処理後の振幅よりも大きくなることがある。また、増幅の度合いに応じては、ノイズ低減処理前の振幅よりも大きくなることもある。

（平均補正）
平均補正は、前述した増加補正と減少補正とを折衷したものである。ノイズ低減処理後の左右の周波数スペクトルにおける振幅の和を、処理後比ＲＳｎ＝処理前比ＲＩｎとなるように左右に振り分けて補正するものである。

上記各補正方式は、補正する対象や状況に応じて、補正方式を切り換えて適用するように構成してもよい。補正方式の切り換えは、公知の技術である音認識や撮像情報から顔認識や人物認識を利用して行うことができる。たとえば、人物が大きく撮影されている場合や人の音入力が認識された場合および入力が大きい場合には増加補正を適用し、人物が認識されないその他の場合には減少補正を適用するように構成すれば良い。

なお、本実施形態では、処理後比ＲＳ（第１の関係）を処理前比ＲＩ（基準関係）に一致させる例について説明した。しかし、本実施形態はそれに限定されない。補正後比ＲＣは必ずしもＲＣ＝処理前比ＲＩでなくても良く、ＲＣは処理前比ＲＩを含む所定の範囲内であればよい。また、補正後比ＲＣの所定の範囲とは、処理後比ＲＳよりも処理前比ＲＩに近い値となる範囲である。

すなわち、仮に、処理後比ＲＳ（第１の関係）の音を聞くことができたとすると、補正後比ＲＣの音の定位は、第１の関係（処理後比ＲＳ）の音の定位よりも、処理前比ＲＩの音の定位に近い。
また、補正後比ＲＣの所定の範囲とは、補正後比ＲＣが処理前比ＲＩのプラスマイナス５％以内に含まれるような範囲と定めてもよい。

また、補正後比ＲＣの所定の範囲とは、ノイズ低減処理前の音像の位置に対して、補正後の音像の位置がプラスマイナス３０°以内に含まれるような範囲であってもよい。このように、補正後比ＲＣの所定の範囲を、補正後の音像の位置が所定の角度の範囲に含まれるような範囲として定めてもよい。また補正後比ＲＣの所定の範囲とは、補正後の音像の位置がプラスマイナス３０°よりも狭い、プラスマイナス１５°以内に含まれる範囲であってもよい。

つぎに、図３に示すフローチャートに沿って、ノイズ低減処理部１４Ａおよび補正部１４Ｂによるノイズ低減処理と補正制御の流れを説明する。なお、図３中および以下の説明では、ステップを「Ｓ」とも略記する。
ノイズ低減処理部１４Ａによるノイズ低減処理と補正部１４Ｂによる補正は、前述したようにＡＦエンコーダ２１の出力等のＡＦ駆動情報に基づいてスタートする。つまり、ＡＦ駆動時のみに機能する。

ノイズ低減処理と補正制御は、まず、補正部１４Ｂがノイズ低減処理部１４Ａによるノイズ低減処理前におけるそのフレームの処理前比ＲＩを演算し（Ｓ３０１）、ノイズ低減処理部１４Ａによってノイズ低減処理を行う（Ｓ３０２）。
ついで、補正部１４Ｂが、ノイズ低減処理部１４Ａによるノイズ低減処理後の処理後比ＲＳを演算し（Ｓ３０３）、その処理後比ＲＳと処理前比ＲＩとを比較する（Ｓ３０４）。
ステップ３０４において両者が等しくないと判断された場合（Ｎｏ）には、補正部１４Ｂによってノイズ低減処理後の信号に補正を行う（Ｓ３０５）。一方、ステップ３０４において両者が等しいと判断された場合（Ｙｅｓ）には、補正することなく制御を終了する。

上記のように、補正部１４Ｂは、周波数スペクトルの各周波数帯域における処理後比を、処理前比と略一致するように補正する。
これにより、ステレオ信号をノイズ発生タイミングに合わせてノイズ低減処理を行った際に、そのノイズ低減処理に起因する目的音の音像変位を抑制することができる。

すなわち、図４に概念図を示すように、人物Ｍから見た目的音の音像位置に対して、ノイズ低減処理のみで補正しない処理音の音像が大きく移動してしまう場合でも、補正によって音像の移動を小さく抑えることができる。その結果、ノイズ低減処理時（ＡＦ駆動時）において映像と音像とが突然乖離するといった違和感のある音像変位を防ぐことができるものである。
また、本実施形態において音処理は、全周波数帯域において行うものでなくてもよく、一部の周波数帯域に対して音処理を行ってもよい。一部の周波数帯域の例としては、ノイズが特に検出される周波数帯域や、可聴の周波数帯域、極端な高周波や低周波をカットした周波数帯域があげられる。

（第２実施形態）
つぎに、本発明の第２実施形態について説明する。
図５は、第２実施形態にかかる音情報処理部１４におけるノイズ低減処理と補正のフローチャートである。図２、図３と同様に、周波数スペクトルにおける周波数帯域ｆ３について説明する。
本第２実施形態は、補正の基準とする左右信号比（処理前比）を、ノイズ（ＡＦ駆動音）発生の無い部分（フレーム）から取得するものである。なお、機構的な構成は、前述した第１実施形態と全く同様であり、説明は省略する。以下の説明中における構成要素の符号等は、図１参照のこと。
本第２実施形態では、補正の基準とする左右信号比を、ノイズ低減処理部分の直前または直後の部分から求める。なお、直前の信号比を利用する場合にはリアルタイムの処理（逐次処理）が可能であるが、直後の信号比を利用する場合には逐次処理が難しく後処理の場合にのみ適用可能である。

このように、ノイズ（ＡＦ駆動音）が混入していない部分から左右信号比を求めてこれを補正の基準とすることで、ノイズの影響を受けずに目的音の左右比を求めることができる。
ただし、目的音の時間変化が大きい場合は、ノイズ低減処理部分の直前と、ノイズ低減処理部分とで、目的音のスペクトル（左右信号比）が大きく変化することがあり、実際に発生している目的音の音像移動に追従できないことがある。このようなことを防ぐため、補正の基準とする左右信号比を、ノイズ低減処理部分の直前から求めた左右信号比と、前述した第１実施形態のようにノイズ低減処理部分の左右信号比と、の何れかを選択可能とすることが好ましい。

この補正基準となる左右信号比を選択して適用する場合におけるノイズ低減処理および補正を、図５に示すフローチャートに沿って説明する。
まず、補正部１４Ｂが、ＡＦエンコーダ２１の出力等のＡＦ駆動情報に基づいてノイズ低減処理をスタートする直前のフレームの左右の信号比ＲＩｂを演算し（Ｓ５０１）、ノイズ低減処理に入った後にノイズ低減処理部１４Ａによるノイズ低減処理前における各フレームの左右の信号比ＲＩａを演算する（Ｓ５０２）。

そして、信号比ＲＩｂと信号比ＲＩａとの差（絶対値）を、予め定められた閾値Ａと比較判定する（Ｓ５０３）。
ステップ５０３において、信号比ＲＩｂと信号比ＲＩａとの差が閾値Ａ以下と判定された場合（Ｙｅｓ）には、信号比ＲＩｂを基準比ＲＩとして設定する（Ｓ５０４）。一方、ステップ５０３において、信号比ＲＩｂと信号比ＲＩａとの差が閾値Ａを越えていると判定された場合（Ｎｏ）には、信号比ＲＩａを基準比ＲＩとして設定する（Ｓ５０５）。

その後、ノイズ低減処理部１４Ａによってノイズ低減処理を行い（Ｓ５０６）、ついで、補正部１４Ｂが、ノイズ低減処理部１４Ａによるノイズ低減処理後の左右の信号比ＲＳを演算し（Ｓ５０７）、そのノイズ低減処理後左右信号比ＲＳとノイズ低減処理前左右信号比ＲＩとを比較する（Ｓ５０８）。
ステップ５０８において両者が等しくないと判断された場合（Ｎｏ）には、補正部１４Ｂによってノイズ低減処理後の信号に補正を行う（Ｓ５０９）。一方、ステップ５０８において両者が等しいと判断された場合（Ｙｅｓ）には、補正することなく制御を終了する。

上記構成では、ノイズ低減処理部分の直前から求めた左右信号比ＲＩｂとノイズ低減処理部分の左右信号比ＲＩａとを比較し、その差が小さい場合には、目的音の音像の移動が小さいと判断してノイズの影響を受けない信号比ＲＩｂを基準信号比ＲＩとして採用し、差が所定量より大きい場合には、目的音の音像の移動が大きいと判断して信号比ＲＩａを基準信号比ＲＩとして採用するものである。
このような構成によれば、目的音の音像の移動が小さい場合には処理部分の直前と処理部分の音像の連続性を保つことができ、目的音の音像の移動が大きい場合には違和感のない円滑な音像移動を再現できる。

なお、事後処理（逐次処理でなく一旦記録した後に、読み出して行う処理）となるが、ノイズ低減処理部分の直前と直後の部分（フレーム）の左右信号比をそれぞれ求め、その変化率に対応させて左右の信号比率を変化させても良い。つまり、ノイズ低減処理部分の直前と直後において左右信号比が大きく異なる場合は、音源が左右に移動したと考えられるため、ノイズ低減処理部分の直前と直後の左右の信号比の変化と対応するように音像を移動させる処理を行うものである。

図６は、このような処理の説明図である。
図６（ａ）に示すように、フレーム４〜１０がノイズ低減処理フレームである場合、フレーム３が直前部分、フレーム１１が直後部分のフレームである。
図６（ｂ）において、ＳＦＬ３は直前（フレーム３）の左スペクトル、ＳＦＲ３は直前（フレーム３）の右スペクトル、ＳＦＬ１１は直後（フレーム１１）の左スペクトル、ＳＦＲ１１は直後（フレーム１１）の右スペクトルである。

ここで、たとえば、周波数帯域ｆ３について見ると、
左側：ＳＦＬ１１のｆ３（振幅１．５）は、ＳＦＬ３のｆ３（振幅３）より減少している。
右側：ＳＦＲ１１のｆ３（振幅３）は、ＳＦＲ３のｆ３（振幅１）より増加している。
これは、ノイズ低減処理フレーム４〜１０の間に音源が左側から右側に移動していることを示す。

そこで、ノイズ低減処理フレーム４〜１０における左右の信号比（処理前比）については、図６（ｃ）に示すように、直前（フレーム３）の左右の信号比（３／１＝３）から、直後（フレーム１１）の左右の信号比（１．５／３＝０．５）へ、連続して変化するようにして補正の基準値となる信号比を求める。
具体的には、直前と直後の値（３と０．５）と直前と直後の間にあるフレーム（７つ）とに基づいて、各フレームでの左右の信号比の値を求める。具体的にはフレーム４〜１０間で２．５／８の値ずつ左右比を減少させるような補正を行う。
ｆ３以外の周波数帯域についても、各々同様の処理を行う。
その結果、処理直前から処理中、処理直後の左右の信号比が連続的に変化し、音像の移動が滑らかになり、違和感を軽減することができる。

以上、本実施形態によると、以下の効果を有する。
（１）カメラ１における補正部１４Ｂは、ノイズ低減処理後における周波数スペクトルの各周波数帯域における左右の信号比を、ノイズ低減処理前における周波数スペクトルの各周波数帯域における左右の信号比と略一致するように補正する。これにより、ステレオ信号をノイズ発生タイミングに合わせてノイズ低減処理する際に、そのノイズ低減処理に起因して生ずる目的音の音像変位を抑制することができる。その結果、ノイズ低減処理時（ＡＦ駆動時）における音像変位による違和感を防ぐことができる。

（変形形態）
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
（１）上記実施形態は、本発明を音処理装置としてのカメラに適用したものである。しかし、本発明はこれに限らず、コンピュータを上記各構成要素として機能させるプログラムとして提供されるものであっても良い。

（２）上記実施形態は、本発明をカメラにおけるＡＦ駆動音によるノイズを低減するように構成したものである。しかし、本発明はこれに限らず、ズーミングやブレ補正装置の作動ノイズの低減にも適用可能なものであり、さらに、カメラに限らず録音機能を備える光学機器に適用可能である。

（３）本実施形態では、カメラ本体１０に音情報処理部１４が含まれている例について説明したが、これに限定されず、カメラに備わるステレオマイクで録音した後、音処理装置のほうにデータを送信し、音処理装置で低減処理を行ってもよい。すなわち、音を集音する部分と、音の低減処理を施す部分とが分離していてもよい。
この場合、一例として以下のような流れで処理が行われる。
カメラ等に備わるステレオマイクで周囲の音が録音される。
そして、そのステレオマイクで録音した音が音データに変換され、記憶部に記憶される。
録音の際にＡＦ等のカメラ備わる機能の動作が行われた場合は、周囲の音を録音した音データとカメラに備わる機能の動作（例えばＡＦの動作）を行ったタイミングとを関連づけて記憶させる。
次に、記憶部に記憶された音データと動作タイミングとが出力部を介して、別体の音処理装置、例えばＰＣ等に出力される。
音処理装置は、制御部、記憶部、ノイズ低減処理部（以下、これらをＳＰ制御部、ＳＰ記憶部、ＳＰノイズ低減処理部という）を備える。
ＳＰ制御部は、カメラから入力部を介して入力されたその音データと動作タイミングと音データをＳＰ記憶部に記憶させる。
ＳＰ制御部は、ＳＰ記憶部に記憶された音データをＳＰ低減処理部へ出力し、ＳＰ低減処理部は音データに対してＡＦ音などの雑音の低減を行う。
なお、音の低減処理は、音データと共に記憶されている機能の動作タイミングに基づいて行う。その後、ＳＰ制御部は、低減処理された音データをＳＰ記憶部に記憶させる。このようにして、音データに対して低減処理を施してもよい。

なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。

１：カメラ、１３：ステレオ集音装置、１３Ｌ：左マイク、１３Ｒ：右マイク、１４：音情報処理部、１４Ａ：ノイズ低減処理部、１４Ｂ：補正部、２０：レンズ鏡筒、２１：ＡＦエンコーダ、２２：ＡＦ駆動用モータ、ＳＩＬ，ＳＩＲ：ノイズ低減処理前の周波数スペクトル、ＲＩ：処理前比、ＳＮ：ノイズ周波数スペクトル、ＳＳＬ，ＳＳＲ：ノイズ低減処理後の周波数スペクトル、ＲＳ：処理後比、ＳＣＬ，ＳＣＲ：補正後の周波数スペクトル

Claims (4)

1. 第１音データを出力する第１集音部と第２音データを出力する第２集音部とを有する集音部と、
   前記第１音データと前記第２音データとの、少なくとも１つの周波数領域における振幅の比を算出する算出部と、
   前記第１音データと前記第２音データとのうち少なくとも一方から、一部の音データを除去する除去部と、
   少なくとも一方から前記一部の音データが除去された前記第１音データと前記第２音データの前記周波数領域における振幅の比を、前記一部の音データを除去しない時間帯に集音された前記第１音データと前記第２音データとの前記周波数領域における振幅の比に近づける処理部
   とを備える音処理装置。
2. 請求項１に記載の音処理装置であって、
   前記除去部で除去する音データは、カメラレンズの機構を駆動することにより発生する音データである音処理装置。
3. 請求項２に記載の音処理装置であって、
   前記カメラレンズの機構を駆動することにより発生する音データを検出する検出部を備え、
   前記処理部は、前記検出部で検出した前記音データに基づいて、前記第１音データと前記第２音データの少なくとも一方から前記音データを除去する音処理装置。
4. 第１集音部による第１音データと、第２集音部による第２音データとを入力する処理と、
   前記第１音データと前記第２音データとの、少なくとも１つの周波数領域における振幅の比を算出する処理と、
   前記第１音データと前記第２音データとのうち少なくとも一方から、一部の音データを除去する処理と、
   少なくとも一方から前記一部の音データが除去された前記第１音データと前記第２音データの前記周波数領域における振幅の比を、前記一部の音データを除去しない時間帯に集音された前記第１音データと前記第２音データとの前記周波数領域における振幅の比に近づける処理
   とをコンピュータに実行させるプログラム。

Images