JP2022148507A - 音声処理装置、制御方法、およびプログラム - Google Patents

Abstract

【課題】レンズ駆動雑音を低減しつつも音質の劣化や不連続感のある音などの不快な音声が含まれることを防ぐノイズ低減処理を実行する音声処理装置を提供する。【解決手段】撮像装置において、音声処理装置は、環境音を取得するための外部音声用マイク３０１及びノイズ源からの音を取得するための雑音参照マイク３０２を備える収音部３００と、雑音参照マイク３０２によって生成された音声信号に対しノイズ源のノイズを強調する雑音強調部２０５及び雑音強調部２０５によって生成された音声信号に基づいて外部音声用マイク３０１によって生成された音声信号からノイズ源のノイズを減算する雑音低減部２０７を有する音声処理部２００と、を備える。【選択図】図４

Description

本発明はノイズを低減することができる音声処理装置に関する。

カメラは、筐体内部に設置されたマイクを用いて筐体内部において発生した雑音を低減する処理を実行することができる。特許文献１では、筐体内部において発生したノイズを筐体内部に配置されたマイクによって収音し、そのマイクによって生成された音声信号に基づいて、被写体に係わる音声を収音するマイクからそのノイズを低減するビデオカメラが開示されている。

特開平６－２５３３８７号公報

しかしながら、カメラの筐体内部に配置されたマイクが生成する音声信号には筐体内部のノイズ信号以外にも、マイクのセルフノイズや筐体外部からの音声等、筐体内部以外から発生する信号や音声信号が含まれる。そのため、筐体内部のマイクから生成された音声信号は、筐体内部において発生したノイズよりも振幅の大きい音声信号となる。カメラがこの筐体内部のマイクによって生成された音声信号によってノイズ低減処理を行った場合、被写体の音声などを過剰に低減しすぎてしまい、音質の劣化を招くおそれがあった。

そこで本発明は、レンズ駆動雑音を低減しつつも音質の劣化等を防ぐことのできるノイズ低減処理を実現することを目的とする。

環境音を取得するための第一のマイクと、ノイズ源からの音を取得するための第二のマイクと、前記第二のマイクによって生成された音声信号から、前記ノイズ源のノイズを強調する強調手段と、前記強調手段によって生成された音声信号に基づいて、前記第一のマイクによって生成された音声信号から前記ノイズ源のノイズを減算する減算手段と、を有することを特徴とする音声処理装置。

本発明によれば、レンズ駆動雑音を低減しつつも音質の劣化等を防ぐことのできるノイズ低減処理を実現することができる。

第一の実施形態における撮像装置のブロック図の一例である。 第一の実施形態における撮像装置の外観図の一例である。 第一の実施形態における収音部の配置の一例を示す図である。 第一の実施形態における音声処理部および収音部のブロック図の一例である。 第一の実施形態における音声処理部の処理の一例を示すフローチャートである。 第二の実施形態における音声処理部および収音部のブロック図の一例である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。なお、同一の構成については、同じ符号を付して説明する。

［第一の実施形態］
図１は第一の実施形態に係る音声処理装置の一例である撮像装置１００の構成の一例を示すブロック図である。本実施形態の撮像装置１００はレンズ部１０１、レンズ制御部１０２、撮像部１０３、画像処理部１０４、制御部１０５、操作部１０６、表示部１０７、記録部１０８、音声処理部２００、および収音部３００からなる。

レンズ部１０１は、レンズユニットである。例えばレンズ部１０１はズームレンズまたはバリフォーカルレンズである。レンズ部１０１は光学レンズ、光学レンズを駆動させるためのモータ、および後述する撮像装置１００のレンズ制御部１０２と通信する通信部を有する。レンズ部１０１は、通信部によって受信した制御信号に基づいて、光学レンズをモータによって移動させることで、被写体に対するフォーカスおよびズーミング、並びに、手ブレの補正ができる。

レンズ制御部１０２は、後述する画像処理部１０４から出力されたデータ、および後述する制御部１０５から出力された制御信号に基づいて、レンズ部１０１に制御信号を送信し、レンズ部１０１を制御する。

撮像部１０３は、レンズ部１０１を経て撮像面に結像された被写体の光学像を電気信号に変換するための撮像素子を有し、撮像素子で生成された電気信号を画像処理部１０４に出力する。撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、およびＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）である。

画像処理部１０４は、撮像部１０３から入力された電気信号から画像データまたは動画データを生成して出力する。本実施形態では、撮像部１０３および画像処理部１０４において静止画像データや動画データを含む画像データを生成して撮像部１０３から出力する一連の処理を「撮影」という。撮像装置１００では、画像データは、ＤＣＦ（Ｄｅｓｉｇｎ ｒｕｌｅ ｆｏｒ Ｃａｍｅｒａ Ｆｉｌｅ ｓｙｓｔｅｍ）規格に従って、後述する記録部１０８に記録される。

制御部１０５は、入力された信号、および後述のプログラムに従ってデータバス１１０を介して撮像装置１００の各部を制御する。制御部１０５は、各種制御を実行するためのＣＰＵ、ＲＯＭ、およびＲＡＭを有する。なお、制御部１０５が撮像装置１００全体を制御する代わりに、複数のハードウェアが分担して撮像装置全体を制御してもよい。制御部１０５が有するＲＯＭには、各構成要素を制御するためのプログラムが格納されている。また制御部１０５が有するＲＡＭは演算処理等に利用される揮発性メモリである。

操作部１０６は、撮像装置１００に対する指示をユーザから受け付けるためのユーザインタフェースである。操作部１０６は、例えば電源をオン状態またはオフ状態にするための電源スイッチ、撮影を指示するためのレリーズスイッチ、画像データまたは動画データの再生を指示するための再生ボタン、および撮影モードを切り替えるための切替スイッチ等を有する。

表示部１０７は、画像処理部１０４から出力された画像データ、対話的な操作のための文字並びに、メニュー画面等を表示する。また、表示部１０７は静止画撮影および動画撮影の際、画像処理部１０４から出力されたデジタルデータを逐次表示することで、電子ビューファインダとして機能することができる。例えば表示部１０７は、液晶ディスプレイまたは有機ＥＬディスプレイである。

記録部１０８は、データの記録、および読み出しができる。例えば、制御部１０５は、記録部１０８から、静止画像データ、動画データ、および音声データの記録、および読み出しができる。記録部１０８は例えばＳＤカード、ＣＦカード、ＸＱＤメモリーカード、ＨＤＤ（磁気ディスク）、光学式ディスク、および半導体メモリである。記録部１０８は、撮像装置１００に着脱可能なように構成してもよいし、撮像装置１００に内蔵されていてもよい。すなわち、制御部１０５は少なくとも記録部１０８にアクセスする手段を有していればよい。

不揮発性メモリ１０９は不揮発性メモリであり、制御部１０５で実行される後述のプログラム等が格納される。また、不揮発性メモリ１０９には、音声データが記録されている。この音声データは例えば、被写体に合焦した場合に出力される合焦音、撮影を指示された場合に出力される電子シャッター音、撮像装置１００を操作された場合に出力される操作音等の電子音の音声データである。

データバス１１０は、音声データ、動画データ、および画像データ等の各種データ、各種制御信号を撮像装置１００の各ブロックへ伝達するためのデータバスである。

次に、撮像装置１００の外観の一例について説明する。図２（ａ）は撮像装置１００の正面の外観図の一例を示す図である。図２（ｂ）は撮像装置１００の背面の外観図の一例を示す図である。レリーズスイッチ１０６ａ、再生ボタン１０６ｂ、モードダイヤル１０６ｃ、およびタッチパネル１０６ｄは、前述の操作部１０６に含まれる操作部材である。レリーズスイッチ１０６ａ、再生ボタン１０６ｂ、モードダイヤル１０６ｃ、およびタッチパネル１０６ｄは制御部１０５に各種の動作指示を入力するための操作手段である。また、表示部１０７には、静止画または動画などが表示される。Ｌマイク３０１ａおよびＲマイク３０１ｂはユーザの音声等を収音するためのマイクである。撮像装置１００の背面から見て、左側にＬマイク３０１ａが、右側にＲマイク３０１ｂが配置される。

次に図３および図４を用いて、音声処理部２００、および収音部３００について説明する。

まず、収音部３００について説明する。収音部３００は外部音声用マイク３０１および雑音参照マイク３０２からなる。なお、本実施形態では、外部音声用マイク３０１および雑音参照マイク３０２は無指向性のマイクで構成される。

外部音声用マイク３０１は、撮像装置１００の筐体外部の音（すなわち、環境音）を主に収音するためのマイクである。外部音声用マイク３０１は、収音された環境音から音声信号を生成する。本実施形態では、外部音声用マイク３０１は、Ｌマイク３０１ａおよびＲマイク３０１ｂの２つのマイクを有する。本実施形態では、撮像装置１００は環境音をＬマイク３０１ａおよびＲマイク３０１ｂによって収音し、Ｌマイク３０１ａおよびＲマイク３０１ｂによって生成された音声信号をステレオ方式で記録する。例えば環境音は、ユーザの音声、動物の鳴き声、雨音、および楽曲等の撮像装置１００の筐体外および光学レンズの筐体外において発生する音である。なお、外部音声用マイク３０１付近の筐体には図２に示すように環境音をマイクに入力しやすくするための穴が設けられている。

雑音参照マイク３０２は、撮像装置１００の筐体内部およびレンズ部１０１で発生する所定の雑音源（ノイズ源）からの駆動音等の雑音（ノイズ）を、取得するためのマイクである。雑音参照マイク３０２は、収音された雑音等から音声信号を生成する。本実施形態では、雑音参照マイク３０２は、雑音以外の収音を低減するため、外装によって外部から遮蔽されるように配置される。ここで、ノイズ源は例えば、レンズ部１０１のモータ、撮像装置１００の筐体内部にあるミラーを駆動させるためのモータなどの駆動部である。モータは例えば、超音波モータ（Ｕｌｔｒａｓｏｎｉｃ Ｍｏｔｏｒ、以下ＵＳＭ）およびステッピングモータ（Ｓｔｅｐｐｅｒ Ｍｏｔｏｒ、以下ＳＴＭ）などのモータである。雑音（ノイズ）は例えば、ＵＳＭおよびＳＴＭ等のモータの駆動によって発生する振動音である。例えば、モータは被写体に合焦するためのＡＦ処理において駆動する。本実施形態では、雑音参照マイク３０２は、撮像装置１００の主なノイズ源であるレンズ部１０１の近傍に配置される。

図３は、Ｌマイク３０１ａ、Ｒマイク３０１ｂ、および雑音参照マイク３０２が取り付けられた撮像装置１００の部分の断面図の一例である。この撮像装置１００の部分は、外装部３０３、マイクブッシュ３０４、および固定部３０５により構成される。

外装部３０３は、マイクに環境音を入力するための穴を有する。本実施例では、穴はＬマイク３０１ａ、およびＲマイク３０１ｂの上方に形成される。一方、雑音参照マイク３０２は、撮像装置１００の筐体内および光学レンズの筐体内において発生する駆動音を取得するために設けられており、環境音を取得する必要はない。したがって、本実施例では、外装部３０３には雑音参照マイク３０２の上方に穴は形成されない。なお、本実施形態では、外装部３０３に形成される穴の形状は楕円状であるが、円状または方形状等の他の形状でもよい。また、Ｌマイク３０１ａ上の穴の形状とＲマイク３０１ｂ上の穴の形状とは、互いに異なっていてもよい。

マイクブッシュ３０４は、Ｌマイク３０１ａ、Ｒマイク３０１ｂ、および雑音参照マイク３０２を固定するための部材である。固定部３０５は、マイクブッシュ３０４を外装部３０３に固定する部材である。

なお、本実施例では、外装部３０３および固定部３０５はＰＣ材等のモールド部材で構成される。また、外装部３０３および固定部３０５はアルミまたはステンレス等の金属部材で構成されてもよい。また、本実施例では、マイクブッシュ３０４は、エチレンプロピレンジエンゴム等のゴム材で構成される。

次に図４を用いて音声処理部２００について説明する。例えば、音声処理部２００は音声信号の信号処理に特化したＩＣチップである。音声処理部２００は制御部１０５によって制御されることで、音声信号の信号処理を行う。音声処理部２００は、Ａ／Ｄ変換部２０１、波形切出部２０２、時間周波数変換部２０３、雑音検出部２０４、雑音強調部２０５、補正部２０６、雑音低減部２０７、および周波数時間変換部２０８からなる。

Ａ／Ｄ変換部２０１は、外部音声用マイク３０１および雑音参照マイク３０２から入力されたアナログ音声信号をデジタル音声信号に変換する。Ａ／Ｄ変換部２０１は変換されたデジタル音声信号を波形切出部２０２に出力する。本実施形態においてＡ／Ｄ変換部２０１はサンプリング周波数を４８ｋＨｚ、およびビット深度を１６ｂｉｔとして標本化処理を実行することで、アナログ音声信号をデジタル音声信号に変換する。なお、Ａ／Ｄ変換部２０１から出力されたデジタル音声信号は、時間領域のデジタル音声信号である。

波形切出部２０２は、Ａ／Ｄ変換部２０１から入力されたデジタル音声信号を所定の長さに切り出し、切り出されたデジタル音声信号を時間周波数変換部２０３へ出力する。これ以降、所定の長さのことをフレームと呼ぶ。本実施形態では、波形切出部２０２は、１０２４サンプルの音声信号を１フレームの音声信号として切り出しを行う。加えて、波形切出部２０２は、５１２サンプルごと時間シフトしながら、フレームの切り出しを行う。すなわち、本実施形態では、波形切出部２０２は、いわゆるハーフオーバラップ処理を行う。また、波形切出部２０２は、切り出された１フレームのデジタル音声信号に対して、ハン窓を用いて窓かけ処理を行う。なお、波形切出部２０２から出力された音声信号は、以後、フレーム単位で音声信号処理が行われる。なお、本実施形態では、波形切出部２０２は窓かけ処理における窓関数としてハン窓を用いるが、ハン窓に代えてハミング窓またはガウス窓などの任意の窓関数を用いてもよい。

時間周波数変換部２０３は、波形切出部２０２から入力された時間領域のデジタル音声信号に対してフーリエ変換処理を行い、周波数領域のデジタル音声信号に変換する。本実施形態では、時間周波数変換部２０３は、デジタル音声信号に対して高速フーリエ変換処理を行う。これ以降、周波数領域のデジタル音声信号を音声スペクトル信号ともいう。外部音声用マイク３０１によって取得された音声から生成された音声スペクトル信号は、雑音低減部２０７へ出力される。他方、雑音参照マイク３０２によって取得された音声から生成された音声スペクトル信号は、雑音検出部２０４および雑音強調部２０５へ出力される。なお、本実施形態において、音声スペクトル信号は、０Ｈｚから４８ｋＨｚまでの周波数帯域において、１０２４ポイントの周波数スペクトルを有する。また、音声スペクトル信号は、０Ｈｚからナイキスト周波数である２４ｋＨｚまでの周波数帯域においては、５１３ポイントの周波数スペクトルを有する。本実施形態では、撮像装置１００は、時間周波数変換部２０３から出力された音声データのうち、０Ｈｚから２４ｋＨｚまでの５１３ポイントの周波数スペクトルを利用して、ノイズ低減の処理を行う。

雑音検出部２０４は、時間周波数変換部２０３から入力された音声スペクトル信号から雑音の検出処理を行う。本実施形態では、雑音検出部２０４は、入力された音声スペクトル信号に対して、フレームごとに雑音が存在するか否かを判定する。以降、雑音が存在すると判定されたフレームを雑音区間のフレーム、雑音が存在しないと判定されたフレームを非雑音区間のフレームという。本実施形態では、雑音検出部２０４は、次のように雑音の検出処理を行う。雑音検出部２０４は、非雑音区間のフレームの音声スペクトル信号と、切り出されたフレームの音声スペクトル信号とのそれぞれの周波数スペクトルの差分の平均値を算出する。そして、雑音検出部２０４は、算出された平均値が所定の閾値を超えた場合、そのフレームを雑音区間のフレームと判定する。このように雑音検出部２０４はノイズ源からノイズが発生している期間を検出する。また、本実施形態では、雑音検出部２０４は、雑音源である駆動部の動作に起因する一定時間継続される長期雑音と、長期雑音の前後に発生する短期雑音をそれぞれ検出することができる。長期雑音は、例えば光学レンズの筐体内における摺動音である。また、短期雑音は、例えば、光学レンズ内のギアがかみ合わさることによって発生する雑音である。長期雑音と短期雑音とを異なる雑音として判定する理由は、撮像装置１００が、それぞれの雑音によって異なる周波数特性に応じたノイズ低減処理を行うためである。雑音検出部２０４は、検出結果を雑音強調部２０５へ出力する。

雑音強調部２０５は、雑音検出部２０４において雑音区間と判定されたフレームに対して時間周波数変換部２０３から入力された音声スペクトル信号に含まれる雑音を強調する処理を行う。雑音強調部２０５において強調された音声スペクトル信号は、補正部２０６において補正される。補正された音声スペクトル信号は、雑音低減部２０７において、外部音声用マイク３０１から入力された音声信号から生成された音声スペクトル信号から減算される。補正部２０６の処理および雑音低減部２０７の処理の詳細については後述する。本実施形態では、雑音強調部２０５は、雑音参照マイク３０２に混入するマイクのセルフノイズを抑制することでレンズ部１０１のレンズが駆動したことによって発生した雑音を強調する。以降、レンズが駆動したことによって発生した雑音をレンズ駆動雑音ともいう。これから雑音強調部２０５の具体的な処理について説明する。

初めに、セルフノイズを抑制する理由について説明する。マイクのセルフノイズの周波数帯域とレンズ駆動雑音の周波数帯域とを比較すると、次の２つの領域に分けられる。一方は、レンズ駆動雑音の振幅がセルフノイズの振幅に対して所定値以上の大きい周波数帯域である。他方は、レンズ駆動雑音の振幅がセルフノイズの振幅に対して所定値より小さい周波数帯域である。すなわち、後者の帯域では、レンズ駆動雑音とセルフノイズとの音の大きさは同程度である。したがって、ユーザには前者の周波数帯域に存在する雑音が主な雑音として聞こえることになる。

それゆえ、撮像装置１００は、ノイズ低減処理を行う場合、前者の周波数帯域に存在するレンズ駆動雑音を十分に低減するためのノイズ低減処理を行う必要がある。しかし、前者の周波数帯域に含まれる音声にも当然、セルフノイズが含まれている。そのため、前者の周波数帯域には、実際のレンズ駆動雑音の音声スペクトル信号よりも振幅の大きい音声スペクトル信号が存在する。このような音声スペクトル信号に基づいて、撮像装置１００が前者の周波数帯域に存在するレンズ駆動雑音を十分に低減するためのノイズ低減処理を行ってしまうと、後者の周波数帯域に含まれる音声信号の振幅までもが過剰に低減されてしまうおそれがある。この場合、ノイズ低減された音声信号は、音質の劣化や不連続感のある音などの不快な音声が含まれる音声信号となってしまう。

そこで、本実施形態では雑音強調部２０５が、セルフノイズのようなレンズ駆動雑音とは相関のない定常的な雑音の振幅を抑制する抑制処理を行うことで、レンズ駆動雑音を低減しつつも音質の劣化等を防ぐことのできるノイズ低減処理を実現する。なお、レンズ駆動雑音とは相関のない定常的な雑音は、セルフノイズのほかに、背景雑音や定常的な環境音の漏れこみ等がある。本実施形態では、雑音強調部２０５は、抑制処理において例えば数式１に示すウィーナーフィルタを用いる。
［数１］ ＷＦ（ｆ）＝ＮＲｅｆ_ｅｎｈ（ｆ－１）／｛ＮＲｅｆ_ｅｎｈ（ｆ－１）＋ＮＲｅｆ_ｓｎ｝

雑音強調部２０５は上記ウィーナーフィルタを用いて数式２に示す計算を行うことにより、抑制処理を実現する。
［数２］ ＮＲｅｆ_ｅｎｈ（ｆ）＝ＷＦ（ｆ）＊ＮＲｅｆ（ｆ）

ここで、ｆはフレーム番号、ＷＦ（ｆ）はウィーナーフィルタ係数、ＮＲｅｆ_ｅｎｈ（ｆ）は雑音強調部２０５から出力される音声スペクトル信号の振幅、ＮＲｅｆ（ｆ）は時間周波数変換部２０３から入力された音声スペクトル信号の振幅を示す。また、ＮＲｅｆ_ｓｎは雑音参照マイク３０２から入力された音声スペクトル信号に含まれるセルフノイズの音声スペクトル信号の振幅を示す。なお、ＮＲｅｆ_ｓｎは、事前にレンズ駆動雑音が発生しない状態で測定されたデータである。

上述のように、ウィーナーフィルタは、例えばセルフノイズのような、主音声とは相関のない定常的な雑音を低減するために用いられるフィルタである。数式１のフィーナーフィルタでは、この主音声に当たるものがレンズ駆動雑音の音声信号、主音声とは相関のない定常的な雑音に当たるものがセルフノイズの音声信号となるように式が構成されている。雑音強調部２０５は、このウィーナーフィルタを雑音参照マイク３０２からの音声信号に対して適用することにより、雑音参照マイク３０２に収音された音声信号から、レンズ駆動雑音以外の音を低減することができる。特にセルフノイズのように、雑音検出部２０４において長期雑音と検出されるような音は、ウィーナーフィルタによって効果的に低減可能な種別の音である。

このように、雑音強調部２０５は、ノイズ源から発生した雑音以外の音を低減することにより、ノイズ源から発生した雑音そのものに近い音声信号を生成する。本実施形態では、雑音強調部２０５は、ウィーナーフィルタを用いることで、セルフノイズのように、レンズ駆動雑音とは相関のない定常的な雑音が抑制された、レンズ駆動雑音そのものに近い音声スペクトル信号を生成する。これによって、雑音強調部２０５は、相対的にレンズ駆動雑音を強調した音声スペクトル信号を生成することができる。撮像装置１００は、レンズ駆動雑音そのものに近い音声スペクトル信号を用いることで、外部音声用マイク３０１からの音声スペクトル信号に含まれるレンズ駆動雑音を低減するとともに、それ以外の音が過剰に低減されることを防ぐことができる。つまり、撮像装置１００は、雑音強調部２０５によって生成された音声スペクトル信号を用いることで、レンズ駆動雑音を低減しつつも音質の劣化等を防ぐことのできるノイズ低減処理を実現することができる。なお、雑音強調部２０５は、このセルフノイズ低減処理を雑音検出部２０４で雑音区間として判定された区間のみにおいて実施する。また、このセルフノイズ低減処理は雑音検出部２０４で検出された雑音の種別ごとに異なる処理が行われてもよい。雑音強調部２０５は、抑制処理を行った音声スペクトル信号を補正部２０６へ出力する。

補正部２０６は、雑音強調部２０５から入力された音声スペクトル信号を補正する。補正部２０６は、雑音強調部２０５から入力された音声スペクトル信号を補正することで、外部音声用マイク３０１に含まれるノイズ駆動雑音の音声スペクトル信号に近づける。補正処理が必要な理由は、外部音声用マイク３０１と雑音参照マイク３０２とでは、同じレンズ駆動雑音からでも生成される音声信号が異なるからである。これは外部音声用マイク３０１の付近には筐体に穴が設けられていることに対し、雑音参照マイクは外装によって外部から遮蔽されるように配置されていることに起因する。本実施形態では、補正部２０６は、雑音強調部２０５から入力された音声スペクトル信号を外部音声用マイク３０１から入力された音声信号に含まれる雑音成分に近づけるために、予め記録された補正係数を用いる。この補正係数は不揮発性メモリ１０９に記録されている。本実施形態では、補正部２０６は、雑音強調部２０５から入力された音声スペクトル信号にこの補正係数を乗算する。補正部２０６は補正係数によって補正された音声スペクトル信号を雑音低減部２０７へ出力する。

雑音低減部２０７は、時間周波数変換部２０３から入力された外部音声用マイク３０１の音声スペクトル信号に対して、補正部２０６から入力された音声スペクトル信号を用いて雑音を低減する。本実施形では、雑音低減部２０７は、ウィーナーフィルタを用いて雑音を低減する。雑音が低減された音声スペクトル信号を周波数時間変換部２０８へ出力する。

周波数時間変換部２０８は、雑音低減部２０７から入力された音声スペクトル信号に逆フーリエ変換処理を行うことにより時間領域の音声信号に変換する。また、周波数時間変換部２０８は、フレームごとにハーフオーバラップで加算しながら出力する。出力された音声信号は、制御部１０５により、記録部１０８に記録される。例えば、動画記録モードの場合、制御部１０５は画像処理部１０４からの画像信号と周波数時間変換部２０８からの音声信号とから動画データを生成し、記録部１０８に記録する。

＜音声記録処理＞
図５を用いて、本実施形態における撮像装置１００の音声の記録処理について説明する。図５は本実施形態における音声記録処理のフローチャートである。本フローチャートに示す処理は、撮像装置１００の制御部１０５が入力信号やプログラムに従い、音声処理部２００を制御することにより実現される。本フローチャートの処理は、例えば、ユーザから操作部１０６によって動画記録開始や音声記録開始の指示を受け付けたことに応じて開始される。

ステップＳ５０１では、音声処理部２００は、波形切出部２０２によって、Ａ／Ｄ変換部２０１から出力されたデジタル音声信号から波形を１フレーム切り出す。

ステップＳ５０２では、音声処理部２００は、時間周波数変換部２０３によって、波形切出部２０２によって生成されたデジタル音声信号に対して高速フーリエ変換（ＦＦＴ）処理を行う。音声処理部２００は、時間周波数変換部２０３によって、外部音声用マイク３０１によって取得されたデジタル音声信号から音声スペクトル信号を生成する。この音声スペクトル信号は雑音低減部２０７において利用される。また、音声処理部２００は、時間周波数変換部２０３によって、雑音参照マイク３０２によって取得されたデジタル音声信号から音声スペクトル信号を生成する。この音声信号は、雑音検出部２０４および雑音強調部２０５において利用される。

ステップＳ５０３では、音声処理部２００は、雑音検出部２０４によって、時間周波数変換部２０３によって生成された音声スペクトル信号から雑音の検出処理を行う。

ステップＳ５０４では、音声処理部２００は、雑音強調部２０５によって、雑音検出部２０４において雑音区間と判定されたフレームに対して、時間周波数変換部２０３によって生成された音声スペクトル信号に含まれる雑音を強調する処理を行う。

ステップＳ５０５では、音声処理部２００は、補正部２０６によって、雑音強調部２０５によって生成された音声スペクトル信号を補正する。

ステップＳ５０６では、音声処理部２００は、雑音低減部２０７によって、時間周波数変換部２０３によって生成された音声スペクトル信号に対して、補正部２０６によって生成された音声スペクトル信号を用いて雑音を低減する。

ステップＳ５０７では、音声処理部２００は、周波数時間変換部２０８によって、雑音低減部２０７によって生成された音声スペクトル信号に対して逆高速フーリエ変換処理（ＩＦＦＴ）処理を行う。変換された信号は逐次、制御部１０５によって記録部１０８に記録される。

ステップＳ５０８では、制御部１０５は、撮影を終了するか否かを判定する。例えば、ユーザによってレリーズスイッチが押下された場合、制御部１０５は、撮影を終了すると判定する。制御部１０５が撮影を終了すると判定した場合、本フローチャートの一連の処理は終了する。制御部１０５が撮影を終了しないと判定した場合、ステップＳ５０１の処理が実行される。すなわち、ユーザが撮影の終了を指示する操作をするまでステップＳ５０１からＳ５０７の処理は繰り返される。

以上、撮像装置１００の音声記録処理について説明した。これにより、撮像装置１００は、レンズ駆動雑音を低減しつつも音質の劣化等を防ぐことのできるノイズ低減処理を実現することができる。

なお、本実施形態では、音声処理部２００は、雑音検出部２０４によって、音声スペクトル信号に基づいて雑音区間の検出を行ったが、雑音の発生源である駆動部の制御情報を取得し、その制御情報に基づいて雑音の検出を行ってもよい。例えば、音声処理部２００は、雑音検出部２０４によって、レンズ制御部１０２からレンズ駆動のための制御信号を取得し、その制御信号に基づいて雑音検出を行ってもよい。

なお、音声処理部２００は、雑音検出部２０４によって、外部音声用マイク３０１によって取得された音声から生成された音声スペクトル信号を用いて、雑音区間の検出を行ってもよい。

なお、雑音強調部２０５および雑音低減部２０７ではウィーナーフィルタを用いて抑制処理を実施したが、他のノイズ低減手法を用いてもよい。他のノイズ低減手法は例えば、スペクトルサブトラクション法（ＳＳ法）がある。ＳＳ法によるノイズ低減では、例えば、音声処理部２００は、雑音強調部２０５によって、不揮発性メモリ１０９に記録されているセルフノイズ減算用の音声スペクトル信号を、時間周波数変換部２０３によって生成された音声スペクトル信号から減算する。また、例えば、ＳＳ法によるノイズ低減では、音声処理部２００は、雑音低減部２０７によって、時間周波数変換部２０３によって生成された外部音声用マイク３０１の音声スペクトル信号から、補正部２０６によって生成された音声スペクトル信号を減算する。なお、ＳＳ法では、レンズの絞り駆動のように定常的ではない音も、その音を減算するための音声スペクトル信号を用いることで、低減可能である。このような定常的ではない音は、例えば、雑音検出部２０４によって、短期雑音として検出される。また、他にも、音声処理部２００は、音声スペクトル信号の振幅が所定の閾値以下である信号に対して振幅を低減する処理を行うことで、抑制処理を行ってもよい。また、他にも、ウィーナーフィルタの代わりに、バンドパスフィルタやハイパスフィルタなどを用いて抑制処理を行ってもよい。

なお、雑音強調部２０５では、雑音検出部２０４によって検出された雑音の種別に応じてノイズ低減方法を異ならせてもよい。例えば、雑音強調部２０５では、レンズ駆動ノイズ以外の長期雑音を抑制する場合はウィーナーフィルタが、レンズ駆動ノイズ以外の短期雑音を抑制する場合はＳＳ法が用いられるようにしてもよい。

なお、本実施形態では、音声処理部２００は、雑音強調部２０５によって、補正部２０６の前段で雑音を強調する処理を実施したが、補正部２０６で補正された信号に対して雑音を強調する処理を行うように順番を変更してもよい。

なお、本実施形態では、セルフノイズＮＲｅｆ_ｓｎは、事前にレンズ駆動雑音が発生しない状態で測定されたデータであるとしたが、音声記録中に計算されてもよい。例えば、セルフノイズＮＲｅｆ_ｓｎは、雑音検出部２０４によって雑音区間でないと判定されたフレームの平均値にしてもよい。このようにすれば、撮像装置１００は、事前にデータを測定する必要性がなくなると同時に、マイクの経年劣化等によってセルフノイズが変化した場合でも、そのセルフノイズに合わせたセルフノイズＮＲｅｆ_ｓｎを用いることができる。

なお、音声処理部２００は、補正部２０６によって、雑音検出部２０４によって検出された雑音種別に応じて異なる補正処理を行ってもよい。

なお、本実施形態では、補正部２０６によって用いられる補正係数はあらかじめ記録されていたが、逐次計算されるようにしてもよい。例えば、制御部１０５が、補正係数を、外部音声用マイク３０１によって取得された信号と雑音参照マイク３０２によって取得された信号と用いて計算してもよい。この計算には、例えば適応フィルタが用いられる。

なお、本実施形態では、外部音声用マイク３０１は２つのマイクとしたが、マイクの数は２つに限られない。例えば、外部音声用マイク３０１はモノラル方式であれば１つ、サラウンド方式であれば３つ、アンビソニックス方式では４つのマイクを有してもよい。

［第二の実施形態］
第一の実施形態では、雑音強調部２０５が、雑音参照マイク３０２によって取得された音声から生成された音声スペクトル信号のみを用いて雑音を強調する方法を説明した。第二の実施形態では、雑音強調部２０５が、さらに外部音声用マイク３０１によって取得された音声から生成された音声スペクトル信号も用いて雑音を強調する方法について説明する。

このような方法は、雑音参照マイク３０２が環境音を収音してしまった場合に特に有効である。このような場合は、環境音が筐体によって伝送されて雑音参照マイクによって収音されてしまうことによって発生する。本実施形態では、雑音強調部２０５がさらに、雑音参照マイク３０２によって取得された環境音を抑制することで、レンズ駆動雑音を強調する例について説明する。

第二の実施形態では、第一の実施形態と異なる点を中心に簡潔に説明する。なお、撮像装置１００の構成は第一の実施形態と同様である。

本実施形態では図６に示すように、雑音強調部２０５には、時間周波数変換部２０３および雑音検出部２０４からの出力に加えて、外部音声用マイク３０１によって取得された音声から生成された音声スペクトル信号が入力される。

本実施形態では、雑音強調部２０５は、例えば数式３および数式４に示すウィーナーフィルタを用いる。
［数３］ ＬＳ（ｆ）＝ＮＲ（ｆ－１）＊Ｇ
［数４］ ＷＦ（ｆ）＝ＮＲｅｆ_ｅｎｈ（ｆ－１）／｛ＮＲｅｆ_ｅｎｈ（ｆ－１）＋ＬＳ（ｆ）｝

雑音強調部２０５は数式３および数式４に示すウィーナーフィルタを用いて、数式５に示す計算を行うことにより、抑制処理を実現する。
［数５］ ＮＲｅｆ_ｅｎｈ（ｆ）＝ＷＦ（ｆ）＊ＮＲｅｆ（ｆ）

ＬＳ（ｆ）は雑音参照マイク３０２によって取得された環境音の音声スペクトル信号の振幅、ＮＲ（ｆ）は雑音低減部２０７から出力された音声スペクトル信号の振幅である。Ｇは雑音低減部２０７から出力された音声スペクトル信号を、雑音参照マイク３０２によって取得された環境音の振幅に補正するための補正係数である。補正係数Ｇはあらかじめ実測値から計算された係数である。その他の係数は第一の実施形態と同様であるため説明を省略する。

ここで、ＬＳ（ｆ）の計算において、雑音低減部２０７から出力された音声スペクトル信号が用いられる理由を説明する。雑音低減部２０７から出力された音声スペクトル信号はノイズ駆動雑音を含まない音声とみなせる。また、ノイズ低減された音声スペクトル信号では、セルフノイズは完全に除去されているわけではなく、ある程度残存している。したがって、雑音低減部２０７から出力された音声スペクトル信号は、環境音とセルフノイズとを含み、雑音を含まない音声スペクトル信号と考えることができる。すなわち、雑音低減部２０７から出力された音声スペクトル信号を補正することによって算出されたＬＳ（ｆ）は、セルフノイズおよび環境音の音声スペクトル信号の振幅を示す係数とみなせる。上述のウィーナーフィルタ係数の計算式では、ＬＳ（ｆ）がノイズとみなされるため、セルフノイズおよび環境音がノイズとして低減される対象となる。これがＬＳ（ｆ）の計算において、雑音低減部２０７から出力された音声スペクトル信号が用いられる理由である。

したがって、雑音強調部２０５は、雑音低減部２０７から出力された音声スペクトル信号をウィーナーフィルタに用いることによって、セルフノイズと環境音との音声スペクトル信号の振幅を抑制することができる。すなわち、雑音強調部２０５は、雑音低減部２０７から出力された音声スペクトル信号を用いることで、レンズ駆動雑音を強調することができる。

この雑音強調部２０５から出力された音声スペクトル信号を用いてノイズ低減処理を行うことで、撮像装置１００は、より多くの雑音を低減することが可能になり、高品質な音声を生成することができる。

なお、雑音強調部２０５は、ＮＲ（ｆ）を計算する場合には、外部音声用マイク３０１に含まれるマイクのうち少なくとも１つによって取得された音声から生成された音声スペクトル信号を用いればよい。

なお、雑音強調部２０５は、ＬＳ（ｆ）の計算のために雑音低減部２０７から出力された音声スペクトル信号を使用する方法を説明したが、その他の音声スペクトル信号が用いられてもよい。例えば、外部音声用マイク３０１によって取得された音声から生成された音声スペクトル信号に対してあらかじめ用意されたレンズ駆動雑音を低減するためのマスクによるマスキング処理が行われた音声スペクトル信号が用いられてもよい。また、例えば、外部音声用マイク３０１によって取得された音声から生成された音声スペクトル信号に対して、バンドストップフィルタによってレンズ駆動雑音を低減された音声スペクトル信号が用いられてもよい。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

Claims (15)

1. 環境音を取得するための第一のマイクと、
   ノイズ源からの音を取得するための第二のマイクと、
   前記第二のマイクによって生成された音声信号から、前記ノイズ源のノイズを強調する強調手段と、
   前記強調手段によって生成された音声信号に基づいて、前記第一のマイクによって生成された音声信号から前記ノイズ源のノイズを減算する減算手段と、
   を有することを特徴とする音声処理装置。
2. 前記強調手段は、前記ノイズ源のノイズ以外の音声信号を低減することで、前記ノイズ源のノイズを強調することを特徴とする請求項１に記載の音声処理装置。
3. 前記ノイズ源のノイズ以外の音声信号は、少なくとも環境音の音声信号、前記第一のマイクのセルフノイズ、および前記第二のマイクのセルフノイズのいずれか一つを含むことを特徴とする請求項２に記載の音声処理装置。
4. 前記強調手段は、前記ノイズ源のノイズとは相関のない音声の音声信号を低減することを特徴とする請求項１から３のいずれか１項に記載の音声処理装置。
5. 前記強調手段は、前記ノイズ源のノイズ以外の音の種別に応じて、ノイズ低減処理を異ならせることを特徴とする請求項１から４のいずれか１項に記載の音声処理装置。
6. 前記強調手段は、前記第二のマイクによって生成された音声信号から、前記ノイズ源のノイズ以外の音声信号を減算することを特徴とする請求項１から５のいずれか１項に記載の音声処理装置。
7. 前記強調手段は、フィルタを用いて、前記第二のマイクによって生成された音声信号から前記ノイズ源のノイズ以外の音声信号を低減することを特徴とする請求項１から６のいずれか１項に記載の音声処理装置。
8. 前記強調手段は、ウィーナーフィルタによって、前記第二のマイクによって生成された音声信号から前記ノイズ源のノイズ以外の音声信号を低減することを特徴とする請求項７に記載の音声処理装置。
9. 前記ノイズ源のノイズが発生している期間を検出する検出手段をさらに有し、
   前記強調手段は、前記検出手段によって検出された前記ノイズ源のノイズが発生している期間において、前記ノイズ源のノイズを強調する
   ことを特徴とする請求項１から８のいずれか１項に記載の音声処理装置。
10. 前記検出手段は、前記第二のマイクによって生成された音声信号に基づいて前記ノイズ源のノイズが発生している期間を検出することを特徴とする請求項９に記載の音声処理装置。
11. 前記強調手段によって生成された音声信号を補正する補正手段をさらに有し、
    前記減算手段は、前記補正手段によって生成された音声信号を、前記第一のマイクから生成された音声信号から減算することを特徴とする請求項１から１０のいずれか１項に記載の音声処理装置。
12. 前記第一のマイクから生成された時間領域の音声信号および前記第二のマイクから生成された時間領域の音声信号を周波数領域の音声信号に変換する変換手段をさらに有し、
    前記強調手段は、前記変換手段によって変換された前記第二のマイクによって生成された音声信号から、前記ノイズ源のノイズを強調し、
    前記減算手段は、前記強調手段によって生成された音声信号に基づいて、前記変換手段によって変換された前記第一のマイクによって生成された音声信号から、前記ノイズ源のノイズを減算することを特徴とする請求項１から１１のいずれか１項に記載の音声処理装置。
13. 前記ノイズ源は前記音声処理装置に取り付け可能なレンズに含まれることを特徴とする請求項１から１２のいずれか１項に記載の音声処理装置。
14. 環境音を取得するための第一のマイクと、
    ノイズ源からの音を取得するための第二のマイクと、を有する音声処理装置の制御方法であって、
    前記第二のマイクによって生成された音声信号から、前記ノイズ源のノイズを強調する強調ステップと、
    前記強調ステップにおいて生成された音声信号に基づいて、前記第一のマイクによって生成された音声信号から前記ノイズ源のノイズを減算する減算ステップと、
    を有することを特徴とする制御方法。
15. コンピュータを請求項１から１３のいずれか１項に記載の音声処理装置の各手段として機能させるための、コンピュータが読み取り可能なプログラム。

Images