JP2013178458A - 信号処理装置及び信号処理プログラム - Google Patents
信号処理装置及び信号処理プログラム Download PDFInfo
- Publication number
- JP2013178458A JP2013178458A JP2012185425A JP2012185425A JP2013178458A JP 2013178458 A JP2013178458 A JP 2013178458A JP 2012185425 A JP2012185425 A JP 2012185425A JP 2012185425 A JP2012185425 A JP 2012185425A JP 2013178458 A JP2013178458 A JP 2013178458A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- signal
- frequency domain
- input sound
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Camera Bodies And Camera Details Or Accessories (AREA)
- Studio Devices (AREA)
Abstract
【課題】入力音信号のノイズを低減できる信号処理装置を提供する。
【解決手段】本発明の信号処理装置20は、入力音信号を取得する信号取得部21と、入力音信号を周波数領域信号に変換する信号変換部22と、入力音信号へのノイズ混入と関連する信号を取得するノイズ混入検知部23と、ノイズ混入検知部23の検知結果に基づいて入力音信号におけるノイズ混入領域とノイズ不混入領域とを判定するノイズ領域判定部24と、ノイズ混入領域における周波数領域信号から推定ノイズを抽出するノイズ推定部25と、周波数領域信号を用いて所定の係数αを求める係数決定部26と、入力音信号におけるノイズ混入領域の周波数領域信号から推定ノイズに係数αを掛けたものを減算し、ノイズ低減を行うノイズ低減部27と、ノイズ低減部によってノイズ低減されたノイズ混入領域の周波数領域信号を音信号に逆変換する逆変換部28と、を備える。
【選択図】図2
【解決手段】本発明の信号処理装置20は、入力音信号を取得する信号取得部21と、入力音信号を周波数領域信号に変換する信号変換部22と、入力音信号へのノイズ混入と関連する信号を取得するノイズ混入検知部23と、ノイズ混入検知部23の検知結果に基づいて入力音信号におけるノイズ混入領域とノイズ不混入領域とを判定するノイズ領域判定部24と、ノイズ混入領域における周波数領域信号から推定ノイズを抽出するノイズ推定部25と、周波数領域信号を用いて所定の係数αを求める係数決定部26と、入力音信号におけるノイズ混入領域の周波数領域信号から推定ノイズに係数αを掛けたものを減算し、ノイズ低減を行うノイズ低減部27と、ノイズ低減部によってノイズ低減されたノイズ混入領域の周波数領域信号を音信号に逆変換する逆変換部28と、を備える。
【選択図】図2
Description
本発明は、信号処理装置及び信号処理プログラムに関するものである。
たとえば、デジタルカメラ等の撮像装置による動画撮影時において、オートフォーカス(以後、「AF」と略記する)の駆動音等が被写体の発する音声等の目的音に重なって入力されてしまい、そのまま録音すると再生時に聞き苦しいものとなる。
このように、背景音に重なって入力されたノイズを低減するものとして、ノイズを含む入力音の周波数スペクトルからノイズ成分の周波数スペクトルを減算する方法が知られている(非特許文献1等参照)。
このように、背景音に重なって入力されたノイズを低減するものとして、ノイズを含む入力音の周波数スペクトルからノイズ成分の周波数スペクトルを減算する方法が知られている(非特許文献1等参照)。
M. Berouti, R. Schwartz and J. Makhoul, "Enhancement of speech corrupted by acoustic noise," Proc. IEEE Int. Conf. Accoust., Speech, Signal Process., pp.208−211, Apr. 1979.
上記従来のノイズ低減方法は、定常的なノイズを対象としており、カメラのAFノイズのように間欠的に入力される非定常のノイズには対応できず、良好に低減できないという問題があった。
本発明の課題は、入力音信号のノイズを低減できる信号処理装置及び信号処理プログラムを提供することである。
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の実施形態に対応する符号を付して説明するが、これに限定されるものではない。
請求項1に記載の発明は、入力音信号を取得する信号取得部(21)と、前記入力音信号を周波数領域信号に変換する信号変換部(22)と、前記入力音信号へのノイズ混入と関連する信号を取得するノイズ混入検知部(23)と、前記ノイズ混入検知部(23)の検知結果に基づいて前記入力音信号におけるノイズ混入領域とノイズ不混入領域とを判定するノイズ領域判定部(24)と、前記ノイズ混入領域における周波数領域信号から推定ノイズを抽出するノイズ推定部(25)と、前記周波数領域信号を用いて所定の係数(α)を求める係数決定部(26)と、前記入力音信号における前記ノイズ混入領域の周波数領域信号から前記推定ノイズに前記係数(α)を掛けたものを減算し、ノイズ低減を行うノイズ低減部(27)と、前記ノイズ低減部によってノイズ低減された前記ノイズ混入領域の周波数領域信号を音信号に逆変換する逆変換部(28)と、を備えること、を特徴とする信号処理装置(20)である。
請求項2に記載の発明は、請求項1に記載の信号処理装置(20)であって、前記信号変換部(22)は、前記入力音信号の周波数領域信号を複数の帯域に分割し、前記係数決定部(26)は、前記帯域毎に所定の係数(α)を決定すること、を特徴とする信号処理装置(20)である。
請求項3に記載の発明は、請求項1または2に記載の信号処理装置(20)であって、前記係数決定部(26)は、ノイズ低減の対象となっているフレームの直前にある、前記ノイズ低減部(27)によってノイズ低減処理されたフレームの周波数領域信号を用いて、前記係数(α)を求めること、を特徴とする信号処理装置(20)である。
請求項4に記載の発明は、請求項1から3のいずれか1項に記載の信号処理装置(20)であって、前記係数(α)は、
(1)ノイズ混入区間近傍のあるフレームのパワー
(2)ノイズ混入区間近傍の複数フレームのパワーの平均
(3)ノイズ混入区間近傍のあるフレームのパワー/推定ノイズのパワー
(4)ノイズ混入区間近傍の複数フレームのパワーの平均/推定ノイズのパワー
のいずれかに基づいて決定されること、を特徴とする信号処理装置(20)である。
請求項5に記載の発明は、請求項1または請求項2に記載の信号処理装置(20)であって、前記係数決定部(26)は、前記ノイズ不混入領域における周波数領域信号と、推定ノイズの周波数領域信号と、を用いて前記係数(Α)を求めること、を特徴とする信号処理装置(20)である。
請求項6に記載の発明は、請求項1から5のいずれか1項に記載の信号処理装置(20)であって、駆動装置(20)によって駆動される光学要素(11F)を備える光学機器に用いられ、前記入力音信号に混入するノイズは、前記光学要素(11F)の駆動音であること、を特徴とする信号処理装置(20)である。
請求項7に記載の発明は、請求項6に記載の信号処理装置(20)であって、前記光学要素(11F)は撮像装置(20)におけるAFレンズであり、前記ノイズ混入検知部(23)は、前記AFレンズの制御信号または駆動検知信号のいずれかを前記入力音信号へのノイズ混入と関連する信号として取得すること、を特徴とする信号処理装置(20)である。
請求項8に記載の発明は、連続するフレームごとに入力音信号を取得する信号取得部(21)と、前記入力音信号を周波数領域信号に変換する信号変換部(22)と、前記入力音信号の前記周波数領域信号に含まれるノイズを推定するノイズ推定部(25)と、前記周波数領域信号を用いて所定の係数(α)を求める係数決定部(26)と、前記入力音信号の周波数領域信号から、推定された前記ノイズに前記係数(α)を掛けたものを減算するノイズ低減部(27)と、前記ノイズ低減部によってノイズ低減された前記入力音信号の周波数領域信号を逆変換してノイズ処理音信号を生成して出力する逆変換部(28)と、を備える信号処理装置(20)であって、前記係数決定部(26)は、ノイズ低減の対象となっているフレームの直前にあるフレームの周波数領域信号を用いて、前記係数(α)を求めること、を特徴とする信号処理装置(20)である。
請求項9に記載の発明は、コンピュータに、取得された入力音信号を周波数領域信号に変換するステップと、前記入力音信号へのノイズ混入と関連する信号を取得するステップと、前記ノイズと関連する信号に基づいて前記入力音信号におけるノイズ混入領域とノイズ不混入領域とを判定するステップと、前記ノイズ混入領域における周波数領域信号から推定ノイズを抽出させるステップと、前記周波数領域信号を用いて所定の係数(α)を決定するステップと、前記入力音信号における前記ノイズ混入領域の周波数領域信号から前記推定ノイズに前記係数(α)を掛けたものを減算し、ノイズの低減を行うステップと、ノイズが低減された前記ノイズ混入領域の周波数領域信号を音信号に逆変換するステップと、を実行させる信号処理プログラムである。
請求項10に記載の発明は、コンピュータに、連続するフレームごとに入力音信号を取得するステップと、前記入力音信号を周波数領域信号に変換するステップと、前記入力音信号の前記周波数領域信号に含まれるノイズを推定するステップと、所定の係数(α)を決定するステップと、前記入力音信号の周波数領域信号から、推定された前記ノイズに前記係数(α)を掛けたものを減算し、ノイズの低減を行うステップと、ノイズ低減された前記入力音信号の周波数領域信号を音信号に逆変換するステップと、を実行させる信号処理プログラムであって、前記所定の係数(α)を決定するステップは、ノイズ低減の対象となっているフレームの直前にあるフレームの周波数領域信号を用いて、前記係数を求めること、を特徴とする信号処理プログラムである。
請求項2に記載の発明は、請求項1に記載の信号処理装置(20)であって、前記信号変換部(22)は、前記入力音信号の周波数領域信号を複数の帯域に分割し、前記係数決定部(26)は、前記帯域毎に所定の係数(α)を決定すること、を特徴とする信号処理装置(20)である。
請求項3に記載の発明は、請求項1または2に記載の信号処理装置(20)であって、前記係数決定部(26)は、ノイズ低減の対象となっているフレームの直前にある、前記ノイズ低減部(27)によってノイズ低減処理されたフレームの周波数領域信号を用いて、前記係数(α)を求めること、を特徴とする信号処理装置(20)である。
請求項4に記載の発明は、請求項1から3のいずれか1項に記載の信号処理装置(20)であって、前記係数(α)は、
(1)ノイズ混入区間近傍のあるフレームのパワー
(2)ノイズ混入区間近傍の複数フレームのパワーの平均
(3)ノイズ混入区間近傍のあるフレームのパワー/推定ノイズのパワー
(4)ノイズ混入区間近傍の複数フレームのパワーの平均/推定ノイズのパワー
のいずれかに基づいて決定されること、を特徴とする信号処理装置(20)である。
請求項5に記載の発明は、請求項1または請求項2に記載の信号処理装置(20)であって、前記係数決定部(26)は、前記ノイズ不混入領域における周波数領域信号と、推定ノイズの周波数領域信号と、を用いて前記係数(Α)を求めること、を特徴とする信号処理装置(20)である。
請求項6に記載の発明は、請求項1から5のいずれか1項に記載の信号処理装置(20)であって、駆動装置(20)によって駆動される光学要素(11F)を備える光学機器に用いられ、前記入力音信号に混入するノイズは、前記光学要素(11F)の駆動音であること、を特徴とする信号処理装置(20)である。
請求項7に記載の発明は、請求項6に記載の信号処理装置(20)であって、前記光学要素(11F)は撮像装置(20)におけるAFレンズであり、前記ノイズ混入検知部(23)は、前記AFレンズの制御信号または駆動検知信号のいずれかを前記入力音信号へのノイズ混入と関連する信号として取得すること、を特徴とする信号処理装置(20)である。
請求項8に記載の発明は、連続するフレームごとに入力音信号を取得する信号取得部(21)と、前記入力音信号を周波数領域信号に変換する信号変換部(22)と、前記入力音信号の前記周波数領域信号に含まれるノイズを推定するノイズ推定部(25)と、前記周波数領域信号を用いて所定の係数(α)を求める係数決定部(26)と、前記入力音信号の周波数領域信号から、推定された前記ノイズに前記係数(α)を掛けたものを減算するノイズ低減部(27)と、前記ノイズ低減部によってノイズ低減された前記入力音信号の周波数領域信号を逆変換してノイズ処理音信号を生成して出力する逆変換部(28)と、を備える信号処理装置(20)であって、前記係数決定部(26)は、ノイズ低減の対象となっているフレームの直前にあるフレームの周波数領域信号を用いて、前記係数(α)を求めること、を特徴とする信号処理装置(20)である。
請求項9に記載の発明は、コンピュータに、取得された入力音信号を周波数領域信号に変換するステップと、前記入力音信号へのノイズ混入と関連する信号を取得するステップと、前記ノイズと関連する信号に基づいて前記入力音信号におけるノイズ混入領域とノイズ不混入領域とを判定するステップと、前記ノイズ混入領域における周波数領域信号から推定ノイズを抽出させるステップと、前記周波数領域信号を用いて所定の係数(α)を決定するステップと、前記入力音信号における前記ノイズ混入領域の周波数領域信号から前記推定ノイズに前記係数(α)を掛けたものを減算し、ノイズの低減を行うステップと、ノイズが低減された前記ノイズ混入領域の周波数領域信号を音信号に逆変換するステップと、を実行させる信号処理プログラムである。
請求項10に記載の発明は、コンピュータに、連続するフレームごとに入力音信号を取得するステップと、前記入力音信号を周波数領域信号に変換するステップと、前記入力音信号の前記周波数領域信号に含まれるノイズを推定するステップと、所定の係数(α)を決定するステップと、前記入力音信号の周波数領域信号から、推定された前記ノイズに前記係数(α)を掛けたものを減算し、ノイズの低減を行うステップと、ノイズ低減された前記入力音信号の周波数領域信号を音信号に逆変換するステップと、を実行させる信号処理プログラムであって、前記所定の係数(α)を決定するステップは、ノイズ低減の対象となっているフレームの直前にあるフレームの周波数領域信号を用いて、前記係数を求めること、を特徴とする信号処理プログラムである。
本発明によれば、入力音信号のノイズを低減できる信号処理装置及び信号処理プログラムを提供できる。
(第1実施形態)
以下、図面等を参照して、本発明の第1実施形態について説明する。
図1は、本発明における情報処理装置の第1実施形態である音声情報処理装置20を備えるカメラ1のブロック構成図である。
カメラ1は、静止画と動画のいずれも撮影可能であって、動画撮影時には画像と同時に音声も記録するものである。
以下、図面等を参照して、本発明の第1実施形態について説明する。
図1は、本発明における情報処理装置の第1実施形態である音声情報処理装置20を備えるカメラ1のブロック構成図である。
カメラ1は、静止画と動画のいずれも撮影可能であって、動画撮影時には画像と同時に音声も記録するものである。
図1に示すように、カメラ1は、AFレンズ11Fを含む結像光学系11と、AFレンズ11Fを移動駆動するAF駆動部12と、結像光学系11によって結像された被写体像光を電気信号に変換する撮像素子13と、撮像素子13から出力されるアナログの画像情報をA/D変換すると共に画像処理して画像データを生成する画像処理部14と、を備えている。
また、カメラ1は、音声等の音情報を集音し、A/D変換すると共にノイズ低減処理する音声情報処理装置20と、画像処理部14が出力する画像データおよび音声情報処理装置20が出力する音声データを、メモリーカード等の記録媒体30に記録する記録部15と、を備えている。さらに、カメラ1は、当該カメラ1の各構成要素を統括制御する制御部50を備えている。
そして、カメラ1は、使用者による図示しないシャッタボタンの押圧操作によって撮影が指令されると、制御部50によって制御されて撮影作用を行う。すなわち、撮像素子13によって被写体像光を電気信号に変換し、画像処理部14によって処理した画像データを、記録部15を介して記録媒体30に記録する(撮影する)。制御部50は、撮影時において、AF駆動部12を介してAFレンズ11Fを移動駆動するAF制御を行う。AF制御は、たとえば、撮像素子13によって撮像した被写体のコントラストを検出して行う(コントラストAF)。
動画撮影時においては、撮像素子13は、いわゆるローリングシャッターという方式で被写体像光を電気信号に変換して順次取り込み、記録部15を介して1秒間に所定のフレーム(コマ数)の画像を記録媒体30に記録する(撮影する)。また、前述したように、音声情報処理装置20が集音した音声データを、画像データと共にフレーム毎に記録部15を介して記録媒体30に記録(録音)する。動画撮影時には、撮影期間を通してAF制御が行われる。
ここで、音声情報処理装置20は、集音した音声からAF制御にかかる駆動音(AF駆動音)を低減処理して記録部15に出力する。
つぎに、前述した図1に加えて図2〜図6を参照し、音声情報処理装置20について詳細に説明する。図2は、音声情報処理装置20のブロック構成図である。図3は、音声情報処理装置20における、動作フローを示すフローチャートである。図4は、信号変換部22における周波数帯域分割部22Bによる周波数帯域分割の一例を示す図である。図5は、入力音声信号を概念的に示しノイズ領域判定部24の作用を説明する図である。図6は、SNRに対する減算係数αiを示すグラフである。
つぎに、前述した図1に加えて図2〜図6を参照し、音声情報処理装置20について詳細に説明する。図2は、音声情報処理装置20のブロック構成図である。図3は、音声情報処理装置20における、動作フローを示すフローチャートである。図4は、信号変換部22における周波数帯域分割部22Bによる周波数帯域分割の一例を示す図である。図5は、入力音声信号を概念的に示しノイズ領域判定部24の作用を説明する図である。図6は、SNRに対する減算係数αiを示すグラフである。
音声情報処理装置20は、図2に示すように、信号取得部21、信号変換部22、ノイズ混入検知部23、ノイズ領域判定部24、ノイズ推定部25、係数決定部26、ノイズ低減部27、逆変換部28、の各作用部を備えて構成されている。
そして、音声情報処理装置20は、係数決定部26が、ノイズ領域判定部24によって判定されたAFノイズ不混入領域における周波数領域信号を用いてSNR(signal−noise ratio=S/N)を決定すると共にこのSNRに基づいて減算係数αiを決定する。そして、ノイズ低減部が、入力音におけるノイズ混入領域の周波数領域信号から、ノイズ推定部25によって推定された推定ノイズに減算係数αiを掛けたものを減算してノイズ処理した周波数領域信号を形成し、逆変換部がノイズ処理周波数領域信号を逆変換してノイズ処理音信号を生成して出力する。
以下、各作用部について、図2及び図3により順を追って詳細に説明する。
以下、各作用部について、図2及び図3により順を追って詳細に説明する。
信号取得部21は、音声等を集音するマイク21Mを備えており、外部の音声をアナログ信号として検出し、A/D変換してデジタル信号として後述する信号変換部22(周波数解析部22A)に出力する。
信号変換部22は、周波数解析部22Aと、周波数帯域分割部22Bと、により構成されている。
周波数解析部22Aは、信号取得部21から入力されるデジタル化された音響信号を、所定の区間を切り出し、(ハニング窓等による窓がけ処理を行った後)フーリエ変換等により周波数解析を行う(S1)。
周波数帯域分割部22Bは、周波数解析部22Aにより得られた周波数領域信号を、図4に一例を示すように、複数の帯域に分割する(S2)。
周波数解析部22Aは、信号取得部21から入力されるデジタル化された音響信号を、所定の区間を切り出し、(ハニング窓等による窓がけ処理を行った後)フーリエ変換等により周波数解析を行う(S1)。
周波数帯域分割部22Bは、周波数解析部22Aにより得られた周波数領域信号を、図4に一例を示すように、複数の帯域に分割する(S2)。
ノイズ混入検知部23は、AF駆動に係る信号(AF関連信号)を検知して、AF動作を知らせる信号(AF動作信号)をノイズ領域判定部24に出力する。AF関連信号とは、たとえば、制御部50からAF駆動部12に送られる駆動指令の制御信号や、AFレンズ11Fの位置を検出する図示しないエンコーダからの出力等である。
ノイズ領域判定部24は、ノイズ混入検知部23から入力されるAF動作信号に基づいて、撮像画像および音声を記録した個々のフレームがAF動作中であればノイズが混入していると判定し(S3,YES)、AF動作中でなければノイズが混入していないと判定する(S3,NO)。
すなわち、図5に示すように、ノイズ混入検知部23からのAF動作のON/OFF信号に基づいて、AFノイズの混入を判断する。
そして、ノイズ領域判定部24は、その判定結果を、制御情報として後述するノイズ推定部25および係数決定部26に出力する。
このノイズ領域判定部24によってノイズが混入していると判定されたフレームの周波数領域信号:Ybはノイズ推定に利用され、ノイズが混入していないと判定されたフレームの周波数領域信号:Yaは目的音量推定に利用される。
すなわち、図5に示すように、ノイズ混入検知部23からのAF動作のON/OFF信号に基づいて、AFノイズの混入を判断する。
そして、ノイズ領域判定部24は、その判定結果を、制御情報として後述するノイズ推定部25および係数決定部26に出力する。
このノイズ領域判定部24によってノイズが混入していると判定されたフレームの周波数領域信号:Ybはノイズ推定に利用され、ノイズが混入していないと判定されたフレームの周波数領域信号:Yaは目的音量推定に利用される。
ノイズ推定部25は、ノイズ領域判定部24によってAF動作ノイズが混入していると判断されたフレームの周波数領域信号:Ybから、公知の方法で推定ノイズを推定する(S4)。たとえば、対象とするAF動作ノイズが混入しているフレーム近くのAF動作ノイズ非混入フレームにおける周波数領域信号を用いて、AF動作ノイズの周波数領域信号を推定する。
係数決定部26は、ノイズ領域判定部24によってAF動作ノイズが混入していないと判断されたフレームの周波数領域信号:Yaにおける帯域毎の信号を目的音推定量として(S8)、この目的音推定量と推定ノイズとから、各帯域のSNR(signal−noise ratio=S/N)を決定する(S5)。
なお、目的音推定量は、AF動作ノイズが混入しているフレームに近いフレームを選択し、単一のフレームから得ても、複数のフレームを平均して得ても、いずれでも良い。
なお、目的音推定量は、AF動作ノイズが混入しているフレームに近いフレームを選択し、単一のフレームから得ても、複数のフレームを平均して得ても、いずれでも良い。
ノイズ低減部27は、係数決定部26によって求められた各帯域のSNRを利用して、各帯域の減算係数を求め、その減算係数を用いてノイズ低減した推定目的音信号を得る(S6)。
減算係数は、下記式2によって求める。
ここで、
αi:周波数領域信号におけるi番目の帯域における減算係数
である。
また、上記式2によって求められる減算係数をグラフに示したものが、図6である。
そして、ノイズ低減部27は、上記のようにして求めた減算係数:αを用い、下記式3に示すように、ノイズを除去した推定目的音の周波数領域信号を演算する。
つまり、入力音周波数領域信号から、推定ノイズ周波数領域信号に減算係数を掛けたものを減算して、推定目的音周波数領域信号を得るものである。
減算係数は、下記式2によって求める。
αi:周波数領域信号におけるi番目の帯域における減算係数
である。
また、上記式2によって求められる減算係数をグラフに示したものが、図6である。
そして、ノイズ低減部27は、上記のようにして求めた減算係数:αを用い、下記式3に示すように、ノイズを除去した推定目的音の周波数領域信号を演算する。
逆変換部28は、ノイズ低減部27から入力された推定目的音周波数領域信号から、逆フーリエ変換等によって音声信号を生成する(S7)。これにより、ノイズが低減された音声信号を得ることができる。
以上、本実施形態によると、以下の効果を有する。
(1)本実施形態によると、スペクトル減算の減算係数αiをSNRにより変化させる。
すなわち、推定ノイズに対する入力音声の比が小さい場合(SNRが小さい場合)、減算係数を大きくする。このため、ノイズの消え残りが目立たない。
また、推定ノイズに対する入力音声の比が大きい場合(SNRが大きい場合)はノイズの消え残りが生じても目立たないため、減算係数αiを小さくする。この場合、より自然な出力音声となる。
(1)本実施形態によると、スペクトル減算の減算係数αiをSNRにより変化させる。
すなわち、推定ノイズに対する入力音声の比が小さい場合(SNRが小さい場合)、減算係数を大きくする。このため、ノイズの消え残りが目立たない。
また、推定ノイズに対する入力音声の比が大きい場合(SNRが大きい場合)はノイズの消え残りが生じても目立たないため、減算係数αiを小さくする。この場合、より自然な出力音声となる。
(2)本実施形態によると、周波数領域信号を複数の帯域に分け、帯域毎にSNRを求め、帯域毎のSNRにより各帯域の減算係数αiを決定する。
こうすることにより、例えば声が入力された場合に、声の基本周波数成分や倍音成分が含まれるパワーの大きい帯域は減算係数αiが小さくなるため、音声の劣化が防がれる。一方、声の成分が含まれない周波数成分は減算係数αiが大きくなり、ノイズの消え残りが抑えられる。よって好適にノイズが低減される。
こうすることにより、例えば声が入力された場合に、声の基本周波数成分や倍音成分が含まれるパワーの大きい帯域は減算係数αiが小さくなるため、音声の劣化が防がれる。一方、声の成分が含まれない周波数成分は減算係数αiが大きくなり、ノイズの消え残りが抑えられる。よって好適にノイズが低減される。
(3)音声情報処理装置20は、ノイズ領域判定部24が、ノイズ混入検知部23の検知によるAF関連信号に基づいて各フレームにおけるノイズの混入の有無を判定し、ノイズ推定部25が、ノイズが混入していると判定されたフレームの周波数領域信号を利用してノイズ推定を行う。このため、非定常なノイズであっても精度の良いノイズ推定ができる。その結果、精度の高いノイズ低減が可能となる。
(4)音声情報処理装置20は、ノイズ混入検知部23が、ノイズ混入検知部23の検知によるAF関連信号に基づいて各フレームにおけるノイズの混入の有無を判定し、係数決定部26が、ノイズが混入していないと判定されたフレームの周波数領域信号から目的音の大きさの推定を行う。このため、精度良く目的音の大きさを推定できる。その結果、非定常で間欠しているノイズの場合であっても精度の高いノイズ低減が可能となる。
(第2実施形態)
上述の第1実施形態で係数決定部26は、目的音推定量と推定ノイズとからSNRを決定し、ノイズ低減部27がこのSNRを利用して減算係数を求め、求めた減算係数を用いて入力音から推定ノイズを減算してノイズ低減した推定目的音信号を得ている。
上述の第1実施形態で係数決定部26は、目的音推定量と推定ノイズとからSNRを決定し、ノイズ低減部27がこのSNRを利用して減算係数を求め、求めた減算係数を用いて入力音から推定ノイズを減算してノイズ低減した推定目的音信号を得ている。
しかし、本発明はこれに限らず、減算係数αiは、(1)ノイズ混入区間近傍のあるフレームのパワー(振幅の二乗)、振幅の合計、(2)ノイズ混入区間近傍の複数フレームのパワーの平均、(3)ノイズ混入区間近傍のあるフレームのパワー/推定ノイズのパワー、(4)ノイズ混入区間近傍の複数フレームのパワーの平均/推定ノイズのパワー、等に基づいて決定してもよい。
すなわち、SNRに代えて目的音推定量を用い、目的音推定量のみから減算係数を求めてもよい。この場合、目的音推定量は、上記実施形態と同様にAF動作ノイズが混入しているフレームに近いフレームを選択してもよく、また、単一のフレームから得ても、複数のフレームを平均して得ても、いずれも可能である。
以下、第2実施形態として、i番目の帯域における推定目的音周波数領域信号を求める場合に、1つ前のフレーム(直前のフレーム)における、演算により求めた推定目的音周波数領域信号から求めたパワーの総和Pを使って減算係数αiを求める例について説明する。
なお、第2実施形態の音声情報処理装置は、第1実施形態の音声情報処理装置20と同様である。そして、第1実施形態と同様の部分には同様の符号を付し、その詳細な説明は省略する。
まず、現在、ノイズ低減処理を行なって推定目的音周波数領域信号を求めようとしているフレームをf番目のフレームとし、その1つ前のフレーム(すでにノイズ低減処理を行なって推定目的音周波数領域信号を求めたフレーム)をf−1番目のフレームとする。
なお、第2実施形態の音声情報処理装置は、第1実施形態の音声情報処理装置20と同様である。そして、第1実施形態と同様の部分には同様の符号を付し、その詳細な説明は省略する。
まず、現在、ノイズ低減処理を行なって推定目的音周波数領域信号を求めようとしているフレームをf番目のフレームとし、その1つ前のフレーム(すでにノイズ低減処理を行なって推定目的音周波数領域信号を求めたフレーム)をf−1番目のフレームとする。
そして、図7に示すグラフより、Pfiの大きさによって定まるαfiを求める。
次に、このαfiを用いて、第1実施形態と同様に、以下の式(5)より推定目的音周波数領域信号を求める。なお、式(5)は式(3)と同様であるが、フレーム番号fを添えたものである。
次に、このαfiを用いて、第1実施形態と同様に、以下の式(5)より推定目的音周波数領域信号を求める。なお、式(5)は式(3)と同様であるが、フレーム番号fを添えたものである。
本実施形態において、係数決定部26は、現在処理しようとしているフレームfの1つ前のフレーム(直前のフレーム)f−1の推定目的音周波数領域信号(ノイズ処理した後の周波数領域信号)を用いてパワーPfiを決定し、このPfiに基づいて減算係数αfiを求める。
なお、フレームfが最初のフレームの場合、Pfi(P1)を求める際の、f−1のフレームが存在しない。このため、式(4)の推定目的音周波数領域信号の初期値として、所定値を定めていてもよく、初回のみ、第1実施形態の方法を用いて推定目的音周波数領域信号を求めても良い。
本実施形態によると、1つ前のフレームf−1における、すでにノイズを低減した後の推定目的音周波数領域信号を用いて求めたパワーPfiに基づき、減算係数αfiを求めるため、精度良く目的音の大きさを推定できる。
なお、フレームfが最初のフレームの場合、Pfi(P1)を求める際の、f−1のフレームが存在しない。このため、式(4)の推定目的音周波数領域信号の初期値として、所定値を定めていてもよく、初回のみ、第1実施形態の方法を用いて推定目的音周波数領域信号を求めても良い。
本実施形態によると、1つ前のフレームf−1における、すでにノイズを低減した後の推定目的音周波数領域信号を用いて求めたパワーPfiに基づき、減算係数αfiを求めるため、精度良く目的音の大きさを推定できる。
本実施形態によると、第1実施形態と同様の効果に加え、さらに、直前のフレームの演算結果の情報のみで求めたパワーPfiによって減算係数αfiが求まるので、第1実施形態と比べてメモリの節約が可能となる。
(変形形態)
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
以上、説明した実施形態に限定されることなく、以下に示すような種々の変形や変更が可能であり、それらも本発明の範囲内である。
(1)上述の2つの実施形態の音声情報処理装置20は、ノイズ混入検知部23と、ノイズ領域判定部24と、ノイズ推定部25とを備え、ノイズ混入領域とノイズ非混入領域と検出しているが、本発明は必ずしもこれに限定されない。これらのノイズ混入検知部23とノイズ領域判定部24と、ノイズ推定部25とを備えず、ノイズ混入領域とノイズ非混入領域と検出しないものであっても良い。
この場合、ノイズ混入領域とノイズ非混入領域とにかかわらず、上述の第2実施形態のように、係数決定部26は、現在処理しようとしているフレームfの1つ前のフレーム(直前のフレーム)f−1の推定目的音周波数領域信号(ノイズ処理した後の周波数領域信号)を用いてパワーPfiを決定し、このPfiに基づいて減算係数αfiを求める。
この場合、ノイズ混入領域とノイズ非混入領域とにかかわらず、上述の第2実施形態のように、係数決定部26は、現在処理しようとしているフレームfの1つ前のフレーム(直前のフレーム)f−1の推定目的音周波数領域信号(ノイズ処理した後の周波数領域信号)を用いてパワーPfiを決定し、このPfiに基づいて減算係数αfiを求める。
(2)また、上記実施形態は、本発明における情報処理装置をカメラに適用し、AF動作ノイズを低減するように構成したものである。しかし、本発明はこれに限らず、ズーミングやブレ補正装置の作動ノイズの低減にも適用可能なものであり、さらに、カメラに限らず録音機能を備える光学機器に適用可能である。
(3)上記実施形態は、本発明における情報処理装置をカメラに適用したものであるが、これに限定されず、本発明は、パソコン等を上述の情報処理装置として機能させる信号処理プログラムであっても良い。
なお、実施形態及び変形形態は、適宜組み合わせて用いることもできるが、詳細な説明は省略する。また、本発明は以上説明した実施形態によって限定されることはない。
1:カメラ、11F:AFレンズ、12:AF駆動部、20:音声情報処理装置、21:信号取得部、22:信号変換部、22A:周波数解析部、22B:周波数帯分割部、23:ノイズ混入検知部、24:ノイズ領域判定部、25:ノイズ推定部、26:係数決定部、27:ノイズ低減部、28:逆変換部
Claims (10)
- 入力音信号を取得する信号取得部と、
前記入力音信号を周波数領域信号に変換する信号変換部と、
前記入力音信号へのノイズ混入と関連する信号を取得するノイズ混入検知部と、
前記ノイズ混入検知部の検知結果に基づいて前記入力音信号におけるノイズ混入領域とノイズ不混入領域とを判定するノイズ領域判定部と、
前記ノイズ混入領域における周波数領域信号から推定ノイズを抽出するノイズ推定部と、
前記周波数領域信号を用いて所定の係数を求める係数決定部と、
前記入力音信号における前記ノイズ混入領域の周波数領域信号から前記推定ノイズに前記係数を掛けたものを減算し、ノイズ低減を行うノイズ低減部と、
前記ノイズ低減部によってノイズ低減された前記ノイズ混入領域の周波数領域信号を音信号に逆変換する逆変換部と、
を備えること、を特徴とする信号処理装置。 - 請求項1に記載の信号処理装置であって、
前記信号変換部は、前記入力音信号の周波数領域信号を複数の帯域に分割し、
前記係数決定部は、前記帯域毎に所定の係数を決定すること、
を特徴とする信号処理装置。 - 請求項1または2に記載の信号処理装置であって、
前記係数決定部は、ノイズ低減の対象となっているフレームの直前にある、前記ノイズ低減部によってノイズ低減処理されたフレームの周波数領域信号を用いて、前記係数を求めること、
を特徴とする信号処理装置。 - 請求項1から3のいずれか1項に記載の信号処理装置であって、
前記係数は、
(1)ノイズ混入区間近傍のあるフレームのパワー
(2)ノイズ混入区間近傍の複数フレームのパワーの平均
(3)ノイズ混入区間近傍のあるフレームのパワー/推定ノイズのパワー
(4)ノイズ混入区間近傍の複数フレームのパワーの平均/推定ノイズのパワー
のいずれかに基づいて決定されること、
を特徴とする信号処理装置。 - 請求項1または請求項2に記載の信号処理装置であって、
前記係数決定部は、前記ノイズ不混入領域における周波数領域信号と、推定ノイズの周波数領域信号と、を用いて前記係数を求めること、
を特徴とする信号処理装置。 - 請求項1から5までのいずれか1項に記載の信号処理装置であって、
駆動装置によって駆動される光学要素を備える光学機器に用いられ、
前記入力音信号に混入するノイズは、前記光学要素の駆動音であること、
を特徴とする信号処理装置。 - 請求項6に記載の信号処理装置であって、
前記光学要素は撮像装置におけるAFレンズであり、
前記ノイズ混入検知部は、前記AFレンズの制御信号または駆動検知信号のいずれかを前記入力音信号へのノイズ混入と関連する信号として取得すること、
を特徴とする信号処理装置。 - 連続するフレームごとに入力音信号を取得する信号取得部と、
前記入力音信号を周波数領域信号に変換する信号変換部と、
前記入力音信号の前記周波数領域信号に含まれるノイズを推定するノイズ推定部と、
前記周波数領域信号を用いて所定の係数を求める係数決定部と、
前記入力音信号の周波数領域信号から、推定された前記ノイズに前記係数を掛けたものを減算するノイズ低減部と、
前記ノイズ低減部によってノイズ低減された前記入力音信号の周波数領域信号を逆変換してノイズ処理音信号を生成して出力する逆変換部と、
を備える信号処理装置であって、
前記係数決定部は、ノイズ低減の対象となっているフレームの直前にあるフレームの周波数領域信号を用いて、前記係数を求めること、
を特徴とする信号処理装置。 - コンピュータに、
取得された入力音信号を周波数領域信号に変換するステップと、
前記入力音信号へのノイズ混入と関連する信号を取得するステップと、
前記ノイズと関連する信号に基づいて前記入力音信号におけるノイズ混入領域とノイズ不混入領域とを判定するステップと、
前記ノイズ混入領域における周波数領域信号から推定ノイズを抽出させるステップと、
前周波数領域信号を用いて所定の係数を決定するステップと、
前記入力音信号における前記ノイズ混入領域の周波数領域信号から前記推定ノイズに前記係数を掛けたものを減算し、ノイズの低減を行うステップと、
ノイズが低減された前記ノイズ混入領域の周波数領域信号を音信号に逆変換するステップと、
を実行させる信号処理プログラム。 - コンピュータに、
連続するフレームごとに入力音信号を取得するステップと、
前記入力音信号を周波数領域信号に変換するステップと、
前記入力音信号の前記周波数領域信号に含まれるノイズを推定するステップと、
所定の係数を決定するステップと、
前記入力音信号の周波数領域信号から、推定された前記ノイズに前記係数を掛けたものを減算しノイズの低減を行うステップと、
ノイズ低減された前記入力音信号の周波数領域信号を音信号に逆変換するステップと、を実行させる信号処理プログラムであって、
前記所定の係数を決定するステップは、ノイズ低減の対象となっているフレームの直前にあるフレームの周波数領域信号を用いて、前記係数を求めること、
を特徴とする信号処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012185425A JP2013178458A (ja) | 2012-02-08 | 2012-08-24 | 信号処理装置及び信号処理プログラム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012025505 | 2012-02-08 | ||
JP2012025505 | 2012-02-08 | ||
JP2012185425A JP2013178458A (ja) | 2012-02-08 | 2012-08-24 | 信号処理装置及び信号処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013178458A true JP2013178458A (ja) | 2013-09-09 |
Family
ID=49270132
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012185425A Pending JP2013178458A (ja) | 2012-02-08 | 2012-08-24 | 信号処理装置及び信号処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013178458A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105448304A (zh) * | 2015-12-01 | 2016-03-30 | 珠海市杰理科技有限公司 | 语音信号噪声频谱估计方法、装置及降噪处理方法 |
CN107452394A (zh) * | 2017-07-31 | 2017-12-08 | 上海斐讯数据通信技术有限公司 | 一种基于频率特性降低噪音的方法和系统 |
-
2012
- 2012-08-24 JP JP2012185425A patent/JP2013178458A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105448304A (zh) * | 2015-12-01 | 2016-03-30 | 珠海市杰理科技有限公司 | 语音信号噪声频谱估计方法、装置及降噪处理方法 |
CN105448304B (zh) * | 2015-12-01 | 2019-01-15 | 珠海市杰理科技股份有限公司 | 语音信号噪声频谱估计方法、装置及降噪处理方法 |
CN107452394A (zh) * | 2017-07-31 | 2017-12-08 | 上海斐讯数据通信技术有限公司 | 一种基于频率特性降低噪音的方法和系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9495950B2 (en) | Audio signal processing device, imaging device, audio signal processing method, program, and recording medium | |
US7957964B2 (en) | Apparatus and methods for noise suppression in sound signals | |
JP2008263498A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
JP2011101110A (ja) | 撮像装置 | |
JP6610725B2 (ja) | 音処理装置および音処理プログラム | |
JP4952769B2 (ja) | 撮像装置 | |
JP2008263483A (ja) | 風雑音低減装置、音響信号録音装置及び撮像装置 | |
US20150271439A1 (en) | Signal processing device, imaging device, and program | |
US9282229B2 (en) | Audio processing apparatus, audio processing method and imaging apparatus | |
US9734840B2 (en) | Signal processing device, imaging apparatus, and signal-processing program | |
JP2011114465A (ja) | 音声処理装置及び電子カメラ | |
JP2013178458A (ja) | 信号処理装置及び信号処理プログラム | |
JP4505597B2 (ja) | 雑音除去装置 | |
JP2013170936A (ja) | 音源位置判定装置、音源位置判定方法、プログラム | |
JP2016111473A (ja) | 客観画質評価装置及びプログラム | |
JP2014026032A (ja) | 信号処理装置、撮像装置、及び、プログラム | |
JP2013250449A (ja) | ノイズ低減装置、撮像装置及びプログラム | |
JP6381366B2 (ja) | 音声処理装置、音声処理方法、及び、プログラム | |
JP6381367B2 (ja) | 音声処理装置、音声処理方法、及び、プログラム | |
JP2012168345A (ja) | 機械音除去装置、機械音検出装置、及び、映像撮像装置 | |
JP6271851B2 (ja) | 音声処理装置、撮像装置、及び、それらの制御方法、並びにプログラム | |
JP2013178456A (ja) | 信号処理装置、カメラおよび信号処理プログラム | |
JP2012168477A (ja) | ノイズ推定装置、信号処理装置、撮像装置、及びプログラム | |
JP2022148507A (ja) | 音声処理装置、制御方法、およびプログラム | |
JP2014232267A (ja) | 信号処理装置、撮像装置、およびプログラム |