JP2015087602A - 信号処理装置、撮像装置およびプログラム - Google Patents
信号処理装置、撮像装置およびプログラム Download PDFInfo
- Publication number
- JP2015087602A JP2015087602A JP2013226912A JP2013226912A JP2015087602A JP 2015087602 A JP2015087602 A JP 2015087602A JP 2013226912 A JP2013226912 A JP 2013226912A JP 2013226912 A JP2013226912 A JP 2013226912A JP 2015087602 A JP2015087602 A JP 2015087602A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- unit
- sound
- period
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Studio Devices (AREA)
Abstract
【課題】音信号に含まれているノイズを適切に低減する。
【解決手段】信号処理装置100は、減算部115と、生成部121とを備える。減算部は、音信号500における所定のノイズが少なくとも一部含まれる、取得された音に基づく第1信号から、所定の信号を減算する。生成部は、減算部によって減算された第1信号に加算される第2信号であって、第1信号の複数の期間である、互いの一部の期間が重複する第1期間と第2期間とのうち、第1期間の第2信号に基づいて、第2期間の第2信号を生成する。
【選択図】図1
【解決手段】信号処理装置100は、減算部115と、生成部121とを備える。減算部は、音信号500における所定のノイズが少なくとも一部含まれる、取得された音に基づく第1信号から、所定の信号を減算する。生成部は、減算部によって減算された第1信号に加算される第2信号であって、第1信号の複数の期間である、互いの一部の期間が重複する第1期間と第2期間とのうち、第1期間の第2信号に基づいて、第2期間の第2信号を生成する。
【選択図】図1
Description
本発明は、信号処理装置、撮像装置およびプログラムに関する。
音信号に含まれているノイズを低減する技術がある(例えば、非特許文献1参照)。非特許文献1に記載されている技術は、音信号に含まれている定常ノイズを推定ノイズによって低減するものである。
BOLL, S. F. "Suppression of Acoustic Noise in Speech UsingSpectral Subtraction." IEEE TRANSACTION ON ACOUSTICS, SPEECH, AND SIGNAL PROCESSING, vol. ASSP-27, pp. 113-120, APRIL, 1979.
しかしながら、非特許文献1に記載されている技術では、非定常的なノイズ(例えば、大きさが変化するノイズ、間欠的に発生するノイズなど)を低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算あるいは過小減算により、音の劣化もしくはノイズの残存が発生することがある。
つまり、非特許文献1に記載されている技術では、音信号に含まれているノイズを適切に低減できないことがあるという問題がある。
つまり、非特許文献1に記載されている技術では、音信号に含まれているノイズを適切に低減できないことがあるという問題がある。
本発明は、このような事情に鑑みてなされたもので、その目的は、音信号に含まれているノイズを適切に低減することができる信号処理装置、撮像装置およびプログラムを提供することにある。
本発明の一実施形態は、音信号における所定のノイズが少なくとも一部含まれる、取得された音に基づく第1信号から、所定の信号を減算する減算部と、前記減算部によって減算された前記第1信号に加算される第2信号であって、前記第1信号の複数の期間である、互いの一部の期間が重複する第1期間と第2期間とのうち、前記第1期間の前記第2信号に基づいて、前記第2期間の前記第2信号を生成する生成部と、を備えることを特徴とする信号処理装置である。
また、本発明の一実施形態は、上記の信号処理装置を備えることを特徴とする撮像装置である。
また、本発明の一実施形態は、コンピュータに、音信号における所定のノイズが少なくとも一部含まれる、取得された音に基づく第1信号から、所定の信号を減算する減算ステップと、前記減算ステップにおいて減算された前記第1信号に加算される第2信号であって、前記第1信号の複数の期間である互いの一部の期間が重複する第1期間と第2期間とのうち、前記第1期間の前記第2信号に基づいて、前記第2期間の前記第2信号を生成する生成ステップとを実行させるためのプログラムである。
この発明によれば、音信号に含まれているノイズを適切に低減することができる。
以下、図面を参照して、本発明の実施の形態について説明する。
[第1実施形態]
図1は、本発明の第1実施形態による信号処理装置100の構成の一例を示す概略ブロック図である。まず、信号処理装置100の概要について説明する。
[第1実施形態]
図1は、本発明の第1実施形態による信号処理装置100の構成の一例を示す概略ブロック図である。まず、信号処理装置100の概要について説明する。
この図1に示す信号処理装置100は、入力された音信号(符号500)に対して信号処理を実行し、処理後の音信号(符号510)を出力する。例えば、信号処理装置100は、記憶媒体に記録されている音信号を取得し、取得した音信号に対して信号処理を実行する。ここで、記憶媒体とは、例えば、フラッシュメモリカード、磁気ディスク、光学ディスクなどの可搬媒体である。
なお、信号処理装置100は、記憶媒体から音信号を読み出すための読み出し部を、内部に備えた構成としてもよいし、有線通信または無線通信などにより接続可能な外部装置(読み出し装置)が備えた構成としてもよい。また、記憶媒体に代えて、フラッシュメモリを搭載してUSB(Universal Serial Bus)コネクタを介して接続可能なUSBメモリ、またはハードディスクなどの記憶装置としてもよい。
記憶媒体には、録音された音の音信号が記憶されている。例えば、記憶媒体には、少なくとも音を録音する機能を有する装置により収音されて録音された音の音信号が記憶されている。また、記憶媒体には、この収音された(録音された)音の音信号における所定のノイズが含まれる期間または所定のノイズが含まれない期間、を示す情報(或いは、所定のノイズが含まれる期間または所定のノイズが含まれない期間を判定可能な情報)が、その音信号と対応付けられて記録されている。
例えば、収音された音の音信号における所定のノイズが含まれる期間は、この音信号の音を収音した装置が備えている動作部が動作している期間であってもよい。一方、収音された音の音信号における所定のノイズが含まれない期間は、この音信号の音を録音した装置が備えている動作部が動作していない期間であってもよい。また、収音された音の音信号における所定のノイズが含まれる期間または所定のノイズが含まれない期間、を示す情報は、この音信号の音を収音した装置が備えている動作部が動作するタイミングを示す情報であってもよい。
ここで、収音した装置が備えている動作部とは、収音した装置が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる(または、音が生じる可能性がある)構成である。例えば、収音した装置が撮像装置の場合、その撮像装置が備えている、ズームレンズ、防振用レンズ(以下、VR(Vibration Reduction)レンズという)、焦点調整レンズ(以下、AF(Auto Focus)レンズという)、操作部、などが動作部であってもよい。すなわち、この場合の所定のノイズとは、撮像装置が備えている、ズームレンズ、VRレンズ、AFレンズ、操作部、などが動作することによって生じた音が収音されたものである。
例えば、撮像装置は、動作部であるズームレンズ、VRレンズ、またはAFレンズそれぞれを駆動する駆動部を、駆動制御信号を制御することにより駆動する。つまり、撮像装置は、駆動制御信号を制御するタイミングによって上述の動作部を動作させる。例えば、撮像装置は、駆動制御信号を制御するタイミングを示す情報を、動作部が動作するタイミングを示す情報として、録音した音の音信号に対応付けて記憶媒体に記憶させてもよい。
なお、このような収音機能を有する撮像装置の構成について、詳しくは後述する。
なお、このような収音機能を有する撮像装置の構成について、詳しくは後述する。
信号処理装置100は、音信号に対して信号処理を実行する。例えば、信号処理装置100は、上述したような、録音された音の音信号と、その音信号に対応付けられた動作部が動作するタイミングを示す情報とに基づいて、音信号に含まれるノイズを低減する処理を実行する。
続いて、図1に示す信号処理装置100の構成について詳しく説明する。信号処理装置100は、信号処理部110と、記憶部160と、を備えている。
記憶部160は、環境音特徴スペクトル記憶部161と、ノイズ記憶部162と、ノイズ低減処理情報記憶部163とを備えている。
環境音特徴スペクトル記憶部161には、後述する環境音特徴スペクトルが記憶される。ノイズ記憶部162には、後述する推定ノイズ(推定ノイズスペクトル)が記憶される。ノイズ低減処理情報記憶部163には、ノイズ低減処理において、音信号の周波数成分毎にノイズ成分を低減させる処理を実行したか否かを示す情報が周波数成分毎に対応付けられて記憶される。
環境音特徴スペクトル記憶部161には、後述する環境音特徴スペクトルが記憶される。ノイズ記憶部162には、後述する推定ノイズ(推定ノイズスペクトル)が記憶される。ノイズ低減処理情報記憶部163には、ノイズ低減処理において、音信号の周波数成分毎にノイズ成分を低減させる処理を実行したか否かを示す情報が周波数成分毎に対応付けられて記憶される。
信号処理部110は、記憶媒体から読み出されて入力された音信号に対して、例えば、ノイズ低減処理などの信号処理を実行し、この信号処理を実行した音信号を出力する(或いは記憶媒体に記憶させる)。なお、信号処理部110は、入力された音信号にノイズ低減処理を実行した音信号と、入力された音信号そのままの信号とを切り替えて出力してもよい。
<信号処理部110の詳細な構成>
次に、図1に示す信号処理部110の詳細について、図1、および図2から図4を用いて説明する。信号処理部110は、第1変換部111(変換部)、判定部112、環境音特徴スペクトル推定部113、ノイズ推定部114、ノイズ低減部115(減算部)、逆変換部116、および、音補正処理部120、を備えている。
次に、図1に示す信号処理部110の詳細について、図1、および図2から図4を用いて説明する。信号処理部110は、第1変換部111(変換部)、判定部112、環境音特徴スペクトル推定部113、ノイズ推定部114、ノイズ低減部115(減算部)、逆変換部116、および、音補正処理部120、を備えている。
ここでは、図2のように信号処理部110に、音信号(例えば撮像装置により収音されて録音された音信号)と、その音信号に対応付けられた動作部(例えば撮像装置が備えている動作部)が動作するタイミングを示す信号とが、記憶媒体から読み出されて入力された場合について説明する。なお、入力された音信号は、収音された音がデジタル信号に変換された音信号である。この図2において、上段から下段に向かって、(a)動作部が動作するタイミングを示す信号、(b)時刻、(c)フレーム番号、および、(d)入力された音信号の波形を示している。
この図2において、横軸は時間軸、または、フレーム番号であり、縦軸は、例えば、各信号の電圧である。また、この図2(d)に示すように、例えば、音声が収音された場合の音信号の場合、数十ミリ秒程度の短い時間内では、比較的に繰り返し信号が多い。
この図2の例においては、フレームと時刻との関係は、時刻t0からt2までがフレーム番号41に対応し、時刻t1からt3までがフレーム番号42に対応し、時刻t2からt4までがフレーム番号43に対応し、時刻t3からt5までがフレーム番号44に対応し、時刻t4からt6までがフレーム番号45に対応し、時刻t5からt7までがフレーム番号46に対応し、時刻t6以降がフレーム番号47に対応している。なお、各フレームの時間長は同じものとする。
また、この図2の例においては、時刻t4より後であり、かつ、時刻t5の前において、(a)動作部が動作するタイミングを示す信号が、ロウレベルからハイレベルに遷移している(図2の符号O参照)ことを示している。なお、ここでは、ロウレベルは動作部が動作していないことを示し、ハイレベルは動作部が動作していることを示すものとする。
このように、この図2の例においては、時刻t4より後であり、かつ、時刻t5の前において、動作部が動作しない状態から動作する状態へと遷移していることを示している。
このように、この図2の例においては、時刻t4より後であり、かつ、時刻t5の前において、動作部が動作しない状態から動作する状態へと遷移していることを示している。
そして、このような動作部の動作に応じて、(d)入力された音信号の波形に、フレーム番号44および45の途中以降から、ノイズが重畳されている。ここで、各フレームとノイズ発生区間との関係について着目すると、フレーム番号44および45の途中で(a)動作部が動作するタイミングを示す信号が立ち上がっていることからフレーム番号44以降(44、45、46,47…)においてノイズが収音されている。また、フレーム番号46以降(46,47…)においては、フレームの全区間においてノイズが収音されている。一方、フレーム番号43以前(43,42,41…)にはノイズが全く収音されていない。
ここで、第1変換部111は、入力された音信号を周波数領域信号に変換する。例えば、第1変換部111は、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する。
また、第1変換部111は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、第1変換部111は、高速フーリエ変換(FFT:Fast Fourier Transform)により、フーリエ変換してもよい。
また、第1変換部111は、各フレームの音信号を周波数スペクトルに変換する場合、各フレームの音信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、第1変換部111は、高速フーリエ変換(FFT:Fast Fourier Transform)により、フーリエ変換してもよい。
ここで、各フレームの音信号に対する窓関数の適用の一例について説明する。窓関数とは、ある有限区間以外で値が0(ゼロ)になる関数である。この一例においては、各フレームの開始タイミングと終了タイミングとの間が有限区間である。すなわち、この窓関数とは、フレーム内においてある値をとり、フレーム外においては値が0(ゼロ)になる関数である。窓関数の適用前後の波形の具体例を図3に示す。
図3は、窓関数の適用前後の音信号の波形の一例を示すグラフである。窓関数適用前の音信号の波形Wiの一例を図3(a)に示す。また、窓関数の波形Wwおよび窓関数適用後の音信号の波形Woの一例を図3(b)に示す。同図に示すように、窓関数適用前の波形Wiは、時刻t0から時刻t2の間において、振幅Aが一定である。また、窓関数適用後の波形Woは、時刻t0および時刻t2において、振幅Aが0(ゼロ)であり、時刻t1において、振幅Aが最大である。なお、この一例において、時刻t0から時刻t2までが1フレームである。この窓関数を適用せずにフーリエ変換した場合には、逆フーリエ変換後の音信号が、各フレーム間で不連続な波形になることがある。窓関数を適用してフーリエ変換することにより、逆フーリエ変換後の音信号が、各フレーム間で不連続な波形になることを低減することができる。
なお、第1変換部111は、入力された音信号の周波数スペクトルを生成する際に、音信号の周波数成分の振幅情報(符号SG1)および位相情報(符号SG2)を得る。また、第1変換部111が変換したフレーム毎の音信号の周波数スペクトルに対して、信号処理部110は、後述するようなノイズ低減処理を実行する。そして、その後、逆変換部116は、ノイズ低減処理した各フレームの周波数スペクトル(後述の加算部128の加算処理後の周波数スペクトル)を逆フーリエ変換して出力する。
なお、信号処理部110は、逆フーリエ変換して出力した音信号を、記憶媒体に記憶させてもよい。
なお、信号処理部110は、逆フーリエ変換して出力した音信号を、記憶媒体に記憶させてもよい。
判定部112は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する。すなわち、判定部112は、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ(例えば動作部が動作することにより生じるノイズ)が含まれる期間のフレームであるか、または、所定のノイズが含まれない期間のフレームであるかを判定する。
なお、判定部112は、独立した構成であることに限られるものではなく、環境音特徴スペクトル推定部113またはノイズ推定部114が、上述した判定部112の機能を有する構成としてもよい。
環境音特徴スペクトル推定部113は、入力された音信号の周波数スペクトルから、環境音特徴スペクトルを推定する。そして、環境音特徴スペクトル推定部113は、推定した環境音特徴スペクトルを、環境音特徴スペクトル記憶部161に記憶させる。ここで、環境音特徴スペクトルとは、所定のノイズ(例えば動作部が動作することにより生じるノイズ)が含まれない期間の音信号の周波数スペクトル、すなわち所定のノイズが含まれない周囲の環境音(周囲音、目的音)が収音された音信号の周波数スペクトルのことをいう。
例えば、環境音特徴スペクトル推定部113は、所定のノイズが含まれない期間のフレームにおける音信号(環境音の音信号)の周波数スペクトルを、環境音特徴スペクトルとして推定する。すなわち、環境音特徴スペクトル推定部113は、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルとして推定する。具体的には、例えば、環境音特徴スペクトル推定部113は、判定部112により動作部が動作するタイミングに基づいて判定された、動作部が動作する期間を含まない直前のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルとして推定する。
図2に示す音信号の例の場合、環境音特徴スペクトル推定部113は、例えばフレーム番号43における音信号の周波数スペクトルを環境音特徴スペクトルとして推定する。そして、環境音特徴スペクトル推定部113は、このフレーム番号43における音信号の周波数スペクトルを環境音特徴スペクトルとして、環境音特徴スペクトル記憶部161に記憶させる。
以降、フレーム番号43における音信号の周波数スペクトル(=S43)を環境音特徴スペクトルFSと称して説明する。また、環境音特徴スペクトルFSの、各周波数ビンの強度(各周波数成分の大きさ)を、低周波数から高周波数へ順にF1、F2、F3、F4、F5と称して説明する(図4(a)参照)。なお、周波数ビンの数は、ノイズ低減処理において必要とされる周波数スペクトルの分解能に応じて設定することができる。
ノイズ推定部114は、入力された音信号から所定のノイズ(例えば動作部が動作することにより発生するノイズ)を低減するためのノイズを推定する。例えば、ノイズ推定部114は、動作部が動作するタイミングに基づいて、入力された音信号の周波数スペクトルからノイズの周波数スペクトルを推定する。そして、ノイズ推定部114は、推定したノイズを、ノイズ記憶部162に記憶させる。
例えば、ノイズ推定部114は、所定のノイズが含まれる期間のフレームにおける音信号の周波数スペクトル(第1周波数領域信号)と、所定のノイズが含まれない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。すなわち、ノイズ推定部114は、動作部が動作している期間のフレームにおける音信号の周波数スペクトルと、動作部が動作していない期間のフレームにおける音信号の周波数スペクトルとに基づいて、ノイズの周波数スペクトルを推定する。
具体的には、例えば、ノイズ推定部114は、判定部112により動作部が動作するタイミングに基づいて判定された、動作部が動作を開始したタイミングの直後のフレーム(かつ、フレームの全ての期間に渡って動作部が動作しているフレーム)における音信号の周波数スペクトルと、動作部が動作を開始するタイミングの直前のフレーム(かつ、フレームの全ての期間に渡って動作部が動作していないフレーム)における音信号の周波数スペクトル(例えば環境音特徴スペクトルFS)との差を、ノイズの周波数スペクトルとして推定する。
図2に示す音信号の例の場合、ノイズ推定部114は、フレーム番号46における音信号の周波数スペクトルS46(図4(b)参照)から、フレーム番号43における音信号の周波数スペクトル(すなわち環境音特徴スペクトルFS)(図4(a)参照)を、周波数ビン毎に減算する。
なお、フレーム番号46における音信号の周波数スペクトルを、周波数スペクトルS46(図4(b)参照)と称して説明する。また、周波数スペクトルS46の、各周波数ビンの強度を、低周波数から高周波数へ順にB1、B2、B3、B4、B5と称して説明する(図4(b)参照)。
そして、ノイズ推定部114は、減算により算出した周波数スペクトルを、ノイズの周波数スペクトルとして推定する(図4(d)参照)。そして、ノイズ推定部114は、推定したノイズを、ノイズ記憶部162に記憶させる。
以降、ノイズ推定部114により推定されたノイズの周波数スペクトルを、推定ノイズスペクトルNSと称して説明する。また、推定ノイズスペクトルNSの、各周波数ビンの強度を、低周波数から高周波数へ順にN1、N2、N3、N4、N5と称して説明する(図4(d)参照)。
信号処理部110は、このようにして得られたノイズの周波数スペクトル(推定ノイズスペクトルNS)を推定ノイズとして、ノイズが含まれるフレーム(例えば、フレーム番号44、45、46、47…)の周波数スペクトルより減算することにより、ノイズが含まれるフレームの音信号の周波数スペクトルのノイズを低減(除去)することができる。
例えば、ノイズ低減部115(減算部)は、ノイズが含まれるフレーム(例えば、フレーム番号44、45、46、47…)の周波数スペクトル(第1周波数領域信号)から、ノイズ推定部114により推定された推定ノイズスペクトルNSを、周波数ビン毎(周波数成分毎)にそれぞれ減算する。すなわち、ノイズ低減部115は、音信号における所定のノイズが少なくとも一部含まれる、取得された音に基づく第1信号から、所定の信号を減算する。
具体的には、例えば、ノイズ低減部115は、フレーム番号46における音信号の周波数スペクトルS46から推定ノイズスペクトルNSを減算したノイズ低減後の周波数スペクトル(周波数スペクトルSCと称する)を、以下のような関係式に基づいて算出する。
ここで、周波数スペクトルSCの、各周波数ビンの強度を、低周波数から高周波数へ順にC1、C2、C3、C4、C5と称する(図4(e)参照)。
ここで、周波数スペクトルSCの、各周波数ビンの強度を、低周波数から高周波数へ順にC1、C2、C3、C4、C5と称する(図4(e)参照)。
周波数スペクトルSCの各周波数ビンの強度を算出する関係式は、例えば、低周波数から高周波数へ順に、C1=B1−N1、C2=B2−N2、C3=B3−N3、C4=B4−N4、C5=B5−N5、として示される。なお、所定の減算係数を用いて推定ノイズスペクトルNSを減算してもよい。すなわち、上述の関係式は、例えば係数mを用いて、低周波数から高周波数へ順に、C1=B1−(N1×m)、C2=B2−(N2×m)、C3=B3−(N3×m)、C4=B4−(N4×m)、C5=B5−(N5×m)、としてもよい。
なお、ノイズ低減部115は、ノイズが含まれるフレームの周波数スペクトルと環境音特徴スペクトルFSとを周波数ビン毎に比較した結果に基づいて、周波数ビン毎に推定ノイズスペクトルNSを減算するか否かを選択してもよい。例えば、ノイズ低減部115は、ノイズが含まれるフレームの周波数スペクトルの強度(振幅)が環境音特徴スペクトルFSの強度より大きい周波数ビンについては、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルNSを減算する処理としてもよい。一方、ノイズ低減部115は、ノイズが含まれるフレームの周波数スペクトルの強度が環境音特徴スペクトルFSの強度以下の周波数ビンについては、ノイズが含まれるフレームの周波数スペクトルから推定ノイズスペクトルNSを減算しない処理としてもよい。
なお、ノイズ低減部115が、周波数ビン毎に推定ノイズスペクトルNSを減算するか否かを選択する処理は、ノイズが含まれるフレームの周波数スペクトルと環境音特徴スペクトルFSとを周波数ビン毎に比較した結果に基づいて選択する処理に限られるものではなく、他の条件に基づいて選択する処理としてもよい。例えば、ノイズ低減部115は、周波数ビン毎に推定ノイズスペクトルNSを減算するか否かを選択する場合、ノイズが含まれるフレームの周波数スペクトルと推定ノイズスペクトルNSとを周波数ビン毎に比較した結果に基づいて選択してもよいし、推定ノイズスペクトルNSの周波数ビン毎の大きさに基づいて選択してもよいし、周波数ビン毎に予め設定された減算するか否かの条件に基づいて選択してもよい。また、ノイズ低減部115は、単に全ての周波数ビン毎に推定ノイズスペクトルNSを減算してもよい。
また、ノイズ低減部115は、周波数ビン毎に推定ノイズスペクトルNSを減算したか否かを示す情報をノイズ低減処理情報記憶部163に記憶させてもよい。なお、ノイズ低減部115は、推定ノイズスペクトルNSを減算した周波数ビンを示す情報のみをノイズ低減処理情報記憶部163に記憶させてもよいし、推定ノイズスペクトルNSを減算していない周波数ビンを示す情報のみをノイズ低減処理情報記憶部163に記憶させてもよい。
このように、信号処理部110は、ノイズの周波数スペクトル(推定ノイズスペクトルNS)に基づいて、音信号にスペクトル減算(Spectral Subtraction)処理することにより、音信号のノイズを低減させる。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。なお、信号処理部110(逆変換部116)は、逆高速フーリエ変換(IFFT:Inverse Fast Fourier Transform)により、逆フーリエ変換してもよい。
このスペクトル減算処理とは、まず、音信号をフーリエ変換により周波数領域に変換し、周波数領域でノイズを減じた後、逆フーリエ変換することにより、音信号のノイズを低減させる方法である。なお、信号処理部110(逆変換部116)は、逆高速フーリエ変換(IFFT:Inverse Fast Fourier Transform)により、逆フーリエ変換してもよい。
図1の説明に戻り、信号処理部110が備えている各構成について引き続き説明する。
以下の説明では、図2および図4を用いて説明した環境音特徴スペクトルFSが、環境音特徴スペクトル推定部113により推定されて環境音特徴スペクトル記憶部161に記憶されているものとする。なお、予め設定された環境音特徴スペクトルが環境音特徴スペクトル記憶部161に記憶されていてもよい。また、図2および図4を用いて説明した推定ノイズスペクトルNSが、ノイズ推定部114により推定されてノイズ記憶部162に記憶されているものとする。なお、予め設定された推定ノイズがノイズ記憶部162に記憶されていてもよい。
以下の説明では、図2および図4を用いて説明した環境音特徴スペクトルFSが、環境音特徴スペクトル推定部113により推定されて環境音特徴スペクトル記憶部161に記憶されているものとする。なお、予め設定された環境音特徴スペクトルが環境音特徴スペクトル記憶部161に記憶されていてもよい。また、図2および図4を用いて説明した推定ノイズスペクトルNSが、ノイズ推定部114により推定されてノイズ記憶部162に記憶されているものとする。なお、予め設定された推定ノイズがノイズ記憶部162に記憶されていてもよい。
上述したように、信号処理装置100は、例えば、動作部が動作するタイミングに基づいて推定した推定ノイズスペクトルNSをノイズが含まれる音信号の周波数スペクトルから減算することにより、音信号に対するノイズ低減処理を行うことができる。
ところで、上述したようなノイズ低減処理において、推定ノイズスペクトルNSに少なくとも所定のノイズ(例えば、動作部が動作することにより生じるノイズ)以外の音信号の周波数スペクトルが含まれているような場合には、所定のノイズ以外の環境音の音信号も減算されてしまうことがあり、環境音の劣化が生じることがある。また、非定常的なノイズ(例えば、大きさが変化するノイズ、間欠的に発生するノイズなど)を低減するような場合、音信号に実際に混入しているノイズと推定ノイズとの間に差が生じ、ノイズの過大減算により音の劣化が発生することがある。このような場合、周波数スペクトルの強度が小さい音信号ほど劣化しやすく、例えば、環境音に含まれる白色雑音(その場面の臨場感を表すのに大切な音)のように、周波数帯域が広く且つ周波数スペクトルの強度が小さい音信号の劣化が生じやすい。
ここで、環境音の劣化が生じないよう推定ノイズスペクトルNSの減算量を小さくしてしまうと、ノイズの過小減算によりノイズの残存が発生してしまうことがある。そのため、所定のノイズを過小減算とならないように減算量を大きくすればするほど、環境音に含まれる白色雑音のような音までがより減算(低減)されてしまうことがあり、ノイズ低減処理を行ったフレーム期間のみ白色雑音のような音が途切れてしまうというような違和感のある音になる場合がある。
そこで、本実施形態の信号処理装置100は、ノイズ低減処理において、以下に示す補正処理を実行する。信号処理部110の音補正処理部120は、ノイズ低減処理において劣化が生じることがある環境音を補正する。例えば、音補正処理部120は、ノイズ低減処理において劣化が生じることがある環境音に含まれる白色雑音(その場面の臨場感を表すのに大切な音)の信号を補正する補正信号を生成し、生成した補正信号をノイズ低減処理後の音信号に加算する処理を行う。
ここでは初めに、音補正処理部120が補正信号を生成し、生成した補正信号をノイズ低減処理後の音信号に加算する処理の一例について概説する。次に、音補正処理部120が補正信号を生成する処理の一例について詳細に説明する。
<音補正処理部による処理の一例>
音補正処理部120は、補正信号生成部121、および加算部128を備えている。
補正信号生成部121は、擬似乱数信号生成部122、第2変換部123、イコライズ部124、および、周波数抽出部125を備えている。この補正信号生成部121は、擬似乱数信号と環境音特徴スペクトルFSとに基づいて、補正信号の周波数スペクトルを生成する。
音補正処理部120は、補正信号生成部121、および加算部128を備えている。
補正信号生成部121は、擬似乱数信号生成部122、第2変換部123、イコライズ部124、および、周波数抽出部125を備えている。この補正信号生成部121は、擬似乱数信号と環境音特徴スペクトルFSとに基づいて、補正信号の周波数スペクトルを生成する。
擬似乱数信号生成部122は、擬似乱数信号列を生成する。例えば、擬似乱数信号生成部122は、線形合同法、線形帰還シフトレジスタを用いた方法、カオス乱数を用いた方法などにより、擬似乱数信号列を生成する。なお、擬似乱数信号生成部122は、上述した方法以外の方法を用いて擬似乱数信号列を生成してもよい。
第2変換部123は、擬似乱数信号生成部122により生成された擬似乱数信号列を周波数領域信号に変換する。例えば、第1変換部111は、擬似乱数信号列をフレームに分割し、分割した各フレームの擬似乱数信号をフーリエ変換し、各フレームにおける擬似乱数信号の周波数スペクトルを生成する。
また、第2変換部123は、各フレームの擬似乱数信号を周波数スペクトルに変換する場合、各フレームの擬似乱数信号にハニングウィンドウなどの窓関数を乗じた後、周波数スペクトルに変換してもよい。また、第2変換部123は、高速フーリエ変換(FFT:Fast Fourier Transform)により、フーリエ変換してもよい。なお、第2変換部123は第1変換部111と共通の構成としてもよい。
なお、第2変換部123は、擬似乱数信号の周波数スペクトルを生成する際に、擬似乱数信号の周波数成分の振幅情報(符号SG3)および位相情報(符号SG4)を得る。
イコライズ部124は、擬似乱数信号の周波数スペクトルと環境音特徴スペクトルFSとに基づいて、補正信号の周波数スペクトルを生成する。例えば、イコライズ部124は、擬似乱数信号の周波数スペクトルを、環境音特徴スペクトルFSを用いてイコライズすることにより、補正信号の周波数スペクトルを生成する。
具体的には、イコライズ部124は、例えば、擬似乱数信号の周波数スペクトルと環境音特徴スペクトルFSとを周波数ビン毎に乗算し、全周波数ビンの周波数スペクトルの和(全周波数成分の振幅の和、或いは全周波数成分の強度の和)が、環境音特徴スペクトルFSの和(全周波数ビンのスペクトルの和)と、略等しくなるように規格化(正規化、平均化)することにより、補正信号を生成する。
例えば、イコライズ部124は、次に示す式(1)により補正信号を算出してもよい。
例えば、イコライズ部124は、次に示す式(1)により補正信号を算出してもよい。
周波数抽出部125は、加算部128において加算する周波数ビンを選択し、イコライズ部124が生成した補正信号の周波数スペクトルのうち、選択した周波数ビンの周波数スペクトルを抽出する。例えば、周波数抽出部125は、ノイズ低減部115が推定ノイズスペクトルNSを減算したか否かを示す周波数ビン毎の情報に基づいて、加算部128において加算する周波数ビンを選択する。すなわち、周波数抽出部125は、ノイズ低減部115が推定ノイズスペクトルNSを減算したか否かを示す周波数ビン毎の情報に基づいて、加算部128において加算する周波数ビンの補正信号の周波数スペクトルを抽出する。
なお、周波数抽出部125は、ノイズ低減処理情報記憶部163を参照して、推定ノイズスペクトルNSを減算したか否かを示す周波数ビン毎の情報を取得してもよい。
なお、周波数抽出部125は、ノイズ低減処理情報記憶部163を参照して、推定ノイズスペクトルNSを減算したか否かを示す周波数ビン毎の情報を取得してもよい。
また、例えば、周波数抽出部125は、推定ノイズスペクトルNSを減算した周波数ビンについて、補正信号の周波数スペクトルを加算対象として抽出し、推定ノイズスペクトルNSを減算しなかった周波数ビンについて、補正信号の周波数スペクトルを加算対象として抽出しない。
なお、周波数抽出部125は、推定ノイズスペクトルNSを減算したか否かを示す周波数ビン毎の情報に基づいて、加算対象とする周波数ビンの補正信号の周波数スペクトルに対して係数「1」を乗算してもよいし、加算対象としない周波数ビンの補正信号の周波数スペクトルに対して係数「0」を乗算してもよい。なお、加算対象とする周波数ビンの補正信号の周波数スペクトルに対して乗算する係数は「1」以外であってもよい。一方、加算対象としない周波数ビンの補正信号の周波数スペクトルに対して乗算する係数は「0」以外であってもよい。例えば、加算対象とする場合の係数が加算対象としない場合の係数よりも大きければ、加算対象とする場合の係数が「1」より大きい係数または小さい係数であってもよいし、加算対象としない場合の係数が「0」より大きい係数であってもよい。
加算部128は、ノイズ低減部115が推定ノイズスペクトルNSを減算した後の音信号の周波数スペクトルに、イコライズ部124が生成した補正信号の周波数スペクトルを加算する。
例えば、加算部128は、周波数抽出部125が加算対象とした周波数ビンの補正信号の周波数スペクトルを加算する。つまり、加算部128は、ノイズ低減部115が音信号の周波数スペクトル(第1周波数領域信号)から推定ノイズスペクトルNSを周波数ビン毎に減算した周波数ビンに対して、推定ノイズスペクトルNSを減算した後の音信号の周波数スペクトルに補正信号の周波数スペクトルを加算する。
一方、加算部128は、ノイズ低減部115が音信号の周波数スペクトル(第1周波数領域信号)から推定ノイズスペクトルNSを周波数ビン毎に減算した周波数ビンに対して、推定ノイズスペクトルNSを減算した後の音信号の周波数スペクトルに加算する補正信号の周波数スペクトルの加算量を低減する(例えば加算量を「0」にする、すなわち加算しない)。
なお、加算部128は、ノイズ低減部115が音信号の周波数スペクトル(第1周波数領域信号)から推定ノイズスペクトルNSを周波数ビン毎に減算する際に減算量が少なかった周波数ビンにおいて、推定ノイズスペクトルNSを減算した後の音信号の周波数スペクトルに加算する補正信号の周波数スペクトルの加算量を低減してもよい。
例えば、加算部128は、ノイズ低減部115における周波数ビン毎の減算量に応じて、補正信号の周波数スペクトルの加算量を周波数ビン毎に異ならせてもよい。つまり、加算部128は、ノイズ低減部115における周波数ビン毎の減算量が大きい場合には、その周波数ビンの補正信号の周波数スペクトルの加算量を大きくしてもよいし、ノイズ低減部115における周波数ビン毎の減算量が小さい場合には、その周波数ビンの補正信号の周波数スペクトルの加算量を小さくしてもよい。
図5は、本実施形態のノイズ低減処理の一例を示す模式図である。次に、図5を参照して、上述した補正信号を加算する補正処理を含むノイズ低減処理の一例について説明する。この図5に示す周波数スペクトルは、12個の周波数ビンを備えているものとする。また、図2および図4の各部に対応する構成には同じ符号を付けている。
図5(a)に示す周波数スペクトルSBは、第1変換部111により変換された音信号の周波数スペクトルであり、所定のノイズが含まれている期間のフレーム番号46における周波数スペクトルS46である。この図に示す周波数スペクトルSBの各周波数ビンの強度を、低周波数から高周波数へ順にB1、B2、B3、B4、B5、B6、B7、B8、B9、B10、B11、B12と称する。
図5(b)に示す周波数スペクトルは、環境音特徴スペクトルFSであって、所定のノイズが含まれていない期間のフレーム番号43における周波数スペクトルS46である。
この図に示す環境音特徴スペクトルFSの各周波数ビンの強度を、低周波数から高周波数へ順にF1、F2、F3、F4、F5、F6、F7、F8、F9、F10、F11、F12と称する。
この図に示す環境音特徴スペクトルFSの各周波数ビンの強度を、低周波数から高周波数へ順にF1、F2、F3、F4、F5、F6、F7、F8、F9、F10、F11、F12と称する。
図5(c)に示す周波数スペクトルは、擬似乱数信号生成部122により生成された擬似乱数信号列を第2変換部123が変換した擬似乱数信号の周波数スペクトルRNである。この図に示す擬似乱数信号の周波数スペクトルRNの各周波数ビンの強度を、低周波数から高周波数へ順にR1、R2、R3、R4、R5、R6、R7、R8、R9、R10、R11、R12と称する。
イコライズ部124は、擬似乱数信号の周波数スペクトルRNを、環境音特徴スペクトルFSを用いてイコライズすることにより、補正信号の周波数スペクトル(以下、補正信号の周波数スペクトルSEと称する)を生成する。このイコライズ部124が生成した補正信号の周波数スペクトルSEの一例を、図5(e)に示している。この図に示す補正信号の周波数スペクトルSEの各周波数ビンの強度を、低周波数から高周波数へ順にE1、E2、E3、E4、E5、E6、E7、E8、E9、E10、E11、E12と称する。
イコライズ部124は、擬似乱数信号の周波数スペクトルRNを、環境音特徴スペクトルFSを用いてイコライズすることにより、補正信号の周波数スペクトルSEの周波数ビン毎の強度を算出する。なお、イコライズ部124は、例えば、前述した式(1)に示す関係式を用いて、補正信号の周波数スペクトルSEの各周波数ビンの強度を算出する。なお、式(1)に示す「FS(k)」が、図5(a)に示す環境音特徴スペクトルFSの各周波数ビンの強度F1、F2、F3、F4、F5、F6、F7、F8、F9、F10、F11、F12に対応する。また、式(1)に示す「RN_amp(k)」が、図5(c)に示す擬似乱数信号の周波数スペクトルRNの各周波数ビンの強度R1、R2、R3、R4、R5、R6、R7、R8、R9、R10、R11、R12に対応する。また、式(1)に示す「SE_amp(k)」が、図5(e)に示す補正信号の周波数スペクトルSEの各周波数ビンの強度E1、E2、E3、E4、E5、E6、E7、E8、E9、E10、E11、E12に対応する。
一方、図5(d)に示す周波数スペクトルは、ノイズ低減部115が図5(a)に示す音信号の周波数スペクトルSBから推定ノイズスペクトルNSを減算する処理が実行された後の音信号の周波数スペクトルSCである。この図に示す周波数スペクトルSCの各周波数ビンの強度を、低周波数から高周波数へ順にC1、C2、C3、C4、C5、C6、C7、C8、C9、C10、C11、C12と称する。
ノイズ低減部115は、図5(a)に示す周波数スペクトルSBから推定ノイズスペクトルNSを減算することにより、周波数スペクトルSCを生成する。ここで、ノイズ低減部115は、周波数ビン毎に周波数スペクトルSBと環境音特徴スペクトルFSとを比較し、周波数スペクトルSBの強度が環境音特徴スペクトルFSの強度より小さい周波数ビンについては、推定ノイズスペクトルNSを減算しない処理とする。すなわち、ノイズ低減部115は、周波数スペクトルSBの強度が環境音特徴スペクトルFSの強度以下の周波数ビン(図5では、周波数ビン番号7、8、9,10、11)についてのみ、推定ノイズスペクトルNSを減算する処理とする。
例えば、推定ノイズスペクトルNSの各周波数ビンの強度を、低周波数から高周波数へ順にN1、N2、N3、N4、N5、N6、N7、N8、N9、N10、N11、N12、とした場合、ノイズ低減部115は、推定ノイズスペクトルNSの周波数ビン番号7、8、9,10、11のそれぞれについて、各周波数ビンの強度N7、N8、N9、N10、N11それぞれを減算する。
すなわち、ノイズ低減部115が周波数スペクトルSCの各周波数ビンの強度を算出する関係式は、例えば上述の例では、低周波数から高周波数へ順に、C1=B1、C2=B2、C3=B3、C4=B4、C5=B5、C6=B6、C7=B7−N7、C8=B8−N8、C9=B9−N9、C10=B10−N10、C11=B11−N11、C12=B12、として示される。
図5(f)に示す周波数スペクトルは、図5(e)に示す補正信号の周波数スペクトルSEのうち、周波数抽出部125が、加算部128において加算して抽出した周波数ビンの周波数スペクトルSDである。この図5(f)の例では、周波数抽出部125は、ノイズ低減部115が減算した周波数ビン(周波数ビン番号7、8、9,10、11)のみを加算対象とする。この図に示す加算対象とする補正信号の周波数スペクトルSDの各周波数ビンの強度を、周波数ビン番号7、8、9,10、11の順にD7、D8、D9、D10、D11と称する。
加算部128は、図5(d)に示す周波数スペクトルSCに、図5(f)に示す周波数スペクトルSDを加算する。すなわち、加算部128は、ノイズ低減部115が図5(a)に示す音信号の周波数スペクトルSBから推定ノイズスペクトルNSを減算した周波数スペクトルSCに対して、減算処理により劣化した音信号を補正するための補正信号としての周波数スペクトルSDを加算する。そして、信号処理部110は、周波数スペクトルSCに対して周波数スペクトルSDを加算するとともに、逆変換部116において逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する。
このように、信号処理装置100は、音信号の周波数スペクトルに対して、推定ノイズスペクトルNSを減算するとともに、擬似乱数信号の周波数スペクトルRNを環境音特徴スペクトルFSを用いてイコライズして生成した補正信号の周波数スペクトルSE(周波数スペクトルSD)を加算する。
これにより、信号処理装置100は、音信号から所定のノイズを減算した際に、所定のノイズ以外の音信号までもが低減されてしまう場合であっても、その所定のノイズ以外の音の代わりとなる音信号を生成して加算することができる。例えば、信号処理装置100は、音信号から所定のノイズを減算した際に、所定のノイズ以外の環境音に含まれる白色雑音のような音信号までもが低減されてしまう場合であっても、その白色雑音のような音信号の代わりになる音信号を擬似乱数信号から生成して加算することができる。
よって、信号処理装置100は、所定のノイズ以外の音信号までもが低減されてしまうことにより(ノイズの過大減算となることにより)生じる音の劣化を抑制することができる。また、信号処理装置100は、所定のノイズ以外の音信号までもが低減されてしまうことを懸念してノイズの過小減算となることを抑制するため、ノイズの残存が発生することを抑制することができる。
また、信号処理装置100は、音信号の周波数スペクトルのうち、推定ノイズスペクトルNSを減算した周波数ビンの周波数スペクトルにのみ、生成した補正信号の周波数スペクトルSEのうちの当該減算した周波数ビンに対応する周波数スペクトルSDを加算する。これにより、信号処理装置100は、音信号から所定のノイズを減算した周波数ビン(周波数成分)のみに、補正信号(所定のノイズ以外の音信号の代わりとなる音信号)を生成して加算することができる。よって、信号処理装置100は、補正が不要な周波数ビンについては補正信号を加算することなく、補正が必要な周波数ビンについてのみ適切に補正信号を加算することができる。
<音補正処理部120が補正信号を生成する処理の一例>
次に、音補正処理部120が補正信号を生成する処理の一例について説明する。
図6は、本実施形態のフレームの構成の一例を示す模式図である。上述において、図2を参照してフレームと時刻との関係について説明した。ここでは、図6を参照して、フレーム長FLと、フレームシフトFRSと、フレーム間のオーバーラップFWとの関係について説明する。この図6において横軸は時間を、縦軸は各フレームの窓関数の大きさを示す。図6に示すように、フレームk−3〜フレームk+3の各フレームは、フレーム長FLの大きさがL1である。また、フレームk−3〜フレームk+3の各フレームは、フレームシフトFRSの大きさがL1/2である。したがって、フレームk−3〜フレームk+3の各フレームは、隣接するフレーム間のオーバーラップFWの大きさがL1/2である。これらのフレームk−3〜フレームk+3のうち、フレームkにおいて音信号にノイズが混入した場合のノイズ低減処理について、図7を参照して説明する。
次に、音補正処理部120が補正信号を生成する処理の一例について説明する。
図6は、本実施形態のフレームの構成の一例を示す模式図である。上述において、図2を参照してフレームと時刻との関係について説明した。ここでは、図6を参照して、フレーム長FLと、フレームシフトFRSと、フレーム間のオーバーラップFWとの関係について説明する。この図6において横軸は時間を、縦軸は各フレームの窓関数の大きさを示す。図6に示すように、フレームk−3〜フレームk+3の各フレームは、フレーム長FLの大きさがL1である。また、フレームk−3〜フレームk+3の各フレームは、フレームシフトFRSの大きさがL1/2である。したがって、フレームk−3〜フレームk+3の各フレームは、隣接するフレーム間のオーバーラップFWの大きさがL1/2である。これらのフレームk−3〜フレームk+3のうち、フレームkにおいて音信号にノイズが混入した場合のノイズ低減処理について、図7を参照して説明する。
図7は、本実施形態の音補正処理部120によるノイズ低減の波形の一例を示す波形図である。図7において、横軸は時間を示す。図7(a)において、縦軸は各フレームの窓関数の大きさを示す。図7(b)(c)において、各縦軸は時間領域信号の値を示す。以下、フレームkにおいてノイズN1が音信号に混入した場合を一例にして説明する。
ここで、ノイズ期間PrNとは、音信号において所定のノイズが含まれる期間である。図7に示すように、フレームkにおいて音信号にノイズN1が混入している場合、ノイズ期間PrNとは、フレームkの前後のフレームを含む期間である。この例においては、フレームk−1〜フレームk+1を含む期間が、ノイズ期間PrNである。ここで時間領域信号W1とは、ノイズ期間PrNにおける音信号の時間領域信号である(図7(b)を参照。)。この時間領域信号W1とは、第1信号の一例である。
ノイズ低減部115は、時間領域信号W1から、推定ノイズの信号を減算する。より具体的には、ノイズ低減部115は、時間領域信号W1の周波数領域信号から、推定ノイズの周波数領域信号を減算する。これにより、ノイズN1が低減される。このノイズN1が低減された信号を時間領域に変換した信号が時間領域信号W1’であり、その一例を図7(c)に示す。ここでノイズ低減部115が、ノイズN1を低減する場合に、時間領域信号W1に含まれるノイズ以外の成分も低減することがある。具体的には、上述したように、推定ノイズスペクトルNSに少なくとも所定のノイズ(例えば、動作部が動作することにより生じるノイズ)以外の音信号の周波数スペクトルが含まれているような場合には、所定のノイズ以外の環境音の音信号も減算されることがある。この場合には、環境音の劣化が生じることがある。図7(c)の時間領域信号W1’は、環境音の劣化が生じた時間領域信号の一例である。そこで、加算部128は、環境音の劣化が生じた時間領域信号に擬似的な環境音を加算することにより、環境音の劣化を低減する。
図8は、本実施形態の加算部128が加算する信号の一例を示す模式図である。この図8において、横軸は時間を示す。図8(a)において、縦軸は各フレームの窓関数の大きさを示す。図8(b)(c)において、各縦軸は時間領域信号の値を示す。加算部128は、時間領域信号W1’の周波数領域信号と、フレームごとの擬似的な環境音の周波数領域信号とを加算する。ここでは、加算部128が、フレームk−1とフレームkとにおいて擬似的な環境音を加算する場合を一例にして説明する。加算部128は、フレームk−1において擬似的な環境音W3−1(図8(b−3))の周波数領域信号と、時間領域信号W1’の周波数領域信号とを加算する。また、加算部128は、フレームkにおいて擬似的な環境音W3−2(図8(c−3))の周波数領域信号と、時間領域信号W1’の周波数領域信号とを加算する。この擬似的な環境音W3−1、および擬似的な環境音W3−2とは、第2信号の一例である。なお、以下の説明において、擬似的な環境音W3の周波数領域信号を、イコライジング後の補正信号W3とも記載する。すなわち、擬似的な環境音W3−1の周波数領域信号を、イコライジング後の補正信号W3−1とも記載する。また、擬似的な環境音W3−2の周波数領域信号を、イコライジング後の補正信号W3−2とも記載する。次に、擬似乱数信号生成部122および補正信号生成部121が、これらの擬似的な環境音W3−1および擬似的な環境音W3−2を生成する仕組みについて説明する。
擬似乱数信号生成部122は、補正元信号を生成する。この補正元信号とは、擬似的な環境音を生成するための擬似乱数信号列に基づく信号である。具体的には、図8(b−1)(c−1)に示すように、擬似乱数信号生成部122は、フレームk−1に対する補正元信号W2−1と、フレームkに対する補正元信号W2−2とを生成する。このフレームk−1とは、第1期間Pr1の一例である。また、フレームkとは第2期間Pr2の一例である。すなわち、擬似乱数信号生成部122は、第1期間Pr1の補正元信号W2−1(第1補正元信号)と、第1補正元信号に基づく第2期間Pr2の補正元信号W2−2(第2補正元信号)とを、それぞれ生成する。
ここで、擬似乱数信号生成部122は、第1期間Pr1の補正元信号(ここでは、補正元信号W2−1)の生成に用いた疑似乱数信号列を用いて、第2期間Pr2の補正元信号(ここでは、補正元信号W2−2)を生成する。この擬似乱数信号生成部122が補正元信号を生成する仕組みの詳細について、図9を参照して説明する。
図9は、本実施形態の擬似乱数信号生成部122が生成する疑似乱数信号の一例を示す模式図である。この図9において、横軸は時間を示す。図9(a)において、縦軸は各フレームの窓関数の大きさを示す。図9(b)〜(d)において、各縦軸は擬似乱数信号の値を示す。擬似乱数信号生成部122は、既知の方法によって、第1期間(ここでは、フレームk−1)の補正元信号W2−1を生成する(図9(b)を参照。)。この補正元信号W2−1は、第1期間Pr1の前半部分の補正元信号W2−1aと、後半部分の補正元信号W2−1bとを含んでいる。次に擬似乱数信号生成部122は、第2期間Pr2(ここでは、フレームk)の補正元信号W2−2を生成する(図9(c)を参照。)。この補正元信号W2−2は、第1期間Pr1の前半部分の補正元信号W2−2aと、後半部分の補正元信号W2−2bとを含んでいる。
上述したように、各フレームは、隣接するフレームどうしが各フレーム長FLの半分の大きさのオーバーラップFWぶんずつ重なっている。したがって、第1期間Pr1と第2期間Pr2とが互いに重なる重複期間をPrD12とすれば、第1期間Pr1の後半部分と、第2期間Pr2の前半部分が重複期間PrD12になる。
擬似乱数信号生成部122は、補正元信号W2−2のうちの重複期間PrD12の補正元信号W2−2を、補正元信号W2−1のうちの重複期間PrD12の補正元信号W2−1に基づいて生成する。すなわち、補正信号生成部121の擬似乱数信号生成部122は、第1信号の複数の期間のうち、互いの一部の期間が重複する第1期間と第2期間とについて、第1期間の第2信号と、第2期間の第2信号とをそれぞれ生成する。より具体的には、擬似乱数信号生成部122は、補正元信号W2−1の後半部分の波形に基づいて、補正元信号W2−2の前半部分の波形を生成する。これにより、補正元信号W2−1のうち後半部分の補正元信号W2−1bの波形と、補正元信号W2−2のうち前半部分の補正元信号W2−2aの波形とが、互いに相関する波形になる(図9(b)(c)を参照。)。ここで、互いに相関する波形とは、互いの波形の相関係数の大きさ(絶対値)が所定値以上である波形である。この相関係数は、例えば、0から1の間に正規化された値によって表される。この場合、相関係数が0であるとは、2つの波形に相関が全くない状態を表す。またこの場合、相関係数が1であることは、2つの波形が完全に相関している状態を表す。例えば、擬似乱数信号生成部122は、補正元信号W2−1の後半部分の波形と同一の波形を、補正元信号W2−2のうち前半部分の補正元信号W2−2aの波形にする。この場合、補正元信号W2−1の後半部分の波形と、補正元信号W2−2のうち前半部分の補正元信号W2−2aの波形との相関係数とは、1である。
また、擬似乱数信号生成部122は、第2期間Pr2の補正元信号W2−2を生成した場合と同様にして、第3期間Pr3の補正元信号W2−3を生成する。具体的には、擬似乱数信号生成部122は、補正元信号W2−3のうちの重複期間PrD23の補正元信号W2−3を、補正元信号W2−2のうちの重複期間PrD23の補正元信号W2−2に基づいて生成する。すなわち、擬似乱数信号生成部122は、補正元信号W2−2の後半部分の波形に基づいて、補正元信号W2−3の前半部分の波形を生成する。これにより、補正元信号W2−2のうち後半部分の補正元信号W2−2bの波形と、補正元信号W2−3のうち前半部分の補正元信号W2−3aの波形とが、互いに相関する波形になる(図9(c)(d)を参照。)。すなわち、補正信号生成部121は、第1期間の第2信号の信号波形と、第2期間の第2信号の信号波形とを互いに相関する波形にして、第2期間の第2信号を生成する。
換言すれば、補正信号生成部121は、第1期間の第2信号の信号波形に基づいて、第2期間の第2信号を生成する。具体的には、補正信号生成部121は、第1信号の複数の期間である互いの一部の期間が重複する第1期間と第2期間とのうち、第1期間の第2信号に基づいて、第2期間の第2信号を生成する。より具体的には、補正信号生成部121は、第1期間の第2信号を擬似乱数信号に基づいて生成し、第2期間の第2信号を、第1期間の第2信号を生成した擬似乱数信号に基づいて生成する。
図8に戻り、補正信号生成部121が周波数領域信号を生成する仕組みについて説明する。補正信号生成部121は、図8(b−1)に示す第1期間Pr1の補正元信号W2−1に対して窓関数を適用して、図8(b−2)に示す窓掛け後の補正信号W2’−1を生成する。また、補正信号生成部121は、窓掛け後の補正信号W2’−1に対して周波数領域変換およびイコライジングを行い、イコライジング後の補正信号W3−1を生成する。このイコライジング後の補正信号W3−1を時間領域に逆変換した信号波形を図8(b−3)に示す。
また、補正信号生成部121は、図8(c−1)に示す第2期間Pr2の補正元信号W2−2に対して窓関数を適用して、図8(c−2)に示す窓掛け後の補正信号W2’−2を生成する。また、補正信号生成部121は、窓掛け後の補正信号W2’−2に対して周波数領域変換およびイコライジングを行い、イコライジング後の補正信号W3−2を生成する。このイコライジング後の補正信号W3−2を時間領域に逆変換した信号波形を図8(c−3)に示す。このイコライジング後の補正信号W3−2とは、第2信号の一例である。また、補正信号生成部121は、第1期間Pr1、第2期間Pr2と同様にして、第3期間Pr3のイコライジング後の補正信号W3−3を生成する。
すなわち、補正信号生成部121は、第1期間Pr1の減算後の信号を補正する第2信号を、生成された補正元信号W2−1(第1補正元信号)に基づいて生成する。また、補正信号生成部121は、第2期間Pr2の減算後の信号を補正する第2信号を、生成された補正元信号W2−2(第2補正元信号)に基づいて生成する。
次に、図10を参照して、加算部128が各周波数領域信号を加算して、ノイズ低減後の周波数領域信号を補正する仕組みについて説明する。
図10は、本実施形態の加算部128が加算した信号の波形の一例を示す模式図である。この図10において、横軸は時間を示す。図10(a)において、縦軸は各フレームの窓関数の大きさを示す。図10(b)〜(e)において、各縦軸は信号の値を示す。上述したように、補正信号生成部121は、第1期間Pr1〜第3期間Pr3について、イコライジング後の補正信号W3−1〜−3をそれぞれ生成する(図10(b))。加算部128は、これらのイコライジング後の補正信号W3−1〜−3を、図10(c)に示す時間領域信号W1’の周波数領域信号に加算する。この加算後の信号を時間領域に逆変換した時間領域信号W6の信号波形を図10(d)に示す。より具体的には、加算部128は、第1期間Pr1について、イコライジング後の補正信号W3−1と、時間領域信号W1’の周波数領域信号とを加算する。また、加算部128は、第2期間Pr2について、イコライジング後の補正信号W3−2と、時間領域信号W1’の周波数領域信号とを加算する。加算部128は、第3期間Pr3について、イコライジング後の補正信号W3−3と、時間領域信号W1’の周波数領域信号とを加算する。
図10は、本実施形態の加算部128が加算した信号の波形の一例を示す模式図である。この図10において、横軸は時間を示す。図10(a)において、縦軸は各フレームの窓関数の大きさを示す。図10(b)〜(e)において、各縦軸は信号の値を示す。上述したように、補正信号生成部121は、第1期間Pr1〜第3期間Pr3について、イコライジング後の補正信号W3−1〜−3をそれぞれ生成する(図10(b))。加算部128は、これらのイコライジング後の補正信号W3−1〜−3を、図10(c)に示す時間領域信号W1’の周波数領域信号に加算する。この加算後の信号を時間領域に逆変換した時間領域信号W6の信号波形を図10(d)に示す。より具体的には、加算部128は、第1期間Pr1について、イコライジング後の補正信号W3−1と、時間領域信号W1’の周波数領域信号とを加算する。また、加算部128は、第2期間Pr2について、イコライジング後の補正信号W3−2と、時間領域信号W1’の周波数領域信号とを加算する。加算部128は、第3期間Pr3について、イコライジング後の補正信号W3−3と、時間領域信号W1’の周波数領域信号とを加算する。
このようして生成された時間領域信号W6を音信号に変換した後の振幅波形(移動平均振幅波形)W7を、図10(e)に示す。ノイズ期間PrNとそれ以外の期間とにおいてこの振幅波形W7の振幅の差が少ない場合には、適切にノイズ低減が行われていることを示している。すなわち、補正信号生成部121は、第2信号が加算された第1信号の重複する期間における振幅の変化が低減するようにして、第1期間の第2信号と、第2期間の第2信号とをそれぞれ生成する。ここで、本実施形態の擬似乱数信号生成部122によらず、図10に示す波形である、補正元信号W2−1の後半部分の波形に基づいて、補正元信号W2−2の前半部分の波形を生成せずに、補正元信号を生成した場合について、図11を参照して説明する。
図11は、補正元信号によるノイズ低減結果の一例を示す模式図である。波形の生成方法として、各期間(各フレーム)の補正元信号を、それぞれ独立して生成する。すなわち、第1期間Pr1の補正元信号と、第2期間Pr2の補正元信号との間の相関係数を低い状態にして、各補正元信号を生成する。このようにして生成した第1期間Pr1の補正元信号からは、イコライジング後の補正信号W3’−1が生成される。また、第2期間Pr2の補正元信号からは、イコライジング後の補正信号W3’−2が生成される。第2期間Pr2と同様にして、第3期間Pr3の補正元信号からは、イコライジング後の補正信号W3’−3が生成される(図11(b)を参照。)。
これらの補正信号W3’−1〜−3を、時間領域信号W1’に加算することにより、補正後の時間領域信号W6’が得られる(図11(b)〜(d)を参照。)。この補正後の時間領域信号W6’を音信号に変換した後の振幅波形(移動平均振幅波形)W7’を、図11(e)に示す。この振幅波形W7’と、図10(e)に示した振幅波形W7とを比較すると、振幅波形W7’の方が振幅の差が大きいことがわかる。以下、図11で示す処理を行う場合、振幅波形W7’の振幅の差が大きくなる理由について説明する。
補正信号W3’−1および補正信号W3’−2は、互いに相関性の低い疑似乱数系列に基づいて、それぞれ生成される。ここで、補正信号W3’−1と補正信号W3’−2とを加算するとは、相関性の低い2つの疑似乱数系列を加算することである。相関性の低い2つの疑似乱数系列どうしを加算した結果と、元の疑似乱数系列とを比較することにより、振幅波形W7の振幅の差よりも、振幅波形W7’の振幅の差の方が大きくなることが次のように説明できる。
ここで、乱数aと乱数bとは、いずれも時間的にランダムな値(ここでは、−1〜1の間の値)をとる、互いに相関性の低い変数である。また、乱数aに対して所定の重み付けを行う値を重みWaとし、乱数bに対して所定の重み付けを行う値を重みWbとする。この乱数aと乱数bとを加算した場合の移動平均値の振幅の差を求める。
まず、乱数aに対して重みWaによって重み付けした値Wa・aの絶対値|Wa・a|の期待値<|Wa・a|>は、式(2)によって求められる。
まず、乱数aに対して重みWaによって重み付けした値Wa・aの絶対値|Wa・a|の期待値<|Wa・a|>は、式(2)によって求められる。
次に、乱数aと乱数bとを加算した結果の絶対値を求める。ここで、乱数aの重みを重みWT1とし、乱数bの重みを重みWT2とする。ここで、重みWT1および重みWT2とは、例えば、ハニング関数またはハミング関数などの窓関数による重みである。この場合、乱数aと乱数bとを加算した結果の絶対値の期待値は、期待値<|WT1・a+WT2・b|>と表すことができる。この期待値<|WT1・a+WT2・b|>は、WT1≧WT2の場合、式(3)によって求められる。
ここで、式(1)の結果と式(2)の結果とを比較する。例えば、重みWT1+重みWT2=重みWaとし、重みWT1=重みWT2=1/2である場合についての比較結果を、式(4)〜式(6)に示す。
すなわち、乱数aと乱数bとを加算した場合の期待値は、乱数aの期待値よりも小さい値をとることが示される。なお、重みWT1+重みWT2=重みWa、重みWT1>0、重みWT2>0、重みWa>0である場合には、期待値<|WT1・a+WT2・b|>が最小となる重みWT1とは、重みWT1=重みWa/2である。この場合、期待値<|WT1・a+WT2・b|>=重みWa/3である。
この式(2)〜(6)が示すように、相関性の低い乱数どうしを加算すると、元の乱数が取り得る振幅よりも、加算後の値が取り得る振幅の方が小さくなることがある。再び図11を参照すると、補正信号W3’−1〜−3は、いずれも相関性の低い疑似乱数系列に基づいて生成されている。したがって、補正信号W3’−1と補正信号W3’−2とを加算すると、図11(e)の破線Aで囲った部分の振幅波形W7’に示すように、振幅が他の部分よりも小さくなる部分が生じる。
一方、本実施形態の擬似乱数信号生成部122は、相関性の高い疑似乱数系列を用いて補正元信号を生成する。このため、加算部128は、この補正元信号によって生成された補正信号W3−1〜−3を加算することにより、加算後の音信号の振幅波形W7の振幅の変化を低減することができる。
以上説明したように、本実施形態の信号処理装置100は、擬似乱数信号生成部122を備えている。この擬似乱数信号生成部122は、相関性の高い疑似乱数系列を用いて補正元信号を生成する。これにより、本実施形態の信号処理装置100は、音信号に含まれているノイズを適切に低減することができる。
[変形例]
以下、再び、図1から図5を参照し、上述した第1実施形態における変形例について説明する。
(環境音特徴スペクトルの推定方法)
上述の図2および図4を用いた説明においては、環境音特徴スペクトル推定部113が、フレーム番号43における音信号の周波数スペクトルを環境音特徴スペクトルFSとして推定するものとして説明した。しかし、環境音特徴スペクトル推定部113による環境音特徴スペクトルの推定方法は、これに限られるものではない。
以下、再び、図1から図5を参照し、上述した第1実施形態における変形例について説明する。
(環境音特徴スペクトルの推定方法)
上述の図2および図4を用いた説明においては、環境音特徴スペクトル推定部113が、フレーム番号43における音信号の周波数スペクトルを環境音特徴スペクトルFSとして推定するものとして説明した。しかし、環境音特徴スペクトル推定部113による環境音特徴スペクトルの推定方法は、これに限られるものではない。
例えば、環境音特徴スペクトル推定部113は、動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号の周波数スペクトルそれぞれを周波数ビン毎に平均した周波数スペクトルを、環境音特徴スペクトルFSとして推定してもよい。
また、環境音特徴スペクトル推定部113は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、環境音特徴処理の対象とする音信号のフレーム(開始フレーム)から遠ざかるに従い、軽くなるようにしてもよい。
また、環境音特徴スペクトル推定部113は、動作部が動作するタイミングに基づいて、動作部が動作するタイミングの前の複数のフレームにおける音信号の周波数スペクトルの周波数ビン毎のそれぞれの最大値または最小値となる周波数スペクトルを、環境音特徴スペクトルFSとして推定してもよい。
また、環境音特徴スペクトル推定部113は、動作部が動作するタイミングに基づいて、動作部が動作したタイミングの後のフレームにおける音信号の周波数スペクトルを、環境音特徴スペクトルFSとして推定してもよい。また、環境音特徴スペクトル推定部113は、動作部が動作したタイミングの後の複数フレームにおける音信号の周波数スペクトルに基づいて、環境音特徴スペクトルFSを推定してもよい。
なお、環境音特徴スペクトル推定部113は、環境音特徴スペクトルFSを推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、環境音特徴スペクトルFSを推定することが望ましい。これは、環境音特徴スペクトルFSとしては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、環境音特徴スペクトルFSを生成する音信号のフレームが、環境音特徴処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対しての環境音特徴スペクトルFSとしての適切さも低減するからである。
なお、環境音特徴スペクトル推定部113は、環境音特徴スペクトルFSを推定する場合、少なくとも、直前に動作部が動作したタイミングよりも後のフレームに基づいて、環境音特徴スペクトルFSを推定することが望ましい。これは、環境音特徴スペクトルFSとしては、動作部が動作していないフレームにおける音信号に対しての周波数スペクトルが望ましいからである。また、環境音特徴スペクトルFSを生成する音信号のフレームが、環境音特徴処理する対象となる音信号よりも、時間的に遠くなるに従い、この音信号に対しての環境音特徴スペクトルFSとしての適切さも低減するからである。
また、環境音特徴スペクトル記憶部161に予め環境音特徴スペクトルFSが記憶されていてもよい。例えば、環境音特徴スペクトル記憶部161には、収音する装置(例えば撮像装置)が収音(撮影)する場合の周囲の音の状況を示す環境情報、または、撮影モードを示す撮影モード情報と関連付けられて、それぞれの場合に応じた環境音特徴スペクトルFSが予め記憶されていてもよい。そして、信号処理部110は、ユーザにより選択された環境情報または撮影モード情報に関連付けられている環境音特徴スペクトルFSを環境音特徴スペクトル記憶部161から読み出し、当該読み出した環境音特徴スペクトルFSに基づいて、上述の図2、図4、または図5の説明において説明したノイズ低減処理を実行してもよい。
また、ノイズ低減処理を行う信号を揮発性メモリ(不図示)などに記憶させた場合には、発生していたノイズが消失した後の情報に基づいて、環境音特徴スペクトルFSを算出することも可能となる。
(図2のフレーム番号47以降に対しての処理について)
上述の図2から図5を用いた説明においては、信号処理部110が、フレーム番号46の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部110は、フレーム番号46の音信号の場合と同様に、フレーム番号46よりも後の音信号であるフレーム番号47以降の音信号に対しても、ノイズ低減処理することができる。
上述の図2から図5を用いた説明においては、信号処理部110が、フレーム番号46の音信号に対して、ノイズ低減処理する場合について説明した。この信号処理部110は、フレーム番号46の音信号の場合と同様に、フレーム番号46よりも後の音信号であるフレーム番号47以降の音信号に対しても、ノイズ低減処理することができる。
(ノイズの推定について)
また、上述の図2から図5を用いた説明においては、ノイズ推定部114が、フレーム番号46における音信号の周波数スペクトルS46(図4(b)参照)から、フレーム番号43における音信号の周波数スペクトル(すなわち環境音特徴スペクトルFS)(図4(a)参照)を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部114が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。
また、上述の図2から図5を用いた説明においては、ノイズ推定部114が、フレーム番号46における音信号の周波数スペクトルS46(図4(b)参照)から、フレーム番号43における音信号の周波数スペクトル(すなわち環境音特徴スペクトルFS)(図4(a)参照)を、周波数ビン毎に減算して、ノイズの周波数スペクトルを推定するものとして説明した。しかし、ノイズ推定部114が、ノイズの周波数スペクトルを推定する方法は、これに限られるものではない。
まず、ノイズ推定部114は、フレーム番号43における音信号の周波数スペクトルである環境音特徴スペクトルFSに代えて、上記に説明した環境音特徴スペクトル推定部113が環境音特徴スペクトルFSを推定する場合の任意の方法により推定された環境音特徴スペクトルFSを用いることができる。
また、ノイズ推定部114は、フレーム番号46における音信号の周波数スペクトルS46に代えて、タイミング検出部91により検出された動作部が動作するタイミングに基づいて、動作部が動作しているタイミングにおける複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。例えば、ノイズ推定部114は、フレーム番号46における音信号の周波数スペクトルS46に代えて、フレーム46、47という複数のフレームにおける音信号の周波数スペクトルを、周波数ビン毎に平均した周波数スペクトルを用いてもよい。
また、ノイズ推定部114は、周波数ビン毎に複数の周波数スペクトルを平均する場合、重みを付けて平均を算出してもよい。この重みの値は、環境音特徴処理の対象とする音信号のフレーム(開始フレーム)から遠ざかるに従い、軽くなるようにしてもよい。また、ノイズ推定部114は、周波数スペクトルS46に代えて、動作部が動作しているタイミングにおける複数のフレームの周波数スペクトルの周波数ビン毎の最大値または最小値となる周波数スペクトルを用いてもよい。なお、環境音特徴スペクトルFSの場合と同様に、ノイズの周波数スペクトルが、ノイズ記憶部162に予め記憶されていてもよい。
(擬似乱数信号のイコライズについて)
また、上述の図5の説明においては、イコライズ部124が、擬似乱数信号の周波数スペクトルRNを、フレーム番号43における音信号の周波数スペクトル(すなわち環境音特徴スペクトルFS)を用いてイコライズするものとして説明した。しかし、イコライズ部124が擬似乱数信号の周波数スペクトルRNをイコライズする方法は、これに限られるものではない。
また、上述の図5の説明においては、イコライズ部124が、擬似乱数信号の周波数スペクトルRNを、フレーム番号43における音信号の周波数スペクトル(すなわち環境音特徴スペクトルFS)を用いてイコライズするものとして説明した。しかし、イコライズ部124が擬似乱数信号の周波数スペクトルRNをイコライズする方法は、これに限られるものではない。
例えば、イコライズ部124は、フレーム番号43における音信号の周波数スペクトルである環境音特徴スペクトルFSに代えて、上記に説明した環境音特徴スペクトル推定部113が環境音特徴スペクトルFSを推定する場合の任意の方法により推定された環境音特徴スペクトルFSを用いることができる。
すなわち、イコライズ部124は、動作部が動作するタイミングの前の複数のフレームの周波数スペクトルの周波数ビン毎の平均値、最大値、または最小値とした環境音特徴スペクトルFSを用いて、擬似乱数信号の周波数スペクトルRNをイコライズしてもよい。
また、イコライズ部124は、動作部が動作したタイミングの後のフレームの周波数スペクトルに基づいて推定した環境音特徴スペクトルFSを用いて、擬似乱数信号の周波数スペクトルRNをイコライズしてもよい。例えば、イコライズ部124は、動作部が動作したタイミングの後の複数のフレームの周波数スペクトルの周波数ビン毎の平均値、最大値、または最小値とした環境音特徴スペクトルFSを用いて、擬似乱数信号の周波数スペクトルRNをイコライズしてもよい。また、イコライズ部124は、擬似乱数信号の周波数スペクトルRNを、予め定められた環境音特徴スペクトルFSを用いてイコライズしてもよい。
また、イコライズ部124は、動作部が動作したタイミングの後のフレームの周波数スペクトルに基づいて推定した環境音特徴スペクトルFSを用いて、擬似乱数信号の周波数スペクトルRNをイコライズしてもよい。例えば、イコライズ部124は、動作部が動作したタイミングの後の複数のフレームの周波数スペクトルの周波数ビン毎の平均値、最大値、または最小値とした環境音特徴スペクトルFSを用いて、擬似乱数信号の周波数スペクトルRNをイコライズしてもよい。また、イコライズ部124は、擬似乱数信号の周波数スペクトルRNを、予め定められた環境音特徴スペクトルFSを用いてイコライズしてもよい。
なお、上述の図2、図4、および図5を用いた説明においては、(a)動作部が動作するタイミングを示す信号とは無関係に、音信号がフレームに分割されている場合について説明した(図2(c)参照)。
しかしこれに限られるものではなく、信号処理部110は、(a)動作部が動作するタイミングを示す信号に応じてフレームを分割する位置を制御してもよい。例えば、信号処理部110は、(a)動作部が動作するタイミングを示す信号がロウレベルからハイレベルに変化するタイミング(図2の符号O参照)と、音信号のフレームの境界とが一致するように、音信号に対してフレームを生成してもよい。
そして、信号処理部110は、動作部が動作するタイミングを示す信号に応じて、動作部が動作する前の期間と、動作部が動作している期間とに基づいて、上述したノイズ低減処理を実行してもよい。
<ノイズ低減処理の動作>
次に、図12を参照して、本実施形態におけるノイズ低減処理の動作について説明する。図12は、第1実施形態におけるノイズ低減処理の一例を示すフローチャートである。
次に、図12を参照して、本実施形態におけるノイズ低減処理の動作について説明する。図12は、第1実施形態におけるノイズ低減処理の一例を示すフローチャートである。
まず、信号処理部110は、記憶媒体から音信号を読み出す。読み出した音信号は、信号処理部110の第1変換部111に入力される(ステップS11)。
次に、第1変換部111は、入力された音信号を周波数領域信号に変換する。例えば、第1変換部111は、入力された音信号をフレームに分割し、分割した各フレームの音信号をフーリエ変換し、各フレームにおける音信号の周波数スペクトルを生成する(ステップS12)。
次に、判定部112は、動作部が動作するタイミングに基づいて、音信号の各フレームが、動作部が動作している期間のフレームであるか、または動作部が動作していない期間のフレームであるかを判定する。すなわち、判定部112は、動作部が動作するタイミングに基づいて、音信号の各フレームが、所定のノイズ(例えば動作部が動作することにより生じるノイズ)が含まれる期間のフレームであるか否か(所定のノイズが混入しているか否か)を判定する(ステップS13)。
環境音特徴スペクトル推定部113は、入力された音信号の各フレームのうち、所定のノイズが含まれない期間のフレームであると判定された(ステップS13:NO)フレームの音信号の周波数スペクトルに基づいて、環境音特徴スペクトルFS(環境音の周波数スペクトル、図5(b)参照)を推定する(ステップS14)。
一方、ノイズ推定部114は、入力された音信号の各フレームのうち、所定のノイズが含まれる期間のフレームであると判定された(ステップS13:YES)フレームの音信号の周波数スペクトルSB(図5(a)参照)と、環境音特徴スペクトルFSとに基づいて、ノイズの周波数スペクトル(推定ノイズスペクトルNS)を推定する。例えば、ノイズ推定部114は、所定のノイズが含まれる期間のフレームの音信号の周波数スペクトルSBから環境音特徴スペクトルFSを周波数ビン毎に減算することにより、推定ノイズスペクトルNSを生成する(ステップS15)。
続いて、ノイズ低減部115は、周波数スペクトルSBから、ノイズ推定部114により推定された推定ノイズスペクトルNSを、周波数ビン毎(周波数成分毎)に減算する(ステップS16)。例えば、ノイズ低減部115は、周波数ビン毎に周波数スペクトルSBと環境音特徴スペクトルFSとを比較し、周波数スペクトルSBの強度が環境音特徴スペクトルFSの強度以下の周波数ビンについてのみ、推定ノイズスペクトルNSを減算する(図5(d)参照)。
一方、擬似乱数信号生成部122は、擬似乱数信号列を生成する。このとき、擬似乱数信号生成部122は、第1期間Pr1の第1補正元信号を生成する。また、擬似乱数信号生成部122は、第2期間Pr2の第2補正元信号を生成する(ステップS19)。
次に、擬似乱数信号生成部122は、第1期間Pr1と第2期間Pr2とが重複する期間の第1補正元信号を置換する。具体的には、擬似乱数信号生成部122は、ステップS19において生成した第1補正元信号について、第1期間Pr1の後半分の期間の信号を、第2期間Pr2の前半分の期間の第2補正元信号と置換する(ステップS20)。次に、擬似乱数信号生成部122は、生成した第1補正元信号および第2補正元信号に対して窓関数を適用して、窓掛け後の補正信号を生成する(ステップS21)。
なお、ここでは、第1補正元信号と第2補正元信号とを生成した後に、重複する期間の信号を置換する手順によって補正元信号を生成する例を説明したが、これに限られない。擬似乱数信号生成部122は、第1期間Pr1の第1補正元信号を生成した後に、第1期間Pr1の後半分の期間の信号に基づいて第2期間Pr2の前半分の期間の第2補正元信号を生成し、第2期間Pr2の後半分の期間の第2補正元信号を生成してもよい。
次に、第2変換部123は、擬似乱数信号生成部122により生成された窓掛け後の補正信号を周波数領域信号に変換する。例えば、第1変換部111は、窓掛け後の補正信号をフレームに分割し、分割した各フレームの窓掛け後の補正信号をフーリエ変換し、各フレームにおける窓掛け後の補正信号の周波数スペクトルRN(図5(c)参照)を生成する(ステップS22)。
次に、イコライズ部124は、擬似乱数信号の周波数スペクトルRNを、環境音特徴スペクトルFSを用いてイコライズすることにより、補正信号の周波数スペクトルSE(図5(e)参照)を生成する(ステップS23)。
また、周波数抽出部125は、補正信号の周波数スペクトルSEのうち、加算部128において加算対象とする周波数ビンの周波数スペクトルSDを抽出する。すなわち、周波数抽出部125は、補正信号の周波数スペクトルSEから、加算対象の周波数ビンの補正信号の周波数スペクトルSDを抽出する(ステップS24)。例えば、周波数抽出部125は、ステップS16においてノイズ低減部115が推定ノイズスペクトルNSを減算した周波数ビンを加算対象の周波数ビンとして選択し、選択した周波数ビンの周波数スペクトルSDを抽出する。
そして、加算部128は、ステップS16において周波数スペクトルSBから推定ノイズスペクトルNSが減算された周波数スペクトルSC(図5(d)参照)に、ステップS24において抽出した補正信号の周波数スペクトルSDを加算する(ステップS25)。
続いて、逆変換部116は、周波数スペクトルSCに周波数スペクトルSDを加算した周波数スペクトルを逆フーリエ変換することにより、ノイズ低減処理後の時間領域の音信号を生成する(ステップS26)。そして、信号処理部110は、ノイズ低減処理後の時間領域の音信号を出力する(ステップS27)。
[第2実施形態]
次に、第2実施形態を説明する。第2実施形態は、上述の信号処理装置100を備えている撮像装置1の例である。
次に、第2実施形態を説明する。第2実施形態は、上述の信号処理装置100を備えている撮像装置1の例である。
図13は、本発明の第2実施形態に係る撮像装置1の構成の一例を示す概略ブロック図である。なお、この図13において図1の各部に対応する構成には同じ符号を付してその説明を省略する。
撮像装置1は、撮像部10と、CPU(Central processing unit)90と、操作部80と、画像処理部40と、表示部50と、記憶部60と、バッファメモリ部30と、通信部70と、マイク21と、A/D(Analog/Digital)変換部22と、音信号処理部23と、信号処理部110と、バス300と、を備えている。この撮像装置1が備える構成のうち、信号処理部110と、記憶部60の一部とが、信号処理装置100に対応する。
撮像部10は、光学系11と、撮像素子19と、A/D変換部20とを含み、設定された撮像条件(例えば絞り値、露出値など)に従ってCPU90により制御され、光学系11による光学像を撮像素子19に結像させて、A/D変換部20によってデジタル信号に変換された当該光学像に基づく画像データを生成する。
光学系11は、ズームレンズ14と、VRレンズ13と、AFレンズ12と、ズームエンコーダ15と、レンズ駆動部16と、AFエンコーダ17と、防振制御部18とを備え、この光学系11を通過した光学像を撮像素子19の受光面に導く。
レンズ駆動部16は、後述するCPU90から入力される駆動制御信号に基づいて、ズームレンズ14またはAFレンズ12の位置を制御する。防振制御部18は、後述するCPU90から入力される駆動制御信号に基づいて、VRレンズ13の位置を制御する。この防振制御部18は、VRレンズ13の位置を検出していてもよい。
ズームエンコーダ15は、ズームレンズ14の位置を表わすズームポジションを検出し、検出したズームポジションをCPU90に出力する。AFエンコーダ17は、AFレンズ12の位置を表わすフォーカスポジションを検出し、検出したフォーカスポジションをCPU90に出力する。
なお、上述した光学系11は、撮像装置1に取り付けられて一体とされていてもよいし、撮像装置1に着脱可能に取り付けられてもよい。
撮像素子19は、例えば、受光面に結像した光学像を電気信号に変換して、A/D変換部20に出力する。また、撮像素子19は、操作部80を介して撮影指示を受け付けた際に得られる画像データを、撮影された静止画の撮影画像データとして、A/D変換部20や画像処理部40を介して、記憶媒体200に記憶させる。一方、撮像素子19は、例えば、操作部80を介して撮像指示を受け付けていない状態において、連続的に得られる画像データをスルー画データとして、A/D変換部20や画像処理部40を介して、CPU90および表示部50に出力する。A/D変換部20は、撮像素子19によって変換された電子信号をアナログ/デジタル変換し、この変換したデジタル信号である画像データを出力する。
操作部80は、例えば、電源スイッチやシャッターボタン、その他の操作キーを含み、ユーザによって操作されることでユーザの操作入力を受け付け、CPU90に出力する。
画像処理部40は、記憶部160に記憶されている画像処理条件を参照して、バッファメモリ部30、または、記憶媒体200に記録されている画像データに対して画像処理をする。表示部50は、例えば液晶ディスプレイであって、撮像部10によって得られた画像データや、操作画面などを表示する。記憶部60は、CPU90によってシーン判定の際に参照される判定条件や、撮像条件などを記憶する。マイク21は、音を収音し、収音した音に応じた音信号に変換する。この音信号は、アナログ信号である。A/D変換部22は、マイク21によって変換されたアナログ信号である音信号を、デジタル信号である音信号に変換する。
画像処理部40は、記憶部160に記憶されている画像処理条件を参照して、バッファメモリ部30、または、記憶媒体200に記録されている画像データに対して画像処理をする。表示部50は、例えば液晶ディスプレイであって、撮像部10によって得られた画像データや、操作画面などを表示する。記憶部60は、CPU90によってシーン判定の際に参照される判定条件や、撮像条件などを記憶する。マイク21は、音を収音し、収音した音に応じた音信号に変換する。この音信号は、アナログ信号である。A/D変換部22は、マイク21によって変換されたアナログ信号である音信号を、デジタル信号である音信号に変換する。
音信号処理部23は、A/D変換部22が変換したデジタル信号である音信号に対して、記憶媒体200に記憶させるための信号処理を実行する。また、音信号処理部23は、動作部が動作するタイミングを示す情報を、音信号に対応付けて記憶媒体200に記憶させる。この動作部が動作するタイミングを示す情報は、例えば、後述するタイミング検出部91が検出した情報である。なお、音信号処理部23が記憶媒体200に記憶させる音信号は、例えば、動画に関連づけて記憶される音の音信号、記憶媒体200に記憶されている静止画像に対して音声を付加するために録音された音の音信号、ボイスレコーダとして録音された音の音信号、などである。
バッファメモリ部30は、撮像部10によって撮像された画像データや、音信号処理部23により信号処理された音信号や情報などを、一時的に記憶する。通信部70は、カードメモリなどの取り外しが可能な記憶媒体200と接続され、この記憶媒体200への情報の書込み、読み出し、あるいは消去を行う。記憶媒体200は、撮像装置1に対して着脱可能に接続される記憶部であって、例えば、撮像部10によって生成された(撮影された)画像データや、音信号処理部23により信号処理された音信号や情報を記憶する。
CPU90は、撮像装置1の全体を制御するが、一例としては、ズームエンコーダ15から入力されるズームポジション、および、AFエンコーダ17から入力されるフォーカスポジションと、操作部80から入力される操作入力に基づいて、ズームレンズ14およびAFレンズ12の位置を制御する駆動制御信号を生成する。CPU90は、この駆動制御信号に基づいて、レンズ駆動部16を介してズームレンズ14およびAFレンズ12の位置を制御する。また、このCPU90は、タイミング検出部91を備えている。このタイミング検出部91は、撮像装置1が備えている動作部が動作するタイミングを検出する。
ここでいう動作部とは、一例としては、上述したズームレンズ14、VRレンズ13、AFレンズ12、または、操作部80のことであり、撮像装置1が備えている構成のうち、動作することにより、または、動作されることにより、音が生じる(または、音が生じる可能性がある)構成である。また、この動作部とは、撮像装置1が備えている構成のうち、動作することにより生じた音、または、動作されることにより生じた音が、マイク21により収音される(または、収音される可能性のある)構成である。
このタイミング検出部91は、動作部を動作させる制御信号に基づいて、動作部が動作するタイミングを検出してもよい。この制御信号とは、動作部の動作を制御する制御信号、または、この動作部(例えば、ズームレンズ14、VRレンズ13、AFレンズ12など)を駆動する駆動部(例えば、レンズ駆動部16、防振制御部18)を制御する駆動制御信号である。例えば、タイミング検出部91は、ズームレンズ14、VRレンズ13、または、AFレンズ12を駆動させるためにレンズ駆動部16または防振制御部18に入力される駆動制御信号に基づいて、または、CPU90で生成される駆動制御信号に基づいて、動作部が動作するタイミングを検出してもよい。また、CPU90が駆動制御信号を生成する場合に、タイミング検出部91は、CPU90内部で実行される処理やコマンドに基づいて、動作部が動作するタイミングを検出してもよい。また、タイミング検出部91は、操作部80から入力されるズームレンズ14、または、AFレンズ12を駆動させることを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。また、このタイミング検出部91は、動作部が動作したことを示す信号に基づいて、動作部が動作するタイミングを検出してもよい。
例えば、タイミング検出部91は、ズームエンコーダ15またはAFエンコーダ17の出力に基づいて、ズームレンズ14またはAFレンズ12が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。また、タイミング検出部91は、防振制御部18からの出力に基づいて、VRレンズ13が動作したことを検出することにより、動作部が動作するタイミングを検出してもよい。また、このタイミング検出部91は、操作部80からの入力に基づいて、操作部80が操作されたことを検出することにより、動作部が動作するタイミングを検出してもよい。そして、タイミング検出部91は、撮像装置1が備えている動作部が動作するタイミングを検出し、この検出したタイミングを示す信号を、音信号処理部23に出力する。
バス300は、撮像部10と、CPU90と、操作部80と、画像処理部40と、表示部50と、記憶部160と、バッファメモリ部30と、通信部70と、音信号処理部23とに接続され、各部から出力されたデータや制御信号などを転送する。
記憶部60は、CPU90によってシーン判定の際に参照される判定条件や、撮像条件などを記憶するとともに、例えば、図1における記憶部160が備えている環境音特徴スペクトル記憶部161と、ノイズ記憶部162と、ノイズ低減処理情報記憶部163とを備えていてもよい。
このように構成された撮像装置1は、記憶媒体200に記憶されている音信号に対して、上述の実施形態を用いて説明したノイズ低減処理を実行することができる。ここで、記憶媒体200に記憶されている音信号は、撮像装置1が収音して記録した音信号であってもよいし、他の撮像装置が収音して記録した音信号であってもよい。
これにより、撮像装置1は、音信号から所定のノイズを減算した際に、所定のノイズ以外の音信号までもが低減されてしまう場合であっても、その所定のノイズ以外の音の代わりとなる音信号を生成して加算することができる。例えば、撮像装置1は、音信号から所定のノイズを減算した際に、所定のノイズ以外の環境音に含まれる白色雑音のような音信号までもが低減されてしまう場合であっても、その白色雑音のような音信号の代わりになる音信号を擬似乱数信号から生成して加算することができる。
よって、撮像装置1は、所定のノイズ以外の音信号までもが低減されてしまうことにより(ノイズの過大減算となることにより)生じる音の劣化を抑制することができる。また、撮像装置1は、所定のノイズ以外の音信号までもが低減されてしまうことを懸念してノイズの過小減算となることを抑制するため、ノイズの残存が発生することを抑制することができる。
つまり、撮像装置1は、音信号に含まれているノイズを適切に低減することができる。
つまり、撮像装置1は、音信号に含まれているノイズを適切に低減することができる。
なお、撮像装置1が、記憶媒体200に記憶されている音信号に対してのみ、上述した信号処理部110によるノイズ低減処理を実行することに限られるものではない。例えば、撮像装置1は、マイク21により収音された音信号に対して信号処理部110によるノイズ低減を実行してから、処理後の音信号を記憶媒体200に記憶させてもよい。すなわち、撮像装置1は、マイク21により収音された音信号に対して、リアルタイムに信号処理部110によるノイズ低減を実行してもよい。
なお、信号処理部110により信号処理された音信号が記憶媒体200に記憶される場合、撮像素子19により撮像された画像データと、時間的に関連付けられて記憶されてもよいし、音信号を含む動画として記憶されてもよい。
以上、第1〜第2実施形態を用いて説明してきように、信号処理装置100または撮像装置1は、音信号に含まれているノイズを適切に低減することができる。
なお、上記の説明においては、音信号に含まれるノイズ(所定のノイズ)として、主に光学系11が動作することにより生じる音について説明したが、ノイズはこれに限られるものではない。例えば、操作部80に備えられているボタンなどが押下された場合に生じる音の場合も、同様である。この場合も、操作部80に備えられているボタンなどが押下されたことを検出する信号が、CPU90のタイミング検出部91に入力される。よって、タイミング検出部91は、光学系11が駆動する場合と同様に、操作部80などの動作するタイミングを検出することができる。すなわち、操作部80などの動作するタイミングを示す情報を、動作部が動作するタイミングを示す情報としてもよい。
また、動作部は、光学系11が備えている各レンズ、または、操作部80に限られるものではなく、動作することによって音が発生する(或いは音が発生する可能性がある)他の構成であってもよい。例えば、動作部は、ポップアップ時に音が発生するポップアップ式の光源(例えば、撮影用の光源、閃光装置(フラッシュ)など)であってもよい。
また、上記の説明においては、信号処理装置100または撮像装置1が、撮像装置(例えば撮像装置1)により収音された音の音信号に対して信号処理部110による処理を実行する例について説明したが、撮像装置以外の装置に収音された音の音信号に対して信号処理部110による処理を実行してもよい。
また、上記第2実施形態において、信号処理装置100(信号処理部110)が撮像装置1に備えられている構成について説明したが、信号処理装置100(信号処理部110)は、例えば、録音装置、携帯電話、パーソナルコンピュータ、タブレット型端末、電子玩具、または、通信端末などの他の装置に備えられていてもよい。
なお、図1、図13における信号処理部110、または、この信号処理部110が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、図1、図13における信号処理部110、または、この信号処理部110が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、この信号処理部110、または、この信号処理部110が備える各部はメモリおよびCPU(中央演算装置)により構成され、信号処理部110、または、この信号処理部110が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、図1、図13における信号処理部110、または、この信号処理部110が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、信号処理部110、または、この信号処理部110が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計なども含まれる。
1…撮像装置、100…信号処理装置、110…信号処理部、111…第1変換部(変換部)、115…ノイズ低減部(減算部)、121…補正信号生成部(生成部)、123…第2変換部(変換部)、128…加算部
Claims (10)
- 所定のノイズが少なくとも一部含まれる、取得された音に基づく第1信号から、所定の信号を減算する減算部と、
前記減算部によって減算された前記第1信号に加算される第2信号であって、前記第1信号の複数の期間である、互いの一部の期間が重複する第1期間と第2期間とのうち、前記第1期間の前記第2信号に基づいて、前記第2期間の前記第2信号を生成する生成部と、
を備えることを特徴とする信号処理装置。 - 前記生成部は、
前記第1期間の前記第2信号を生成し、生成した前記第1期間の前記第2信号に基づいて、前記第2期間の前記第2信号を生成する
ことを特徴とする請求項1に記載の信号処理装置。 - 前記生成部は、
前記第2信号が加算された前記第1信号の前記重複する期間における振幅の変化が低減するようにして、前記第1期間の前記第2信号と、前記第2期間の前記第2信号とをそれぞれ生成する
ことを特徴とする請求項2に記載の信号処理装置。 - 前記生成部は、
前記第1期間の前記第2信号の信号波形に基づいて、前記第2期間のうち前記第1期間と重複する期間の前記第2信号を生成する
ことを特徴とする請求項2または請求項3に記載の信号処理装置。 - 前記生成部は、
前記第1期間の前記第2信号の信号波形と、前記第2期間の前記第2信号の信号波形とを互いに相関する波形にして、前記第2期間の前記第2信号を生成する
ことを特徴とする請求項4に記載の信号処理装置。 - 前記生成部は、
前記第1期間の前記第2信号を擬似乱数信号に基づいて生成し、前記第2期間の前記第2信号を、前記第1期間の前記第2信号を生成した前記擬似乱数信号に基づいて生成する
ことを特徴とする請求項4または請求項5に記載の信号処理装置。 - 前記第1信号は、音を収音する装置が備える動作部が動作するタイミングを示す情報と対応付けられている
ことを特徴とする請求項1から請求項6のいずれか一項に記載の信号処理装置。 - 前記第1信号を複数の期間に分割し、前記複数の期間のうち、少なくとも第1期間と第2期間との一部が重複するように分割する分割部とを備える
ことを特徴とする請求項1から請求項7のいずれか一項に記載の信号処理装置。 - 請求項1から請求項8のいずれか一項に記載の信号処理装置、
を備えることを特徴とする撮像装置。 - コンピュータに、
所定のノイズが少なくとも一部含まれる、取得された音に基づく第1信号から、所定の信号を減算する減算ステップと、
前記減算ステップにおいて減算された前記第1信号に加算される第2信号であって、前記第1信号の複数の期間である互いの一部の期間が重複する第1期間と第2期間とのうち、前記第1期間の前記第2信号に基づいて、前記第2期間の前記第2信号を生成する生成ステップと
を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013226912A JP2015087602A (ja) | 2013-10-31 | 2013-10-31 | 信号処理装置、撮像装置およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013226912A JP2015087602A (ja) | 2013-10-31 | 2013-10-31 | 信号処理装置、撮像装置およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015087602A true JP2015087602A (ja) | 2015-05-07 |
Family
ID=53050442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013226912A Pending JP2015087602A (ja) | 2013-10-31 | 2013-10-31 | 信号処理装置、撮像装置およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015087602A (ja) |
-
2013
- 2013-10-31 JP JP2013226912A patent/JP2015087602A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014017371A1 (ja) | 信号処理装置、撮像装置、及び、プログラム | |
US8698911B2 (en) | Sound recording device, imaging device, photographing device, optical device, and program | |
JP2012142745A (ja) | 音声信号処理装置、音声信号処理方法及びプログラム | |
JP5279629B2 (ja) | 撮像装置 | |
JP4952769B2 (ja) | 撮像装置 | |
GB2509493A (en) | Suppressing Echo in a received audio signal by estimating the echo power in the received audio signal based on an FIR filter estimate | |
JP5278477B2 (ja) | 信号処理装置、撮像装置、および、信号処理プログラム | |
JP2012185445A (ja) | 信号処理装置、撮像装置、及び、プログラム | |
JP2015087602A (ja) | 信号処理装置、撮像装置およびプログラム | |
JP2015087601A (ja) | 信号処理装置、撮像装置およびプログラム | |
JP2013011873A (ja) | ノイズ低減処理装置、カメラ、およびノイズ低減処理プログラム | |
JP4505597B2 (ja) | 雑音除去装置 | |
JP2019192963A (ja) | ノイズ軽減装置、ノイズ軽減方法およびプログラム | |
JP5158054B2 (ja) | 録音装置、撮像装置、および、プログラム | |
JP6182862B2 (ja) | 信号処理装置、信号処理方法、及び信号処理プログラム | |
JP2014026032A (ja) | 信号処理装置、撮像装置、及び、プログラム | |
JP5428762B2 (ja) | 撮影装置、および、プログラム | |
JP6061476B2 (ja) | 音声処理装置 | |
JP2014022953A (ja) | 信号処理装置、撮像装置、ノイズ低減処理方法、およびプログラム | |
JP2022038611A5 (ja) | ||
JP2012168477A (ja) | ノイズ推定装置、信号処理装置、撮像装置、及びプログラム | |
JP2015138204A (ja) | データ処理装置、撮像装置、及びデータ処理プログラム | |
JP2013178458A (ja) | 信号処理装置及び信号処理プログラム | |
JP2011095305A (ja) | 録音装置、撮像装置、及びプログラム | |
JP2013178456A (ja) | 信号処理装置、カメラおよび信号処理プログラム |