JP2013161041A - Signal processor, camera and signal processing program - Google Patents
Signal processor, camera and signal processing program Download PDFInfo
- Publication number
- JP2013161041A JP2013161041A JP2012025095A JP2012025095A JP2013161041A JP 2013161041 A JP2013161041 A JP 2013161041A JP 2012025095 A JP2012025095 A JP 2012025095A JP 2012025095 A JP2012025095 A JP 2012025095A JP 2013161041 A JP2013161041 A JP 2013161041A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- spectrum
- signal processing
- environmental sound
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、信号処理装置、カメラおよび信号処理プログラムに関する。 The present invention relates to a signal processing device, a camera, and a signal processing program.
撮影中に取得した音響信号を撮影画像とともに記録する場合に、雑音となる撮影動作時の機構音をあらかじめスペクトル化した信号として記憶しておき、上記機構音が発生するタイミングに基づいて、上記スペクトル化信号に所定係数を乗じた信号を取得した音響信号から減算することにより、音響信号に混入する機構音を抑制する技術が知られている(特許文献1参照)。 When recording an acoustic signal acquired during photographing together with a photographed image, the mechanical sound at the time of the photographing operation that becomes noise is stored in advance as a spectrum signal, and the spectrum is determined based on the timing at which the mechanical sound is generated. There is known a technique for suppressing a mechanical sound mixed in an acoustic signal by subtracting a signal obtained by multiplying a signal by a predetermined coefficient from the acquired acoustic signal (see Patent Document 1).
一般に、AF(オートフォーカス)作動時の機構音は時間とともに変動する非定常な音である。このため、大きな機構音が生じた場合には、過小減算になって雑音が残ってしまうおそれがあった。一方、小さな機構音が生じた場合には、過大減算となって音質劣化につながってしまう。 In general, the mechanism sound at the time of AF (autofocus) operation is an unsteady sound that varies with time. For this reason, when a large mechanical sound is generated, there is a possibility that noise may remain due to undersubtraction. On the other hand, when a small mechanical sound is generated, excessive subtraction results in deterioration of sound quality.
本発明による信号処理装置は、音響信号を所定フレームごとにスペクトル信号に変換する変換手段と、変換手段によって変換されたスペクトル信号から、雑音低減対象とする周波数成分の信号を略0にするスペクトル抑圧手段と、スペクトル抑圧後のスペクトル信号を音響信号に逆変換する逆変換手段と、を備えることを特徴とする。 The signal processing apparatus according to the present invention includes a conversion unit that converts an acoustic signal into a spectrum signal for each predetermined frame, and a spectrum suppression that makes the frequency component signal to be reduced noise substantially zero from the spectrum signal converted by the conversion unit. Means, and inverse conversion means for inversely converting the spectrum signal after spectrum suppression into an acoustic signal.
本発明によれば、適切に雑音低減を行うことができる。 According to the present invention, it is possible to appropriately reduce noise.
以下、図面を参照して本発明を実施するための形態について説明する。図1は、本発明の一実施の形態による雑音低減用の信号処理装置を搭載する電子カメラ1の構成を例示するブロック図である。図1において、電子カメラ1は、撮影光学系11と、撮像素子12と、画像処理部13と、RAM14と、LCDモニタ15と、CPU16と、不揮発性メモリ17と、カードインターフェース(I/F)18と、通信インターフェース(I/F)19と、操作部材20と、マイク21と、音響処理回路22とを備える。
Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings. FIG. 1 is a block diagram illustrating the configuration of an electronic camera 1 equipped with a signal processing device for noise reduction according to an embodiment of the present invention. In FIG. 1, an electronic camera 1 includes a photographing
CPU16、不揮発性メモリ17、カードインターフェース18、通信インターフェース19、音響処理回路22、画像処理部13、RAM14およびLCDモニタ15は、それぞれがバス25を介して接続されている。
The
撮影光学系11は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子12の受光面に結像させる。なお、図1を簡単にするため、撮影光学系11を単レンズとして図示している。
The photographing
撮像素子12は、受光素子が受光面に二次元配列されたCMOSイメージセンサなどによって構成される。撮像素子12は、撮影光学系11を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部13に入力される。画像処理部13は、デジタル画像データに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など)を施す。
The
LCDモニタ15は液晶パネルなどによって構成される。LCDモニタ15は、CPU16からの指示に応じて画像や操作アイコン、メニュー画面などを表示する。RAM14は、画像処理部13による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する他、後述する雑音低減処理の前工程や後工程でのデジタル音響データを一時的に記憶したり、CPU16によるプログラム実行時の作業用メモリとして用いられる。不揮発性メモリ17は、フラッシュメモリなどによって構成される。不揮発性メモリ17は電源オフ時にも記憶内容を保持するので、CPU16が実行するプログラムなどを記憶させる。
The
CPU16は、不揮発性メモリ17が記憶するプログラムを実行することにより、電子カメラ1が行う動作を制御する。CPU16は、AF(オートフォーカス)動作制御や、自動露出(AE)演算も行う。AF動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ(不図示)の合焦位置を求める。ライブビュー画像は、レリーズ操作前に撮像素子12によって所定の時間間隔(たとえば30コマ/毎秒)で繰り返し取得されるモニタ用画像のことをいう。
The
カードインターフェース18はコネクタ(不図示)を有し、該コネクタにメモリカードなどの記憶媒体30が接続される。カードインターフェース18は、接続された記憶媒体30に対するデータの書き込みや、記憶媒体30からのデータの読み込みを行う。記憶媒体30は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。
The
通信インターフェース19は、たとえば、不図示のコネクタに接続された外部機器との間でTCP/IPプロトコルを用いた通信を行う。この通信により、外部機器からのコマンドやデータを受信したり、記憶媒体30が記憶している画像データや音響データなどを外部機器へ送信したりする。操作部材20は、電源スイッチをはじめ、レリーズボタンや録画ボタン、十字キースイッチなどの各操作部材を含む。操作部材20は、静止画撮影指示、録画(および録音)指示、モード切替え指示や各種選択指示など、各指示に応じた操作信号をCPU16へ送出する。
For example, the
音響処理回路22は、マイク22で集音された音響信号を増幅し、増幅後の信号をA/D変換回路(不図示)によってデジタル音響データに変換する。レンズ駆動機構23は、CPU16からの指示に応じてフォーカシングレンズ(不図示)を光軸方向に進退移動させる。
The
電子カメラ1は、レリーズボタンの押下操作に応じて静止画像を撮影する機能と、録画ボタンの押下操作に応じて動画像の録画および録音を行う機能とを有する。録画時のCPU16は、録画ボタンが押下されると動画像の取得および録音を開始する。たとえばライブビュー画像と同じ30コマ/毎秒のフレームレートで撮像を開始させるとともに、音響データの取得を開始させる。録画ボタンが再度押下されると画像取得および音響取得を終了し、取得したフレーム画像群によって構成される動画像を格納するファイル、および取得した音響データを格納するファイルを生成する。
The electronic camera 1 has a function of capturing a still image in response to a release button pressing operation and a function of recording and recording a moving image in response to a recording button pressing operation. When recording, the
なお、本実施形態のCPU16が生成した音響データファイルには、音響データと同じ時間軸で表されたレンズ駆動機構23の駆動情報が含まれる。駆動情報は、録音時にレンズ駆動機構23がフォーカシングレンズを駆動中であったか否かを示すデータである。たとえば、駆動開始時刻と駆動終了時刻とを示すタイムデータでもよいし、駆動中を「1」で表し、非駆動中を「0」で表す2値データでもよい。
Note that the acoustic data file generated by the
本実施形態は、上述した録画時に取得した音響データを対象にする雑音低減処理に特徴を有するので、以降の説明は雑音低減のためにCPU16が実行する処理を中心に行う。
Since the present embodiment has a feature in the noise reduction processing for the acoustic data acquired at the time of recording described above, the following description will be focused on the processing executed by the
図2は、CPU16が実行する雑音低減処理の流れを説明するフローチャートである。CPU16は、たとえば、音響データを一時的にRAM14へ記憶しておき、雑音低減処理プログラムを実行後の音響データを記憶媒体30に記録する。CPU16は、音響データを構成する1フレームごとに雑音低減を行う処理を繰り返す。
FIG. 2 is a flowchart for explaining the flow of noise reduction processing executed by the
図2のステップS10において、CPU16は、RAM14から1フレーム分の音響データおよびレンズ駆動機構23の駆動情報を読み出してステップS20へ進む。ステップS20において、CPU16は、対象フレームの音響データに対して短時間フーリエ変換を施してステップS30へ進む。これにより、音響信号の周波数成分ごとの振幅(周波数特徴スペクトルと呼ぶ)が得られる。たとえば、サンプリング周波数が44.1kHzで約2000の周波数成分に分割する場合には、1周波数成分当たりのスペクトル幅は約20Hzである。
In step S10 of FIG. 2, the
ステップS30において、CPU16は、音響データに音声が含まれているか否かを判定する。一般に、人の声は周波数2kHz以下において所定の周波数間隔で複数の「山」波形を有する。CPU16は、周波数特徴スペクトルにおいて2kHz以下の周波数帯に上記周波数間隔で複数の「山」波形が並び、かつ「山」波形のピーク値が第1所定値以上である場合には、ステップS30を肯定判定してステップS40へ進む。ステップS30を肯定判定する場合は、対象フレームの音響データに会話やナレーションなどが含まれる可能性が高いので、当該フレームの音響データを雑音低減対象とせず、当該フレームの音響データを環境音閾値の決定にも用いない。環境音閾値は、後述する雑音低減を行うか否かの判定に用いる判定閾値である。一方、CPU16は、2kHz以下の周波数帯において上記ピーク値が第1所定値以上となる「山」波形が上記周波数間隔で並んでいない場合には、ステップS30を否定判定してステップS60へ進む。
In step S30, the
ステップS40において、CPU16は、対象フレームの周波数特徴スペクトルに対して短時間逆フーリエ変換を施してステップS50へ進む。ステップS50において、CPU16は、上記処理後の音響データをRAM14へ記録して図2による処理を終了する。なお、本実施形態では、後述するステップS110へ進む場合を除き、対象フレームの音響データを雑音低減の対象にしない。つまり、ステップS110へ進まない場合は対象フレームの音響データをそのまま保存対象とし、ステップS110へ進む場合には、該S110による処理後の音響データを保存対象とする。
In step S40, the
上述したステップS30を否定判定して進むステップS60において、CPU16は、対象フレームにおける周波数特徴スペクトルの総和(すなわち、上記約2000の周波数成分ごとの振幅値の総和)が第2所定値以上か否かを判定する。CPU16は、上記総和が第2所定値以上の場合にステップS60を肯定判定してステップS40へ進む。ステップS60を肯定判定する場合は、対象フレームの音響データに突発的な音が含まれる可能性が高いので、当該フレームの音響データを雑音低減対象とせず、当該フレームの音響データを環境音閾値の決定にも用いない。一方、CPU16は、上記総和が第2所定値未満の場合にはステップS60を否定判定し、ステップS70へ進む。
In step S60, which proceeds after making a negative determination in step S30 described above, the
ステップS70において、CPU16は、対象フレームにおける音響データが可動部駆動中に取得されたデータか否かを判定する。CPU16は、たとえば、当該フレームがフォーカシングレンズの駆動中に該当することが上述したレンズ駆動機構23の駆動情報によって示される場合は、ステップS70を肯定判定してステップS90へ進む。ステップS70を肯定判定する場合は、対象フレームの音響データに可動部駆動音が含まれている可能性が高いので、当該フレームの音響データを環境音閾値の決定に用いない。CPU16は、当該フレームがフォーカシングレンズの駆動中に該当しないことが上述したレンズ駆動機構23の駆動情報によって示される場合は、ステップS70を否定判定してステップS80へ進む。
In step S <b> 70, the
ステップS80において、CPU16は、対象フレームの周波数特徴スペクトルを用いて環境音閾値を決定、更新してステップS40へ進む。CPU16は、たとえば、音響データを構成する第1フレームから対象フレームまでの各フレームの周波数特徴スペクトルから、上記約2000の周波数成分ごとに最大値を抽出し、抽出した約2000の周波数成分からなる周波数特徴スペクトルを環境音閾値スペクトルとする。CPU16は、当該フレームの周波数特徴スペクトルのいずれかの周波数成分の値が最大値に該当する場合は、環境音閾値スペクトルの対応する周波数成分の値を上記最大値と置換することによって環境音閾値スペクトルを更新する。これにより、可動部駆動音が含まれていない直近のフレームの音響データを環境音閾値スペクトルに反映させることができる。
In step S80, the
ステップS90において、CPU16は、対象フレームにおける周波数特徴スペクトルが第3所定値以上変動したか否かを判定する。CPU16は、当該フレームにおける周波数特徴スペクトル(すなわち、上記約2000の周波数成分)のうち、少なくとも1つの周波数成分で前フレームに比べて第3所定値より大きく増減した場合にステップS90を肯定判定してステップS100へ進む。CPU16は、当該フレームにおける周波数特徴スペクトルの中で前フレームに比べて第3所定値より大きく増減した周波数成分が存在しない場合には、ステップS90を否定判定してステップS40へ進む。ステップS90を肯定判定する場合は、対象フレームの音響データが突発的に変化した可能性が高いので、当該フレームの音響データを雑音低減対象とせず、当該フレームの音響データを環境音閾値の決定にも用いない。
In step S90, the
ステップS100において、CPU16は、対象フレームにおける周波数特徴スペクトル(すなわち、上記約2000の周波数成分)のうち、環境音閾値スペクトルの対応する周波数成分の値より大きい値を有する周波数成分があるか否かを判定する。CPU16は、当該フレームにおける周波数特徴スペクトルのうち、少なくとも1つの周波数成分で環境音閾値スペクトルの対応する周波数成分より大きな値を有する場合に、ステップS100を肯定判定してステップS110へ進む。CPU16は、当該フレームにおける周波数特徴スペクトルが環境音閾値スペクトルの対応する周波数成分の値より大きい値を有していない場合には、ステップS100を否定判定してステップS40へ進む。ステップS100を否定判定する場合は、当該フレームの音響データに含まれる可動部駆動音が許容範囲内と判断し、当該フレームの音響データを雑音低減対象としない。しかしながら、当該フレームの音響データは可動部駆動音を含むので、当該フレームの音響データを環境音閾値の決定には用いない。
In step S100, the
ステップS110において、CPU16は、対象フレームにおける周波数特徴スペクトル(すなわち、上記約2000の周波数成分)のうち、環境音閾値スペクトルの対応する周波数成分の値より大きい値を有する周波数成分の値を0に置換してステップS40へ進む。0に抑圧することで、0に抑圧する前の値が非定常な音であっても過小減算や過大減算をすることがないので、雑音が残ったり(過小減算の場合)、音質劣化になったり(過大減算の場合)するおそれがない。
In step S110, the
以上説明した実施形態によれば、以下の作用効果が得られる。
(1)雑音低減を行う信号処理装置を搭載する電子カメラ1は、音響信号を所定フレームごとに周波数特徴スペクトルにフーリエ変換するCPU16と、CPU16によって変換された周波数特徴スペクトルから、雑音低減対象とする周波数成分の信号を略0にするCPU16と、0に抑圧後の周波数特徴スペクトルを音響信号に逆フーリエ変換するCPU16とを備えるようにしたので、適切に雑音低減を行うことができる。すなわち、抑圧すべき雑音が非定常な音であっても対象とする周波数成分を確実に略0に抑えるため、スペクトル減算手法と異なり、雑音が残ったり(過小減算の場合)、音質劣化になったり(過大減算の場合)するおそれを排除できる。また、スペクトル減算をしないので、減算すべき雑音スペクトルの推定も不要である。
According to the embodiment described above, the following effects can be obtained.
(1) An electronic camera 1 equipped with a signal processing device that performs noise reduction is subject to noise reduction from a
(2)上記(1)の電子カメラ1において、音響信号がフォーカシングレンズの駆動中に取得されたか否かを判定するCPU16をさらに備え、CPU16は、上記肯定判定された音響信号に対応する周波数特徴スペクトルを対象に抑圧処理を行うようにしたので、可動部駆動に起因する音響信号の雑音を適切に低減することができる。
(2) The electronic camera 1 of (1) further includes a
(3)上記(2)の電子カメラ1において、CPU16がフーリエ変換した周波数特徴スペクトルに基づいて、環境音に応じた環境音閾値スペクトルを生成するCPU16をさらに備える。この場合のCPU16は、フーリエ変換した周波数特徴スペクトルのうち、環境音に応じた環境音閾値スペクトルより大となる周波数成分の信号を雑音低減対象とするので、雑音が許容範囲の場合には抑圧処理を制限できる。このため、雑音低減対象とする周波数成分の信号を常に抑圧する場合に比べて音質劣化を抑えることができる。
(3) The electronic camera 1 of the above (2) further includes a
(4)上記(3)の電子カメラ1において、CPU16は、異なるフレームでそれぞれフーリエ変換された複数フレームの周波数特徴スペクトルの各周波数成分ごとに最大値を抽出し、抽出した各周波数成分の信号で構成される周波数特徴スペクトルを環境音に応じた環境音閾値スペクトルとしたので、雑音が許容範囲か否かの判断基準を適切に求めることができる。
(4) In the electronic camera 1 of the above (3), the
(5)上記電子カメラ1において、CPU16は、音響信号がフォーカシングレンズの駆動中に取得されたか否かの判定で否定判定された音響信号に対応する周波数特徴スペクトルに基づいて環境音に応じた環境音閾値スペクトルを生成したので、フォーカシングレンズを非駆動中の環境音に応じた環境音閾値スペクトルを生成する。このため、雑音が許容範囲か否かの判断基準を適切に求めることができる。
(5) In the electronic camera 1, the
(6)上記電子カメラ1において、CPU16がフーリエ変換した周波数特徴スペクトルのフレーム内の周波数成分の信号値の総和が第2所定値より大か否かを判定するCPU16をさらに備える。CPU16は、上記信号値の総和が第2所定値より小であることが判定された周波数特徴スペクトルに基づいて環境音に応じた環境音閾値スペクトルを生成する。このため、雑音が許容範囲か否かの判断基準を適切に求めることができる。
(6) The electronic camera 1 further includes a
(7)上記電子カメラ1において、音響信号に音声が含まれるか否かを判定するCPU16をさらに備える。CPU16は、音声を含まないことが判定された音響信号に対応する周波数特徴スペクトルに基づいて環境音に応じた環境音閾値スペクトルを生成する。このため、雑音が許容範囲か否かの判断基準を適切に求めることができる。
(7) The electronic camera 1 further includes a
(8)上記電子カメラ1において、CPU16は、音声を含まないことが判定された音響信号に対応する周波数特徴スペクトルを対象に抑圧処理を行うようにしたので、音声情報を抑圧しないように制御することができる。
(8) In the electronic camera 1, since the
(9)上記電子カメラ1において、CPU16がフーリエ変換した連続するフレーム間の周波数特徴スペクトルの変化が第3所定値より大か否かを判定するCPU16をさらに備える。CPU16は、連続するフレーム間の周波数特徴スペクトルの変化が第3所定値より小であることが判定された周波数特徴スペクトルを対象に抑圧処理を行うようにしたので、適切に雑音低減処理をすることができる。
(9) The electronic camera 1 further includes a
(変形例1)
音響データファイルを記憶媒体30に記録する直前に図2に例示する雑音低減処理プログラムを起動する例を説明したが、音響データの取得と雑音低減処理とをリアルタイムに行うように構成してもよい。この場合のCPU16は、1フレームごとに雑音低減処理を行い、該雑音低減処理後の音響データを逐次記録媒体30に記録させることができる。
(Modification 1)
Although the example in which the noise reduction processing program illustrated in FIG. 2 is started immediately before recording the acoustic data file in the
(変形例2)
対象フレームの周波数特徴スペクトルを用いて環境音閾値を決定、更新する(ステップS80)場合に、以下のように決定、更新してもよい。変形例2のCPU16は、たとえば、音響データを構成する第1フレームから対象フレームまでの各フレームの周波数特徴スペクトルの総和(すなわち、上記約2000の周波数成分ごとの振幅値の総和)が最小となるフレームを選ぶ。そして、当該フレームについての上記約2000の周波数成分からなる周波数特徴スペクトルに第4所定値を乗じた周波数特徴スペクトルを従前の環境音閾値スペクトルと置換することによって環境音閾値スペクトルを更新する。
(Modification 2)
When the environmental sound threshold is determined and updated using the frequency feature spectrum of the target frame (step S80), it may be determined and updated as follows. For example, the
変形例2によれば、突発的な音を含まない可能性が高いフレームの音響データに基づいて環境音閾値スペクトルの決定、更新をするので、環境音閾値スペクトルが特定の周波数成分で大きな値を有することを避けられる。このため、特定の周波数成分において雑音低減が不十分となってしまうおそれを低減できる。 According to the modified example 2, since the environmental sound threshold spectrum is determined and updated based on the acoustic data of the frame that is highly likely not to include sudden sound, the environmental sound threshold spectrum has a large value at a specific frequency component. You can avoid having. For this reason, it is possible to reduce the possibility of noise reduction being insufficient for a specific frequency component.
(変形例3)
対象フレームの周波数特徴スペクトルを用いて環境音閾値を決定、更新する(ステップS80)場合に、以下のように決定、更新してもよい。変形例3のCPU16は、たとえば、音響データを構成する第1フレームから対象フレームまでの各フレームの周波数特徴スペクトルを用いて、上記約2000の周波数成分ごとに振幅値の平均値を算出する。そして、各周波数成分の平均値からなる周波数特徴スペクトルに第5所定値を乗じた周波数特徴スペクトルを従前の環境音閾値スペクトルと置換することによって環境音閾値スペクトルを更新する。
(Modification 3)
When the environmental sound threshold is determined and updated using the frequency feature spectrum of the target frame (step S80), it may be determined and updated as follows. CPU16 of the modification 3 calculates the average value of an amplitude value for every said about 2000 frequency component, for example using the frequency characteristic spectrum of each flame | frame from the 1st frame which comprises acoustic data to an object frame. Then, the environmental sound threshold spectrum is updated by replacing the frequency characteristic spectrum obtained by multiplying the frequency characteristic spectrum formed by the average value of each frequency component by the fifth predetermined value with the previous environmental sound threshold spectrum.
変形例3によれば、あるフレームに突発的に含まれる音の成分を平準化するように環境音閾値スペクトルの決定、更新をするので、環境音閾値スペクトルが特定の周波数成分で大きな値を有することを避けられる。このため、特定の周波数成分において雑音低減が不十分となってしまうおそれを低減できる。 According to the third modification, the environmental sound threshold spectrum is determined and updated so that the sound component suddenly included in a certain frame is leveled. Therefore, the environmental sound threshold spectrum has a large value at a specific frequency component. You can avoid that. For this reason, it is possible to reduce the possibility of noise reduction being insufficient for a specific frequency component.
(変形例4)
上述した音響データに音声が含まれているか否かの判定(ステップS30)において、音声信号の自己相関関数のピーク値を用いて検出してもよい。変形例4のCPU16は、音声信号の基本周波数(たとえば50Hz〜400Hz)の1周期に相当する時間遅れ領域(サンプリング周波数が44.1kHzの場合、約880Point〜約110Point)における自己相関関数のピーク値を求める。そして、CPU16は、ピーク値が所定の判定閾値より大きい場合に音声が含まれていると判定する。ピーク値が所定の判定閾値より小さい場合には、音声が含まれていないと判定する。
(Modification 4)
In the above-described determination of whether or not sound is included in the acoustic data (step S30), detection may be performed using the peak value of the autocorrelation function of the sound signal. The
(変形例5)
あるいは、音声スペクトル波形(横軸が信号周波数、縦軸が信号の振幅)の包絡線を用いて検出してもよい。変形例5のCPU16は、線形予測分析等によって音声スペクトル波形の包絡線を求める。そして、CPU16は、包絡線の時間変化量が所定の判定閾値より大きい場合に音声が含まれていると判定する。包絡線の時間変化量が所定の判定閾値より小さい場合には、音声が含まれていないと判定する。
(Modification 5)
Or you may detect using the envelope of a speech spectrum waveform (a horizontal axis is a signal frequency and a vertical axis | shaft is an amplitude of a signal). The
(変形例6)
上述した実施形態では、電子カメラ1に雑音低減用の信号処理装置を搭載する例を説明したが、信号処理装置をパーソナルコンピュータによって構成するようにしてもよい。図2に例示したフローチャートに基づく処理を行うプログラムを図3に示すコンピュータ装置100に実行させることにより、信号処理装置を構成する。プログラムをパーソナルコンピュータ100に取込んで使用する場合には、パーソナルコンピュータ100のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって信号処理装置として使用する。
(Modification 6)
In the embodiment described above, an example in which a signal processing device for noise reduction is mounted on the electronic camera 1 has been described. However, the signal processing device may be configured by a personal computer. A signal processing apparatus is configured by causing the
パーソナルコンピュータ100に対するプログラムのローディングは、プログラムを格納したCD−ROMなどの記憶媒体104をパーソナルコンピュータ100にセットして行ってもよいし、ネットワークなどの通信回線101を経由する方法でパーソナルコンピュータ100へローディングしてもよい。通信回線101を経由する場合は、通信回線101に接続されたサーバー(コンピュータ)102のハードディスク装置103などにプログラムを格納しておく。プログラムは、記憶媒体104や通信回線101を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
The loading of the program to the
以上説明した変形例6によれば、上記実施形態と同様の作用効果が得られる。なお、パーソナルコンピュータによって構成する他にも、再生機能を備えるデジタルフォトフレームやプロジェクタ等にも上述した雑音低減処理をさせるように構成して構わない。 According to the modified example 6 described above, the same function and effect as the above embodiment can be obtained. In addition to the configuration using a personal computer, a digital photo frame or a projector having a playback function may be configured to perform the above-described noise reduction processing.
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。 The above description is merely an example, and is not limited to the configuration of the above embodiment.
1…電子カメラ
14…RAM
15…LCDモニタ
16…CPU
18…カードインターフェース
20…操作部材
21…マイク
22…音響処理回路
23…レンズ駆動機構
30…記憶媒体
100…パーソナルコンピュータ
1 ...
15 ... LCD monitor 16 ... CPU
18 ...
Claims (13)
前記変換手段によって変換されたスペクトル信号から、雑音低減対象とする周波数成分の信号を略0にするスペクトル抑圧手段と、
前記スペクトル抑圧後のスペクトル信号を音響信号に逆変換する逆変換手段と、
を備えることを特徴とする信号処理装置。 Conversion means for converting an acoustic signal into a spectrum signal for each predetermined frame;
Spectrum suppression means for reducing the signal of the frequency component to be noise-reduced from the spectrum signal converted by the conversion means to substantially zero;
Inverse conversion means for inversely converting the spectrum signal after spectrum suppression into an acoustic signal;
A signal processing apparatus comprising:
前記音響信号が雑音の発生タイミングで取得されたか否かを判定する取得タイミング判定手段をさらに備え、
前記スペクトル抑圧手段は、前記取得タイミング判定手段によって肯定判定された音響信号に対応するスペクトル信号を対象に前記スペクトル抑圧を行うことを特徴とする信号処理装置。 The signal processing device according to claim 1,
It further comprises an acquisition timing determination means for determining whether or not the acoustic signal is acquired at a noise generation timing,
The signal processing apparatus according to claim 1, wherein the spectrum suppression unit performs the spectrum suppression on a spectrum signal corresponding to the acoustic signal that has been affirmed by the acquisition timing determination unit.
前記変換手段が変換したスペクトル信号に基づいて、環境音に応じたスペクトル信号を生成する環境音閾値生成手段をさらに備え、
前記スペクトル抑圧手段は、前記変換手段が変換したスペクトル信号のうち、前記環境音に応じたスペクトル信号より大となる周波数成分の信号を前記雑音低減対象とすることを特徴とする信号処理装置。 The signal processing device according to claim 2,
Based on the spectrum signal converted by the converting means, further comprising an environmental sound threshold value generating means for generating a spectral signal corresponding to the environmental sound,
The signal processing apparatus according to claim 1, wherein the spectrum suppression unit sets a signal having a frequency component that is larger than a spectrum signal corresponding to the environmental sound, among the spectrum signals converted by the conversion unit, as the noise reduction target.
前記環境音閾値生成手段は、前記変換手段によって異なるフレームでそれぞれ変換された複数フレームのスペクトル信号の各周波数成分ごとに最大値を抽出し、抽出した各周波数成分の信号で構成されるスペクトル信号を前記環境音に応じたスペクトル信号とすることを特徴とする信号処理装置。 The signal processing device according to claim 3.
The environmental sound threshold generation unit extracts a maximum value for each frequency component of a plurality of frames of spectrum signals converted in different frames by the conversion unit, and extracts a spectrum signal composed of the extracted signals of each frequency component. A signal processing apparatus characterized in that it is a spectrum signal corresponding to the environmental sound.
前記環境音閾値生成手段は、前記変換手段によって異なるフレームでそれぞれ変換された複数フレームのスペクトル信号のうち、フレーム内の周波数成分の信号値の総和が最小となるフレームのスペクトル信号に所定値を乗じて前記環境音に応じたスペクトル信号とすることを特徴とする信号処理装置。 The signal processing device according to claim 3.
The environmental sound threshold generation unit multiplies a predetermined value by a spectral signal of a frame in which the sum of signal values of frequency components in the frame is minimum among the spectral signals of a plurality of frames converted in different frames by the conversion unit. A signal processing apparatus characterized in that the spectrum signal corresponds to the environmental sound.
前記環境音閾値生成手段は、前記変換手段によって異なるフレームでそれぞれ変換された複数フレームのスペクトル信号の各周波数成分ごとに平均値を算出し、各平均値に所定値を乗じた信号で構成されるスペクトル信号を前記環境音に応じたスペクトル信号とすることを特徴とする信号処理装置。 The signal processing device according to claim 3.
The environmental sound threshold generation unit is configured by a signal obtained by calculating an average value for each frequency component of a plurality of frames of spectrum signals converted in different frames by the conversion unit, and multiplying each average value by a predetermined value. A signal processing apparatus characterized in that a spectrum signal is a spectrum signal corresponding to the environmental sound.
前記環境音閾値生成手段は、前記取得タイミング判定手段によって否定判定された音響信号に対応するスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。 In the signal processing device according to any one of claims 3 to 6,
The environmental sound threshold generation unit generates a spectral signal corresponding to the environmental sound based on a spectral signal corresponding to the acoustic signal that is negatively determined by the acquisition timing determination unit.
前記変換手段が変換したスペクトル信号のフレーム内の周波数成分の信号値の総和が第1の判定閾値より大か否かを判定する総和判定手段をさらに備え、
前記環境音閾値生成手段は、前記総和判定手段によって否定判定されたスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。 In the signal processing device according to any one of claims 3 to 7,
A sum total determining means for determining whether or not a sum of signal values of frequency components in a frame of the spectrum signal converted by the converting means is larger than a first determination threshold;
The signal processing apparatus according to claim 1, wherein the environmental sound threshold generation unit generates a spectral signal corresponding to the environmental sound based on the spectral signal that is negatively determined by the sum total determination unit.
前記音響信号に音声が含まれるか否かを判定する音声判定手段をさらに備え、
前記環境音閾値生成手段は、前記音声判定手段によって否定判定された音響信号に対応するスペクトル信号に基づいて前記環境音に応じたスペクトル信号を生成することを特徴とする信号処理装置。 In the signal processing device according to any one of claims 3 to 8,
Voice determination means for determining whether or not sound is included in the acoustic signal;
The environmental sound threshold generation unit generates a spectral signal corresponding to the environmental sound based on a spectral signal corresponding to the acoustic signal that is negatively determined by the voice determination unit.
前記スペクトル抑圧手段は、前記音声判定手段によって否定判定された音響信号に対応するスペクトル信号を対象に前記スペクトル抑圧を行うことを特徴とする信号処理装置。 The signal processing device according to claim 9,
The signal processing apparatus, wherein the spectrum suppression unit performs the spectrum suppression on a spectrum signal corresponding to an acoustic signal that is negatively determined by the voice determination unit.
前記変換手段が変換した連続するフレーム間のスペクトル信号の変化が第2の判定閾値より大か否かを判定する変化判定手段をさらに備え、
前記スペクトル抑圧手段は、前記変化判定手段によって否定判定されたスペクトル信号を対象に前記スペクトル抑圧を行うことを特徴とする信号処理装置。 The signal processing device according to claim 10,
A change determination means for determining whether or not a change in the spectrum signal between successive frames converted by the conversion means is greater than a second determination threshold;
The signal processing apparatus, wherein the spectrum suppression unit performs the spectrum suppression on a spectrum signal that is negatively determined by the change determination unit.
前記音響信号を所定フレームごとにスペクトル信号に変換する第2処理と、
前記変換されたスペクトル信号から、雑音低減対象とする周波数成分の信号を略0にする第3処理と、
前記第3処理後のスペクトル信号を音響信号に逆変換する第4処理と、
をコンピュータに実行させることを特徴とする信号処理プログラム。 A first process for reading an acoustic signal;
A second process for converting the acoustic signal into a spectrum signal for each predetermined frame;
A third process for setting the frequency component signal to be reduced in noise from the converted spectrum signal to substantially zero;
A fourth process for inversely converting the spectral signal after the third process into an acoustic signal;
A signal processing program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012025095A JP2013161041A (en) | 2012-02-08 | 2012-02-08 | Signal processor, camera and signal processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012025095A JP2013161041A (en) | 2012-02-08 | 2012-02-08 | Signal processor, camera and signal processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013161041A true JP2013161041A (en) | 2013-08-19 |
Family
ID=49173294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012025095A Pending JP2013161041A (en) | 2012-02-08 | 2012-02-08 | Signal processor, camera and signal processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013161041A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06208393A (en) * | 1993-01-12 | 1994-07-26 | Clarion Co Ltd | Voice recognizing device |
JP2005107448A (en) * | 2003-10-02 | 2005-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Noise reduction processing method, and device, program, and recording medium for implementing same method |
JP2006279185A (en) * | 2005-03-28 | 2006-10-12 | Casio Comput Co Ltd | Imaging apparatus, and sound recording method and program |
JP2008216721A (en) * | 2007-03-06 | 2008-09-18 | Nec Corp | Noise suppression method, device, and program |
-
2012
- 2012-02-08 JP JP2012025095A patent/JP2013161041A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06208393A (en) * | 1993-01-12 | 1994-07-26 | Clarion Co Ltd | Voice recognizing device |
JP2005107448A (en) * | 2003-10-02 | 2005-04-21 | Nippon Telegr & Teleph Corp <Ntt> | Noise reduction processing method, and device, program, and recording medium for implementing same method |
JP2006279185A (en) * | 2005-03-28 | 2006-10-12 | Casio Comput Co Ltd | Imaging apparatus, and sound recording method and program |
JP2008216721A (en) * | 2007-03-06 | 2008-09-18 | Nec Corp | Noise suppression method, device, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006270591A (en) | Electronic camera, data reproducing device and program | |
US8698911B2 (en) | Sound recording device, imaging device, photographing device, optical device, and program | |
US20150271439A1 (en) | Signal processing device, imaging device, and program | |
JP5963430B2 (en) | Imaging apparatus, audio processing apparatus, and control method thereof | |
KR101457392B1 (en) | Imaging apparatus and audio processing apparatus | |
JP2011095567A (en) | Imaging device | |
US9734840B2 (en) | Signal processing device, imaging apparatus, and signal-processing program | |
JP2011114465A (en) | Voice processing apparatus and electronic camera | |
JP2010154306A (en) | Device, program and method for imaging control | |
JP5932399B2 (en) | Imaging apparatus and sound processing apparatus | |
US8600070B2 (en) | Signal processing apparatus and imaging apparatus | |
KR101399986B1 (en) | Audi0 signal processing apparatus | |
JP2013178456A (en) | Signal processor, camera and signal processing program | |
JP5158054B2 (en) | Recording device, imaging device, and program | |
JP2013161041A (en) | Signal processor, camera and signal processing program | |
JP2012185445A (en) | Signal processor, imaging apparatus and program | |
US9294835B2 (en) | Image capturing apparatus, signal processing apparatus and method | |
JP6902961B2 (en) | Speech processing device and its control method | |
JP5018860B2 (en) | Signal processing apparatus and imaging apparatus | |
JP5736839B2 (en) | Signal processing apparatus, imaging apparatus, and program | |
JP5473786B2 (en) | Audio signal processing apparatus and control method thereof | |
JP7166903B2 (en) | IMAGE PROCESSING DEVICE, CONTROL METHOD THEREOF, AND PROGRAM | |
JP2012118316A (en) | Signal processor, imaging apparatus, and signal processing program | |
JP5246134B2 (en) | Signal processing apparatus and imaging apparatus | |
JP6521752B2 (en) | Image processing apparatus and control method therefor, imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160229 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161011 |