JP2018066963A - Sound processing device - Google Patents
Sound processing device Download PDFInfo
- Publication number
- JP2018066963A JP2018066963A JP2016207316A JP2016207316A JP2018066963A JP 2018066963 A JP2018066963 A JP 2018066963A JP 2016207316 A JP2016207316 A JP 2016207316A JP 2016207316 A JP2016207316 A JP 2016207316A JP 2018066963 A JP2018066963 A JP 2018066963A
- Authority
- JP
- Japan
- Prior art keywords
- noise
- correction amount
- audio signal
- frequency
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は音声処理装置に関する。 The present invention relates to a voice processing apparatus.
従来、デジタルカメラなどの撮像装置では、撮影された動画と共に音声を記録している。デジタルカメラは屋外で使用されることが多い。そのため、マイクに対して風が当たり、この風による雑音が音声に含まれてしまう。また、デジタルカメラはビデオカメラに比べて本体のサイズが小さく、レンズなどの光学系とマイクの位置が近い。そのため、絞りやレンズを駆動させるモータによる駆動音がノイズとして音声に含まれてしまう。 Conventionally, in an imaging apparatus such as a digital camera, audio is recorded together with a captured moving image. Digital cameras are often used outdoors. For this reason, wind hits the microphone, and noise caused by the wind is included in the voice. Digital cameras are smaller in size than video cameras, and the optical system such as a lens is close to the microphone. For this reason, driving sound generated by the motor that drives the aperture and the lens is included in the sound as noise.
従来、このように、マイクからの音声に含まれる風によるノイズ(風雑音)や光学系の駆動によるノイズ(駆動雑音)を低減させる技術が提案されている。ノイズ低減の方法として、スペクトルサブトラクション(Spectral Sutraction)法(以下、SS法)が知られている(特許文献1)。 Conventionally, techniques for reducing noise caused by wind (wind noise) and noise (driving noise) caused by driving of an optical system have been proposed. As a noise reduction method, a spectral subtraction method (hereinafter referred to as SS method) is known (Patent Document 1).
しかしながら、駆動雑音の帯域と風雑音帯域が重複する様な音声が入力された場合に、SS法で駆動雑音や風雑音の低減処理を行ったとすると、次のような問題がある。 However, assuming that the drive noise and wind noise reduction processing is performed by the SS method when a sound is input such that the drive noise band and the wind noise band overlap, there are the following problems.
図12は、風切り音(風雑音)と駆動音が重畳した時において、Lch、Rchの音声信号の位相ベクトルを表した図である。ここでは、例えば駆動音をズームレンズの駆動により発生する雑音(ズーム音)とする。図12(a)では風切り音R1201と風切り音L1202は逆位相に入力され、ズーム音R1203とズーム音L1204は同位相で入力されたと仮定する。 FIG. 12 is a diagram illustrating the phase vectors of the Lch and Rch audio signals when the wind noise (wind noise) and the driving sound are superimposed. Here, for example, the driving sound is assumed to be noise (zoom sound) generated by driving the zoom lens. In FIG. 12A, it is assumed that the wind noise R1201 and the wind noise L1202 are input in opposite phases, and the zoom sound R1203 and the zoom sound L1204 are input in the same phase.
その時、風雑音の低減処理と駆動雑音の低減処理は、図12(b)のように行われる。図12(b)において、駆動雑音の低減処理1207、1208はズーム音+風切り音1205、1206からスカラー量分を差し引く。また、風雑音の低減処理1209、1210は位相差分のスカラー量を差し引く。その為、ズーム音に同位相の雑音1211が残り、抑圧できないといった課題がある。
At that time, the wind noise reduction process and the drive noise reduction process are performed as shown in FIG. In FIG. 12B, the drive noise reduction processing 1207 and 1208 subtract the scalar amount from the zoom sound + wind noise 1205 and 1206. Further, the wind
本発明は、風雑音と駆動雑音が音声に重畳している場合に、それぞれの雑音を低減することが可能な装置を提供することを目的とする。 An object of this invention is to provide the apparatus which can reduce each noise, when a wind noise and a drive noise are superimposing on the audio | voice.
入力手段と、駆動手段と、前記入力手段により得られた時間領域の音声信号を一定の時間毎に分割し、周波数領域の音声信号スペクトルへ変換する変換手段と、前記駆動手段による雑音である駆動雑音の周波数毎の振幅に関するプロファイルを記憶する記憶手段と、前記変換手段からの出力信号に基づいて減算係数を算出する算出手段と、前記入力手段より得られた音声信号に含まれる風雑音の大きさに応じて、前記減算係数の補正量を決定する補正量決定手段と、前記算出手段で求めた減算係数を前記補正量決定手段により得られた補正量で補正する補正手段と、前記補正手段により補正された減算係数と、前記記憶手段に記憶されている前記プロファイルとから、周波数毎の雑音の低減値を決定する決定手段と、前記変換手段から出力された前記周波数領域の音声信号のスペクトルから、前記決定手段により得られる前記低減値を減算することにより、前記駆動雑音の低減処理を行う雑音低減手段と、前記雑音低減手段からの前記周波数領域の音声信号スペクトルを時間領域の音声信号に変換する逆変換手段と、前記逆変換手段から出力された音声信号から風雑音を低減する風雑音の低減手段とを有する。 Input means, driving means, conversion means for dividing the time-domain audio signal obtained by the input means at regular intervals and converting it into a frequency-domain audio signal spectrum, and driving by noise generated by the driving means Storage means for storing a profile relating to amplitude for each frequency of noise, calculation means for calculating a subtraction coefficient based on an output signal from the conversion means, and magnitude of wind noise included in the audio signal obtained from the input means Accordingly, a correction amount determining means for determining a correction amount of the subtraction coefficient, a correction means for correcting the subtraction coefficient obtained by the calculation means with a correction amount obtained by the correction amount determination means, and the correction means And a determination means for determining a noise reduction value for each frequency from the subtraction coefficient corrected in accordance with the profile stored in the storage means and an output from the conversion means. Noise reduction means for reducing the drive noise by subtracting the reduction value obtained by the determination means from the spectrum of the audio signal in the frequency domain; and the audio in the frequency domain from the noise reduction means Inverse conversion means for converting a signal spectrum into an audio signal in the time domain, and wind noise reduction means for reducing wind noise from the audio signal output from the inverse conversion means.
本発明によれば、風雑音と駆動雑音が音声に重畳している場合でも、それぞれの雑音を低減することが可能となる。 According to the present invention, even when wind noise and driving noise are superimposed on speech, each noise can be reduced.
(実施例1)
以下、本発明の実施形態を説明する。
Example 1
Embodiments of the present invention will be described below.
図1は本発明の音声処理装置が適用される撮像装置の構成例を示すブロック図である。図1における撮像装置100は、主に、音声処理部107で雑音の低減処理を行う。以下に説明する多くの構成要素はメモリバス117に接続され、メモリ116に対してデータのやり取りを行なっている。
FIG. 1 is a block diagram showing a configuration example of an imaging apparatus to which a sound processing apparatus of the present invention is applied. The
メモリ116は高速でランダムアクセス可能なダイナミックRAMである。メモリ内は音声データ領域、画像データ領域、制御信号領域がある。また、音声データ領域に記憶された音声データ、及び画像データ領域に記憶された画像データ、タイミング信号領域のタイミング信号はフレーム毎にどの時刻のデータであるかを識別するように管理されている。
The
図1において、レンズ101は、モータ駆動部103で制御されたモータ102によりズーム動作を行う。撮像部104はレンズ101を介して結像された被写体の光学像をCCDセンサやCMOSセンサ等の撮像素子により光電変換してアナログ画像信号を生成する。そして、生成されたアナログ画像信号をデジタル信号に変換して、画像処理部105に送信する。画像処理部105は、入力されたデジタル画像信号に、設定値に応じたホワイトバランスや色、明るさ等を調整する画質調整処理を施し、メモリ116に送信し、メモリ116内の画像データ領域に記憶する。
In FIG. 1, a
音声入力部106は内蔵されたマイクロホンまたは音声入力端子を介して接続された外部マイク等である。音声処理部107は、音声入力部106で装置周囲の音声を収音することにより得られたアナログ音声信号をデジタル信号に変換し、レベルの適正処理、特定周波数の低減処理等の音声に関する処理を行う。音声処理部107は、後述のように、駆動雑音の低減処理や風雑音の低減処理を行う。そして、音声処理部107は、デジタル音声信号をメモリ116に送信し、メモリ116内の音声データ領域に記憶する。また、音声処理部107は、通信部109からメモリ116の音声データ領域に記憶された音声データを読み出し、同様な処理を施し、再度メモリ116の音声データ領域に記憶する。
The
表示部108は、例えば、液晶ディスプレイ、有機ELディスプレイ、電子ペーパー等の表示デバイスで有れば何であっても良い。例えば、表示用の画像データは画像処理部105からメモリ116の画像データ領域に一時的に記憶される。表示部108は画像データ領域から画像データを読み出してディスプレイに表示させる。
The
通信部109はワイヤレスマイクから送信されたデジタル音声信号を受信し、一時的にメモリ116の制御信号領域に記憶する。通信部109は、外部装置との間で通信を行うもので、例えば、音声信号、画像信号、撮影開始、終了コマンド等の撮影動作の為の制御信号等を送受信する。通信部109は、例えば、赤外線通信モジュールやBluetooth(登録商標)通信モジュール、無線LANモジュール等の無線通信モジュールである。
The
記録再生部110は記録媒体111に記録された画像データを読み出し(再生し)、表示部108や画像出力部114に送信する。記録媒体111は、メモリカードやHDDなどのランダムアクセスの記録媒体である。
The recording / reproducing
画像出力部114は、例えば画像出力端子からなり、撮像装置100に接続された外部ディスプレイ等に映像を表示させるために画像信号を送信する。音声出力部115は、例えば、音声出力端子からなり、メモリ116の音声データ領域に記憶されている音声データを読みだして、撮像装置100に接続されたイヤホンやスピーカ等から音声を出力する為に音声信号を送信する。また、音声出力部115は、撮像装置100に内蔵され、音声信号に応じた音声を出力するスピーカであっても良い。また、画像出力部114及び音声出力部115は、統合された1つの端子、例えば、HDMI(登録商標)(High Definition Multimedia Interface)のような端子であっても良い。
The
操作部113は、例えば、ボタンやダイヤル等であり、ユーザの操作に応じた指示信号を制御部112に送信する。制御部112は、操作部113から送信された指示信号に基づいて、撮像装置100の各ブロックに制御信号を送信することで、各ブロックを制御する。操作部113は、例えば、電源ボタン、記録開始ボタン、メニュー表示ボタン、決定ボタン、カーソールキー、タッチパネル等である。また、制御部112は、各種処理を実行する為の、例えばCPU、DRAM、SRAM等からなる。メモリバス117は、各種データや、制御信号を撮像装置100の各ブロックに送信する為にものである。
The
次に、音声処理部107の内部構成を説明する。図2は、従来の音声処理部107の音声処理のフローを表すフローチャートである。S201では、SS法で駆動雑音の低減処理を行う。SS法による駆動雑音の低減処理の詳細は後述する。S202では、S201でカメラ駆動雑音処理をした音声出力を用いて、風雑音低減処理を行う。風雑音低減処理の詳細は後述する。S203では、S202までに一通りの雑音低減処理を行った音声信号に対し、一定の音量になる様に調整する為の、オートレベルコントロール処理(ALC)を行う。例えば、マイクロホンで収音された音声が小さい時には、振幅を増幅し、適正な音量の場合には振幅の増幅率を元に戻す。また、一般的には、増幅率には上限が設けられている。
Next, the internal configuration of the
以下に風雑音低減処理とSS法によるカメラ駆動雑音の低減処理の方法を説明する。 Hereinafter, a wind noise reduction process and a camera drive noise reduction process using the SS method will be described.
<風雑音の低減方法>
マイクロホンなどを使って屋外の音声を収音する際には風がマイクロホンにあたり、風雑音が記録されてしまうことがある。そこで、本実施形態では、左右方向からの音声を独立して収音するマイクロホン(ステレオマイク)で取得された左右それぞれの音声信号に対して、風雑音の低減処理を行う。無指向で近接する2つマイクロホンで収音された音声は、一般的に以下の様な特徴を有する。
(1)風がない環境で収音した場合、左右のマイクに同位相の音声が収音される。特に低域周波数は同位相となる。
(2)風がある環境で収音した場合、風雑音が低域周波数(約50Hz〜数kHz)程度に集中し、左右のマイクの収音では音声信号に位相差が発生する。
<Wind noise reduction method>
When picking up outdoor sound using a microphone or the like, wind may hit the microphone and wind noise may be recorded. Therefore, in the present embodiment, wind noise reduction processing is performed on each of the left and right audio signals acquired by a microphone (stereo microphone) that independently collects sound from the left and right directions. The sound picked up by two microphones that are omnidirectional and close to each other generally has the following characteristics.
(1) When sound is picked up in an environment where there is no wind, in-phase sound is picked up by the left and right microphones. In particular, the low frequency is in phase.
(2) When sound is collected in an environment with wind, the wind noise is concentrated at a low frequency (about 50 Hz to several kHz), and a phase difference occurs in the sound signal when the left and right microphones collect sound.
以上の2点の特徴を考慮し、風雑音の低減処理が行われる。図3(a)は、音声処理部107における風雑音の低減処理を行う回路ブロック300を示す図である。また、図3(b)はハイパスフィルタ303の振幅特性の例を表すグラフである。なお、図3(a)の風雑音処理回路300は、後述のように、SS方による雑音の低減処理が行われた後のLch、Rchの音声信号が入力され、風雑音の低減処理を行う。
The wind noise reduction processing is performed in consideration of the above two features. FIG. 3A is a diagram illustrating a
図3(a)において、風雑音の低減回路300に入力されたステレオ音声信号の左チャンネル(Lch)と右チャンネル(Rch)は、加算回路301で加算、減算回路302で減算される。ハイパスフィルタ回路303では、例えば図3(b)のような風雑音に多く含まれる周波数帯域である50kHz以下の成分を減衰させる。ハイパスフィルタ303は、減算回路302で求めたステレオ音声信号の差分値の低域周波数を除去して出力する。ここでは、例えば1kHzで3dB減衰するフィルタとする。
In FIG. 3A, the left channel (Lch) and the right channel (Rch) of the stereo audio signal input to the wind
ハイパスフィルタ303の出力と加算回路301からの出力を加算回路304で加算し、コントローラ307で加算回路304の出力の音量を半分に調整してLch音声出力部に出力する。また、減算回路305により、加算回路301からの出力からハイパスフィルタ303の出力を減算し、コントローラ307で減算回路305の出力の音量を半分に調整してRch音声出力部に出力する。このように、風雑音低減回路300により、入力音声に含まれる風雑音が低減される。
The output from the high-
<SS法による駆動雑音の低減処理方法>
SS法を用いた駆動雑音の低減処理の構成について、図4(a)を用いて説明する。図4(a)において、ノイズプロファイル401、402は、低減対象となる雑音の周波数成分をノイズプロファイルとして記憶する。具体的には、低減対象となる雑音のみから成る音声信号をフーリエ変換し、周波数成分を得る。このとき、低減対象となる雑音がある程度の時間(例えば4秒間)続く場合は、雑音が続く時間内における周波数成分の時間変化に対して、ピークホールドしたものがノイズプロファイルとなる。また、ノイズプロファイル401、402に記憶されるノイズプロファイルは、ある程度復元可能な形であれば圧縮されていてもよい。記憶されているノイズプロファイルの、圧縮、非圧縮は限定されない。また、ノイズプロファイル401、402は、記憶しているノイズプロファイルを、周波数成分比較部405、406と加減算器411、412へ送信する。
<Drive noise reduction processing method by SS method>
The configuration of the drive noise reduction process using the SS method will be described with reference to FIG. In FIG. 4A, noise profiles 401 and 402 store the frequency components of noise to be reduced as noise profiles. Specifically, an audio signal consisting only of noise to be reduced is Fourier transformed to obtain a frequency component. At this time, when the noise to be reduced continues for a certain period of time (for example, 4 seconds), a noise profile is obtained by peak holding with respect to the temporal change of the frequency component within the time during which the noise continues. The noise profiles stored in the noise profiles 401 and 402 may be compressed as long as they can be restored to some extent. Compression or non-compression of the stored noise profile is not limited. The noise profiles 401 and 402 transmit the stored noise profile to the frequency
フーリエ変換部403、404は、入力された音声信号を一定の時間毎(フレーム)毎に分割する。そして、分割した時間領域のデジタル音声信号に対してフーリエ変換を行い、周波数領域の音声信号スペクトルに変換する。その結果、音声信号の周波数毎の位相情報と、周波数毎の振幅の絶対値(周波数成分)、を算出する。また、フーリエ変換部403、404は、算出した周波数成分を周波数成分比較部45、406と雑音低減部413、414へ送信する。また、フーリエ変換部403、404は、算出した周波数毎の位相情報を逆フーリエ変換部415、416へ送信する。
The
周波数成分比較部405、406は除算器であり、フーリエ変換部403、404から送信された入力音声の周波数成分を、ノイズプロファイル記憶部401、402からのノイズプロファイルにより周波数毎に除算する。周波数成分比較部405、406は算出した周波数毎の演算結果を時間変化制御部407、408へ送信する。
The frequency
時間変化制御部407、408は、周波数成分比較部405、406から送信された周波数毎の除算結果に対して、周波数毎に時間方向へローパスフィルタ(LPF)をかけることにより平滑化する。時間変化制御部407、408は、算出した周波数毎の判定結果を、減算係数算出部409、410へ送信する。
The time
減算係数算出部409、410は、時間変化制御部407、408から送信された、周波数毎の演算結果を用いて、周波数毎の減算係数を算出する。時間変化制御部407、408の出力であるLPF出力レベル大きくなれば、徐々に減算係数γ[n]が小さくなるようなテーブルである。例えば、図4(b)の様なテーブルである。LPF出力レベルが十分に大きい場合は、低減対象とする騒音の周波数成分に対して、十分大きな所望音声の周波数成分が重畳されており、マスキング効果により、人間の聴覚では騒音をほぼ知覚できなくなる。そのため、減算係数γ[n]を小さくすることで、雑音低減部413、414により入力音声から減算されるプロファイルの大きさを小さくし、所望音声が劣化することを抑えることができる。減算係数算出部409、410は、算出した周波数毎の減算係数を乗算器411、412へ送信する。
The subtraction
乗算器411、412は、減算係数算出部409、410から送信された周波数毎の減算係数と、ノイズプロファイル記憶部401、402から送信されたノイズプロファイルとを、周波数毎に乗算する。乗算器411、412の周波数毎の演算結果を、減算係数スペクトルとする。乗算器411、412は、算出した減算係数スペクトルを雑音低減部413、414へ送信する。
The
雑音低減部413、414は減算器であり、フーリエ変換部403、404から送信される周波数成分から、乗算器411、412から送信される減算係数スペクトルを減算することで、騒音が低減された周波数毎のスペクトルを得る。雑音低減部413、414で得られたスペクトルを、雑音低減スペクトルとする。雑音騒音低減部413、414は、雑音低減スペクトルを逆フーリエ変換部415、416へ送信する。
The
逆フーリエ変換部415、416は、雑音低減部413、414から送信される雑音低減スペクトルに対して、フーリエ変換部403、404から送信される位相情報を用いて、逆フーリエ変換(フーリエ逆変換)を行う。即ち、周波数領域の音声信号スペクトルを時間領域の音声信号に変換する逆変換処理を行う。そして、雑音が低減されたデジタル音声信号を得る。逆フーリエ変換部415、416は、復元した雑音低減後のデジタル音声信号を信号出力制御部Lch、Rchへ送信する。
The inverse
以上、風雑音の低減処理回路と、SS方式を用いた雑音低減処理回路について説明した。次に、本実施例における、音声処理部107による雑音の低減処理について説明する。
The wind noise reduction processing circuit and the noise reduction processing circuit using the SS method have been described above. Next, noise reduction processing by the
図5は、本実施例における、雑音の低減処理の回路を示す図である。雑音低減回路500は音声処理部107に含まれる。雑音低減回路500は、SS法による駆動雑音の低減処理を行う。駆動雑音は、図1におけるモータ102の駆動により発生する雑音である。なお、図4(a)と共通するブロックに関しては同一の番号を付加し、詳細な説明を省略する。
FIG. 5 is a diagram illustrating a circuit for noise reduction processing in the present embodiment. The
雑音低減回路500には、音声入力部106から入力された、LchとRchの音声信号をデジタル信号に変換した後のデジタル音声信号が入力される。また、雑音低減回路500からのLch、Rchの音声信号が、図3の風雑音処理回路300に出力される。
The
雑音低減回路500においては、入力音声に含まれる風雑音の成分の大きさに応じてノイズプロファイルの補正量を調整する。図5において、補正量決定部511では、高速フーリエ変換回路503、504で出力された周波数帯域毎の音声データを用いて、Lch、Rchの音声信号の位相の異なる低域周波数を検出し、減衰係数γ[n]を補正する為の補正値αを決定する。
The
図6(a)は、補正量決定部511による減衰係数γ[n]の補正量αを決定する処理を示すフローチャートである。雑音低減回路500では、入力音声に含まれる風雑音の成分の大きさに応じてノイズプロファイルの補正量を調整する。そのため、入力音声に含まれる風雑音の成分を検出する処理を行う。S601において、風検出の評価値を初期化する。S602では、フーリエ変換部401、402から送信した音声スペクトルの周波数帯域に、閾値thf以上の周波数帯域が含まれていないを判定する。閾値thf以上の周波数帯域が含まれていない場合、S603に移行する。また、閾値thf以上の周波数帯域が含まれている場合、フローを終了する。この時の音声スペクトルの周波数の閾値であるthfは、音声信号に風雑音が多く集中する帯域である1kHz程度に設定する。
FIG. 6A is a flowchart showing processing for determining the correction amount α of the attenuation coefficient γ [n] by the correction
S603では、フーリエ変換部401、402の出力であるステレオマイクの音声スペクトルの位相特性を比較する。前述のように、音声に風雑音が含まれている場合、音声の低域周波数帯域では、周波数の位相が無相関であるため、ある閾値thφ以上の位相差があればS604に移行する。また、位相差が閾値thφ以下であれば、風雑音が含まれていないとして、S602に移行する。この時、図1の撮像装置100としてのデジタルカメラは、LchとRchのマイクの間の距離が小さいと考えられる。通常、マイク間距離が小さい場合、ステレオマイクに入ってくる音声は、低域周波数帯域であるthf以下では、ほぼ同位相の音声が収音できる。
In S603, the phase characteristics of the audio spectrum of the stereo microphone that is the output of the
S604では、フーリエ変換部401、402の出力であるステレオマイクの音声スペクトルの振幅を比較する。風雑音が含まれる音声スペクトルでは、振幅が大きい。そのため、左右の音声スペクトルの振幅がある閾値thA以上あれば、風雑音が含まれていると判定し605に移行する。また、振幅がある閾値thA以下であれば、S602に移行する。
In S604, the amplitude of the audio spectrum of the stereo microphone that is the output of the
S605では、S602からS604までの条件に合っていた場合、その音声スペクトルには風雑音が含まれているとして、風検出の評価値を1加算する。S606では、風検出の評価値がある閾値thn以上であれば、S607に移行する。閾値thn以下であればS602に移行する。S607では、例えば図7(a)の様な風検出の評価値に対する減衰係数γの補正量αを決めておく。S606で求めた風検出の評価値を参照して補正量αを決定し、フローを終了する。補正量αは風検出の評価値が大きければ補正量αも大きくする。この時、図7(a)は風検出の評価値がある一定値以上になった場合、補正量αを一定に設定したが、状況に応じてどのように設定しても良い。 In S605, if the conditions from S602 to S604 are met, wind noise is included in the speech spectrum, and the wind detection evaluation value is incremented by one. In S606, if the wind detection evaluation value is equal to or greater than a certain threshold thn, the process proceeds to S607. If it is equal to or less than the threshold value thn, the process proceeds to S602. In S607, for example, the correction amount α of the attenuation coefficient γ with respect to the wind detection evaluation value as shown in FIG. The correction amount α is determined with reference to the wind detection evaluation value obtained in S606, and the flow ends. If the evaluation value for wind detection is large, the correction amount α is also increased. At this time, in FIG. 7A, when the wind detection evaluation value is equal to or greater than a certain value, the correction amount α is set to be constant.
減衰係数補正部512、513では、このように補正量決定部511で求めた補正量αを用いて、減衰係数算出部509で算出した減衰係数γ[n]を補正する。乗算器411、412は、減算係数補正部512、513から出力された周波数毎の減算係数と、ノイズプロファイル記憶部401、402から送信されたノイズプロファイルとを、周波数毎に乗算する。これにより、ノイズプロファイルに基づく、周波数毎の雑音の低減値が決定される。
The attenuation
図7(b)は減衰係数γ[n]を補正量αにより補正したグラフを示す。図7(b)では、補正量決定部511で求めた補正量αを音声レベル毎の減衰係数γに加算する。ここでは、補正方法として、補正量αを加算したが、状況に応じて補正量αを変えても良い。
FIG. 7B shows a graph in which the attenuation coefficient γ [n] is corrected by the correction amount α. In FIG. 7B, the correction amount α obtained by the correction
このように、本実施形態では、風雑音が含まれる場合、その大きさに応じてノイズプロファイルの減衰係数を補正する。具体的には、風雑音の大きさが大きいほど、プロファイルが大きくなるように減衰係数の補正量が決定される。そのため、風雑音が含まれていると判断される場合には、入力音声から減算されるノイズプロファイルの成分がより大きくなるように補正される。減衰係数γ[n]に補正量αを加算することで、SS法を用いた駆動雑音の低減処理時には、低域で駆動音が残留する課題を解決出来る。 Thus, in the present embodiment, when wind noise is included, the attenuation coefficient of the noise profile is corrected according to the magnitude. Specifically, the attenuation coefficient correction amount is determined such that the larger the wind noise is, the larger the profile is. Therefore, when it is determined that wind noise is included, the noise profile component subtracted from the input voice is corrected to be larger. By adding the correction amount α to the attenuation coefficient γ [n], it is possible to solve the problem that the drive sound remains in a low frequency during the drive noise reduction process using the SS method.
(実施例2)
本実施例では、減衰係数γの補正方法に関する説明を行う。本実施例の雑音低減回路の構成は、実施例1の構成と同様の構成を持つ為、説明は省略する。ただし、補正量決定部511の構成が実施例1と異なる為、以下に詳細を述べる。
(Example 2)
In this embodiment, a description will be given of a method for correcting the attenuation coefficient γ. Since the configuration of the noise reduction circuit of this embodiment has the same configuration as that of the first embodiment, description thereof is omitted. However, since the configuration of the correction
図8は、本実施例における補正量決定部511の処理を説明するフローチャートである。また、図9は、減衰係数γ[n]を補正量αにより補正したグラフを示す。S801では、補正量決定部511で、音声信号のレベルが閾値以上かどうかを判定する。S802では、音声信号のレベルが閾値以上であれば、レベルに応じた減衰係数γに対し補正量αを加算する。また、図9の様に補正後、減衰係数1.0以上の値は減衰係数1.0にする。
FIG. 8 is a flowchart for explaining the processing of the correction
S803では、音声信号が閾値以下であれば、補正量αは設定せず、減衰係数補正部510、511では減衰係数γの補正を行わない。S804では、S802、S803で補正した、減衰係数γ[n]をプロファイル501、502にかけて、プロファイルを更新する。
In S803, if the audio signal is equal to or smaller than the threshold value, the correction amount α is not set, and the attenuation
本実施例では、ステレオマイクから得られた、音声信号のレベルが閾値より小さい場合は、風雑音が入ってきたとしても補正量αを加算しない。音声信号が閾値以上のレベルであれば、補正量α分を加算する。 In this embodiment, when the level of the audio signal obtained from the stereo microphone is smaller than the threshold value, the correction amount α is not added even if wind noise enters. If the audio signal is at a level equal to or higher than the threshold, the correction amount α is added.
このように、音声信号のレベルに応じて、補正量αを加算するかを決定することで、音声信号のレベルが小さい場合に補正しすぎないように駆動雑音及び風雑音を低減することができる。 Thus, by determining whether or not to add the correction amount α in accordance with the level of the audio signal, it is possible to reduce drive noise and wind noise so that the correction is not excessive when the level of the audio signal is small. .
(実施例3)
図10及び図11を用いて本実施例における雑音低減回路1000を説明する。本実施例の雑音低減回路1000の構成は、実施例1及び実施例2の構成における図5の騒音低減装置の構成と比較し、ノイズプロファイル生成部1001、1002が異なる。
(Example 3)
The
図10は、本実施例の雑音低減回路1000の構成を示す図である。また、図11はSS法による駆動雑音の低減処理を行う為のプロファイル生成を行うための概念図である。ノイズプロファイル生成部1001、1002は、低減対象となる雑音の周波数成分示すノイズプロファイルを記憶する。具体的には、図11において低減対象の雑音が発生する前の音声1101及び低減対象の雑音1102から成る音声信号をフーリエ変換し、音声信号1101の周波数成分Rt1[i]と音声信号1102の周波数成分Rt2[i]を得る。この時周波数成分Rt1[i]とRt2[i]は、振幅のスカラー量である。また、iは周波数のサンプル数で、サンプリング定理により音声データのサンプル数Nだとすると、iはN/2となる。つまり音声データのサンプル数N=1024の場合、周波数のサンプル数は、i=512となる。
FIG. 10 is a diagram illustrating a configuration of the
時間t2の騒音周波数成分(Rt2)から時間t1の雑音を含まない音声の周波数成分(Rt1)を差し引く事で、雑音のみの周波数成分、つまりノイズプロファイルRpを算出する。
Rp[i]=Rt2[i]−Rt1[i] 式(1)
By subtracting the frequency component (Rt1) of the voice not including the noise at time t1 from the noise frequency component (Rt2) at time t2, the frequency component of noise alone, that is, the noise profile Rp is calculated.
Rp [i] = Rt2 [i] −Rt1 [i] Formula (1)
算出した低減対象の雑音のみの周波数成分Rpをノイズプロファイルとして記憶し、雑音低減部413、414において、騒音低減処理をする。
The calculated frequency component Rp of only noise to be reduced is stored as a noise profile, and the
このように、騒音が発生する毎にノイズプロファイルを生成することで、それぞれの騒音に適した低減処理が行えるようになる。 In this manner, by generating a noise profile each time noise is generated, reduction processing suitable for each noise can be performed.
Claims (7)
駆動手段と、
前記入力手段により得られた時間領域の音声信号を一定の時間毎に分割し、周波数領域の音声信号スペクトルへ変換する変換手段と、
前記駆動手段による雑音である駆動雑音の周波数毎の振幅に関するプロファイルを記憶する記憶手段と、
前記変換手段から出力された信号に基づいて減算係数を算出する算出手段と、
前記入力手段より得られた音声信号に含まれる風雑音の大きさに応じて、前記減算係数の補正量を決定する補正量決定手段と、
前記算出手段で求めた減算係数を前記補正量決定手段により得られた補正量で補正する補正手段と、
前記補正手段により補正された減算係数と、前記記憶手段に記憶されている前記プロファイルとから、周波数毎の雑音の低減値を決定する決定手段と、
前記変換手段から出力された前記周波数領域の音声信号のスペクトルから、前記決定手段により得られる前記低減値を減算することにより、前記駆動雑音の低減処理を行う雑音低減手段と、
前記雑音低減手段からの前記周波数領域の音声信号スペクトルを時間領域の音声信号に変換する逆変換手段と、
前記逆変換手段から出力された音声信号から風雑音を低減する風雑音の低減手段と、
を有することを特徴とする音声処理装置。 Input means;
Driving means;
A conversion unit that divides the time-domain audio signal obtained by the input unit at regular intervals and converts the signal into a frequency-domain audio signal spectrum;
Storage means for storing a profile relating to amplitude for each frequency of driving noise, which is noise generated by the driving means;
Calculation means for calculating a subtraction coefficient based on the signal output from the conversion means;
Correction amount determination means for determining the correction amount of the subtraction coefficient according to the magnitude of wind noise included in the audio signal obtained from the input means;
Correction means for correcting the subtraction coefficient obtained by the calculation means with the correction amount obtained by the correction amount determination means;
A determining unit that determines a noise reduction value for each frequency from the subtraction coefficient corrected by the correcting unit and the profile stored in the storage unit;
Noise reduction means for reducing the drive noise by subtracting the reduction value obtained by the determination means from the spectrum of the frequency domain audio signal output from the conversion means;
Inverse transform means for transforming the frequency domain speech signal spectrum from the noise reduction means into a time domain speech signal;
Wind noise reducing means for reducing wind noise from the audio signal output from the inverse transform means;
A speech processing apparatus comprising:
前記補正量決定手段は、前記変換手段から出力された、前記ステレオ音声信号の左チャンネルと右チャンネルの音声信号スペクトルにおける位相差、及び、振幅の大きさに応じて前記評価値を求めることを特徴とする請求項3に記載の音声処理装置。 The input means inputs a stereo audio signal,
The correction amount determination unit obtains the evaluation value according to a phase difference and an amplitude magnitude in the audio signal spectrum of the left channel and the right channel of the stereo audio signal output from the conversion unit. The speech processing apparatus according to claim 3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016207316A JP2018066963A (en) | 2016-10-21 | 2016-10-21 | Sound processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016207316A JP2018066963A (en) | 2016-10-21 | 2016-10-21 | Sound processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018066963A true JP2018066963A (en) | 2018-04-26 |
Family
ID=62086098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016207316A Pending JP2018066963A (en) | 2016-10-21 | 2016-10-21 | Sound processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018066963A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023509593A (en) * | 2020-01-24 | 2023-03-09 | コンチネンタル オートモーティブ システムズ インコーポレイテッド | Method and apparatus for wind noise attenuation |
-
2016
- 2016-10-21 JP JP2016207316A patent/JP2018066963A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023509593A (en) * | 2020-01-24 | 2023-03-09 | コンチネンタル オートモーティブ システムズ インコーポレイテッド | Method and apparatus for wind noise attenuation |
JP7352740B2 (en) | 2020-01-24 | 2023-09-28 | コンチネンタル オートモーティブ システムズ インコーポレイテッド | Method and apparatus for wind noise attenuation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008263498A (en) | Wind noise reducing device, sound signal recorder and imaging apparatus | |
US20080317261A1 (en) | Wind Noise Reduction Device | |
US9495950B2 (en) | Audio signal processing device, imaging device, audio signal processing method, program, and recording medium | |
CN109285554B (en) | Echo cancellation method, server, terminal and system | |
US20150271439A1 (en) | Signal processing device, imaging device, and program | |
US10535363B2 (en) | Audio processing apparatus and control method thereof | |
JP6610725B2 (en) | Sound processing apparatus and sound processing program | |
JP5998483B2 (en) | Audio signal processing apparatus, audio signal processing method, program, and recording medium | |
US9160460B2 (en) | Noise cancelling device | |
JP5349062B2 (en) | SOUND PROCESSING DEVICE, ELECTRONIC DEVICE HAVING SAME, AND SOUND PROCESSING METHOD | |
JP2009005133A (en) | Wind noise reducing apparatus and electronic device with the wind noise reducing apparatus | |
JP2018066963A (en) | Sound processing device | |
JP2019192963A (en) | Noise reduction device, noise reduction method and program | |
JP2015114444A (en) | Voice processing device and voice processing method | |
CN116349252A (en) | Method and apparatus for processing binaural recordings | |
JP2018074220A (en) | Voice processing device | |
JP6985821B2 (en) | Speech processing device and its control method | |
JP2018207313A (en) | Audio processing device and method of controlling the same | |
JP5473786B2 (en) | Audio signal processing apparatus and control method thereof | |
JP2023077339A (en) | Imaging device, control method, and program | |
US10313824B2 (en) | Audio processing device for processing audio, audio processing method, and program | |
JP2009005157A (en) | Sound signal correction device | |
JP6877246B2 (en) | Speech processing device and its control method | |
JP2019070688A (en) | Imaging apparatus | |
JP5246134B2 (en) | Signal processing apparatus and imaging apparatus |