JP2007065122A - Noise suppressing device of on-vehicle voice recognition device - Google Patents
Noise suppressing device of on-vehicle voice recognition device Download PDFInfo
- Publication number
- JP2007065122A JP2007065122A JP2005248912A JP2005248912A JP2007065122A JP 2007065122 A JP2007065122 A JP 2007065122A JP 2005248912 A JP2005248912 A JP 2005248912A JP 2005248912 A JP2005248912 A JP 2005248912A JP 2007065122 A JP2007065122 A JP 2007065122A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- sound
- state
- acoustic signal
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、車両内の話者の音声から、車両の音を抑圧する雑音抑圧装置に関する。 The present invention relates to a noise suppression device that suppresses the sound of a vehicle from the voice of a speaker in the vehicle.
近年の車両においては、乗員の発する音声によって車両内の機器を制御する車載用音声認識装置が用いられる場合がある。しかし、車両そのものが発生する音響、または車両に備えられたオーディオ装置から発生する音響が雑音となって、乗員の発する音声に重畳されるので、正しく音声認識できない場合がある。そこで、音声認識の前処理として、雑音を抑圧する方法が提案されている。
特許文献1は、カーオーディオ装置から出力されるオーディオ信号と、発話者近傍に設けられた音声入力用マイクロフォンから検出される検出信号とから、音声入力用マイクロフォンに混入するカーオーディオ装置からの音楽信号を推定して、検出信号から除去する技術が記載されている。特許文献1の技術は、音声認識の前処理としての雑音低減方法であるが、自動車の走行音は低減されないため、停車中などの走行音が低い状態でしか対応できない可能性が高い。
特許文献2は、車両の走行状態に応じて発生する雑音の状態に適合するように、雑音を抑圧する方法が記載されている。特許文献2の技術では、雑音抑圧装置の減算制御部は、車両情報検出装置より得られる車両情報に基づいてスイッチの開閉を制御することで、音声用マイクに入力された話者の音声信号データから定常雑音、および非定常雑音を減算器によって減算除去するのを、車両の走行状態などに応じて制御する。車両の走行状態として、停車中・加減速中・エンジン停止・一定速度での走行中の4パターンに応じた雑音抑圧を行うようになっている。しかし、走行状態としてはこれら4パターンだけではなく多種の状態があり、また、走行状態に応じた車両の走行音も変化する。従って特許文献2で提示されるような固定したパターンでの雑音抑圧では、充分に雑音抑圧できない場合がある。
特許文献3は、音声検出部の後段にカットオフ周波数決定部とそれに制御されるハイパスフィルタを設ける方法が記載されている。カットオフ周波数決定部は音声信号の各帯域の騒音の主体を分析する。騒音の主体が周期性騒音ならば、その帯域をカットオフ周波数としてハイパスフィルタに設定する。これにより、周期性騒音の帯域が変化しても常にそれが低減される。ランダム騒音が主体である場合は所定のカットオフ周波数に設定する。これにより、人音声帯域をカットして認識率を低下させることがない、としている。
しかし、ハイパスフィルタのカットオフ周波数が最上限の場合には、話者にもよるが音声情報の一部も影響を受ける。またある騒音下では、この一部の音声情報を欠落させても認識率が上がるとあるが、文中に「人音声の認識において重要な母音は有声音であり、その有声音は100〜300Hzの帯域に基本周波数を有する場合、周期音である。」と記載されているのに対して、実施例説明の中ではカットオフ周波数を400Hzにまで上げていることに矛盾がある。特許文献3の技術は、音声認識に必要な周波数帯域に重畳する雑音に対しては、有効ではないと考えられる。
However, when the cut-off frequency of the high-pass filter is the upper limit, a part of the voice information is also affected depending on the speaker. Under certain noise, the recognition rate may be increased even if some of the voice information is lost. However, in the sentence, “Vowels important for human speech recognition are voiced sounds, and the voiced sounds are 100 to 300 Hz. It is a periodic sound when it has a fundamental frequency in the band ”, whereas in the description of the embodiment, there is a contradiction in that the cutoff frequency is raised to 400 Hz. The technique of
本発明は、上記事情に鑑みてなされたものであり、車両の各装置のさまざまな作動状態において、音声認識率を向上するように、効果的に雑音を抑圧することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to effectively suppress noise so as to improve a speech recognition rate in various operating states of each device of a vehicle.
上記目的を達成するため、本発明の第1の観点に係る雑音抑圧装置は、車両内の話者の音声を認識するために、音声認識装置に入力される音声信号の雑音を抑圧する雑音抑圧装置であって、前記車両の内部の音響を収集するために該車両に備えられた音響信号収集手段と、前記車両の各装置の作動状態である車両状態を検出する車両状態検出手段と、前記音響信号収集手段で収集された音響信号を、収集されたときの前記車両状態に対応づけて記憶する記憶部と、前記車両状態ごとに記憶された前記音響信号を所定の期間で平均化した情報を、前記車両状態に対応づけて記憶する車両音−車両状態対比記憶部と、前記音響信号収集手段で収集された前記音響信号から、該音響信号が収集されたときの前記車両状態に対応した前記平均化された情報を差し引き抑圧する抑圧手段と、を備えることを特徴とする。 In order to achieve the above object, a noise suppression apparatus according to a first aspect of the present invention is a noise suppression apparatus that suppresses noise of a voice signal input to a voice recognition apparatus in order to recognize a voice of a speaker in a vehicle. An apparatus for collecting acoustic signals in the vehicle for collecting sound inside the vehicle, vehicle state detecting means for detecting a vehicle state as an operating state of each device of the vehicle, and A storage unit that stores the acoustic signal collected by the acoustic signal collecting unit in association with the vehicle state at the time of collection, and information obtained by averaging the acoustic signal stored for each vehicle state over a predetermined period Corresponding to the vehicle state when the acoustic signal is collected from the vehicle sound-vehicle state comparison storage unit that stores the vehicle signal in association with the vehicle state and the acoustic signal collected by the acoustic signal collecting unit. The averaged Characterized in that it comprises a suppressing means for suppressing subtracted distribution, the.
さらに、複数の前記音響信号収集手段と、前記音声認識装置で認識すべき特定の話者の位置と、前記複数の音響信号収集装手段それぞれとの距離の差に等しい位相差を有する音響信号のみを、前記音響信号から抽出する特定話者位相信号抽出手段とを備え、前記特定話者位相信号抽出手段で、前記複数の音響信号収集手段で収集した前記音響信号から、前記特定の話者と前記複数の音響信号収集手段それぞれとの距離の差に等しい位相差を有する成分を抽出することにより、前記特定の話者と前記複数の音響信号収集手段それぞれとの距離の差と異なる位相を有する音響成分を抑圧する、ことを特徴とする。 Further, only acoustic signals having a phase difference equal to a difference in distance between the plurality of acoustic signal collecting means, the position of a specific speaker to be recognized by the speech recognition apparatus, and the plurality of acoustic signal collecting means. Specific speaker phase signal extraction means for extracting from the acoustic signal, and the specific speaker phase signal extraction means, from the acoustic signals collected by the plurality of acoustic signal collection means, By extracting a component having a phase difference equal to the difference in distance from each of the plurality of acoustic signal collection means, the component has a phase different from the difference in distance between the specific speaker and each of the plurality of acoustic signal collection means. The acoustic component is suppressed.
前記車両にオーディオ装置が備えられている場合、該オーディオ装置の音響信号を前記音響信号収集装置で収集した音響信号から差し引いて、前記車両外部の音響信号とするオーディオ信号抑圧手段を備えることが好ましい。 In the case where the vehicle is provided with an audio device, it is preferable to include an audio signal suppression unit that subtracts the sound signal of the audio device from the sound signal collected by the sound signal collecting device to obtain an sound signal outside the vehicle. .
好ましくは、音響信号収集手段によって収集される音響信号を、周波数情報および/または時間軸情報としてデジタル化して処理することを特徴とする。 Preferably, the acoustic signal collected by the acoustic signal collecting means is digitized and processed as frequency information and / or time axis information.
前記車両の各装置の作動状態として、車両の速度、アクセル開度、機関回転数、加減速状態、変速機状態、ステアリング操舵角、ワイパー作動状態、エアコン作動状態、電動ファン作動状態、窓開閉状態、ホーン作動状態および前記車両に装着されたタイヤの種類のうちの任意の組み合わせを含むことができる。 As the operating state of each device of the vehicle, vehicle speed, accelerator opening, engine speed, acceleration / deceleration state, transmission state, steering steering angle, wiper operating state, air conditioner operating state, electric fan operating state, window opening / closing state Any combination of the horn operating state and the type of tire mounted on the vehicle may be included.
本発明の車載用音声認識装置の雑音抑圧装置によれば、車両の各装置のさまざまな作動状態に対応した音響情報データベース(車両音−車両状態対比記憶)を構築し、音響信号収集手段で収集された音響信号から、音響信号が収集されたときの車両の状態に対応した自車両の特徴ある車両走行音の成分を抑圧するので、車内の話者の音声のみを捉えることができる。その結果、車載用音声認識装置において音声認識率の向上が期待できる。 According to the noise suppression device of the on-vehicle speech recognition device of the present invention, an acoustic information database (vehicle sound-vehicle state comparison memory) corresponding to various operating states of each device of the vehicle is constructed and collected by the acoustic signal collecting means. Since the component of the vehicle running sound that is characteristic of the host vehicle corresponding to the state of the vehicle when the acoustic signal is collected is suppressed from the generated acoustic signal, only the voice of the speaker in the vehicle can be captured. As a result, an improvement in the speech recognition rate can be expected in the in-vehicle speech recognition apparatus.
(実施の形態1)
本発明に係る雑音抑圧装置30の一実施の形態について、図1により説明する。図1は、本発明の実施の形態1に係る雑音抑圧装置30を示すブロック図である。図1に示す雑音抑圧装置30の各部の構成を説明する。マイクロフォン1は、車内の音響を収集する音響信号収集手段である。マイクロフォン1で収集された音響信号はマイクアンプ4で増幅され、A/D変換器5でディジタル信号に変換されて、オーディオ信号抑圧部9に入力される。オーディオ信号入力部2は、車両に備えられたオーディオ装置(図示せず)のオーディオ信号を入力する。オーディオ信号は、A/D変換器6でディジタル信号に変換されて、オーディオ信号調節部8に入力される。A/D変換器5、6におけるサンプリング周波数は、音声認識するのに有効な最大周波数の数倍〜10倍とする。例えば、音響を認識するための最大周波数が10kHzである場合、サンプリング周波数を40kHz〜50kHz程度とする。
(Embodiment 1)
An embodiment of a
車両状態検出部3は、車両の各装置の作動状態を検出する。車両の各装置の作動状態としては、例えば、車両の速度、アクセル開度、機関回転数、加減速状態、変速機状態、ステアリング操舵角、ワイパー作動状態、エアコン作動状態、電動ファン作動状態、窓開閉状態、ホーン作動状態および車両に装着されたタイヤの種類などがある。車両の各装置の作動状態を検出するには、車両制御装置(図示せず)から作動状態情報を入力する。または、前記の各装置に検出器を備えて、その状態を検知する。あるいは、前記の車両の各装置の制御部から作動状態情報を入力する。車両状態検出部3で検出した車両状態情報は、オーディオ信号調節部8およびアドレス生成部10に伝達される。
The vehicle
オーディオ信号調節部8は、例えばオーディオ信号の増幅度を帯域ごとに変化することができる可変帯域フィルタから構成され、車両状態に応じて、車外の音響信号から差し引き抑圧するオーディオ信号を調節する。例えば、窓の開閉状態によって音響の反射条件が変化し、車内のオーディオ装置の音響がマイクロフォン1に回り込む大きさが変化するので、窓の開閉状態に応じて差し引き抑圧するオーディオ信号の増幅度を調節する。オーディオ信号調節部8で調節されたオーディオ信号は、オーディオ信号抑圧部9に入力される。
The audio
オーディオ信号抑圧部9は、音響信号の差分を求める減算回路とフーリエ変換回路から構成され、マイクロフォン1で収集された音響信号から、オーディオ信号調節部8で調節されたオーディオ信号を差し引き抑圧する。オーディオ信号の抑圧は、時間軸情報(音波波形)のまま差分を求めることができる。時間軸情報で音響信号からオーディオ信号を抑圧したのち、周波数情報とする。先に、音響信号とオーディオ信号をフーリエ変換して周波数情報とし、周波数情報で差分を求めてもよい。周波数情報とするには、音響信号およびオーディオ信号を一定の時間蓄積し、その一定の時間間隔ごとにフーリエ変換する。その後は、一定の時間ごとに処理を行う。
The audio
オーディオ信号が抑圧された音響信号は、記憶部11に送られて記憶される。記憶部11で記憶された音響信号は、平均化処理部12で車両状態ごとに所定の期間にわたって平均化される。音響信号の平均化は周波数ごとに行う。車両音−車両状態対比記憶部13は、平均化処理部12で車両状態ごとに音響信号が所定の期間にわたって平均化された車両音を記憶している。
The acoustic signal in which the audio signal is suppressed is sent to and stored in the storage unit 11. The acoustic signal stored in the storage unit 11 is averaged over a predetermined period for each vehicle state by the
平均化処理部12は、そのときの車両状態に対応する平均化された車両音と現在の音響信号を重み付けして平均し、その車両状態に対応する平均化された車両音として、車両音−車両状態対比記憶部13の記憶を更新する。例えばNを正の整数として、平均化された音をN−1倍し、音響信号を加算してNで除して新たな平均化された車両音とする。例えばNが100の場合、音響信号は最初に1/100になり、以後、毎回99/100になって順次、平均化された車両音への寄与率が小さくなっていく。
The averaging
平均化する方法として、車両状態が同じである所定の個数の音響信号の移動平均をとってもよい。平均化にあたって、現在の(オーディオ信号が抑圧された)音響信号と平均化された車両音の差を、現在の音響信号から差し引いて平均化してもよいが、同じ車両状態でも長期的には車両音が変化する可能性があるので、オーディオ信号が抑圧された音響信号のまま平均化してもよい。このようにすると、例えばタイヤが交換された場合や、季節変動あるいは長期的な変化にも追随することができる。 As an averaging method, a moving average of a predetermined number of acoustic signals having the same vehicle state may be taken. For averaging, the difference between the current acoustic signal (with the audio signal suppressed) and the averaged vehicle sound may be subtracted from the current acoustic signal, but it may be averaged even in the same vehicle condition in the long term. Since the sound may change, the audio signal may be averaged with the suppressed acoustic signal. In this way, for example, when a tire is replaced, it is possible to follow seasonal variations or long-term changes.
車両音−車両状態対比記憶部13は、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc Rewritable)等の不揮発性メモリから構成される。
The vehicle sound-vehicle state
図2は、車両音−車両状態対比記憶部13の構造の例を示す図である。車両状態の各項目に対してビットが割り当てられており、各ビットの0または1の状態で決まるビットパターンに対応して、平均化された車両音が格納されているアドレス(車両音格納場所)が割り当てられている。車両状態情報で各ビットが決められ、そのビットパターンに一致する行の車両音格納場所を参照して、車両状態に対応した平均化された車両音を取り出すことができる。
FIG. 2 is a diagram illustrating an example of the structure of the vehicle sound-vehicle state
車両状態としては、車両の速度(車速)、変速機の段階、アクセル開度、機関回転数、加減速状態、操舵角、ワイパー作動状態、エアコン作動状態、電動ファン作動状態、窓の開度、警笛作動状態などがある。車速としては、例えば10km/hごとに1ずつ増加する数値とする。変速機の状態は、例えば前進5段、後退1段、ニュートラルおよびパーキングを含めて8段階なので、3ビットを割り当てる。同様にして、例えばアクセル開度に3ビット、機関回転数に4ビット、加減速状態に3ビットを割り当てる。ワイパー作動は、例えば停止、間欠、連続、高速の4段階として2ビットを割り当てる。エアコン作動状態は、ヒートポンプおよび熱交換機のファンの作動と室内ファンの作動に、例えば合計3ビットを割り当てる。電動ファン作動状態に例えば2ビットを割り当てる。窓の開度としては、例えば全体として全閉を含めて8段階として、3ビットを割り当てる。窓ごとに例えば2ビットを割り当ててもよい。警笛はON/OFFしかない場合は1ビットでよい。図2の例では、車両状態は合計31ビットである。車両状態を構成する項目とそれぞれのビット数は、車両に応じて適宜、追加または変更することができる。例えば、雨滴センサの情報を追加して、降雨の強さを車両状態の1つに加えてもよい。 The vehicle state includes vehicle speed (vehicle speed), transmission stage, accelerator opening, engine speed, acceleration / deceleration, steering angle, wiper operation, air conditioner operation, electric fan operation, window opening, There is a horn operating state. For example, the vehicle speed is a numerical value that increases by 1 every 10 km / h. Since the state of the transmission is 8 stages including, for example, 5 forward stages, 1 reverse stage, neutral and parking, 3 bits are allocated. Similarly, for example, 3 bits are assigned to the accelerator opening, 4 bits are assigned to the engine speed, and 3 bits are assigned to the acceleration / deceleration state. In the wiper operation, for example, 2 bits are assigned as 4 stages of stop, intermittent, continuous, and high speed. In the air conditioner operating state, for example, a total of 3 bits are allocated to the operation of the fan of the heat pump and the heat exchanger and the operation of the indoor fan. For example, 2 bits are assigned to the operating state of the electric fan. As the opening of the window, for example, 3 bits are assigned in 8 stages including the fully closed state as a whole. For example, 2 bits may be allocated for each window. If the horn is only ON / OFF, 1 bit is sufficient. In the example of FIG. 2, the vehicle state is 31 bits in total. The items constituting the vehicle state and the number of bits can be added or changed as appropriate according to the vehicle. For example, raindrop sensor information may be added to add the strength of rain to one of the vehicle conditions.
アドレス生成部10は、車両状態に対応する平均化された車両音が記憶された車両音−車両状態対比記憶部13内のアドレスを生成し、車両音−車両状態対比記憶部13に指示する。例えば、車両状態検出部3で検出された車両状態情報から、図2の車両状態に対応する31ビットの情報を生成し、生成された31ビットの情報に対応する車両音格納場所を、図2の構造で表されるデータから取り出す。
The
アドレス生成部10で指示された車両音格納場所に格納されている車両音は、車両音−車両状態対比記憶部13から車両音抑圧部14に入力される。また、記憶部11に記憶されている音響信号が、車両音抑圧部14に入力される。車両音抑圧部14は、減算回路から構成され、音響信号から平均化された車両音を周波数成分ごとに減算する。すなわち、本実施の形態1では、車両音抑圧部14は音響信号から、そのときの車両状態に対応する平均化された車両音を抑圧する。
The vehicle sound stored in the vehicle sound storage location instructed by the
図3は、音響信号から平均化された車両音を抑圧する例を示す模式図である。図3の(a)は、車両音に音声が重畳している様子を示す。便宜的に車両音を示す下側実線と、重畳された音声を示す上側実線を分けているが、観測されるデータは上側の実線である。図3の例では、音響信号をフーリエ変換して周波数情報とした場合を示す。図3の(b)は(a)のスペクトルから車両音のスペクトルを差し引いた(抑圧した)残りで、自車両以外の音響成分を表す。このように、音響信号から車両音の成分を抑圧して、車内の音声成分を取り出すことができる。厳密には、抑圧した音響信号に車外の音響、例えば近くを走行する車両の音が含まれているが、車両の遮音特性によって軽減されている。 FIG. 3 is a schematic diagram illustrating an example of suppressing vehicle sound averaged from an acoustic signal. FIG. 3A shows a state in which sound is superimposed on the vehicle sound. For convenience, the lower solid line indicating the vehicle sound and the upper solid line indicating the superimposed sound are separated, but the observed data is the upper solid line. In the example of FIG. 3, the case where an acoustic signal is Fourier-transformed into frequency information is shown. (B) of FIG. 3 shows the acoustic component other than the own vehicle, which is the remainder obtained by subtracting (suppressing) the spectrum of the vehicle sound from the spectrum of (a). In this manner, the vehicle sound component can be suppressed from the acoustic signal, and the sound component in the vehicle can be extracted. Strictly speaking, the suppressed acoustic signal includes sound outside the vehicle, for example, the sound of a vehicle traveling nearby, which is reduced by the sound insulation characteristics of the vehicle.
音響信号から平均化された車両音を抑圧するのは、一定の時間ごとに処理を行う。一定の時間間隔は、音声認識ができる程度の短い間隔とする。すなわち、音素と音素の変化を検出できる程度の短い時間間隔で処理を行う。例えば、10ミリ秒以下、好ましくは5ミリ秒以下の時間間隔で処理を行う。 The suppression of the vehicle sound averaged from the acoustic signal is performed at regular intervals. The fixed time interval is set to a short interval that allows voice recognition. That is, processing is performed at a short time interval that can detect a change between phonemes and phonemes. For example, processing is performed at time intervals of 10 milliseconds or less, preferably 5 milliseconds or less.
車両音抑圧部14で平均化された車両音が抑圧された音響信号は、音声認識装置15に入力され、音声認識される。時間軸情報が必要な場合は、車両音抑圧部14で車両音が抑圧された音響信号の周波数情報から、その周波数成分の周波数の信号波形を合成してもよい。その場合、元の音響信号の位相情報を用いて合成波形の位相を決定する。
The acoustic signal in which the vehicle sound averaged by the vehicle
雑音抑圧装置30のうち、アドレス生成部10、オーディオ信号抑圧部9、オーディオ信号調節部8、記憶部11、平均化処理部12および車両音抑圧部14は、その全部または一部をDSP(Digital Signal Processor)で構成することができる。
Of the
次に、図1の雑音抑圧装置30の動作を、図4を参照して説明する。図4は、実施の形態1の雑音抑圧装置30の動作を示すフローチャートである。
Next, the operation of the
まず、マイクロフォン1で車内の音響信号を収集し、オーディオ信号入力部2でオーディオ信号を入力する(ステップA1)。同時に、車両状態検出部3でそのときの車両状態を入力する(ステップA2)。前述のとおり、音響信号とオーディオ信号をA/D変換器5、6でディジタル化し、オーディオ信号調節部8でオーディオ信号を車両状態に応じて調節して、オーディオ信号抑圧部9で音響信号からオーディオ信号を抑圧する(ステップA3)。オーディオ信号が抑圧された音響信号は、記憶部11に記憶される。車両状態情報から、車両状態に対応する平均化された車両音が記憶された車両音−車両状態対比記憶部13のアドレスを生成し、車両音−車両状態対比記憶部13から車両状態に対応する平均化された車両音を参照する(ステップA4)。
First, acoustic signals in the vehicle are collected by the
車両音抑圧部14で、オーディオ信号が抑圧された音響情報から、車両状態に対応する平均化された車両音を抑圧し(ステップA5)、音声認識装置15に、車両音を抑圧した音響信号を送る(ステップA6)。
The vehicle
平均化処理部12で、そのときの車両状態に対応する平均化された車両音と現在の車両音を重み付けして平均し、その車両状態に対応する平均化された車両音として、車両音−車両状態対比記憶部13の記憶を更新する(ステップA7)。ここまでの処理は所定の時間間隔(例えば5ミリ秒)ごとに行われる。そのときの車両状態以外の平均化された車両音は、その回では更新されない。
The averaging
以上の結果、車両の各装置のさまざまな作動状態に対応した音響情報データベース(車両音−車両状態対比記憶)を構築し、音響信号収集手段で収集された音響信号から、音響信号が収集されたときの車両の状態に対応した自車両の特徴ある車両走行音の成分を抑圧するので、車内の話者の音声のみを捉えることができる。その結果、車載用音声認識装置において音声認識率の向上が期待できる。 As a result, an acoustic information database (vehicle sound-vehicle state comparison memory) corresponding to various operating states of each device of the vehicle was constructed, and acoustic signals were collected from the acoustic signals collected by the acoustic signal collecting means. Since the characteristic vehicle running sound component of the host vehicle corresponding to the state of the vehicle at the time is suppressed, only the voice of the speaker in the vehicle can be captured. As a result, an improvement in the speech recognition rate can be expected in the in-vehicle speech recognition apparatus.
(実施の形態2)
本発明の異なる実施の形態2について、図5乃至図7を参照して説明する。実施の形態2では、雑音抑圧装置は複数の音響信号収集手段を備え、複数の音響信号収集手段で収集された音響信号から、音声認識装置で認識すべき特定の話者の位置と、前記複数の音響信号収集手段それぞれとの距離の差に等しい位相差を有する音響信号のみを抽出する。図5は、本発明の実施の形態2に係る音響信号収集手段の配置の例を示す車両の平面図である。図5に示すように、音響信号収集手段として例えばマイクロフォン1a、1bを、運転者の前面の2カ所に設けることができる。
(Embodiment 2)
A second embodiment of the present invention will be described with reference to FIGS. In the second embodiment, the noise suppression device includes a plurality of acoustic signal collection units, and the position of the specific speaker to be recognized by the speech recognition device from the acoustic signals collected by the plurality of acoustic signal collection units, and the plurality of the plurality of acoustic signal collection units. Only acoustic signals having a phase difference equal to the difference in distance from each of the acoustic signal collecting means are extracted. FIG. 5 is a plan view of a vehicle showing an example of the arrangement of acoustic signal collecting means according to
図6は、実施の形態2に係る雑音抑圧装置30のブロック図である。実施の形態1と比較して、マイクロフォン1a、1bが複数個(2個)になっている。音響信号は、マイクロフォン1a、1bごとにマイクアンプ4a、4bで増幅され、A/D変換器5a、5bでディジタル信号に変換される。そして、特定話者位相信号抽出部7が新たに設けられている。
FIG. 6 is a block diagram of the
特定話者位相信号抽出部7は、例えばDSPで構成される。特定話者位相信号抽出部7は、マイクロフォン1aから話者までの距離と、マイクロフォン1bから話者までの距離の差に相当する位相差を有する信号の成分を抽出する。例えば、マイクロフォン1bの信号を、マイクロフォン1aと話者との距離と、マイクロフォン1bと話者との距離の差の音波の到達時間に相当する時間だけずらして、両者の信号の相関をとる。そして相関の高い部分を抽出する。このとき、マイクロフォン1a、1bと話者との距離の比に応じて、振幅を補正する。マイクロフォン1a、1bと音声認識すべき話者、例えば運転者との距離を等しい距離にすると、話者からマイクロフォン1a、1bまでの音声の到達時間が等しいので、音響信号の時間をずらす必要がない。
The specific speaker phase
特定話者位相信号抽出部7で抽出された、マイクロフォン1aから話者までの距離と、マイクロフォン1bから話者までの距離の差に相当する位相差を有する信号を、改めて音響信号として、オーディオ信号抑圧部9に入力する。オーディオ信号抑圧以降は、実施の形態1と同様に、オーディオ信号抑圧部9でオーディオ信号を抑圧し、車両音抑圧部14で平均化された車両音を抑圧して、音声認識装置15に送る。また、平均化処理部12でそのときの車両状態に対応する平均化された車両音と現在の音響信号を重み付けして平均し、その車両状態に対応する平均化された車両音として、車両音−車両状態対比記憶部13の記憶を更新する。本実施の形態2の場合、平均化された車両音は、マイクロフォン1a、1bで収集された音響信号のうち、マイクロフォン1a、1bから話者までの距離の差と同じ位相差を有する成分になっている。
A signal having a phase difference corresponding to the difference between the distance from the
つぎに、図6の雑音抑圧装置30の動作を図7を参照して説明する。図7は、本実施の形態2の雑音抑圧装置30の動作を説明するフローチャートである。図7において、ステップB1およびステップB2は、図2のステップA1およびA2と同様に、マイクロフォン1a、1bで車内の音響信号を収集し、オーディオ信号入力部2でオーディオ信号を入力する(ステップB1)。同時に、車両状態検出部3でそのときの車両状態を入力する(ステップB2)。実施の形態2では、オーディオ信号抑圧の前に特定話者位相信号を抽出する(ステップB3)。オーディオ信号抑圧以降のステップB4〜ステップB8はそれぞれ、図4のステップA3〜A7と同様なので、説明を省略する。
Next, the operation of the
本実施の形態では、複数のマイクロフォン(音響信号収集手段)1a、1bを備え、マイクロフォン1aから話者までの距離と、マイクロフォン1bから話者までの距離の差に相当する位相差を有する信号の成分を抽出するので、それ以外の位相差を有する信号が抑圧され、不要な話者の音声と車両音が抑圧される。また、車外の音響のうち、異なる位相差の信号が抑圧されるので、実施の形態1と比較して、さらに雑音抑圧の効果がある。
In the present embodiment, a plurality of microphones (acoustic signal collecting means) 1a and 1b are provided, and a signal having a phase difference corresponding to the difference between the distance from the
つぎに、本実施の形態2の変形例について説明する。図8は、実施の形態2の異なる例を示すブロック図である。図8の雑音抑圧装置30では、図6の記憶部11、平均化処理部12および車両音抑圧手段14が、マイクロコンピュータ20で構成されている。
Next, a modification of the second embodiment will be described. FIG. 8 is a block diagram illustrating a different example of the second embodiment. In the
マイクロコンピュータ20は、制御部21、主記憶部22、外部記憶入出力部23および入出力部24から構成される。主記憶部22、外部記憶入出力部23および入出力部24はいずれも内部バス25を介して制御部21に接続されている。図8の構成では、車両音−車両状態対比記憶部13がマイクロコンピュータ20の外部記憶部になっている。
The
マイクロコンピュータの制御部21はCPU(Central Processing Unit)等から構成され、外部記憶部に記憶されているプログラムに従って、音響信号を入力し、車両音の抑圧および平均化処理を実行する。
The
主記憶部22はRAM(Random-Access Memory)等から構成され、制御部21の作業領域として用いられる。
The
車両音−車両情報対比記憶手段13を含む外部記憶部は、フラッシュメモリ、ハードディスク、DVD(Digital Versatile Disc)、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc Rewritable)等の不揮発性メモリから構成され、前記の処理を制御部21に行わせるためのプログラムを予め記憶し、また、制御部21の指示に従って、このプログラムやそのほかプログラムが利用するデータを制御部21に供給し、制御部21から供給されたデータを記憶する。外部記憶部は、車両音−車両状態対比記憶部13を含み、制御部21の指示に従って、車両状態に対応する平均化された車両音を供給し、また新たに平均化された車両音を更新して記憶する。
The external storage unit including the vehicle sound-vehicle information comparison storage means 13 includes a flash memory, a hard disk, a DVD (Digital Versatile Disc), a DVD-RAM (Digital Versatile Disc Random-Access Memory), and a DVD-RW (Digital Versatile Disc Rewritable). A program for causing the
入出力部24はシリアルインタフェース、パラレルインタフェース又はLAN(Local Area Network)インターフェースから構成されている。制御部21は、入出力部24を介して、オーディオ信号抑圧部9から音響信号を入力し、音声認識装置15に送信するデータを出力する。
The input /
実施の形態2において、雑音抑圧装置30のうち、特定話者位相信号抽出部7、オーディオ信号調節部8、オーディオ信号抑圧部9、アドレス生成部10、車両音抑圧部14は、その全部または一部をDSP(Digital Signal Processor)で構成することができる。すなわち、特定話者位相信号抽出部7、オーディオ信号調節部8、オーディオ信号抑圧部9、アドレス生成部10、マイクロコンピュータ20を含んで、DSPとしてもよい。
In the second embodiment, the specific speaker phase
マイクロコンピュータまたはDSPを用いることによって、各処理をプログラムで記述するので、時間間隔の調整や位相差などのパラメータを変更することが可能になり、異なる車両に対応することが容易になる。 Since each process is described by a program by using a microcomputer or a DSP, parameters such as time interval adjustment and phase difference can be changed, and it becomes easy to deal with different vehicles.
1、1a、1b マイクロフォン(音響信号収集手段)
2 オーディオ信号入力部
3 車両状態検出部
5、5a、5b A/D変換器
6 A/D変換器
7 特定話者位相信号抽出部
9 オーディオ信号抑圧部
11 記憶部
12 平均化処理部
13 車両音−車両状態対比記憶部
14 車両音抑圧部
15 音声認識装置
30 雑音抑圧装置
1, 1a, 1b microphone (acoustic signal collecting means)
2 Audio signal input section
3
6 A / D converter
7 Specific speaker phase signal extraction unit
9 Audio signal suppressor
11 Memory unit
12 Averaging processor
13 Vehicle sound-vehicle state comparison storage unit
14 Vehicle sound suppression part
15 Voice recognition device
30 Noise suppressor
Claims (5)
前記車両の内部の音響を収集するために該車両に備えられた音響信号収集手段と、
前記車両の各装置の作動状態である車両状態を検出する車両状態検出手段と、
前記音響信号収集手段で収集された音響信号を、収集されたときの前記車両状態に対応づけて記憶する記憶部と、
前記車両状態ごとに記憶された前記音響信号を所定の期間で平均化した情報を、前記車両状態に対応づけて記憶する車両音−車両状態対比記憶部と、
前記音響信号収集手段で収集された前記音響信号から、前記音響信号が収集されたときの前記車両状態に対応した前記平均化された情報を差し引き抑圧する抑圧手段と、
を備えることを特徴とする雑音抑圧装置。 A noise suppression device that suppresses noise in a voice signal input to a voice recognition device in order to recognize a speaker's voice in a vehicle,
Acoustic signal collecting means provided in the vehicle for collecting the sound inside the vehicle;
Vehicle state detecting means for detecting a vehicle state that is an operating state of each device of the vehicle;
A storage unit that stores the acoustic signals collected by the acoustic signal collecting unit in association with the vehicle state when collected;
A vehicle sound-vehicle state comparison storage unit that stores information obtained by averaging the acoustic signals stored for each vehicle state over a predetermined period in association with the vehicle state;
Suppression means for subtracting and suppressing the averaged information corresponding to the vehicle state when the acoustic signal is collected from the acoustic signal collected by the acoustic signal collecting means;
A noise suppression device comprising:
前記音声認識装置で認識すべき特定の話者の位置と、前記複数の音響信号収集装手段それぞれとの距離の差に等しい位相差を有する音響信号のみを、前記音響信号から抽出する特定話者位相信号抽出手段と、
を備え、
前記特定話者位相信号抽出手段で、前記複数の音響信号収集手段で収集した前記音響信号から、前記特定の話者と前記複数の音響信号収集手段それぞれとの距離の差に等しい位相差を有する成分を抽出することにより、前記特定の話者と前記複数の音響信号収集手段それぞれとの距離の差と異なる位相を有する音響成分を抑圧する、ことを特徴とする請求項1に記載の雑音抑圧装置。 A plurality of acoustic signal collecting means;
A specific speaker that extracts only an acoustic signal having a phase difference equal to a difference in distance between a position of a specific speaker to be recognized by the speech recognition apparatus and each of the plurality of acoustic signal collecting means from the acoustic signal. Phase signal extraction means;
With
The specific speaker phase signal extraction unit has a phase difference equal to a difference in distance between the specific speaker and each of the plurality of acoustic signal collection units from the acoustic signal collected by the plurality of acoustic signal collection units. The noise suppression according to claim 1, wherein an acoustic component having a phase different from a difference in distance between the specific speaker and each of the plurality of acoustic signal collecting units is suppressed by extracting the component. apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005248912A JP2007065122A (en) | 2005-08-30 | 2005-08-30 | Noise suppressing device of on-vehicle voice recognition device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005248912A JP2007065122A (en) | 2005-08-30 | 2005-08-30 | Noise suppressing device of on-vehicle voice recognition device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007065122A true JP2007065122A (en) | 2007-03-15 |
Family
ID=37927436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005248912A Pending JP2007065122A (en) | 2005-08-30 | 2005-08-30 | Noise suppressing device of on-vehicle voice recognition device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007065122A (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012215715A (en) * | 2011-03-31 | 2012-11-08 | Fujitsu Ltd | Noise estimation device and noise estimation program |
WO2015029362A1 (en) * | 2013-08-29 | 2015-03-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Device control method and device control system |
WO2018038379A1 (en) * | 2016-08-26 | 2018-03-01 | 삼성전자 주식회사 | Electronic device for voice recognition, and control method therefor |
CN108172220A (en) * | 2018-02-22 | 2018-06-15 | 成都启英泰伦科技有限公司 | A kind of novel voice denoising method |
US11820302B2 (en) | 2018-12-11 | 2023-11-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle noise reduction for vehicle occupants |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07146698A (en) * | 1993-11-24 | 1995-06-06 | Toyota Motor Corp | Voice recognizing device for vehicle |
JP2000029500A (en) * | 1998-07-08 | 2000-01-28 | Denso Corp | Noise suppressing apparatus and voice recognizing system using the apparatus |
JP2000047699A (en) * | 1998-07-31 | 2000-02-18 | Toshiba Corp | Noise suppressing processor and method therefor |
JP2000231399A (en) * | 1999-02-10 | 2000-08-22 | Oki Electric Ind Co Ltd | Noise reducing device |
JP2000321080A (en) * | 1999-05-13 | 2000-11-24 | Denso Corp | Noise suppressor, voice recognizer and car navigation system |
JP2000347688A (en) * | 1999-06-09 | 2000-12-15 | Mitsubishi Electric Corp | Noise suppressor |
JP2001296887A (en) * | 2000-04-14 | 2001-10-26 | Toyota Central Res & Dev Lab Inc | Voice recognition method and voice recognition device using the method |
JP2002351488A (en) * | 2001-05-28 | 2002-12-06 | Matsushita Electric Ind Co Ltd | Noise canceller and on-vehicle system |
-
2005
- 2005-08-30 JP JP2005248912A patent/JP2007065122A/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07146698A (en) * | 1993-11-24 | 1995-06-06 | Toyota Motor Corp | Voice recognizing device for vehicle |
JP2000029500A (en) * | 1998-07-08 | 2000-01-28 | Denso Corp | Noise suppressing apparatus and voice recognizing system using the apparatus |
JP2000047699A (en) * | 1998-07-31 | 2000-02-18 | Toshiba Corp | Noise suppressing processor and method therefor |
JP2000231399A (en) * | 1999-02-10 | 2000-08-22 | Oki Electric Ind Co Ltd | Noise reducing device |
JP2000321080A (en) * | 1999-05-13 | 2000-11-24 | Denso Corp | Noise suppressor, voice recognizer and car navigation system |
JP2000347688A (en) * | 1999-06-09 | 2000-12-15 | Mitsubishi Electric Corp | Noise suppressor |
JP2001296887A (en) * | 2000-04-14 | 2001-10-26 | Toyota Central Res & Dev Lab Inc | Voice recognition method and voice recognition device using the method |
JP2002351488A (en) * | 2001-05-28 | 2002-12-06 | Matsushita Electric Ind Co Ltd | Noise canceller and on-vehicle system |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012215715A (en) * | 2011-03-31 | 2012-11-08 | Fujitsu Ltd | Noise estimation device and noise estimation program |
WO2015029362A1 (en) * | 2013-08-29 | 2015-03-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | Device control method and device control system |
US9418665B2 (en) | 2013-08-29 | 2016-08-16 | Panasonic Intellectual Property Corporation Of America | Method for controlling device and device control system |
JPWO2015029362A1 (en) * | 2013-08-29 | 2017-03-02 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | Device control method and device control system |
WO2018038379A1 (en) * | 2016-08-26 | 2018-03-01 | 삼성전자 주식회사 | Electronic device for voice recognition, and control method therefor |
KR20180023702A (en) * | 2016-08-26 | 2018-03-07 | 삼성전자주식회사 | Electronic Apparatus for Speech Recognition and Controlling Method thereof |
US11087755B2 (en) | 2016-08-26 | 2021-08-10 | Samsung Electronics Co., Ltd. | Electronic device for voice recognition, and control method therefor |
KR102515996B1 (en) * | 2016-08-26 | 2023-03-31 | 삼성전자주식회사 | Electronic Apparatus for Speech Recognition and Controlling Method thereof |
CN108172220A (en) * | 2018-02-22 | 2018-06-15 | 成都启英泰伦科技有限公司 | A kind of novel voice denoising method |
CN108172220B (en) * | 2018-02-22 | 2022-02-25 | 成都启英泰伦科技有限公司 | Novel voice denoising method |
US11820302B2 (en) | 2018-12-11 | 2023-11-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Vehicle noise reduction for vehicle occupants |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4134989B2 (en) | Automotive audio equipment | |
KR100870889B1 (en) | Sound signal processing method, sound signal processing apparatus and recording medium | |
JP4742750B2 (en) | Outside car sound processor | |
US20060031067A1 (en) | Sound input device | |
JP2001056693A (en) | Noise reduction device | |
JP2012025270A (en) | Apparatus for controlling sound volume for vehicle, and program for the same | |
JP2007065122A (en) | Noise suppressing device of on-vehicle voice recognition device | |
JP2006227499A (en) | Device for speech recognition | |
US9002030B2 (en) | System and method for performing voice activity detection | |
JP5445853B2 (en) | Approach notification device and program | |
JP2008070878A (en) | Voice signal pre-processing device, voice signal processing device, voice signal pre-processing method and program for voice signal pre-processing | |
JP2000330597A (en) | Noise suppressing device | |
JP4016529B2 (en) | Noise suppression device, voice recognition device, and vehicle navigation device | |
JP3900691B2 (en) | Noise suppression apparatus and speech recognition system using the apparatus | |
JP2006166110A (en) | In-vehicle audio equipment | |
JP2008070877A (en) | Voice signal pre-processing device, voice signal processing device, voice signal pre-processing method and program for voice signal pre-processing | |
JP2000163099A (en) | Noise eliminating device, speech recognition device, and storage medium | |
JP2001215992A (en) | Voice recognition device | |
JP3350106B2 (en) | Voice recognition device | |
JP2011207251A (en) | Sound output control device, sound output control method, and the like | |
JP2007163336A (en) | Vehicle noise sound detector and method for detecting vehicle noise sound | |
JP2001296887A (en) | Voice recognition method and voice recognition device using the method | |
CN115938389B (en) | Volume compensation method and device for in-vehicle media source and vehicle | |
JP2024013918A (en) | Sound control device and sound control method | |
EP3669356A1 (en) | Low complexity detection of voiced speech and pitch estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080723 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110617 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110726 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110922 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111122 |