JP2019174757A - 音声認識装置 - Google Patents

Abstract

【課題】環境音が急激に変化しても精度よくノイズ除去を行うことができる音声認識装置を提供する。【解決手段】音声認識装置１０は、第１取得部１１と、第２取得部１２と、音声処理部２０とを含む。第１取得部１１は、音声認識の対象となる音声および音声認識に不要な環境音を含む音響信号を取得する。音声処理部２０は、音響信号に基づいて環境音を学習し、環境音の学習結果に基づいて、音響信号に含まれる環境音を低減し、音声認識を行う。第２取得部１２は、環境音が変化する予兆に関連する情報を取得する。音声処理部２０は、第２取得部１２から取得される情報に基づいて所定の条件を満たす環境音の変化の予兆を検知したとき、環境音の学習を一時的に停止する。【選択図】図１

Description

本発明は、音声認識装置に関する。

音声処理において、処理対象となる音声に含まれる周辺のノイズを、ノイズキャンセル信号を生成することにより低減する技術が知られている。ノイズキャンセル信号を生成するにあたっては、ノイズの学習を行いノイズに含まれる周波数成分を算出し、処理対象となる音声から除去することが行われている。しかし、周辺のノイズが短時間で変化する場合には、ノイズの学習速度がノイズの変化に追随することが困難になることがある。そこで、車載用の音声認識装置において、周辺の交通状況を映像として取得し、取得した交通状況に基づいてノイズの学習速度を変更する音声認識装置が提案されている（例えば、特許文献１参照）。

特開２０１７−１３８４１６号公報

特許文献１の技術は、ノイズの学習速度を速くすることによって、周辺のノイズである環境音の変化に追随できることを前提としている。しかしながら、音声認識装置の学習速度が最も速い場合でも追随ができないほど短時間に、急激な環境音の変化が起きることがある。その場合、音声認識装置が、変化中の環境音を取り込んで学習を行うと、再び学習結果が収束するまで、精度の高いノイズキャンセル信号が得られず、音声認識の成功率が低下することが生じうる。

かかる事情に鑑みてなされた本発明の目的は、環境音が急激に変化しても精度よくノイズ除去を行うことができる音声認識装置を提供することにある。

上記課題を解決する本開示の一実施形態に係る音声認識装置は、音声認識の対象となる音声および音声認識に不要な環境音を含む音響信号を取得する第１取得部と、前記音響信号に基づいて前記環境音を学習し、該環境音の学習結果に基づいて、前記音響信号に含まれる前記環境音を低減し、音声認識を行う音声処理部と、前記環境音が変化する予兆に関連する情報を取得する第２取得部と、を備え、前記音声処理部は、前記第２取得部から取得される前記情報に基づいて所定の条件を満たす環境音の変化の予兆を検知したとき、前記環境音の学習を一時的に停止することを特徴とするものである。

本発明によれば、環境音が急激に変化しても精度よくノイズ除去を行うことができる音声認識装置を提供することができる。

本発明の一実施形態に係る音声認識装置の概略構成を示すブロック図である。 図１の音声認識装置の処理の一例を示すフローチャートである。

以下、本開示の一実施形態について、図面を参照して説明する。

（音声認識装置の構成）
図１は、本発明の一実施形態に係る音声認識装置１０の概略構成を示すブロック図である。音声認識装置１０は、人の話す音声を取得し発話内容を認識し、認識結果を出力する。音声認識装置１０は、例えば車両に搭載することができる。本願において、車両には乗用車、トラック、バス、大型・小型特殊自動車等を含むが、これらに限られない。音声認識装置１０を車両に搭載する場合、音声認識装置１０は、ダッシュボードの中、および、車室内の天井等を含む種々の場所に配置することができる。音声認識装置１０は、第１取得部１１、第２取得部１２および音声処理部２０を含んで構成される。

第１取得部１１は、音声認識装置１０の外部から音声認識の対象となる音声を取得する。第１取得部１１は、音声認識の対象となる音声に加え、音声認識に不要な周辺のノイズである環境音を不可避的に取得する。第１取得部１１は、音声および環境音を取得して、音響信号として音声処理部２０に出力する。本願において、「音響信号」は種々の音を表す信号である。これに対して、「音声」は、人の発話による音を意味する。

第１取得部１１は、マイクを用いることができる。マイクは音を電気信号に変換する。第１取得部１１は、さらに電気信号を増幅するアンプおよびアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を含んでよい。マイクは、音声認識装置１０に内蔵することができる。第１取得部１１がマイクであるとき、第１取得部１１は音声を入力する利用者の口が通常位置する方向に向けて配置しうる。第１取得部１１を構成するマイクは、指向性を有してよい。

第１取得部１１は、音声認識装置１０の外部から送信される音響信号の入力を受ける入力インタフェースを有することができる。入力インタフェースには、有線インタフェースおよび無線インタフェースが含まれる。有線インタフェースには、アナログ音声端子、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、ＩＥＥＥ８０２．３、ＵＳＢ（Universal Serial Bus）、ＩＥＥＥ１３９４等を含む種々の規格に準拠する通信インタフェースを含む。無線インタフェースには、Bluetooth（登録商標）、ＩＥＥＥ８０２．１１等に準拠する通信インタフェースを含む。第１取得部１１が入力インタフェースを含むとき、第１取得部１１は、音声認識装置１０の外部に配置したマイクからの音響信号を受信することができる。第１取得部１１に接続されるマイクは、音声を入力する利用者の口が通常位置する方向に向けて配置しうる。

第２取得部１２は、環境音が変化する予兆に関連する情報を、周辺情報提供装置３０から取得する。予兆とは、未来に発生する事象を示す現象を意味する。特に、本願における予兆は、数秒以内の近未来に発生する事象を示す現象を意味する。第２取得部１２は、周辺情報提供装置３０から情報を取得する有線インタフェースまたは無線インタフェースを含む。周辺情報提供装置３０は、音声処理部２０が環境音の急激な変化の予兆を検知するための判断材料となる情報を提供する。音声認識装置１０が車両に搭載される場合、周辺情報提供装置３０は、車両に搭載される種々の装置とすることができる。この場合、音声認識装置１０は、ＣＡＮ（Controller Area Network）等の車載ネットワークを介して、周辺情報提供装置３０からの情報を取得してよい。

音声認識装置１０が車両に搭載される場合、周辺情報提供装置３０は、ドアセンサ３１、ブラインドスポットモニタ３２、フロントカメラ３３、および、顔認識カメラ３４のうち幾つかを含むことができる。

ドアセンサ３１は、車両のドアのヒンジから離れた位置に設置された加速度センサを用いることができる。加速度センサには、機械的変位測定方式、光学的方式、半導体方式等種々の方式のものが含まれるが、加速度センサはこれらに限られない。半導体方式の加速度センサとしては、ピエゾ抵抗型、静電容量型、ガス温度分布型等種々のタイプの加速度センサが含まれるが、半導体方式の加速度センサはこれらに限られない。ドアセンサ３１はドアの加速度からドア閉め開始を検知する。ドア閉めの開始は、ドア閉めによる急激な環境音の変化が発生する予兆となりうる。

ブラインドスポットモニタ３２は、自車両の後ろ側方を走る他車両を検出するレーダセンサを用いることができる。レーダセンサとしては、ミリ波レーダを採用しうる。ブラインドスポットモニタ３２により、自車両の走行車線に隣接する走行車線を通る他車両が接近中であることを検知することができる。隣接する斜線を通り接近する他車両があることは、他車両が自車両を追い越す際に急激な環境音の変化が発生する予兆となりうる。なお、ブラインドスポットモニタ３２として、レーダセンサの代わりにカメラを配置して、画像認識により隣接する走行車線を通る他車両を検出することも可能である。

フロントカメラ３３は、車両の前方を監視するカメラである。フロントカメラ３３は、車両のフロントバンパー、ダッシュボード上、または、ウィンドシールドの上部等に設置することができる。フロントカメラ３３は、対向車線上を走行する車両の接近を監視する。距離をより正確に計測するため、フロントカメラ３３は、同一の方向に光軸を向けて水平方向に離れて配置された２台のカメラを有するステレオカメラとしてもよい。フロントカメラ３３の映像は、対向車両が接近してくるとき、すれ違いの際に急激な環境音の変化が発生する予兆となりうる。

顔認識カメラ３４は、運転者の顔を撮像するカメラである。顔認識カメラ３４は、撮像した運転者の顔の画像から顔の変化を認識する。顔認識カメラ３４は、運転者の瞼の開き具合、目、鼻、口等の位置関係、および顔の向き等の何れか１つ以上を認識することができる。顔認識カメラ３４により、運転者の顔の表情が歪んだ映像が撮像された場合、その映像は、くしゃみにより急激な環境音の変化が発生する予兆となりうる。

周辺情報提供装置３０は、ドアセンサ３１、ブラインドスポットモニタ３２、フロントカメラ３３、および、顔認識カメラ３４に限られず、種々の装置を含むことができる。例えば、周辺情報提供装置３０は、運転者によるクラクションの操作を直前に検知する装置等が含まれうる。

音声処理部２０は、第１取得部１１により取得される音響信号に基づいて環境音を学習し、環境音の学習結果に基づいて、音響信号に含まれる環境音を低減する。音声処理部２０は、音響信号から環境音を低減して得られた音声に対して音声認識を行う。音声処理部２０は、第２取得部１２から取得される周辺情報提供装置３０からの情報に基づいて所定の条件を満たす環境音の変化の予兆を検知したとき、環境音の学習を一時的に停止する。

所定の条件を満たす環境音の変化とは、例えば、予め定めた時間内で発生および終了する予め定めた値以上の音圧の変化を意味する。予め定めた時間とは、後述する学習部２２による学習が追随できない程度の時間である。予め定めた音圧は、例えば、過去の一定期間の環境音の平均値に対して所定倍率を乗じて規定することができる。所定の条件は上述のものに限られず、種々の条件設定が可能である。所定の条件を満たす環境音の変化は、急激な環境音の変化であるということができる。

音声処理部２０は、単一の、または、複数のプロセッサを含んで構成される。プロセッサには、特定のプログラムを読み込ませることにより、プログラムされた機能を実行する汎用プロセッサおよび、特定の処理に特化した専用プロセッサが含まれる。専用プロセッサとしては、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field-Programmable Gate Array）等を採用しうる。プロセッサは、演算中の情報を記憶するための１つまたは複数のメモリを有することができる。メモリは、ＲＯＭ（read only memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ、磁気ディスク、光学ディスク等を含みうる。

音声処理部２０は、音声認識部２１、学習部２２、ノイズキャンセル信号生成部２３、ノイズ低減部２４、予兆検知部２５、学習停止／再開制御部２６、環境音変化検出部２７の各機能ブロックを含みうる。音声処理部２０を構成する各部の機能は、音声処理部２０に含まれる１つまたは複数のプロセッサにより実行される。

音声認識部２１は、第１取得部１１からノイズ低減部２４を介して取得した音響信号に基づいて音声認識処理を行い、音声認識結果を出力する。音声認識結果は、例えばテキストデータとして出力される。または、音声認識結果は、実行するコマンド、複数の選択肢の一つを示す符号等として出力されてもよい。音声認識処理には、種々の公知の技術を採用することができる。具体的には、音声認識部２１は、短い時間区間ごとに音声信号に対して周波数分析を行うことにより、特徴量を抽出する。音声認識部２１は、抽出した特徴量の時系列のパターンに対して、隠れマルコフモデルなどの音響モデルにより音を識別する。さらに、音声認識部２１は、発話辞書およびＮ−ｇｒａｍ等の言語モデルを用いて、蓄積されている単語の中から最も妥当な単語を選択する。音声認識部２１は、音声認識処理プログラムを実行する音声認識エンジンと、音声およびテキストのデータベースとを含む。音声認識部２１は、音声およびテキストのデータベースとして、ネットワークで接続された車両外部のデータベースを使用してもよい。

学習部２２、ノイズキャンセル信号生成部２３およびノイズ低減部２４は、音声認識部２１で音声認識処理の対象となる音響信号に含まれる環境音を低減することができる。環境音の低減には、例えば、スペクトルサブトラクション法等の公知の方法を用いることができる。音声認識部２１は、環境音を低減した音響信号について音声認識処理を行う。

学習部２２は、第１取得部１１から取得した音響信号を対象として、ノイズキャンセル信号生成部２３でノイズキャンセル信号を生成するために必要となる学習を行う。例えば、音声処理部２０においてスペクトルサブトラクション法を用いたノイズ除去をする場合、学習部２２は、第１取得部１１から取得した音響信号に基づいて、環境音に含まれる周波数成分を分析する。学習部２２は、環境音を音響信号から除去または低減するための周波数成分と減算量を算出する。学習部２２は、周波数成分と減算量とを、自己相関や適応フィルタを用いて学習することができる。

ノイズキャンセル信号生成部２３は、学習部２２で推定された環境音の周波数成分と減算量に基づいて、音響信号から環境音を減算するために用いられるノイズキャンセル信号を生成する。

ノイズ低減部２４は、ノイズキャンセル信号生成部２３からノイズキャンセル信号を受信して、第１取得部１１から取得した音響信号に含まれる環境音を低減する。

予兆検知部２５は、周辺情報提供装置３０から第２取得部１２を介して取得した周辺情報に基づいて、環境音の急激な変化の予兆を検知する。例えば、予兆検知部２５は、ドアセンサ３１からドアが加速していることを示す信号を受信したとき、ドア閉めの音が発生する予兆として検知することができる。また、予兆検知部２５は、ブラインドスポットモニタ３２から、隣接車線を接近する他車両が有ることを示す信号を受信したとき、他車両が自車両を追い越す際に急激な音の変化が発生する予兆として検知することができる。予兆検知部２５は、フロントカメラ３３から対向車両の接近を示す映像を受信したとき、対向車両とのすれ違いの際に急激な音の変化が発生する予兆として検知することができる。なお、対向車両の映像から対向車両の接近を判定する処理は、他の画像処理用のモジュールまたはフロントカメラ３３側で実行してもよい。さらに、予兆検知部２５は、顔認識カメラ３４から運転者の顔映像に基づき運転者がくしゃみをする直前であることを示す信号を受信したとき、運転者のくしゃみにより急激な音の変化が発生する予兆として検知することができる。予兆検知部２５は、急激な音の変化が発生する予兆を検知したとき、学習の停止を指示する停止信号を学習停止／再開制御部２６に送信する。

学習停止／再開制御部２６は、学習部２２を制御して、音響信号に基づく環境音の学習を一時的に停止し、または、停止中の学習を再開させることができる。学習停止／再開制御部２６は、予兆検知部２５から停止信号を受信したとき、学習部２２による学習を停止させる。学習停止／再開制御部２６は、学習部２２による学習を停止させると同時に、環境音変化検出部２７に学習部２２による学習が停止状態であることを通知する。学習停止／再開制御部２６は、環境音変化検出部２７から、学習を再開すべきことを示す信号を受信したとき、学習部２２に音響信号に基づく環境音の学習を再開させる。

環境音が、エンジン音、道路とタイヤとの間に生じる摩擦音、車両の風切りにより生じる音、雨が車体に当たる音等のように、継続的に発生するノイズの場合は、上述のような学習によりノイズ成分を推定して、音響信号からノイズ成分を低減することができる。しかし、継続時間が短く且つ音圧の変化が大きいノイズが発生する場合は、学習速度がノイズの変化に追随することができず、ノイズを低減する効果が得られにくくなる。さらに、急激に変化する大きなノイズが発生しているとき、学習部２２による学習を行うと、環境音が定常状態に戻ったとしても学習結果が異常値を示し、これが定常状態に戻るまでに時間を要する。

このため、本実施の形態に係る音声認識装置１０では、予兆検知部２５により急激な環境音の変化が発生する予兆を検知したとき、学習停止／再開制御部２６が、学習部２２による環境音の学習を一時的に停止させる。これにより、瞬間的に大きな音が発生した場合は、それによって第１取得部１１から得られる音響信号を、学習部２２における学習の対象から除外する。

環境音変化検出部２７は、学習停止／再開制御部２６により学習部２２の学習が停止されているとき、第１取得部１１から取得される音響信号を監視する。環境音変化検出部２７は、音響信号が急激に変化した後、時間的な変化の小さい定常状態に戻ったとき、学習停止／再開制御部２６に対して、学習を再開すべきことを示す信号を送信する。この場合は、環境音の急激な変化が発生し終了したと判断される。環境音変化検出部２７は、学習停止／再開制御部２６により学習部２２の学習が停止された後、所定時間経過後までに急激な音響信号の変化がないとき、学習停止／再開制御部２６に対して、学習を再開すべきことを示す信号を送信する。この場合は、予兆検知部２５で検知された予兆に反し、環境音の急激な変化が発生しなかったと判断される。所定時間は、検知された予兆の種類によって異なりうる。所定時間は、０．５秒、１秒、３秒、または５秒等の種々の時間を設定しうる。

（音声処理のフロー）
以下に、音声認識装置１０の音声処理部２０が実行する音声認識処理のフローを、図２を用いて説明する。本明細書で開示される方法は、音声処理部２０に含まれるプロセッサがプログラムに従って実行することができる。そのようなプログラムは、非一時的なコンピュータ可読媒体において記憶されることが可能である。非一時的なコンピュータ可読媒体の例としては、ハードディスク、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＣＤ−ＲＯＭ、光記憶デバイス、磁気記憶デバイス等を含むが、これらに限定されない。

音声認識装置１０は、利用者の指示により、または、音声認識装置１０を利用する他の装置からの起動信号により、音声認識処理を開始する（ステップＳ０１）。例えば、利用者は、音声認識装置１０に設けられた認識開始を指示するボタンを押すことにより、音声認識処理を開始させることができる。または、利用者は音声認識装置１０の第１取得部１１に音声を入力するマイクに対して、予め定められた音声認識の開始を指示するキーワードを発声することにより、音声認識処理を開始させることができる。音声認識処理が開始されると、音声処理部２０は、第１取得部１１から、音響信号を継続的に取得する。また、音声認識部２１は、音響信号に基づく音声認識を継続的に実行する。

音声認識処理の開始と前後して、音声処理部２０は、ノイズ低減処理を開始する（ステップＳ０２）。すなわち、音声処理部２０は、学習部２２、ノイズキャンセル信号生成部２３、予兆検知部２５、学習停止／再開制御部２６および環境音変化検出部２７の実行する以下の処理を開始させる。

次に、音声処理部２０は、予兆検知部２５により環境音が急激に変化する予兆があるか否かを検知する（ステップＳ０３）。予兆検知部２５は、前述のように、周辺情報提供装置３０から取得した周辺情報に基づいて、環境音が急激に変化する予兆の有無を検出する。

環境音が急激に変化する予兆が無い場合（ステップＳ０３：Ｎｏ）、音声処理部２０は、学習部２２により、第１取得部１１で取得した音響信号に含まれる環境音を学習する（ステップＳ０４）。学習部２２は、例えば、環境音に含まれる周波数成分を推定する。学習部２２による学習は、学習停止／再開制御部２６による停止の指示が無い限り継続的に行われる。学習部２２は、学習の結果をノイズキャンセル信号生成部２３に受け渡す。

学習部２２による学習結果に基づいて、ノイズキャンセル信号生成部２３は、ノイズキャンセル信号を生成する（ステップＳ０５）。ノイズキャンセル信号生成部２３は、ノイズキャンセル信号をノイズ低減部２４に出力する。

ノイズ低減部２４は、ノイズキャンセル信号に基づいて、音響信号に含まれる環境音を低減する（ステップＳ０６）。ノイズ低減部２４は、最新のノイズキャンセル信号に基づいて環境音の低減を行う。ノイズ低減部２４は、ノイズキャンセル信号生成部２３から新たなノイズキャンセル信号を受信しない限り、同じノイズキャンセル信号を継続して使用することができる。音声認識部２１は、環境音が低減された音響信号に基づいて音声認識処理を行う。

音声認識部２１が、音声認識処理が終了したと判断すると（ステップＳ０７：Ｙｅｓ）、音声処理部２０は音声認識処理を終了する。音声認識部２１が音声認識処理を継続するとき（ステップＳ０７:Ｎｏ）、ステップＳ０３以降の処理が繰り返される。

ステップＳ０３からステップＳ０６の処理を繰り返すことにより、順次ノイズキャンセル信号が更新される。これにより、環境音が徐々に変化していく場合は、時間的な変化に対応して環境音の低減を行うことができる。

ステップＳ０３において、環境音が急激に変化する予兆がある場合（ステップＳ０３：Ｙｅｓ）、音声処理部２０は、学習部２２による学習を一時停止する（ステップＳ０８）。より具体的には、予兆検知部２５が、環境音の急激な変化の予兆を検知すると、学習停止／再開制御部２６が、学習部２２の学習を停止させる。

学習部２２による学習の停止後、音声処理部２０の環境音変化検出部２７は、環境音の変化を監視する（ステップＳ０９）。環境音変化検出部２７は、環境音の変化に基づいて、学習部２２における学習を再開してよいか否かを判断する。環境音変化検出部２７は、学習を再開してよいと判断されない限り（ステップＳ１０：Ｎｏ）、環境音の変化の監視を続ける（ステップＳ０９）。

環境音変化検出部２７が学習を再開してよいと判断した場合（ステップＳ１０:Ｙｅｓ）、音声処理部２０は、学習停止／再開制御部２６により学習部２２に対して学習を再開させる（ステップＳ１１）。

ステップＳ１１において学習部２２の学習が再開されると、音声処理部２０はステップＳ０４以降の処理を引き続き実行することができる。

学習部２２が学習を停止している間、ノイズキャンセル信号生成部２３は、ノイズキャンセル信号を送信しない。ノイズ低減部２４は、最後にノイズキャンセル信号生成部２３が生成したノイズキャンセル信号に従って、環境音の低減を行うことができる。学習部２２は、学習を停止しているとき、学習を停止する直前の学習内容を保持する。学習部２２は、学習を再開したとき、学習を停止する直前の状態から学習を再開することができる。このため、学習を停止している間に急激な環境音の変化が発生していたとしても、学習部２２は、その間の環境音の変化による影響を排除して環境音の学習を行うことができる。

以上説明したように、本実施形態によれば、予兆検知部２５が、周辺情報に基づいて所定の環境音の急激な変化の予兆を検知したとき、学習部２２が環境音の学習を一時的に停止する。このため、より好ましい条件のときのみ学習を行うので、環境音が急激に変化した後でも精度よくノイズ除去を行うことができる。また、本実施形態によれば、音声認識装置１０は、周辺の交通状況のみならず、ドア閉め、運転者の状態等の自車両において発生する環境音をも対象として、環境音の急激な変化の予兆を検出することが可能になる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、音声処理部２０を構成する各機能ブロックは、図１に図示したものに限られない。図１に図示した各機能ブロックは、複数のブロックを１つに統合すること、１つのブロックを複数に分解すること、複数のブロック間で組み換えを行うこと等、本発明の範囲内で種々の変更が可能である。また、図２に示した音声認識処理の手順は、本発明の範囲内で順序を変更しまたは組み代えを行うことが可能である。

１０ 音声認識装置
１１ 第１取得部
１２ 第２取得部
２０ 音声処理部
２１ 音声認識部
２２ 学習部
２３ ノイズキャンセル信号生成部
２４ ノイズ低減部
２５ 予兆検知部
２６ 学習停止／再開制御部
２７ 環境音変化検出部
３０ 周辺情報提供装置
３１ ドアセンサ
３２ ブラインドスポットモニタ
３３ フロントカメラ
３４ 顔認識カメラ

Claims (1)

1. 音声認識の対象となる音声および音声認識に不要な環境音を含む音響信号を取得する第１取得部と、
   前記音響信号に基づいて前記環境音を学習し、該環境音の学習結果に基づいて、前記音響信号に含まれる前記環境音を低減し、音声認識を行う音声処理部と、
   前記環境音が変化する予兆に関連する情報を取得する第２取得部と、
   を備え、
   前記音声処理部は、前記第２取得部から取得される前記情報に基づいて所定の条件を満たす環境音の変化の予兆を検知したとき、前記環境音の学習を一時的に停止する、音声認識装置。

Images