JP2006285103A - 音声認識装置および方法 - Google Patents

Abstract

【課題】 複数のマイクで集音して音声認識を行う場合に音声認識性能を向上させる。
【解決手段】 人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクと、人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクとで集音した音声を音声認識用の言語辞書を用いて認識する場合に、接触型マイクへの人体の接触を検知し、接触型マイクへの人体の接触が検知されると、言語辞書の中の接触型マイク用として予め設定した言葉のみを用いて接触型マイクにより集音した音声の認識処理を行う。
【選択図】 図６

Description

本発明は、複数の音声集音用マイクロフォン（以下、単にマイクという）を用いた音声認識装置および音声認識方法に関する。

携帯電話機の両面にそれぞれマイクを設け、出力音声レベルの高い方のマイクを選択して音声を集音するようにした音声入力装置が知られている（例えば、特許文献１参照）。

この出願の発明に関連する先行技術文献としては次のものがある。
特開２００４−２０１０１５号公報

しかしながら、使用環境の変化にともなってそれぞれのマイクへ混入する雑音レベルが複雑に変化すると、出力音声レベルの高いマイクを選択すること自体が難しくなるため、上述した従来の音声入力装置により集音して音声認識処理を行うと音声認識性能が低下するという問題がある。

人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクと、人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクとで集音した音声を音声認識用の言語辞書を用いて認識する場合に、接触型マイクへの人体の接触を検知し、接触型マイクへの人体の接触が検知されると、言語辞書の中の接触型マイク用として予め設定した言葉のみを用いて接触型マイクにより集音した音声の認識処理を行う。

本発明によれば、複数のマイクで集音して音声認識を行う場合に音声認識性能を向上させることができる。

本願発明の音声認識装置を車両に搭載して乗員、特に運転者の発話音声を認識する一実施の形態を説明する。なお、本願発明の音声認識装置は車両用に限定されず、あらゆる用途に適したものである。

《発明の第１の実施の形態》
図１は第１の実施の形態の構成を示す。非接触型マイク１は、乗員の発話音声の空気伝導音を集音して電気信号に変換するマイクであり、乗員の人体に接触させることなく発話音声を集音する。非接触型マイク１には、エレクトレットコンデンサマイク（ＥＣＭ）などの一般的な形式のマイクを用いることができる。

この一実施の形態では、図２に示すように、非接触型マイク１を車室天井に設置されたマップランプ２１の近傍に設置する。なお、非接触型マイク１の設置場所はこの一実施の形態の設置場所に限定されず、例えばステアリングホイールやインストルメントパネルなど、乗員の発話音声を集音可能な場所であればどこでもよい。

接触型マイク２〜４は、乗員の皮膚に直接、あるいは比較的薄い衣服を介して接触させ、乗員の発話による体内伝導音を集音して電気信号に変換するマイクである。この一実施の形態では接触型マイク２〜４にＮＡＭ（Non-Audible Murmur）マイクを用いた例を示す。

ＮＡＭマイクは、人体の皮膚に直接、接触させるか、または比較的薄い衣服を介して皮膚に接触させ、人の発話音声の体内伝導音を集音するマイクであり、日本音響学会講演論文集、２００４年３月、pp４５２〜４５３などに紹介されている。ＮＡＭマイクは、人間の皮膚と音響インピーダンスがよく似たシリコーンなどの材料でエレクトレット膜をコーティングして形成され、特に１０００Ｈｚ以下の周波数領域におけるＳ／Ｎ特性が一般的な非接触型マイクよりも優れ、人間の非可聴な“つぶやき”や“独り言”を集音することができるという特徴を有している。

シート部接触型マイク２は、運転席パワーシートを音声操作してスライド量、リフト量、リクライニング量、ランパーサポート量などを調節するためのパワーシート専用の接触型マイクである。シート部接触型マイク２はシートマイク接触検知センサー６と一体に形成し、図３に示すように、運転席シートのヘッドレスト２２の運転者の後頭部が接触する位置に設置する。

シートマイク接触検知センサー６は運転者の後頭部がシート部接触型マイク２に接触すると抵抗値が変化し、これにより運転者の後頭部がシート接触型マイク２に接触したことを検知する。なお、シート部接触型マイク２とシートマイク接触検知センサー６を、シートバック２３の表面上部の運転者の背中上部が接触する位置に設置してもよい。

ステアリング部接触型マイク３は、エアーコンディショナーを音声操作して外気導入／内気循環切り換え、吹き出し温度、風量、吹き出し口などを調節するためのエアコン専用の接触型マイクである。ステアリング部接触型マイク３はステアリングマイク接触検知センサー７と一体に形成し、図４に示すように、ステアリングホイール２４のスポーク部に設置する。

ステアリングマイク接触検知センサー７は運転者の手（指）がステアリング部接触型マイク３に接触すると抵抗値が変化し、これにより運転者の手（指）がステアリング部接触型マイク３に接触したことを検知する。なお、ステアリング部接触型マイク３とステアリングマイク接触検知センサー７をインストルメントパネルなど、他の場所に設置してもよい。

ドア部接触型マイク４は、パワーウインドウを音声操作して窓の開閉、ドアロック／アンロックなどを行うためのパワーウインドウ専用の接触型マイクである。ドア部接触型マイク４はドアマイク接触検知センサー８と一体に形成し、図５に示すように、運転席ドアトリムアームレスト２５に設置する。

ドアマイク接触検知センサー８は運転者の手（指）がドア部接触型マイク４に接触すると抵抗値が変化し、これにより運転者の手（指）がドア部接触型マイク４に接触したことを検知する。なお、ドア部接触型マイク４とドアマイク接触検知センサー８をドア内側の他の場所に設置してもよい。

この一実施の形態では、音声操作に用いる接触型マイク２〜４をそれぞれ音声操作対象の車載機器自体もしくはその近傍に設置し、運転者が音声操作を行いたい車載機器に直接、またはその車載機器と関連のある部位に手または体を触れることによって当該車載機器の音声操作を可能にしているが、音声操作対象の車載機器はこの一実施の形態に例示した運転席パワーシート、エアコン、パワーウインドウに限定されるものではない。

ＰＴＴ（Push to talk）スイッチ５は音声認識を開始するときに運転者が操作するスイッチである。このＰＴＴスイッチ５がオンすると、音声認識装置は発話音声を集音して音声認識処理を開始する。また、入力取消スイッチ９は、音声認識のために入力した音声を取り消すために運転者が操作するスイッチである。音声認識装置による音声認識結果はスピーカー１７により放送されるが、放送された認識結果が乗員の発話した内容と異なる場合は、この入力取消スイッチ９を操作して入力音声を取り消すことができる。

この一実施の形態では、図４に示すように、ＰＴＴスイッチ５と入力取消スイッチ９をステアリングホイール２４のスポーク部に設置する例を示すが、これらのスイッチの設置場所はこの一実施の形態に限定されず、運転者が運転中に容易に操作可能な位置であればどこでもよい。

処理装置１０はＣＰＵ１０ａ、ＲＯＭ１０ｂ、ＲＡＭ１０ｃ、増幅器１０ｄ、Ａ／Ｄコンバーター１０ｅなどから構成され、後述する音声認識制御プログラムを実行して非接触型マイク１と接触型マイク２〜４により集音された運転者の発話音声を認識し、パワーシート、エアーコンディショナー、パワーウインドウなどの車載機器を音声操作する。なお、増幅器１０ｄは非接触型マイク１および接触型マイク２〜４から出力される音声信号を増幅し、Ａ／Ｄコンバーター１０ｅは音声信号をデジタル信号に変換する。

非接触型マイク用音響モデル記憶装置１１は、運転者と非接触型マイク１との間の音声の空間伝達特性を反映した音響モデル、すなわち車室内雑音下で発話した音素パターンをモデル化し、非接触型マイク用音響モデルとして記憶している。この非接触型マイク用音響モデルと後述する“標準”言語辞書を、非接触型マイク１により集音した音声を認識するために用いる。

接触型マイク用音響モデル記憶装置１２は、乗員と接触型マイク２〜４との間の音声の体内伝達特性を反映した音響モデル、すなわち車室内雑音の影響の少ない音素パターンをモデル化した接触型マイク用音響モデルを記憶している。この接触型マイク用音響モデルと後述する接触型マイク２〜４専用の言語辞書を、接触型マイク２〜４により集音した音声を認識するために用いる。

なお、各接触型マイク２〜４のそれぞれに適した接触型マイク用音響モデルを用意し、記憶装置に記憶しておくようにしてもよい。この場合には、接触型マイク２〜４ごとに音声操作対象の車載機器で用いる操作指令の音響モデルのみを収録おき、接触型マイク２〜４の内の接触が検知されたマイクに対応する音響モデルを選択すればよい。

言語辞書記憶装置１３〜１６は、パワーシート、エアーコンディショナー、パワーウインドウなどの車載機器操作用の言葉と、それらの言葉に対応する操作機能や制御機能を記憶している。

乗員が発話した音声を、まず音響モデルの音素パターンと照合して例えば“シー”、“ト”、“う”、“え”などの音素単位で認識し、次に複数の音素のつながりを言語辞書の例えば“シート上”などの言葉と照合して発話音声を言葉として認識する。

この一実施の形態では、音響モデルと言語辞書を用いて公知の最尤推定法による音声認識を行い、認識結果とすべき候補の言葉に対してそれぞれ認識の確からしさを表す“尤度”を求める。そして、尤度が最も高い言葉を音声認識結果として出力する。

標準言語辞書記憶装置１３は、車載機器の音声操作に用いられる言語を記憶する記憶装置である。これらの言葉には、パワーシート、エアーコンディショナー、パワーウインドウなどの車載機器を音声操作するためのすべての言葉が含まれる。運転者によりＰＴＴスイッチ５が操作されてオンすると、非接触型マイク１により運転者の発話音声を集音し、非接触型マイク用音響モデルとこの標準言語辞書を用いて音声認識を行い、認識結果の言葉を操作指令として該当する車載機器へ出力する。

シートマイク用言語辞書記憶装置１４は、運転席パワーシートを操作するための言葉のみを収録した運転席パワーシート専用の言語辞書を記憶する記憶装置である。これらの言葉にはシート上、シート下、シート前、シート後、リクライニング、ランパーサポートなどのパワーシート操作指令が含まれる。シートマイク接触検知センサー６により運転者の後頭部がシート部接触型マイク２に接触したことを検知すると、接触型マイク用音響モデルとこのシートマイク用言語辞書を用いて音声認識を行い、認識結果の言葉を操作指令として運転席パワーシート駆動制御装置（不図示）へ出力する。

ステアリングマイク用言語辞書記憶装置１５は、エアーコンディショナーを操作するための言葉のみを収録したエアコン専用の言語辞書を記憶する記憶装置である。これらの言葉には内気循環、外気導入、温度上げ、温度下げ、風量上げ、風量下げ、ベンチレーター吹き出し、足元吹き出し、デフロスター吹き出しなどのエアコン操作指令が含まれる。ステアリングマイク接触検知センサー７により運転者の指がステアリング部接触型マイク３に接触したことを検知すると、接触型マイク用音響モデルとこのステアリングマイク用言語辞書を用いて音声認識を行い、認識結果の言葉を操作指令としてエアーコンディショナー（不図示）へ出力する。

ドアマイク用言語辞書記憶装置１６は、パワーウインドウを操作するための言葉のみを収録したパワーウインドウ専用の言語辞書を記憶する記憶装置である。これらの言葉には運転席窓開け、運転席窓閉め、助手席窓開け、助手席窓閉め、後部座席窓開け、後部座席窓閉め、全席ドアロック、全席アンロックなどのパワーウインドウ操作指令が含まれる。ドアマイク接触検知センサー８により運転者の指がドア部接触型マイク４に接触したことを検知すると、接触型マイク用音響モデルとこのドアマイク用言語辞書を用いて音声認識を行い、認識結果の言葉を操作指令としてパワーウインドウ駆動制御装置（不図示）へ出力する。

スピーカー１７は音声認識のための案内放送を行うためのもので、乗員の発話音声を認識した結果を放送して乗員に確認するためにも用いる。

図６は第１の実施の形態の音声認識制御プログラムを示すフローチャートである。処理装置１０は車両のイグニッションスイッチ（不図示）がオンすると所定時間、例えば１００ｍsecごとにこの制御プログラムを繰り返し実行する。

ステップ１において音声認識装置の初期化を行う。この一実施の形態では、非接触型マイク１を用いて音声認識を行うことを標準としており、非接触型マイク用音響モデルと標準言語辞書を初期値として選択する。

ステップ２でＰＴＴスイッチ５がオンしているか否かを確認する。運転者がＰＴＴスイッチ５を操作して発話を行う場合は、非接触型マイク１により運転者の発話音声を集音し、非接触型マイク用音響モデルと標準言語辞書を用いて音声認識を行う。一方、ＰＴＴスイッチ５を操作していない場合は、接触型マイク２〜４の内、運転者が接触したマイクを用いて運転者の発話音声を集音し、接触型マイク用音響モデルと運転者が接触したマイク専用の言語辞書を用いて音声認識を行う。

まず、非接触型マイク１を用いた音声認識処理を説明する。ＰＴＴスイッチ５がオンしているときはステップ３へ進み、音声入力の有無を確認する。非接触型マイク１から出力される音声信号のレベルが予め設定した音声入力有無判定しきい値を超えた場合は、運転者の発話があり、非接触型マイク１で集音したと判定する。音声入力がない場合はステップ２へ戻って上記処理を繰り返す。

運転者の発話があり、非接触型マイク１に音声入力があった場合はステップ４へ進み、非接触型マイク用音響モデルと標準言語辞書を用いて上述した音声認識処理を行う。続くステップ５で運転者が取消スイッチ９を操作して音声入力を取り消したか否かを確認し、音声入力の取消があった場合はステップ２へ戻り、上述した処理を繰り返す。音声入力の取消がない場合はステップ６へ進み、音声認識結果の言葉を操作指令として該当する車載機器へ出力する。

次に、接触型マイク２〜４を用いた音声認識処理を説明する。運転者によるＰＴＴスイッチ５の操作がない場合はステップ７へ進み、シートマイク接触検知センサー６により運転者の後頭部がヘッドレスト２２のシート部接触型マイク２に接触しているか否かを確認する。シート部接触型マイク２に接触している場合はステップ８へ進み、シートマイク用言語辞書を選択する。

ステップ３でシート部接触型マイク２への音声入力の有無を確認する。シート部接触型マイク２から出力される音声信号のレベルが予め設定した音声入力有無判定しきい値を超えた場合は、運転者の発話があり、シート部接触型マイク２で集音したと判定する。音声入力がない場合はステップ２へ戻って上記処理を繰り返す。

運転者の発話があり、シート部接触型マイク２に音声入力があった場合はステップ４へ進み、接触型マイク用音響モデルとシートマイク用の言語辞書を用いて上述した音声認識処理を行う。続くステップ５で運転者が取消スイッチ９を操作して音声入力を取り消したか否かを確認し、音声入力の取消があった場合はステップ２へ戻り、上述した処理を繰り返す。音声入力の取消がない場合はステップ６へ進み、音声認識結果の言葉を操作指令としてパワーシート駆動制御装置（不図示）へ出力する。

シート部接触型マイク２への接触がない場合はステップ９へ進み、ステアリングマイク接触検知センサー７により運転者の指がステアリングホイール２４のステアリング部接触型マイク３に接触しているか否かを確認する。ステアリング部接触型マイク３に接触している場合はステップ１０へ進み、ステアリングマイク用言語辞書を選択する。

ステップ３でステアリング部接触型マイク３への音声入力の有無を確認する。ステアリング部接触型マイク３から出力される音声信号のレベルが予め設定した音声入力有無判定しきい値を超えた場合は、運転者の発話があり、ステアリング部接触型マイク３で集音したと判定する。音声入力がない場合はステップ２へ戻って上記処理を繰り返す。

運転者の発話があり、ステアリング部接触型マイク３に音声入力があった場合はステップ４へ進み、接触型マイク用音響モデルとステアリングマイク用の言語辞書を用いて上述した音声認識処理を行う。続くステップ５で運転者が取消スイッチ９を操作して音声入力を取り消したか否かを確認し、音声入力の取消があった場合はステップ２へ戻り、上述した処理を繰り返す。音声入力の取消がない場合はステップ６へ進み、音声認識結果の言葉を操作指令としてエアーコンディショナー（不図示）へ出力する。

シート部接触型マイク２およびステアリング部接触型マイク３への接触がない場合はステップ１１へ進み、ドアマイク接触検知センサー８により運転者の指が運転席ドアトリムアームレスト２５のドア部接触型マイク４に接触しているか否かを確認する。ドア部接触型マイク４に接触している場合はステップ１２へ進み、ドアマイク用言語辞書を選択する。

ステップ３でドア部接触型マイク４への音声入力の有無を確認する。ドア部接触型マイク４から出力される音声信号のレベルが予め設定した音声入力有無判定しきい値を超えた場合は、運転者の発話があり、ドア部接触型マイク４で集音したと判定する。音声入力がない場合はステップ２へ戻って上記処理を繰り返す。

運転者の発話があり、ドア部接触型マイク４に音声入力があった場合はステップ４へ進み、接触型マイク用音響モデルとドアマイク用の言語辞書を用いて上述した音声認識処理を行う。続くステップ５で運転者が取消スイッチ９を操作して音声入力を取り消したか否かを確認し、音声入力の取消があった場合はステップ２へ戻り、上述した処理を繰り返す。音声入力の取消がない場合はステップ６へ進み、音声認識結果の言葉を操作指令としてパワーウインドウ駆動制御装置（不図示）へ出力する。

このように、第１の実施の形態によれば、人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクと、人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクとで集音した音声を音声認識用の言語辞書を用いて認識する際に、接触型マイクへの人体の接触を検知し、接触型マイクロフォンへの人体の接触が検知されると、言語辞書の中の接触型マイクロフォン用として予め設定した言葉のみを用いて接触型マイクロフォンにより集音した音声の認識処理を行うようにしたので、複数のマイクで集音して音声認識を行う場合に、使用するマイク専用に設定された言葉を用いて正確な音声認識結果を得ることができ、音声認識性能を向上させることができる。

なお、上述した第１の実施の形態では、各マイクごとに専用の言葉のみを専用の記憶装置に記憶する例を示したが、すべての言葉を１台の言語辞書記憶装置に記憶しておき、どのマイクの音声認識に用いる言葉かを示す属性を言葉ごとに設定しておく。そして、言葉の属性に基づいて言語辞書の中から人体の接触が検知された接触型マイクに対応する言葉を抽出し、抽出した言葉を用いて音声認識を行うようにしてもよい。

また、第１の一実施の形態によれば、接触型マイクを複数個備え、人体の接触が検知された接触型マイクに対し、記憶されている言語辞書の中の当該接触型マイクロフォン用として予め設定した言葉のみを用いて当該接触型マイクロフォンで集音した音声の認識処理を行うようにしたので、複数の接触型マイクで集音して音声認識を行う場合にも、使用する接触型マイク専用に設定された言葉のみを用いて正確な音声認識結果を得ることができ、音声認識性能を向上させることができる。特に、音声操作対象の機器ごとに接触型マイクを配置し、音声操作を行いたい機器の接触型マイクに接触することによって、音声操作を行いたい機器に対して設定された言葉のみを用いて正確な音声認識結果を得ることができる。

第１の実施の形態において、接触検知センサー６〜８により接触型マイク２〜４への接触を検知したときに発話音声の集音とその音声の認識処理を開始するようにしたので、接触型マイク２〜４を用いて音声操作する場合にはＰＴＴスイッチ５の操作が不要となり、操作性が向上する。

第１の実施の形態では接触検知センサー６〜８により接触型マイク２〜４への接触を検知する例を示した。ところで、車両の走行中には運転者の意に反して接触型マイク２〜４への接触が不安定になったり、あるいは音声操作の意志がなく、例えばただ後頭部をヘッドレストにもたれかけることがある。そのような場合に音声認識を開始すると、誤認識による誤操作が起きる可能性がある。そこで、接触検知センサー６〜８の出力が予め設定した接触判定しきい値を超えた状態が予め設定した接触判定時間の間継続した場合に、音声操作のために運転者が接触型マイク２〜４へ接触していると判断し、音声入力と音声認識の待機状態に入るようにしてもよい。これにより、運転者の音声操作の意志を確認してから音声認識処理を開始することができ、接触型マイク２〜４への不安定な接触状態による誤認識を防止することができる。

《発明の第２の実施の形態》
上述した第１の実施の形態では、非接触型マイク１および接触型マイク２〜４に対しそれぞれ専用の言語辞書記憶装置１３〜１６を備え、それらの中から使用する接触型マイク２〜４に応じた言語辞書を選択する例を示した。この第２の実施の形態では、１台の言語辞書記憶装置にすべての言葉を記憶させるとともに、それらの言葉を接触型マイク２〜４に対しグループ分けし、それらのグループの中から使用する接触型マイク２〜４に応じたグループの言葉が認識される確率を他のグループの言葉よりも高くする。

図７は第２の実施の形態の構成を示す。なお、図１に示す機器と同様な機器に対しては同一の符号を付して相違点を中心に説明する。言語辞書記憶装置１８は、車載機器の音声操作に用いられるすべての言葉と、それぞれの言葉に対応する操作内容および制御内容を記憶している。これらの言葉の内、運転席パワーシートを操作するための用いられる言葉をパワーシート操作用言語辞書グループ１８ａ、エアコンを操作するために用いられる言葉をエアコン操作用言語辞書グループ１８ｂ、パワーウインドウを操作するために用いられる言葉をパワーウインドウ操作用言語辞書グループ１８ｃとしてグループ分けして記憶する。

パワーシート操作用言語辞書グループ１８ａに含まれる言葉は、図１に示すシートマイク用言語辞書記憶装置１３に記憶される言葉と同様なパワーシート操作指令である。エアコン操作用言語辞書グループ１８ｂに含まれる言葉は、図１に示すステアリングマイク用言語辞書記憶装置１５に記憶される言葉と同様なエアコン操作指令である。さらに、パワーウインドウ操作用言語辞書グループ１８ｃに含まれる言葉は、図１に示すドアマイク用言語辞書記憶装置１６に記憶される言葉と同様なパワーウインドウ操作指令である。

図８は第２の実施の形態の音声認識制御プログラムを示すフローチャートである。なお、図６に示す処理と同様な処理を行うステップに対しては同一の符号を付して相違点を中心に説明する。処理装置１０は車両のイグニッションスイッチ（不図示）がオンすると所定時間、例えば１００ｍsecごとにこの制御プログラムを繰り返し実行する。

運転者によるＰＴＴスイッチ５の操作がない場合はステップ２１へ進み、シートマイク接触検知センサー６により運転者の後頭部がヘッドレスト２２のシート部接触型マイク２に接触しているか否かを確認する。シート部接触型マイク２に接触している場合はステップ２２へ進み、シート部接触型マイク２で運転者の発話音声を集音する。

シート部接触型マイク２への接触がない場合はステップ２３へ進み、ステアリングマイク接触検知センサー７により運転者の指がステアリングホイール２４のステアリング部接触型マイク３に接触しているか否かを確認する。ステアリング部接触型マイク３に接触している場合はステップ２４へ進み、ステアリング部接触型マイク３で運転者の発話音声を集音する。

シート部接触型マイク２およびステアリング部接触型マイク３への接触がない場合はステップ２５へ進み、ドアマイク接触検知センサー８により運転者の指が運転席ドアトリムアームレスト２５のドア部接触型マイク４に接触しているか否かを確認する。ドア部接触型マイク４に接触している場合はステップ２６へ進み、ドア部接触型マイク４で運転者の発話音声を集音する。なお、どの接触型マイク２〜４にも接触がない場合はステップ２へ戻り上述した処理を繰り返す。

接触型マイク２〜４のいずれかで運転者の発話音声を集音した後のステップ２７において、接触型マイク用音響モデルと言語辞書を用いて音声認識処理を行う。この段階では、記憶装置１８に記憶されているすべての言葉を用いて認識処理を行い、認識候補の言葉とそれらの言葉の尤度を求める。

続くステップ２８で認識候補の言葉の内、使用した接触型マイクに対応する言語辞書グループに属する言葉の尤度を割り増しする。具体的には、所定の倍数を乗じるか、あるいは所定値を加算する。例えば、運転者がシート部接触型マイク２に後頭部を接触させて発話した場合には、認識候補の言葉の内、使用したシート部接触型マイク２に対応するパワーシート操作用言語辞書グループ１８ａに属する言葉の尤度のみを１．５倍にする。これにより、認識候補の言葉の内の使用マイクに対応する言語辞書グループに含まれる言葉が認識結果とされる確率が高くなる。

使用マイクの辞書グループに含まれる認識候補の言葉の尤度に割り増しを行った後、ステップ２９ですべての認識候補の言葉の中から最も尤度が高い言葉を認識結果の言葉に決定する。

続くステップ５で運転者が取消スイッチ９を操作して音声入力を取り消したか否かを確認し、音声入力の取消があった場合はステップ２へ戻り、上述した処理を繰り返す。音声入力の取消がない場合はステップ６へ進み、音声認識結果の言葉を操作指令として使用マイクに対応する車載機器へ出力する。

このように第２の実施の形態によれば、複数の接触型マイクを備え、人体の接触が検知された接触型マイクに対し、記憶されている言語辞書の中の当該接触型マイク用として予め設定した言葉が認識される確率を高くした後に、すべての言葉を用いて当該接触型マイクで集音した音声の認識処理を行うようにしたので、複数の接触型マイクで集音して音声認識を行う場合にも、使用する接触型マイク専用に設定された言葉が認識される確率が高くなり、正確な音声認識結果を得ることができる。特に、音声操作対象の機器ごとに接触型マイクを配置し、音声操作を行いたい機器の接触型マイクに接触することによって、音声操作を行いたい機器に対して設定された言葉が認識される確率が高くなり、正確な音声認識結果を得ることができる。

《発明の第３の実施の形態》
複数の接触検知センサーにより複数の接触型マイクへの接触が検知された場合に、各接触型マイクの音圧エネルギーに基づいて言語辞書を適切に選択するようにした第３の実施の形態を説明する。なお、この第３の実施の形態の言語辞書の選択方法以外の音声認識手順および方法は上述した第１および第２の実施の形態と同様であり、それらの説明を省略する。

２個の接触型マイクｍ１とｍ２があり、それぞれ一体に形成された接触検知センサーを有するとともに、記憶装置にそれぞれの専用言語辞書ＡとＢが記憶されているものとする。今、接触検知センサーにより接触型マイクｍ１とｍ２への運転者の接触が同時に検知されたとする。

図９に示すように、接触型マイクｍ１とｍ２で同時に集音した音声波形から同一時刻の一部の区間を切り出し、切り出した音声波形の音圧エネルギーを求める。そして、数式１により２つの音声波形の音圧エネルギーを比較し、Ｊｅを算出する。

比較結果のＪｅが１以上の場合は、接触型マイクｍ１の音圧エネルギーが接触型マイクｍ２の音圧エネルギーと同等かそれ以上であるから、接触型マイクｍ１の言語辞書Ａを選択する。この場合は、接触型マイクｍ１で集音した音声を接触型マイク用音響モデルと言語辞書Ａを用いて認識する。

一方、比較結果のＪｅが１未満の場合は、接触型マイクｍ１の音圧エネルギーが接触型マイクｍ２の音圧エネルギーよりも小さいから、接触型マイクｍ２の言語辞書Ｂを選択する。この場合は、接触型マイクｍ２で集音した音声を接触型マイク用音響モデルと言語辞書Ｂを用いて認識する。

このように第３の実施の形態によれば、人体の接触が検知された接触型マイクが複数個あった場合に、それらの接触型マイクで集音した音声の音圧エネルギーを計算し、音圧エネルギーが高い方の接触型マイクに対し、記憶されている言語辞書の中の当該接触型マイク用として予め設定した言葉のみを用いて当該接触型マイクで集音した音声の認識処理を行うようにしたので、複数の接触型マイクに同時に接触しても、意図する側の接触型マイクとそれに対応する言語辞書が自動的に選択され、正しい音声認識結果を得ることができる。

《発明の第４の実施の形態》
上述した第１および第２の実施の形態では非接触型マイク１を用いて音声操作を行う場合は標準言語辞書を選択し、接触型マイク２〜４を用いて音声操作を行う場合は各接触マイク専用の言語辞書を選択する例を示したが、非接触型マイクと接触型マイクで集音したそれぞれの音声に含まれる雑音エネルギーを比較してマイクを選択し、選択したマイクに適した言語辞書を用いて音声認識する第４の実施の形態を説明する。

図１０は第４の実施の形態の構成を示す。説明を理解しやすくするために、この第４の実施の形態では図１に示す第１の実施の形態の構成機器の中からステアリング部接触型マイク３とドア部接触型マイク４、それらの接触検知センサー７，８と言語辞書記憶装置１５，１６を省き、非接触型マイク１とシート部接触型マイク２とそれらの関連機器を備えた音声認識装置を例に上げて説明する。なお、第４の実施の形態の各構成機器は、図１に示す第１の実施の形態の構成機器と同一の符号を付して説明を省略する。

図１１に示すように、非接触型マイク１と接触型マイク２で同時に集音した音声波形から、接触検出後の運転者の発話のない同一時刻の短い区間を切り出し、数式２により非接触型マイク１の集音音声の雑音エネルギーＪe1と、数式３により接触型マイク２の集音音声の雑音エネルギーＪe2をそれぞれ求める。

まず、接触型マイク２の雑音エネルギーＪe2を予め設定した雑音大小判定しきい値Ｓl2と比較する。比較の結果、接触型マイク２の雑音エネルギーＪe2がしきい値Ｓl2よりも小さい場合は、接触型マイク２の集音音声に混入している雑音は少ないと判断し、接触型マイク２の集音音声を有効としてシートマイク用の言語辞書を選択する。

一方、接触型マイク２の雑音エネルギーＪe2がしきい値Ｓl2以上の場合は、接触型マイク２の集音音声に混入している雑音が多いと判断し、非接触型マイク１の雑音エネルギーＪe1を予め設定した雑音大小判定しきい値Ｓl1と比較する。比較の結果、非接触型マイク１の雑音エネルギーＪe1がしきい値Ｓl1より小さい場合は、非接触型マイク１の集音音声に混入している雑音は少ないと判断し、非接触型マイク１の集音音声を有効として標準言語辞書を選択する。

なお、接触型マイク２の雑音エネルギーＪe2がしきい値Ｓl2以上で、かつ非接触型マイク１の雑音エネルギーＪe1がしきい値Ｓl1以上の場合は、接触型マイク１で集音した音声とシートマイク用言語辞書を選択して音声認識を行う。つまり、接触型マイク２の方が非接触型マイク１よりも周囲雑音の影響を受けにくいため、接触型マイク２の集音音声を優先的に音声認識に用いる。

図１２は第４の実施の形態の音声認識制御プログラムを示すフローチャートである。なお、図６に示す処理と同様な処理を行うステップに対しては同一のステップ番号を付して相違点を中心に説明する。処理装置１０は車両のイグニッションスイッチ（不図示）がオンすると所定時間、例えば１００ｍsecごとにこの制御プログラムを繰り返し実行する。

ステップ２でＰＴＴスイッチ５の操作がなかった場合はステップ３１へ進み、シートマイク接触検知センサー６により運転者の後頭部がシート部接触型マイク２に接触しているか否かを確認する。シート部接触型マイク２に接触しているときはステップ３２へ進み、運転者の発話音声をシート部接触型マイク２で集音するとともに非接触型マイク１でも集音する。

ステップ３３でシート部接触型マイク２で集音した音声の内、接触検出後の運転者の発話のない短い区間の音声に基づいて、数式３によりシート部接触型マイク２の集音音声の雑音エネルギーＪe2を計算する。そして、続くステップ３４でシート部接触型マイク２の雑音エネルギーＪe2を予め設定した雑音大小判定しきい値Ｓl2と比較する。

シート部接触型マイク２の雑音エネルギーＪe2がしきい値Ｓl2よりも小さい場合は、シート部接触型マイク２の集音音声に混入している雑音は少ないと判断し、ステップ３５へ進む。ステップ３５ではシート部接触型マイク２で集音した音声により接触型マイク用音響モデルとシートマイク用言語辞書を用いて音声認識処理を行う。

一方、シート部接触型マイク２の雑音エネルギーＪe2がしきい値Ｓl2以上の場合は、シート部接触型マイク２の集音音声に混入している雑音が多いと判断し、ステップ３６へ進む。ステップ３６では非接触型マイク１で集音した音声の内、シートマイク接触検出後の運転者の発話のない短い区間の音声に基づいて、数式２により非接触型マイク１の集音音声の雑音エネルギーＪe1を計算する。

ステップ３７で非接触型マイク１の雑音エネルギーＪe1を予め設定した雑音大小判定しきい値Ｓl1と比較する。非接触型マイク１の雑音エネルギーＪe1がしきい値Ｓl1より小さい場合は、非接触型マイク１の集音音声に混入している雑音は少ないと判断し、ステップ３８へ進む。ステップ３８では非接触型マイク１で集音した音声により非接触型マイク用音響モデルと標準言語辞書を用いて音声認識処理を行う。

なお、ステップ３４で接触型マイク２の雑音エネルギーＪe2がしきい値Ｓl2以上あると判定され、さらにステップ３７で非接触型マイク１の雑音エネルギーＪe1がしきい値Ｓl1以上あると判定された場合は、ステップ３５へ進んで接触型マイク２で集音した音声により接触型マイク用音響モデルとシートマイク用の言語辞書を用いて音声認識処理を行う。

音声認識後、ステップ５へ進み、運転者による音声入力の取消操作があるか否かを確認し、取消操作があればステップ２へ戻って上述した処理を繰り返し、取消操作がなければステップ６へ進み、音声認識結果の操作指令を該当する車載機器へ出力する。

このように第４の実施の形態によれば、非接触型マイクと接触型マイクとで集音した音声の雑音エネルギーをそれぞれ計算し、計算結果の雑音エネルギーに基づいて非接触型マイクと接触型マイクの内のいずれか一方のマイクを選択し、言語辞書の中の選択したマイク用の言葉を用いて音声認識処理を行うようにしたので、雑音の少ないマイクを適切に選択して音声認識を行うことができ、音声認識性能を向上させることができる。

《発明の第５の実施の形態》
複数の接触検知センサーにより複数の接触型マイクへの接触が検知された場合に、各接触型マイクの集音音声の平均振幅に基づいて言語辞書を適切に選択するようにした第５の実施の形態を説明する。なお、この第５の実施の形態の言語辞書の選択方法以外の音声認識手順および方法は上述した第１および第２の実施の形態と同様であり、それらの説明を省略する。

２個の接触型マイクｍ１とｍ２があり、それぞれ一体に形成された接触検知センサーを有するとともに、記憶装置にそれぞれの専用言語辞書ＡとＢが記憶されているものとする。今、接触検知センサーにより接触型マイクｍ１とｍ２への運転者の接触が同時に検知されたとする。

図１３に示すように、接触型マイクｍ１で集音した音声波形の平均振幅ＰＰ１を求めるとともに、接触型マイクｍ２で集音した音声波形の平均振幅ＰＰ２を求め、両者を比較する。接触型マイクｍ１の平均振幅ＰＰ１が接触型マイクｍ２の平均振幅ＰＰ２以上の場合は、平均振幅が大きい接触型マイクｍ１の集音音声を有効とし、接触型マイクｍ１専用の言語辞書Ａを選択する。

一方、接触型マイクｍ１の平均振幅ＰＰ１が接触型マイク２の平均振幅ＰＰ２より小さい場合は、平均振幅が大きい接触型マイクｍ２の集音音声を有効とし、接触型マイクｍ２専用の言語辞書Ｂを選択する。

このように第５の実施の形態によれば、人体の接触が検知された接触型マイクが複数個あった場合に、それらの接触型マイクで集音した音声の平均振幅を計算し、平均振幅が大きい方の接触型マイクに対し、記憶されている言語辞書の中の当該接触型マイク用として予め設定した言葉のみを用いて当該接触型マイクで集音した音声の認識処理を行うようにしたので、複数の接触型マイクに同時に接触しても、意図する側の接触型マイクとそれに対応する言語辞書が自動的に選択され、正しい音声認識結果を得ることができる。

《発明の第６の実施の形態》
複数の接触検知センサーにより複数の接触型マイクへの接触が検知された場合に、各接触型マイクの集音音声の最大振幅に基づいて言語辞書を適切に選択するようにした第６の実施の形態を説明する。なお、この第６の実施の形態の言語辞書の選択方法以外の音声認識手順および方法は上述した第１および第２の実施の形態と同様であり、それらの説明を省略する。

２個の接触型マイクｍ１とｍ２があり、それぞれ一体に形成された接触検知センサーを有するとともに、記憶装置にそれぞれの専用言語辞書ＡとＢが記憶されているものとする。今、接触検知センサーにより接触型マイクｍ１とｍ２への運転者の接触が同時に検知されたとする。

図１４に示すように、接触型マイクｍ１で集音した音声波形を一定のサンプリング周期でデジタル変換し、最大振幅maxＰＰ１を求めるとともに、接触型マイクｍ２で集音した音声波形を一定のサンプリング周期でデジタル変換し、最大振幅maxＰＰ２を求め、両者を比較する。接触型マイクｍ１の最大振幅maxＰＰ１が接触型マイクｍ２の最大振幅maxＰＰ２以上の場合は、最大振幅が大きい接触型マイクｍ１の集音音声を有効とし、接触型マイクｍ１専用の言語辞書Ａを選択する。

一方、接触型マイクｍ１の最大振幅maxＰＰ１が接触型マイク２の最大振幅maxＰＰ２より小さい場合は、最大振幅が大きい接触型マイクｍ２の集音音声を有効とし、接触型マイクｍ２専用の言語辞書Ｂを選択する。

このように第６の実施の形態によれば、人体の接触が検知された接触型マイクが複数個あった場合に、それらの接触型マイクで集音した音声の最大振幅を計算し、最大振幅が大きい方の接触型マイクに対し、記憶されている言語辞書の中の当該接触型マイク用として予め設定した言葉のみを用いて当該接触型マイクで集音した音声の認識処理を行うようにしたので、複数の接触型マイクに同時に接触しても、意図する側の接触型マイクとそれに対応する言語辞書が自動的に選択され、正しい音声認識結果を得ることができる。

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、処理装置１０が処理手段を、シートマイク接触検知センサー６、ステアリングマイク接触検知センサー７およびドアマイク接触検知センサー８が接触検知手段を、標準言語辞書記憶装置１３、シートマイク用言語辞書記憶装置１４、ステアリングマイク用言語辞書記憶装置１５、ドアマイク用言語辞書記憶装置１６および言語辞書記憶装置１８が記憶手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する際、上記の実施の形態の記載事項と特許請求の範囲の記載事項との対応関係になんら限定も拘束もされない。

なお、上述した一実施の形態のよれば、接触型マイクにＮＡＭマイクロフォンを用いたので、車両外部の他車両のエンジン雑音が高い１０００Ｈｚ以下の周波数帯域におけるＳ／Ｎ特性を改善することができ、車外の騒音に妨げられることなく人の発話音声を確実に集音することができる。
また、骨伝導型マイクは頭部の頭蓋骨に当接する部位に押し当てる必要があるが、ＮＡＭマイクは頭蓋骨に当接する部位に限定されず、顔、首、胸部、背中上部などに接触させて人の発話音声を集音できるため、骨伝導マイクと比べて接触部位の制約が少ない。したがって、車両運転者の音声操作に用いても、運転者を拘束して運転操作に影響を与えることがない。

第１の実施の形態の構成を示す図である。 非接触型マイクの設置場所を示す図である。 シート部接触型マイクの設置場所を示す図である。 ステアリング部接触型マイクの設置場所を示す図である。 ドア部接触型マイクの設置場所を示す図である。 第１の実施の形態の音声認識制御プログラムを示すフローチャートである。 第２の実施の形態の構成を示す図である。 第２の実施の形態の音声認識制御プログラムを示すフローチャートである。 第３の実施の形態の言語辞書選択方法を説明するための図である。 第４の実施の形態の構成を示す図である。 第４の実施の形態の言語辞書選択方法を説明するための図である。 第４の実施の形態の音声認識制御プログラムを示すフローチャートである。 第５の実施の形態の言語辞書選択方法を説明するための図である。 第６の実施の形態の言語辞書選択方法を説明するための図である。

符号の説明

１ 非接触型マイク
２ シート部接触型マイク
３ ステアリング部接触型マイク
４ ドア部接触型マイク
５ ＰＴＴスイッチ
６ シートマイク接触検知センサー
７ ステアリングマイク接触検知センサー
８ ドアマイク接触検知センサー
９ 取消スイッチ
１０ 処理装置
１０ａ ＣＰＵ
１０ｂ ＲＯＭ
１０ｃ ＲＡＭ
１０ｄ 増幅器
１０ｅ Ａ／Ｄコンバーター
１１ 非接触型マイク用音響モデル記憶装置
１２ 接触型マイク用音響モデル記憶装置
１３ 標準言語辞書記憶装置
１４ シートマイク用言語辞書記憶装置
１５ ステアリングマイク用言語辞書記憶装置
１６ ドアマイク用言語辞書記憶装置
１７ スピーカー
１８ 言語辞書記憶装置
１８ａ パワーシート操作用言語辞書グループ
１８ｂ エアコン操作用言語辞書グループ
１８ｃ パワーウインドウ操作用言語辞書グループ

Claims (12)

1. 人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクロフォンと、
   人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクロフォンと、
   音声認識用の言語辞書を記憶する記憶手段と、
   前記記憶手段に記憶されている言語辞書を用いて前記マイクロフォンで集音した音声を認識する処理手段とを備えた音声認識装置であって、
   前記接触型マイクロフォンへの人体の接触を検知する接触検知手段を備え、
   前記処理手段は、前記接触検知手段により前記接触型マイクロフォンへの人体の接触が検知されると、前記記憶手段に記憶されている言語辞書の中の前記接触型マイクロフォン用として予め設定した言葉のみを用いて前記接触型マイクロフォンにより集音した音声の認識処理を行うことを特徴とする音声認識装置。
2. 請求項１に記載の音声認識装置において、
   前記接触型マイクロフォンを複数個備え、
   前記処理手段は、前記接触検知手段により人体の接触が検知された前記接触型マイクロフォンに対し、前記記憶手段に記憶されている言語辞書の中の当該接触型マイクロフォン用として予め設定した言葉のみを用いて当該接触型マイクロフォンで集音した音声の認識処理を行うことを特徴とする音声認識装置。
3. 請求項２に記載の音声認識装置において、
   前記処理手段は、前記接触検知手段により人体の接触が検知された前記接触型マイクロフォンが複数個あった場合に、それらの接触型マイクロフォンで集音した音声の音圧エネルギーを計算し、音圧エネルギーが高い方の前記接触型マイクロフォンに対し、前記記憶手段に記憶されている言語辞書の中の当該接触型マイクロフォン用として予め設定した言葉のみを用いて当該接触型マイクロフォンで集音した音声の認識処理を行うことを特徴とする音声認識装置。
4. 請求項２に記載の音声認識装置において、
   前記処理手段は、前記接触検知手段により人体の接触が検知された前記接触型マイクロフォンが複数個あった場合に、それらの前記接触型マイクロフォンで集音した音声の平均振幅または最大振幅を計算し、平均振幅または最大振幅が大きい方の前記接触型マイクロフォンに対し、前記記憶手段に記憶されている言語辞書の中の当該接触型マイクロフォン用として予め設定した言葉のみを用いて当該接触型マイクロフォンで集音した音声の認識処理を行うことを特徴とする音声認識装置。
5. 請求項１に記載の音声認識装置において、
   前記接触型マイクロフォンを複数個備え、
   前記処理手段は、前記接触検知手段により人体の接触が検知された前記接触型マイクロフォンに対し、前記記憶手段に記憶されている言語辞書の中の当該接触型マイクロフォン用として予め設定した言葉が認識される確率を高くした後に、すべての言葉を用いて当該接触型マイクロフォンで集音した音声の認識処理を行うことを特徴とする音声認識装置。
6. 請求項５に記載の音声認識装置において、
   前記処理手段は、前記接触検知手段により人体の接触が検知された前記接触型マイクロフォンが複数個あった場合に、それらの前記接触型マイクロフォンで集音した音声の音圧エネルギーを計算し、音圧エネルギーが高い方の前記接触型マイクロフォンに対し、前記記憶手段に記憶されている言語辞書の中の当該接触型マイクロフォン用として予め設定した言葉が認識される確率を高くした後に、すべての言葉を用いて当該接触型マイクロフォンで集音した音声の認識処理を行うことを特徴とする音声認識装置。
7. 請求項５に記載の音声認識装置において、
   前記処理手段は、前記接触検知手段により人体の接触が検知された前記接触型マイクロフォンが複数個あった場合に、それらの前記接触型マイクロフォンで集音した音声の平均振幅または最大振幅を計算し、平均振幅または最大振幅が大きい方の前記接触型マイクロフォンに対し、前記記憶手段に記憶されている言語辞書の中の当該接触型マイクロフォン用として予め設定した言葉が認識される確率を高くした後に、すべての言葉を用いて当該接触型マイクロフォンで集音した音声の認識処理を行うことを特徴とする音声認識装置。
8. 請求項１に記載の音声認識装置において、
   前記処理手段は、前記非接触型マイクロフォンと前記接触型マイクロフォンとで集音した音声の雑音エネルギーをそれぞれ計算し、計算結果の雑音エネルギーに基づいて前記非接触型マイクロフォンと前記接触型マイクロフォンの内のいずれか一方のマイクロフォンを選択し、前記言語辞書の中の選択したマイクロフォン用の言葉を用いて音声認識処理を行うことを特徴とする音声認識装置。
9. 請求項１〜８のいずれかの項に記載の音声認識装置において、
   前記処理手段は、前記接触検知手段により前記接触型マイクロフォンへの人体の接触が検出されたときに、前記接触型マイクロフォンによる音声の集音と集音音声の認識処理を開始することを特徴とする音声認識装置。
10. 請求項１〜９のいずれかの項に記載の音声認識装置において、
    前記接触検知手段は、前記接触型マイクロフォンへの人体の接触状態が所定時間継続した場合に、前記接触型マイクロフォンへ人体が接触したと判定することを特徴とする音声認識装置。
11. 請求項１〜１０のいずれかの項に記載の音声認識装置において、
    前記接触型マイクロフォンにＮＡＭ（Non-Audible Murmur）マイクロフォンを用いることを特徴とする音声認識装置。
12. 人体から離して用いられ、人の発話音声の空気伝導音を集音する非接触型マイクロフォンと、人体に接触させて用いられ、人の発話音声の体内伝導音を集音する接触型マイクロフォンとで集音した音声を音声認識用の言語辞書を用いて認識する音声認識方法であって、
    前記接触型マイクロフォンへの人体の接触を検知し、前記接触型マイクロフォンへの人体の接触が検知されると、前記言語辞書の中の前記接触型マイクロフォン用として予め設定した言葉のみを用いて前記接触型マイクロフォンにより集音した音声の認識処理を行うことを特徴とする音声認識方法。

Images