JP2017097373A - 音声認識処理のための方法、車載システム及び不揮発性記憶媒体 - Google Patents

Abstract

【課題】車両内において音声認識が時間的及び文脈的に制約される場合であっても確実な音声認識を提供する。
【解決手段】車載システム及び方法は、音声入力を受け取り、車両内のリソースを使用して音声認識分析を実行するか、それとも、車両外のリソースを使用して音声認識分析を実行するかを判断する。
【選択図】図１

Description

（関連出願）
本出願は、２０１０年６月２４日付けの米国特許仮出願第６１／３５８，４０７号に関連しており、当該仮出願を基礎とする優先権を主張して日本国特許庁に出願した特願２０１３−５１６７８６の分割出願であり、当該仮出願はその全体がここに引用される。

当該実施形態は、車両通信システム及び方法の分野に関する。

従来型の車両は、可聴命令、例えば音声を使用して様々な車両特徴を実施する。車両内での処理能力が制限されていることに起因して、車載音声認識システムは、車両外音声認識システムほど確実ではなく、認識結果が不正確になり得る。しかしながら、車両外音声認識システムを使用すると、反応時間がより長くなり得る。

車両内において音声認識が時間的及び文脈的に制約される場合であってもロバストな音声認識を提供する、車両向けの音声認識システム及び方法が必要とされている。

車両内においてコンピュータを使用する方法は、まず、音声入力を受け取り、第１の入力音声に対する音声認識処理が、車載音声認識システムによって実行されるべきであるか、それとも、車両外の音声認識システムを使用して実行されるべきであるかを判断し、車両内において音声認識処理が実行されるべきであると判断された場合は、コンピュータを使用する音声認識処理を車両内で第１の音声入力情報に対して実行し、車両外において音声認識処理が実行されるべきであると判断された場合は、第１の音声入力情報を車両外のシステムに送信する。

本明細書に記述されている特徴及び利点は、限定的なものではなく、図面、明細書及び特許請求の範囲を見れば、当業者には、追加的な特徴及び利点が明らかになる。さらに、本明細書中で使用される用語は、主として意味の取りやすさ及び教示目的から選択されており、本発明の主旨を限定するために選択されているものではないことは当然である。

実施形態が作動し得る環境を示す図である。 ある実施形態に係る携帯通信装置の詳細図である。 ある実施形態に係る車載システムの詳細図である。 ある実施形態に係るサーバ装置の詳細図である。 ある実施形態に係る音声認識システムの処理を示すフローチャートである。 ある実施形態に係るステップ５０４の処理を示すフローチャートである。 ある実施形態に係るステップ５０４の処理を示すフローチャートである。 ある実施形態に係るユーザ命令／情報要求に応答するシステムを示す図である。

（詳細な説明）
本発明の好適な一実施形態を、図を参照しつつ説明する。複数の図に跨って同様の参照番号が記される場合、それらは同一の又は機能的に類似した構成要素を意味する。参照番号の最も左の数字は、当該参照番号が初めて使用された図の番号に対応している。

本明細書において、“ある実施形態”又は“一実施形態”と言う場合は、本発明の少なくとも１つの実施形態に、その実施形態に関連して記述される１つの特徴又は構造が含まれていることを意味する。本明細書のあちこちに“ある実施形態においては”という語が出現しても、必ずしも同一の実施形態を指しているわけではない。

後記する詳細説明のいくつかの部分は、アルゴリズム用語や、コンピュータメモリ内のデータビット作業を示す象徴的な表現による。これらのアルゴリズム的な説明や表現は、情報処理分野の当業者が、自らの業績の要旨を、同分野の他の当業者に最も効率的に伝えるために用いる手段である。アルゴリズムとは、ここでは、そして一般的にも、ある所望の結果に至る複数のステップ（指示）の首尾一貫したシーケンスのことを言う。ステップとは、物理量に対する物理的操作を要求するステップのことである。通常、必ずしも必要条件ではないが、それらの数値は、記憶され、転送され、合成され、比較されかつ操作され得る、電子的、磁気的又は光学的信号の形を取る。これらの信号のことを、ビット、値、要素、シンボル、文字、語又は番号等と呼ぶことが主として用語の共通化の理由から便宜である。さらに、物理量に対する物理的操作を要求するステップの配列のうちいくつかのものは、一般性を失うことなく、モジュール又はコードデバイスと呼ぶことが便宜である。

しかしながら、このような用語の全ては適当な物理量と結び付けられており、これらの物理量に付された単なる便宜的なラベルに過ぎない。後記において特段の説明がない限り、明細書本文全体を通じて、“処理”、“計算”、“算出”、“決定”又は“表示”等の用語を用いた説明は、（電子的な）物理量としてのデータを、コンピュータシステムのメモリ、レジスタ又は他の情報ストレージのなかで操作しかつ変形するコンピュータシステムや同様の電子的コンピューティング機器の動作や処理のことを言う。

本実施形態のいくつかの側面は、アルゴリズムの形になったプロセスステップや指示を含む。本実施形態のプロセスステップや指示は、ソフトウエア、ファームウエア又はハードウエアによって実施され、ソフトウエアで実施される場合は、ダウンロードされることが可能であり、多様なオペレーティングシステムが用いる別のプラットフォームから操作されることも可能である。本実施形態は、コンピューティングシステム上で実行され得るコンピュータプログラム製品でもあり得る。

本実施形態は、操作を実行する装置にも関する。この装置は、所与の目的を達成する専用装置であってもよいし、コンピュータに記憶されたコンピュータプログラムによって動作する汎用コンピュータであってもよい。このようなコンピュータプログラムは、コンピュータが読取り可能な媒体に記憶され得る。その媒体とは、コンピュータシステムバスに接続可能な、フロッピーディスク（登録商標）、光ディスク、ＣＤ−ＲＯＭ、電磁光学的ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、電磁的又は光学的カード、ＡＳＩＣ又は電子的命令を記憶し得るあらゆる媒体を含むが、これらに限定されない。さらに、本明細書で言うコンピュータは、単体のプロセッサを含んでもよいし、コンピュータ能力を増加させるために複数のプロセッサを用いた装置であってもよい。

ここでいうアルゴリズムやディスプレイは、もともと特定のコンピュータや他の装置に関係している訳ではない。ここで教示される内容に従って、プログラムとともに多様な一般目的システムが使用され得る。又は、必要とされる方法ステップを実行するためにさらに特化した装置を作成することも便宜である。これらのシステムのそれぞれについてどのような構成が必要となるかは、後記する明細書本文から明らかになる。さらには、本実施形態は特定のプログラム言語を参照して記載されるものではない。本実施形態の教示を実装するために、多様なプログラム言語が使用され得る。後記において特定の言語に言及した場合、それは本実施形態の実施可能性及びベストモードを開示するためである。

さらに、本明細書で使用される言語は、主として意味の取りやすさ及び教示目的から選択されているのであって、本発明の主旨を限定するために選択されているのではない。従って、本実施形態の開示は、例示的なものであって、限定的なものではない。

図１は、様々な実施形態についての動作環境１００の例を示す。動作環境１００は、車載システム１０２、オプションである無線携帯通信装置１０４、車載システム１０２及びネットワーク１０８間を通信する、オプションである通信リンク１０５、車載システム１０２及び無線携帯通信装置１０４間を通信する、オプションである短距離通信リンク１０６、無線携帯通信装置１０４及びネットワーク１０８間を通信する、オプションである無線ネットワーク通信リンク１０７、並びに、ネットワーク１０８に接続されたサーバ１１０のような処理装置を含む。ここに記述される通信リンクは、２つの装置を直接的に又は間接的に接続し得る。

車載システム１０２及び無線携帯通信装置１０４は、短距離通信リンク１０６を介して相互に通信し得る。短距離通信リンク１０６は、例えばブルートゥース（登録商標）技術のような短距離通信技術、又は、例えばユニバーサルシリアルバス（ＵＳＢ）のような他の短距離通信技術を使用する。車載システム１０２及び無線携帯通信装置１０４は、短距離通信リンク１０６を介して相互に接続されて対になり得る。

携帯通信装置（ＭＣＤ）１０４の例としては、セルラーフォン、パーソナルデバイスアシスタント（ＰＤＡ）、スマートフォン、ラップトップ型コンピュータ、又は、例えば演算能力及び通信能力を備え容易に運搬され得る他の装置が存在する。一般的には、ＭＣＤ１０４のアプリケーションは、車両と相互作用を行うより広範囲なソフトウエアの一部となり得る。アプリケーションの例としては、カリフォルニア州クパチーノ所在のアップルコンピュータ社から市販されているアイフォン（登録商標）向けアプリケーション、カリフォルニア州マウンテンビュー所在のグーグル社から市販されているアンドロイド（登録商標）オペレーティングシステムを使用する電話向けアプリケーションが存在する。

代替的な実施形態においては、携帯通信装置１０４は使用されず、その代わりに、車両組み込み電話、無線ネットワークカード又は他の装置（例えば、Ｗｉ−Ｆｉ適合装置）のような車両に組み込まれた通信装置が使用される。説明を容易にするために、本明細書は、携帯通信装置１０４を使用する実施形態の操作を記述する。しかしながら、このことは、本実施形態の主旨を限定するものではない。前記したように、他の実施形態は、車載システム１０２とネットワーク１０８の間の他の通信システムを使用する。

車載システム１０２は、無線携帯通信装置１０４に情報を送信してもよい。無線携帯通信装置１０４は、短距離通信リンク１０６を介して車載システム１０２に情報を送信してもよい。無線携帯通信装置１０４は、車載システム１０２から受け取った情報を格納してもよいし、ネットワーク１０８を介して例えばサーバ１１０のような遠隔処理装置に対して情報を提供してもよい。

ある実施形態においては、車載システム１０２は、無線携帯通信装置１０４に情報を提供してもよい。無線携帯通信装置１０４は、その情報を使用して、ネットワーク１０８及び／又はサーバ１１０から追加情報を入手してもよい。無線携帯通信装置１０４に対して車載システム１０２が入力を促す案内を送信し、その案内に応答する情報が提供されると、当該追加情報が入手されることとしてもよい。

ネットワーク１０８は、無線通信ネットワーク、例えばセルラ電話ネットワークを含んでもよいし、インターネット、公衆電話網（ＰＳＴＮ）、パケット交換ネットワーク、フレームリレーネットワーク、光ファイバーネットワーク、及び／又は、他のタイプのネットワークのような１又は複数の他のネットワークを含んでもよい。

図２は、無線携帯通信装置１０４の実施例の機能ブロック図である。無線携帯通信装置１０４は、プロセッサ２０２、メモリ２０４、短距離通信モジュール２０６、無線ネットワーク通信モジュール２０８、入力装置２１０、出力装置２１２及び記憶装置２１８を含んでもよい。

プロセッサ２０２は、メモリ２０４又はメディアカード、フラッシュ（登録商標）ＲＡＭ又は他の有体媒体であり得る記憶装置２１８のような有体媒体内に記憶された指示を解釈し実行する１又は複数の従来型のプロセッサを含んでもよい。ここで記述されるように、メモリ２０４は、プロセッサ２０２が実行する情報及び指示を記憶するために、ランダムアクセスメモリ（ＲＡＭ）又は他のタイプの動的記憶装置、及び、読出専用メモリ（ＲОＭ）又は他のタイプの静的記憶装置を含んでもよい。ＲＡＭ又は他のタイプの動的記憶装置は、指示を記憶してもよいし、プロセッサ２０２が指示を実行する間に使用される一時的変数又は中間情報を記憶してもよい。ＲОＭ又は他のタイプの静的記憶装置は、プロセッサ２０２向けの不変の情報及び不変の指示を記憶してもよい。

短距離通信モジュール２０６は、例えばブルートゥース（登録商標）又は他の短距離通信技術、例えばユニバーサルシリアルバス（ＵＳＢ）のような無線短距離通信技術を介して情報を送受信する第１の送受信機を含んでもよい。無線ネットワーク通信モジュール２０８は、セルラ電話ネットワークを含むがそれに限定されない無線通信ネットワークを介して情報を送受信する第２の送受信機を含んでもよい。

入力装置２１０は、ハードキー、ソフトキー、マイクロフォン、タッチスクリーン、及び／又は、他の入力装置を含んでもよい。出力装置２１２は、スピーカ及び／又はディスプレイを含んでもよい。

図３は、車載システム１０２の実施例の機能ブロック図である。車載システム１０２は、プロセッサ３０２、メモリ３０４、短距離通信モジュール３０６、入力装置３１０、出力装置３１２、衛星通信モジュール３１６、記憶装置３１８及び音声認識モジュール３２０を含んでもよい。

プロセッサ３０２は、メモリ３０４又はメディアカード、フラッシュ（登録商標）ＲＡＭ又は他の有体媒体のような有体媒体内に記憶された指示を解釈し実行する１又は複数の従来型のプロセッサを含んでもよい。メモリ３０４は、プロセッサ３０２が実行する情報及び指示を記憶するために、ランダムアクセスメモリ（ＲＡＭ）又は他のタイプの動的記憶装置、及び、読出専用メモリ（ＲОＭ）又は他のタイプの静的記憶装置を含んでもよい。ＲＡＭ又は他のタイプの動的記憶装置は、指示を記憶してもよいし、プロセッサ３０２が指示を実行する間に使用される一時的変数又は中間情報を記憶してもよい。ＲОＭ又は他のタイプの静的記憶装置は、前記したように、プロセッサ３０２向けの不変の情報及び不変の指示を記憶してもよい。

短距離通信モジュール３０６は、例えばブルートゥース（登録商標）又は他の短距離通信技術、例えばユニバーサルシリアルバス（ＵＳＢ）、Ｗｉ−Ｆｉ等のような無線短距離通信技術を介して情報を送受信する送受信機を含んでもよい。

入力装置３１０は、ハードキー、ソフトキー、マイクロフォン、タッチスクリーン、及び／又は、他の入力装置を含んでもよい。出力装置３１２は、スピーカ及び／又はディスプレイを含んでもよい。

ある実施形態においては、車載システム１０２の構成部品は、車載システム１０２を搭載する車両のユーザを目的地に案内するナビゲーションユニットを含んでもよい。つまり、車載システム１０２の少なくともいくつかの構成要素が協働してナビゲーションユニットとなってもよい。車載システム１０２がナビゲーションユニットを含むとき、車載システム１０２は、全地球測位衛星と通信する衛星通信モジュール３１６を含むものでもよい。ナビゲーションユニットは、行先地点のデータベースを含んでもよい。当該データベースは、車両のユーザがそこに行くことを希望する様々な場所についての情報を格納する。行先地点は、食事、買い物、緊急サービス等のようなカテゴリごとに並べられてもよい。

音声認識モジュール３２０は、プロセッサ、メモリ及び／又は記憶装置を自ら備えることもでき、車両内にあるプロッセッサ３０２、メモリ３０４及び記憶装置３１８のうちの１又は複数を共用することもできる。音声認識モジュール３２０は、１又は複数のユーザの音声プロフィールを記憶し、例えば１又は複数のユーザが話す命令、要求及び／又は質問を認識することができる。

図４は、サーバ１１０の実施例の機能ブロック図である。サーバ１１０は、プロセッサ４０２、メモリ４０４、ネットワーク通信モジュール４０８、入力装置４１０、出力装置４１２、記憶装置４１４及び音声認識モジュール４２０を含んでもよい。

プロセッサ４０２は、メモリ４０４又はメディアカード、フラッシュ（登録商標）ＲＡＭ又は他の有体媒体のような有体媒体内に記憶された指示を解釈し実行する１又は複数の従来型のプロセッサを含んでもよい。ここで記述されるように、メモリ４０４は、プロセッサ４０２が実行する情報及び指示を記憶するために、ランダムアクセスメモリ（ＲＡＭ）又は他のタイプの動的記憶装置、及び、読出専用メモリ（ＲОＭ）又は他のタイプの静的記憶装置を含んでもよい。ＲＡＭ又は他のタイプの動的記憶装置は、指示を記憶するだけではなく、プロセッサ４０２が指示を実行する間に使用する一時的変数又は中間情報を記憶するものでもよい。ＲОＭ又は他のタイプの静的記憶装置は、プロセッサ４０２向けの不変の情報及び不変の指示を記憶してもよい。

音声認識モジュール４２０は、プロセッサ、メモリ及び／又は記憶装置を自ら備えることもでき、プロッセッサ４０２、メモリ４０４及び記憶装置４１４のうちの１又は複数を共用することもできる。音声認識モジュール４２０は、１又は複数のユーザの音声プロフィールを記憶し、例えば１又は複数のユーザが話す命令、要求及び／又は質問を認識することができる。

ネットワーク通信モジュール４０８は、ネットワーク１０８又は他のネットワーク、例えば、ワイドエリアネットワーク、ローカルエリアネットワーク、インターネット等のような有線又は無線通信ネットワークを介して情報を送受信する送受信機を含んでもよい。

図５は、ある実施形態に係る音声認識システムの処理を示すフローチャートである。ステップ５０２において、入力装置３１０が、音声命令（ＶＣ）を受け取る。一例では、ユーザが例えば車両内のハードキー／ソフトキーを押下することによって音声命令を起動する。そして、命令、要求、質問等を発話する。説明を容易にするため、命令、要求、質問等の任意の入力情報を含む概念として命令という語を使用する。音声命令は、デジタル情報に変換されたうえでデジタル情報として記憶され、又は、アナログ情報のまま記憶され得る。説明を容易にするため、ここでは、デジタル情報の例を説明する。車両は、車両自身が車載機により音声認識を実行するか、それとも、例えばサーバ１１０、８２０内において、車両外音声認識モジュール４２０が車外機によりで音声認識を実行するかを決定する。車載音声認識システム３２０及び車載音声認識システム４２０の例としては、ニューヨーク州アーモンク所在のＩＢＭ社から市販されているバイアボイス、マサチューセッツ州バーリントン所在のニュアンスコミュニケーション社から市販されているニュアンス音声認識、及び、ワシントン州ベルビュ所在のボイスボックステクノロジ社から市販されているＭＡ及びボイスボックス音声認識がある。

プロッセッサ３０２は、入力装置３１０から入力信号を受け取り、要求の文脈を識別する。例えば、文脈は、ハードキー／ソフトキーの押下（通話キー又は全地球命令キー）、及び／又は、出力装置３１２に表示される情報（例えば、ナビゲーション、音声、ビデオ）に基づき得る。ステップ５０４において、車載システム１０２は、車載音声認識モジュール３２０を使用して音声認識を実行するか、それとも、車両外音声認識モジュール４２０を使用して音声認識を実行するかを判断する。図６及び図７は、どのようにして当該判断がなされ得るかを例示する。

図６は、ある実施形態に係るステップ５０４の処理を示すフローチャートである。この実施形態においては、ステップ６０４において、決定された文脈は、車載音声認識モジュール３２０を使用して音声認識を実行するか、それとも、車両外音声認識モジュール４２０を使用して音声認識（ＶＲ）を実行するかを判断するのに使用される。例えば、音声制御がディスプレイスクリーン上の情報と関係している車両内において、ディスプレイスクリーンが、例えばＣＤ、ＤＶＤ等の音声ディスクを再生していることを示す場合は、音声命令の文脈が車載音声システムに関するものであるので、音声命令の文脈は車載機で分析されるべきであると車載システムは判断する。なぜならば、分析速度はより速く、分析信頼度はより高くなることが見込まれ、分析正確度も一般的に高いからである。

ステップ６０４において、最初の判断が、車載機で音声認識を実行するという判断であった場合は、ステップ６０６において、音声命令（ＶＣ）は、車載音声認識モジュール３２０に入力される。車載音声認識モジュール３２０は、音声認識技術を使用して、音声命令を分析する。多くの音声認識技術が使用され得る。信頼度値決定の一例は、“Jang,音声認識のための信頼度測定、A Survey.2004 Speech Communication”に公表されており、www.sciencedirect.comにおいても利用可能である。当該例は、その全体が参照によってここに組み込まれるものとする。

ステップ６０８において、音声認識モジュール３２０によって決定された信頼度値が、第１の閾値（Ｔ１）より大きい場合、処理はステップ５１０（図５）に進む。ステップ５１０において、音声認識分析の結果は、車両のユーザ又はドライバに対応する音声プロフィールとして車両内に記憶され得る（分析の結果は、オプションとして、サーバ１１０に送信されて車両外に位置する音声プロフィールに記憶される）。以降、ステップ５３４において、命令が実行され得る。または、要求された情報がユーザに提示され得る。

ステップ６０８において、音声認識モジュール３２０によって決定された信頼度値が、第１の閾値（Ｔ１）を超過しない場合、つまり、車載音声認識モジュールが満足し得る結果を生まなかった場合、この実施形態においては、音声命令は、車両外音声認識モジュール４２０に送信される。車両外音声認識モジュール４２０は、より高い処理能力を有し、より高い信頼度値で音声命令の意味を決定することができる。そして、処理は、後記するステップ５２６に進む。ステップ７２０を参照して後記するように、追加情報が音声命令とともに送信されてもよい。

第１の閾値は、多くの閾値の候補のうちの１つであってもよく、どの候補を選ぶかによって結果が違ってくる。例えば、信頼度値が低いと、システムは、他の動作をなんら実行することなく、ユーザに対し命令を繰り返し入力することを要求することになり得る。

図７は、ある実施形態に係るステップ５０４の処理を示すフローチャートである。図７に示されるステップは、そのすべてが要求されるわけではなく、図示されている順序で実行される必要もない。図７に示されるステップは、図６に示されるステップと組み合わされ得る。ステップ５０４において、車載システム１０２は、車載音声認識モジュール３２０を使用して音声認識を実行するか、それとも、車両外音声認識モジュール４２０を使用して音声認識を実行するかを判断する。ステップ５０２において、車載システム１０２は、音声命令を受け取る。車載システム１０２は、命令の特性、及び／又は、例えば、音声の型、周波数、速度、韻律、明瞭度、諧調、ピッチ、サイズ、方向、量、及び／又は継続時間のような音声の特性を決定する。特性は、例えば、命令は約５秒より短いか、音声は、男声であるかそれとも女声であるか、話者は早口で話しているか、である。図７に示される実施形態においては、サイズが例として使用されており、以降の記述においても使用される。これらの例は、単に代表的なものであり、継続時間又は他の要因が使用され得る。ステップ７０２において、命令のサイズが大きすぎる場合、例えば、サイズが第１のサイズ閾値Ｓ１を超過する場合、車載システム１０２は、ステップ７０８に進む。長い継続期間を有する命令の一例は、ユーザが、長いテキストメッセージを送信することを要求したい場合である。ステップ７０２において、命令のサイズが大きすぎない場合、車載システム１０２は、車載音声認識モジュール３２０を使用して信頼度値（ＣＳ）を決定する。ステップ７０４において、信頼度値が第１の閾値（Ｔ１）を超過しない場合は、車載システム１０２は、ステップ７０８に進む。

信頼度値が第１の閾値（Ｔ１）を超過する場合は、命令／要求は、処理に充分な信頼度を有していることがわかる。ステップ７０６において、車載システムは、決定された命令／要求が車両内で実行されるべきか、それとも、車両外で実行されるべきかを判断する。例えば、いくつかの実施形態においては、音声制御命令、周辺機器制御命令、環境命令（例えば、車両内気温の調整、送風機速度の調整）、不変のデータ、緊急関連要求（例えば、９１１番通報、最寄病院についての情報要求）、ハンズフリーリンク（登録商標）（ＨＦＬ）命令及び住所入力のようないくつかの命令／要求は、車両内で解釈されるべきである。車両外で実行されるべき命令／要求の例としては、ニュース若しくは他の動的データの入手、電子メール若しくはテキストメッセージの送信、イベントチケットの購入、予約、行先地点の検索、又は、天気予報若しくはリアルタイム交通情報の入手がある。

ステップ７０６において、決定された命令／要求が、車両内で実行されるべきものである場合は、処理はステップ５１０に進む。

ステップ７０６において、命令が、車載機で実行されるべきものでない場合（例えば、リアルタイム交通情報又はレストラン営業時間の詳細を入手する場合）は、ステップ７０８において、車載システム１０２は、車載システム１０２及びサーバ１１０の間に、通信リンク１０５、１０６、１０７のうちのいずれかに対する接続問題（connectivity issues）が存在するか否かを判断する。ステップ７０８において、通信障害がありデータが正確に送受信できない場合は、ステップ７１０において、車載システム１０２は、識別された命令が車載機で実行され得るか否かを判断する。実行され得る場合は、処理はステップ５１０に進む。ステップ７１０において、識別された命令が車載機で実行され得ない場合、又は、命令が不明である場合（例えば、命令の情報量が多すぎる、命令が信頼度の低い因子を有する場合）、ステップ７１２において、車載システム１０２は、ユーザと通信し、音声命令を再入力することを要求する。代替的に、ステップ７１２において、エラーメッセージが送信され得る。当該エラーメッセージは、接続問題は命令が現時点で実行されることを禁止している旨を記述する。代替的な実施形態においては、接続障害がもはや存在しなくなったとき、車載システム１０２は、音声命令を記憶し、サーバ１１０に要求を送信する。

ステップ７０８において、接続問題が存在しない場合は、ステップ７２０において、車載システムは、音声命令を送信し、車両外音声認識モジュール４２０によって使用され得る追加的なユーザプロフィール関連情報及び／又は車両情報を提供する。ステップ７２０の送信に含まれ得る情報のタイプは、以降で詳細に記述される。

ステップ５０４において、音声命令がサーバで実行されるべきであると判断された場合は、ステップ５２６において、車両外音声認識モジュール４２０は、受け取った命令の音声認識分析を実行する。プロセッサ４０２は処理能力がより高く、メモリ４０４及び記憶装置４１４はより多くの利用可能なデータを記憶し、他のネットワークから追加リソースが使用され得るので、サーバ内の車両外音声認識モジュール４２０は、処理能力がより高いエンジン／モジュールとなる。さらに、後記するように、車両に関係する複数のユーザプロフィールが使用されて、ユーザの命令／要求を正確に解釈することを支援する。ステップ５２８において、車両外音声認識モジュール４２０によって決定された信頼度値が第２の閾値Ｔ２（Ｔ２はＴ１とは別の値であってもよい）を超過する場合は、ステップ５３０において、音声認識の結果がサーバ１１０に記憶され、ステップ５３２において、当該結果が車両に送信され得る。すると、ステップ５１０において、車内で当該結果が記憶され得る。ステップ５３４において、車両は、識別された命令を実行し得る（又は、要求された情報を送信し得る）。サーバ及び／又は車両に記憶された結果は、将来の性能を向上させるために音声認識モジュール３２０、４２０にフィードバックすることもできる。

ステップ５２８において、車両外音声認識モジュール４２０によって決定された信頼度値が第２の閾値（Ｔ２）を超過しない場合は、ステップ５４０において、ユーザは音声命令の再入力を要求され、処理はステップ５０２に戻る。

他の実施形態において、音声命令は、車載音声認識モジュール３２０及び車両外音声認識モジュール４２０の両者に送信される。両者の結果は車載システム１０２によって集められ、ユーザに送信される。両者の音声認識の結果が相違する場合は、両者の信頼度値の値同士が比較され、信頼度値が高い方の結果が採用され得る。代替的に、音声命令を分析するリソースをより多く有するものと予定され、したがってより正確である可能性が高い車両外音声認識モジュール４２０の結果を、初期値として使用してもよい。車載音声認識モジュール３２０からの結果がユーザに送信される場合、又は、車載システム１０２が車載音声認識モジュール３２０から結果を受け取る前に命令が実行される場合は、車載システムは、遅い方の結果を無視してもよいし、ユーザに送信してもよいし、実行してもよい。

前記したように、ステップ７０８において、接続問題が存在しない場合、ステップ７２０において、車載システムは、音声命令を車両外音声認識モジュール４２０に送信し、車両外音声認識モジュール４２０が利用する追加的なユーザプロフィール関連情報及び／又は車両情報を提供し得る。音声命令が車両外音声認識モジュール４２０に送信されるとき、当該実施形態は、車両外音声認識モジュール４２０によって使用され得る追加情報を提供してユーザを識別し、車両外音声認識モジュール４２０が当該情報を利用できない場合よりも正確に音声命令を認識する。

ある実施形態においては、車両外音声認識モジュール４２０は、車両につき１つのユーザプロフィールを含んでもよい。代替的な実施形態においては、車両に関連する複数のユーザプロフィールが存在してもよい。それぞれのユーザプロフィールは、車両外音声認識モジュール４２０が、音声命令の音声認識を実行するのを支援する。例えば、ユーザプロフィールは、ユーザのアクセント、発音、文構造、会話訓練データ、コーヒーを飲むために、ある車両のユーザはある店によく行く一方、他のユーザは別の店によく行くというようなユーザ傾向のような情報を含んでもよい。

様々な実施形態では、車載システム１０２は、（ａ）ステップ７２０において、正しいユーザプロフィールを識別することを支援するのに使用され得る情報を提供することによって、及び／又は、（ｂ）ステップ７２０において、音声命令が入力された時点での車両の音響モデルを提供し音声認識の確度を高め得る、車両モデル及び車両状態についての追加情報を提供することによって、車両外音声認識モジュール４２０を支援する。ステップ７２０において、車両外音声認識モジュール４２０が正しいユーザプロフィールを識別するのを支援するために提供される情報は、以下の情報を含む。以下の情報とは、キーフォブ識別子（車両が複数のキーフォブを有するとき）、車両と対になっている場合のセルフォン識別番号又は電話番号、車両／ナビゲーションユニット識別番号、顔面特徴（顔面認識に使用する）及び／又は運転時に座席にかかるドライバの体重（ドライバごとに異なる）、車載ＧＰＳからの車両位置情報である。車両位置情報は、車両に関連付けられたプロフィールを有するドライバの習慣を識別するのを支援するために使用され得る。例えば、ドライバ１はカリフォルニア州トランスに勤務しており、ドライバ２はカリフォルニア州アナハイムに勤務しているとする。車両の位置がトランスにある又はトランスの近辺にあるとき、車両外音声認識モジュール４２０は、当該車両位置情報を使用して、ドライバ１が話者であり、したがって、音声認識に際してドライバ１に関連付けられたプロフィールが使用されるべきであることをより正確に決定できる。含まれ得る追加情報の例としては、発話された場合又はスクリーンを使用して選択された場合のユーザの名前、車両内空調制御情報、速度情報、時刻、ブレーキパターン、任意の他の車両関連／車両生成データ、直前を走っている車両又は他の車両と自車の間の車間距離、車両外音声認識モジュール４２０が２人のドライバの傾向に差をつけ特定のユーザを識別するのを支援する情報がある。これらの情報は、音声命令に追加して、したがって、音声命令の周波数のような音声命令そのものの特性に追加して送信される。

車両外音声認識モジュール４２０によって使用され得る追加情報は、車両の音響に関する。ステップ７２０において提供される情報は、車両のモデル、車両識別番号／ナビゲーション識別番号を含み得る。車両識別番号／ナビゲーション識別番号は、音声命令を認識しようとするとき、その車両に対応する定義済の音響モデルが使用されることを可能にする。さらに、速度、ヨーイング、車両位置（路上騒音）、ファンの状態（高、低、停止）、搭乗者数、窓配置、及び／又は、任意の他の車両関連データ／車両生成データを車両外音声認識モジュール４２０が使用し、音響モデルを調整して、音声命令が発せられた時点の車両内条件をより正確に反映させる。ステップ７２０において、この情報は、車両内音声認識モジュール３２０も使用できる。

図８は、ある実施形態に係るユーザ命令／ユーザ情報要求に応答するシステムを示す図である。この実施形態においては、前記の車両音声認識／制御システム及び方法は、ユーザが要求された実施形態を入手する、又は、要求された命令を実行するのを支援するために使用され得る。図８は、ある実施形態に係るシステムを示す図である。当該システムは、車両８０２を含む。車両８０２は、車載音声認識（ＶＲ）システム８０４（車載音声認識モジュール３２０と同じ）を含む。このようなＶＲシステムの例は、前記した。

オプションとして、車両８０２は、通信リンクを介してナビゲーションサーバ８１０と無線接続されている。ナビゲーションサーバ８１０は、交通データベース８１２、行先地点データベース８１４及び／又は地図データベース８１６を含み得るし、直接的又は間接的にこれらのデータベースと接続され得る。

車両８０２及び／又はナビゲーションサーバ８１０は、音声認識サーバ８２０と接続されている。音声認識サーバ８２０は、他のデータベース、インターネット、及び／又は、プログラム／アプリケーションと接続され得る。ある実施形態においては、ユーザは、音声認識サーバ８２０に使用して欲しいアプリケーション８２４、ウエブサイト８２２、データベース８２６の中での好みを設定し得る。例として、ＥＳＰＮ、Ｙｅｌｐ、Ｆｌｉｘｓｔｅｒ、Ｏｐｅｎ Ｔａｂｌｅ，Ｇｏｏｇｌｅ、ＣＮＮ、Ｙａｈｏｏ等がある。これらの好みは予め設定され得る。又は、音声認識サーバ８２０を使用して設定／変更することができる。

ある実施形態においては、ユーザは、情報又は動作を要求する。例えば、ユーザは、「午後７時に４名でおいしい日本料理店を予約して下さい」と要求してもよい。ステップ７２０において、口頭の要求が、追加情報とともに、車両８０２からナビゲーションサーバ８１０及び／又は音声認識サーバ８２０に送信される。ステップ７２０において送信された追加情報は、ここで記述される実施形態で送信される情報に加えて、ユーザ情報、車両情報、車両速度、車両位置、時刻、及び、計画された経路情報を含み得る。

音声認識サーバ８２０は、音声情報／音声命令及び追加情報を受け取り、前記したような従来型の音声認識を実行し、情報を収集し、及び／又は、要求された命令を実行する。車両位置、車両速度、時刻及び／又は計画された経路情報を送信することによって、車両は、音声認識サーバ８２０又は車両８０２自身が、車両位置の変更及び走行方向の変更を可能にする。

例えば、南向きに走行している車両内のユーザは、わざわざユーターンして行かなければならないレストランではなく、進行方向にあるレストランを好む傾向がある。ある実施形態においては、この好みは、ユーザが設定したものである。ある実施形態においては、音声認識サーバ８２０又は車両は、例えば選択された経路に基づいて、特定の時刻における車両位置を推定する。例えば前記の例では、ユーザが目的地を選択し、車両が経路を取得すると、車両は、例えば予約時刻午後７時前後における車両位置を推定し、音声認識サーバがレストランを選択するのを支援し得る。他の実施形態においては、音声認識サーバ８２０及び／又は車両８０２は、経路情報及び位置情報を使用して、計画された経路に近いレストラン等の情報を選択し得る。

ユーザの口頭要求についての音声認識を実行した後で、音声認識システム８２０は、１又は複数の情報ソースを識別し、それらの情報ソースに接続する。ある実施形態においては、音声認識システム８２０は、前記したユーザ選好情報（好み）を使用する。音声認識システムは、インターネットウエブサイト８２２、アプリケーション８２４及び／又はデータベース８２６と接続して、情報を入手し得る。前記の実施形態において、音声認識システムは、Ｙｅｌｐウエブサイト（www.yelp.com）又は同様のウエブサイトに接続すれば、レストランの質、営業時間、必要に応じて予約可能性に関する情報を入手できる。音声認識システム８２０又はこの例の外部ウエブサイトは、情報を入手するために／車両８０２内でユーザによって話された命令を実行するために、必要に応じて複数のウエブサイトと接続し得る。前記の例では、適当なレストランを識別した後、車両外音声認識サーバ８２０は、Ｏｐｅｎ Ｔａｂｌｅ（www.opentable.com）のような予約ウエブサイト／予約サービスと接続して、夕食の予約をし得る。

要求された情報を検索した後、音声認識サーバ８２０が車両８０２にその情報を戻すと、その情報／命令がユーザに提供される。その情報は、車両８０２内のスピーカを使用して口頭で提供されてもよいし、車両内のスクリーン上でユーザに表示されてもよい。テキストメッセージが送信されてもよいし、他の通信方法が使用されてもよい。ユーザにその情報を提供する際、ある情報がハイライトされ、及び／又は、灰色表示され、その選択についての情報を提供する。例えば、ユーザがその地域のおいしい日本料理店についての情報を要求する場合、車両は、複数のレストラン候補を表示し、現時点において営業中のレストランをハイライト表示し、現時点において閉店しているレストランを灰色表示し得る。

前記では、特定の実施形態及び適用例を例示及び記述してきたが、実施形態がここで開示された構造及び構成そのものに限定されないこと、並びに、本実施形態の主旨を逸脱せずに、本実施形態の方法及び装置の配置、動作及び細部について様々な修正、変更及び変形例が可能であることは、当然である。

１０２ 車載システム
１０４ 携帯通信端末
１０５ 通信リンク
１０６ 短距離通信リンク
１０７ 無線ネットワーク通信リンク
１０８ ネットワーク
１１０ サーバ
２０２、３０２、４０２ プロセッサ
２０４、３０４、４０４ メモリ
２０６、３０６ 短距離通信モジュール
２０８ 無線ネットワーク通信モジュール
２１０、３１０、４１０ 入力装置
２１２、３１２、４１２ 出力装置
２１８、３１８、４１４ 記憶装置
３１６ 無線／衛星ネットワーク通信モジュール
３２０、４２０ 音声認識モジュール
４０８ ネットワーク通信モジュール
８０２ 車両
８０４ 音声認識システム
８１０ ナビゲーションサーバ
８１２ 交通
８１４ 行先地点
８１６ 地図
８２０ 音声認識サーバ
８２２ ウエブサイト
８２４ アプリケーション
８２６ データベース

Claims (21)

1. 車両内においてコンピュータを使用する方法であって、
   前記コンピュータは、
   第１の音声入力の第１の音声入力情報を受け取り、
   前記第１の音声入力情報に対して前記車両内で音声認識処理を実行して第１の音声認識結果を生成し、
   前記車両内で実行される音声認識処理の信頼度値であって、前記第１の音声認識結果が正しいものである可能性を示す信頼度値を決定し、
   前記信頼度値が、第１の閾値より小さい場合は、前記音声認識処理を前記車両外の音声認識システムが実行するべきであると判断し、
   前記音声認識処理を前記車両外の音声認識システムが実行するべきであると判断した場合は、前記第１の音声入力情報を前記車両外の音声認識システムに送信すること、
   を特徴とする方法。
2. 前記コンピュータは、
   前記第１の音声入力情報の第１の文脈を決定し、
   前記第１の音声入力情報に対する音声認識処理を前記車両内の音声認識システムが実行するべきであるか、それとも、前記第１の音声入力情報に対する音声認識処理を前記車両外の音声認識システムが実行するべきであるかを前記第１の文脈に基づいて判断すること、
   を特徴とする請求項１に記載の方法。
3. 前記第１の文脈を決定することは、
   前記車両内の第１のユーザによって押下される車両キーのタイプ及び前記車両内の出力装置に表示された情報のうちの少なくとも１つを使用すること、
   を特徴とする請求項２に記載の方法。
4. 前記車両内の出力装置に表示された情報は、
   音声情報、ビデオ情報及びナビゲーション情報のうちの少なくとも１つであること、
   を特徴とする請求項３に記載の方法。
5. 前記コンピュータは、
   前記音声認識処理を前記車両外の音声認識システムが実行するべきであると判断した場合は、前記車両と前記車両外の音声認識システムとの間の無線通信接続の質が最低閾値を超過するか否かを判断し、
   前記無線通信接続の質が前記最低閾値より小さい場合は、前記音声認識処理を前記車両内の音声認識システムが実行するべきであると判断すること、
   を特徴とする請求項１に記載の方法。
6. 前記第１の音声入力情報は、
   前記車両の第１のユーザから受け取られ、
   前記コンピュータは、
   前記第１のユーザ及び前記車両のうちの少なくとも１つについてのプロフィールを前記車両外のシステムに送信すること、
   を特徴とする請求項１に記載の方法。
7. 前記コンピュータは、
   前記第１の音声入力情報の第１の特性を決定し、
   前記第１の音声入力情報に対する音声認識処理を前記車両内の音声認識システムが実行するべきであるか、それとも、前記第１の音声入力情報に対する音声認識処理を前記車両外の音声認識システムが実行するべきであるかを、前記第１の特性に基づいて判断すること、
   を特徴とする請求項１に記載の方法。
8. 前記第１の特性は、
   音声の型、周波数、速度、韻律、明瞭度、諧調、ピッチ、サイズ、方向、量及び継続時間のうちの少なくとも１つであること、
   を特徴とする請求項７に記載の方法。
9. 前記コンピュータは、
   前記音声認識処理を前記車両外の音声認識システムが実行するべきであると判断した場合は、前記車両と前記車両外の音声認識システムとの間の無線通信接続の質が最低閾値を超過するか否かを判断し、
   前記無線通信接続の質が前記最低閾値より小さい場合は、前記音声認識処理を前記車両内の音声認識システムが実行するべきであると判断すること、
   を特徴とする請求項７に記載の方法。
10. 前記第１の音声入力情報は、
    前記車両の第１のユーザから受け取られ、
    前記コンピュータは、
    前記第１のユーザ及び前記車両のうちの少なくとも１つについてのプロフィールを前記車両外の音声認識システムに送信すること、
    を特徴とする請求項７に記載の方法。
11. 前記コンピュータは、
    室温、車内送風機速度、車内に記憶されている静的データ、緊急関連要求、電話制御命令又は住所入力命令を少なくとも修正するための、音声制御命令、周辺機器制御命令及び環境命令のうちの少なくとも１つに前記第１の音声入力情報が対応しているとの決定に少なくとも部分的に基づき、前記音声認識処理を前記車両内の音声認識システムが実行することを決定すること、
    を特徴とする請求項１に記載の方法。
12. 第１のユーザから第１の音声入力情報を受け取るマイクロフォンと、
    前記第１の音声入力情報に対する音声認識処理を車両内の音声認識システムが実行するべきであるか、それとも、車両外の音声認識システムが実行するべきであるかを判断する音声認識位置判断ユニットと、
    前記第１の音声入力情報に対する音声認識処理を前記車両内の音声認識システムが実行した結果生成された第１の音声認識結果が正しいものである可能性を示す信頼度値を決定する信頼度値ユニットと、
    前記信頼度値が第１の閾値より小さいことに起因して、前記音声認識処理を前記車両外の音声認識システムが実行するべきであると前記音声認識位置判断ユニットが判断した場合は、前記第１の音声入力情報を前記車両外のシステムに送信する通信ユニットと、
    を備えることを特徴とする車載システム。
13. 前記車載システムは、
    前記第１の音声入力情報の第１の文脈を決定する文脈ユニットを備え、
    前記音声認識位置判断ユニットは、
    前記第１の音声入力情報に対する音声認識処理を前記車両内の音声認識システムが実行するべきであるか、それとも、前記第１の音声入力情報に対する音声認識処理を前記車両外の音声認識システムが実行するべきであるかを前記第１の文脈に基づいて判断すること、
    を特徴とする請求項１２に記載の車載システム。
14. 前記通信ユニットは、
    前記音声認識処理を前記車両外の音声認識システムが実行するべきであると判断した場合は、前記車両と前記車両外のシステムとの間の無線通信接続の質が最低閾値を超過するか否かを判断し、
    前記音声認識位置判断ユニットは、
    前記無線通信接続の質が前記最低閾値より小さい場合は、前記音声認識処理を前記車両内の音声認識システムが実行するべきであると判断すること、
    を特徴とする請求項１２に記載の車載システム。
15. 前記通信ユニットは、
    前記第１のユーザ及び前記車両のうちの少なくとも１つについてのプロフィールを前記車両外の音声認識システムに送信すること、
    を特徴とする請求項１２に記載の車載システム。
16. 前記音声認識位置判断ユニットは、
    室温、車内送風機速度、車内に記憶されている静的データ、緊急関連要求、電話制御命令又は住所入力命令を少なくとも修正するための、音声制御命令、周辺機器制御命令及び環境命令のうちの少なくとも１つに前記第１の音声入力情報が対応しているとの決定に少なくとも部分的に基づき、前記音声認識処理を前記車両内の音声認識システムが実行するべきであると判断すること、
    を特徴とする請求項１２に記載の車載システム。
17. 車両内の第１のユーザから第１の音声入力情報を受け取るステップと、
    前記第１の音声入力情報に対して前記車両内で音声認識処理を実行して第１の音声認識結果を生成するステップと、
    前記車両内で実行される音声認識処理の信頼度値であって、前記第１の音声認識結果が正しいものである可能性を示す信頼度値を決定するステップと、
    前記信頼度値が第１の閾値より小さい場合は、前記音声認識処理を前記車両外の音声認識処理が実行するべきであると判断するステップと、
    前記音声認識処理を前記車両外の音声認識システムが実行するべきであると判断した場合は、前記第１の音声入力情報を前記車両外の音声認識システムに送信するステップと、
    をコンピュータに実行させるためのプログラムを記録していること、
    を特徴とする前記コンピュータに読取可能な不揮発性記憶媒体。
18. 前記不揮発性記憶媒体は、
    前記第１の音声入力情報の第１の文脈を決定するステップと、
    前記第１の音声入力情報に対する音声認識処理を前記車両内の音声認識システムが実行するべきであるか、それとも、前記第１の音声入力情報に対する音声認識処理を前記車両外の音声認識システムが実行するべきであるかを前記第１の文脈に基づいて判断するステップと、
    を前記コンピュータに実行させるためのプログラムを記録していること、
    を特徴とする請求項１７に記載の不揮発性記憶媒体。
19. 前記不揮発性記憶媒体は、
    前記音声認識処理を前記車両外の音声認識システムが実行するべきであると判断した場合は、前記車両と前記車両外の音声認識システムとの間の無線通信接続の質が最低閾値を超過するか否かを判断するステップと、
    前記無線通信接続の質が前記最低閾値より小さい場合は、前記音声認識処理を前記車両内の音声認識システムが実行するべきであると判断するステップと、
    を前記コンピュータに実行させるためのプログラムを記録していること、
    を特徴とする請求項１７に記載の不揮発性記憶媒体。
20. 前記不揮発性記憶媒体は、
    前記第１のユーザ及び前記車両のうちの少なくとも１つについてのプロフィールを前記車両外の音声認識システムに送信するステップを前記コンピュータに実行させるためのプログラムを記録していること、
    を特徴とする請求項１７に記載の不揮発性記憶媒体。
21. 前記不揮発性記憶媒体は、
    室温、車内送風機速度、車内に記憶されている静的データ、緊急関連要求、電話制御命令又は住所入力命令を少なくとも修正するための、音声制御命令、周辺機器制御命令及び環境命令のうちの少なくとも１つに前記第１の音声入力情報が対応しているとの決定に少なくとも部分的に基づき、前記音声認識処理を前記車両内の音声認識システムが実行することを決定するステップを前記コンピュータに実行させるためのプログラムを記録していること、
    を特徴とする請求項１７に記載の不揮発性記憶媒体。

Images