JP2015118709A - 音声認識問い合わせ応答システム - Google Patents

音声認識問い合わせ応答システム Download PDF

Info

Publication number
JP2015118709A
JP2015118709A JP2014255936A JP2014255936A JP2015118709A JP 2015118709 A JP2015118709 A JP 2015118709A JP 2014255936 A JP2014255936 A JP 2014255936A JP 2014255936 A JP2014255936 A JP 2014255936A JP 2015118709 A JP2015118709 A JP 2015118709A
Authority
JP
Japan
Prior art keywords
vehicle
query
data
response
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014255936A
Other languages
English (en)
Other versions
JP6543460B2 (ja
Inventor
ベルント ジョシュア
Berndt Joshua
ベルント ジョシュア
ロイ ティルタ
Roy Tirtha
ロイ ティルタ
シエックスコ マイケル
Sieczko Michael
シエックスコ マイケル
スロミンスキ ジョシュア
Slominski Joshua
スロミンスキ ジョシュア
カント チャンドラ
Kant Chandra
カント チャンドラ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harman International Industries Inc
Original Assignee
Harman International Industries Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harman International Industries Inc filed Critical Harman International Industries Inc
Publication of JP2015118709A publication Critical patent/JP2015118709A/ja
Application granted granted Critical
Publication of JP6543460B2 publication Critical patent/JP6543460B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue

Abstract

【課題】車載コンピューティングシステムを提供すること。【解決手段】問い合わせ応答サーバに通信可能に接続された通信インタフェース、プロセッサ、及び記憶装置を備える車載コンピューティングシステムに関する実施形態が開示される。記憶装置は、車両−ユーザ間対話データを取集及び格納するように構成され、ユーザからの音声問い合わせを受け取り、音声問い合わせをテキスト問い合わせに変換し、テキスト問い合わせを問い合わせ応答サーバに送信し、ヘッドユニットにローカルな記憶装置から取得するデータを表す1つ以上のプレースホルダを含む結果を問い合わせ応答サーバから受信し、更新された結果を作成するために、1つ以上のプレースホルダを記憶装置からの情報で置き換え、更新された結果をユーザに提示するように、プロセッサによって実行可能な命令を格納するように構成される。【選択図】なし

Description

本開示は、問い合わせを受け取り、受け取った問い合わせに対する応答を提示するための車載コンピューティングシステムに関する。
車内の車両システム及びインフォテイメントシステムは、次第に複雑化し続けている。一般に、インフォテイメントシステム及び車両の操作に関する情報の情報源は、テキストベースのマニュアルに含まれる。しかし、そのようなマニュアルは検索が困難であり、別の場所に誤って移動しやすい。またマニュアル内の情報は固定であり、車両の年式や運転者の行動が変化しても変更されない。
本発明は、例えば、以下を提供する。
(項目1)
問い合わせ応答サーバに通信可能に接続された通信インタフェースと、
プロセッサと、
車両−ユーザ間対話データを収集及び格納するように構成され、
ユーザからの音声問い合わせを受け取り、
前記音声問い合わせをテキスト問い合わせに変換し、
前記テキスト問い合わせを問い合わせ応答サーバに送信し、
ヘッドユニットにローカルな記憶装置から取得するデータを表す1つ以上のプレースホルダを含む結果を前記問い合わせ応答サーバから受信し、
更新された結果を作成するために、前記1つ以上のプレースホルダを前記記憶装置からの情報で置き換え、
前記更新された結果を前記ユーザに提示する
ように、前記プロセッサによって実行可能な命令を格納するように構成された記憶装置と、
を備える車載コンピューティングシステム。
(項目2)
前記車両のコントローラエリアネットワーク(CAN)バスを介して1つ以上の車両システムと通信するように構成された車内システム通信モジュールを更に備え、前記命令は、前記1つ以上のプレースホルダを、前記CANバスを介して受け取った前記車両のセンサからの情報で置き換えるようにさらに実行可能である、上記項目に記載の車載コンピューティングシステム。
(項目3)
前記音声問い合わせをテキスト問い合わせに変換することは、前記車両の外部の音声認識サーバに前記音声問い合わせを送信することを含む、上記項目のいずれかに記載の車載コンピューティングシステム。
(項目4)
問い合わせ応答サーバに通信可能に接続された通信インタフェースと、
プロセッサと、
車両−ユーザ間対話データを収集及び格納するように構成され、
ユーザからの音声問い合わせを受け取り、
前記音声問い合わせを音声認識サーバに送信し、
前記音声認識サーバからテキスト問い合わせを受信し、
前記テキスト問い合わせを問い合わせ応答サーバに送信し、
前記車両−ユーザ間対話データに含まれる情報を要求する結果を前記問い合わせ応答サーバから受信し、
前記要求された情報を前記問い合わせ応答サーバに送信し、
前記問い合わせ応答サーバから更新された結果を受信し、
前記更新された結果を前記ユーザに提示する
ように、前記プロセッサによって実行可能な命令を格納するように構成された記憶装置と、
を備える車載コンピューティングシステム。
(項目5)
ディスプレイ装置を更に備え、前記更新された結果を前記ユーザに提示することは、前記更新された結果を前記ユーザに表示することを備える、上記項目のいずれかに記載の車載コンピューティングシステム。
(項目6)
前記問い合わせ応答サーバから前記結果を受信することは、前記テキスト問い合わせと、1つ以上の予め定められた応答に関連する1つ以上の人工知能マークアップ言語(AIML)ファイル内に存在する複数のテキスト問い合わせのうちの1つとのマッチングの結果を受信することを備える、上記項目のいずれかに記載の車載コンピューティングシステム。
(項目7)
前記1つ以上の予め定められた応答は、前記ヘッドユニット及び前記問い合わせ応答サーバのうちの1つ以上によって取得するデータに関するプレースホルダとして機能するマーカを含む、上記項目のいずれかに記載の車載コンピューティングシステム。
(項目8)
前記マーカは、前記問い合わせ応答サーバによって、前記問い合わせ応答サーバにローカルな記憶装置に格納されたデータを特定すると認識できる、上記項目のいずれかに記載の車載コンピューティングシステム。
(項目9)
前記マーカは、前記問い合わせ応答サーバによって、前記ヘッドユニットにローカルな前記記憶装置に格納されたデータを特定すると認識できる、上記項目のいずれかに記載の車載コンピューティングシステム。
(項目10)
前記マーカは、前記問い合わせ応答サーバによって、前記問い合わせ応答サーバにローカルな記憶装置及び前記ヘッドユニットにローカルな前記記憶装置のうちの1つ以上におけるデータを関連付けるための相関要求を特定すると認識できる、上記項目のいずれかに記載の車載コンピューティングシステム。
(項目11)
ヘッドユニットにおける方法であって、
ユーザからの音声問い合わせを受け取ることと、
前記音声問い合わせをテキスト問い合わせに変換することと、
前記テキスト問い合わせを問い合わせ応答サーバに送信することと、
前記ヘッドユニットにローカルな記憶装置から取得するデータを表す1つ以上のプレースホルダを含む結果を前記問い合わせ応答サーバから受信することと、
更新された結果を作成するために、前記1つ以上のプレースホルダを前記記憶装置からの情報で置き換えることと、
前記更新された結果を前記ユーザへ提示することと、
を備える方法。
(項目12)
前記ユーザに前記音声問い合わせを促すことを更に備える、上記項目のいずれかに記載の方法。
(項目13)
前記問い合わせ応答サーバからの前記結果が、前記音声問い合わせに対する応答に対応する有効な結果であるかを判定することを更に備える、上記項目のいずれかに記載の方法。
(項目14)
前記問い合わせ応答サーバからの前記結果が有効な結果ではないという判定に応じて前記音声問い合わせを確認することを更に備える、上記項目のいずれかに記載の方法。
(項目15)
前記プレースホルダによって特定されたセンサに問い合わせることによって前記プレースホルダによって要求されるデータを引き出すことを更に備える、上記項目のいずれかに記載の方法。
(項目16)
車内で車両情報を記録することと、
音声要求に応答して、前記要求及び前記記録された車両情報をリモートサーバに送信することと、
前記リモートサーバから、1つ以上の他の車両から集約されたデータ及びマーカを含む、前記音声要求に対する応答を受信することと、
前記マーカに応答する前記車両に搭載されたデータを用いて前記応答を更新することと、
前記更新された応答を前記車両内で提示することと、
を備える方法。
(項目17)
前記更新することは、前記車内に搭載された車両データを用いて前記マーカによって表される式に従って1つ以上の計算を実行することを含む、上記項目のいずれかに記載の方法。
(項目18)
前記更新することは、前記集約データ車両データを用いて、前記マーカによって表される式に従って1つ以上の計算を実行することを含み、前記更新することは、前記車両内で実行される、上記項目のいずれかに記載の方法。
(項目19)
前記表すことは、人間が読むことができるテキストの形式である、上記項目のいずれかに記載の方法。
(摘要)
問い合わせ応答サーバに通信可能に接続された通信インタフェース、プロセッサ、及び記憶装置を備える車載コンピューティングシステムに関する実施形態が開示される。記憶装置は、車両−ユーザ間対話データを取集及び格納するように構成され、ユーザからの音声問い合わせを受け取り、音声問い合わせをテキスト問い合わせに変換し、テキスト問い合わせを問い合わせ応答サーバに送信し、ヘッドユニットにローカルな記憶装置から取得するデータを表す1つ以上のプレースホルダを含む結果を問い合わせ応答サーバから受信し、更新された結果を作成するために、1つ以上のプレースホルダを記憶装置からの情報で置き換え、更新された結果をユーザに提示するように、プロセッサによって実行可能な命令を格納するように構成される。
問い合わせ応答サーバに通信可能に接続された通信インタフェース、プロセッサ、及び記憶装置を備える車載コンピューティングシステムに関する実施形態が開示される。記憶装置は、車両−ユーザ間対話データを取集及び格納するように構成され、ユーザからの音声問い合わせを受け取り、音声問い合わせをテキスト問い合わせに変換し、テキスト問い合わせを問い合わせ応答サーバに送信し、ヘッドユニットにローカルな記憶装置から取得するデータを表す1つ以上のプレースホルダを含む結果を問い合わせ応答サーバから受信し、更新された結果を作成するために、1つ以上のプレースホルダを記憶装置からの情報で置き換え、更新された結果をユーザに提示するように、プロセッサによって実行可能な命令を格納するように構成される。
追加の実施形態又は代替の実施形態において、車載コンピューティングシステムは、問い合わせ応答サーバに通信可能に接続された通信インタフェースと、プロセッサと、記憶装置とを備え、記憶装置は、車両−ユーザ間対話データを収集及び格納するように構成され、ユーザからの音声問い合わせを受け取り、音声認識サーバに音声問い合わせを送信し、音声認識サーバからテキスト問い合わせを受信し、問い合わせ応答サーバにテキスト問い合わせを送信し、車両−ユーザ間対話データに含まれる情報を要求する結果を問い合わせ応答サーバから受信し、要求された情報を問い合わせ応答サーバに送信し、問い合わせ応答サーバから更新された結果を受信し、更新された結果をユーザに提示するように、プロセッサによって実行可能な命令を格納するように構成される。
1つ以上の実施形態において、ヘッドユニットにおける方法は、ユーザからの音声問い合わせを受け取ることと、音声命令をテキスト問い合わせに変換することと、テキスト問い合わせを問い合わせ応答サーバに送信することと、ヘッドユニットにローカルな記憶装置から取得するデータを表す1つ以上のプレースホルダを含む結果を問い合わせ応答サーバから受信することと、更新された結果を作成するために、1つ以上のプレースホルダを記憶装置からの情報で置き換えることと、更新された結果をユーザに提示することとを備える。
本開示は、添付図面を参照して以下の非限定的な実施形態を読めばより的確に理解されるであろう。
本開示の1つ以上の実施形態に係る、携帯機器及び着用可能装置に通信可能に接続される車載コンピューティングシステムを含む車両キャビンの部分図である。 本開示の1つ以上の実施形態に係る、車両支援システムのブロック図を示す。 本開示の1つ以上の実施形態に係る、車載コンピューティングシステムのブロック図を示す。 本開示の1つ以上の実施形態に係る、ヘッドユニットにおいて問い合わせを受け取り、ヘッドユニットにおいて問い合わせに対する応答を提示するための方法のフローチャートである。 本開示の1つ以上の実施形態に係る、ヘッドユニットからの問い合わせに対する応答を決定し、ヘッドユニットに応答を提供するための方法のフローチャートである。 本開示の1つ以上の実施形態に係る、サーバシステムにおいて問い合わせに応答するための方法のフローチャートである。 本開示の1つ以上の実施形態に係る、サーバシステムにおいて問い合わせに応答するための方法のフローチャートである。 本開示の1つ以上の実施形態に係る、ヘッドユニットにおいて問い合わせに応答するための方法のフローチャートである。 本開示の1つ以上の実施形態に係る、ヘッドユニットにおいて問い合わせに応答するための方法のフローチャートである。 本開示の1つ以上の実施形態に係る、ヘッドユニットにおいて問い合わせに応答するための方法のフローチャートである。
車載コンピューティングシステムは、車両状態、車両環境、運転者情報、及び/又は他のリアルタイム状況の事象又は状態に関連して、様々な情報源(例えば、センサ、装置等)からのデータを結合及び分析するために、それらの情報源に接続されうる。しかし、車載コンピューティングシステムのユーザは、車両又は車両システムの操作又は状態に関する疑問及び他の問題に関する疑問を有することがある。音声入力を介した車載コンピューティングシステムへの質問の提示は、ユーザが車両の運転者である場合、他の形式の入力よりも気を散らせることが少なく、ユーザが車両の運転者又は同乗者である場合、より簡単に提供することができる。車載コンピューティングシステム及び/又は問い合わせ応答サーバにローカルな情報に基づいて車両及び/又はユーザの状況に合わせて応答を調整することによって、目的となる方法でユーザの問い合わせに回答するために、関連したコンテンツが車載コンピューティングシステムのユーザに提供されうる。
図1は、運転者及び/又は1人以上の乗員が着席してよい、車両102のキャビン100の内部の例示的な部分図を示す。図1の車両102は、駆動輪(図示せず)及び内燃エンジン104を含む自動車両であってよい。内燃エンジン104は、吸気路を介して吸気を受け入れ、排出路を介して燃焼ガスを排出しうる1つ以上の燃焼室を含んでよい。車両102は、種々の車両の中でもとりわけ路上用自動車であってよい。いくつかの例において、車両102は、車両運動及び/又はエンジンからのエネルギーを取り入れ、取り入れたエネルギーをエネルギー貯蔵装置による貯蔵に適したエネルギー形式に変換することができるエネルギー変換装置を含むハイブリッド推進システムを含んでよい。車両102は、電気のみで動く車両、燃料電池の搭載、太陽エネルギー捕捉部品、及び/又は車両に動力を供給するための他のエネルギー貯蔵システムを含んでよい。
図に示すように、計器板106は、車両102の運転者(ユーザとも称される)に対してアクセス可能な様々なディスプレイ及び制御部を含んでよい。例えば、計器板106は、車載コンピューティングシステム109(例えば、インフォテイメントシステム)のタッチスクリーン108、オーディオシステム操作パネル、及び複合計器110を含んでよい。図1に示す例示的なシステムは、例えば独立したオーディオシステム操作パネルを持たないタッチスクリーン108などの、車載コンピューティングシステム109のユーザインタフェースを介して実行されうるオーディオシステム制御部を含むが、他の実施形態では、車両は、例えばラジオ、コンパクトディスクプレーヤ、MP3プレーヤ等などの従来型車両オーディオシステムのための制御部を含むオーディオシステム操作パネルを含んでよい。オーディオシステム制御部は、車両スピーカシステムのスピーカ112を介したオーディオ出力の1つ以上の態様を制御するための機能を含んでよい。例えば、車載コンピューティングシステム又はオーディオシステム制御部は、オーディオ出力の音量、車両スピーカシステムの個々のスピーカにおける音声分布、オーディオ信号の等化、及び/又はオーディオ出力の他の任意の側面を制御してよい。更なる例において、車載コンピューティングシステム109は、タッチスクリーン108を直接介して受け取ったユーザ入力に基づいて又は外部装置150及び/又は携帯機器128を介して受け取ったユーザに関するデータ(例えばユーザの生理状態及び/又は環境)に基づいて、ラジオの選局、プレイリストの選択、(例えば、ラジオ又はCD又はMP3からの)オーディオ入力の音源を調整してよい。
一部の実施形態において、例えばタッチスクリーン108、ディスプレイスクリーン、様々な操作ダイヤル、ノブ及びボタン、メモリ、プロセッサ、及び任意のインタフェース部品(例えば、コネクタ又はポート)などの車載コンピューティングシステム109の1つ以上のハードウェア部品は、車両の計器板106に取り付けられた一体型ヘッドユニットを形成してよい。ヘッドユニットは、計器板106に固定して又は取り外し可能に取り付けられてよい。追加の実施形態又は代替の実施形態において、車載コンピューティングシステムの1つ以上のハードウェア部品はモジュール式であってよく、車両の複数の箇所に取り付けられてよい。
複合計器110は、例えば燃料計、回転速度計、速度計、及び走行距離計などの様々な計器と共に、方向指示器及び警告灯を含んでよい。ハンドル114は、複合計器110の下の位置で計器板から突出してよい。任意選択的に、ハンドル114は、車載コンピューティングシステムの機能をナビゲートするため及び車載コンピューティングシステムを制御するために、タッチスクリーン108と関連して用いられうる制御部116を含んでよい。図1に示す部品に加えて、計器板106は、例えばドア及び窓の制御部、低電圧の電源出力としても用いられうるシガレットライター、小物入れ、及び/又は他の任意の適切な部品などの追加部品を含んでよいことを理解されたい。1つ以上の実施形態において、環境調整システム通気口118を介した(例えばキャビンの温度などの)車内環境の調整がタッチスクリーン108を用いて実行されてよく、ゆえに、独立した環境調整インタフェースが計器板106に含まれなくてもよい。しかし他の実施形態では、独立した環境調整インタフェースが提供されてよい。
キャビン100は、車両、ユーザ、及び/又は環境を監視するための1つ以上のセンサを含んでよい。例えばキャビン100は、ユーザの存在を判定するために座席に加えられた圧力を測定するように構成された1つ以上の座席搭載型圧力センサ120を含んでよい。キャビン100は、例えばドアの開閉、ドアの施錠、ドアの窓の操作、及び/又は他の任意の適切なドアの動きに関する事象などのドアの動きを監視するように構成された1つ以上のドアセンサ122を含んでよい。キャビンの湿気含有量を測定するために湿度センサ124が含まれてよい。マイクロホン126は、音声コマンドの形式でユーザ入力を受け取るため、ユーザが電話を掛けることができるようにするため、及び/又はキャビン100における周辺雑音を測定するために含まれてよい。図1に示すセンサの位置付けは代表例であり、車両の任意の適切な箇所に1つ以上の追加の又は代替のセンサが存在してよいことを理解するべきである。例えば、車両の操作、車両の周囲条件、車両のユーザ等に関する情報を提供するために、エンジン室内に、車両の外側表面上に、及び/又は他の適切な箇所に追加のセンサが存在してよい。車両の周囲条件、車両状態、又は車両の運転者に関する情報は、例えば外部装置150及び/又は携帯機器128に連結されたセンサからのように、車両の外部のセンサ又は車両と切り離された(すなわち、車両システムの一部ではない)センサから受け取られてもよい。
キャビン100は、例えば携帯機器128などの、移動前、移動中、及び/又は移動後に車両内に保管される、1つ以上のユーザの物体を含んでもよい。携帯機器は、スマートホン、タブレット、ラップトップコンピュータ、携帯メディアプレーヤ、及び/又は任意の適切な携帯コンピューティング機器を含んでよい。携帯機器128は、通信リンク130を介して車載コンピューティングシステムに接続されうる。通信リンク130は、(例えば、ユニバーサルシリアルバス[USB]、モバイルハイデフィニションリンク[MHL]、ハイデフィニションマルチメディアインタフェース[HDMI(登録商標)]等を介した)有線、又は(例えば、ブルートゥース、WI−FI、近距離通信[NFC]、セルラ接続等を介した)無線であってよく、携帯機器と車載コンピューティングシステムとの間の双方向通信を提供するように構成されうる。例えば通信リンク130は、(例えば車両オーディオシステム、環境調整システム等などの)様々な車両システム及びタッチスクリーン108から携帯機器128へのセンサ信号及び/又は制御信号センサを提供してよく、携帯機器128から車載システム及びタッチスクリーン108への制御信号及び/又は表示信号を提供してよい。また、通信リンク130は、携帯機器の内蔵バッテリを充電するために車内電源から携帯機器128に電力を供給してもよい。
携帯機器128は、車載コンピューティングシステムから空間的に切り離され、実質的に外部の通信リンク(例えば、ケーブル又は無線周波数信号)を介して接続されるように図示されたが、特定の箇所に携帯機器を固定するために差込口132又は他の格納構造が計器板106又は車内の他の箇所に形成されうることを理解するべきである。格納構造は、携帯機器とコンピューティングシステムとの間の実質的に内部の通信リンクを提供するために携帯機器128が取り付けられうる、すなわち「ドッキング」されうる一体型コネクタ134を含んでよい。
車載コンピューティングシステム109は、例えば1つ以上の外部装置150などの、車両102の外部に存在するユーザによって操作される追加の装置に通信可能に接続されてもよい。図示された実施形態において、外部装置150は車両102の外部に存在するが、他の実施形態では外部装置はキャビン100内に存在してよいことを理解されたい。外部装置は、サーバコンピューティングシステム、パーソナルコンピューティングシステム、携帯電子機器、電子リストバンド、電子ヘッドバンド、携帯音楽プレーヤ、電子活動追跡装置、歩数計、スマートウォッチ、GPSシステム等を含んでよい。外部装置150は、通信リンク130に関して上述したように有線又は無線であってよい通信リンク136を介して車載コンピューティングシステムに接続され、外部装置と車載コンピューティングシステムとの間の双方向通信を提供するように構成されうる。例えば外部装置150は1つ以上のセンサを含んでよく、通信リンク136は、外部装置150からのセンサ出力を車載コンピューティングシステム109及びタッチスクリーン108に送信してよい。外部装置150はまた、コンテキストデータ、ユーザ行動/選好、操作ルール等に関する情報を格納及び/又は受信してよく、そのような情報を外部装置150から車載コンピューティングシステム109及びタッチスクリーン108に送信してよい。
車載コンピューティングシステム109は、外部装置150、携帯機器128、及び/又は他の入力源から受信した入力を分析し、(例えば環境調整システム又はオーディオシステムなどの)様々な車内システムに関する設定を選択し、タッチスクリーン108及び/又はスピーカ112を介した出力を提供し、携帯機器128及び/又は外部装置150と通信し、及び/又は判断に基づいて他の行動を実行してよい。一部の実施形態において、判断の一部又は全部が、携帯機器128及び/又は外部装置150によって実行されてよい。
一部の実施形態において、1つ以上の外部装置150は、携帯機器128及び/又は別の外部装置150を介して間接的に車載コンピューティングシステム109に通信可能に接続されうる。例えば通信リンク136は、外部装置150からの出力が携帯機器128へ中継されるように、外部装置150と携帯機器128とを通信可能に接続してよい。外部装置150から受信したデータはその後、携帯機器128によって収集されたデータと共に携帯機器128において集約されてよく、集約されたデータはその後、通信リンク130を介して車載コンピューティングシステム109及びタッチスクリーン108に送信される。同様のデータ集約がサーバシステムにおいて起こり、その後、通信リンク136/130を介して車載コンピューティングシステム109及びタッチスクリーン108に送信されうる。
図2は、本開示の1つ以上の実施形態に係る問い合わせ応答サーバ202及びヘッドユニット204を含む車両支援システムに関する例示的な構造を示す。ヘッドユニット204は、車両と統合された及び/又は車両に搭載された車載コンピューティングシステム(例えば、インフォテイメントシステム)であってよい。例えばヘッドユニット204は、図1の車載コンピューティングシステム109の一例であってよい。ヘッドユニット204は、一部の実施形態において車両−ユーザ間対話データ208及び問い合わせアプリケーション210を実行するための命令を格納するための記憶装置206を含む。追加の実施形態又は代替の実施形態において、車両−ユーザ間対話データ208は、(例えば、問い合わせ応答サーバ202内の又は問い合わせ応答サーバ202に通信可能に接続された)外部記憶装置に格納されうる、及び/又はヘッドユニット204の外部の記憶装置へ車外で送信される前に記憶装置206に一時的に格納されうる。問い合わせアプリケーション210は、アプリケーションのユーザインタフェースを制御し、ユーザによって提示された問い合わせに対する応答を提供するために、音声入力、ヘッドユニット204のタッチ感知式ディスプレイスクリーンへのタッチ入力、及び/又は、他の任意の適切なユーザ入力を受け取ってよい。(例えば、ヘッドユニット204のマイクロホンへの)音声入力を受け取ると、問い合わせアプリケーション210は、音声データ(例えば、生の音声データ又はデータ伝送の目的のために最小限の処理をした音声データ)を獲得し、車内音声認識クライアント212又は他の通信インタフェースへ渡してよい。音声データはその後、(例えばネットワークを介して)ヘッドユニット204の外部の音声認識サーバ214に送信されうる。音声認識は、車外で及び/又はヘッドユニット204の外部で実行されるように説明されたが、一部の実施形態において音声認識の一部又は全部が車内で及び/又はヘッドユニット204にローカルに実行されうることを理解するべきである。
音声問い合わせを表すヘッドユニット204からの音声データの受信に応答して、音声認識サーバは、テキスト問い合わせを作成するために音声データをテキストデータに書き換える及び/又は変換する。音声認識サーバ214はその後、テキスト問い合わせを作成するテキストデータを(例えば、車内音声認識クライアント212を介して)ヘッドユニット204の問い合わせアプリケーション210へ送り戻してよい。テキスト問い合わせを受け取ると、問い合わせアプリケーション210は、テキスト問い合わせを処理するために問い合わせ応答サーバ202へ転送してよい。一部の実施形態において、問い合わせアプリケーションは、音声認識サーバから受け取ったテキストデータのままであるテキストデータのセットとしてテキスト問い合わせを送信してよいが、一部の実施形態では、問い合わせアプリケーションは、問い合わせ応答サーバ202に合わせてテキスト問い合わせをフォーマットするためにテキストデータに前処理を実行してよい。
問い合わせ応答サーバ202は、テキスト問い合わせを解析し、テキスト問い合わせと、一部の実施形態においてAIML(人工知能マークアップ言語)ファイルであってよいマッチングマークアップ言語ファイルに格納された対応する問い合わせとを合致させるための問い合わせマッチングエンジン216を含む。マッチングマークアップ言語ファイル218は、例えば応答の表示及び任意のマーカの表示のための命令を含む拡張可能なマークアップ言語機能などの他のマークアップ言語機能と共に、各々がサポートされた問い合わせであって、各問い合わせについて関連した応答が割り当てられた問い合わせを含む。一例において、問い合わせマッチングエンジン216及び/又はマッチングマークアップ言語ファイル218は、ヘッドユニットから受け取られうる問い合わせ及び応答に関するダイアログを含む。問い合わせは、問い合わせのテキストと、マッチングマークアップ言語ファイルにおける同様のダイアログとを合致させるファジー論理のアプリケーションに基づいて解釈されてよい。この方法において、問い合わせマッチングエンジン216は、自然言語の問い合わせを受け取り、問い合わせと、マッチングマークアップ言語ファイル218によって指定されたような応答とを合致させてよい。いくつかの例において、車両関連語及び車両コンテキスト関連語は、ファジー論理において他の非車両関連語よりも重く重み付けされうる。応答は、応答の種類に対応する様々な形式で提示されてよい。問い合わせマッチングエンジン216は、マッチングマークアップ言語応答ファイルにおいて質問に対する応答を検索するために階層アルゴリズムを実現してよい。従って、マッチングアークアップ言語エンジン及びマッチングマークアップ言語ファイルは、(例えば、音声認識サーバを介してテキストに変換されたような)ユーザの問い合わせに対する関連性のある回答を発見するため及び/又はユーザが問い合わせを改良しうるような質問をするために用いられうる。いくつかのマッチングマークアップ言語ファイルは、特定の車両専用であるが、他は、全ての種類の車両/ヘッドユニットに関する情報を含んでよい。マッチングマークアップ言語ファイルは、任意の適切な方法で構成されうることを理解するべきである。
一例において、応答は、ヘッドユニットへ返され追加情報なしでユーザに提示されうる静的コンテンツのみを含む、全部が予め定義された応答であってよい。全部が予め定義された応答の一例は、ヘッドユニットの操作に関する問い合わせに対する応答であってよい。例えば、問い合わせが「どのようにラジオを消音にするか?」である場合、応答は、ヘッドユニットの操作マニュアルに対応する静的情報に基づいて既知であることがある。従って、そのような問い合わせに対する既定の応答は、問い合わせ応答サーバ又はヘッドユニットからのいかなる追加情報も必要とせず、どのようにラジオを消音にするかについての指示(例えば、「ラジオを消音にするためには音量及び消音調節ノブを押してください」)を含んでよい。全部が予め定義された応答の場合、問い合わせマッチングエンジン216は、応答を評価すること及びサーバがその応答に追加情報を提供する必要がないと判定すること(例えば、応答が追加されるべき情報を示すマーカを含まないと判定すること)に応じてヘッドユニットの問い合わせアプリケーションに直接応答を送信してよい。
あるいは応答は、ヘッドユニットにローカルな情報を用いて補充されうる動的情報に関する1つ以上の(本明細書においてトークン又はプレースホルダとも称される)マーカを含む部分的に既定の応答であってよい。例えば、問い合わせは、「残走行距離はどのくらいか?」という質問を含むことがある。この質問に対する回答を数値化するために必要な情報(例えば、燃料残量に関する情報、推定される燃料消費率等)は、ヘッドユニットに格納されうる及び/又はヘッドユニットにおいて利用することができる。例えば、部分的に既定の応答において用いられる情報は、車両のセンサを介してヘッドユニットへアクセスすることができるリアルタイムデータであってよい及び/又はリアルタイムデータに依存してよい。従って、そのような問い合わせに対する応答は、何らかの既定のテキストと共に、ヘッドユニットによって補充されうる情報に関するプレースホルダとして機能するマーカを含んでよい(例えば、「残走行距離は<FUEL_RANGE>です」という文中では<FUEL_RANGE>がマーカである)。マーカは、要求されたデータに対応する特定のセンサ又は特定のメモリ場所に関する識別子を含んでよい。そのような例示的な応答において、問い合わせマッチングエンジン216は、応答を評価し、応答にいかなる情報も追加せずにヘッドユニットの問い合わせアプリケーションに直接応答を送信してよい。評価中、問い合わせマッチングエンジン216は、(例えば、当面の例における「<>」などのマーカテキストの前後の符号に基づいて、)マーカが、問い合わせ応答サーバによって提供されるべき情報を示すマーカに対応していないと判定してよい。ヘッドユニット204においてマーカを含む応答を受信すると、問い合わせアプリケーション210は、マーカテキストに基づいて、車両内の特定のメモリ場所及び/又は1つ以上のセンサからのデータ及びユーザ対話データ208を要求してよい。いくつかのマーカは、ユーザに応答を提示する際にマーカと置き換えるための結果を決定するためにデータに実行されるべき、例えば計算などの演算を含んでよい。例えば、<FUEL_RANGE>というマーカは、例えば現在の燃料残量及び平均燃費又は推定燃費などのデータに数学的演算を実行することによって残走行距離が計算されることを示してよい。そのような演算は、ヘッドユニット204において及び/又はサーバ202において実行されうる。一部の実施形態において、演算の一部が1つの場所(例えば、ヘッドユニット又は他の車両システム)において実行され、他の部分が異なる場所(例えば、車両の外部のサーバ)で実行されうる。
マッチングマークアップ言語ファイルにおいて定義されうる応答の別の例は、問い合わせ応答サーバにローカルなデータ又は問い合わせ応答サーバによってアクセス可能なデータを用いる動的応答である。例えば問い合わせ応答サーバ202は、集約データ220を含むデータベースを含んでよい及び/又はデータベースに通信可能に接続されうる。集約データ220は、一定の間隔(例えば、1分に1回、5分に1回、1時間に1回等)で収集されデータベースに格納された、1つ以上のヘッドユニットからのデータを含んでよい。例えば、多数の車両からのデータが統合及び集約され、集約データを形成することができる。各車両が一定の間隔で自身の情報を更新する一方、集約データは、例えば5分又は10分ごとなどの様々な間隔で更新されてよい。この方法において、集約データ220は、全車両台数からのデータという観点からではないが比較的新しいが、例えば問い合わせが発信された車両などの特定の車両に関するデータと比べると新しくないことがある。
一例において、いくつかのデータベースは、特定のヘッドユニット、車両、及び/又はユーザに関して指定されうるが、他のデータベースは、特定の種類の車両、ヘッドユニット、ユーザ等に関連する情報の統一見解を提供するために複数のヘッドユニットからの情報を組み合わせてよい。特定のヘッドユニット、車両、及び/又はユーザに特化したデータベースは、データベースを適宜指定するための識別子を含んでよいが、共有データベースは、そこに格納された情報の種類及び/又は格納された情報(例えば、車両の種類、ユーザの層等)に関連するコンテキストに関する識別子を含んでよい。
問い合わせ応答サーバからのデータを用いた動的な応答を生じさせる問い合わせの一例は、「燃費を良くするにはどうすればよいか?」という問い合わせを含むことがある。この問い合わせは、例えば「あなたの運転履歴に基づいて、マイル/ガロンを%%QUERY_MPG_FACTORS%%改善することができます」というような、マッチングマークアップ言語ファイル218内の応答と合致する。問い合わせマッチングエンジン216は応答を解析し、(例えば、符号「%%」の存在及び/又は認識できるマーカテキスト「QUERY_MPG_FACTORS」に基づいて、)集約データ220に格納されたデータに基づいて補充されうる情報としてマーカを認識してよい。例えば、マーカの存在に基づいて、問い合わせマッチングエンジン216は、マーカに関する識別子を結果補強エンジン222に送信してよく、結果補強エンジン222は、マーカ及び/又は関連する要求された情報の識別子を分析エンジン224へ転送してよい。分析エンジン224は、マーカによって要求された情報を特定し、対応するデータに関して集約データに問い合わせてよい。例えば上記で詳述した例示的な問い合わせ応答の場合、ユーザの運転傾向及び車両の状態に関する目的の情報を提供するために、ヘッドユニット204が存在する車両の固有の情報が用いられてよい。追加の実施形態又は代替の実施形態において、車両の種類及び/又は運転者の層に合致するユーザを情報の目的とするために、情報は共有データベースから取得されてよい。
データの受信に応答して、分析エンジン224は、更新又は後処理された応答を作成するためのマッチングマークアップ言語のテキスト応答への挿入のために、結果補強エンジン222へデータを渡してよい。例えば、後処理された応答は、「あなたの運転履歴に基づくと、より緩やかに加速し適切なタイヤ圧を維持することによってマイル/ガロンを改善することができます」という応答を含んでよい。従ってマーカにファイルするデータは、元々の問い合わせが発生した車両(発信元車両と称される)の固有のデータに基づいてよいが、発信元車両と同じ種類の車両(例えば、メーカー、型、及び製造年等)の他の運転から集約されたデータに基づいてもよい。従って、マーカは、集約データ220から受け取ったテキスト情報に置き換えられうる。上記の例において、応答は、分析エンジンによる、発信元車両の現在の圧力が閾値(他の複数の車両から集約されたデータに基づく閾値)を下回るという判定、及び、過去に選択された期間中、発信元車両の操作者は閾値の速度よりも高速でかつ閾値の回数よりも多くアクセルペダルを踏んだという判定に基づいてよい。
マッチングマークアップ言語ファイルによって提供される応答の別の例は、問い合わせ応答サーバからの相関データを用いた動的応答を含む。そのような応答の場合、あつらえた応答を用いるか1つ以上の予め定められた応答を用いるかを判定するために、問い合わせ応答サーバから追加の情報が取得されてよい。従ってそのような応答は、サーバ及び/又はヘッドユニットからのデータ取得及び/又は処理の複数の工程を含むことがある。相関データを用いた動的な応答を生じさせる例示的な問い合わせは、「どのようにBLUETOOTH(登録商標)装置をペアリングするか?」という問い合わせを含んでよい。そのような問い合わせは、「%%CORRELATE_BT_PAIR%%」という応答又は同様のマーカと合致しうる。問い合わせマッチングエンジン216は、マーカを認識し、ヘッドユニットのユーザによって用いられる電話機の種類に関連した情報を取得するために結果補強エンジン222及び/又は分析エンジン224にマーカを渡してよい。集約データ220はそのような情報を含んでよく、分析エンジン224によって電話機の種類が取り出されうる。後処理された応答は、「あなたの[電話機]をペアリングするには問題があるようです。この電話機のペアリングに必要なステップをお聞きになりますか?」という応答を含んでよく、文中、[電話機]は、ユーザがペアリングしようとしている電話機の特定のメーカー及び/又はタイプに置き換えられる。その結果、応答は、第2の問い合わせ(例えば、サーバによって提示される質問への応答)を提供するようにユーザに指示してよい。ユーザからの第2の問い合わせ(例えば、ユーザが肯定応答をするか否定応答をするか)に依存して、第2の問い合わせに特化した様々なフォローアップの応答がユーザに提供されてよい。
上記例において、ユーザは、電話機をペアリングするための具体的なステップを提供するようにサーバ/ヘッドユニットに要求する第2の問い合わせを任意選択的に提供してよい。その結果、サーバ202は、(例えば、集約データ及び/又はマッチングマークアップ言語ファイルから)ステップを取り出し、結果補強エンジン222においてステップを収集し、収集したステップをヘッドユニット204へ送り戻してよい。ヘッドユニットはその後、全てのステップをユーザに提示するか、又は各ステップを連続して(例えば、既定の時間間隔に従って又は各ステップ間を進めるためのユーザ入力に応じて)提示してよい。ヘッドユニットは、(例えば各ステップに到達する度にそのステップにハイライトをして)ステップを表示してよい及び/又はユーザに対しステップを音声で読み上げるためのオーディオを出力してよい。ヘッドユニットは、(例えば、ヘッドユニット204に通信可能に接続された1つ以上のセンサを用いてユーザが特定のステップを実行したことを検出することによって)前のステップが完了したと判定されると次のステップへ進んでよい。
いくつかの例において、集約データ220及び車両−ユーザ間対話データ208からの情報が、マッチングマークアップ言語ファイルからの応答においてマーカと置き換えるために合わせて用いられうる。例えば、応答は、集約データ220及び車両−ユーザ間対話データ208から受信したデータに演算を実行することにより導出された情報を含んでよい。車両−ユーザ間対話データ208からの情報は、処理のために分析エンジン224及び/又は結果補強エンジン222に送信されうる、あるいは情報は、集約データ220から(例えば、結果補強エンジン222を介して又は集約データ220から直接)ヘッドユニットへ(例えば、問い合わせアプリケーション210へ直接又はサーバインタフェース226を介して)送信されうる。
追加の又は代替の例において、マッチングマークアップ言語ファイルにおいて複数のマーカが用いられることがあり、1つ以上のマーカは、互いに異なる場所(例えば、ヘッドユニットにローカルなセンサ又は記憶装置及び/又は集約データ220内)に存在した情報に対する要求を示してよい。例えばユーザは、「どこで給油できるか?」という音声問い合わせを提供することがある。音声問い合わせに関連する音声データは、音声認識サーバ214に送信され、音声問い合わせに対応するテキスト問い合わせがヘッドユニット204へ戻される。テキスト問い合わせはその後、問い合わせマッチングエンジン216に送信され、問い合わせマッチングエンジン216は、合致する応答を見つけるためにマッチングマークアップ言語ファイル218にアクセスする。例えば、「どこで給油できるか?」に関するマッチングマークアップ言語ファイルは、(例えば、「どこで」という質問に基づいた)位置データに関連する問い合わせ又は同様にフォーマットされた問い合わせに対応する応答の全て又はサブセットを含んでよい。その結果、「どこで給油できるか?」に対する応答を含むマッチングマークアップ言語ファイルは、ヘッドユニット204及び/又は車両の操作に関する問い合わせの全て又はサブセットを含むマッチングマークアップ言語ファイルである「どのようにラジオを消音にするか?」に対する応答を含むマッチングマークアップ言語ファイルとは異なるマッチングマークアップ言語ファイルであってよい。
「どこで給油できるか?」という問い合わせと特定のマッチングマークアップ言語ファイルの項目とが合致した後、その項目に対応する応答が、問い合わせマッチングエンジンに返されてよい。そのような問い合わせに対する応答は、様々な情報(例えば、その瞬間の残走行距離、推奨される給油所に関する履歴データ、車両の経路に関するナビゲーションデータ等)に依存してよく、応答は、サーバ202及び/又はヘッドユニット204の様々なエリアに関連する複数のマーカを含んでよい。例えば、応答は、推奨される給油所及びそれらの所在地に関する履歴データに関するマーカを含んでよく、そのマーカは、分析エンジン224へ渡されてよい。マーカは、現在のすなわち最新の所在地に基づいて各給油所までの距離を決定するために実行される演算を含んでもよい。応答は、車両の残走行距離に関する別のマーカを含んでよく、そのマーカは、ヘッドユニット204の問い合わせアプリケーション210及び/又は車両−ユーザ間対話データ208へ渡されてよい。上述したマーカのうちの1つ及び/又は追加のマーカが、取り出されたデータに実行される演算を示してよい。例えばマーカは、ヘッドユニット204によって示されたその瞬間の残走行距離の範囲内の給油所のみが、結果補強ブロック222で定式化された更新結果に含まれ、ユーザに提示するために問い合わせアプリケーション210へ渡されるように、分析エンジン224によって発見された給油所がフィルタされることを示してよい。この方法において、複数のマーカが特定の応答に含まれ、データに対する要求及び/又はサーバ202及び/又はヘッドユニット204の任意の適切な構成要素によって実行される演算を示してよい。
マーカ符号の間にタグネームを含むマーカが上述されたが、マーカは任意の適切な形式及び/又は構成であってよいことを理解するべきである。例えばマーカは、より複雑なマーカを可能にするために複数のタグネーム及び/又は組織構成を含んでよい。例えばマーカは、「%%Category(カテゴリ):MPG,TYPE:QUERY,Attributes(属性):FULL%%」のように、問い合わせに関する情報を示してよい。上記例において、問い合わせに属する情報はマーカの様々な部分から収集され、その結果、マーカは、そのマーカに関する情報を取り出すために1つ以上の特定のブロックを呼び出してよい。
図3は、車両301の内部に構成された及び/又は組み込まれた車載コンピューティングシステム300のブロック図を示す。車載コンピューティングシステム300は、一部の実施形態において図1の車載コンピューティングシステム109の一例であってよい。いくつかの例において、車載コンピューティングシステムは、操作者の車内経験を向上させるために情報ベースのメディアコンテンツ(娯楽コンテンツ、ナビゲーションサービス等を含むオーディオ及び/又は映像メディアコンテンツ)を車両のユーザに提供するように構成された車両インフォテイメントシステムであってよい。車両インフォテイメントシステムは、運転者及び/又は同乗者の車内経験を向上させるために、車両301に組み込まれた又は組み込むことができるソフトウェアアプリケーション及びシステムと共に、様々な車両システム、サブシステム、ハードウェア部品を含んでよい、又はそれらに接続されうる。
車載コンピューティングシステム300は、オペレーティングシステム314及びインタフェースプロセッサ320を含む1つ以上のプロセッサを含んでよい。オペレーティングシステムプロセッサ314は、車載コンピューティングシステム上のオペレーティングシステムを実行し、入力/出力、表示、再生、及び車載コンピューティングシステムの他の操作を制御してよい。インタフェースプロセッサ320は、車内システム通信モジュール322を介して車両制御システム330とのインタフェースとなってよい。
車内システム通信モジュール322は、他の車内システム331及び車両制御部品361へデータを出力し、また、例えば車両制御システム330によって他の車両部品及びシステム331,361から入力されたデータを受信してよい。データを出力する際、車内システム通信モジュール322は、車両のあらゆる状態、車両の周囲環境、又は車両に接続された他の任意の情報源の出力に対応するバスを介して信号を提供してよい。車両データ出力は、例えば(現在の速度などの)アナログ信号、(例えば時計、温度計、グローバルポジショニングシステム[GPS]センサなどの位置決めセンサ等などの)個々の情報源によって提供されたデジタル信号、及び(例えば、情報に関連するエンジンが伝達されうるエンジンコントローラエリアネットワーク[CAN]バス、環境調整関連情報が伝達されうる環境調整CANバス、及び車内のマルチメディア部品間でマルチメディアデータが通信されるマルチメディアデータネットワークなどの)車両データネットワークを介して伝達されたデジタル信号を含んでよい。例えば、車載コンピューティングシステムは、タイヤセンサによって推定された車両の現在の速度、車両のバッテリ及び/又は動力分布システムを介した車両の動力状態、車両のイグニション状態等をエンジンCANバスから取り出してよい。更に、例えばイーサネット(登録商標)などの他のインタフェース手段が、本開示の範囲から逸脱することなく同様に用いられてよい。
不揮発性記憶装置308は、例えばプロセッサ314,320によって実行することができる命令などのデータを不揮発性形式で格納するために車載コンピューティングシステム300に含まれてよい。記憶装置308は、携帯機器及び/又は着用可能装置に接続及び/又はペアリングするためのアプリケーションを車載コンピューティングシステム300に実行させることができるアプリケーションデータを格納してよい。記憶装置308は、付加的又は代替的に、例えば図2に関して説明された問い合わせアプリケーション210などの、ユーザの問い合わせを受け取り、応答を提供するためのアプリケーションを車載コンピューティングシステム300に実行させることができるアプリケーションデータを格納してよい。車載コンピューティングシステム300は、揮発性メモリ316を更に含んでよい。揮発性メモリ316は、ランダムアクセスメモリ(RAM)であってよい。例えば不揮発性記憶装置308及び揮発性メモリ316などの持続性記憶装置は、プロセッサ(例えば、オペレーティングシステムプロセッサ314及び/又はインタフェースプロセッサ320)によって実行されると、本開示において説明された動作のうちの1つ以上を実行するように車載コンピューティングシステム300を制御する命令及び/又は符号を格納してよい。
マイクロホン302は、ユーザからの音声命令及び/又は音声問い合わせを受け取るため及び/又は車内の周囲雑音を測定するために車載コンピューティングシステム300に含まれうる。スピーチ処理ユニット304は、受け取った音声データを処理してよい及び/又は受け取られた音声データは、車両から離れた所に位置する外部音声認識サーバ及び/又は車載コンピューティングシステム300に送信されうる。一部の実施形態において、車載コンピューティングシステム300は、車両のオーディオシステム332に含まれるマイクロホンを用いて音声命令/問い合わせ及びサンプル周囲車両雑音を受け取ることもできる。
1つ以上の追加のセンサが車載コンピューティングシステム300のセンササブシステム310に含まれうる。例えばセンササブシステム310は、例えば車両の駐車においてユーザを支援するための後方視野カメラなどのカメラを含んでよい。車載コンピューティングシステム300のセンササブシステム310は、様々な車両センサと通信し、それらからの入力を受け取ってよく、更にユーザの入力を受け取ってよい。例えばセンササブシステム310によって受け取られた入力は、トランスミッションギアの位置、トランスミッションクラッチの位置、アクセルペダル入力、ブレーキ入力、トランスミッションセレクタの位置、車両速度、エンジン速度、エンジンを通る流入空気量、周囲温度、吸気温度等と共に、(例えば電熱流体温度、不凍剤温度、送風機速度、乗員室温度、所望の乗員室温度、周囲湿度等など)環境調整システムセンサからの入力、ユーザによって発された音声命令を検出するオーディオセンサ、車両のフォブからの命令を受け取り、地理的位置/接近度を任意選択的に追跡するフォブセンサ等からの入力を含んでよい。特定の車両システムセンサはセンササブシステム310のみと通信しうるが、他のセンサは、センササブシステム310及び車両制御システム330の両方と通信してよい又は車両制御システム330を介して間接的にセンササブシステム310と通信してよい。車載コンピューティングシステム300のナビゲーションサブシステム311は、(例えば、センササブシステム310からGPSセンサ及び/又は他のセンサを介した)位置情報などのナビゲーション情報、経路指示、交通情報、興味のある場所(POI)の確認を生成及び/又は受信してよい、及び/又は運転者のための他のナビゲーションサービスを提供してよい。
車載コンピューティングシステム300の外部装置インタフェース312は、車両301の外に存在する1つ以上の外部装置340に接続可能である及び/又は通信してよい。外部装置は車両301の外に存在するように図示されるが、例えばユーザが車両301の運転中に外部装置を操作する場合のように、一時的に車両301内に存在してもよいことを理解するべきである。例えば、外部装置340は、車両301に不可欠ではない。外部装置340は、(例えば、ブルートゥース接続を介して接続された)携帯機器342又は他のブルートゥース対応機器352を含んでよい。携帯機器342は、携帯電話、スマートホン、有線及び/又は無線通信を介して車載コンピューティングシステムと通信しうる着用可能装置/センサ、又は他の携帯電子機器であってよい。他の外部装置は、例えば図2のマッシュアップサーバ202及びテレマティクスサーバ204などの外部サービス346を含む。例えば外部装置は、車両から切り離され車両の外に存在する車外装置を含んでよい。他の外部装置は、例えばソリッドステートドライブ、ペンドライブ、USBドライブ等などの外部記憶装置354を含む。外部装置340は、本開示の範囲から逸脱することなく無線かコネクタを介するかのいずれかで車載コンピューティングシステム300と通信してよい。例えば外部装置340は、ネットワーク360を介する外部装置インタフェース312、ユニバーサルシリアルバス(USB)接続、直接的有線接続、及び/又は他の通信リンクによって車載コンピューティングシステム300と通信してよい。外部装置インタフェース312は、車載コンピューティングシステムが、運転者がコンタクトをとる携帯機器と通信することを可能にするための通信インタフェースを提供してよい。例えば外部装置インタフェース312は、通話が確立されること及び/又はテキストメッセージ(例えば、SMS、MMS等)が(例えば、セルラ通信ネットワークを介して)運転者がコンタクトをとる携帯機器に送信されることを可能にしてよい。
1つ以上のアプリケーション344が携帯機器342で使用可能である。一例として、携帯機器アプリケーション344は、ユーザと携帯機器との対話に関するユーザデータを集約するように機能してよい。例えば、携帯機器アプリケーション344は、携帯機器でユーザが聴いた音楽プレイリスト、(ユーザが受け取った通話の頻度及び通話時間を含む)通話ログ、ユーザが頻繁に訪れる場所を含む位置情報及び各場所で過ごした時間の長さ等に関するデータを集約してよい。集められたデータはアプリケーション344によってネットワーク360を介して外部装置インタフェース312へ転送されうる。更に、外部装置インタフェース312を介して車載コンピューティングシステム300からの特定のユーザデータの要求が携帯機器342において受信されうる。特定のデータの要求は、ユーザが地理的に所在する場所、ユーザの所在地における周囲雑音レベル及び/又は音楽ジャンル、ユーザの所在地における天候状態(気温、湿度等)等を決定するための要求を含んでよい。携帯機器アプリケーション344は、要求されたデータが携帯機器において収集されるようにするために、携帯機器342の構成部品(例えば、マイクロホン等)又は他のアプリケーション(例えば、ナビゲーションアプリケーション)へ制御命令を送ってよい。携帯機器アプリケーション344はその後、収集した情報を車載コンピューティングシステム300へ取り次いでよい。
同様に、1つ以上のアプリケーション348が外部サービス346において使用可能であってよい。一例として、外部サービスアプリケーション348は、複数のデータセンサからのデータを集約及び/又は分析するように機能してよい。例えば、外部サービスアプリケーション348は、ユーザの1つ以上のソーシャルメディアアカウントからのデータ、車載コンピューティングシステムからのデータ(例えば、センサデータ、ログファイル、ユーザ入力等)、インターネット問い合わせからのデータ(例えば、天候データ、POIデータ)等を集約してよい。集められたデータは、例えば問い合わせ応答サーバなどの他の装置に送信されうる及び/又は運転者、車両、及び環境の状況を決定するためにアプリケーションによって分析されうる。
車両制御システム330は、様々な車載機能に含まれる様々な車両システム331の側面を制御するための制御部を含んでよい。これらは例えば、車両の乗員にオーディオエンタテイメントを提供するための車両オーディオシステム332の側面、車両の乗員による車内の冷暖房要求を満たすための環境調整システム334の側面、及び乗員が他者とのテレコミュニケーションリンケージを確立できるようにするためのテレコミュニケーションシステム336の側面を制御することを含んでよい。
オーディオシステム332は、車両の運転者及び/又は同乗者へオーディオ出力を提供するためのスピーカなどの電磁トランスダクタを含む1つ以上の音響再生装置を含んでよい。例えばオーディオ出力は、ユーザの問い合わせに音声で応答を提供するテキスト音声出力に対応してよい。車両オーディオシステム332は、例えば電力増幅器を含むことによって受動又は能動になってよい。いくつかの例において、車載コンピューティングシステム300が音響再生装置のための唯一の音源のみであってよい、又は音響再生装置に接続された他の音源(例えば、携帯電話などの外部装置)が存在してよい。任意のそのような外部装置のオーディオ再生装置への接続は、アナログ式、デジタル式、又はアナログ技術とデジタル技術との任意の組み合わせであってよい。
環境調整システム334は、車両301のキャビン又は乗員室に快適な環境を提供するために構成されてよい。環境調整システム334は、例えば通気口、暖房装置、エアコンディショナ、一体型暖房装置及びエアコンディショナ等などの、制御された通風を可能にする構成部品を含む。暖房及び空気調節装置に連結された他の構成部品は、フロントガラスの視界を良好にすることができるフロントガラス霜除去及び曇り除去システムと、吸気口を通って乗員室へ入る外気を清浄化するための換気フィルタとを含んでよい。
車両制御システム330は、例えばハンドル制御部362(例えば、ハンドル搭載オーディオシステム制御部、走行制御部、フロントガラスワイパー制御部、ヘッドライト制御部、方向指示器制御部等)、計器板制御部、マイクロホン、アクセル/ブレーキ/クラッチペダル、ギアシフト、運転席又は乗員席のドアに付けられたドア/窓制御部、座席制御部、キャビン照明制御部、オーディオシステム制御部、キャビン室温制御部等などの、車両のキャビン内のエンジン及び/又は補助部品に関する様々な車両制御部361(すなわち車両システム制御部品)の設定を調整するための制御部も含んでよい。制御信号は、車両のオーディオシステム332の1つ以上のスピーカにおけるオーディオ出力を制御してもよい。例えば制御信号は、例えば音量、等化、音像(例えば、1つ以上の所定の場所から発生するユーザに見えるオーディオ出力を生成するためのオーディオ信号の構成)、複数のスピーカ間でのオーディオ分散等などのオーディオ出力特性を調整してよい。同様に、制御信号は、環境調整システム334の通気口、エアコンディショナ、及び/又は暖房装置を制御してよい。例えば制御信号は、キャビン内の特定の箇所への冷却された空気の排出を増加させてよい。
車両の外に存在した制御部品(例えば、セキュリティシステムに関する制御部)が、例えば通信モジュール322を介してコンピューティングシステム300に接続されてもよい。車両制御システムの制御部品は、ユーザ入力を受け取るために車上に及び/又は車内に物理的にかつ取り外し不可に存在しうる。車載コンピューティングシステム300からの制御命令を受け取ることに加えて、車両制御システム330は、例えば携帯機器342などの、ユーザによって操作される1つ以上の外部装置340からの入力を受け取ってもよい。その結果、車両システム331及び車両制御部361の側面が、外部装置340から受け取ったユーザ入力に基づいて制御されることが可能になる。
車載コンピューティングシステム300は、アンテナ306を更に含んでよい。アンテナ306は単一のアンテナとして図示されるが、一部の実施形態において1つ以上のアンテナを備えてよい。車載コンピューティングシステムは、アンテナ306を介して広帯域無線インターネットアクセスを取得してよく、更に例えばラジオ、テレビ、天候、交通等などのブロードキャスト信号を受信してよい。車載コンピューティングシステムは、1つ以上のアンテナ306を介して例えばGPS信号などの位置決め信号を受信してよい。車載コンピューティングシステムは、例えばアンテナ306を介して又は適切な受信装置による赤外線又は他の手段を介してRFを介した無線命令を受信してもよい。一部の実施形態において、アンテナ306は、オーディオシステム332又はテレコミュニケーションシステム336の一部として含まれてよい。また、アンテナ306は、外部装置インタフェース312を介して(例えば携帯機器342などの)外部装置340にAM/FMラジオ信号を提供してよい。
車載コンピューティングシステム300の1つ以上の構成要素は、ユーザインタフェース318によって制御されてよい。ユーザインタフェース318は、例えば図1のタッチスクリーン108などのタッチスクリーン上に存在するユーザインタフェース及び/又はユーザ駆動のボタン、スイッチ、ノブ、ダイヤル、スライダー等を含んでよい。例えばユーザ駆動の部品は、ハンドル制御部、ドア及び/又は窓の制御部、計器板制御部、オーディオシステム設定、環境調整システム設定等を含んでよい。ユーザは、ユーザインタフェース318を介して車載コンピューティングシステム300及び携帯機器342の1つ以上のアプリケーションと対話してよい。ユーザインタフェース318においてユーザの車両設定選好を受け取ることに加えて、車内制御システムによって選択された車両設定がユーザインタフェース318に表示されうる。ナビゲーション支援と共に通知及び他のメッセージが、ユーザに向けてユーザインタフェースのディスプレイ上に表示されうる。ユーザインタフェース318は、例えば図2の問い合わせアプリケーション210などの問い合わせアプリケーションが車載コンピューティングシステム300によって実行されている間、ユーザが問い合わせを提示し応答を受け取ることを可能にするための情報を含んでもよい。
図4は、ヘッドユニット(例えば、図2のヘッドユニと204)において問い合わせを受け取り、ヘッドユニットにおいて問い合わせに対する応答を提示するための方法400である。402において、方法400は、ユーザに音声問い合わせを促すことを任意選択的に含む。例えばヘッドユニットにおいて問い合わせアプリケーションが起動すると、問い合わせアプリケーションは、例えば、「あなたの車について質問はありますか?」又は「お困りのことはございませんか?」というような、ユーザからの問い合わせを要求する映像の及び/又は音声のキューをユーザに向けて出力してよい。404において、方法400は、ユーザからの音声問い合わせ(例えば、ユーザによって提示された問い合わせを含む、ヘッドユニットに通信可能に接続されたマイクロホンを介して受け取った音声データ)を受け取ることを含む。
方法400は、406に示すように、テキスト問い合わせに変換するために音声問い合わせを音声認識サーバ(例えば、ヘッドユニットの外部の音声認識サーバ)に送信することを含む。ヘッドユニットはその後、408に示すように、音声認識サーバからテキスト問い合わせを受信してよい。410において、方法400は、テキスト問い合わせを問い合わせ応答サーバ(例えば、図2の問い合わせ応答サーバ202)に送信することを含む。方法400は、問い合わせに対する応答を決定するために問い合わせ応答サーバを用いることに関するが、関連する応答を決定するためのテキスト問い合わせに対する処理の一部又は全部がヘッドユニットで実行されてよい及び/又は問い合わせ応答サーバにテキスト問い合わせを送る前にヘッドユニットで試みられうることを理解するべきである。412において、方法400は、問い合わせに対する有効な結果が問い合わせ応答サーバから受信されたかを判定することを含む。問い合わせに対する有効な結果が受け取られなかった場合(例えば、412の「いいえ」)、方法400は414へ進み、(例えば、質問を音声で及び/又は映像でユーザに繰り返すことによって)音声問い合わせを確認する。414において音声問い合わせが確認される場合、方法400は、最後の問い合わせが無効であった/認識されなかったことをユーザに示す指示を任意選択的に表示した後、ユーザから別の音声問い合わせを受け取るために404へ戻ってよい。最後の問い合わせが無効であった/認識されなかった場合、例えばサーバとの接続の切断、マッチングマークアップ言語ファイルにおける音声問い合わせとの合致の欠如等などの、そのようなエラーの原因が提供されうる。
問い合わせの送信に対する有効な結果が受信された場合(例えば、412の「はい」)、方法400は、416において問い合わせ応答サーバからの応答を受信することを含む。418において、方法400は、応答がプレースホルダ(例えば、ヘッドユニットによって取得及び挿入されるべきデータに関連しているような、ヘッドユニットによって認識できるタグ及び/又はテキストを有するマーカ)を含むかを判定することを含む。例えばプレースホルダは、問い合わせ応答サーバからの応答を解析及び/又は分析すること、及び、認識された識別子(例えば、センサ名称、メモリ場所等)及び/又は認識された区切り符号(例えば、プレースホルダの存在を示す/テキストとプレースホルダとの区切りを示す符号/記号/文字列)の表又はリストと応答の一部とを比較することによって特定されうる。少なくとも1つの識別子及び/又は区切り符号が、認識された識別子/区切り符号のリスト/表と合致する場合、応答がプレースホルダを含むと判定されうる。応答がプレースホルダを含む場合(例えば、418の「はい」)、方法400は、420へ進んでプレースホルダを解析し、422へ進んでプレースホルダによって要求及び/又は特定されたデータを引き出す。例えばプレースホルダは、プレースホルダの位置で応答に挿入されるべきデータを保持するヘッドユニット内のローカルデータベースに関するメモリ場所に変換されうるテキストを含んでよい。424において、方法400は、更新された応答を作成するために、プレースホルダを、取得したデータで置き換えることを含む。426において、方法400は、更新されたデータを(例えば、映像で及び/又は音声で)ユーザに提示することを含む。応答がプレースホルダを含まない場合(例えば、418の「いいえ」)、方法は426へ直接進み、ユーザに応答を提示する。
図4に関して上述したように、ヘッドユニットは、問い合わせに対する応答を受け取るために、ユーザからの問い合わせに関連する情報を問い合わせ応答サーバに送信してよい。図5は、問い合わせ応答サーバ(例えば、図2の問い合わせ応答サーバ202)において問い合わせ応答を決定する方法500のフローチャートである。502において、方法500は、ヘッドユニットからの問い合わせ文字列を受信することを含む。例えば問い合わせ文字列は、ヘッドユニットにおいて受け取られた音声問い合わせを表すテキスト文字列であってよい。504において、方法500は、問い合わせ文字列に合致する応答についてマッチングマークアップ言語ファイルを検索することを含む。方法500は、506において、応答が存在するかを判定することを含む。応答が存在しない場合(例えば、506の「いいえ」)、方法500は、508に示すように、空の応答又は合致無しを示す指示を返すことを含む。方法はその後522へ進み、ヘッドユニットへ応答(例えば、空の応答又は合致無しを示す指示)を返す。応答が存在する場合(例えば、506の「はい」)、方法500は、510に示すように、応答が後処理マーカを含むかを判定することを含む。応答が後処理マーカを含まない場合(例えば、510の「いいえ」)、サーバにおいて追加の処理は必要なく、方法は522へ進み、ヘッドユニットへ応答を返す。
応答が後処理マーカを含む場合(例えば、510の「はい」)、方法は512へ進み、マーカを解析及び処理する。例えば、514に示すように、マーカのタグ(例えば、マーカ識別子の前後の符号)及び/又は識別子は、サーバによってマーカを補充することができるかを判定するためにサーバの問い合わせマッチングエンジンによって評価されうる。サーバによってマーカを補充することができない場合(例えば、マーカがサーバによって取り出すことができるデータに対応しないと認識された場合、514の「いいえ」)、方法500は522へ進み、ヘッドユニットへ応答を返す。一方、サーバによってマーカを補充することができる場合(例えば、514の「はい」)、方法500は、516において、マーカが相関データに対する要求を示すかを判定することを含む。図2に関して上述したように、相関データに対する要求は、ユーザに提示されるフォローアップ問い合わせ及び/又は明確化問い合わせに依存する応答及び/又は複数の情報源から(例えば、サーバにローカルな及び/又はサーバによって直接アクセス可能なデータベース及びヘッドユニットにローカルな及び/又はヘッドユニットによって直接アクセス可能なデータから)組み合わされたデータに含まれうる。マーカが相関データに対する要求を示さない場合(例えば、516の「いいえ」)、マーカは、問い合わせ応答サーバにローカルなデータベースからデータを取得するためのサーバ問い合わせ要求を示してよい。その結果、方法500は518へ進み、サーバに問い合わせ、マーカを問い合わせの結果で置き換える。例えば、そのような応答は、図2に関して上述したような集約データを用いる動的応答に対応してよい。
マーカが相関データに対する要求を示す場合(例えば、516の「はい」)、方法500は520へ進み、要求された関連付けを実行し、マーカを相関結果で置き換える。518における問い合わせ結果又は520における相関結果のいずれかでマーカを置き換えた後、方法500は522へ進み、ヘッドユニットへ応答を返す。
図6A及び6Bは、サーバシステムにおける問い合わせに応答するための方法600のフローチャートである。方法600は、上記で詳しく説明したように、ヘッドユニットのクライアントから受信した問い合わせに合致する応答についてマッチングマークアップ言語ファイルを検索することを含む。方法600は、受信したマーカの種類に基づいて様々にマーカを処理すること、及びマッチングマークアップ言語ファイルから返された応答全体か応答の一部のいずれかを、問い合わせ又は相関の結果から取り出したデータで置き換えることを含んでよい。音声データは、車外音声に処理されるためにテキストエンジン及び/又は音声認識サーバに送られうる。音声入力はその後、テキスト形式で返されてよく、ヘッドユニットのアプリケーションは、マッチングマークアップ言語解析器によってテキストが解釈される問い合わせ応答サーバにテキストを送信してよい。解析器の出力はその後、どのように関連データで置き換えるかをクラウドが知っているタグの場合、クラウド内で処理される。その後最終的な文字列がヘッドユニットアプリケーションに送信され、そこで更に解析され、応答の種類によってフォーマットされる。タグは、車両バス又はヘッドユニットから導出されるべきデータについて検索され、そのデータと置き換えられる。
図7A〜7Cは、本開示の1つ以上の実施形態に係るヘッドユニットにおいて問い合わせに応答するための方法700のフローチャートである。フローチャートは、例えば問い合わせシーケンスを開始するための開始ボタン702、前の画面に戻るための戻りボタン704、及び問い合わせシーケンス及び/又は問い合わせ支援アプリケーションを終了するための終了ボタンなどの、問い合わせ支援アプリケーションのユーザインタフェースにおいて表示されうる要素を概略的に示す。方法700は、応答の種類の置換が実行されるべきかを判定するために問い合わせ応答サーバからの応答に含まれうる様々なタグ及び/又はマーカを特定することも含む。
例えば、「<>」というタグは、「<」と「>」との間に含まれる識別子に対応するセンサデータが取得され、タグと置き換えるために用いられるべきであることを示してよい。「;;」というタグは、応答がヘルプ情報を含むことを示してよく、「;;」は、ヘルプ情報のステップ間の区切りを示すための区切り文字として用いられる。例えば、「;;」は、ヘッドユニットによって休止と解釈されてよく、それによって、指定された時間及び/又はユーザが前のステップを完了するまで「;;」に続くステップがユーザに表示又は発声されない。「?」というタグは、問い合わせに応答するために更なる情報が必要であることを示してよい。例えば、問い合わせのうちの1語のみが問い合わせマッチングエンジンによって認識され、その1語が可能性のある複数の応答に対応する場合、「?」は、ヘッドユニットがユーザに更なる情報を促すべきであることを示してよい。上述されたタグ及び関連付けは事実上代表例であり、任意の適切なタグ及びタグと操作/命令との関連付けが用いられてよいことを理解するべきである。
実施形態の説明は、図示及び説明の目的で提示された。実施形態に対する適切な修正及び変更が上記説明を考慮して実行されうる又は方法を実行することから得られうる。例えば、特に記載されない限り、説明された方法のうちの1つ以上は、例えば図1及び2を参照して説明された車載コンピューティングシステム109及び/又は問い合わせ応答サーバ202などの適切な装置及び/又は装置の組み合わせによって実行されうる。他の例として、説明された方法(例えば、図6A〜7Cにおいて説明された方法)のうちの1つ以上は、車載コンピューティングシステムのプロセッサ(例えば、図3のオペレーティングシステムプロセッサ314及び/又はインタフェースプロセッサ320)を他のハードウェア部品(例えば、マイクロホン302、アンテナ306、車両システム331、及び/又は図3に示した又は本開示に記載された他の任意の適切な装置)のうちの1つ以上と組み合わせて用いて、格納された命令を実行することによって実行されうる。説明された方法及び関連する動作は、本開示に記載された順序以外にも様々な順序で、並行して、及び/又は同時に実行されることもある。説明されたシステムは事実上代表例であり、追加の要素を含んでよい、及び/又は要素を省いてもよい。本開示の趣旨は、様々なシステム及び構成と、開示された他の特徴、機能、及び/又は特性との新規かつ非自明の組み合わせ及び部分的組み合わせの全てを含む。
本願において用いる場合、単数形で記載される冠詞「a」又は「an」を伴って記載された要素又はステップは、特に記載されない限り、複数形の上記要素又はステップを除外するように理解されてはならない。更に、本開示の「1つの実施形態」又は「一例」という言及は、記載された特徴を包む追加の実施形態の存在を除外するように解釈されることは意図されていない。「第1」、「第2」、及び「第3」等の用語は、単なる符号として用いられており、それらの対象物に数的要件又は特定の位置秩序を課すことは意図されていない。上記システムへの例示的な問い合わせ、応答、及び他の入力及び出力は代表例であり、全てを網羅するものとしては意図されていない。追加の又は代替の言い回し、問い合わせ応答マッチング、マーカ構文、及び他の特徴が、上記の開示に記載されたシステム及び方法によって提供されうる。以下の特許請求の範囲は、新規かつ非自明であるとみなされる本開示の趣旨を特に挙げるものである。

Claims (19)

  1. 問い合わせ応答サーバに通信可能に接続された通信インタフェースと、
    プロセッサと、
    車両−ユーザ間対話データを収集及び格納するように構成され、
    ユーザからの音声問い合わせを受け取り、
    前記音声問い合わせをテキスト問い合わせに変換し、
    前記テキスト問い合わせを問い合わせ応答サーバに送信し、
    ヘッドユニットにローカルな記憶装置から取得するデータを表す1つ以上のプレースホルダを含む結果を前記問い合わせ応答サーバから受信し、
    更新された結果を作成するために、前記1つ以上のプレースホルダを前記記憶装置からの情報で置き換え、
    前記更新された結果を前記ユーザに提示する
    ように、前記プロセッサによって実行可能な命令を格納するように構成された記憶装置と、
    を備える車載コンピューティングシステム。
  2. 前記車両のコントローラエリアネットワーク(CAN)バスを介して1つ以上の車両システムと通信するように構成された車内システム通信モジュールを更に備え、前記命令は、前記1つ以上のプレースホルダを、前記CANバスを介して受け取った前記車両のセンサからの情報で置き換えるようにさらに実行可能である、請求項1に記載の車載コンピューティングシステム。
  3. 前記音声問い合わせをテキスト問い合わせに変換することは、前記車両の外部の音声認識サーバに前記音声問い合わせを送信することを含む、請求項1または2に記載の車載コンピューティングシステム。
  4. 問い合わせ応答サーバに通信可能に接続された通信インタフェースと、
    プロセッサと、
    車両−ユーザ間対話データを収集及び格納するように構成され、
    ユーザからの音声問い合わせを受け取り、
    前記音声問い合わせを音声認識サーバに送信し、
    前記音声認識サーバからテキスト問い合わせを受信し、
    前記テキスト問い合わせを問い合わせ応答サーバに送信し、
    前記車両−ユーザ間対話データに含まれる情報を要求する結果を前記問い合わせ応答サーバから受信し、
    前記要求された情報を前記問い合わせ応答サーバに送信し、
    前記問い合わせ応答サーバから更新された結果を受信し、
    前記更新された結果を前記ユーザに提示する
    ように、前記プロセッサによって実行可能な命令を格納するように構成された記憶装置と、
    を備える車載コンピューティングシステム。
  5. ディスプレイ装置を更に備え、前記更新された結果を前記ユーザに提示することは、前記更新された結果を前記ユーザに表示することを備える、請求項4に記載の車載コンピューティングシステム。
  6. 前記問い合わせ応答サーバから前記結果を受信することは、前記テキスト問い合わせと、1つ以上の予め定められた応答に関連する1つ以上の人工知能マークアップ言語(AIML)ファイル内に存在する複数のテキスト問い合わせのうちの1つとのマッチングの結果を受信することを備える、請求項4または5記載の車載コンピューティングシステム。
  7. 前記1つ以上の予め定められた応答は、前記ヘッドユニット及び前記問い合わせ応答サーバのうちの1つ以上によって取得するデータに関するプレースホルダとして機能するマーカを含む、請求項4〜6のいずれか1項に記載の車載コンピューティングシステム。
  8. 前記マーカは、前記問い合わせ応答サーバによって、前記問い合わせ応答サーバにローカルな記憶装置に格納されたデータを特定すると認識できる、請求項4〜7のいずれか1項に記載の車載コンピューティングシステム。
  9. 前記マーカは、前記問い合わせ応答サーバによって、前記ヘッドユニットにローカルな前記記憶装置に格納されたデータを特定すると認識できる、請求項4〜7のいずれか1項に記載の車載コンピューティングシステム。
  10. 前記マーカは、前記問い合わせ応答サーバによって、前記問い合わせ応答サーバにローカルな記憶装置及び前記ヘッドユニットにローカルな前記記憶装置のうちの1つ以上におけるデータを関連付けるための相関要求を特定すると認識できる、請求項4〜7のいずれか1項に記載の車載コンピューティングシステム。
  11. ヘッドユニットにおける方法であって、
    ユーザからの音声問い合わせを受け取ることと、
    前記音声問い合わせをテキスト問い合わせに変換することと、
    前記テキスト問い合わせを問い合わせ応答サーバに送信することと、
    前記ヘッドユニットにローカルな記憶装置から取得するデータを表す1つ以上のプレースホルダを含む結果を前記問い合わせ応答サーバから受信することと、
    更新された結果を作成するために、前記1つ以上のプレースホルダを前記記憶装置からの情報で置き換えることと、
    前記更新された結果を前記ユーザへ提示することと、
    を備える方法。
  12. 前記ユーザに前記音声問い合わせを促すことを更に備える、請求項11に記載の方法。
  13. 前記問い合わせ応答サーバからの前記結果が、前記音声問い合わせに対する応答に対応する有効な結果であるかを判定することを更に備える、請求項11または12に記載の方法。
  14. 前記問い合わせ応答サーバからの前記結果が有効な結果ではないという判定に応じて前記音声問い合わせを確認することを更に備える、請求項11〜13のいずれか1項に記載の方法。
  15. 前記プレースホルダによって特定されたセンサに問い合わせることによって前記プレースホルダによって要求されるデータを引き出すことを更に備える、請求項11〜13のいずれか1項に記載の方法。
  16. 車内で車両情報を記録することと、
    音声要求に応答して、前記要求及び前記記録された車両情報をリモートサーバに送信することと、
    前記リモートサーバから、1つ以上の他の車両から集約されたデータ及びマーカを含む、前記音声要求に対する応答を受信することと、
    前記マーカに応答する前記車両に搭載されたデータを用いて前記応答を更新することと、
    前記更新された応答を前記車両内で提示することと、
    を備える方法。
  17. 前記更新することは、前記車内に搭載された車両データを用いて前記マーカによって表される式に従って1つ以上の計算を実行することを含む、請求項16に記載の方法。
  18. 前記更新することは、前記集約データ車両データを用いて、前記マーカによって表される式に従って1つ以上の計算を実行することを含み、前記更新することは、前記車両内で実行される、請求項16に記載の方法。
  19. 前記表すことは、人間が読むことができるテキストの形式である、請求項17または18に記載の方法。
JP2014255936A 2013-12-18 2014-12-18 音声認識問い合わせ応答システム Active JP6543460B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201361917883P 2013-12-18 2013-12-18
US61/917,883 2013-12-18

Publications (2)

Publication Number Publication Date
JP2015118709A true JP2015118709A (ja) 2015-06-25
JP6543460B2 JP6543460B2 (ja) 2019-07-10

Family

ID=52133955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014255936A Active JP6543460B2 (ja) 2013-12-18 2014-12-18 音声認識問い合わせ応答システム

Country Status (4)

Country Link
US (1) US9626966B2 (ja)
EP (1) EP2887348B1 (ja)
JP (1) JP6543460B2 (ja)
CN (1) CN104731854B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020528585A (ja) * 2017-06-09 2020-09-24 グーグル エルエルシー オーディオベースのコンピュータプログラム出力の修正
US11582169B2 (en) 2017-06-09 2023-02-14 Google Llc Modification of audio-based computer program output

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9516165B1 (en) * 2014-03-26 2016-12-06 West Corporation IVR engagements and upfront background noise
EP3056953A1 (de) * 2015-02-11 2016-08-17 Siemens Aktiengesellschaft Autarkes Feldgerät der Automatisierungstechnik zur Fernüberwachung
US9890576B2 (en) * 2015-07-29 2018-02-13 Ford Global Technologies, Llc Active door operation based on voice commands
US20170161319A1 (en) * 2015-12-08 2017-06-08 Rovi Guides, Inc. Systems and methods for generating smart responses for natural language queries
DE102016200815A1 (de) * 2015-12-15 2017-06-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Sprachsteuerung eines Kraftfahrzeugs
JP6481643B2 (ja) * 2016-03-08 2019-03-13 トヨタ自動車株式会社 音声処理システムおよび音声処理方法
CN107452383B (zh) * 2016-05-31 2021-10-26 华为终端有限公司 一种信息处理方法、服务器、终端及信息处理系统
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network
US10474673B2 (en) * 2017-03-28 2019-11-12 Salesforce.Com, Inc. Methods and apparatus for performing machine learning to improve capabilities of an artificial intelligence (AI) entity used for online communications
US10038419B1 (en) * 2017-07-06 2018-07-31 Bose Corporation Last mile equalization
US11205421B2 (en) * 2017-07-28 2021-12-21 Cerence Operating Company Selection system and method
EP3679539B1 (en) * 2017-09-06 2021-12-22 Landis+Gyr Innovations, Inc. Voice-activated energy management system
US10492013B2 (en) * 2017-09-14 2019-11-26 GM Global Technology Operations LLC Testing of vehicle system module using audio recognition
JPWO2019065486A1 (ja) * 2017-09-29 2020-11-05 パイオニア株式会社 情報提供装置、情報提供方法及びプログラム
EP4273696A3 (en) * 2017-10-03 2024-01-03 Google LLC Multiple digital assistant coordination in vehicular environments
US10997975B2 (en) * 2018-02-20 2021-05-04 Dsp Group Ltd. Enhanced vehicle key
KR102520068B1 (ko) * 2018-03-07 2023-04-10 구글 엘엘씨 사용자 지정 디바이스 액션들의 음성 기반 시작을 위한 시스템들 및 방법들
US11315552B1 (en) 2018-03-23 2022-04-26 Amazon Technologies, Inc. Responding with unresponsive content
US11544303B1 (en) * 2018-03-23 2023-01-03 Amazon Technologies, Inc. Responding with unresponsive content
US11854040B1 (en) 2018-03-23 2023-12-26 Amazon Technologies, Inc. Responding with unresponsive content
CN108665893A (zh) * 2018-03-30 2018-10-16 斑马网络技术有限公司 车载声音反应系统及方法
CN108595701A (zh) * 2018-05-09 2018-09-28 威马智慧出行科技(上海)有限公司 一种车辆问题信息反馈系统及其方法
JP7294775B2 (ja) * 2018-05-24 2023-06-20 トヨタ自動車株式会社 情報処理装置、プログラム、及び制御方法
WO2020005241A1 (en) * 2018-06-27 2020-01-02 Google Llc Rendering responses to a spoken utterance of a user utilizing a local text-response map
CN109165274A (zh) * 2018-07-16 2019-01-08 厦门快商通信息技术有限公司 一种在线自动客服方法、系统及电子设备
JP6731451B2 (ja) * 2018-07-20 2020-07-29 本田技研工業株式会社 車両管理システム、車両管理プログラム及び車両管理方法
JP7142315B2 (ja) * 2018-09-27 2022-09-27 パナソニックIpマネジメント株式会社 説明支援装置および説明支援方法
CN111326137A (zh) * 2018-12-13 2020-06-23 允匠智能科技(上海)有限公司 一种基于办公智能化的语音机器人交互系统
US11710480B2 (en) * 2019-08-07 2023-07-25 International Business Machines Corporation Phonetic comparison for virtual assistants
US11093691B1 (en) * 2020-02-14 2021-08-17 Capital One Services, Llc System and method for establishing an interactive communication session
CN111488445B (zh) * 2020-04-14 2022-03-15 湖北亿咖通科技有限公司 车载语音对话方法、计算机存储介质及电子设备
CN111488446B (zh) * 2020-04-14 2021-10-15 湖北亿咖通科技有限公司 车载语音对话方法、计算机存储介质及电子设备
DE102020003922A1 (de) 2020-06-30 2021-12-30 Daimler Ag Sprachsteuerungssystem und Kraftfahrzeug
CN111862979A (zh) * 2020-08-03 2020-10-30 湖南行必达网联科技有限公司 卡车的智能语音控制系统和方法
CN112017646A (zh) * 2020-08-21 2020-12-01 博泰车联网(南京)有限公司 一种语音处理方法、装置及计算机存储介质
CN113674742B (zh) * 2021-08-18 2022-09-27 北京百度网讯科技有限公司 人机交互方法、装置、设备以及存储介质
CN114448951B (zh) * 2022-04-07 2022-07-01 宁波均联智行科技股份有限公司 一种车辆自动取消静音方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014165A (ja) * 1999-06-30 2001-01-19 Toshiba Corp 応答生成装置、対話管理装置、応答生成方法および応答生成プログラムを格納するコンピュータ読み取り可能な記録媒体
JP2004341724A (ja) * 2003-05-14 2004-12-02 Honda Motor Co Ltd 対話型情報検索システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6813341B1 (en) * 2000-08-31 2004-11-02 Ivoice, Inc. Voice activated/voice responsive item locator
TWI226593B (en) * 2002-10-28 2005-01-11 Sin Etke Technology Co Ltd Message transmission method among vehicles and devices thereof
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
JP4188989B2 (ja) 2006-09-15 2008-12-03 本田技研工業株式会社 音声認識装置、音声認識方法、及び音声認識プログラム
CN101206651A (zh) * 2006-12-21 2008-06-25 西门子(中国)有限公司 车辆信息语音查询系统及方法
US8423362B2 (en) 2007-12-21 2013-04-16 General Motors Llc In-vehicle circumstantial speech recognition
US20130275899A1 (en) * 2010-01-18 2013-10-17 Apple Inc. Application Gateway for Providing Different User Interfaces for Limited Distraction and Non-Limited Distraction Contexts
WO2011043072A1 (ja) * 2009-10-09 2011-04-14 パナソニック株式会社 車載装置
EP2339576B1 (en) * 2009-12-23 2019-08-07 Google LLC Multi-modal input on an electronic device
CN102118367A (zh) * 2009-12-31 2011-07-06 上海博泰悦臻电子设备制造有限公司 基于车载设备的数据服务系统
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US20110196602A1 (en) * 2010-02-08 2011-08-11 Navteq North America, Llc Destination search in a navigation system using a spatial index structure
US9665344B2 (en) * 2010-02-24 2017-05-30 GM Global Technology Operations LLC Multi-modal input system for a voice-based menu and content navigation service
JP2013529794A (ja) 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法
CN101945304A (zh) * 2010-07-08 2011-01-12 上海新干通通信设备有限公司 用于地铁无人驾驶的tetra无线车载终端
JP2013242763A (ja) * 2012-05-22 2013-12-05 Clarion Co Ltd 対話装置、対話システム、および対話制御方法
CN105702254B (zh) * 2012-05-24 2019-08-09 上海博泰悦臻电子设备制造有限公司 基于移动终端的语音控制装置及其语音控制方法
US20140122056A1 (en) * 2012-10-26 2014-05-01 Xiaojiang Duan Chatbot system and method with enhanced user communication

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014165A (ja) * 1999-06-30 2001-01-19 Toshiba Corp 応答生成装置、対話管理装置、応答生成方法および応答生成プログラムを格納するコンピュータ読み取り可能な記録媒体
JP2004341724A (ja) * 2003-05-14 2004-12-02 Honda Motor Co Ltd 対話型情報検索システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020528585A (ja) * 2017-06-09 2020-09-24 グーグル エルエルシー オーディオベースのコンピュータプログラム出力の修正
US11582169B2 (en) 2017-06-09 2023-02-14 Google Llc Modification of audio-based computer program output

Also Published As

Publication number Publication date
CN104731854B (zh) 2020-02-04
EP2887348A2 (en) 2015-06-24
EP2887348A3 (en) 2015-08-26
CN104731854A (zh) 2015-06-24
JP6543460B2 (ja) 2019-07-10
US9626966B2 (en) 2017-04-18
US20150170653A1 (en) 2015-06-18
EP2887348B1 (en) 2022-05-04

Similar Documents

Publication Publication Date Title
JP6543460B2 (ja) 音声認識問い合わせ応答システム
US11034362B2 (en) Portable personalization
CN104883382B (zh) 车载计算系统
CN104768130B (zh) 车辆内通知呈现调度
US9188449B2 (en) Controlling in-vehicle computing system based on contextual data
US10290300B2 (en) Text rule multi-accent speech recognition with single acoustic model and automatic accent detection
CN106394247B (zh) 电动车辆显示系统
US20150191178A1 (en) Automatic driver identification
CN109017559A (zh) 生成提示信息的方法和装置
US11928390B2 (en) Systems and methods for providing a personalized virtual personal assistant
CN110015309B (zh) 车辆驾驶辅助系统和方法
WO2023126861A1 (en) Methods and systems for navigation guidance based on driver state events
WO2023126774A1 (en) Methods and systems for personalized adas intervention
CN116821511A (zh) 一种信息推荐方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181211

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190604

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190617

R150 Certificate of patent or registration of utility model

Ref document number: 6543460

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250