JP2016029566A - 車両を介する遠隔通信方法 - Google Patents

Abstract

【課題】無人自立車両モードでの車両の動作のために音声、ビデオ及び／又はマルチメディア通信の双方向インタフェースとして対話型遠隔通信ページを提供する。【解決手段】車両２０のためのシステム３０は、車両の窓２２に表示するための出力であって、ユーザ入力サブシステムと遠隔通信するための双方向通信インタフェースに関連する出力を生成する動作が可能な対話型表示サブシステムを含む。車両のシステムを動作する方法は、ユーザ入力サブシステムと遠隔通信するために車両の窓に双方向通信インタフェースを表示することを含む。【選択図】図１

Description

本発明は、車両を介する遠隔通信方法に関する。

一般的に、若い運転手及び高齢の運転手が増えるに従って、問題がある運転行為が増える。具体的に調査されている問題がある運転行為は、運転経験の不足、不十分な運転技術、冒険的なふるまい、下手な判断、判断の遅れ、及び注意散漫を含む。両親及び配偶者のような車両から離れた人々は、運転車の運転行為及び／又は車両の周辺の状況を監視して、運転者と通信し、又は車両機能を制御して安全な運転を促すことが有効であると考えるかもしれない。

さらに、自動化車両が洗練されると、従来の車両と同じ道路システムを利用した無人車両は、より一般的になるであろう。無人車両に遭遇した人は、車両の所有者と通信することを望むであろう。例えば、無人車両が事故又は他の障害に含まれた場合、無人車両に遭遇した人にとって、車両の所有者又は車両に関連する他の人と通信することは有効であろう。

本明細書で説明される車両のシステム及び方法は、無人自立車両モードでの車両の動作のために音声、ビデオ及び／又はマルチメディア通信の双方向インタフェースとして対話型遠隔通信ページを提供する。対話型遠隔通信ページは、車両の窓による遠隔ユーザと、車両に遭遇した現場の人物との間の通信インタフェースを提供する。システム及び方法は、遠隔ユーザが車両の内部及び／又は周囲の状況を見て、現場の人物と通信することを可能にすることができる。有人の車両の代替的且つ限定されない実施形態では、システムは、運転手、車両の運転、又は車両の周囲の状況を監視し、車両から離れた人物が車両の占有者と通信し、及び／又は友人車両モードで安全な運転を促す車両機能を制御することが可能になる。

本開示で開示された限定されない１つの実施形態に従う車両のシステムは、車両の窓に表示される出力であって、ユーザ入力システムとの遠隔通信のための双方向通信板フェースに関連する出力を生成する動作が可能な対話型表示システムを含む。

本開示で開示された限定されない他の実施形態に従う車両のシステムは、制御システムと、制御システムと通信する自動自己運転サブシステムと、制御システムと通信する対話型遠隔通信サブシステムと、対話型遠隔通信サブシステムと通信する対話型遠隔通信サブシステムとを含み、対話型表示サブシステムは、車両の窓への表示のための出力を生成する動作が可能であり、出力は、ユーザ入力サブシステムと遠隔通信する双方向通信インタフェースに関連する。

本開示で開示された限定されない１つの実施形態に従う車両の方法は、車両に対する問題がある運転行為を識別し、問題がある運転行為について、オフボードの携帯電子機器（personal electronic device）に警報を出力する、ことを含む。

上述の機能及び要素は、他の明確な指示がない限り、排他的でなく様々な組み合わせで組み合わせてもよい。これらの機能及び要素は、動作と共に、以下の説明及び添付図面を考慮するとより明白になるであろう。しかしながら、以下の説明及び図面は、本来は例示的且つ限定されないことを意図することを理解すべきである。

図１は、対話型車両窓表示システムを有する例示的な車両を示す図である。 図２は、限定されない１つの実施形態に従う対話型車両窓表示のブロック図である。 図３は、対話型車両窓表示システムを有する車両の車内の一部を示す図である。 図４は、対話型車両窓表示システムの外観ユーザ識別サブシステムを説明する車両の平面図である。 図５は、骨格結合関係、キーフォブ及び／又はユーザのジェスチャによるユーザ識別を説明する車両を示す図である。 図６は、限定されない１つの実施形態に従うシステムの動作のアルゴリズムのブロック図である。 図７は、システムが理解可能な例示的な骨格結合関係を示す図である。 図８は、システムが理解可能な例示的なユーザのジェスチャを示す図である。 図９は、対話型車両窓表示システムが表示する例示的なランディングページを示す図である。 図１０は、対話型車両窓表示システムが表示する例示的なルートページを示す図である。 図１１は、対話型車両窓表示システムが表示する例示的なカレンダページを示す図である。 図１２は、対話型車両窓表示システムが表示する例示的な天気ページを示す図である。 図１３は、対話型車両窓表示システムが表示する例示的な車両状態ページを示す図である。 図１４は、対話型車両窓表示システムが表示する例示的なto-doページを示す図である。 図１５は、車両ヘッドユニットの機能を利用するために運転手及び／又は同乗者の対話環境を説明する車両の乗員室の内部の一部を示す図である。 図１６は、車両動作の間に車両ヘッドユニットの機能の利用を選択的に許可するために運転手及び／又は同乗者の区別を説明する車両の乗員室の内部の一部を示す図である。 図１７は、占有者の位置をトラッキングするシステムが使用する車両の乗客の顔面マップを示す図である。 図１８は、車両の乗員室の内部の占有者の位置をトラッキングするためのセンサ配置を説明する車両の内部平面図である。 図１９は、限定されない１つの実施形態に従う遠隔監視システムの動作を示すフローチャートである。 図２０は、対話型車両窓表示システムが表示する例示的な対話型遠隔通信ページを示す図である。 図２１は、対話型遠隔通信サブシステムの動作方法を示すフローチャートである。

図示される実施形態は、実際は、説明のための例示的なものであり、特許請求の範囲に規定される主題を限定することを意図するものではない。説明のための実施形態の以下の詳細な説明は、同一の構造は同一の符号が付される以下の図面を参照して解釈するときに理解できる。

車両の対話型遠隔通信サブシステムが開示される。対話型遠隔通信サブシステムは、無人自立車両モードでの車両動作のための双方向通信インタフェースとして対話型遠隔通信ページを表示する。対話型遠隔通システムは、ユーザと、自動自己運転システムによって動作する車両の現場の人物との間を通信するユーザ入力サブシステムによるリアルタイムの対話を提供する。対話型遠隔通信サブシステムは、遠隔ユーザが車両の内部及び／又は車両の外部の状況を視認することができると共に、有人車両モードでの車両動作と識別された特定の車両条件において安全な運転を促すために車両を監視し及び／又はロックするセンサを含む。特定の運転条件は、高速運転、蛇行運転又は他の操作により特定された問題がある運転行為であってもよい。

図１は、窓２２と、対話型車両窓表示システム３０とを有する車両２０を示す図である。窓２２は、限定されずに開示される実施形態においてミニバンタイプの車両である運転手側の同乗者の窓として示されるが、有人及び無人の双方の完全自動化自己運転車両に含まれる様々な車両タイプが本開示から利益を受けるであろうことを理解すべきである。

図２を参照すると、システム３０の選択された部分が図示される。システム３０は、対話型表示サブシステム３２と、制御サブシステム３４と、ユーザ入力サブシステム３６と、ユーザ識別サブシステム３８と、ユーザ位置サブシステム３９とを有する。具体的なサブシステムは個別に規定されるが、サブシステムのそれぞれ又はサブシステムの何れかは、システム３０のハードウェア及び／又はソフトウェアによって組み合わされてもよく、又は分割されてもよいことを理解すべきである。加えて、サブシステムのそれぞれ又はサブシステムの何れかは、情報を操作し又は処理する機能を有する従来の中央演算装置又は他の装置を含む１つ又は２つ以上のコンピューティングデバイスを使用して実装してもよい。

対話型表示サブシステム３２は、システム３０の制御の下で車両の窓２２に画像を表示する機能を有する単一又は複数のデバイスを含んでもよく、車両の外部、車両の内部又はその双方から視認することが適するようにしてもよい。限定されない１つの例では、対話型表示システム３２は、窓２２と一体化されたＬＣＤのような表示デバイスを含んでもよい。このような表示は、周辺光又はシステム３０の制御の下で１つ又は２つ以上の光源によって照らされてもよい。このような光源は、車両の外部に位置するユーザが表示を見るか又は車両の内部に位置するユーザが表示を見るかによって、車両の内部又は車両の外部から窓に光を照射することができる動作位置に搭載されてもよい。このような搭載位置の一例は、フロア、車両の天井、車両のドア構造の内部又は外装ドアパネルを含んでもよい。

限定されない他の例では、対話型表示サブシステム３２は、コーティング４０及びプロジェクタ４２を含んでもよい。コーティング４０は、一例では、高分子分散型液晶（Polymer Dispersed Liquid Crystal、ＰＤＬＣ）フィルムを含んでもよく、窓２２に張り付けて非動作時の透明性及び動作時の部分的又は完全は不透明性の双方を提供してもよい。これにより、コーティング４０が処理された窓２２は、車両２０の外部及び／又は内部から視認可能な映写ページとしてコンテンツを表示する動作が可能になる（図１）。プロジェクタ４２は、フロアに搭載されてもよく（図３）、車両の天井又は車両のドア構造の内部のように車両２０の内部の他の位置に搭載されてもよく、外装ドアパネルのように車両の外部の位置に搭載されてもよい。プロジェクタ４２から窓２２に向かって延伸するように図示される斜線部分は、プロジェクタ４２が提供するコンテンツページの形式の出力の映写を示す。認識されたユーザのアプローチに応じて、コーティング４０は、透明から不透明に変化して、プロジェクタ４２は窓２２に出力を投影する。

更に詳細に説明されるように、表示されるコンテンツは、情報が車両２０の内部から提供されてもよく、又は情報が車両２０の外部から提供されてもよく、ビデオ、ゲーム、地図、ナビゲーション、車両診断、カレンダ情報、気象情報、車両天候制御、車両エンターテインメント制御、電子メール、インタネットブラウザ又は認識されたユーザに関連する他の対話型アプリケーションのような個人用情報又はエンターテインメント情報を含んでもよい。

制御サブシステム３４は、プロセッサ５２と、メモリ５４と、インタフェース５６とを有する制御モジュール５０を含む。プロセッサ５２は、所望の動作特性を有する何れかの形式のマイクロプロセッサであってもよい。メモリ５４は、データ、及びユーザサポートシステムアルゴリズム５８のような本明細書で説明される制御アルゴリズムを記憶する何れかの形式のコンピュータ読み取り可能な媒体を含んでもよい。アルゴリズム５８の機能は、機能ブロック図（図６）及び表示ページ（図９〜１４）の観点で開示される。当業者は、これらの機能は、エレクトロニクス制御の実施形態に基づくマイクロセッサでの実行が可能な専用のハードウェア回路又はプログラムされたソフトウェアルーティンの何れかで制定されてもよいことを本開示の利益と共に理解すべきである。

図２を更に参照すると、制御モジュール５０は、中央車両制御、独立型ユニット、又はクラウドベースのシステムのような他のシステムの一部であってもよい。プロセッサ５２の他の操作可能なソフトウェアもまたメモリ５４に記憶されてもよい。インタフェースは、対話型表示サブシステム３２、ユーザ入力サブシステム３６、ユーザ識別サブシステム３８及びユーザ位置サブシステム３９のような他のサブシステムとの通信を容易にする。インタフェース５６は、他のオンボードの車両システム及びオフボードの車両システムと通信してもよいことを理解すべきである。オンボードのシステムは、車両のタイヤの空気圧、燃料の残量、及び他の車両診断情報などを提供する車両センサと通信する車両ヘッドユニット３００を含んでもよいが、これに限定されない。オフボード車両システムは、気象情報、交通情報及びクラウド７０を介して提供されてもよい他の情報を含むがこれに限定されない情報を提供してもよい。

ユーザ入力サブシステム３６は、オンボード入力センサ６０、オフボード入力デバイス又はその双方を含む１つ又は２つ以上の入力センサを含んでもよい。オンボード入力センサ６０は、ジェスチャ命令を検出するように構成された１つ又は２つ以上のモーションカメラ、又は他の光センサと、タッチコマンドを検出するように構成された１つ又は２つ以上のタッチセンサと、音声命令を検出するように構成された１つ又は２つ以上のマイクロフォンと、ユーザ入力を検出するように構成された他のオンボードデバイスとを含んでもよい。また、ユーザ入力サブシステムは、キーフォブ（key fob）６２及び／又はタブレット、スマート本又は他の携帯デバイス等のユーザの携帯電子機器６３のようなオフボード入力デバイスを含んでもよい。

いくつかの例では、オンボード入力センサ６０又はオフボード入力デバイスの少なくとも１つは、対話型表示システム３２と一体化されてもよく、対話型表示システム３２と連動して動作してもよい。限定されない一例では、対話型表示システム３２は、窓２２に一体化されたＬＣＤを含み、窓２２に一体化された１つ又は２つ以上のタッチセンサに連動して動作することによって窓２２をタッチスクリーンとして機能させてもよい。限定されない他の例では、対話型表示システム３２は、プロジェクタ４２、及び窓２２上のコーティング４０を含み、ユーザのジェスチャ命令を検出するように構成された１つ又は２つ以上のモーション検出器に連動して動作して窓２２をジェスチャベースの対話型表示として機能させてもよい。対話型表示システム３２とユーザ入力サブシステムを含みユーザの意思の疎通を車両の窓２２に表示することができるサブシステムの組み合わせは、本明細書では、対話型窓表示（interactive window display）とも称される。

ユーザ識別サブシステム３８は、閉回路テレビ（closed-circuit television、ＣＣＴＶ）カメラ、電荷結合素子（charged-coupled devices、ＣＣＤ）、相補性金属酸化膜半導体（complementary metal oxide semiconductor、ＣＭＯＳ）カメラ／撮像装置、車両２０に搭載されて図４に示すように車両の外部、車両の内部又はその双方の所望の視界を提供する赤外線センサ、熱センサ又は他のセンサのような１つ又は２つ以上の識別センサ６４を含む。１つの例示的な識別サブシステム３８は、特定の運転手及び／又は同乗者に関連するキーフォブのような無線デバイスと別個に又は一緒に、骨格結合関係６６及び／又は他のユーザフォームデータ（図５）等の識別センサ６４が捕捉した画像データに基づいて運転者及び／又は同乗者を認識してもよい。この識別に少なくとも部分的に基づいて、システム３０は、特定の運転手及び／又は同乗者に関連する対話型表示サブシステム３２の対話型インタフェースへのアクセスを提供する。

システム３０は、個々のユーザに関連する識別情報を含む既知のユーザユーザプロファイルを記憶してもよい。例えば、ユーザプロファイルは、ユーザを認識し又は認証するために識別サブシステム３８が使用可能な骨格結合関係（skeleton joint relationship）データ又は顔面認識データを含んでもよい。ユーザプロファイルは、個人カレンダ及びイベント情報、ドライブ／目的地履歴、ウェブブラウザ履歴、エンターテインメントの好み、気候の好み等のような個人興味情報を付加的に含んでもよい。いくつかの変形では、ユーザプロファイルに含まれるいくつかの情報又は全ての情報は、携帯電子機器６３、遠隔サーバ又は他のクラウド７０に基づいたシステムに記憶され又は共有されてもよい。このようにユーザプロファイルをオフボードに記憶し又は供給することによって、ユーザが所有する何れかの付加的な車両、レンタル車等のような他の車両でのユーザプロファイルデータの利用を容易にしてもよい。このようなユーザプロファイルデータは、生体認証、又は他の効果的な手段によってクラウド７０ベースのシステムで実行されるパスワード保護されたアプリケーションによってアクセス可能にすることで保護されてもよい。

いくつかの例では、ユーザプロファイルは、ユーザアクセス情報、すなわち所与の車両機能を制御することをユーザが許可されているか否かに関連するデータを付加的に含んでもよい。例えば、ユーザに関連するユーザプロファイルは、最大限のユーザアクセス又はそのユーザの機能制御権を示してもよい。これは、パーソナルコンピュータの管理者の制御権に類似するものであってもよい。ユーザプロファイルは、代替的には制限されたユーザアクセスを示してもよい。例えば、子供に関連するユーザプロファイルは、特定のオーディオ又はビデオ制御、ナビゲーションシステム、ユーザプロファイルの変更等のアクセスからユーザをブロックするように設定されてもよい。

様々なユーザプロファイルのシステム３０への登録は、インタネット又は直接的な車両インタフェース等のいかなる方法で達成されてもよい。ユーザプロファイルは、システムに既知、又はシステムに登録された個々のユーザの識別に基づいてもよく、「未知のユーザ」又は「駐車係」のようなユーザカテゴリに基づいてもよい。種々の変形では、「未知のユーザ」又は「駐車係」のようなデフォルトのユーザカテゴリは、限定されたデフォルトのアクセスに関連してもよく、システム３０へのアクセスを完全に禁止された非アクセスに関連してもよい。

車両の内部又は外部の１つ又は２つ以上のユーザの位置を決定する動作が可能なユーザ位置システム３９は、圧力センサ、温度センサ、又は車両の内部又は外部に配置されたカメラのような１つ又は２つ以上の位置センサ６６を含む。いくつかの場合では、デバイスは、識別センサ６４及び位置センサ６６の双方として機能してもよい。例えば、車両の内部に搭載されたカメラは、上述の手段でユーザの特定の識別情報を提供し且つ運転席又は最前列の同乗者席のような車両内部のユーザの位置の情報を提供してもよい。いくつかの場合では、対話型表示サブシステム３２の素子は、ユーザ位置サブシステム３９の内部の位置センサ６６としても機能してもよい。例えば、スマートスクリーン内部の圧力センサ又は対話型表示の一部として動作するモーション検出器は、ユーザ位置情報を取得するために使用されてもよい。

いくつかの例では、ユーザアクセスは、ユーザ位置サブシステム３９が決定したユーザ位置に基づいてもよい。例えば、第２列又は第３列の同乗者は、ナビゲーションシステムのような様々な車両機能へのアクセスを許可され、又は許可されなくてもよい。選択的には、ユーザプロファイルに関連するアクセス情報によって無制限のアクセスに関連するユーザプロファイルを有するユーザは、このような設定を規定してもよい。いくつかの例では、ユーザアクセスは、ユーザ識別サブシステム３８が適合したユーザプロファイルと、ユーザ位置サブシステム３９が検出したユーザ位置との組み合わせに基づいてもよい。例えば、適合されたユーザプロファイルによって無制限のアクセスを有すると特定されたユーザは、それにもかかわらず、移動する車両の運転席を占有したときに特定の車両機能からブロックされてもよい。

図６を参照すると、限定されずに開示される１つの実施形態に従うシステム３０の動作は、スリーパモード１００と、ウォッチャモード１０２と、ユーザモード１０４とを含んでもよい。他のモードが付加的に又は代替的に提供されてもよいことが理解されるであろう。

システム３０が起動し且つユーザが検出されていない場合、システム３０は、ユーザ識別サブシステム３８に起動されるまでスリーパモード１００であるであろう。システム３０が検出した後且つ識別する前では、ウォッチャモード１０２を利用して認証された人物と同様に認証されない人物と対話してもよい。例えば、人物が車両２０に近づいたとき、システム３０は、人物が近接する方向を認識し、次いで、対話型表示サブシステム３２を起動して、アバタ、目又は他の絵を表示する。絵は、絵的な目が近接する方向を「見る」等、人物が近接する方向に特に向けられてもよい。代替的には、音声機能によって、システム３０は命令に応答し且つ対話型表示サブシステム３２がない側面である車両２０のブラインドサイドから対話を開始してもよい。ウォッチャモード１０２は、ユーザ識別サブシステム３８を利用して、認証された人と認証されない人とを区別する。

ユーザモード１０４は、システム３０の既知のオペレータユーザユーザ及び／又は同乗者ユーザプロファイルを有するユーザが車両２０に近接したことを決定し、特定の車両対話は、車両２０へのエントリの待機をする必要がなくなる。ユーザモード１０４は、運転手の認識、視覚及び車両２０の内部の手動作業負荷の流れから運転関連の決定を低減することによって注意散漫を低減する。これを促進することにより、ユーザは、天気、交通、カレンダイベント及び車両の状態を含む情報の概観が提示される。より詳細に説明されるように、システム３０の予測機能は、類似の動作を識別し、効率的なルート計画のような完了までのオプション経路を提案する。

対話型表示サブシステム３２がコンテンツを提供する最大範囲は、ユーザが効率的に対話可能なコンテンツの最大距離に関連してもよい。限定されずに開示される１つの実施形態では、コンテンツの機能のそれぞれの最大範囲は、対話型表示サブシステム３２が表示するコンテンツが読み易い範囲に対して優先順位が決められる。この範囲基準は、歩み寄るときにコンテンツが表れる順序の決定が容易になる。最大範囲がより大きい優先順位が決められたコンテンツへのアクセスは、車両２０の遠方から歩み寄るときに開始して、システム３０への対話を全体の時間に亘って提供する。

限定されずに開示される１つの実施形態では、システム３０は、安全性及び認証のために多元的な認証を利用する。例示的な多元的な認証は、キーフォブ６２、骨格結合関係認識（図５）及び／又はジェスチャパスワード（図８）を含んでもよい。ユーザは、これらの要因の１つによって一時的に識別されてもよいが、合計で少なくとも２つの要因を要求して、特定のコンテンツの表示の前にユーザを認証してもよい。すなわち、ユーザは、多元的な認証を通過し且つユーザが車両２０から所定の範囲に入るまでユーザモード１０４の全ての機能へのアクセスが認められない。この認証処理は、車両及びシステム３０に一体化された個人情報の安全性を保障する。限定されずに開示される１つの実施形態では、第１の認証要因は、キーフォブ６２であり、第２の認証要因は、ユーザの骨格結合関係である。ユーザがキーフォブ６２を有さない場合、骨格結合関係が第１の認証要因になり、ウェーブ又は特定の腕の動きのようなジェスチャパスワード（図８）が第２の認証要因になる。

限定されずに開示される１つの実施形態では、キーフォブ６２は、暗号化されてシステム３０のユーザのそれぞれを一意に識別する。暗号化されたキーが認証されないデバイスにより傍受及び再使用できないことを保証するためのローリングタイムキー（rolling time key）のような付加的なセキュリティプロトコルは、付加的に使用されてもよい。

キーフォブ６２が認証されると、ユーザは受け入れられて、プリ認証によって、ユーザモード１０４の選択されたコンテンツへの限定されたアクセスが許可されることになる。これにより、十分な時間を有するユーザは、歩み寄るときに、目的地等の他のコンテンツ機能に対する安全性を維持しながら、起動時に複数のコンテンツ機能が循環して提供される。ユーザが完全に認証されると、認証前の状態の間に形成された目的地等の全てのコンテンツ機能は、表示が有効化される。認証が失敗した場合、ユーザは、車両２０又は慎重に扱うべき情報へのアクセスが許可されないことになる。限定されずに開示される１つの実施形態では、システム３０は、車両から９ｍ〜１２ｍでプリ認証のアクセスが可能になり、車両から４．５ｍ〜７．５ｍで完全なアクセスが可能になる。

図７を参照すると、更なる認証を提供するために、システム３０は、ユーザの骨格結合関係によるユーザ認識動作が可能である。限定されずに開示される１つの実施形態では、骨格結合関係は、プリ認証を促すものの、車両２０の完全なアクセスを許可する完全な認証を促すものではない。しかしながら、ユーザがキーフォブ６２によってプリ認証した場合は、骨格結合関係の一致によってユーザを完全に認証することになる。すなわち、ユーザ識別サブシステム３８は、第２の識別として骨格結合関係を利用してもよい。

図９を参照すると、認証されると、「ランディング」ページ又は「ホーム」ページは、警報及び重要な情報のサマリをユーザに提供する。ランディングページ２００は、ユーザに車両の状態の迅速な検査可能な概観を提供すると共に、ユーザのスケジュール及び動作にどのような影響を与えるかを提供する。この例では、コンテンツは、時間情報と、車両診断情報と、個人カレンダ情報とを含む。ここでは、車両ナビゲーションシステムによるユーザの交通ベースのルート更新と「２０分以内に子供のお迎え」というカレンダイベントのリマインダに加えて、燃料低警報が提供される。他の例では、システム３０は、目的地が利用可能な燃料の範囲よりも遠い場合に、ルートガイダンスの間に停車する給油所を含むことになる。特に、好適な給油所又は他の停車は、ユーザプロファイルに事前に規定されてもよい。

ランディングページ２００は、認証されたユーザが見ることができる付加的なコンテンツページを示す複数のアイコンを更に表示する。ランディングページ２００自体は、コンテンツページのそれぞれの車両メーカの商標のアイコンのようなアイコンとしてコンテンツページのそれぞれにアクセスされてもよい。ランディングページ２００は、認証されたユーザがどの車両システム又は個人のユーザプロファイルの項目に更に注意するかを理解して、付加的なコンテンツページに導く案内可能なアイコンの形式でこれらの項目に関して付加的なコンテンツ機能の詳細へのアクセスを提供する。ランディングページ２００は、付加的又は代替的には、スマートページ又はビデオゲーム等の対話型表示と一体化してもよい。他の対話型車両表示ページの構成もまた可能である。

コンテンツの選択は、キーフォブ６２、ユーザのジェスチャ、音声コマンド及びタッチ入力等により達成される。１つの例では、ユーザは、キーフォブ６２を利用して、対話型表示サブシステム３２が表示する様々なページを循環する。１つの例では、キーフォブ６２は、４つのボタン型方向パッドと、２つの補助ボタンを含んでもよい。代替的には、手のジェスチャを使用して、ページの間を「スワイプ」してもよい。限定されずに開示される実施形態では、特定のページが説明されるが、様々な代替的又は付加的なページが提供されてもよい。

図１０を参照すると、ルートページ２０２は、明示的又は推測された次の目的地に対するユーザのための予測された最良のルートをデフォルトにする。ユーザの携帯電子機器等から敢然と明示的又は推測されてもよい代わりの目的地又はルートは、オプションによってスクロールすることによってユーザの選択を可能にするように提示される。提案されたルートは、折り畳み地図のアイコンを使用してアクセスするようにここでは示されるが、他のアイコンを利用してもよい。

図１１を参照すると、カレンダページ２０４は、ユーザのカレンダを表示する。この例では、短い期間が表示され、２〜３の直近の約束のみが示される。イベントが位置情報を含む場合、ユーザは、目的地の選択のためにイベントを使用するオプションが与えられてもよい。ここでは、カレンダページ２０４は、ユーザのために強調された次の約束に対するコンテンツを提供すると共に、「子供のお迎え」とのリマインダを提供することが示される。カレンダスクリーンは、めくりカレンダアイコンを使用してアクセスするようにここでは示されるが、他のアイコンを利用してもよい。

図１２を参照すると、天気ページ２０６は、ルートについての情報を利用して、関連する天気情報を提供するが、これは、ユーザが家から離れて移動するときに特に有効である。例えば、システム３０は、地域の天気情報、目的地の天気情報又はその双方の何れをユーザに提示することが有用かを、ユーザが選択した設定又は天気情報が利用可能な形式によって決定する。ここでは、天気予報は、継時的に示される。天気ページ２０６は、太陽のアイコンを使用してアクセスするようにここでは示されるが、他のアイコンを利用してもよい。加えて、天気条件を利用して、雨が予想される場合、車両に傘を置くことを提案する等のリマインドを生成して、ランディングスクリーン２００へ表示してもよい。

図１３を参照すると、車両状態ページ２０８は、車両維持のために注意を要する差し迫った要求の知見をユーザに提供する。通知は、通知の詳細な情報源、安全性及び現在の関心事を解決するためのオプションを含んでもよい。例えば、「燃料低」が通知された場合、システム３０は、車両の範囲内の近くの給油所へのルートを提案してもよい。車両状態ページ２０８は、車両のアイコンを使用してアクセスするようにここでは示されるが、他のアイコンを利用してもよい。

図１４を参照すると、to-doリストページ２１０は、ユーザの携帯電子機器６３、遠隔装置又はウェブサービス等で利用可能な関連するto-doリストからの情報を、認証されたユーザに提示する。ここでは、認識されたユーザは、「小包の発送」、「税金の納付」及び「車の登録の更新」が他の項目と共に課されることが示される。to-doリストページ２１０は、位置情報が携帯電子機器のto-doリストの所与のリスト項目に含まれる場合、代替的にはルート選択ページに一体化されてもよい。一体化の一例は、ドライクリーニングの受け取りがto-doリストにあり且つ現在のルートがドライクリーニング店の位置に近い場合、ドライクリーニング店への詳細なルートを提供することを含む。to-doリストページは、チェックマークのアイコンを使用してアクセスするようにここでは示されるが、他のアイコンを利用してもよい。

上述のようにユーザプロファイルに含まれてもよいこの種の情報は、いくつかの変形では、携帯電子機器６３、遠隔サーバ又は他のクラウド７０ベースのシステムに記憶され又は供給されて、２つ以上の車両での利用を容易にしてもよい。このような情報は、生体認証、又は他の効果的な手段によってクラウド７０ベースのシステムで実行されるパスワード保護されたアプリケーションによってアクセス可能にすることで保護されてもよい。いくつかの変形では、第１のユーザは、パスワードを共有する等して第２のユーザのプロファイルに部分的又は完全なアクセスを許可されてもよい。このようなアクセスの共有によって、第１のユーザは遠隔位置から、家族等の第２のユーザのユーザプロファイルにリマインダ又は課題を書き込むことが可能になり、第１のユーザが書き込んだリマインダ又は課題は、車両又は第２のユーザのユーザプロファイルにアクセス可能なシステム３０を装備するいずれかの車両に第２のユーザが近づき又は乗車したときに窓に表示されることになる。

図１５を参照すると、様々な車両機能へのユーザのアクセスは、車両ヘッドユニット３００の機能を利用するために検出すること又は遠隔アクセスすることを含んでもよい。車両ヘッドユニット３００とシステム３０との間の対話、具体的には車両ヘッドユニット３００と、様々の対話型窓表示との間の対話によって、同乗者は、いくつかの場合では車両が動かないときのみに、運転手が一般に実行する車両システムに関する選択を実行してもよい。同乗者のみに特定の車両システムとの対話を可能にして、運転手の注意散漫を最小化することで、車両の移動中の安全性を向上させる。同乗者の対話は、システム３０のより多くの機能を利用可能としてもよい。例えば、最前列の同乗者は、運転手よりも多くのメニューが提示され、第２列及び第３列の同乗者は、最前列の同乗者よりも多くのメニューが提示されてもよい。この実施形態において、同乗者は、運転手の作業負荷の一部を引き受けることができる。

車両の同乗者は、データ交換のためのＢｌｕｅｔｏｏｔｈ（登録商標）、ＲＦＩＤ又は他の無線技術規格によって通信するスマートフォン又はタブレットのような携帯電子機器、又は対話型窓表示によって、システム３０及び車両ヘッドユニット３００と対話してもよい。さらに、システム３０は、車両の同乗者が情報を共有するために、パーソナル・エリア・ネットワーク（personal area network、ＰＡＮ）の情報を許可する。例えば、同乗者の携帯電子機器は、機能を締め出すことなく車両ヘッドユニット３００の車両ナビゲーションシステムと通信する動作が可能な地図アプリケーションを含み、同乗者は、目的地を検索して車両ヘッドユニット３００を介して車両ナビゲーションシステムに選択的に送信してもよい。

システム３０と車両ヘッドユニット３００との対話によって、運転手及び／又は同乗者は、車両の他の同乗者及び／又は運転手のためにコンテンツを選択することができる。例えば、同乗者の一人は、目的地を選択して、車両が移動中に運転手のためにナビゲーションシステムに表示してもよい。他の例において、運転手は、子供の同乗者への表示のためにエンターテインメントコンテンツを選択してもよい。また他の例では、同乗者は、車両ヘッドユニット３００が制御する娯楽情報番組又は温度調節機構を制御してもよい。

図１６を参照すると、運転手の注意散漫を最小化することによって安全性を更に向上させるユーザ位置サブシステム３９の動作の限定されない一例では、システム３０は、ユーザ位置サブシステム３９を利用することによって、骨格の姿勢（図１６）、顔面マップデータ（図１７）、圧力センサ、対話型窓表示入力センサ又は他のものによって、車両の乗員室４００（図１８）内部の車両占有者の位置及び姿勢を追跡する動作が可能である。例えば、３列の車両では、最前列、中間列、最後列の３つの異なった領域が追跡される。１列当たり少なくとも２つのセンサ４０２が車両２０の内部のそれぞれの占有者の状態を追跡するために要求される。いくつかの例では、車両２０の個々のシートのそれぞれが追跡されてもよい。センサ４０２からのデータは、代替的又は付加的には組み合わされて、システム３０が使用する１つの特定のマップ（２Ｄ又は３Ｄ）を創出してもよい。センサ４０２は、ユーザ識別サブシステム３８、ユーザ位置サブシステム３９又はその双方と通信してもよく、ユーザ識別サブシステム３８、ユーザ位置サブシステム３９又はその双方の一部であってもよい。

車両の占有者が座ってベルトをすると、複数の点の骨格結合関係及び顔面マップデータは、時間内の特定のスナップショットにおけるそれぞれの占有者の状態を所望の精度レベルで追跡するＸＹＺ軸マップで捕捉されたそれぞれの占有者の比較的正確な姿勢を提供する。それぞれの占有者の状態は、様々な車両機能に適合した動作を更に容易にする。例えば、ユーザ位置サブシステム３９は、運転手の手と、車両の最前列の同乗者の手との間を検出し区別して、ナビゲーションルート選択（図１６）のような様々なヘッドユニット機能を選択的に解除する。例えば、どちらのユーザ（運転手又は同乗者）がシステム３０へのアクセスを試みるか、又は車両が移動中であるかによって、車両ヘッドユニット３００のコンテンツメニューの項目は、選択的に表示される。例えば、ルート選択のような特定のコンテンツは、同乗者のみがアクセスするために色分けされ、ズーム又はスクロール等の他のコンテンツは、ユーザにかかわらず常に利用可能であってもよい。

図１９を参照すると、限定されない他の実施形態では、車両２０を遠隔監視するアルゴリズム５８Ａは、オフボードの携帯電子機器６３（図２）のようなユーザ入力サブシステム３６を介して遠隔ユーザとの間で通信する方法４１０を提供する。様々なセルラ通信システム、衛星通信システム及び無線通信システムを通信のために利用してもよいことが理解されるべきである。

まず、遠隔監視方法４１０は、特定の運転条件を識別する（ステップ４１２）。特定の駆動条件は、制御モジュール５０及び／又は車両ヘッドユニット３００が特定した、高速運転、蛇行運転又は他の操作として識別される特定された問題がある運転条件であってもよい。特定の基準が、特定された問題がある運転条件の識別のためにユーザ入力サブシステム３６を介して設定されてもよい。

問題がある運転条件の識別に応じて、制御モジュール５０は、ユーザ入力サブシステム３６に警報を通信する（ステップ４１４）。警報は、テキストメッセージ、電子メール、アプリケーションの起動、又は「車両は時速１３６ｋｍです」又は「車両の音声システムは高音量を設定しました」等を読み上げる等の通知のような様々な形式であってもよい。他の例では、ラインを跨いで蛇行する高齢の運転手は、「車両蛇行」のような警報を、携帯電子機器６３を介して運転手の介護人に生成してもよい。様々なメッセージが提供されてもよいことを理解すべきである。

手動又は警報に応じて、認証されたユーザは、車両の乗員室４００（図１８）と遠隔通信してもよい（ステップ４１６）。例えば、センサ４０２は、オフボードの携帯電子機器６３を介してアクセスされて、車両２０の内部の動作を視認されてもよい（ステップ４１８Ａ）。また、センサ４０２を利用して、運転手の健康を確認してもよい（ステップ４１８Ｂ）。代替的又は付加的には、オフボードの携帯電子機器６３を使用して、車両ヘッドユニット３００が制御する機能のような１つ又は２つ以上の車両機能を遠隔閉塞してもよい（ステップ４１８Ｃ）。例えば、車両音声システムは、閉塞されてもよく、車両の最大速度は、制限されてもよい。遠隔認証された車両のオフボードのユーザは、オプションとして車両の動作をオンボードで視認して、車両システムを監視及び／又はロックして安全な運転を促してもよい。

図２０を参照すると、対話型遠隔通信ページ５００は、制御サブシステム３４に組み込まれ、又は制御サブシステム３４と接続された対話型遠隔通信サブシステム５０４を介して、他の音声、ビデオ及び／又はマルチメディア通信のための双方向通信インタフェース５０２を提供する。これによって、対話型遠隔通信サブシステム５０４は、ユーザ入力サブシステム３６（図２）とのリアルタイムの対話を提供して、車両２０は自動自己運転システム５０６（概略的に示される）によって動作されるべきかをユーザと現場の人間との間で通信する。自動自己運転システム５０６は、制御サブシステム３４に取り込まれ、無人自動化動作の提供を促してもよい。

自動化された車両は、ステアリング、スロットル又はブレーキ等のセーフティクリティカル制御機能の少なくともいくつかの態様が運転手の直接の入力なしに生じるものである。自動化された車両は、オンボードのセンサ、カメラ、ＧＰＳ及び遠隔通信を使用して、セーフティクリティカル状況に関する判断を実行し且ついくつかの自動化レベルにおいて制御を達成して適切に動作するための情報を取得してもよい。車両自動化の範囲は、制御システムの非自動化から全てのセーフティクリティカル運転機能を実行し且つ全体の行程に亘って車道を監視する完全自動化まで幹線道路交通安全局（National Highway Traffic Safety Administration）によって区分されている。このような完全自動化は、有人車両及び無人車両の双方を含み、ユーザが目的地入力又はナビゲーション入力を提供することのみが要求され、行程の間に常に制御を提供することは必要とされない。

一例では、無人自動化車両は、ユーザと遠隔通信が必要となる事故に巻き込まれた場合、対話型遠隔通信ページ５００は、ユーザと緊急応答者のような現場の人間との間の双方向通信インタフェースを提供する。他の例では、無人自動化車両は、子供のお迎え又は他の用事の実行のために使用されるとき、対話型遠隔通信ページ５００は、現場の人間との通信を提供する。本明細書で規定されるとき、現場の人間は、車両２０の近くにいる人間である。

図２１を参照すると、限定されない１つの実施形態において、ユーザが現場の人間と対話するアルゴリズム５８Ａは、車両２０は、自動自己運転車両モードで動作可能であるときに、遠隔のユーザと現場の人間との間の通信方法６００を提供する。まず、ユーザ位置サブシステム３９は、事故が発生したこと、又は現場の人間がユーザとの通信を望んでいることを示す車両２０の周囲の１人又は２人以上のユーザの位置を識別する（ステップ６０２）。

次いで、対話型遠隔通信サブシステム５０４は、警報を携帯電子端末６３に送信し（ステップ６０４）、双方向通信を確立する（Ｓ６０６）。そして、ユーザは、対話型遠隔通信ページ５００を介して現場の人間と通信してもよい（ステップ６０８）。加えて、ユーザは、ユーザ位置サブシステム３９のセンサ６６に遠隔アクセスして、車両２０の内部及び／又は周囲の状況を更に視認してもよい（ステップ６１０）。

用語「a」、「an」及び「the」の使用及び説明の文脈での同一符号（具体的には以下の特許請求の範囲での文脈で）は、本命詐称で示されるか又は文脈で具体的に否定されない限り、単数及び複数の双方を射程に入れるものと解釈されるべきである。量に関して使用される修飾語「about」は、状態値（stated value）を含み且つ文脈が示す意味を有する（修飾語「about」は、特定の量の測定に関連する誤差の程度を含む）。本明細書で開示される全ての範囲は、終点を含む。

限定されない種々の実施形態は、説明された特定の構成素子を含むが、本発明の実施形態は、これらの特定の組み合わせに限定されない。機能を有する組み合わせの限定されない実施形態のいずれかから構成素子又は機能のいくつかを使用してもよく、限定されない他の実施形態のいずれかから構成素子を使用してもよい。

同一の符号によって、対応する素子又は同一の素子がいくつかの図面を通して識別されることを理解すべきである。また、配置される特定の構成素子が、説明される実施形態で開示されるが、他の配置もこの配置から利益が得られるであろう。

具体的なステップシーケンスが示され、説明され且つ請求されるが、別段の合意が示されない限り、ステップは、何れの順序で実行されてもよく、別個に実行されてもよく、組み合わせて実行されてもよく、この開示から利益が得られるであろうことを理解すべきである。

具体的な実施形態が本明細書で図示及び説明されたが、本願発明の主題の精神及び範囲を逸脱することなく、種々の他の変更及び修正が可能であることを理解すべきである。また、本願発明の種々の態様が本明細書で説明されたが、このような態様は、組み合わせに利用しなくてもよい。したがって、本願発明の主題の範囲であるような変更及び修正の全ては、特許請求の範囲に記載される発明が対象とするものである。

Claims (19)

1. 車両の窓に表示するための出力であって、ユーザ入力サブシステムと遠隔通信するための双方向通信インタフェースに関連する出力を生成する動作が可能な対話型表示サブシステム、
   を含むことを特徴とする車両のためのシステム。
2. 前記対話型表示サブシステムは、運転手側の同乗者の窓である前記車両の窓に向けて前記出力を映写する動作が可能なプロジェクタを含む、請求項１に記載のシステム。
3. 前記出力は、対話型遠隔通信ページを含む、請求項１に記載のシステム。
4. 前記出力は、１つ又は２つ以上のページの視覚表示を含み、前記１つ又は２つ以上のページのそれぞれは、ユーザ識別サブシステムがユーザを検出した後に、ユーザ入力サブシステムによって選択可能である、請求項１に記載のシステム。
5. 前記１つ又は２つ以上のページのそれぞれは、前記ユーザ入力サブシステムと通信するキーフォブによって選択可能である、請求項４に記載のシステム。
6. 前記１つ又は２つ以上のページのそれぞれは、前記ユーザ入力サブシステムによって識別されるジェスチャによって選択可能である、請求項４に記載のシステム。
7. 前記対話型表示サブシステムと通信する対話型遠隔通信サブシステムを更に含む、請求項１に記載のシステム。
8. 前記出力は、ビデオ会議を含む、請求項７に記載のシステム。
9. 前記対話型表示サブシステムと通信し、前記車両に対して問題がある運転行為を識別する動作が可能である制御サブシステムを更に含む、請求項１に記載のシステム。
10. 前記制御サブシステムと通信するオフボードの携帯電子機器を更に含む、請求項９に記載のシステム。
11. 制御サブシステムと、
    前記制御サブシステムと通信する自動自己運転システムと、
    前記制御サブシステムと通信する対話型遠隔通信サブシステムと、
    前記対話型遠隔通信サブシステムと通信し、車両の窓に表示するための出力であって、ユーザ入力サブシステムと遠隔通信するための双方向通信インタフェースに関連する出力を生成する動作が可能な対話型表示サブシステムと、
    を含むことを特徴とする車両のためのシステム。
12. 前記出力は、対話型遠隔通信ページを含む、請求項１１に記載のシステム。
13. 前記出力は、ビデオを含む、請求項１２に記載のシステム。
14. 前記出力は、音声を含む、請求項１２に記載のシステム。
15. 前記出力は、ビデオ会議を含む、請求項１２に記載のシステム。
16. 前記対話型表示サブシステムと通信するユーザ位置サブシステムを更に含む、請求項１１に記載のシステム。
17. 車両に対して問題がある運転行為を識別し、
    前記問題がある運転行為をオフボードの携帯電子機器に警報する、
    を含むことを特徴とする車両を遠隔監視するための方法。
18. 前記問題がある運転行為は、車両速度、前記車両の音声システムの音量レベルの少なくとも１つを含む、請求項１７に記載の方法。
19. 前記オフボードのシステムから車両の機能を閉塞することを更に含む、請求項１７に記載の方法。

Images