JP2023502256A - 改良した車両操作のための状況感知ユーザインターフェース - Google Patents

Abstract

改良した車両操作のための状況感知ユーザインターフェースに関するシステム及び方法。例示的な方法は、１つ又は複数のプロセッサのシステムによって実施される方法であり、システムは、車両に含まれる。本方法は、車両のディスプレイを介して、自律視覚化及び地図情報を集約する組合せビューを含む統合ユーザインターフェースの提示をさせることを含み、自律視覚化及び地図情報は、倍率レベルに関連し、統合ユーザインターフェースは、車両の操作を示す第１の状況情報に基づいて生成される。車両のその後の操作を示す第２の状況情報がアクセスされる。統合ユーザインターフェースは、第２の状況情報に基づいて更新され、組合せビューが調整され、組合せビューを調整することは、統合ユーザインターフェースにおける組合せビューのサイズを調整すること、又は倍率レベルを調整すること、を含む。【選択図】図１Ａ

Description

（関連出願の相互参照）
本出願は、２０１９年１１月２１日に出願された「ＣＯＮＴＥＸＴ ＳＥＮＳＩＴＩＶＥ ＵＳＥＲ ＩＮＴＥＲＦＡＣＥ ＦＯＲ ＥＮＨＡＮＣＥＤ ＶＥＨＩＣＬＥ ＯＰＥＲＡＴＩＯＮ（改良した車両操作のための状況感知ユーザインターフェース）」と題する米国仮特許出願第６２／９３８８４２号、及び２０１９年１１月２１日に出願された「ＥＮＨＡＮＣＥＤ ＶＥＨＩＣＬＥ ＦＵＮＣＴＩＯＮＡＬＩＴＹ ＶＩＡ ＰＡＳＳＥＮＧＥＲ ＲＥＣＯＧＮＩＴＩＯＮ（同乗者認識を介した改良した車両機能）」と題する米国仮特許出願第６２／９３８７６９号の優先権を主張し、これらの開示は、その全体が参照により本明細書に組み込まれる。

本開示は、ユーザインターフェースに関し、より詳細には、車両操作のためのユーザインターフェースに関する。

デジタル・ユーザ・インターフェースを提示するために使用されるディスプレイは、車両の制御及び／又は操作のために、車両に含まれるようになってきている。例えば、ディスプレイは、車両の車両ダッシュボードに含まれてもよい。この例では、ディスプレイは、車両の現在の速度、車両が移動した総距離、車両の外側の温度などを含むユーザインターフェースを提示し得る。別の例として、ディスプレイは、車両の中央部分に含まれてもよい。このディスプレイは、ナビゲーション情報の提示、空調の制御などに使用され得る。したがって、そのようなデジタル・ユーザ・インターフェースは、機械的ディスプレイ、ボタン、ノブなどの代わりに使用され得る。

しかしながら、デジタル・ユーザ・インターフェースが車両の多くの制御及び／又は操作を包含するように拡張されるにつれて、デジタル・ユーザ・インターフェースは、複雑さが増してきている。特定のデジタル・ユーザ・インターフェースについては、この複雑さが、ユーザインターフェースに関連する使い易さを低下させる。したがって、車両の操作に関連するユーザ体験を低下させる可能性がある。一例として、特定の機能は、様々なレベルのメニューの間で隠される可能性がある。別の例として、ユーザは、デジタル・ユーザ・インターフェースをトラバースするために複雑なユーザ入力シーケンスを記憶する必要があり得る。したがって、直感的なデジタル・ユーザ・インターフェースを提供し得ることは、車両を操作する際のユーザの楽しさを向上させ得る。

前述の態様及び付随する利点の多くは、添付の図面と併せて、以下の詳細な説明を参照することによって、好適に理解されるようになるので、容易に理解されるであろう。

ユーザインターフェースを提示する例示的な状況ユーザ・インターフェース・システムのブロック図である。

受信したユーザ入力に基づいて更新されたユーザインターフェースを提示する例示的な状況ユーザ・インターフェース・システムのブロック図である。

統合ユーザインターフェースを更新する例示的なプロセスのフローチャート図である。

車両の配置に従って、統合ユーザインターフェースを更新する例示的なプロセスのフローチャート図である。

車両機能の選択に基づいて統合ユーザインターフェースを更新する例示的なプロセスのフローチャート図である。

統合ユーザインターフェースのマルチタスク制御を使用する例示的なプロセスのフローチャート図である。

音楽ユーザインターフェースと共に車両の描写を提示するユーザインターフェースの図である。

クイック制御ユーザインターフェースと共に車両の描写を提示するユーザインターフェースの図である。

提示されている気候ユーザインターフェースを有するユーザインターフェースの図である。

運転者側又は同乗者側にアイコンを調整する例示的なプロセスのフローチャート図である。

駐車車両の例示的なユーザインターフェースの図である。

車両が充電されている間の駐車車両を示すユーザインターフェースの一例の図である。

運転ビューの例示的なユーザインターフェースの図である。

搭乗者ビュー用に調整されたアイコンを有する運転ビューの例示的なユーザインターフェースの図である。

今日のユーザインターフェースを有する運転ビューの例示的なユーザインターフェースの図である。

空調ユーザインターフェースを有する運転ビューの例示的なユーザインターフェースの図である。

「オフロード」環境で車両が運転されている間の運転ビューの例示的なユーザインターフェースの図である。

「オフロード」環境で車両を運転し、駆動系情報も提示している間の運転ビューの例示的なユーザインターフェースの図である。

トラックトレーラを牽引している車両の例示的なユーザインターフェースの図である。

トレーラを牽引する場合の車両の運転ビューの例示的なユーザインターフェースの図である。

キャンパーモードにある間の車両の例示的なユーザインターフェースの図である。

車両のナビゲーションのための運転ビューの例示的なユーザインターフェースの図である。

運転ビューの別の例示的なユーザインターフェースの図である。

運転ビューの別の例示的なユーザインターフェースの図である。

ナビゲーション情報を選択するユーザインターフェースの図である。 ナビゲーション情報を選択するユーザインターフェースの図である。 ナビゲーション情報を選択するユーザインターフェースの図である。

搭乗者の嗜好情報を特定の搭乗者に関連付ける例示的なプロセスのフローチャート図である。

搭乗者の追跡に基づいて空調を調整する例示的なプロセスのフローチャート図である。

搭乗者を追跡する空調の例示的なユーザインターフェースの図である。 搭乗者を追跡する空調の例示的なユーザインターフェースの図である。 搭乗者を追跡する空調の例示的なユーザインターフェースの図である。

搭乗者の視線追跡に基づいてミラーを調整する例示的なプロセスのフローチャート図である。

本明細書は、いくつかの実施形態に関して、車両を制御及び／又は操作するために使用可能な改良したユーザインターフェースを記載する。本明細書に記載のユーザインターフェースは、プロセッサ又はシステムによってレンダリングされた、及び車両内に配置されたディスプレイを介して提示された、デジタル・ユーザ・インターフェースの例である。いくつかの実施形態では、ディスプレイは、車両の中央部分に含まれてもよい。例えば、ディスプレイは、特定の対角線サイズ（例えば、１０インチ、１３インチ、１５インチ、１７インチ、２１インチなど）よりも大きくてもよい。いくつかの実施形態では、ディスプレイは、中央に配置され、特定の対角線サイズよりも大きくし得るので、ディスプレイは、車両を制御し、及び／又は操作する集中インターフェースを提供してもよい。したがって、集中インターフェースの理解及び利用を容易であるようにすることは、車両の使い勝手を向上させ得る。後述するように、改良したユーザインターフェースは、自律視覚化（例えば、車両周りのセンサから生成された視覚化）、地図情報、ナビゲーション情報、及び／又は車両機能制御を動的に統合する（例えば、集約する）。

本発明の一実施形態は、車両の操作に関する状況（コンテクスト）情報（Ｃｏｎｔｅｘｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）に基づいて動的に更新し得るユーザインターフェース（本明細書では統合ユーザインターフェースと呼ぶ）を有する車両である。例えば、状況情報は、車両が駐車中であるか、又は運転されていることを示してもよい。別の例として、状況情報は、車両が目的地に向かって走行していること、及び／又は自律的若しくは半自律的に制御されていることを示してもよい。別の例として、状況情報は、車両がトレーラを牽引していること、オフロードを運転していることなどを示してもよい。別の例として、状況情報は、車両機能の制御に関連してもよい。統合ユーザインターフェースは、後述するように、現在の状況情報に応答する対話型要素の容易な理解を含む。

駐車中の車両に関して、統合ユーザインターフェースは、タッチスクリーンインターフェースを使用して選択され得る、車両のグラフィック描写を含む自律視覚化を提示し得る。エンドユーザがトランクを開き、窓を開閉し、トレーラを分離又は接続することなどをし得るように、車両制御がグラフィック描写に含まれてもよい。いくつかの実施形態では、自律視覚化は、車両が位置する現実世界環境のグラフィック表現を含んでもよい。自律的又は半自律的に制御されている車両に関して、統合ユーザインターフェースは、地図情報にオーバーレイされた自律視覚化を提示し得る。例えば、自律視覚化は、車両が運転されている表面の表現を含んでもよい。この例では、車両のグラフィック描写は、車両に近接する他の車両又は物体のグラフィック表現と共に、道路の特定の車線に示されてもよい。一例として、車線、高速道路の出口若しくは入口、歩行者、危険物、標識、又は他の物体の表現が含まれてもよい。地図情報は、車両が運転されている地図の一部のグラフィック表現を含み得る。例えば、地図情報は、現在の道路上の車線の数、現在の道路に近接する他の道路、又は他の地図ベースの情報を通知してもよい。例えば、道路は、道路の識別子と共に表されてもよい。

目的地に向かって走行している車両に関して、統合ユーザインターフェースは、自律視覚化、地図情報、及びナビゲーション情報を含み得る。後述するように、統合ユーザインターフェースは、ナビゲーション情報で識別されたナビゲーションイベント（例えば、次の曲がり角、高速道路の出口、高速道路の入口など）をグラフィカルに描写し得る。例えば、統合ユーザインターフェースは、車両が現在の車線から異なる車線に移動することをグラフィカルに描写してもよい。更に、統合ユーザインターフェースは、状況情報に応じて、提示された情報を拡大又は縮小し得る。例えば、自律視覚化、地図情報、ナビゲーション情報のサイズを調整させる倍率レベルを設定してもよい。

一例として、車両が高速道路の出口を出るとき、提示される情報を縮小してもよい。この例では、大きな現実世界の地理的領域（例えば、多くの道路が示され得る）を表す地図情報の一部が比較的大きくなるにつれて、自律視覚化（例えば、車両のグラフィック描写）は、小さくなる可能性がある。ナビゲーション経路などの今後のナビゲーションイベントも同様に、経路の大きな部分が示されるように縮小され得る。このようにして、エンドユーザは、地上道路の次の曲がり角を提示され得る。ユーザが高速道路の出口を出て地上道路を運転した後で、提示された情報を任意選択で、拡大してもよい。

追加の状況情報は、音楽の再生、空調の調整、ビデオのストリーミング、１つ又は複数のカメラが取得したビデオのオーバーレイなど、車両機能の制御に関連してもよい。理解されるように、そのような車両機能の制御は、ユーザインターフェースの様々な部分を消費する場合がある。例えば、空調設定を調整するために、ユーザインターフェースは空調制御を提示してもよい。後述するように、統合ユーザインターフェースは、自律視覚化、地図情報、及び／又はナビゲーション情報を視界から遮らないように確保し得る。例えば、エンドユーザは、目的地に向かって走行している間に、空調設定を制御するためにユーザインターフェース要素を選択してもよい。この例では、統合ユーザインターフェースは、自律視覚化、地図情報、及び／又はナビゲーション情報の提示を調整し、空調制御、又はナビゲーション表示に対する空調制御のオーバーレイを含み得る。搭乗者への情報の提示を調整するための例示的な技術は、自律視覚化、地図情報、及び／又はナビゲーション情報を、（例えば、エンドユーザから更に）統合ユーザインターフェースの異なる部分に移動させることを含み得る。別の例示的な技術は、地図又はナビゲーション情報の上に特定の制御をオーバーレイすることである。

したがって、状況情報は、車両の操作に関連し得る。例示的な状況情報を本明細書に記載しているが、他の情報を使用してもよく、本開示の範囲内に含まれ得ることを理解されたい。例えば、状況情報は、車両が任意の位置にナビゲーションされていることを示してもよい。この例では、状況情報は、任意の位置に対する車両の位置を反映し得る。一例として、任意の位置は、今後の、又は以前の運転イベント（例えば、曲がり角、車線変更など）を示してもよい。したがって、車両が任意の位置にナビゲーションされているとき、状況情報は、任意の位置に基づいて更新され得る。このようにして、後述するように、ユーザインターフェースは、任意の位置に基づいて更新してもよい（例えば、提示された地図を縮小し得るなど）。

上記の説明は、ディスプレイ上に提示されているユーザインターフェースに焦点を当てているが、いくつかの実施形態では、複数のディスプレイを使用してもよい。例えば、第１のディスプレイは、車両の運転者に近接して、又は運転者の前方に、配置されてもよい。この例では、第２のディスプレイは、車両の中央部分、又は運転者から遠い配置に、配置している。一例として、車両は、２つ以上のディスプレイを有するセミトラックを表している。

最初に、例示的なユーザインターフェースについて記載する。この例示的なユーザインターフェースは、車両の集中制御を提供し得る。しかしながら、この例示的なユーザインターフェースは、ユーザインターフェースの日常的な使用中に、車両の位置を示す地図及び／又はナビゲーション情報など、重要な情報を遮る可能性がある。後述するように、統合ユーザインターフェースは、この例示的なユーザインターフェースを改善し得る。ユーザインターフェース上の制御又は他の情報の選択は、タッチインターフェース、又は他の周知のユーザインターフェースメカニズムを介してもよいことを理解されたい。

・例示的なユーザインターフェース
車両の集中制御のための例示的なユーザインターフェースは、第１の部分と第２の部分とに分離され得る。第１の部分は、例えば、車両のグラフィック描写を含み、それは、ユーザインターフェースが、車両の操作に基づいて実質的にリアルタイムで更新し得る。例えば、車両がブレーキをかけている場合、グラフィック描写は、ブレーキ灯を描写するように更新してもよい。別の例として、ハザードランプなど、車両の前部の照明が点灯している場合、グラフィック描写はそれに応じて更新されてもよい。第２の部分は、地図のグラフィック表現を含み得る。例えば、地図は、地図上の車両の位置を示す矢印などのアイコンを含んでもよい。この例では、車両が運転されているとき、アイコンは、車両の実質的にリアルタイムの配置を反映するように更新され得る。

したがって、第１の部分は、車両の操作に関連するリアルタイム状況（条件）の簡潔なビューを提供し得る。ユーザインターフェースは、一例として、この第１の部分の車線標示を示してもよい。したがって、ユーザは、車線標示を適切に辿っているか否かを迅速に見ることができる。更に、車両による自律操作が可能である。したがって、ユーザは、自律モードにある場合に、車両が車線標示を適切に認識していることを確保するために、第１の部分を見ることができる。

第２の部分は、車両の操作に関連する地域状況の提示が必要な場合がある。例えば、第２の部分は、地図に含まれる道路に対する交通状況を表してもよい。したがって、この例では、ユーザは、高速道路又は幹線道路で事故が起きているか否か、交通量が多いか否かなどを、迅速に確認し得る。第２の部分は、ナビゲーション情報を更に提示し得る。例えば、特定の終点位置への経路が、次の曲がるべき指示と共に地図上に提示されてもよい。このようにして、ユーザは、その終点位置に到達する方法を迅速に識別し得る。

この例示的なユーザインターフェースは、ユーザインターフェースを介して制御可能な異なる車両機能に関連付けられた多数のアイコン又は他のグラフィック表記の表示を更に含み得る。例示的な車両機能は、空調、音楽、電気自動車のエネルギー使用量の監視、運転制御、自動運転制御などを含んでもよい。空調設定を調整するなどの車両機能を調整するために、ユーザはアイコンを選択し得る。一例として、ユーザインターフェースは、タッチスクリーンディスプレイを介して提示されてもよい。この例では、ユーザは、アイコンを描写するディスプレイの一部にタッチし得る。別の例として、ユーザインターフェースは、言葉によるコマンドに応答してもよい。この例では、ユーザは、車両機能の種類（例えば、「空調設定」）を示す、言葉によるコマンドを提供し得る

ユーザがアイコン、メニュー、又は他のユーザインターフェースを選択すると、車両機能の種類に関連付けられたものを提示し得る。ユーザインターフェースが２つの部分に分離されているので、提示されたメニューは、少なくとも１つの部分の上にオーバーレイされ得る。例えば、ユーザが音楽に関連するアイコンを選択すると、ユーザインターフェースを音楽選択メニューに更新してもよい。メニューは、２つの部分のうちの少なくとも１つを遮ってもよいことが理解されよう。一例として、メニューは地図上にオーバーレイされてもよい。したがって、地図の少なくとも一部は、この音楽メニューにより遮られてもよい。ユーザは、地図全体を見るために、メニューを削除しなければならない可能性がある。例えば、ユーザは、下方向の動きでメニューをスワイプしてもよい。

したがって、例示的なユーザインターフェースの日常的な操作中に、車両機能を制御することにより、第１の部分及び／又は第２の部分に含まれる情報をマスクし得る。これは、車両の走行中に不利である場合がある。一例として、第２の部分は、提示された地図上で辿るべき経路を示してもよい。ユーザが、更新された空調設定を選択する、音楽を調整する、エネルギー追跡情報を見るなどを好む場合、示された経路の少なくとも一部を非表示にしてもよい。

・統合ユーザインターフェース
後述するように、統合ユーザインターフェースをレンダリングするシステム又はプロセッサは、自律視覚化（例えば、車両のグラフィック描写）と地図情報とを組み合わせ得る。この組合せは、本明細書では組合せビューと呼ぶ場合があり、ユーザが少なくとも自律視覚化及び地図情報の一貫したビューを有するように、提示され得る。このビューは、有利には、車両機能の種類に関連付けられたメニュー又はユーザインターフェースによって遮られない。後述するように、車両機能のためのメニューは、任意選択で、組み合わされた自律視覚化と地図情報とのメニューとは別に、動的に提示されてもよい。

更に、システム又はプロセッサは、次の運転イベントに従って、組合せビューを動的に更新し得る。例えば、システムは、組合せビューに関連付けられた倍率レベルを調整してもよい。この例では、倍率レベルは、組合せビューに関連付けられたレンダリングカメラ又は仮想カメラを示し得る。一例として、高い倍率レベルは、広い領域の地図情報を包含するレンダリングカメラ又は仮想カメラを表し得る。したがって、自律視覚化のサイズは、それに応じて小さくなり得る。

・統合ユーザインターフェース－組み合わされた自律視覚化と地図情報
いくつかの実施形態では、システム又はプロセッサは、車両の操作に関連する現在の状況情報に従って、統合ユーザインターフェースを更新してもよい。例えば、車両が駐車場にある場合、統合ユーザインターフェースは、車両の大きなグラフィック描写を描写してもよい。したがって、グラフィック描写は、統合ユーザインターフェースを実質的に満たし得る。このグラフィック描写は、車両の制御に関連付けられた対話型選択肢を含み得る。例えば、車両は電動トラックであってもよく、その選択肢には、サスペンションの調整、充電口の開閉、トノカバーの開閉、テールゲートの開閉などが含まれてもよい。ユーザがサスペンションの調整を選択した場合、統合ユーザインターフェースは、選択され得る様々なサスペンションレベルを反映するように更新し得る。

上述した車両のこの大きいグラフィック描写は、地図の拡大図に含まれてもよい。例えば、統合ユーザインターフェースは、任意選択で、車両に近接した環境情報を反映してもよい。グラフィック描写は、車両の上部後方に配置された仮想カメラ又はレンダリングカメラを反映するなど、車両の三人称ビューを任意選択で、反映してもよい。いくつかの実施形態では、グラフィック描写は、地図の街路ビューで提示されてもよい。いくつかの実施形態では、グラフィック描写は、任意選択で、道路及び／又は近接道路の名称と共に、道路の表現上に提示されてもよい。統合ユーザインターフェースのユーザは、地図を縮小するためのユーザ入力を提供してもよい。例えば、ユーザは、地図を縮小させるために、ピンチ／ズーム技術を使用してもよい。車両のグラフィック描写は地図内に配置されるので、グラフィック描写は、地図が縮小されるにつれてサイズが縮小され得る。このようにして、ユーザは、車両周りの大きな領域を示す大きな地図を見ることができる。更に、ユーザは、ユーザ入力を介して地図情報の移行を引き起こし得る。例示的なユーザ入力は、特定の方向に沿ってスワイプすることを含んでもよく、それにより、地図は、描かれた領域を調整する。更に、車両のグラフィック描写は、調整された領域に含まれない場合、組合せビューから除去されてもよい。任意選択で、組合せビューが車両のグラフィック描写を含む（例えば、その位置に基づいた）領域、及び移行された領域（例えば、調整された領域）によって、包含される領域を含むように、地図は、縮小されてもよい。

状況情報は、地図に基づいてユーザによって更新されてもよい。例えば、ユーザは、地図上の任意の位置を選択してもよい。この例では、統合ユーザインターフェースは、車両が、任意の位置に到達するために辿り得る経路を提示してもよい。したがって、統合ユーザインターフェースは、経路を、車両のグラフィック描写から任意の位置まで延在するものとして、提示してもよい。

ユーザが車両を運転中である場合、システム又はプロセッサは、車両のグラフィック描写の大きいビューを提示するように、統合ユーザインターフェースを更新し得る。したがって、状況情報は、ユーザがナビゲーション情報に従って運転していることを、反映するように更新され得る。例えば、以下に記載するように、統合ユーザインターフェースは、現実世界環境を通じた車両の運転ビューを含む自律視覚化を提示してもよい。運転ビューは、環境を通って、任意の位置に向かって運転する車両の後方隆起ビューを反映し得る。例えば、車線標示、他の車両などが、統合ユーザインターフェースにレンダリングされてもよい。統合ユーザインターフェースは、曲がり角ごとの方向を更に提示してもよい。一例として、ユーザに、街路を左に曲がることを要求する前に、左折矢印を含めてもよい。

このようにして、上述の例示的なユーザインターフェースとは対照的に、車両のグラフィック描写は、地図情報と組み合わせられ得る。したがって、実質的にリアルタイムで、統合ユーザインターフェースは、グラフィック描写及び／又は地図情報の提示を動的に調整し得る。例えば、地図は動的に拡大、縮小などされる。

車両は、他の車両の位置、車線の位置、高速道路の出口、高速道路の入口、一時停止標識、信号機などを実質的にリアルタイムで決定するために使用され得るカメラ又はセンサを、任意選択で含んでもよい。したがって、走行中に、ユーザが、曲がったり、高速道路の出口を出たりするために、特定の数の車線を越えて移動する必要があることを、統合ユーザインターフェースは示してもよい。

一実施形態では、統合ユーザインターフェースは、高速道路の出口にある障害物の自律視覚化を提示してもよい。ユーザが障害物に気付くことを確保するために、任意選択で、障害物を、強調表示する、又はそうでなければ呼び出してもよい。いくつかの実施形態では、統合ユーザインターフェースは、高速道路の出口を回避する更新されたナビゲーション経路を提示するように更新してもよい。

上記の説明はナビゲーションに焦点を当てているが、そのような障害物は、車両の通常の運転中に、統合ユーザインターフェースに提示されてもよいことを理解されたい。例えば、統合ユーザインターフェースは、駐車時に車両の大きいグラフィック描写を提示してもよい。ユーザが車両を運転中である場合、状況情報は、車両が運転されていることを反映するように更新され得る。したがって、統合ユーザインターフェースは、車両の運転ビューを反映する自律視覚化を提示するように更新されてもよい。例えば、運転ビューは、街路又はオフロード領域を横断する車両の後方隆起ビューを含んでもよい。運転ビューは、車線標示、他の車両、一時停止標識、街路灯、歩行者、窪み、岩、障害物又は危険物などを更に示し得る。更に、統合ユーザインターフェースは、街路名、一時停止標識又は信号機の位置、近接する商店又は店舗の名称などの地図情報を含んでもよい。ユーザは、同様に、タッチ入力又は言葉によるコマンドなどを介して、地図を縮小して、統合ユーザインターフェースに、縮小したビューを提示させてもよい。

・統合ユーザインターフェース－車両機能ユーザインターフェース
統合ユーザインターフェースは、車両機能の種類に関連付けられたアイコンを更に含み得る。例えば、アイコンは、本明細書に記載するように、空調機能、音楽機能などの選択を可能にしてもよい。上述の例示的なユーザインターフェースとは対照的に、統合ユーザインターフェースは、組み合わされた自律視覚化と地図情報とが、遮られないことを確保し得る。例えば、エンドユーザが空調アイコンを選択した場合、メニューが提示されてもよい。有利には、統合ユーザインターフェースは、組み合わされた自律視覚化と地図情報とに関連付けられたサイズを縮小し得る。更に、統合ユーザインターフェースは、統合ユーザインターフェースの残りの部分にメニューを提示してもよい。

いくつかの実施形態では、上述の動的なサイズ変更は、現在の状況情報に基づいてもよい。例えば、ユーザが、複雑な一連の街路を走行している場合、統合ユーザインターフェースは、自律視覚化と地図情報との組合せ描写に関連付けられたサイズを大きくしてもよい。このようにして、ユーザは、次の曲がり角を明確に見ることができる。同様に、近づきつつある危険物がある場合、統合ユーザインターフェースは、地図及び描写された危険物のサイズを大きくして、ユーザが危険物を容易に見ることを確保し得る。

・統合ユーザインターフェース－運転者／同乗者側調整
トラックなどの特定の車両の場合、集中型ディスプレイは、前方運転席及び同乗者席からの閾値距離よりも離れて位置付けされてもよい。したがって、運転者は、運転者に近接するディスプレイの一部（例えば、左側）に容易にアクセスし得る。対照的に、運転者は、ディスプレイの遠位部分（例えば、右側）へのアクセスが困難である可能性がある。同様に、同乗者は、（左ハンドル用に製造された自動車内では）ディスプレイの右側へのアクセスが容易であり、左側へのアクセスが少ない場合がある。いくつかの実施形態では、統合ユーザインターフェースは、運転者又は同乗者が統合ユーザインターフェースと対話しているか否かに基づいて更新してもよい。

一例として、機能の種類に関連付けられたアイコンを運転者側（例えば、ディスプレイの左側に沿って上部から下部）に提示してもよい。したがって、運転者はこれらのアイコンに容易にアクセスし得る。アイコンが選択されると、アイコンに関連付けられたメニュー又はユーザインターフェースが運転者側に提示され得る。対照的に、統合ユーザインターフェースは、同乗者側にアイコンを提示し得る。アイコンが選択されると、アイコンに関連付けられたメニュー又はユーザインターフェースが同乗者側に提示され得る。

後述するように、いくつかの実施形態では、統合ユーザインターフェースは、運転者又は同乗者が統合ユーザインターフェースと対話しているか、又は対話しようとしているか否かに基づいて更新してもよい。例えば、システム又はプロセッサは、運転者又は同乗者が統合ユーザインターフェースと対話しているか、又は対話しようとしているか否かを識別してもよい。システムは、任意選択で、赤外線エミッタ又はプロジェクタから情報を取得してもよい。これらは、エンドユーザの手が、ディスプレイの特定の側面から統合ユーザインターフェースに到達しているか否かを示し得る。したがって、統合ユーザインターフェースは、ディスプレイに向かって移動するユーザの手の検出後に、特定の側面に基づいて更新され得る。システムは、車両内に配置された１つ又は複数のカメラに基づいて、任意選択で、情報を取得してもよい。例えば、システムは、ビデオ又は画像を分析して、運転者又は同乗者が統合ユーザインターフェースを使用しているか、又は使用しようとしているか否かを判定してもよい。

統合ユーザインターフェースの上記の実施形態、及び他の実施形態は、以下で詳細に記載する。

・例示的なブロック図
図１Ａは、ユーザインターフェース１０２（例えば、本明細書に記載の統合ユーザインターフェース）を提示させる例示的な状況ユーザ・インターフェース・システム１００のブロック図を示している。状況ユーザ・インターフェース・システム１００は、１つ又は複数のプロセッサ、特定用途向け集積回路などのシステムであってもよい。状況ユーザ・インターフェース・システム１００は、電気自動車などの車両に含まれてもよく、状況ユーザ・インターフェース・システム１００により、ディスプレイがユーザインターフェース１０２を提示してもよい。ディスプレイは、例えば、車両の前部に含まれるタッチ感知式ディスプレイであってもよい。例えば、ディスプレイは、車両の中央前部に含まれてもよい。

状況ユーザ・インターフェース・システム１００は、ユーザインターフェース１０２のユーザによって提供されるユーザ入力１０４を受信し得る。例示的なユーザ入力１０４は、タッチベースのユーザ入力、言葉によるコマンドなどを含んでもよい。このようにして、ユーザインターフェース１０２のユーザは、ユーザインターフェース１０２と対話し得る。例えば、ユーザは、車両の異なる態様を操作するためのユーザ入力１０４を提供してもよい。この例では、ユーザは、アイコン１０８Ａ～１０８Ｈの中から選択し得る。各アイコンは、任意の種類の車両機能の制御が可能である。例えば、アイコン１０８Ａは、特定の運転機能の制御（例えば、操舵感度、加速度特性などの制御）が可能である。別の例として、アイコン１０８Ｈは、音楽ストリーミングアプリケーションの制御が可能である。

したがって、状況ユーザ・インターフェース・システム１００は、車両操作情報１０６を出力し得る。例えば、情報１０６は、車両の操作を調整するシステム、モジュール、アプリケーションなどに提供されてもよい。一例として、ユーザは、操舵感度を調整してもよい。したがって、この車両操作情報１０６は、操舵の制御に関連するシステム、モジュール、ソフトウェア、アプリケーションがそれに応じて更新され得るように、調整を反映してもよい。

図示のように、ユーザインターフェース１０２は、組合せビューで地図情報１１０Ｂと共に自律視覚化（例えば、車両のグラフィック描写１１０Ａ）を含む。上述したように、グラフィック描写１１０Ａは、車両に関連するリアルタイム操作情報を反映し得る。例えば、車両の照明が点灯している場合、グラフィック描写１１０Ａは、照明が点灯していることを提示するように更新されてもよい。地図情報１１０Ｂは、車両の位置に近接した地図を表し得る。後述するように、この地図情報は、車両の操作に関連する現在の状況に従って更新され得る。例えば、車両が運転されているとき、運転ビューを提示するために任意選択で、地図を拡大してもよい。別の例として、走行中に、地図は、車両が辿るべき経路を、任意選択で示してもよい。

いくつかの実施形態では、地図情報１１０Ｂは、自律視覚化をレンダリングするために、少なくとも部分的に使用されてもよい。例えば、自律視覚化は、車両周りの外部（例えば、現実世界の環境）のグラフィック表現を含んでもよい。この例では、センサ情報（例えば、画像センサからの画像）は、グラフィック表現をレンダリングするために、システム１００、又は車両内の別のプロセッサ若しくはシステムによって、分析され得る。地図情報は、外部環境の物理的特徴又は特性を決定するために使用され得る。例えば、地図情報に基づいて、車線の数を識別してもよい。別の例として、環状交差点、次の車線の移動又は変更、次の高速道路のインターチェンジなどを識別してもよい。いくつかの実施形態では、これらの物理的特徴又は特性は、自律視覚化の生成を通知するために使用されてもよい。例えば、近づいているが、まだ見えていないか又は遮られている可能性がある道路の部分の正確な経路を、自律視覚化は含んでもよい。別の例として、組合せビューは、縮小又は移行されてもよく、地図情報は、自律視覚化の生成を通知してもよい。例えば、ユーザが組合せビューを、１マイル前方に移行させるか、又は上方に拡大させるように調整する場合、外部環境のこれらの部分は、まだ見えていない可能性がある。有利には、地図情報は、それらの外観をレンダリングするために使用され得る。例えば、建物の表現などが、地図情報に基づいて組合せビューに含まれてもよい。

図１Ａにおいて、ユーザインターフェース１０２は、ナビゲーション・ユーザ・インターフェース１１２を提示している。このインターフェースは、ユーザが走行すべき位置を示すために、ユーザによって使用可能であり得る。有利には、上述した組合せビュー１１０Ａ～１１０Ｂを遮らないように、このナビゲーション・ユーザ・インターフェース１１２は、配置される。更に、運転者が、ナビゲーション・ユーザ・インターフェース１１２と容易に対話し得るように、ナビゲーション・ユーザ・インターフェース１１２は、運転者側に配置されてもよい。

図１Ｂは、受信したユーザ入力１０４に基づいて、更新されたユーザインターフェース１０２を提示する例示的な状況ユーザ・インターフェース・システム１００のブロック図を示している。図示の実施形態では、ユーザインターフェース１０２のユーザは、任意の位置への走行を可能にするユーザ入力１０４を入力する。したがって、ナビゲーション・ユーザ・インターフェース１１２は、任意の位置に向かう方向を指定するように更新される。更に、経路１１４Ａが、組合せビュー１１０Ａ～１１０Ｂ内に提示される。経路は、位置１１４Ｂに向かうものとして地図１１０Ｂ上に描写され得る。

いくつかの実施形態では、以下に記載するように、ナビゲーション・ユーザ・インターフェース１１２は、車両が運転されるときにユーザインターフェース１０２によって任意選択で除去されてもよい。例えば、組合せビュー１１０Ａ～１１０Ｂのサイズを、動的に広げてもよい。この例では、組合せビュー１１０Ａ～１１０Ｂは、詳細な自律視覚化（例えば、運転ビュー）を含み得る。

運転ビューは、一例として、車両のグラフィック描写１１０Ａの後部上方の視点を表し得る。一例として、運転ビューは、車両の後方及び上方に閾値距離を置いて配置されたカメラ又はドローンと同様であってもよい。システム又はプロセッサは、運転ビューに含めるための情報を生成するために、１つ又は複数の機械学習モデル（例えば、畳み込みニューラルネットワーク又は他のコンピュータビジョン技術）と組み合わせて、画像センサからの画像などのセンサデータを使用してもよい。一例として、機械学習モデルは、車両周りに配置された画像センサからの入力画像を分析してもよい。いくつかの実装形態では、画像センサは、車両周りの３６０度の視野を提供してもよい。これらの入力画像は、画像に描写されている車両（例えば、セダン、トラック、オートバイ）、物体（危険物、窪み、スピードバンプ、歩行者、ブレーキ灯、信号灯）などを分類するために解析され得る。任意選択で、入力画像は、車両が位置する現実世界環境の一貫したビュー（例えば、３６０度）ビューを（例えば、ニューラルネットワークなどの機械学習モデルを介して）提供するために、共にスティッチングされてもよい。画像又は他のセンサデータは、特定の頻度（例えば、３０フレーム／秒、６０フレーム／秒、１２０フレーム／秒など）で受信されてもよい。これらの画像は、運転ビューに含まれる情報を更新するために解析され得る。

いくつかの実施形態では、ユーザ・インターフェース・システム１００は、車両、物体などに関連するモデルにアクセスしてもよい。次いで、ユーザ・インターフェース・システム１００は、運転ビューを生成するために、受信したセンサデータに従って、モデルをレンダリングしてもよい。例えば、ユーザ・インターフェース・システム１００は、特定の種類（例えば、トラック）の近接車両に関連する現在位置を示す情報を受信してもよい。この例では、ユーザ・インターフェース・システム１００は、現在位置と一致する運転ビュー内のトラックのモデルをレンダリングし得る。理解されるように、運転ビュー内のレンダリングされたモデルの配置は、トラックのそれぞれの画像を取得した１つ又は複数の画像センサからのカメラパラメータを使用して決定され得る。したがって、現実世界のトラックの配置は、運転ビュー内の配置に変換され得る。更に、画像が共にスティッチングされる実施態様では、スティッチングされた結果は、車両及び／又は物体の配置、サイズ（例えば、バウンディングボックス）などを示す地図を表し得る。トラックをレンダリングする運転ビュー内の配置を識別するために、この地図は、例えば、システム１００、又は異なるシステム若しくはプロセッサによって使用され得る。モデルの使用について上述したが、いくつかの実施形態では、車両又は物体の物理的特性を、１つ又は複数の画像から抽出してもよい。一例として、システム又はプロセッサは、ユーザインターフェース１０２内でレンダリングするために、車両又は物体の外観を生成してもよい。

したがって、運転ビューは、車両が位置する現実世界の環境のグラフィック表現を反映し得る。他の車両のグラフィック描写は、現実世界環境におけるそれらの実際の配置に一致して、車両周りに移動するものとして提示され得る。更に、道路標示、標識などを、運転ビューに提示し得る。現実世界環境に含まれる車両及び／又は物体をレンダリングするために、ユーザ・インターフェース・システム１００は、リアルタイム（例えば、実質的にリアルタイム）で、ユーザインターフェース１０２を更新し得る。例えば、ユーザインターフェース１０２を更新するために、画像を、受信し、解析し、及び使用してもよい。

以下で詳細に記載するように、図２Ｂに関して、ユーザ・インターフェース・システム１００は、ナビゲーション情報を反映するように、ユーザインターフェース１０２を更に更新し得る。したがって、本明細書に記載の組合せビューは、自律視覚化、地図情報、及びナビゲーション情報を含み得る。例えば、車両を経路に沿って運転しているとき、ユーザインターフェース１０２は、ナビゲーションイベントを示すように更新してもよい。この例では、ユーザインターフェース１０２は、ユーザが、１つ又は複数の車線を越えて移動する、曲がるなどを、すべきであることを示し得る。

いくつかの実装形態では、車両を、自律モード又は半自律モードで、動作させてもよい。したがって、運転ビューは、車両に含まれるシステム又はプロセッサによって決定された現実世界環境のビューへの洞察を提供し得る。ユーザは、現実世界の環境が適切に解釈されていることを確保するために、運転ビューを見ることができる。更に、ナビゲーション情報の使用は、車両が実施すべき動作をユーザに積極的に投影し得る。

したがって、ユーザインターフェース１０２は、車両の操作に関連する状況に従って、動的に更新され得る。例えば、ナビゲーション・ユーザ・インターフェース１１２を、ナビゲーション機能の選択を示すユーザ入力１０４に基づいて、図１Ａに提示した。したがって、組合せビュー１１０Ａ～１１０Ｂのサイズを、ナビゲーション・ユーザ・インターフェース１１２を収容するために、動的に縮小した。図１Ｂでは、ナビゲーション・ユーザ・インターフェース１１２は、任意の位置に向かう方向を提示する。上述したように、ユーザが運転を開始すると、ナビゲーション・ユーザ・インターフェース１１２を動的に除去してもよい。このようにして、ユーザは、ナビゲーション情報（例えば、次のナビゲーションイベント）を含むように更新され得る組合せビュー１１０Ａ～１１０Ｂに焦点を合わせ得る。

・例示的なフローチャート
図２Ａは、統合ユーザインターフェースを更新するための例示的なプロセス２００のフローチャートである。便宜上、プロセス２００は、１つ又は複数のプロセッサのシステム（例えば、状況ユーザ・インターフェース・システム１００）によって実施されるものとして記載する。

ブロック２０２において、システムは、車両を描写する統合ユーザインターフェースを提示する。図１Ａ～図１Ｂに示すように、統合ユーザインターフェースは、自律視覚化（例えば、車両のグラフィック描写）を含み得る。更に、統合ユーザインターフェースは、地図情報を含み得る。地図情報が拡大又は縮小される範囲は、車両の操作に関連する現在の状況に基づき得る。例えば、車両が駐車している場合、統合ユーザインターフェースは、地図のビューを拡大して提示してもよい。この例では、車両のグラフィック描写は、統合ユーザインターフェースを提示するディスプレイを実質的に満たし得る。

別の例として、車両が運転されている場合、地図情報を更に縮小してもよい。一例として、地図情報は、街路ビューとして統合ユーザインターフェースにレンダリングされてもよい。この例では、統合ユーザインターフェースは、街路のレンダリングされたバージョンを運転する車両のグラフィック描写を含み得る。別の例として、地図情報のビューは、実質的に上面図を表し得る。例えば、走行中、統合ユーザインターフェースは、次の曲がり角を示すために、地図を縮小してもよい。この例では、縮小は、識別されている一連の近づきつつある次の曲がり角に基づいて行われ得る。したがって、統合ユーザインターフェースは、地図情報上の一連の曲がり角を有利に描写し得る。別の例として、縮小は、今後の運転イベントの種類に基づいて行われてもよい。例えば、高速道路の出口から地上道路に出ることにより、縮小させてもよい。別の例として、縮小は、危険物の検出に基づいて行われてもよい。例えば、危険物は、車両の画像センサからの画像を使用して検出されてもよい。この例では、経路は、危険物を回避するために更新され、地図情報は、更新された経路の少なくとも一部を描写するために縮小され得る。

統合ユーザインターフェースは、車両機能の種類に関連付けられたメニュー又はユーザインターフェースを更に含み得る。本明細書に記載するように、このメニュー又はユーザインターフェースは、地図情報の隣に配置されてもよい。したがって、統合ユーザインターフェースのユーザは、地図情報のビューを維持しつつ、メニューと対話し得る。

ブロック２０４において、システムは、状況情報を更新する情報を受信する。統合ユーザインターフェースのユーザは、車両の操作に関連する状況を更新するためのユーザ入力を提供し得る。例えば、統合ユーザインターフェースが、任意の位置に向かうナビゲーション情報を提示するように、ユーザは指示してもよい。別の例として、ユーザは、車両機能の種類に関連付けられたアイコンを選択するユーザ入力を提供し得る。

更に、受信した情報は、ユーザ入力に基づかなくてもよい。例えば、車両周りに配置されたカメラ又はセンサが、危険物、信号機、一時停止標識、環境状況などを識別するために使用されてもよい。この情報は、統合ユーザインターフェースを更新するために使用されてもよい。例えば、車両をオフロード環境で運転している場合、環境状況は、前方の水の速い移動体、又は閾値角度より大きい傾斜を反映してもよい。同様に、受信した情報は、車両の位置又は配置に更に関連してもよい。図２Ｂに記載するように、システムは、ナビゲーション経路に対する車両の位置に応じて、統合ユーザインターフェースを更新し得る。例えば、本明細書に記載の組合せビューを、位置に応じて、拡大、縮小してもよい。

ブロック２０６において、システムは、情報に基づいて、統合ユーザインターフェースを更新する。アイコンに関連付けられたユーザ入力に関して、統合ユーザインターフェースは、アイコンに関連付けられたメニュー又はユーザインターフェースを含むように更新し得る。同様に、ユーザがナビゲーションモードに入ると、統合ユーザインターフェースは、車両と地図との組合せビュー上の走行方向などを含むように更新され得る。

画像センサ又は他のセンサ（例えば、レーダ、超音波）から決定された情報に関して、統合ユーザインターフェースは、この情報を反映するように更新し得る。例えば、一時停止標識が近づいている場合、統合ユーザインターフェースは、検出された一時停止標識を強調表示してもよい。別の例として、一時停止標識、及びこの一時停止を反映するために含まれる統合ユーザインターフェース内の情報で、車両は自動的に停止されてもよい。窪みなどの危険物が検出された場合、統合ユーザインターフェースは、危険物を組合せビューに描写するように更新されてもよい。上述した運転ビューに関して、統合ユーザインターフェースは、車両が接近している街路の一部の窪みの位置を示してもよい。任意選択で、統合ユーザインターフェースは、ユーザが車線を調整すべきであることを示す情報を提示してもよい。

有利には、統合ユーザインターフェースを更新するとき、自律視覚化（例えば、車両、及び任意選択で近接する車両及び／又は物体の描写）と地図との組合せビューが遮られないことを、システムは、任意選択で確保し得る。例えば、システムにより、ナビゲーション情報を組合せビューにオーバーレイしてもよい。別の例として、システムは、組合せビューにおいてカメラ及び／又はセンサを使用して決定された情報を含んでもよい。別の例として、システムは、組合せビューのメニュー又はユーザインターフェースとは別個の車両機能に関連付けられたメニュー又はユーザインターフェースを提示してもよい。この例では、システムは、組合せビューのサイズを動的に変更し、及び／又は配置を調整し得る。例えば、組合せビューは、サイズが縮小され、そして、運転者がユーザインターフェースを操作している場合、組合せビューは、ユーザインターフェースの同乗者（例えば、右）側に配置されてもよい。

統合ユーザインターフェースは、車両に配置されたカメラからの画像又はビデオを任意選択で、提示してもよい。以下で詳細に記載するように、統合ユーザインターフェースは、組合せビューに近接して画像又はビデオを提示し得る。これらは、例えば、車両が何かを牽引している場合、提示のためにトリガされてもよい。これらは、車両がオフロードモードにある場合にトリガされてもよい。撮像装置、又はカメラからのビデオを提示する例は、以下に含まれる。

図２Ｂは、車両の配置に従って、統合ユーザインターフェースを更新するための例示的なプロセス２１０のフローチャートである。便宜上、プロセス２１０は、１つ又は複数のプロセッサのシステム（例えば、状況ユーザ・インターフェース・システム１００）によって実施されるものとして説明する。

ブロック２１２において、システムは、ディスプレイを介して統合ユーザインターフェースを提示する。ブロック２１４において、システムは、ナビゲーション制御を選択するユーザ入力を受信する。上述したように、図１Ａ～図１Ｂに関して、統合ユーザインターフェースは、ナビゲーション機能を有効にし得る。ブロック２１６において、システムは目的地の選択を受信する。ユーザは、走行して向かう任意の位置を示すユーザ入力を提供し得る。例えば、ユーザは、任意の位置に関連する名前を指定してもよい。ユーザは、検索ユーザインターフェースを使用して、任意の位置を検索し得る。

ブロック２１８において、システムは、地図のグラフィック表現に含まれる自律視覚化（例えば、車両のグラフィック描写）の組合せビューを示すように、統合ユーザインターフェースを更新する。図１Ｂに示すように、ユーザインターフェースは、任意の位置への経路に関連する経路情報を反映するように更新し得る。したがって、組合せビューは、車両が描かれている地図の実質的に上面図を反映し得る。例えば、組合せビューは、レンダリングカメラ又は仮想カメラが車両の上方の閾値距離に配置される、現実世界環境のレンダリングされたビューを表し得る。

ブロック２２０において、システムは、車両の移動に基づいて統合ユーザインターフェースを更新する。上述したように、車両が移動すると、システムは組合せビューを動的に調整する。例えば、統合ユーザインターフェースは、車両の後部が経路に沿って走行しているように示される運転ビューを描写してもよい。したがって、運転ビューは、レンダリングカメラ又は仮想カメラが車両の後部に配置される、現実世界環境のレンダリングされたビューを表してもよい。

システムは、経路に対する車両の配置の更新など、更新された状況情報に基づいて、統合ユーザインターフェースを更新し得る。例えば、システムは、閾値未満の今後の走行イベントがある間、車両の後部の運転ビューを維持し得る。一例として、次の曲がり角も、車線変更もない高速道路に沿って、車両を運転している場合、運転ビューがディスプレイのかなりの部分を包含するように、システムは、運転ビューを維持してもよい。別の例として、経路が次の運転イベントの閾値数を示す場合、システムは、組合せビューを縮小するように更新してもよい。例えば、自律視覚化及び地図情報を、縮小してもよい。いくつかの実施形態では、縮小したとき、自律視覚化は、車両のグラフィック描写を維持しつつ、特定の視覚化（例えば、他の車両、歩行者、標識、道路標示などの視覚化）を除去してもよい。今後の走行イベントが、地図情報上で識別され得てもよい。例えば、経路の指示は、これらの走行イベントに、グラフィカルに含まれてもよい。

いくつかの実施形態では、システムは、車両の配置、及び経路に関連する１つ又は複数の複雑さの尺度に応じて、拡大又は縮小してもよい。一例として、車両の配置の閾値距離内にある、又は車両の配置の閾値運転時間内にある経路の今後の部分に関する複雑さの尺度を、システムは決定し得る。複雑さの尺度に基づいて、システムは組合せビューを更新し得る。例えば、経路の今後の部分が高い複雑さの尺度を有する場合、システムは、多くのナビゲーションイベントを示すために、縮小してもよい。

複雑さの尺度は、今後の曲がり角の数、今後の車線変更の数、今後の運転操作の数（例えば、Ｕターン）などに関連し得る。いくつかの実施形態では、上記の情報は、様々な重みに関連付けられてもよい。したがって、今後の曲がり角の数が、車線変更の数と比較した場合、高い方の複雑さの尺度に関連付けられてもよい。更に、複雑さの尺度は、今後の走行イベントを見逃すことに関連付けられた尤度に関連してもよい。例えば、尤度は履歴情報に関連してもよい。この例では、車両の以前の運転者が、今後の走行イベントのうちの１つ又は複数を見逃したことがあった場合、複雑さの尺度を増加してもよい。

有利には、ユーザがアイコンの選択などによって車両機能を選択する場合、機能に関連付けられたメニューが、運転ビューの隣に提示されてもよい。このようにして、ユーザは、運転ビューが遮られることなく、機能を制御し得る。

図２Ｃは、車両機能の選択に基づいて、統合ユーザインターフェースを更新するための例示的なプロセス２３０のフローチャートである。便宜上、プロセス２３０は、１つ又は複数のプロセッサのシステム（例えば、状況ユーザ・インターフェース・システム１００）によって実施されるものとして記載する。

ブロック２３２において、システムは、ディスプレイを介して統合ユーザインターフェースを提示する。ブロック２３４において、システムは、特定の車両機能を示すユーザ入力を受信する。例えば、統合ユーザインターフェースは、様々な車両制御（例えば、本明細書に記載の空調、音楽など）に関連付けられた多数のアイコンを含んでもよい。ユーザは、対応する車両制御を調整するために、特定のアイコンを選択し得る。例えば、ユーザは、ディスプレイにタッチ入力を提供し得る。別の例として、ユーザは、（例えば、車両に含まれるか、又は車両と無線通信する）システム、又は別のプロセス若しくはシステムによる説明のために、言葉によるコマンドを提供してもよい。本明細書に記載するように、状況情報は、特定の車両機能の選択を反映するように更新され得る。

ブロック２３６において、システムは、統合ユーザインターフェースにおいて、自律視覚化（例えば、車両のグラフィック描写）を調整する。特定の車両機能は、車両のグラフィック描写を調整し得る。例えば、ユーザは、車両の照明（例えば、フォグランプ、前照灯のハイビームなど）を調整し得る。この例では、システムは、それに応じてグラフィック描写を更新し得る。別の例として、ユーザはトラックのサスペンションを調整し得る。この例では、グラフィック描写は、トラックの上昇又は下降を示し得る。別の例として、ユーザが、ワイパーが始動させ、その描写は、ワイパーの動きを示し得る。別の例として、ユーザが、トノカバーを開閉させ、その描写は、この開閉を示し得る。

ブロック２３８において、システムは、機能に関連付けられたメニュー又はユーザインターフェースを含むように、統合ユーザインターフェースを更新する。例えば、制御種類のユーザインターフェースを含んでもよい。本明細書に記載するように、メニュー又はユーザインターフェースは、車両及び地図の描写を遮らないように提示され得る。例えば、車両及び地図の描写のサイズを変更してもよい（例えば、サイズを縮小する）。したがって、ユーザは、地図のビューを維持しつつ、メニュー又はユーザインターフェースと対話し得る。

図３Ａは、統合ユーザインターフェースのマルチタスク制御を使用するための例示的なプロセス３００のフローチャートである。便宜上、プロセス３００は、１つ又は複数のプロセッサのシステム（例えば、状況ユーザ・インターフェース・システム１００）によって実施されるものとして記載する。

ブロック３０２において、システムは、統合ユーザインターフェースを提示する。ブロック３０４において、システムは、第１の制御種類の選択を示すユーザ入力を受信する。例えば、ユーザインターフェースのユーザは、特定の車両機能に関連付けられたアイコンを選択してもよい。ブロック３０６において、システムは、第２の制御種類の選択を受信する。それに応答して、システムは、第１の制御種類に関連付けられたメニュー又はユーザインターフェースを除去し得る。代わりに、第２の制御種類に関連付けられたメニュー又はユーザインターフェースを含んでもよい。

ブロック３０８において、システムは、マルチタスク制御を含むように統合ユーザインターフェースを更新する。この制御は、最近選択した車両機能間の迅速な切替えが可能である。例えば、ユーザは、マルチタスク制御を操作することにより、第１の制御種類と第２の制御種類との間を切り替えてもよい。いくつかの実施形態では、マルチタスク制御は、同じ軸（例えば、水平方向）に沿って含まれる１つ又は複数の線を表してもよい。ユーザは、第１の制御種類及び第２の制御種類に関連付けられた様々なメニュー又はユーザインターフェース間を移動するために、スワイプ動作を使用してもよい。

ブロック３１０において、システムは、マルチタスク制御に対するユーザ入力を受信する。ユーザ入力は、例えば、タッチスクリーンディスプレイ上のマルチタスク制御の選択を含んでもよい。例えば、ユーザは、１つ又は複数の軸（例えば、水平軸）に沿ってスワイプしてもよい。ユーザ入力は、マルチタスク制御に関連付けられた言葉によるコマンドを更に含んでもよい。上述したように、ユーザは、第１の制御種類と第２の制御種類との間を迅速に切り替え得る。

次に、マルチタスク制御に関連付けられたユーザインターフェースを示す図３Ｂ～図３Ｄを参照する。図３Ｂは、音楽ユーザインターフェース３２４と共に、車両３２２の描写を提示するユーザインターフェース３２０を示している。例えば、車両は駐車モードであってもよい。以下の説明は、車両が運転又は走行している場合に、更に適用され得る。例えば、自律視覚化と地図情報との組合せビューが、ユーザインターフェース３２０に提示されてもよい。

図３Ｃは、クイック制御ユーザインターフェース３２６と共に、車両３２２の描写を提示するユーザインターフェース３２０を示している。例えば、ユーザは、音楽ユーザインターフェース３２４と対話し、それを閉じるか、又はユーザインターフェース３２６に関連付けられたアイコンを選択してもよい。

図３Ｃに示すように、マルチタスク制御部３２８が含まれる。マルチタスク制御線の各線は、様々なユーザインターフェースを表し得る。したがって、（例えば、線への入力を介した、又はスワイプを介した）線の選択は、様々なユーザインターフェースの提示をもたらし得る。

例えば、最も左の線は、クイック制御ユーザインターフェース３２６に対応してもよい。別の例として、最も右の線は、音楽ユーザインターフェース３２４に対応してもよい。いくつかの実施形態では、直近に提示されたユーザインターフェースは、ユーザインターフェース３２０のユーザに最も近いところに含まれてもよい。この例では、運転者が、ユーザインターフェース３２０を操作してもよい。したがって、最後に使用されたユーザインターフェースは、左側の線であってもよい。同乗者がユーザインターフェース３２０を操作していた場合、最後に使用されたユーザインターフェースは、右側の線であってもよい。図示のように、最も左側の線は強調表示され、関連ユーザインターフェース（例えば、ユーザインターフェース３２６）が提示されていることを表す。

図３Ｄは、提示されている気候ユーザインターフェース３３０を有するユーザインターフェース３２０を示している。図示のように、マルチタスク制御部３２８は、３つの線を含む。いくつかの実施形態では、ユーザインターフェース３２０は、線の数を制限してもよい。したがって、ユーザは、最近使用した車両機能の閾値数内で選択し得る。いくつかの実施形態では、線の上で、ユーザインターフェース３２０は、関連車両機能のライブビュー又は表現を含んでもよい。例えば、中央線の上には、クイック制御３２６のユーザインターフェースのライブビューが含まれてもよい。いくつかの実施形態では、ライブビューは、ユーザがユーザインターフェース３２０と対話しようとしていることを識別するシステムに基づいて提示されてもよい。例えば、赤外線エミッタ、カメラ、又は他のセンサを使用して、ユーザがユーザインターフェース３２０と対話しようとしている、又は対話していることを判定してもよい。

図４は、運転者又は同乗者側にアイコンを調整するための例示的なプロセス４００のフローチャートである。便宜上、プロセス４００は、１つ又は複数のプロセッサのシステム（例えば、状況ユーザ・インターフェース・システム１００）によって実施されるものとして記載する。

ブロック４０２において、システムは、ディスプレイを介して統合ユーザインターフェースを提示する。車両機能に関連付けられたアイコンは、統合ユーザインターフェースを提示するディスプレイの運転者側に提示されてもよい。いくつかの実施形態では、ディスプレイを点灯したときに、アイコンを運転者側に提示してもよい。例えば、運転者が車両に乗ったときに、ディスプレイが点灯してもよい。いくつかの実施形態では、システムは、ディスプレイを点灯したときに、運転者又は同乗者が車両内にいるか否かを判定してもよい。例えば、同乗者のみが車両に乗った場合、アイコンは同乗者側に配置されてもよい。この例では、システムは、同乗者が座っていることを判定するために、座席内のセンサを使用し得る。システムはまた、同乗者側のドアが使用されたことを識別してもよい。システムはまた、同乗者が車両内にいることを識別するために、車両内で対向するカメラ又は他のセンサを使用し得る。同様に、システムは、同乗者が車両に乗ったか、又は乗ろうとしていることを識別するために、車両の外側に対向するカメラを使用し得る。

ブロック４０４において、システムは、ユーザ入力が運転者又は同乗者から受信されたか、又は受信されようとしているか否かを識別する。システムは、手がディスプレイに向かって移動していることを判定するために、赤外線エミッタ又はプロジェクタを使用し得る。システムはまた、カメラを使用して、手の動きを決定し得る。いくつかの実施形態では、機械学習モデルを利用して、ディスプレイに向かう動きと、（例えば、センターコンソール又はドリンクにアクセスするために）車両の中心に向かう動きと、を区別してもよい

ブロック４０６において、システムは、アイコンを同乗者側になるように更新する。同乗者がユーザ入力を提供していると、システムが識別した場合、システムは、アイコンを同乗者側になるように更新し得る。対照的に、ブロック４０８において、ユーザ入力が運転者側から提供されている場合、システムは、運転者側にアイコンを維持し得る。

上述したように、関連する車両制御ユーザインターフェースを、アイコンの選択により、提示し得る。このユーザインターフェースは、自律視覚化と地図情報との組合せビューを遮らないように提示され得る。例えば、組合せビューに関連したサイズを縮小し、組合せビューを同乗者又は運転者から遠くに配置し得る。一例として、同乗者がユーザ入力を提供しているとシステムが判定した場合、システムは、同乗者側に車両制御ユーザインターフェースを提示してもよい。同様に、システムは、運転者側に近接して組合せビューを提示してもよい。

・例示的なユーザインターフェース
統合ユーザインターフェースの例示的な実施形態を以下に記載する。各ユーザインターフェースは、１つ又は複数の実施形態を記載し、これらのユーザインターフェースの特定の態様又は特徴は、調整され、本明細書の開示の範囲内に入り得ることが理解されよう。これらの使用インターフェースは、車両に含まれるディスプレイを介して提示され得る。いくつかの実施形態では、ディスプレイはタッチ感知式ディスプレイであってもよい。ユーザインターフェースは、上述のユーザ・インターフェース・システム１００など、車両に含まれるシステム又はプロセッサによってレンダリングされ得る。

図５Ａは、駐車車両を示す組合せビューの例示的なユーザインターフェース５００を示している。図示のように、車両のグラフィック描写５０２がユーザインターフェースに含まれている。更に、環境の表現５０４が含まれる。例えば、グラフィック描写５０２及び表現５０４を含む自律視覚化をレンダリングしてもよい。加えて、ユーザインターフェース５００は、任意選択で、地図情報を含んでもよい。例えば、車両が駐車している街路名の表示を含んでもよい。別の例として、店舗、レストランなどを表現５０４に描写してもよい。これらは、例えば、街路ビュー情報から取得されてもよい。したがって、状況情報は、いくつかの実施形態では、駐車中の車両を反映し得る。

任意選択で、組合せビューは、トポグラフィ情報を含んでもよい。例えば、車両は、オフロードにいる間に駐車されてもよい。この例では、自律視覚化は、車両を囲む地形のグラフィック表現を含み得る。例えば、地形のセンサ情報（例えば、画像）を取得してもよい。地図情報は、地形情報を通知するために使用されてもよい。例えば、車両の位置について地形地図にアクセスしてもよい。したがって、ユーザインターフェース５００は、地形地図に基づいて地形の表現を含み得る。任意選択で、センサ情報と地形地図とを組み合わせてもよい。一例として、地形地図を使用して、車両の位置に関連する形状を決定してもよい。次いで、センサ情報は、形状又は他のきめ細かな情報を通知し得る。例えば、センサ情報は、地形の一部が地形地図に示されるよりも急勾配であることを示してもよい。これは、車両でオフロードにいるユーザにとって有用であり得る。したがって、表現５０４は、周囲領域の地形情報に基づき得る。

上述したように、表現５０４は、車両周りに配置されたカメラ又はセンサを使用して決定された情報を含み得る。例えば、歩行者、他の車、コーン、動物、照明、一時停止標識などは、車両に含まれるシステムによって決定されてもよい。これらは、ユーザインターフェース５００にレンダリングされ得る。同様に、表現５０４は、車両を囲むオフロード領域の岩石、へこみ、傾斜などを含み得る。いくつかの実施形態では、ドローンを車両に格納してもよい。ドローンは、車両から飛行し、周囲地形の地図作成動作を実施してもよい。例えば、写真測量技術を使用してもよい。この情報は、車両に提供され、表現５０４をレンダリングするために使用されてもよい。いくつかの実施形態では、車両は、少なくとも部分的に、自己位置推定と環境地図作成の同時実行（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）技術を使用して表現５０４をレンダリングしてもよい。

車両の描写５０２は、選択可能な選択肢５０６Ａ～５０６Ｅを含む。各選択可能な選択肢は、車両を操作するために使用され得る。例えば、選択肢５０６Ａにより、ボンネットを開き得る。選択肢５０６Ｅにより、トノカバーを開き得る。同様に、アイコン５０８Ａ～５０８Ｈは、異なる車両機能に関連付けられたメニュー又はユーザインターフェースを提示するために、使用され得る。例えば、アイコン５０８Ｈにより、音楽のストリーミングに関連付けられたメニュー又はユーザインターフェースを提示し得る。上述したように、このアイコン５０８Ｈが選択された場合、ユーザインターフェース５００は、車両の描写５０２と関連するサイズ、及び関連環境５０４を縮小するように更新し得る。このようにして、ユーザインターフェースのユーザは、音楽ストリーミングアプリケーションと対話し得る。

図５Ｂは、充電中の駐車車両のユーザインターフェース５１０を示している。図示のように、車両の描写５０２は、車両の充電を反映している。ユーザインターフェースには、例えば、充電情報５１０が含まれる。したがって、いくつかの実施形態では、状況情報は、充電中の車両を反映してもよい。

図６Ａは、運転ビューの例示的なユーザインターフェース６００を示している。この例では、自律視覚化がユーザインターフェース６００に含まれている。視覚化は、車両が運転されている例示的な環境６０４の表現と共に、車両のグラフィック描写６０２を含み得る。上述したように、この例示的な環境６０４は、（例えば、衛星情報、地形地図など）地図情報に基づいてレンダリングされ得る。環境６０４はまた、車両に配置されたカメラ及び／又はセンサを使用してレンダリングされ得る。したがって、ユーザインターフェース６００のユーザは、近づきつつある危険物、傾斜の変化などを見ることができる。

図示の例では、ユーザインターフェース６００は、ユーザが辿り得る線６０５Ａ～６０５Ｂを含む。オフロード状況では、ユーザは、辿るべき例示的な線を迅速に見ることが有利である可能性がある。このようにして、危険物が出現した場合、線は、ユーザがこの危険物を回避すべきであることを示し得る。線は、車両上のセンサ及び／又はカメラを使用して決定され得る。例えば、線６０５Ａ～６０５Ｂは、既存の道路標示（例えば、タイヤ痕）に基づいて決定されてもよい。別の例として、線６０５Ａ～６０５Ｂは、車両の幅及び地形情報に基づいて決定されてもよい。この例では、線６０５Ａ～６０５Ｂにより、車両が地形の隆起部分又は壁部分の閾値距離よりも遠くに留まるように、線６０５Ａ～６０５Ｂを配置してもよい。したがって、線６０５Ａ～６０５Ｂは、近づきつつある地形の実質的に平坦な部分、又は駆動可能な部分を示し得る。

ユーザインターフェース６００は、クイック制御ユーザインターフェース６０６を更に含む。このクイック制御ユーザインターフェース６０６は、関連アイコン６０８のユーザ選択に基づいて提示され得る。クイック制御ユーザインターフェース６０６が提示されると、ユーザインターフェース６０６は、本明細書に記載の組合せビューのサイズを変更するように更新し得る。例えば、図示のように、組合せビューは、ユーザインターフェース６０６の右部分に配置され、サイズが縮小される（例えば、幅が狭くなる）。例えば、ユーザインターフェース６０６における情報の選択時に、ユーザは、クイック制御ユーザインターフェース６０６を消してもよい。次いで、組合せビューは、多くのユーザインターフェース６００を包含するように、サイズを動的に大きくし得る。

図６Ａの例は、オフロード環境を示しているが、環境６０４はまた、オンロード環境も表し得る。例えば、車両が運転されている都市道路又は高速道路を描写してもよい。

図６Ｂは、同乗者ビュー用に調整されたアイコン６１０を有する例示的なユーザインターフェース６００を示している。少なくとも図４に記載するように、同乗者又は運転者がユーザインターフェース６００にアクセスしているか否かに基づいて、アイコン６１０は、配置が更新され得る。図示の実施形態では、クイック制御ユーザインターフェース６０６は、アイコン６１０と共に、ユーザインターフェース６００の同乗者の（例えば、右）側に移動されている。同様に、自律視覚化（例えば、車両６０２及び環境６０４）は、運転者側に移動している。

図６Ｃは、今日のユーザインターフェース６２０を有する例示的なユーザインターフェース６００を示している。今日のユーザインターフェース６２０は、図示のように、天候情報、カレンダー情報などを提示してもよい。

図６Ｄは、空調ユーザインターフェース６３０を有する例示的なユーザインターフェース６００を示している。

図７Ａは、オフロードに関連する運転ビューの例示的なユーザインターフェース７００を示している。このユーザインターフェース７００には、自律視覚化（例えば、車両の描写７０２Ａ、及び車両が運転されている環境７０４）が示される。更に、ユーザインターフェース７００は、環境７０４のトポロジを通知する地図情報を含み得る。いくつかの実施形態では、本明細書に記載の統合ユーザインターフェースは、検出された道路状況に基づいて、オフロード情報を自動的に提示してもよい。例えば、車両に含まれるシステム又はプロセッサは、オフロード状況が検出されたときを判定し、ユーザインターフェース７００にオフロード情報を提示させてもよい。この例では、検出された運転状況に基づいて、オフロード状況を検出してもよい。したがって、いくつかの実施形態では、状況情報は、オフロード状況を反映してもよい。

例えば、運転状況は、振動に関連する尺度、車両に関連する角度変化、タイヤのスリップなどに基づいてもよい。更に、センサ情報（例えば、画像センサ）は、車両が運転されている表面の種類を確認するために、使用されてもよい。したがって、表面の種類が岩、砂地などである場合、オフロード状況を検出し得る。別の例として、システムは、オフロード情報の提示を通知するために、車両の位置を使用し得る。例えば、地図は、車両が既知の道路の外側にあるか、又はオフロードに関連することが知られている未舗装路にあることを示してもよい。

例示的なオフロード情報は、車両に関連するロールの尺度を含み得る。例えば、描写７０２Ａは、自律視覚化に関して上述したように、環境７０４に関して走行するものとして示されてもよい。しかしながら、オフロードについて、描写７０２Ａは、ロールの尺度（例えば、「８度」）を更に示してもよい。このロールは、図７Ａに示すように、グラフィカルに描写されてもよい。更に、ピッチ７０２Ｂの尺度を含んでもよい。図７Ａの例では、ピッチ７０２Ｂは１４度である。車両内のセンサは、これらの測定角度を通知するために、使用され得る。

ユーザインターフェース７００の運転者側には、画像センサ７０６からのビデオ又は画像が含まれる。ユーザインターフェース７００のユーザは、画像又はビデオの提示を引き起こしたアイコンを選択していてもよい。有利には、画像又はビデオは、運転ビューを遮ることなく提示され得る。図示のように、岩山の登坂及び／又は駆動系に関連する情報を提示し得る。

図７Ｂは、駆動系情報７０８を提示する例示的なユーザインターフェース７００を示している。例えば、車輪ごとのタイヤ空気圧、トルク、サスペンションなどに関連する情報が含まれる。

図８Ａは、トラックトレーラ用の例示的なユーザインターフェース８００を示している。本明細書に記載の車両は、トラックであってもよい。有利には、統合ユーザインターフェースは、トラックトレーラの牽引に関連する情報を提示し得る。例えば、情報は、ユーザインターフェース８００を介して牽引モードを選択するユーザに基づいて提示されてもよい。情報はまた、トラックトレーラが近接していること（例えば、トラックの後ろ）を検出するトラック内のカメラ又はセンサに基づいて提示されてもよい。情報はまた、車両に対する無線通信を設けたトラックトレーラに基づいて、提示されてもよい。したがって、状況情報は、トラックが、トレーラを牽引しようとしているか、そうでなければトレーラを接続しようとしていることを示し得る。

図示の例では、自律視覚化が含まれる。例えば、車両のグラフィック描写８０２が含まれる。トレーラの取り付けに関連する現在の状況により、描写８０２は、車両の上面図として提示される。トレーラ８０４の表現が更に含まれる。トレーラ８０４のこの表現は、カメラ及び／又はセンサを使用して生成され得る。例えば、トレーラの視界に基づいて、モデルを生成してもよい。任意選択で、ユーザインターフェース８００は、トレーラの事前レンダリングされたバージョンを提供してもよい。例えば、車両に含まれるシステム（例えば、システム１００）は、記憶したトレーラのモデルを有してもよい。したがって、ユーザインターフェース８００は、トレーラ８０４の配置を反映し得る。

ユーザインターフェース８００は、車両及びトレーラのための取り付け点８０６Ａ～８０６Ｂを更に含む。いくつかの実施形態では、ユーザインターフェース８００のユーザは、これらの取り付け点８０６Ａ～８０６Ｂを後方に備え、及び整列させてもよい。いくつかの実施形態では、車両は自動運転であってもよく、自動的にバックしてもよい。図示のように、トレーラは自動的に検出され（例えば、「トレーラを検出」）、車両とトレーラとの間の距離も示し得る（例えば、「残り４フィート」）。距離は、レーダ、超音波、及び／又は画像センサを介して決定され得る。いくつかの実施形態では、ユーザインターフェースのユーザは、取り付けを開始するか、そうでなければ、取り付けさせるために、「取り付け」選択可能な物体を選択してもよい。

カメラ８０８からの画像又はビデオも、ユーザインターフェース８００に含まれる。これらは、ユーザインターフェース８００に含まれるアイコンのユーザ入力に基づいて提示され得る。これらはまた、車両がトレーラを牽引している間、又は牽引しようとしている間に提示され得る。

図８Ｂは、トレーラを牽引するための運転ビューを含む例示的なユーザインターフェース８００を示している。本明細書に記載するように、トレーラが車両に取り付けられ、車両が運転されていることを、状況情報は示し得る。図示の例では、自律視覚化が含まれている。視覚化は、トレーラ８０４と共に、車両のグラフィック描写８０２を含む。この描写は、リアルタイムで調整され得る。例えば、車両内のカメラ及び／又はセンサは、トレーラを監視してもよい。したがって、ユーザインターフェース８００には、任意のローリング、ジョスリング（ｊｏｓｔｌｉｎｇ）、スライドなどを提示し得る。いくつかの実施形態では、トレーラは、その状態を監視するために、使用可能なセンサ及び／又はカメラを含んでもよい。これは、トレーラ８０４及び／又は環境のレンダリングを通知するために、受信され、及び使用され得る。例えば、トレーラの後部の画像センサは、トレーラの後方にある車両及び／又は物体を識別するために、使用されてもよい。

この例では、高速道路の環境８１０がレンダリングされる。例えば、他の車両と共に高速道路の車線が含まれる。いくつかの実施形態では、トレーラのサイズを知らせてもよく、これにより、運転者は、ユーザインターフェース８００を信頼して、他の車両及び／又は物体への近接を見ることができる。

画像センサ８１４からのカメラ情報は、見やすくするために、ユーザインターフェース８００に更に含まれる。本明細書に記載するように、このカメラ情報は、車両８０２及び環境８１０の運転ビューからオフセットされてもよい。トレーラの重量などの牽引情報８１２が、更に含まれる。

図９は、キャンパーモード用の例示的なユーザインターフェース９００を示している。いくつかの実施形態では、車両をキャンパーモードにしてもよい。したがって、状況情報は、キャンパーモードを反映し得る。本明細書に記載の統合ユーザインターフェースは、キャンパ９０４のグラフィック描写と共に、車両９０２のグラフィック描写を反映するように更新され得る。更に、車両への付属品が、グラフィカルに示され得る。いくつかの実施形態では、これらの付属品は、車両に含まれるシステムによって自動的に検出されてもよい。例えば、付属品を、車両上のカメラを使用して検出してもよい。付属品はまた、それらの機能又は使用を識別する無線情報を提供してもよい。

図９の例では、例示的な付属品は、コンロ９０６である。ユーザインターフェース９００を介して、ユーザは、コンロ９０６の態様を制御し得る。例えば、ユーザは、食品の調理の開始を指示してもよい。別の例として、ユーザは、熱（例えば、高温、中温など）に関連する温度又は測定値を指定してもよい。制御情報を、有線又は無線通信を介してコンロ９０６に送信してもよい。

図１０Ａは、車両の走行のための例示的なユーザインターフェース１０００を示している。この例では、状況情報は、車両が、任意の位置に向かって走行していることを示し得る。ユーザが、任意の位置への走行指示を辿るために、例示的なユーザインターフェース１０００を使用し得る。このユーザインターフェース１０００はまた、車両が自律モード又は半自律モード（例えば、自動運転モード）にある間に提示されてもよい。

自律視覚化（例えば、車両のグラフィック描写１００２及び高速道路の環境１００４）が、ユーザインターフェース１０００に含まれる。図示のように、環境１００４は、カープール車線、二重線、他の車両などを示す。また、ユーザインターフェースには、地図情報が含まれる。一例として、地図情報は、街路名（例えば、「Ｃｒｅｎｓｈａｗ通り」１００６）、車線の方向性などを通知してもよい。自律視覚化と地図情報との組合せビューは、上述したように運転モードを表し得る。

ユーザインターフェース１０００には、車両の次の曲がり角を示す情報１００６を含む。少なくとも図１Ａ～図１Ｂで記載したように、走行中に、統合ユーザインターフェースは、走行イベントを示す組合せビューを任意選択で提示し得る。したがって、組合せビューは、車両の次の曲がり角を示し得る。複雑な曲がり角の場合、環境１００４は、図２Ｂに記載するように、多くの上面図を示すために任意選択で縮小し得る。

ナビゲーション技術は、センサ及び／又はカメラに依存するので、車両に含まれるシステムは、車両の位置の正確な知識を有し得る。例えば、システムは、車両が運転されている正確な車線を識別し得る。したがって、ユーザインターフェース１０００は、車両が次の車線１００８に移動すべきであることを示し得る。図示のように、ユーザインターフェース１０００は、次の車線１００８に移動する車両を（例えば、動画化して）示す。同様に、ユーザインターフェース１０００は、他の車両の存在を示し得る。したがって、次の車線１００８に車両がある場合、ユーザインターフェース１０００は、それが安全に移動するまで、待つべきであることを示し得る。自動運転モードの場合、強調表示された次の車線１００８は、車両が車線を変更しているか、又は車線を変更しようしていることを、ユーザに通知するために、使用され得る。

上述したように、ユーザは、車両機能に関連付けられたメニュー又はユーザインターフェースを提示するために、アイコン１０１０と対話し得る。アイコンを選択すると、車両１００２と環境１００４との組合せビューのサイズは、縮小され得る。

更に、運転モードにあるとき、ユーザは、組合せビューを縮小させ得る。例えば、ユーザは、ピンチ／ズーム技術を使用して、組合せビューを縮小させてもよい。したがって、縮小した組合せビューは、大きな地図領域を反映し得る。例えば、追加の街路、高速道路などが、ユーザインターフェースに反映されてもよい。更に、縮小した組合せビューは、車両のグラフィック描写１００２のサイズを縮小し得る。車両、及び／又は車両に近接する物体は、縮小した組合せビューに含まれ得る。例えば、ユーザが、少しだけ縮小した場合、図１０Ａの組合せビューで見ることができるほど十分に近くない別の車両が、レンダリングされる可能性がある。更に、縮小したビューは、任意の位置への経路の大きな部分を強調表示し得る。

図１０Ｂは、車両の走行のための別の例示的なユーザインターフェース１０００を示している。図示の例では、車両は図１０Ａに示す次の車線１００８に移動している。次いで、ユーザインターフェース１０００は、車両がこの車線から出ることを反映するように更新している。

図１０Ｃは、車両の走行のための別の例示的なユーザインターフェース１０００を示している。図示の例では、車両は、次の曲がり角（例えば、出口）に近づいている。いくつかの実施形態では、移動を示すアイコンを提示してもよい。別の例として、車線１０１２が、強調表示され、車両が辿るべき湾曲経路を示す。ユーザインターフェース１０００は、運転者がナビゲーションを迅速に辿り得るように、多くの経路（例えば、右上の湾曲部１０１４）を示すために、有利に縮小し得る。いくつかの実施形態では、出口を出る際に、ユーザインターフェース１０００は、多くの上面図を示すために部分的に縮小してもよい。任意選択で、ユーザインターフェース１０００は、今後の一連の曲がり角の複雑さに応じて縮小してもよい。縮小の技術は、図２Ｂに関して上述している。

図１１Ａ～図１１Ｃは、ナビゲーション情報を選択するためのユーザインターフェース１１００を示している。図１１Ａに示すように、ユーザは、ナビゲーション・ユーザ・インターフェース１１０２を介して位置を検索し得る。したがって、状況情報は、ユーザが走行する意図を反映し得る。自律視覚化１１０４と地図情報との組合せビューが、ユーザインターフェース１１００に更に含まれる、

図１１Ｂは、ナビゲーション・ユーザ・インターフェース１１０２を介した任意の位置の選択を示している。任意の位置の要約情報１１０６は、ユーザインターフェース１１００に提示され得る。更に、組合せビュー１１０４は、縮小して、任意の位置のグラフィック描写１１０８を提示し得る。このようにして、ユーザは、選択した位置と共に、ユーザの車両の位置を見ることができる。

図１１Ｃは、任意の位置までの経路１１１０を示している。いくつかの実施形態では、方向１１１２の概要が、ユーザインターフェース１１００に含まれてもよい。任意選択で、この概要は、車両が駐車モードにある間、又は任意の位置の選択後の閾値時間にわたって含まれてもよい。本明細書に記載するように、その後、組合せビュー１１０４は、拡大して、運転ビューを描写し得る。例えば、拡大のシームレスなアニメーションを、ユーザインターフェースに含めてもよい。この例では、アニメーションは、上方の斜視ビューから、（例えば、図１０Ａに示すような）近接後方ビューに、配置を調整するレンダリングカメラ又は仮想カメラを反映し得る。

・顔の認識及び同乗者の追跡
上述したように、いくつかの実施形態では、車両に含まれるシステムは、どの車両搭乗者（例えば、運転者、助手席の同乗者）が、ディスプレイにユーザ入力を提供しようとしているかを識別してもよい。例えば、システムは、状況ユーザ・インターフェース・システム１００であってもよい。この識別に基づいて、ディスプレイ上に提示される統合ユーザインターフェースは、更新され得る。例えば、アイコンをディスプレイの左右で切り替えてもよい。以下に記載するように、システムは、搭乗者の追跡に基づいて、車両の操作の他の態様を調整し得る。一例として、システムは、顔認識技術を使用して、車両の搭乗者を学習してもよい。したがって、搭乗者にとって好ましい設定及び／又はプロファイル情報を、システムが学習してもよい。別の例として、システムは、検出した搭乗者の配置に基づいて、ミラー、空調、ハンドルなどを調整してもよい。

図１２は、搭乗者嗜好情報を搭乗者に関連付けるための例示的なプロセス１２００のフローチャートである。便宜上、プロセス１２００は、１つ又は複数のコンピュータのシステム（例えば、状況ユーザ・インターフェース・システム１００）によって実施されるものとして記載する。

ブロック１２０２において、システムは、車両内の搭乗者を識別する。システムは、カメラ及び／又はセンサを使用して、搭乗者が車両に乗ったことを識別し得る。例えば、センサは、赤外線エミッタ又はプロジェクタであってもよい。この例では、ビームが遮断された場合、システムは搭乗者が座っていることを識別し得る。別の例として、機械学習技術は、画像に基づいて、人物を識別するために使用され得る。例えば、畳み込みニューラルネットワークを利用してもよい。別の例として、車両ドアを開放する時、及び／又は搭乗者が座席にいることを座席重量センサが示す時に、システムは、搭乗者を識別し得る。

ブロック１２０４において、システムは、搭乗者の顔を認識するために使用可能な情報を記憶する。システムは、深層学習技術を使用し得る。例えば、システムは、車両内又は車両外側に配置された１つ又は複数のカメラを使用して、搭乗者の顔の画像を取得してもよい（例えば、画像は、搭乗者が車両に乗るときに撮影されてもよい）。次いで、システムは、深層学習モデルを使用して、モデルによって以前に学習された例示的な顔空間内の搭乗者の顔を符号化し得る。したがって、顔の限られた数の画像のみを使用して、搭乗者を一意に識別し得る。

ブロック１２０６において、システムは、搭乗者の嗜好の指示を受信する。搭乗者は、ミラー、座席配置、空調、音楽の嗜好などを調整し得る。これらの嗜好、又はその一部を、システムが記憶してもよい。

ブロック１２０８において、システムは、搭乗者の嗜好を搭乗者に関連付ける。システムは、搭乗者が、じ後、車両に乗るときに嗜好を利用し得るように、嗜好を記憶し得る。

顔認識技術が使用されるすべての状況において、これらはオプトイン（ｏｐｔ－ｉｎ）であってもよいことを理解されたい。更に、記憶した情報は、車両にローカルに記憶されてもよく、暗号化されてもよい。

図１３Ａは、搭乗者の追跡に基づいて、空調を調整するための例示的なプロセス１３００のフローチャートである。便宜上、プロセス１３００は、１つ又は複数のコンピュータのシステム（例えば、状況ユーザ・インターフェース・システム１００）によって実施されるものとして記載する。

ブロック１３０２において、システムは、図１２に記載するように、車両の搭乗者を識別する。ブロック１３０４において、システムは、暖房、換気、及び空調（ＨＶＡＣ）システムを介して、空気を送出する。例えば、システムは、車両内のＨＶＡＣシステムから空気の流れを介して、調整された空気を送出してもよい。ＨＶＡＣシステムは、空気の流れに関連する高さ（例えば、垂直軸）を変更するために使用可能な別の流れを更に含み得る。更に、ＨＶＡＣシステムは、水平軸に沿って空気の流れを調整し得る。空気の水平及び垂直送出を調整し得るＨＶＡＣシステムに関する追加の説明は、米国特許出願第１５，０６０，５９０号に含まれ、それは、その全体が参照により本明細書に組み込まれる。

ブロック１３０６において、システムは、搭乗者の画像又はビデオに基づいて、搭乗者の身体の一部の任意の位置を決定する。例えば、その一部は、搭乗者の顔であってもよい。いくつかの実施形態では、システムは、搭乗者について記憶した顔認識情報を有してもよい。いくつかの実施形態では、システムは、顔認識技術なしに、顔を判定してもよい。例えば、システムは、搭乗者の画像から顔をセグメント化するために使用可能な深層学習モデル又は他の機械学習モデルを使用してもよい。

ブロック１３０８において、システムは、任意の位置の追跡に基づいて、空気の送出を調整する。搭乗者が、例えば、前屈みになる／座る／頭を回転させる／など、自分の座席内で動くとき、システムは、空気を調整して、任意の位置に焦点を合わせてもよい。このようにして、空気を搭乗者の顔に連続的に当てる。いくつかの実施形態では、内部の内部温度が閾値よりも高い場合、システムは搭乗者の顔に空気を向けてもよい。いくつかの実施形態では、外部温度が高く、搭乗者が事前閾値時間内に車両に乗った場合、システムは空気を向けてよい。このようにして、システムにより、搭乗者を冷却し得る。いくつかの実施形態では、搭乗者の温度を監視するために、熱センサ又はカメラを使用してもよい。例えば、走っていた、又は高温の外気中にいたなど、搭乗者の顔が高温である場合、システムは、空気が搭乗者の顔に当たることを確保し得る。

任意選択で、システムは、搭乗者の顔を避けるように、空気を送出し得る。例えば、空気を搭乗者の顔に当てる閾値時間の後で、システムは、空気を搭乗者の身体に向けさせてもよい。別の例として、システムは、内部温度が閾値を下回る場合を識別し、その後、空気を身体に向けさせてもよい。

任意選択で、搭乗者が、自分の顔、身体を追跡する空気を好むか否か、又は追跡を実施しないことを好むか否かを示してもよい。

図１３Ｂ～図１３Ｄは、搭乗者を追跡する空調の例示的なユーザインターフェースを示している。これらのユーザインターフェースに示すように、空気流１３１０が調整されている。本明細書に記載の統合ユーザインターフェースなどのユーザインターフェースは、空気のリアルタイム調整を提示し得る。例えば、調整は、車両の描写と地図情報との組合せビューに近接して配置された空調制御ユーザインターフェースに提示されてもよい。

図１４は、搭乗者の追跡に基づいて、ミラーを調整するための例示的なプロセス１４００のフローチャートである。便宜上、プロセス１４００は、１つ又は複数のコンピュータのシステム（例えば、状況ユーザ・インターフェース・システム１００）によって実施されるものとして記載する。

ブロック１４０２において、システムは、車両内の搭乗者を識別する。ブロック１４０４において、搭乗者の画像又はビデオに基づいて、搭乗者の顔の任意の一部の位置を決定する。例えば、システムは、搭乗者の目の位置を決定する。いくつかの実施形態では、システムは、目の高さ、目の水平配置（例えば、Ｘ、Ｙ、Ｚ座標）、目と目の距離などを判定してもよい。いくつかの実施形態では、システムは、各目から延在するベクトルを決定して、目を向けている位置を通知してもよい。

ブロック１４０８において、システムは、任意の一部の追跡に基づいて、ミラーを調整する。システムは、搭乗者の目の配置情報に基づいて、サイドミラー、バックミラーなどを調整してもよい。例えば、システムは、サイドミラーを使用する搭乗者の目が実質的に最適な視野を得ていることを確保するように、サイドミラーを調整してもよい。同様に、システムは、一貫した後方ビュー画像を搭乗者にもたらすことを確保するように、搭乗者が頭を動かすと、バックミラーを調整してもよい。

いくつかの実施形態では、搭乗者がミラーを好適に見るために、搭乗者の配置を調整することを推奨するユーザインターフェースが提示されてもよい。例えば、搭乗者の座席は、ミラーを見る場合、不利な配置である可能性がある。別の例として、搭乗者は、特定の座席配置で好適にミラーを見るには、低すぎたり、高すぎたりする可能性がある。いくつかの実施形態では、システムは、座席を自動的に調整（例えば、座席を上昇させる、座席を下降させる、など）してもよい。

空調及びミラーの調整に加えて、システムはまた、ハンドルを調整し得る。例えば、システムは、搭乗者の身長に基づいて、ハンドルを調整してもよい。身長は、搭乗者の顔、又は搭乗者の身体の別の部分（例えば、腕、胴体など）の高さに基づいて通知されてもよい。したがって、搭乗者の画像及び／又はビデオを使用して、システムは、ハンドルを自動的に調整してもよい。

いくつかの実施形態では、システムは、車両の内部の画像又はビデオを使用して、何らかの動物が存在するか否かを判定してもよい。例えば、システムは、人が車両を離れたときに、犬又は他の動物が車両内に存在することを識別すると、自動的にドッグモードをトリガしてもよい。いくつかの実施形態では、システムは、顔の追跡又は目の追跡を使用して、自動運転技術が関与しているときに、運転者が道路を監視することを確保してもよい。

・他の実施形態
例示的な実施形態は、方法、システム、及び非一時的コンピュータ記憶媒体を含み得る。例示的な方法は、１つ又は複数のプロセッサのシステムによって実施され、システムは、車両に含まれ、方法は、車両のディスプレイを介して、自律視覚化と地図情報とを集約する組合せビューを備える統合ユーザインターフェースを提示させることであって、自律視覚化と地図情報とが、倍率レベルに関連付けられ、統合ユーザインターフェースが、車両の操作を示す第１の状況情報に基づいて生成される、提示させることと、車両の後続の操作を示す第２の状況情報にアクセスすることと、第２の状況情報に基づいて統合ユーザインターフェースを更新することと、を含み、組合せビューが、調整され、組合せビューを調整することが、統合ユーザインターフェース内の組合せビューのサイズを調整すること、又は倍率レベルを調整することを含む。

上記の実施形態は、以下のうちの１つ又は複数を含んでもよい。自律視覚化は、車両のグラフィック描写を含む。自律視覚化は、車両のグラフィック描写と、車両が位置する現実世界環境のグラフィック表現と、を含む。現実世界環境のグラフィック表現は、車両に近接する他の車両の１つ又はグラフィック描写を備える。現実世界環境のグラフィック表現は、他の車両のグラフィック描写と、車両に近接する１つ又は複数の物体のグラフィック表現と、を備える。物体は、道路標示、一時停止標識、信号灯、歩行者、ごみ箱、又は道路標識を含む。組合せビューは、車両が位置する道路の１つ又は複数の車線のグラフィック表現と、１つ又は複数の車線のうちの特定の車線に配置された車両のグラフィック描写と、道路に関連する地図のグラフィック表現を備える地図情報と、を含み、車両のグラフィック描写は、地図上にあるように描写される。組合せビューは、レンダリングカメラ又は仮想カメラが車両の後部の上方の閾値距離に配置される、現実世界環境のレンダリングされたビューを表す。組合せビューは、運転ビューを表し、車両のグラフィック描写は、特定の車線における運転としてアニメーション化される。地図は、道路の名称を示す。地図は、道路に近接する他の道路の他の名称を示す。実施形態は、組合せビューに関連付けられた倍率レベルを更新することに関連するユーザ入力を受信することと、更新した倍率レベルに基づいて地図情報の一部を識別することと、組合せビューを更新することと、を更に含み、組合せビューは、地図情報の一部のグラフィック表現を含む。組合せビューを更新することは、自律視覚化のサイズを変更することを含む。自律視覚化は、車両のグラフィック描写を備え、グラフィック描写は、更新した倍率レベルに基づいてサイズが縮小される。第１の状況情報は、車両が駐車場にあることを示し、第２の状況情報は、統合ユーザインターフェースを介して車両機能の制御に関連付けられる。車両機能の制御は、暖房、換気、及び空調システムの制御、又は音楽アプリケーションの制御、又はナビゲーション・ユーザ・インターフェースの制御を備える。統合ユーザインターフェースは、それぞれの車両機能に関連付けられた複数のアイコンを含み、統合ユーザインターフェースを更新することは、選択されたアイコンに関連付けられたメニューを含むように統合ユーザインターフェースを更新することであって、メニューは、統合ユーザインターフェースの第１の部分に含まれる、更新することと、組合せビューのサイズを変更することと、を含み、その組合せは、メニューによって遮られていない第２の部分に含まれる。第１の状況情報は、車両が経路に沿って走行していることを示し、組合せビューは、ナビゲーション情報を更に集約し、第２の状況情報は、車両が経路に沿って移動したことを示す。経路は、ナビゲーション情報に示された複数の運転イベントに関連付けられ、統合ユーザインターフェースを更新することは、車両の位置の閾値距離内にある、又はその位置の閾値運転時間内にある運転イベントのサブセットを識別することと、識別したサブセットに基づいて、倍率レベルが調整されるべきであると決定することと、を含む。倍率レベルが調整されるべきであると決定することは、運転イベントのサブセットに関連付けられた１つ又は複数の複雑さの尺度に基づく。倍率レベルが調整されるべきであると決定することは、閾値を超える識別したサブセットの数に基づく。自律視覚化のサイズは、調整された倍率レベルに基づいて調整され、地図情報に関連する領域は、調整された倍率レベルに基づいて広げられる。経路は、ナビゲーション情報に示された複数の運転イベントに関連付けられ、組合せビューは、複数の運転イベントのうちの第１の運転イベントを示し、方法は、倍率レベルを調整することを更に含み、組合せビューは、複数の運転イベントのうちの複数の第２の運転イベントを示す。経路は、ナビゲーション情報に示された複数の運転イベントに関連付けられ、統合ユーザインターフェースを更新することは、車両の位置の閾値距離内にある、又はその位置の閾値運転時間内にある少なくとも１つの運転イベントを識別することと、少なくとも１つの運転イベントに基づいて、倍率レベルが調整されるべきであると決定することと、を含む。少なくとも１つの運転イベントは、高速道路から地上道路への移行を示す。統合ユーザインターフェースは、倍率レベルを調整させ、又は特定の方向に沿って地図情報を移行させる、ユーザ入力に応答する。操作は、特定の方向に沿って地図情報を移行させるユーザ入力を受信することを更に含み、ユーザ入力は、特定の方向を示すためのスワイプ操作と、地図情報の移行に基づいて地図情報の一部にアクセスすることと、地図情報の一部を提示するための組合せビューを更新することと、を含む。組合せビューを更新することは、車両の位置が地図情報の一部に含まれていないことを識別することと、地図情報の一部を含むように組合せビューを更新することと、を含み、自律視覚化は、車両のグラフィック描写を備え、車両のグラフィック描写は、組合せビューには含まれない。組合せビューを更新することは、車両の任意の位置が地図情報の一部に含まれていないことを識別することと、地図情報の更新された部分が識別されるように倍率レベルを調整することであって、地図情報の更新された部分が任意の位置を含む、調整することと、調整された倍率レベルに基づいて、組合せビューを更新することであって、自律視覚化は、車両のグラフィック描写を備え、車両のグラフィック描写のサイズは、組合せビューにおいて縮小される、更新することと、を含む。

例示的な実施形態は、１つ又は複数のプロセッサと、車両に含まれるディスプレイを介して提示するためのユーザインターフェースを、１つ又は複数のプロセッサにレンダリングさせる命令を記憶する非一時的記憶媒体と、を備えるシステムを更に含むことができ、ユーザインターフェースは、自律視覚化と地図情報とを統合する組合せビューを提示することであって、自律視覚化が、車両のグラフィック描写を備える、提示することと、複数のアイコンのうちの１つのアイコンの選択に応答することであって、アイコンが、それぞれの車両機能の制御に関連付けられ、ユーザインターフェースが、選択に応答して、アイコン・ユーザ・インターフェースを提示する、応答することと、アイコン・ユーザ・インターフェースが組合せビューを遮らないように、組合せビューを動的に調整することと、を実施する。

上記の実施形態は、以下のうちの１つ又は複数を含んでもよい。ディスプレイはタッチ感知式であり、ユーザインターフェースはタッチ入力に応答する。ユーザインターフェースは、１つ又は複数の言葉によるコマンドに応答する。命令は、１つ又は複数のプロセッサに、車両の操作に関連付けられた状況情報にアクセスさせ、状況情報は、車両が運転モードにあることを示し、自律視覚化は、車両に近接した現実世界環境のグラフィック表現を備える。現実世界環境のグラフィック表現は、車両に近接する他の車両の１つ又はグラフィック描写を備える。自律視覚化は、任意の閾値頻度で１つ又は複数のプロセッサによって更新される。自律視覚化を更新するために、命令は、車両周りに配置された画像センサから決定された情報を取得することであって、情報が、車両に近接する他の車両に関する配置情報を反映する、取得することと、他の車両に関連付けられたそれぞれのモデルにアクセスすることと、組合せビューに含めるためにモデルをレンダリングすることと、を１つ又は複数のプロセッサに実施させる。車両機能の制御は、暖房、換気、及び空調システムの制御、又は音楽アプリケーションの制御、又はナビゲーション・ユーザ・インターフェースの制御を備える。命令は、１つ又は複数のプロセッサに、車両の操作に関連付けられた状況情報にアクセスさせ、状況情報は、車両がナビゲーションモードにあることを示し、組合せビューが、ナビゲーション情報を更に統合し、組合せビューについて、自律視覚化は、車両に近接した現実世界環境のグラフィック表現を備え、組合せビューについて、ナビゲーション情報は、車両の位置の閾値距離又は運転時間内にあるそれぞれの運転イベントの１つ又は複数のグラフィック表現を備え、組合せビューについて、地図情報は、車両の位置に関連する地図の一部のグラフィック表現を備える。特定の運転イベントは、高速道路を出ることを含み、特定の運転イベントのグラフィック表現は、車両が移動する車線の数の指示を備える。特定の運転イベントのグラフィック表現は、いくつかの車線を越えて移動する車両のグラフィック描写のアニメーションを備える。組合せビューに関連付けられた倍率レベルは、特定の運転イベントに基づいて大きくされる。車両のグラフィック描写のサイズは、倍率レベルに基づく倍率に基づいて縮小され、地図の一部の領域が広げられる。経路のグラフィック表現が、組合せビューに含まれ、経路のグラフィック表現は、地図の一部に関連付けられた１つ又は複数の今後の運転イベントを要約する。自律視覚化は、複数の車線のうちの特定の車線にある車両のグラフィック描写を含む。組合せビューを動的に調整することは、ユーザインターフェース内の組合せビューのサイズを縮小することと、組合せビューをユーザインターフェースの第１の部分になるように調整することと、を含む。アイコン・ユーザ・インターフェースは、ユーザインターフェースの第２の部分にあり、第２の部分は第１の部分を遮らない。ユーザインターフェースは、アイコン・ユーザ・インターフェースに向けられたユーザ入力に応答し、ユーザ入力は、選択されたアイコンに関連付けられた車両機能の調整をさせ、ユーザインターフェースを実質的に包含するように組合せビューを動的に調整し、アイコン・ユーザ・インターフェースは、ユーザインターフェースへの包含から除去される。アイコン・ユーザ・インターフェースは、トレーラを車両に接続することに関連付けられる。アイコン・ユーザ・インターフェースは、トレーラと車両との間の距離の尺度の表示を提示し、アイコン・ユーザ・インターフェースは、車両周りの画像センサから取得された画像又はビデオを提示する。自律視覚化は、トレーラのグラフィック描写を備える。ユーザインターフェースは、アイコンを選択するユーザに近接するディスプレイの側面にアイコンを提示する。

例示的な実施形態は、方法、システム、及び非一時的コンピュータ記憶媒体を含み得る。例示的な非一時的コンピュータ記憶媒体は、１つ又は複数のプロセッサのシステムによって実行される命令を記憶し、システムは、車両に含まれ、命令は、車両のディスプレイを介して、自律視覚化、地図情報、及びナビゲーション情報を集約する組合せビューを備える統合ユーザインターフェースの提示をさせることであって、組合せビューは、組合せビューに反映された現実世界環境の領域を示す倍率レベルに関連付けられ、車両は、目的地に関連付けられたナビゲーションモードにある、提示をさせることと、複数のセンサからのセンサ情報にアクセスすることであって、センサ情報は、車両の位置と、車両周りに配置された画像センサからの画像とを備える、アクセスすることと、倍率レベルがセンサ情報に基づいて調整されるべきであると決定することであって、組合せビューは、調整された倍率レベルに関連付けられるように更新される、決定することと、を含む操作を１つ又は複数のプロセッサに実施させる。

上記の実施形態は、以下のうちの１つ又は複数を含んでもよい。組合せビューについて、自律視覚化は、車両のグラフィック描写、及び車両に近接した現実世界環境のグラフィック表現を備え、グラフィック表現は、画像センサからの画像に基づいて生成され、地図情報は、現実世界環境の領域に関連付けられた地図の一部のグラフィック表現を備え、ナビゲーション情報は、現実世界環境の領域に関連付けられた運転イベントの１つ又は複数のグラフィック表現を備える。現実世界環境のグラフィック表現は、車両が運転されている道路に関連付けられた１つ又は複数の車線を描写し、車両のグラフィック描写は、１つ又は複数の車線のうちの特定の車線に描写される。特定の車線は、画像センサからの画像に基づいて識別される。センサ情報に基づいて倍率レベルが調整されるべきであると決定することは、ナビゲーション情報に基づいて、車両の位置の閾値距離又は運転時間内にある特定の数の運転イベントを識別することを含み、その決定は、特定の数の運転イベントに基づく。倍率が調整されるべきレベルであると決定することは、特定の数の運転イベントに関連付けられた１つ又は複数の複雑さの尺度に基づく。倍率が調整されるべきレベルであると決定することは、閾値を超える特定の数の運転イベントに基づく。センサ情報に基づいて倍率レベルが調整されるべきであると決定することは、センサ情報及びナビゲーション情報に基づいて、目的地までの経路が更新されるように、今後の運転イベントがスキップされるべきであることを識別することと、倍率レベルを調整することと、を含み、組合せビューは、更新された経路のグラフィック表現を含む。今後の運転イベントがスキップされるべきであることを識別することは、画像センサからの画像に基づいており、画像は、今後の運転イベントに関連する危険物を識別するために解析される。センサ情報に基づいて倍率レベルが調整されるべきであると決定することは、センサ情報及びナビゲーション情報に基づいて、今後の運転イベントが倍率レベルの調整に関連付けられた特定の種類のものであることを識別することと、倍率レベルを調整することと、を含み、組合せビューは、調整された倍率レベルに関連付けられた１つ又は複数の運転イベントのグラフィック表現を含む。特定の種類は、高速道路から地上道路に出ることを含む。組合せビューは、調整された倍率レベルに関連付けられた経路を示すように更新される。

例示的な実施形態は、方法、システム、及び非一時的コンピュータ記憶媒体を含み得る。１つ又は複数のプロセッサのシステムによって実施される例示的な方法であって、システムは、車両の内部に配置された１つ又は複数のセンサと通信し、方法が、車両の内部の搭乗者の存在を識別することと、センサからのセンサ情報に基づいて、追跡される搭乗者の一部を決定することと、搭乗者の一部の追跡に基づいて車両機能の操作を制御することと、を含み、車両機能が、空調制御、ミラー制御、及び／又はハンドル配置を備える、方法。

上記の実施形態は、以下のうちの１つ又は複数を含んでもよい。搭乗者の存在を識別することは、車両内で対向する画像センサから取得された１つ又は複数の画像に基づく。搭乗者の存在を識別することは、車両の座席に含まれる圧力センサに基づく。搭乗者の存在を識別することは、搭乗者によって使用されるユーザデバイスの検出に基づき、システムは、ユーザデバイスと無線通信する。搭乗者の存在を識別することは、座席に向けられた赤外線エミッタの中断に基づく。操作は、搭乗者を認識するために使用可能な情報を記憶することを更に含み、情報は、搭乗者の顔の１つ又は複数の画像に基づく。情報は、学習済みベクトル空間に対する符号化ベクトルを備え、符号化ベクトルは、機械学習モデルを介して生成される。操作は、搭乗者に関連するプロファイルを生成することを更に含み、プロファイルは、搭乗者を認識するために使用可能な情報に関連付けられ、プロファイルは、車両機能の操作に関する搭乗者の嗜好を示す。追跡される搭乗者の一部を決定することは、車両内で対向する画像センサからの搭乗者の１つ又は複数の画像に基づく。車両機能の操作を制御することは、空気の送出を搭乗者の一部に向けることを維持するように、暖房、換気、及び空調（ＨＶＡＣ）システムを調整することを含む。車両機能の操作を制御することは、搭乗者の一部に基づいて１つ又は複数のミラーを調整することを含み、その一部は搭乗者の目を備える。方法が、車両のディスプレイを介して、ユーザインターフェースを出力させることを、更に含むことを、操作は更に含み、搭乗者が搭乗者の頭部の配置を調整することを示す推奨を、ユーザインターフェースは提示する。

本明細書に記載の任意の特定の実施形態に従って、必ずしもすべての目的又は利点が達成されるとは限らないことを理解されたい。したがって、例えば、当業者は、特定の実施形態が、本明細書で教示する１つの利点又は利点のグループを達成し、又は最適化する方法で操作するように構成されてもよく、それは、本明細書で教示又は示唆し得る他の目的又は利点を達成する必要はない。

本明細書に記載のプロセスのすべては、１つ又は複数の汎用コンピュータ又はプロセッサを含むコンピューティングシステムによって実行されるソフトウェア・コード・モジュールで具現化され、ソフトウェア・コード・モジュールによって完全に自動化され得る。コードモジュールは、任意の種類の非一時的コンピュータ可読媒体又は他のコンピュータ記憶デバイスに記憶されてもよい。あるいは、方法の一部又は全部は、専用のコンピュータハードウェアで具現化されてもよい。更に、本明細書で言及される構成要素は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの組合せで実装されてもよい。

本明細書に記載したもの以外の多くの他の変形形態が本開示から明らかであろう。例えば、実施形態に応じて、本明細書に記載したアルゴリズムのいずれかの特定の動作、イベント、又は機能は、異なる順序で実施され、完全に、追加、マージ、又は除外され得る（例えば、記載したすべての動作又はイベントが、アルゴリズムの実施に必要であるとは限らない）。更に、特定の実施形態では、動作又はイベントは、順次ではなく、例えば、マルチスレッド処理、割り込み処理、又は複数のプロセッサ若しくはプロセッサコアを介して、あるいは他の並列アーキテクチャ上で、同時に実施されてもよい。更に、様々なタスク又はプロセスは、共に機能し得る異なるマシン及び／又はコンピューティングシステムによって実施され得る。

本明細書に開示した実施形態に関連して記載した様々な例示的な論理ブロック、モジュール、及びアルゴリズム要素は、電子ハードウェア、コンピュータソフトウェア、又は両方の組合せとして実装され得る。ハードウェアとソフトウェアとのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、及び要素を、それらの機能に関して全般的に上述している。そのような機能がハードウェアとして実装されるかソフトウェアとして実装されるかは、特定の用途及びシステム全体に課される設計制約に依存する。記載した機能は、特定の用途ごとに、様々な方法で実装され得るが、そのような実装の決定は、本開示の範囲からの逸脱をもたらすと解釈されるべきではない。

本明細書に開示した実施形態に関連して記憶した様々な例示的な論理ブロック及びモジュールは、本明細書に記載の機能を実施するように設計された、処理装置若しくはプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）若しくは他のプログラマブル論理デバイス、ディスクリートゲート若しくはトランジスタロジック、ディスクリートハードウェア構成要素、又はそれらの任意の組合せなどのマシンによって実装又は実施されてもよい。プロセッサは、マイクロプロセッサとし得るが、代替例では、プロセッサは、コントローラ、マイクロコントローラ、又はステートマシン、それらの組合せなどとし得る。プロセッサは、コンピュータ実行可能命令を処理するように構成された電気回路を含み得る。別の実施形態では、プロセッサは、コンピュータ実行可能命令を処理することなく、論理演算を実施するＦＰＧＡ又は他のプログラマブルデバイスを含む。プロセッサはまた、コンピューティングデバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ若しくは複数のマイクロプロセッサ、又は任意の他のそのような構成として、実装され得る。本明細書では主にデジタル技術に関して記載しているが、プロセッサは、主にアナログ構成要素を含んでもよい。例えば、本明細書に記載の信号処理アルゴリズムの一部又は全部は、アナログ回路、又は混合アナログ及びデジタル回路で実装されてもよい。コンピューティング環境は、限定しないが、いくつか例を挙げると、マイクロプロセッサ、メインフレームコンピュータ、デジタル信号プロセッサ、ポータブル・コンピューティング・デバイス、デバイスコントローラ、又は機器内の計算エンジンに基づくコンピュータシステムを含む、任意の種類のコンピュータシステムを含んでもよい。

本明細書に開示した実施形態に関連して記載した方法、プロセス、又はアルゴリズムの要素は、ハードウェア、１つ若しくは複数のメモリデバイスに記憶され、１つ若しくは複数のプロセッサによって実行されるソフトウェアモジュール、又はこれら２つの組合せで、直接具現化され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ－ＲＯＭ、又は当技術分野で知られている任意の他の形態の１つ又は複数の非一時的コンピュータ可読記憶媒体、又は物理的コンピュータ記憶装置に存在し得る。例示的な記憶媒体は、プロセッサが、その記憶媒体から情報を読み取り、その記憶媒体に情報を書き込み得るように、プロセッサに結合され得る。あるいは、記憶媒体はプロセッサと一体であってもよい。記憶媒体は、揮発性又は不揮発性であってもよい。

とりわけ、「できる」、「し得る」、「場合がある」又は「してもよい」（ｃａｎ，ｃｏｕｌｄ，ｍｉｇｈｔ，ｏｒ ｍａｙ）」などの条件付き言語は、特に明記しない限り、特定の実施形態が、特定の特徴、要素、及び／又はステップを含むが、他の実施形態はそれらを含まないことを伝えるために一般に使用される状況内で通常理解される。したがって、そのような条件付き言語は、一般に、特徴、要素及び／又はステップが、１つ又は複数の実施形態に何らかの形で必要とされることを意味するように、意図しない、あるいは、そのような条件付き言語は、一般に、ユーザ入力又はプロンプトの有無にかかわらず、これらの特徴、要素及び／又はステップが、任意の特定の実施形態に含まれるか、又は任意の特定の実施形態で実施されるべきか否かを、１つ又は複数の実施形態が、決定するためのロジックを必然的に含むことを意味するように、意図しない。

句「Ｘ、Ｙ、又はＺの少なくとも１つ」などの選言的な言語は、特に明記しない限り、項目、用語などがＸ、Ｙ、又はＺのいずれか、あるいはそれらの任意の組合せ（例えば、Ｘ、Ｙ、及び／又はＺ）であり得ることを提示するように、一般に使用される文脈で通常理解される。したがって、そのような選言的な言語は、一般に、特定の実施形態が、それぞれ存在するために、Ｘの少なくとも１つ、Ｙの少なくとも１つ、又はＺの少なくとも１つを必要とすることを意味するものではなく、意図するべきではない。

本明細書に記載し、及び／又は添付の図面に示すフロー図における任意のプロセス記述、要素又はブロックは、プロセスにおける特定の論理機能又は要素を実装するための１つ又は複数の実行可能命令を含む、コードのモジュール、セグメント又は部分を潜在的に表すものとして理解されるべきである。当業者によって理解されるように、含まれる機能に応じて、代替の実装形態が、本明細書に記載の実施形態の範囲内に含まれ、それは、要素又は機能が、実質的に同時に又は逆の順序を含む、図示又は記載した順序で、削除、実行され得る。

特に明記しない限り、「ａ」又は「ａｎ」などの冠詞は、一般に、１つ又は複数の記載した項目を含むと解釈されるべきである。したがって、「～するように構成されたデバイス」などの語句は、１つ又は複数の列挙したデバイスを含むように意図される。そのような１つ又は複数の列挙したデバイスはまた、述べた列挙を実行するように集合的に構成され得る。例えば、「列挙Ａ、Ｂ、及びＣを実行するように構成されたプロセッサ」は、列挙Ｂ及びＣを実行するように構成された第２のプロセッサと連携して動作する、列挙Ａを実行するように構成された第１のプロセッサを含んでもよい。

上記の実施形態に対して、多くの変形及び修正を行うことができ、その要素は他の許容可能な例の中にあると理解されるべきであることを強調する。そのような修正及び変形はすべて、本開示の範囲内で、本明細書に含まれることを意図している。

Claims (30)

1. １つ又は複数のプロセッサのシステムによって実施される方法であって、該システムが、車両に含まれ、
   前記方法が、
   前記車両のディスプレイを介して、自律視覚化と地図情報とを集約する組合せビューを備える統合ユーザインターフェースの提示をさせることであって、該自律視覚化と地図情報とが、倍率レベルに関連付けられ、該統合ユーザインターフェースが、前記車両の操作を示す第１の状況情報に基づいて生成される、提示をさせることと、
   前記車両の後続の操作を示す第２の状況情報にアクセスすることと、
   前記第２の状況情報に基づいて前記統合ユーザインターフェースを更新することと、を含み、
   前記組合せビューが調整され、
   前記組合せビューを調整することが、前記統合ユーザインターフェース内の前記組合せビューのサイズを調整すること、又は前記倍率レベルを調整すること、を含む、方法。
2. 前記自律視覚化が、前記車両のグラフィック描写と、前記車両が位置する現実世界環境のグラフィック表現と、を含む、請求項１に記載の方法。
3. 前記現実世界環境のグラフィック表現が、他の車両のグラフィック描写と、前記車両に近接する１つ又は複数の物体のグラフィック表現と、を備える、請求項２に記載の方法。
4. 前記組合せビューが、
   前記車両が位置する道路の１つ又は複数の車線のグラフィック表現と、
   前記１つ又は複数の車線のうちの特定の車線に配置された前記車両のグラフィック描写と、
   前記道路に関連する地図のグラフィック表現を備える地図情報と、を含み、
   前記車両のグラフィック描写が、前記地図上にあるように描写される、請求項１に記載の方法。
5. 前記組合せビューが、運転ビューを表し、前記車両のグラフィック描写が、前記特定の車線における運転としてアニメーション化される、請求項４に記載の方法。
6. 前記方法が、
   前記組合せビューに関連付けられた前記倍率レベルを更新することに関連するユーザ入力を受信することと、
   前記更新した倍率レベルに基づいて前記地図情報の一部を識別することと、
   前記組合せビューを更新することと、を更に含み、
   前記組合せビューが、前記地図情報の一部のグラフィック表現を含む、請求項１に記載の方法。
7. 前記自律視覚化が、前記車両のグラフィック描写を備え、該グラフィック描写が、前記調整した倍率レベルに基づいてサイズが縮小される、請求項１に記載の方法。
8. 前記第２の状況情報が、前記統合ユーザインターフェースを介した車両機能の制御に関連付けられ、
   車両機能の制御が、暖房、換気、及び空調システムの制御、又は音楽アプリケーションの制御、又はナビゲーション・ユーザ・インターフェースの制御を備える、請求項１に記載の方法。
9. 前記統合ユーザインターフェースが、それぞれの車両機能に関連付けられた複数のアイコンを含み、
   前記統合ユーザインターフェースを更新することが、
   選択されたアイコンに関連付けられたメニューを含むように前記統合ユーザインターフェースを更新することであって、該メニューが、前記統合ユーザインターフェースの第１の部分に含まれる、更新することと、
   前記組合せビューのサイズを変更することと、を含み、
   前記組合せが、前記メニューによって遮られていない第２の部分に含まれる、請求項８に記載の方法。
10. 前記第１の状況情報が、前記車両が経路に沿って走行していることを示し、
    前記組合せビューが、ナビゲーション情報を更に集約し、
    前記第２の状況情報が、前記車両が前記経路に沿って移動したことを示す、請求項１に記載の方法。
11. 前記経路が、前記ナビゲーション情報に示された複数の運転イベントに関連付けられ、
    前記統合ユーザインターフェースを更新することが、
    前記車両の位置の閾値距離内にある、又は前記位置の閾値運転時間内にある前記運転イベントのサブセットを識別することと、
    前記識別したサブセットに基づいて、前記倍率レベルが調整されるべきであると決定することと、を含む、請求項１０に記載の方法。
12. 前記自律視覚化のサイズが、前記調整された倍率レベルに基づいて調整され、
    前記地図情報に関連する領域が、前記調整された倍率レベルに基づいて広げられる、請求項１１に記載の方法。
13. 前記経路が、前記ナビゲーション情報に示された複数の運転イベントに関連付けられ、
    前記組合せビューが、前記複数の運転イベントのうちの第１の運転イベントを示し、
    前記方法が、前記倍率レベルを調整することを更に含み、
    前記組合せビューが、前記複数の運転イベントのうちの複数の第２の運転イベントを示す、請求項１０に記載の方法。
14. 前記経路が、前記ナビゲーション情報に示された複数の運転イベントに関連付けられ、
    前記統合ユーザインターフェースを更新することが、
    前記車両の位置の閾値距離内にある、又は前記位置の閾値運転時間内にある少なくとも１つの運転イベントを識別することと、
    前記少なくとも１つの運転イベントに基づいて、前記倍率レベルが調整されるべきであると決定することと、を含む、請求項１０に記載の方法。
15. 前記統合ユーザインターフェースが、前記倍率レベルを調整させる又は特定の方向に沿って前記地図情報を移行させるユーザ入力に応答する、請求項１に記載の方法。
16. １つ又は複数のプロセッサと、車両に含まれるディスプレイを介して提示するためのユーザインターフェースを、前記１つ又は複数のプロセッサにレンダリングさせる命令を記憶する非一時的記憶媒体と、を備えるシステムであって、
    前記ユーザインターフェースが、
    自律視覚化と地図情報とを統合する組合せビューを提示することであって、該自律視覚化が、前記車両のグラフィック描写を備える、提示することと、
    複数のアイコンのうちの１つのアイコンの選択に応答することであって、該アイコンが、それぞれの車両機能の制御に関連付けられ、前記ユーザインターフェースが、選択に応答して、アイコン・ユーザ・インターフェースを提示する、応答することと、
    前記アイコン・ユーザ・インターフェースが、前記組合せビューを遮らないように、前記組合せビューを動的に調整することと、を実施する、システム。
17. 前記命令が、前記１つ又は複数のプロセッサに、前記車両の操作に関連付けられた状況情報にアクセスさせ、
    前記状況情報が、前記車両が運転モードにあることを示し、
    前記自律視覚化が、前記車両に近接した現実世界環境のグラフィック表現を備える、
    請求項１６に記載のシステム。
18. 前記現実世界環境のグラフィック表現が、前記車両に近接する他の車両の１つ又はグラフィック描写を備える、請求項１７に記載のシステム。
19. 前記自律視覚化が、任意の閾値頻度で、前記１つ又は複数のプロセッサによって更新される、請求項１７に記載のシステム。
20. 前記自律視覚化を更新するために、前記命令が、
    前記車両周りに配置された画像センサから決定された情報を取得することであって、該情報が、前記車両に近接する他の車両に関する配置情報を反映する、取得することと、
    前記他の車両に関連付けられたそれぞれのモデルにアクセスすることと、
    前記組合せビューに含めるために前記モデルをレンダリングすることと、を前記１つ又は複数のプロセッサに実施させる、請求項１９に記載のシステム。
21. 車両機能の制御が、暖房、換気、及び空調システムの制御、又は音楽アプリケーションの制御、又はナビゲーション・ユーザ・インターフェースの制御を備える、請求項１６に記載のシステム。
22. 前記命令が、前記１つ又は複数のプロセッサに、前記車両の操作に関連付けられた状況情報にアクセスさせ、
    前記状況情報が、前記車両がナビゲーションモードにあることを示し、
    前記組合せビューが、ナビゲーション情報を更に統合し、
    前記組合せビューについて、前記自律視覚化が、前記車両に近接した現実世界環境のグラフィック表現を備え、
    前記組合せビューについて、前記ナビゲーション情報が、前記車両の位置の閾値距離又は運転時間内にあるそれぞれの運転イベントの１つ又は複数のグラフィック表現を備え、
    前記組合せビューについて、前記地図情報が、前記車両の位置に関連する地図の一部のグラフィック表現を備える、請求項１６に記載のシステム。
23. 特定の運転イベントが、高速道路を出ることを含み、
    前記特定の運転イベントのグラフィック表現が、前記車両が移動する車線の数の指示を備える、請求項２２に記載のシステム。
24. 前記組合せビューに関連付けられた倍率レベルが、前記特定の運転イベントに基づいて大きくされ、
    前記車両のグラフィック描写のサイズが、前記倍率レベルに基づく倍率に基づいて縮小され、
    前記地図の一部の領域が広げられる、請求項２３に記載のシステム。
25. １つ又は複数のプロセッサのシステムによって実行される命令を記憶する非一時的コンピュータ記憶媒体であって、該システムが、車両に含まれ、
    前記命令が、
    前記車両のディスプレイを介して、自律視覚化、地図情報、及びナビゲーション情報を集約する組合せビューを備える統合ユーザインターフェースの提示をさせることであって、前記組合せビューが、前記組合せビューに反映された現実世界環境の領域を示す倍率レベルに関連付けられ、前記車両が、目的地に関連付けられたナビゲーションモードにある、提示させることと、
    複数のセンサからのセンサ情報にアクセスすることであって、該センサ情報が、前記車両の位置と、前記車両周りに配置された画像センサからの画像とを備える、アクセスすることと、
    前記倍率レベルが、前記センサ情報に基づいて調整されるべきであると決定することであって、前記組合せビューが、前記調整された倍率レベルに関連付けられるように更新される、決定することと、を含む操作を前記１つ又は複数のプロセッサに実施させる、非一時的コンピュータ記憶媒体。
26. 前記組合せビューについて、前記自律視覚化が、
    前記車両のグラフィック描写と、
    前記車両に近接した現実世界環境のグラフィック表現と、を備え、
    前記グラフィック表現が、前記画像センサからの前記画像に基づいて生成され、
    前記地図情報が、
    前記現実世界環境の領域に関連付けられた地図の一部のグラフィック表現を備え、
    前記ナビゲーション情報が、前記現実世界環境の領域に関連付けられた運転イベントの１つ又は複数のグラフィック表現を備える、請求項２５に記載のコンピュータ記憶媒体。
27. 前記現実世界環境のグラフィック表現が、前記車両が運転されている道路に関連付けられた１つ又は複数の車線を描写し、
    前記車両のグラフィック描写が、前記１つ又は複数の車線のうちの特定の車線に描写される、請求項２６に記載のコンピュータ記憶媒体。
28. 前記センサ情報に基づいて前記倍率レベルが調整されるべきであると決定することが、
    前記ナビゲーション情報に基づいて、前記車両の位置の閾値距離又は運転時間内にある特定の数の運転イベントを識別することを含み、
    前記決定が、前記特定の数の運転イベントに基づく、請求項２５に記載のコンピュータ記憶媒体。
29. １つ又は複数のプロセッサのシステムによって実施される方法であって、
    前記システムが、車両の内部に配置された１つ又は複数のセンサと通信し、
    前記方法が、
    前記車両の内部の搭乗者の存在を識別することと、
    前記センサからのセンサ情報に基づいて、追跡される前記搭乗者の一部を決定することと、
    前記搭乗者の一部の追跡に基づいて車両機能の操作を制御することと、を含み、
    車両機能が、空調制御、ミラー制御、及び／又はハンドル配置を備える、方法。
30. 前記車両機能の操作を制御することが、
    空気の送出を前記搭乗者の一部に向けることを維持するように、暖房、換気、及び空調（ＨＶＡＣ）システムを調整すること、あるいは
    前記搭乗者の一部に基づいて１つ又は複数のミラーを調整すること、を含み、
    前記一部が、前記搭乗者の目を備える、請求項２９に記載の方法。

Images