JP2017507398A - 複数のユーザインターフェース動作ドメインを有する車両 - Google Patents

複数のユーザインターフェース動作ドメインを有する車両 Download PDF

Info

Publication number
JP2017507398A
JP2017507398A JP2016544577A JP2016544577A JP2017507398A JP 2017507398 A JP2017507398 A JP 2017507398A JP 2016544577 A JP2016544577 A JP 2016544577A JP 2016544577 A JP2016544577 A JP 2016544577A JP 2017507398 A JP2017507398 A JP 2017507398A
Authority
JP
Japan
Prior art keywords
task
vehicle
tasks
core
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016544577A
Other languages
English (en)
Other versions
JP6507169B2 (ja
Inventor
ワヒード アフメド、
ワヒード アフメド、
ヨアヒム ビーツケ、
ヨアヒム ビーツケ、
マルクス パプスト、
マルクス パプスト、
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johnson Controls Technology Co
Original Assignee
Johnson Controls Technology Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johnson Controls Technology Co filed Critical Johnson Controls Technology Co
Publication of JP2017507398A publication Critical patent/JP2017507398A/ja
Application granted granted Critical
Publication of JP6507169B2 publication Critical patent/JP6507169B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/5038Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the execution order of a plurality of tasks, e.g. taking priority or time dependency constraints into consideration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

車両インターフェースシステムは、グラフィックス処理装置及び複数の処理ドメインを含む。処理ドメインは、車両アプリケーションを実行して、グラフィックス処理装置に対するタスクを生成する。システムは、処理ドメインにより生成されたタスクを受信して、グラフィックス処理装置にタスクを送信する順番を決定するように構成されるタスクスケジューラを更に含む。グラフィックス処理装置は、タスクスケジューラにより決定された順番でタスクを処理し、タスクに基づいて表示データを生成する。システムは、グラフィックス処理装置により生成された表示データを受信して、表示データをユーザに提示するように構成される電子ディスプレイを更に含む。

Description

本発明は、一般的には、車載用のコンピュータ化ユーザインターフェースに関する。
(関連特許出願への相互参照)
本出願は、2014年1月6日に提出された米国特許仮出願第61/924,226号の利益及び優先権を主張し、その全体は参照により本明細書に組み込まれる。
車両ユーザインターフェースディスプレイ(例えば、ダイヤル、ラジオディスプレイ等)は、従来は車内の特定の場所に固定されている。また、これらは、従来は全く異なる回路又はシステムによって制御されている。例えば、ラジオシステム及びそのユーザインターフェースは、従来は第1のシステムによって制御され、速度計ダイヤルは、従来は完全に異なるシステムによって制御されている。
高い信頼性、構成可能性及びユーザビリティを有する車両ユーザインターフェースシステムを開発することは非常に困難である。
本開示の1つの実装は車両インターフェースシステムである。車両インターフェースシステムは、グラフィックス処理装置、及び車両アプリケーションを実行して、グラフィックス処理装置に対するタスクを生成するように構成される複数の処理ドメインを含む。システムは、処理ドメインにより生成されたタスクを受信して、グラフィックス処理装置にタスクを送信する順番を決定するように構成されるタスクスケジューラを含むレンダリングコアを更に含む。グラフィックス処理装置は、タスクスケジューラにより決定された順番でタスクを処理し、タスクに基づいて表示データを生成する。システムは、グラフィックス処理装置により生成された表示データを受信して、表示データをユーザに提示するように構成される電子ディスプレイを更に含む。
タスクスケジューラは、タスクの各々に関係付けられる優先度レベルを識別し、識別された優先度レベルに基づいてグラフィックス処理装置にタスクを送信する順番を決定する。タスクに関係付けられる優先度レベルを識別することは、複数の処理ドメインの中のどれがタスクを生成したかを識別すること、識別された処理ドメインに関係付けられる優先度レベルを識別すること、及び識別された処理ドメインに関係付けられる優先度レベルに従ってタスクに優先度レベルを割り当てることを含む。
一部の実施形態では、複数の処理ドメインは、車両クリティカルアプリケーションを実行して、グラフィックス処理装置に対する高優先度タスクを生成するように構成される高信頼性ドメインを含む。複数の処理ドメインは、低優先度車両アプリケーションを実行して、グラフィックス処理装置に対する低優先度タスクを生成するように構成される低信頼性ドメインを更に含んでもよい。
一部の実施形態では、レンダリングコアは、第1のセットの処理ドメインにより生成される第1のセットのタスクを受信及び管理して、第1のセットのタスクをスケジューラに提供するように構成される第1のアプリケーションプログラムインターフェースを含む。一部の実施形態では、車両インターフェースシステムは、第2のセットの処理ドメインにより生成される第2のセットのタスクを受信及び管理するように構成される第2のアプリケーションプログラムインターフェースを含む。第2のセットの処理ドメインは、第1のセットの処理ドメインには無い1つ以上の処理ドメインを含んでもよい。
一部の実施形態では、タスクスケジューラは、アプリケーションプログラムインターフェースにおいて受信されたタスクの各々に関係付けられる優先度レベルを識別する。タスクスケジューラは、タスクを処理するように要求する割り込みをグラフィックス処理装置から受信し、割り込みの受信に応じて、グラフィックス処理装置に最高の識別された優先度レベルを有するタスクを送信する。
一部の実施形態では、レンダリングコアは、複数のリモートプロシージャコールエンドポイントを含む。リモートプロシージャコールエンドポイントの各々は、複数の処理ドメインの1つに対して指定され、且つ指定された処理ドメインにより生成されるタスクを管理するように構成されてもよい。
一部の実施形態では、グラフィックス処理装置は、表示される各タスクの部品を識別し、識別された部品をフレームバッファに記憶するように構成される。一部の実施形態では、レンダリングコアは複数のフレームバッファを含む。フレームバッファの各々は、前記複数の処理ドメインの1つに対して指定され、表示されるタスクの部品としてグラフィックス処理装置により識別される各タスクの部品を記憶するように構成されてもよい。
一部の実施形態では、レンダリングコアは、複数のフレームバッファからタスクの識別された部品を受信し、識別された部品を組み立てることにより表示タスクを生成するように構成されるコンポジタを含む。グラフィックス処理装置は、タスクスケジューラから組み立て済みタスクを受信し、組み立て済みタスクに基づいて表示データを生成してもよい。
本開示の別の実装は車両インターフェースシステムである。車両インターフェースシステムは、グラフィックス処理装置及びマルチコアプロセッサを含む。マルチコアプロセッサは、高優先度車両アプリケーションを実行して、グラフィックス処理装置に対する高優先度タスクを生成するように構成される第1の処理コア、及び低優先度車両アプリケーションを実行して、グラフィックス処理装置に対する低優先度タスクを生成するように構成される第2の処理コアを含む。システムは、処理コアの各々により生成されるタスクを受信および管理するように構成されるグラフィックス処理装置ドライバを更に含む。システムは、グラフィックス処理装置ドライバで受信されたタスクの各々に関係付けられる優先度レベルを識別して、識別された優先度レベルに基づいてグラフィックス処理装置にタスクを送信する順番を決定するように構成されるタスクスケジューラを更に含む。グラフィックス処理装置は、タスクスケジューラにより決定された順番でタスクを処理し、タスクに基づいて表示データを生成する。システムは、グラフィックス処理装置により生成された表示データを受信して、表示データをユーザに提示するように構成される電子ディスプレイを更に含む。
本明細書で使用される用語「第1の処理コア」、「第2の処理コア」は、マルチコアプロセッサの1つのコアをマルチコアプロセッサの別のコアから区別することを意図している。記述子「第1の」及び「第2の」は、「第1の処理コア」がプロセッサの第1の論理コアであること又は「第2の処理コア」がプロセッサの第2の論理コアであることを必要としない。むしろ、「第1の処理コア」はプロセッサの任意のコアであり、「第2の処理コア」は第1のコアではない任意のコアであり得る。別段の記載がなければ、記述子「第1の」及び「第2の」は本明細書を通じて様々なアイテムを互いから区別するために使用されているのであって(例えば、複数のプロセッサコア、ドメイン、オペレーティングシステム等)、何らかの特定の順番又は順序を示唆するものではない。
一部の実施形態では、タスクスケジューラは、タスクを処理するように要求する割り込みをグラフィックス処理装置から受信するように構成される。タスクスケジューラは、グラフィックス処理装置ドライバで受信されたタスクのどれが最高の識別された優先度レベルを有するかを決定し、且つ割り込みの受信に応じて、グラフィックス処理装置に最高の識別された優先度レベルを有するタスクを送信してもよい。一部の実施形態では、タスクに関係付けられる優先度レベルを識別することは、複数の処理コアの中のどれが前記タスクを生成したかを識別すること、識別された処理コアに関係付けられる優先度レベルを識別すること、及び識別された処理コアに関係付けられる優先度レベルに従ってタスクに優先度レベルを割り当てることを含む。
一部の実施形態では、高優先度タスクは、車両のセーフティ及びクリティカル車両動作の少なくとも1つに関連する車両アプリケーションにより生成される。低優先度タスクは、車両インフォテイメントアプリケーション、クラウドアプリケーション、及び自立ドライバ支援システムアプリケーションの少なくとも1つにより生成されてもよい。
本開示の別の実装は、車両インターフェースシステムにおいてユーザインターフェースを生成するための方法である。方法は、マルチコアプロセッサの第1のコアにより、第1の処理ドメインにおいて高優先度車両アプリケーションを実行するステップを含む。高優先度車両アプリケーションは高優先度タスクを生成する。方法は、マルチコアプロセッサの第2のコアにより、第2の処理ドメインにおいて低優先度車両アプリケーションを実行するステップを更に含む。低優先度車両アプリケーションは低優先度タスクを生成する。方法は、タスクスケジューラにより、生成されたタスクの各々に関係付けられる優先度レベルを識別するステップ、及びタスクスケジューラにより、識別された優先度レベルに基づいてグラフィックス処理装置にタスクを送信する順番を決定するステップを更に含む。方法は、グラフィックス処理装置により、タスクスケジューラにより決定された順番でタスクを処理するステップを更に含む。グラフィックス処理装置はタスクに基づいて表示データを生成する。方法は、車両インターフェースシステムの電子ディスプレイを介してグラフィックス処理装置により生成された表示データを提示するステップを更に含む。
一部の実施形態では、タスクに関係付けられる優先度レベルを識別するステップは、複数の処理ドメインの中のどれがタスクを生成したかを識別すること、識別された処理ドメインに関係付けられる優先度レベルを識別すること、及び識別された処理ドメインに関係付けられる優先度レベルに従ってタスクに優先度レベルを割り当てることを含む。
一部の実施形態では、グラフィックス処理装置にタスクを送信する順番を決定するステップは、タスクを処理するように要求する割り込みをグラフィックス処理装置から受信すること、生成されたタスクのどれが最高の識別された優先度レベルを有するかを決定すること、及び割り込みの受信に応じて、グラフィックス処理装置に最高の識別された優先度レベルを有するタスクを送信することを含む。
当業者は、上記の概要は単なる例示であって、限定することを全く意図していないことを理解するであろう。単に請求項に定義された本明細書に記載の装置及び/又は処理の他の態様、新規な特徴、及び利点は、本明細書に記載された詳細な説明と共に添付の図面を合わせて考慮すれば明らかになるであろう。
例示的な実施形態による、本開示のシステム及び方法が実装可能な車両(例えば、自動車)の例示である。 例示的な実施形態による、本明細書に記載のシステム及び方法を使用して図1の車両に提供され得る車両ユーザインターフェースシステムの例示である。 例示的な実施形態による、本開示のシステム及び方法による、図2の車両ユーザインターフェースシステムを介して提供され得る車両計器クラスタディスプレイの例示である。 例示的な実施形態による、図2の車両ユーザインターフェースシステム及び/又は図3Aの車両計器クラスタディスプレイ等の車両ユーザインターフェースを介してディスプレイに提供するように構成されるマルチコア処理環境を含む車両インターフェースシステムのブロック図である。 例示的な実施形態による、マルチコア処理環境がハイパーバイザ及び複数の別のドメインを含むように示されるより詳細な図3Bのマルチコア処理環境を示すブロック図である。 例示的な実施形態による、スタートアップ時に図4のハイパーバイザによって行われるメモリマッピング処理を示すブロック図である。 例示的な実施形態による、図4のハイパーバイザの様々な特徴を示すブロック図である。 例示的な実施形態による、共通ディスプレイシステムにおける表示出力を容易にするために使用され得る図3Bのマルチコア処理環境の様々なコンポーネントを示すブロック図である。 例示的な実施形態による、車両インターフェースシステムに表示されるアプリケーション画像(例えば、グラフィックス出力)を生成するために図4のマルチコア処理環境内で動作し得る様々な動作モジュールを示すブロック図である。 例示的な実施形態による、図1の車両に実装され得るGPU処理及び共有のためのシステム及び方法を示すフロー図である。 例示的な実施形態による、図9Aのシステムをより詳細に示すブロック図である。 例示的な実施形態による、車両ディスプレイにおいてグラフィックスをレンダリングするための従来のグラフィックス処理システムによって行われ得るGPUスケジューリング処理を示す。 例示的な実施形態による、図9Aのシステムによって行われ得るタイルベース型GPUスケジューリング処理を示す。 例示的な実施形態による、図9Aのシステムによって行われ得るイベント駆動型GPUスケジューリング処理を示す。 例示的な実施形態による、図9Aのシステムによって行われ得るイベント駆動型GPUスケジューリング処理を示す。 例示的な実施形態による、図9Aのシステムと共に使用され得るグラフィックスセーフティ及びセキュリティシステムのブロック図である。
概略的に図面を参照すると、様々な例示的な実施形態によって、車両内にユーザインターフェースを提示するためのシステム及び方法が示されている。本明細書に記載のシステム及び方法は、車両内に複数のユーザインターフェースを提示し、統合型システムにおける多様なアプリケーション要件をサポートするために使用されてもよい。様々な車両アプリケーションが異なる程度のセキュリティ、セーフティ、及び開放性(例えば、インターネットから新しいアプリケーションを受信する機能)を要求する場合がある。本開示のシステム及び方法は、1つのオペレーティングシステムの動作が他のオペレーティングシステムの動作と干渉することを防ぐように、実質的に独立して動作する複数の異なるオペレーティングシステム(例えば、高信頼性のオペレーティングシステム、クラウドアプリケーションオペレーティングシステム、娯楽オペレーティングシステム等)を提供する。
本明細書に記載の車両システムは、単一のプラットフォームにおいて異なるドメインを有利にカプセル化する。このカプセル化は、異なるアプリケーションをサポートするために高度のセキュリティ、セーフティ、及び開放性をサポートし、更に高度のユーザカスタム化及びユーザ相互作用を可能にする。車両システムは、セキュリティ及びセーフティを確保するためにドメイン間のある程度の分離を維持しつつ、単一のプラットフォームにおける複数の異なるドメインの動作を統合するように構成される仮想化コンポーネントを含む。例示的な実施形態では、車両システムを実装するためにマルチコアシステム・オン・チップ(SoC)が使用される。
例示的な実施形態では、システムは、少なくとも以下の4つのドメイン、即ち、(1)高信頼性ドライバ情報クラスタドメイン、(2)クラウドドメイン、(3)娯楽ドメイン、及び(4)自立ドライバ支援システム(ADAS;autonomous driver assistance system)ドメイン、を含み且つサポートする。高信頼性ドライバ情報クラスタドメインは、車両のセーフティ及び/又はクリティカル車両動作に関するクリティカル車両アプリケーションをサポートしてもよい。クラウドドメインは、インターネット、接続された携帯型電子装置又は別のソースからの新しいユーザ又は車両「アプリ」のダウンロードをサポートしてもよい。娯楽ドメインは、例えば、音楽プレーヤ、ナビゲーション、電話及び/又は接続アプリケーションを含むアプリケーション及びユーザインターフェースコンポーネントに高品質ユーザ体験を提供してもよい。ADASドメインは、自立ドライバ支援システムのサポートを提供してもよい。様々な実施形態では、任意の数及び/又はタイプのドメインが、ここで列挙された4つのドメインに加えて又は代わりにサポートされてもよい(例えば、2つのドメイン、3つのドメイン、4つのドメイン、8つのドメイン等)。
例示的な実施形態では、少なくとも4つの異なるオペレーティングシステム環境が提供される(例えば、各ドメインに対して1つ)。高信頼性ドメイン用の第1のオペレーティングシステム環境は、クラスタ情報を有するディスプレイを確実に駆動してもよい。クラウドドメイン用の第2のオペレーティングシステム環境は、新しいユーザ又は車両アプリをサポートしてもよい。娯楽ドメイン用の第3のオペレーティングシステム環境は、様々な娯楽アプリケーション及びユーザインターフェースコンポーネントをサポートしてもよい。ADASドメイン用の第4のオペレーティングシステム環境は、ADASアプリケーションを実行するための環境の提供をサポートしてもよい。一部の実施形態では、第5の動作環境は、グラフィックスヒューマンマシンインターフェース(HMI)を制御すると共にユーザ入力を処理してもよい。オペレーティングシステム環境の各々は、マルチコアシステム・オン・チップ(SoC)の異なるコア(又は複数のコア)に専用であってもよい。様々な実施形態では、任意の数及び/又はタイプの動作環境が、ここで記載された動作環境に加えて又は代わりに提供されてもよい。
例示的な実施形態では、専用オペレーティングシステムごとにメモリが分離される。主要オペレーティングシステムの各々が、非対称型マルチプロセッシング(AMP;asymmetric multi−processing)を行うように構成され得るプロセッサの1つ(又は複数の)コアに結合されてもよい。有利に、各オペレーティングシステムをプロセッサの特定のコア(又は複数のコア)に結合することは、多数のハードウェア実行セキュリティ制御を提供する。例えば、ゲストに割り当てられる各コアは、物理メモリの既定の領域及び/又は周辺装置の既定のサブセットにのみアクセス可能であってもよい。車両装置(例えば、DMA装置)は、SoCのハードウェアを介してメモリ保護を受けてもよい。この強い結合は、第1のゲストOSが異なるコアで実行されている他のゲストOSの動作と干渉できないように、第1のゲストオペレーティングシステム(OS)がマルチコアプロセッサの特定のコア(又は複数のコア)で実行できる環境をもたらす。ゲストOSは、ハイパーバイザレイヤを参照せずに実行されるように構成されてもよいが、基礎シリコン上で直接実行されてもよい。これは、各ゲストOSが変更又は修正される必要がない完全なハードウェア仮想化を提供する。
次に図1を参照すると、例示的な実施形態による自動車1が示されている。本明細書に記載の実施形態の特徴は、自動車1等の車両又は任意の他のタイプの車両用に実装されてもよい。本明細書に記載の実施形態は、自動車1の運転者又は乗客に改善された表示及び制御機能を有利に提供する。本明細書に記載の実施形態は、自動車1の様々な電子及び機械システム上で自動車1の運転者又は乗客に改善された制御を提供してもよい。
自動車1等の車両は、ユーザインターフェースシステムを含んでもよい。このようなユーザインターフェースシステムは、セーフティ関連情報(例えば、シートベルト情報、速度情報、タイヤ圧情報、エンジン警告情報、燃料レベル情報等)と共にインフォテイメント関連情報(例えば、音楽プレーヤ情報、ラジオ情報、ナビゲーション情報、電話情報等)をユーザに提供し得る。従来は、このようなシステムは、1つの車両サブシステムが自身のディスプレイにセーフティ関連情報を提供し、別の車両サブシステムが自身のディスプレイにインフォテイメント関連情報を提供するように相対的に分離されている。
本明細書に記載の様々な実施形態によれば、ドライバ情報(例えば、様々な車両安全性要求レベル、ASILによる)が、インフォテイメントアプリケーション及び/又はサードパーティ(例えば、「アプリ」又は「クラウド」)アプリケーションによってもたらされる。情報は、マルチコア処理環境により処理されて、表示環境にグラフィカルに統合される。この統合にもかかわらず、少なくとも高信頼性(即ち、セーフティ関連)処理が、ハードウェア及びソフトウェアによってセーフティ関連事項の無い処理及び情報から分離される。
例示的な実施形態によれば、自動車1は、車両ユーザインターフェース(例えば、1つ又は複数のディスプレイ及びユーザ入力装置)と統合されるコンピュータシステムを含み、且つ処理システムを含む。処理システムは、マルチコアプロセッサを含んでもよい。処理システムは、マルチコアプロセッサの1つ又は複数の第1のコアにおいて第1のゲストオペレーティングシステムに仮想化を提供するように構成されてもよい。また、処理システムは、マルチコアプロセッサの1つ又は複数の第2の異なるコア(即ち、第1のゲストオペレーティングシステムに割り当てられない任意のコア)において第2のゲストオペレーティングシステムに仮想化を提供するように構成されてもよい。第1のゲストオペレーティングシステムは、高信頼性動作用に構成されてもよい。仮想化は、第2のゲストオペレーティングシステムの動作が第1のゲストオペレーティングシステムの高信頼性動作を中断することを防ぐ。
次に図2を参照すると、例示的な実施形態による自動車用のユーザインターフェースシステムが示されている。ユーザインターフェースシステムは、計器クラスタディスプレイ(ICD)220、ヘッドアップディスプレイ(HUD)230、及び中央情報ディスプレイ(CID)210を含むように示されている。例示的な実施形態では、ディスプレイ210、220及び230の各々は単一の電子ディスプレイである。一部の実施形態では、ディスプレイ210、220及び230は、複数のドメインからの3つの別個のディスプレイドライバである。様々な車両サブシステムからの表示コンテンツが、ディスプレイ210、220及び230の各々に同時に表示されてもよい。例えば、図示の計器クラスタディスプレイ220はエンジン制御装置(ECU)情報(例えば、速さ、ギヤ、RPM等)を表示する。また、図示のディスプレイ220は、音楽アプリケーションからの音楽プレーヤ情報及びナビゲーションアプリケーションからのナビゲーション情報も表示する。また、ナビゲーション情報及び音楽プレーヤ情報は、ディスプレイ230にも出力されるように示される。電話アプリケーションからの電話情報が、(例えば、インターネットソースからの)天気情報及び(ディスプレイ220、230に情報を提供する同じナビゲーションアプリケーションからの)ナビゲーション情報と並行してディスプレイ210を介して提示されてもよい。
図2に示されているように、ICD220、CID210及び/又はHUD230は、アプリケーション情報を表示するための異なる及び/又は複数の表示領域を有してもよい。こうした表示領域は、マルチコア処理環境及び/又は関連するハードウェア及びソフトウェアによって構成可能である仮想動作フィールドとして実装されてもよい。例えば、CID210は、3つの表示領域(例えば、仮想動作フィールド)を有するように示されている。携帯電話アプリケーション、天気アプリケーション、及びナビゲーションアプリケーション用のアプリケーションデータ情報が、それぞれ3つの表示領域に表示されてもよい。
マルチコア処理環境は、システムイベント、ユーザ入力、プログラム命令等に応答して表示領域を再構成してもよい。例えば、ユーザが天気アプリケーションを終了すると、電話アプリケーション及びナビゲーションアプリケーションはCID210を満たすようにサイズ変更されてもよい。表示されるアプリケーションの数、表示されるアプリケーションのサイズ、表示されるアプリケーション情報、アプリケーションが高信頼性アプリケーションであるかどうか等の要因を考慮して、表示領域の多くの構成が可能である。異なる構成は、ポートレートとして表示されるアプリケーション、ランドスケープとして表示されるアプリケーション、複数列のアプリケーション、複数行のアプリケーション、異なるサイズの表示領域を有するアプリケーション等の異なる特徴を有してもよい。
例示的な実施形態では、ICD220、CID210及びHUD230を提供する処理システムは、マルチコアプロセッサを含む。処理システムは、マルチコアプロセッサの1つ又は複数の第1のコアにおいて第1のゲストオペレーティングシステムに仮想化を提供するように構成されてもよい。また、処理システムは、マルチコアプロセッサの1つ又は複数の第2の異なるコア(即ち、第1のゲストオペレーティングシステムに割り当てられない1つ以上のコア)において第2のゲストオペレーティングシステムに仮想化を提供するようにも構成されてもよい。第1のゲストオペレーティングシステムは、高信頼性動作(例えば、ECUからセーフティ関連情報を受信し、受信した情報を使用してグラフィックス情報を生成すること)用に構成されてもよい。仮想化は、(例えば、サードパーティ開発者から又はクラウドからの「アプリ」を実行し得る)第2のゲストオペレーティングシステムの動作が第1のゲストオペレーティングシステムの高信頼性動作を中断することを防ぐ。
次に図3Aを参照すると、例示的な実施形態による計器クラスタディスプレイ(ICD)300が示されている。ICD300は、ディスプレイスクリーンが共有される場合に可能な高度の統合を示す。ICD300において、ECUからの情報は、ナビゲーション情報に対してスクリーン領域の上に部分的にオーバレイされる。ナビゲーション情報用のスクリーン領域は、メディアプレーヤ、電話、又は他の情報に関係付けられる情報を表示するように変更され得る。先に説明されたように多くの構成が可能である。一部の実施形態では、ICD300又は別のディスプレイが、再構成されなくてもよい高信頼性情報を表示するための専用領域を有してもよい。例えば、ICD300に表示されるECU情報は固定されてもよいが、残りの表示領域はマルチコア処理環境によって構成されてもよい。ナビゲーションアプリケーション及び天気アプリケーションは、高信頼性情報のために専用ではないICD300の1つ又は複数の表示領域に表示されてもよい。
一部の実施形態では、車両インターフェースシステムは、ICD、CID、HUD用のディスプレイ装置と他のディスプレイ(例えば、後部座席乗客ディスプレイ、乗客ダッシュボードディスプレイ等)との間の接続を管理する。車両インターフェースシステムは、ディスプレイ等の出力装置、入力装置、及びマルチコア処理環境に関連するハードウェアの間の接続を含んでもよい。このような車両インターフェースシステムは、図3Bを参照してより詳細に記載される。
次に図3Bを参照すると、例示的な実施形態による車両インターフェースシステム301が示されている。車両インターフェースシステム301は、マルチコア処理環境400及び入出力装置、接続、及び/又は要素の間の接続を含む。マルチコア処理環境400は、先に記載された車載オーディオビジュアルシステム用のシステムアーキテクチャを提供してもよい。マルチコア処理環境400は、様々なコンピュータハードウェアコンポーネント(例えば、プロセッサ、集積回路、印刷回路基板、ランダムアクセスメモリ、ハードディスク記憶装置、ソリッドステートメモリ記憶装置、通信装置等)を含んでもよい。一部の実施形態では、マルチコア処理環境400は、システムアーキテクチャによって、マルチコア処理環境400内で実行中のアプリケーション及び/又は様々な周辺装置(例えば、装置303‐445)の間で交換される様々な入力及び出力を管理する。マルチコア処理環境400は、例えば、計算を行い、アプリケーションを実行し、車両インターフェースシステム301を管理し、汎用処理タスクを行い、オペレーティングシステムを実行してもよい。
マルチコア処理環境400は、マルチコア処理環境400が他の装置又はソースから情報を受信し及び/又は他の装置又はソースに情報を送信することを可能にするコネクタハードウェアに接続されてもよい。例えば、マルチコア処理環境400は、コネクタハードウェアを介してマルチコア処理環境400に接続される携帯型メディア装置、データ記憶装置、サーバ、携帯電話等にデータを送信し又はこれらからデータを受信してもよい。一部の実施形態では、マルチコア処理環境400は、アップル認定コネクタ303に接続される。アップル認定コネクタ303は、APPLE(R)製品に接続するための任意のコネクタであってもよい。例えば、アップル認定コネクタ303は、ファイアワイアコネクタ、30ピンAPPLE(R)装置互換コネクタ、ライトニングコネクタ等であってもよい。
一部の実施形態では、マルチコア処理環境400は、「USB2.0」(Universal Serial Bus version 2.0)コネクタ305に接続される。USB2.0コネクタ305は、1つ以上の装置又はデータソースの接続を可能にしてもよい。例えば、USB2.0コネクタ305は、4つのメスコネクタを含んでもよい。他の実施形態では、USB2.0コネクタ305は、1つ以上のオスコネクタを含む。一部の実施形態では、マルチコア処理環境400は、「USB3.0」(Universal Serial Bus version 3.0)コネクタ307に接続される。USB2.0コネクタ305を参照して記載されたように、USB3.0コネクタ307は、互換装置が接続することを可能にする1つ以上のオス又はメス接続を含んでもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上の無線通信接続309に接続される。無線通信接続309は、追加の無線通信装置(例えば、プロセッサ、アンテナ等)と共に実装されてもよい。無線通信接続309は、マルチコア処理環境400と他の装置又はソースとの間のデータ転送を可能にする。例えば、無線通信接続309は、赤外線通信、Bluetooth(登録商標)3.0等のBluetooth(登録商標)通信、ZigBee通信、Wi−Fi通信、ローカルエリアネットワーク及び/又は無線ローカルエリアネットワークを介する通信等を使用してデータ転送を可能にしてもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上のビデオコネクタ311に接続される。ビデオコネクタ311は装置/ソース間のビデオデータの送信を可能にし、マルチコア処理環境400が接続される。例えば、ビデオコネクタ311は、HDMI(登録商標)(High−Definition Multimedia Interface)、MHL(Mobile High−definition Link)等の標準に準拠するコネクタ又は接続であってもよい。一部の実施形態では、ビデオコネクタ311は、データ転送を促進する及び/又は標準に準拠するハードウェアコンポーネントを含む。例えば、ビデオコネクタ311は、補助プロセッサ、集積回路、メモリ、MIPI(mobile Industry Processor Interface)等を使用する標準を実装してもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上の有線通信接続313に接続される。有線通信接続313は、ハードウェア及び/又はネットワーク装置間の接続を含んでもよい。例えば、有線通信接続313は、Ethernet(登録商標)スイッチ、ルータ、ハブ、ネットワークブリッジ等であってもよい。
マルチコア処理環境400は、車両コントロール315に接続されてもよい。一部の実施形態では、車両コントロール315は、マルチコア処理環境400が車両によって使用されるプロセッサ、メモリ、センサ等の車両制御設備と接続することを可能にする。例えば、車両コントロール315は、マルチコア処理環境400をエンジン制御装置、エアバッグモジュール、身体制御器、走行制御モジュール、トランスミッション制御器等に接続してもよい。他の実施形態では、マルチコア処理環境400は、列挙されているようなコンピュータシステムに直接接続される。このような場合、車両コントロール315は、エンジン制御装置、搭載プロセッサ、搭載メモリ等の要素を含む車両制御システムである。車両コントロール315は、車両コントロール315に接続される追加のソースからの情報をルーティングしてもよい。情報は、追加のソースからマルチコア処理環境400へ及び/又はマルチコア処理環境400から追加のソースへルーティングされてもよい。
一部の実施形態では、車両コントロール315は、1つ以上のLIN(Local Interconnect Networks)317、車両センサ319、及び/又はCAN(Controller Area Networks)321に接続される。LIN317は、LINプロトコルに準拠し、車両コンポーネント間の通信を可能にしてもよい。車両センサ319は、車両テレメトリを決定するためのセンサを含んでもよい。例えば、車両センサ319は、ジャイロスコープ、加速度計、3次元加速度計、傾斜計等の1つ以上であってもよい。CAN321は、CANバスによって車両コントロール315に接続されてもよい。CAN321は、車内のセンサからのフィードバックを制御又は受信してもよい。また、CAN321は、車両の電子制御装置と通信してもよい。他の実施形態では、車両コントロール315の機能は、マルチコア処理環境400によって実装されてもよい。例えば、車両コントロール315は省略されてもよく、マルチコア処理環境400はLIN317、車両センサ319、CAN321又は車両の他のコンポーネントと直接接続してもよい。
一部の実施形態では、車両インターフェースシステム301は、システムモジュール323を含む。システムモジュール323は、電源を含み、及び/又は他のやり方で車両インターフェースシステム301に電力を供給してもよい。システムモジュール323は、プラットフォーム温度を監視又は制御するコンポーネントを含んでもよい。また、システムモジュール323は、起動及び/又はスリープ機能を実行してもよい。
図3Bを更に参照すると、マルチコア処理環境400は、チューナコントロール325に接続されてもよい。一部の実施形態では、チューナコントロール325は、マルチコア処理環境400が無線信号受信機と接続することを可能にする。チューナコントロール325は、マルチコア処理環境400とFMアンテナ、AMアンテナ等の無線伝送受信機との間のインターフェースであってもよい。チューナコントロール325は、マルチコア処理環境400が信号を受信し、及び/又は受信機を制御することを可能にしてもよい。他の実施形態では、チューナコントロール325は、無線信号受信機及び/又はアンテナを含む。チューナコントロール325は、マルチコア処理環境400によって制御される無線信号を受信してもよい。例えば、マルチコア処理環境400は、チューナコントロール325に特定の周波数に同調するように命令してもよい。
一部の実施形態では、チューナコントロール325は、1つ以上のFM及びAMソース327、DAB(Digital Audio Broadcasting)ソース329、及び/又は1つ以上のHD(High Definition)ラジオソース331に接続されるFM及びAMソース327は無線信号であってもよい。一部の実施形態では、FM及びAMソース327は、受信機、アンテナ等のハードウェアを含んでもよい。DABソース329は、DAB技術及び/又はプロトコルを利用する無線信号であってもよい。他の実施形態では、DABソース329は、アンテナ、受信機、プロセッサ等のハードウェアを含んでもよい。HDラジオソース331は、HDラジオ技術及び/又はプロトコルを利用する無線信号であってもよい。他の実施形態では、HDラジオソース331は、アンテナ、受信機、プロセッサ等のハードウェアを含んでもよい。
一部の実施形態では、チューナコントロール325は、1つ以上のアンプ333に接続される。アンプ333は、チューナコントロール325からオーディオ信号を受信してもよい。アンプ333は、信号を増幅して、それを1つ以上のスピーカに出力する。例えば、アンプ333は、1つ以上のスピーカ(例えば、4つのスピーカ)に接続される4チャネルパワーアンプであってもよい。一部の実施形態では、マルチコア処理環境400は、(例えば、マルチコア処理環境400内のアプリケーションによって生成される)オーディオ信号を、今度はアンプ333に信号を送信するチューナコントロール325に送信してもよい。
図3Bを更に参照すると、マルチコア処理環境400は、マルチコア処理環境400がメディアソースから情報を受信し及び/又はメディアソースに情報を送信することを可能にするコネクタハードウェア335−445に接続されてもよい。他の実施形態では、マルチコア処理環境400は、メディアソースに直接接続され、マルチコア処理環境400内に組み込まれるメディアソースを有し、及び/又は他のやり方でメディア情報を送受信してもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上のDVDドライブ335に接続される。DVDドライブ335は、DVDドライブ335に挿入されたDVDディスクからマルチコア処理環境400にDVD情報を提供する。マルチコア処理環境400は、接続を介してDVDドライブ335を制御してもよい(例えば、DVDディスクを読み込み、DVDディスクを排出し、情報を再生し、情報を停止する等)。更なる実施形態では、マルチコア処理環境400は、DVDディスクにデータを書き込むためにDVDドライブ335を使用する。
一部の実施形態では、マルチコア処理環境400は、1つ以上のSSD(Solid State Drives)337に接続される。一部の実施形態では、マルチコア処理環境400は、SSD337に直接接続される。他の実施形態では、マルチコア処理環境400は、SSD337の取り外しを可能にする接続ハードウェアに接続される。SSD337はデジタルデータを含んでもよい。例えば、SSD337は、デジタル的に記憶された画像、ビデオ、テキスト、オーディオ、アプリケーション等を含んでもよい。更なる実施形態では、マルチコア処理環境400は、SSD337に情報を記憶するためにSSD337との接続を使用する。
一部の実施形態では、マルチコア処理環境400は、1つ以上のSD(Secure Digital)カードスロット339に接続される。SDカードスロット339は、SDカードを受け入れるように構成される。一部の実施形態では、異なるサイズのSDカード(例えば、マイクロ、フルサイズ等)を受け入れる複数のSDカードスロット339がマルチコア処理環境400に接続される。SDカードスロット339は、マルチコア処理環境400がSDカードから情報を取得し、及び/又はSDカードに情報を書き込むことを可能にする。例えば、マルチコア処理環境400は、上記のソースからアプリケーションデータを取得し、及び/又は上記のソースにアプリケーションデータを書き込んでもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上のビデオデコーダ441に接続される。ビデオデコーダ441は、マルチコア処理環境400にビデオ情報を提供してもよい。一部の実施形態では、マルチコア処理環境400は、情報を復号して、マルチコア処理環境400にそれを送信するビデオデコーダ441に情報を提供してもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上のコーデック443に接続される。コーデック443は、デジタルデータストリーム又は信号を符号化又は復号することを可能にする情報をマルチコア処理環境400に提供してもよい。コーデック443は、追加のハードウェア(例えば、プロセッサ、メモリ等)で実行されるコンピュータプログラムであってもよい。他の実施形態では、コーデック443は、マルチコア処理環境400のハードウェアで実行されるプログラムであってもよい。更なる実施形態では、コーデック443は、マルチコア処理環境400によって使用される情報を含む。一部の実施形態では、マルチコア処理環境400は、コーデック443から情報を取得し、及び/又はコーデック443に情報(例えば、追加のコーデック)を提供してもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上の衛星ソース445に接続される。衛星ソース445は、衛星から受信した信号及び/又はデータであってもよい。例えば、衛星ソース445は、衛星ラジオ及び/又は衛星テレビ信号であってもよい。一部の実施形態では、衛星ソース445は信号又はデータである。他の実施形態では、衛星ソース445は、アンテナ、受信機、プロセッサ等のハードウェアコンポーネントを含んでもよい。
図3Bを更に参照すると、マルチコア処理環境400は、入出力装置441−453に接続されてもよい。入出力装置441−453は、マルチコア処理環境400がユーザに情報を表示することを可能にしてもよい。また、入出力装置441−453は、ユーザがマルチコア処理環境400に制御入力を提供することを可能にしてもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上のCIDディスプレイ447に接続される。マルチコア処理環境400は、CIDディスプレイ447に画像、データ、ビデオ等を出力してもよい。例えば、マルチコア処理環境400内で実行中のアプリケーションがCIDディスプレイ447に出力されてもよい。一部の実施形態では、CIDディスプレイ447は、マルチコア処理環境400に入力情報を送信してもよい。例えば、CIDディスプレイ447は、タッチ対応であり、マルチコア処理環境400に入力情報を送信してもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上のICDディスプレイ449に接続される。マルチコア処理環境400は、ICDディスプレイ449に画像、データ、ビデオ等を出力してもよい。例えば、マルチコア処理環境400内で実行中のアプリケーションがICDディスプレイ449に出力されてもよい。一部の実施形態では、ICDディスプレイ449は、マルチコア処理環境400に入力情報を送信してもよい。例えば、ICDディスプレイ449は、タッチ対応であり、マルチコア処理環境400に入力情報を送信してもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上のHUDディスプレイ451に接続される。マルチコア処理環境400は、HUDディスプレイ451に画像、データ、ビデオ等を出力してもよい。例えば、マルチコア処理環境400内で実行中のアプリケーションがHUDディスプレイ451に出力されてもよい。一部の実施形態では、HUDディスプレイ451は、マルチコア処理環境400に入力情報を送信してもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上の後部座席ディスプレイ453に接続される。マルチコア処理環境400は、後部座席ディスプレイ453に画像、データ、ビデオ等を出力してもよい。例えば、マルチコア処理環境400内で実行中のアプリケーションが後部座席ディスプレイ453に出力されてもよい。一部の実施形態では、後部座席ディスプレイ453は、マルチコア処理環境400に入力情報を送信してもよい。例えば、後部座席ディスプレイ453は、タッチ対応であり、マルチコア処理環境400に入力情報を送信してもよい。
更なる実施形態では、マルチコア処理環境400は、他のソースから入力を受信してもよい。例えば、マルチコア処理環境400は、ハードキーコントロール(例えば、ボタン、ノブ、スイッチ等)から入力を受信してもよい。一部の実施形態では、マルチコア処理環境400は、パーソナルメディア装置、携帯電話等の接続装置からも入力を受信してもよい。追加の実施形態では、マルチコア処理環境400は、こうした装置に出力してもよい。
次に図4を参照すると、例示的な実施形態によるマルチコア処理環境400をより詳細に示すブロック図が示されている。一部の実施形態では、マルチコア処理環境400は、システム・オン・チップ、ARMv7−Aアーキテクチャ、ARMv8アーキテクチャ又は任意の他のアーキテクチャを使用して実装される。他の実施形態では、マルチコア処理環境400は、同じ又は類似の環境を提供するためにシステム・オン・チップではないマルチコアプロセッサを含んでもよい。例えば、マルチコアプロセッサは、複数の処理コアをサポートするマザーボード上の汎用コンピュータマルチコアプロセッサであってもよい。更なる実施形態では、マルチコア処理環境400は、複数のネットワーク化された処理コアを使用して実装されてもよい。一実施形態では、マルチコア処理環境400は、クラウドコンピュータアーキテクチャ又は他の分散コンピュータアーキテクチャを使用して実装されてもよい。
マルチコア処理環境400は、ハイパーバイザ402を含むように示されている。ハイパーバイザ402は、ブート中にマルチコア処理環境400を生成するのを支援するために、ブートローダと統合され又はブートローダと連動して動作してもよい。システムファームウェア(図示せず)が、第1のCPUコア(コア0)を使用してブートローダ(例えば、U−Boot)を開始し得る。ブートローダは、ゲストOS用のブートパーティションからカーネルイメージ及びデバイスツリーをロードし得る。次に、ハイパーバイザ402は、コア1で実行されるゲストOS用に使用されるデータ構造を初期化し得る。次に、ハイパーバイザ402は、コア1用のゲストOSをブートし得る。次に、ハイパーバイザ402は、ハイパーバイザモードに切り替え、ハイパーバイザレジスタを初期化し、ゲストカーネルに制御を引き渡し得る。次に、コア0上で、ハイパーバイザ402は、コア0上で実行されるゲスト用に同じことをし得る(即ち、ゲスト用のデータ構造を初期化し、ハイパーバイザモードに切り替え、ハイパーバイザレジスタを初期化し、コア0用のゲストカーネルに制御を引き渡す)。ブートアップ後、プライマリコアとセカンダリコアとの区別は無視されてもよく、ハイパーバイザ402は2つのコアを等しく取り扱ってもよい。トラップは同じコアでそれらをトリガしたゲストとして処理されてもよい。
図4では、マルチコア処理環境400は、ハイパーバイザ402によってセットアップが行われた後で、且つドメイン408−414を提供するためにゲストOSがブートアップされた後の状態のマルチコア処理環境400が示されている。ドメイン408−414の各々は、インフォテイメントディスプレイ425、クラスタディスプレイ426、及び/又はヘッドアップディスプレイ427等のディスプレイシステムの所定の領域又はウィンドウを出力することに関与し得る。一部の実施形態では、クラスタディスプレイ426はICDであってもよい。クラスタディスプレイ426は、表示領域A及びBを有するように示されている。高信頼性ドメイン408は、表示領域Aに関係付けられてもよい。表示領域Aは、車両速度、エンジン状態、車両警報、タイヤ状態、又はECUからの他の情報等のセーフティクリティカル情報を表示するために使用されてもよい。表示領域A用の情報は、完全にドメイン408によって提供されてもよい。表示領域Bは、インフォテイメントコア410によって生成される表示出力により提供される音楽プレーヤアプリケーションのユーザインターフェースを表してもよい。クラウドドメイン414は、表示領域Bにおいてインターネットベースの天気アプリケーションのユーザインターフェースを提供してもよい。有利に、クラウドドメイン414に又はインフォテイメントコア410で実行中の音楽プレーヤに存在し得るシステム不安定性、クラッシュ又は他の予想外の問題は、表示領域Aの動作又は高信頼性ドメイン408により提供される任意の他の処理に影響を与える又は中断することが完全に防がれてもよい。
各ゲストOSは、そのオペレーティングシステムにおいて処理を実行するための自身のアドレス空間を有してもよい。2ステージメモリ管理装置(MMU)404の第1ステージは、ゲストOSにより使用される論理アドレス及びそのアプリケーションを物理アドレスに変換してもよい。ゲストOS用のMMU404により生成されるこのアドレスは、中間アドレスであってもよい。2ステージMMU404の第2ステージは、各ゲストからのこうした中間アドレスを実際の物理アドレスに変換してもよい。メモリの領域を特定のゲストOS(従って、特定のドメイン及びコア)にマッピングするために使用されることに加えてMMU404の第2ステージは、図4に示されているように、メモリマップド周辺装置を特定のドメイン(従って、ゲストOS及びコア)に専用にすることができる。
ハイパーバイザ402は、MMU404の第2ステージを構成するのに使用されてもよい。ハイパーバイザ402は、物理メモリ領域を異なるゲストに割り当ててもよい。構成時間中にこうしたマッピングを静的に定義することは、全てのゲストに対する中間・物理メモリマッピングが互いのメモリ空間を侵害することができないように定義されることを確実にするのに役立つ。ゲストOSは、論理から中間メモリ空間への第1ステージのメモリマッピングを提供する。2ステージMMU404は、ゲストOSが通常通りに動作する(即ち、ゲストOSがメモリマッピングの所有権を有しているように動作する)ことを可能にしつつ、マッピングの基礎レイヤが異なるゲストOS(即ち、ドメイン)が互いから分離されたままであることを確実にすることができる。
図4に示されているように、同じディスプレイ(クラスタディスプレイ426)を共有し且つ同じハードウェア(例えば、システム・オン・チップ)を共有する一方で、図4のアーキテクチャはドメイン間のパーティション化を提供する。図4に示されるアーキテクチャは、コンピュータシステムに車両ユーザインターフェース(例えば、入力装置、ディスプレイ426)との統合を提供する。一部の実施形態では、マルチコア処理環境400は、マルチコアプロセッサを含む。マルチコア処理環境400は、マルチコアプロセッサの1つ又は複数の第1のコア(例えば、コア0)において第1のゲストオペレーティングシステム(例えば、QNX OS416)に仮想化を提供するように構成されてもよい。マルチコア処理環境400は、マルチコアプロセッサの1つ又は複数の第2の異なるコア(例えば、コア1)において少なくとも第2のゲストオペレーティングシステム(例えば、Linux(登録商標) OS418)に仮想化を提供するように構成されてもよい。第1のゲストオペレーティングシステム(例えば、「リアルタイム」QNX OS416)は、高信頼性動作用に構成されてもよい。仮想化を提供するために非対称型マルチプロセッシング(AMP)を使用してオペレーティングシステムをそれ自身のコアに専用にすることは、第2のゲストオペレーティングシステム(例えば、Linux OS418)の動作が第1のゲストオペレーティングシステム(例えば、QNX OS416)の高信頼性動作を中断することを防ぐのに有利に役立つ。
高信頼性ドメイン408は、1つ以上の割り当てられた周辺機器としてECU入力を有し得る。例えば、ECUは、高信頼性ドメイン408に割り当てられる周辺機器1であってもよい。周辺機器2は、車両のコントローラエリアネットワーク(CAN)等の別の車両ハードウェア装置であってもよい。ドメイン間のパーティション化を考慮すると、インフォテイメントドメイン410、ネイティブHMIドメイン412、及びクラウドドメイン414は、ECU又はCANに直接アクセスすることができなくてもよい。他のドメイン(例えば、410、414)によってECU又はCAN情報が使用される場合、情報は、高信頼性ドメイン408により取得されて、共有メモリ424に配置され得る。
例示的な実施形態では、各スクリーンがドメイン408−414の1つ以上からのグラフィカル出力を保持するように、クラスタディスプレイ426等の複数の分離したスクリーンはシステムを提供され得る。一組のシステム周辺機器(例えば、ECU、Bluetooth(登録商標)モジュール、ハードドライブ等)が、単一のマルチコアシステム・オン・チップを使用して1つ又は複数のスクリーンを提供するために使用されてもよい。本明細書に記載のドメインパーティション化は、インフォテイメントオペレーティングシステム(例えば、インフォテイメントドメイン410)、インターネット/アプリオペレーティングシステム、及び/又はクラウドオペレーティングシステム(例えば、クラウドドメイン414)からセーフティ関連ドライバ情報オペレーティングシステム(例えば、高信頼性ドメイン408)を効果的に分離することができる。
様々なオペレーティングシステムが、他の動作ドメインを有するスクリーン上に示されるアプリケーションのビューを生成することができる。異なるスクリーンは、異なるドメインにより制御されてもよい。例えば、クラスタディスプレイ426は高信頼性ドメイン408によって主に制御されてもよいが、インフォテイメントディスプレイ425はインフォテイメントドメイン410によって主に制御されてもよい。ドメイン408−414によって生成される様々なグラフィックス出力が、以下の図面においてより詳細に記載される。この制御にもかかわらず、ドメイン410、414からのビューがクラスタディスプレイ426に示され得る。共有メモリ424が、ドメイン410、414からドメイン408へグラフィックビューを提供するために使用されてもよい。特に、ピクセルバッファコンテンツが、ドメイン408によって使用するためにドメイン410、414から共有メモリ424に提供されてもよい。例示的な実施形態では、(例えば、linux OS420を有する)ネイティブHMIドメイン412が、グラフィカル出力を調整するために使用され、ドメイン408−414、410及び414の各々からピクセルバッファコンテンツを使用して表示出力を構築する。
有利に、単一のシステムが複数のディスプレイを駆動するために使用され且つ複数のドメインをまとめるので、ユーザは、どのドメイン又はアプリケーションコンテンツがどこ(例えば、クラスタディスプレイ、インフォテイメントディスプレイ425、ヘッドアップディスプレイ427、後部座席ディスプレイ等)に示されるかを構成することが可能であってもよい。例えば、ユーザは、高信頼性ドメイン408、インフォテイメントドメイン410、ネイティブHMIドメイン412、クラウドドメイン414、及び/又は表示コンテンツを生成する任意の他のドメインからの情報を表示するように情報クラスタディスプレイ426を構成し得る。例えば、ユーザは、高信頼性ドメイン408、インフォテイメントドメイン410、ネイティブHMIドメイン412、クラウドドメイン414、及び/又は任意の他のドメインからの情報を表示するようにインフォテイメントディスプレイ425及び/又はヘッドアップディスプレイ427を構成し得る。異なるドメインからのコンテンツは、同じディスプレイの異なる部分に(例えば、異なる仮想動作フィールドに)又は異なるディスプレイに表示されてもよい。様々なアプリケーションからのコンテンツを表示するために使用される仮想動作フィールドは、異なるディスプレイに移動され、再配置され、位置を変えられ、サイズ変更され、又はユーザの好みに適合するように他のやり方で調節され得る。
一部の実施形態では、車載周辺機器が、特定のオペレーティングシステムに割り当てられる。車載周辺機器は、装置ポート(GPIO、I2C、SPI、UART)、専用オーディオライン(TDM、I2S)、又はより多くの他のコントローラ(Ethernet(登録商標)、USB、MOST)を含んでもよい。各OSは、I/O装置に直接アクセスすることができる。従って、I/O装置は各OSに割り当てられる。第2ステージのメモリ管理装置(MMU)404は、異なるオペレーティングシステム/ドメインに割り当てられる中間アドレスを周辺機器にマッピングする。
図5を参照すると、例示的な実施形態による、特定のドメインにおける個々のゲストOSに装置を割り当てるための第2ステージMMU428の使用を例示するブロック図が示されている。第2ステージMMU428は、図4を参照して記載された2ステージMMU424のコンポーネントであってもよい。ブート中に第2ステージMMU428を構成するハイパーバイザ402が示されている。ハイパーバイザ402は、第2ステージMMU428用のページテーブルをセットアップして、中間アドレス(IA)を物理アドレス(PA)に変換してもよい。一部の実施形態では、第2ステージMMU428は、IPA空間からの任意のページ(例えば、4kBページ)をPA空間からの任意のページにマッピングすることができる。マッピングは、読み出し/書き込み、読み出し専用、書き込み専用として、又は他の適切な許可を有するように指定され得る。ページテーブルをセットアップするために、ハイパーバイザ402は、ハイパーバイザ402のデバイスツリーで利用可能なメモリ範囲情報を使用することができる。この配置は、どの装置がゲストに割り当てられるかを設定するための単一の場所を有利に提供し、ハイパーバイザ402及びゲストカーネルの両方がデバイスツリーを使用することができる。
図5には、スタートアップ時にハイパーバイザ402により行われるマッピングの単純化された例が示されている。コア0が、メモリ領域0、メモリマップド周辺機器0、及びメモリマップ周辺機器1に割り当てられてもよい。コア1は、メモリ領域1及び周辺機器2に割り当てられる。構成は、各コアがそのOSのデバイスツリーで指定されたメモリマッピング領域を割り当てられるように継続するであろう。ゲストドメインが第2ステージMMU428により管理されるページテーブルに従ってマッピングされていないページへのアクセスを試みると、ゲスト用のプロセッサコアは例外を出し、それにより、ハイパーバイザ402をアクティブ化して、データ又は命令停止ハンドリングのためにハイパーバイザ402のトラップハンドラ430を呼び出す。例示的な実施形態では、オペレーティングシステムからCPUへの1:1のマッピングが有り、ハイパーバイザによってスケジューリングが行われない。有利に、こうした実施形態は、仮想割り込み管理の必要性及び仮想CPUインターフェースの必要性を減らす。通常の割り込みが発生すると、各CPUはそのゲストOSでその割り込みを直接処理することができる。
ハイパーバイザ402は、異なるドメインで実行中の2つのゲストオペレーティングシステム間の通信をサポートしてもよい。上記のように、このような通信のために共有メモリが使用される。2つのゲストのデバイスツリーにおいて特定の物理メモリ範囲が指定されると、そのメモリ範囲は両方のコアにマッピングされ、共有メモリとしてアクセス可能になる。ゲストOS間の割り込みに対して、割り込みラインをアサート及びクリアするために割り込みコントローラが使用される。例示的な実施形態によれば、カーネルにおける各仮想装置に対するデバイスツリーは、他のコアとの通信のためにどの割り込みをトリガすべきかを記述する「ドアベル」プロパティを有する。トラップされたメモリページを使用してドアベルがアクセスされ、そのアドレスはデバイスツリーにも記述されている。受信側では、トラップされたメモリページを使用して割り込みがクリアされる。これは、ロッキング無しで且つ、従来の装置割り込みと比較して比較的低いオーバヘッドで、割り込みアサーション及びハンドリングを可能にする。
例示的な実施形態では、ゲストオペレーティングシステムは、システム全体をリセットすることは許可されない。その代わり、システムは、(例えば、エラー状態から回復するために)個々のゲストのリセットをサポートするように構成される。ハイパーバイザ402は、ゲストオペレーティングシステムのカーネル及びデバイスツリーのバックアップコピーを作成して、ハイパーバイザ保護メモリ領域に情報を記憶することができる。ゲストがシステムの初期化を試みると、ハイパーバイザトラップがゲストリセットを開始するであろう。このゲストリセットはバックアップコピーからカーネル及びデバイスツリーを復元することにより行われ、割り当てられたコアのCPU状態を再初期化して、ゲストのブートアップのために制御をゲストに戻す。
次に図4−6を参照すると、ハイパーバイザ402がリソースの初期構成及び割り当てを行うと、ハイパーバイザ402は通常動作中に休眠状態になってもよい。ハイパーバイザ402は、予想外のトラップが発生したときにのみアクティブになってもよい。ハイパーバイザ402のこの態様は、図4、5及び6の各々に様々に示されている。図6に示されているように、構成時(図5を参照)におけるメモリの割り当てのために専用ハードウェア装置又はメモリ領域へのゲストOSの直接アクセスにハイパーバイザの関与は無い。ハイパーバイザアクセスモード(Cortex A15等の一部のARMプロセッサにおける「HYP」モード)は、任意の個々のゲストOSよりも高い特権レベルの下でハードウェアプラットフォームにアクセスすることができる。高特権HYPモードで実行するハイパーバイザは、受信したトラップを制御することができる。こうしたトラップは、フレームバッファ書き込み同期信号、音声同期信号、又は構成レジスタ(例えば、クロックレジスタ、コプロセッサレジスタ)へのアクセスを含み得る。
例示的な実施形態では、ハイパーバイザ402は、通常の割り込み分配には関与していない。むしろ、割り込みコントローラ(例えば、一部のARMチップの汎用割り込みコントローラ)は、適切なコアへの伝達を処理することができる。ハイパーバイザ402は、ブート中の割り込みコントローラを設定することができる。上記のように、ゲストOS間の通信は、共有メモリ及び割り込みに基づく。トラップ及び書き込みハンドラは、コア間で割り込みを送信するように構成される。
図6に示されているように、装置割り込みは、ハイパーバイザ402による構成時に個々のゲストOS又はコアに割り当てられてもよい。初期化中に、ハイパーバイザ402は、ブートアップ中に値を有用に設定し得る割り込みコントローラ(例えば、GIC)セットアップを実行することができる。各ゲストがブートされると、ハイパーバイザ402は、ゲストのデバイスツリーから割り込み割り当てを読み込むことができる。ハイパーバイザ402は、適切なCPUコアに関係付けられるようにIRQマップに割り込み読み込み(interrupt read)を追加することができる。このマップは、ランタイム中にディストリビュータによって使用されてもよい。次に、ハイパーバイザ402は、適切なCPUコアに対する割り込みを使用可能にすることができる。ゲストOSがディストリビュータへのアクセスを試みるといつも、トラップが登録されてもよい。ディストリビュータへの読み込みはトラップされなくてもよいが、任意のゲストOSから許可される。ディストリビュータへの書き込みアクセスはトラップされ、ディストリビュータはアクセスが許可されるべきかどうかを分析する。
例示的な実施形態では、システムは、完全なハードウェア仮想化を提供する。各ゲストがその専用周辺機器に直接アクセスできるのでI/Oアクセス用のパラ仮想化ドライバの必要性が無い。個々のドメインに割り当てられないメモリの一部が、ハイパーバイザコード及びカーネルイメージ用に保持され得る。このメモリ場所は、どのゲストOSによってもアクセスすることができない。カーネルイメージは、ボート処理中にバックアップイメージとしてこのメモリにロードされる。ハイパーバイザ402は、個々のOSをリブートするためにリセット時にトラップされてもよい。
個々のゲストOSのクラッシュの場合に、このプロパティはシステムの残りが機能することを有利に可能にしつつ、クラッシュしたOSが他のOSに影響を与えずにリブートできる。例示的な実施形態では、メタデータは非セキュアドメインからセキュアドメインへ許可されない。例えば、図4を参照すると、メタデータの転送は、クラウドドメイン414から高信頼性ドメイン408へ許可されない。セキュアゲスト(即ち、高信頼性ドメイン)のインターフェースアクセス(例えば、リモートプロシージャコール)は許可されない。
図7を次に参照すると、例示的な実施形態によって、共通ディスプレイシステムにおける表示出力を促進するためのシステムコンポーネントが例示されている。図7に示されているように、ネイティブHMIドメイン412は、グラフィックス及びコンポジタコンポーネント450を含む。グラフィックス及びコンポジタコンポーネント450は、一般に、他のドメイン(例えば、408、410、414)によってそれに提供される及び/又はそれ自身によって(即ち、ネイティブHMIドメイン412で)生成されるフレームバッファ情報(即ち、グラフィックスデータ)を結合するように機能する。このデータのフローは図7で強調されている。ネイティブHMIドメイン412はフレームバッファ(「FB」)ビデオモジュール452を含むように示されているが、他のドメインは各々がフレームバッファクライアントモジュール(即ち、FBクライアント454、456、458)を含んでいる。
例示的な実施形態では、ハイパーバイザ402は、共有メモリ及び割り込みの形態で異なる仮想マシン(ゲストOS)間で効率的な通信を可能にする仮想装置を提供する。FBクライアントモジュール454、456、458及びFBビデオモジュール452は、ハイパーバイザ402によって提供される仮想装置用のLinux(又はQNX)カーネルモジュールであってもよく、それによりゲストOSのユーザ空間に機能を露出させる。例示的な実施形態では、メモリ領域への生アクセスを提供する代わりに、モジュール452−458は、Linuxフレームバッファ、Video for Linux 2、evdev、ALSA、及びネットワークインターフェース等の僅かに高いレベルのAPIを実装する。これは、Androidのユーザ空間等の既存のユーザ空間ソフトウェアが修正無しで使用され得るという利点を有する。
例示的な実施形態では、ハイパーバイザ402によって提供される仮想装置はメモリマッピングされるI/Oを使用する。ハイパーバイザ402は、デバイスツリーからの情報を使用してメモリ領域を初期化することができる。装置は、IRQ信号及び信号への確認を使用して、仮想マシン間割り込みをそれぞれ確認することができる。これは、ハイパーバイザ402によってトラップされるレジスタ領域に書き込むことにより達成され得る。16Mの共有メモリ、割り込み及びドアベルを有する仮想装置用のデバイスツリーエントリの例が以下に示されている。一部の実施形態では、ドアベルレジスタへの書き込みはターゲット仮想マシンにおける割り込みをトリガする。
mosx-example@f1000000 {
compatible = “mosx-example”, “ivmc”;
reg = <0xf0100000 0x1000>,
<0xf1000000 0x1000000>;
interrupts = <0 145 4>;
doorbells = <144>;
};
各ドメインは、ディスプレイ及び入力装置を表す1つ又は複数のカーネルモジュールを利用してもよい。ドメイン408、410、414に対して、1つ又は複数のモジュールは、仮想フレームバッファ(例えば、FBクライアント454、456、458)及び仮想入力装置(例えば、イベント入力460、462、464)を提供する。コンポジタドメイン(例えば、ドメイン412)に対して、仮想ビデオ入力452及び仮想イベント出力装置468を提供するために1つ又は複数のカーネルモジュールが存在する。メモリはドメインごとにイベントバッファ及びフレームバッファに専用である。フレームバッファ用のピクセルフォーマットは、任意の様々な異なるフォーマット(例えば、ARGB32、RGBA、BGRA)であってもよい。例えば、入力イベントが共有メモリ領域のページに記憶されている信号に対してモジュール間で割り込みが使用されてもよい。割り込みを受信すると、受信ドメインで実行中の仮想装置は、共有メモリから入力イベントを取得して、それを処理するためにユーザ空間に提供してもよい。
ビデオ側では、FBクライアントによってバッファページが投入されてもよく、ユーザ空間がページを満たすと、信号IRQがコンポジタに提供され得る。次に、コンポジタは、共有メモリからページを取得して、それを新しいフレームを待っている任意のユーザ空間処理に提供する。このようにして、ネイティブHMIドメイン412は、グラフィックスのためのサーバとして、且つ入力処理のためのクライアントとして機能し得る。入力(例えば、タッチスクリーン入力、ボタン入力等)は、ネイティブHMIドメイン412のイベント出力468によって適切な入力イベント460、462、464に提供される。フレームバッファはドメイン408、410、414によって満たされて、FBクライアント454、456、458はフレームバッファビデオ452を使用してネイティブHMIドメインにフレームバッファコンテンツを提供する。
イベント及びフレームバッファコンテンツの両方が、共有メモリを使用してドメインからドメインへと渡される。従って、各ゲストオペレーティングシステム又はドメインは、自身のグラフィカルコンテンツを作成し(例えば、音楽プレーヤアプリケーションはそのビデオ出力を作成する)、このグラフィカルコンテンツは、結合されたグラフィックス表示出力上の適切な位置において様々なドメインからの様々なグラフィックスコンテンツを配置するためにコンポジタに提供される。クラスタディスプレイ426を参照すると、例えば、高信頼性ドメイン408上のアプリケーションは、ディスプレイ426上の空間Aにグラフィックスを生成してもよい。このようなグラフィックスコンテンツは、FBクライアント454へ、そして共有メモリ424を介してFBビデオ452へと提供されてもよい。
インフォテイメントドメインからのグラフィックスコンテンツは、そのドメインで実行中のアプリケーションによって生成され得る。ドメインは、FBクライアント456にこのような情報を投入して、共有メモリ424を介してFBビデオ452にフレームバッファコンテンツを提供し得る。ドメイン408及び410からのフレームバッファコンテンツによって、コンポジタは、クラスタディスプレイ426上に結合されたシーンの表示を引き起こすことができる。このようなグラフィカル表示は、ユーザ空間からユーザ空間へコード又はメタデータを渡さずに有利に発生する。グラフィックス及びイベント情報の伝達は、割り込みベースのOS間通信を介して行われてもよい。有利に、各コア/OSは、非対称マルチプロセッシングを使用して通常通りに動作してもよい。ハイパーバイザ402は、コア又はOSスケジューリングを行わなくてもよい。高レベルのセキュリティ、分離及び移植性を提供する非パラ仮想化が存在する。
また、各ドメインによって使用される仮想ネットワークインターフェースも提供され得る。OSユーザ空間に対して、それは名前及びMACアドレス(デバイスツリーで構成可能である)を有する通常のネットワークインターフェースとして見える。共有メモリは、仮想ネットワークインターフェース用のヘッダページ及び2つのバッファを含んでもよい。第1のバッファは、第1のゲスト用の受信バッファとして、及び第2のゲスト用の送信バッファとして機能し得る。第2のバッファは、逆の役割で(第1のゲスト用の送信バッファとして、及び第2のゲスト用の受信バッファとして)使用される。ヘッダは、対応するバッファの内側の有効データ領域の開始及び終了オフセットを指定し得る。有効データ領域は、一連のパケットを含み得る。新しいパケットがバッファに書き込まれたことを受信側ゲストに示すために、単一の割り込みが使用されてもよい。より詳細には、送信ドメインがパケットサイズを書き込み、その後に共有メモリにおける送信バッファへのパケットデータが続く。着信側では、割り込みが着信パケットの存在を示す。システムによって受信されるパケットは読み取られて、受信側ドメインによりゲストOSのネットワークサブシステムに転送される。ドメインの1つが、実際のハードウェアコンポーネントによる受信を制御することができる。仮想サウンドカードがシステムに存在し得る。再生及びキャプチャバッファが、図7を参照して記載されたクライアント/サーバフレームバッファにより提供されたものと同様に動作し得る。
次に図8を参照すると、例示的な実施形態によるマルチコア処理環境400内で実行される様々な動作モジュールが示されている。動作モジュールは、車両内のディスプレイ装置で表示するためのアプリケーション画像(例えば、グラフィックス出力)を生成するために使用される。アプリケーション画像はフレームバッファコンテンツを含んでもよい。動作モジュールは、メモリに記憶されて、マルチコア処理環境400のコンピュータコンポーネント及び/又はハードウェアコンポーネントにより実行されるコンピュータコードであってもよい。動作モジュールは、ハードウェアコンポーネントであり又はハードウェアコンポーネントを含んでもよい。一部の実施形態では、図8に示された動作モジュールは、マルチコア処理環境400の単一コアで実装される。例えば、図4に示されたネイティブHMIドメイン412が、ここで検討される動作モジュールを含んでもよい。他の実施形態では、本明細書で検討される動作モジュールは、他のドメインで及び/又は複数のドメインで実行及び/又は記憶されてもよい。
一部の実施形態では、マルチコア処理環境400は、システム構成モジュール341を含む。システム構成モジュール341は、システム構成に関連する情報を記憶してもよい。例えば、システム構成モジュール341は、接続ディスプレイの数、接続ディスプレイのタイプ、ユーザ設定(例えば、お気に入りのアプリケーション、好みのアプリケーション場所等)、デフォルト値(例えば、アプリケーションのデフォルト表示場所)等の情報を含んでもよい。
一部の実施形態では、マルチコア処理環境400は、アプリケーションデータベースモジュール343を含む。アプリケーションデータベースモジュール343は、マルチコア処理環境400にロードされる及び/又は実行される各アプリケーションに関連する情報を含んでもよい。例えば、アプリケーションデータベースモジュール343は、特定のアプリケーションに関連する表示情報(例えば、アイテム/ディスプレイ構成、色、相互作用可能要素、関連画像及び/又はビデオ等)、デフォルト又は設定情報(例えば、「ホワイトリスト」又は「ブラックリスト」情報、デフォルト表示場所、お気に入りの状態等)等を含んでもよい。
一部の実施形態では、マルチコア処理環境400は、オペレーティングシステムモジュール345を含む。オペレーティングシステムモジュール345は、マルチコア処理環境400で実行される1つ以上のオペレーティングシステムに関連する情報を含んでもよい。例えば、オペレーティングシステムモジュール345は、実行可能コード、カーネル、メモリ、モード情報、割り込み情報、プログラム実行命令、デバイスドライバ、ユーザインターフェースシェル等を含んでもよい。一部の実施形態では、オペレーティングシステムモジュール345は、マルチコア処理環境400の他の全てのモジュールを管理するために使用されてもよい。
一部の実施形態では、マルチコア処理環境400は、1つ以上のプレゼンテーションコントローラモジュール347を含む。プレゼンテーションコントローラモジュール347は、1つ以上のコンポーネントモジュール349と1つ以上のアプリケーションモジュール351との間の通信リンクを提供してもよい。プレゼンテーションコントローラモジュール347は、コンポーネントモジュール349とアプリケーションモジュール351との間の入力及び/又は出力を処理してもよい。例えば、プレゼンテーションコントローラ347は、コンポーネントモジュール349から適切なアプリケーションへと情報をルーティングしてもよい。同様に、プレゼンテーションコントローラ347は、アプリケーションモジュール351から適切なコンポーネントモジュール349へと出力命令をルーティングしてもよい。一部の実施形態では、プレゼンテーションコントローラモジュール347は、データをルーティングする前にマルチコア処理環境400がデータを前処理することを許可してもよい。例えば、プレゼンテーションコントローラ347は、アプリケーションモジュール351又はコンポーネントモジュール349のどれかにより処理され得る形態に情報を変換してもよい。
一部の実施形態では、コンポーネントモジュール349は、マルチコア処理環境400に接続されるコンポーネント(例えば、携帯電話、DVDドライブ等の娯楽装置、アンプ、信号チューナ等)に関連する入力及び/又は出力を処理する。例えば、コンポーネントモジュール349は、コンポーネントから入力を受信するための命令を提供してもよい。コンポーネントモジュール349は、コンポーネント及び/又は処理入力から入力を受信してもよい。例えば、コンポーネントモジュール349は、入力を命令に変換してもよい。同様に、コンポーネントモジュール349は、出力命令をコンポーネント用の出力又は出力コマンドに変換してもよい。他の実施形態では、コンポーネントモジュール349は、上記のタスクを行うために使用される情報を記憶する。コンポーネントモジュール349は、プレゼンテーションコントローラモジュール347によりアクセスされてもよい。次に、プレゼンテーションコントローラモジュール347は、アプリケーションモジュール351及び/又はコンポーネントとインターフェース接続してもよい。
アプリケーションモジュール351はアプリケーションを実行してもよい。アプリケーションモジュール351は、プレゼンテーションコントローラ347、ウィンドウマネージャ355、レイアウトマネージャ357、及び/又はユーザ入力マネージャ359から入力を受信してもよい。また、アプリケーションモジュール351は、プレゼンテーションコントローラ347、ウィンドウマネージャ355、レイアウトマネージャ357、及び/又はユーザ入力マネージャ359に情報を出力してもよい。アプリケーションモジュール351は、入力に基づいて計算を行って、出力を生成する。次に、出力は異なるモジュールに送信される。アプリケーションの例は、天気情報を取得してそれをユーザに表示する天気情報アプリケーション、携帯装置から通知を取得してユーザに表示する通知アプリケーション、他の入力装置を使用してユーザが携帯装置を制御することを可能にする携帯装置インターフェースアプリケーション、ゲーム、カレンダ、ビデオプレーヤ、音楽ストリーミングアプリケーションを含む。一部の実施形態では、アプリケーションモジュール351は、計算、処理、入力、及び/又は出力により引き起こされるイベントを処理する。アプリケーションモジュール351は、ユーザ入力を処理し、及び/又はそれに応じて表示される画像(例えば、レンダリング面353)を更新してもよい。アプリケーションモジュール351は、アプリケーションを終了する、アプリケーション等を立ち上げる等の他の動作を処理してもよい。
アプリケーションモジュール351は、1つ以上のレンダリング面353を生成してもよい。レンダリング面は、ユーザに表示される情報である。一部の実施形態では、レンダリング面353は、ディスプレイ上に位置する仮想動作フィールドを介してアプリケーションの表示を可能にする情報を含む。例えば、レンダリング面353は、表示される要素のレイアウト、表示される値、表示されるラベル、表示されるフィールド、色、形状等を含む。他の実施形態では、レンダリング面353は、ユーザに表示される画像内に含まれる情報のみを含んでもよい。例えば、レンダリング面353は、値、ラベル及び/又はフィールドを含み得るが、レイアウト(例えば、情報の位置、色、サイズ等)は、他のモジュール(例えば、レイアウトマネージャ357、ウィンドウマネージャ355等)によって決定されてもよい。
一部の実施形態では、アプリケーションモジュール351は異なるドメインに位置している。例えば、アプリケーションモジュール351はインフォテイメントドメイン410に位置し得るが、別のアプリケーションモジュールはクラウドドメイン414に位置してもよい。異なるドメイン上のアプリケーションモジュール351は、共有メモリ424を使用して他のドメイン上のモジュールに情報及び/又は命令を渡してもよい。レンダリング面353は、アプリケーションモジュール351からネイティブHMIドメイン412にフレームバッファとして渡されてもよい。また、異なるドメイン上のアプリケーションモジュール351は、共有メモリ424を介して情報及び/又は命令を受信してもよい。例えば、ユーザ入力は、共有メモリ424にイベント出力としてネイティブHMIドメイン412から渡されてもよく、異なるドメイン上のアプリケーションモジュール351は共有メモリ424からイベント入力としてユーザ入力を受信してもよい。
ウィンドウマネージャ355は、1つ以上のディスプレイ347における情報の表示を管理する。一部の実施形態では、ウィンドウマネージャ355は、他のモジュールから入力を受け取る。例えば、ウィンドウマネージャ355は、レイアウトマネージャ357及びアプリケーションモジュール351(例えば、レンダリング面353)からの入力を使用して、ディスプレイ347に表示するための画像を作成してもよい。ウィンドウマネージャ355は、表示情報を適切なディスプレイ347にルーティングしてもよい。レイアウトマネージャ357からの入力は、システム構成モジュール341、アプリケーションデータベースモジュール343からの情報、ユーザ入力マネージャ359からの表示レイアウトを変更するためのユーザ入力命令、レイアウトヒューリスティックによる単一ディスプレイ347上のアプリケーション表示のレイアウト、又はディスプレイ347に関係付けられる仮想動作フィールドを管理するためのルール等を含んでもよい。同様に、ウィンドウマネージャ355は、入力を処理して、他のモジュールにルーティングしてもよい(例えば、命令を出力する)。例えば、ウィンドウマネージャ355は、ユーザ入力を受信して、適切なクライアント又はアプリケーションモジュール351にリダイレクトしてもよい。一部の実施形態では、ウィンドウマネージャ355は、X、Y、又はZオーダーに基づいて異なるクライアント又はアプリケーション面(例えば、表示画像)を作成し得る。ウィンドウマネージャ355は、ユーザ入力を介してユーザにより制御されてもよい。ウィンドウマネージャ355は、シェル(例えば、Wayland shell)を介してクライアント又はアプリケーションと通信してもよい。例えば、ウィンドウマネージャ355は、X−Serverウィンドウマネージャ、Windowsウィンドウマネージャ、Waylandウィンドウマネージャ、Waylandサーバ等であってもよい。
レイアウトマネージャ357は、1つ以上のディスプレイ347上に表示されるアプリケーションのレイアウトを生成する。レイアウトマネージャ357は、アプリケーションデータのレイアウトを生成するのに使用されるシステム構成情報を取得してもよい。例えば、レイアウトマネージャ357は、ディスプレイ347の解像度及び場所を含むディスプレイ347の数、システム内のウィンドウマネージャの数、モニタのスクリーンレイアウトスキーム(bining)、車両状態等のシステム構成情報を取得してもよい。一部の実施形態では、システム構成情報は、システム構成モジュール341からレイアウトマネージャ357によって取得されてもよい。
また、レイアウトマネージャ357は、アプリケーションデータのレイアウトを生成するのに使用されるアプリケーション情報を取得してもよい。例えば、レイアウトマネージャ357は、どのアプリケーションがどのディスプレイ347(例えば、HUD、CID、ICD等)に表示されることができるか、各アプリケーションによってサポートされるディスプレイ解像度、アプリケーション状態(例えば、どのアプリケーションが実行中であり又はアクティブであるか)、トラックシステム及び/又は非システムアプリケーション(例えば、タスクバー、設定メニュー、エンジニアリングスクリーン等)等のアプリケーション情報を取得してもよい。
一部の実施形態では、レイアウトマネージャ357は、アプリケーションデータベースモジュール343からアプリケーション情報を取得してもよい。更なる実施形態では、レイアウトマネージャ357は、アプリケーションモジュール351からアプリケーション情報を取得してもよい。また、レイアウトマネージャ357は、ユーザ入力情報を受信してもよい。例えば、ユーザ入力から生じる情報及び/又は命令は、ユーザ入力マネージャ359からレイアウトマネージャ357に送信されてもよい。例えば、ユーザ入力は、あるディスプレイ347から別のディスプレイ347へアプリケーションを移動させ、アプリケーション画像をサイズ変更し、追加のアプリケーションアイテムを表示し、アプリケーションを終了する命令等を生じてもよい。レイアウトマネージャ357は、ユーザ入力に完全に又は部分的に基づいて新しい表示レイアウトを生成するように命令を実行し及び/又は情報を処理してもよい。
レイアウトマネージャ357は、1つ以上のディスプレイに表示されるアプリケーションデータ(例えば、レンダリング面353)用のレイアウトを決定するために上記の情報又は他の情報を使用してもよい。多くのレイアウトが可能である。レイアウトマネージャ357は、本明細書に記載のレイアウトを生成するために様々な技術を使用してもよい。こうした技術は、例えば、サイズ最適化、アプリケーションの優先順位付け、ユーザ入力への応答、ルール、ヒューリスティック、レイアウトデータベース等を含んでもよい。
レイアウトマネージャ357は、他のモジュールに情報を出力してもよい。一部の実施形態では、レイアウトマネージャ357は、アプリケーション情報及び/又はアイテムを所定の設定(例えば、所定のサイズ、所定のディスプレイ347、所定の表示場所(例えば、仮想動作フィールド)等でレンダリングするためにアプリケーションモジュール351に命令及び/又はデータを送信する。例えば、レイアウトマネージャ357は、レイアウトマネージャ357によって取得された情報及び/又は命令に基づいてレンダリング面353を生成するようにアプリケーションモジュール351に命令してもよい。
一部の実施形態では、レンダリング面353又は他のアプリケーションデータは、レイアウトマネージャ357に戻されてもよく、これは次にウィンドウマネージャ355にそれを転送してもよい。例えば、アプリケーション及び/又は仮想動作フィールドの方向、アプリケーション及び/又は仮想動作フィールドのサイズ、アプリケーション及び/又は仮想動作フィールドをどのディスプレイ347に表示すべきか等の情報が、レイアウトマネージャ357によってウィンドウマネージャ355に渡されてもよい。他の実施形態では、レイアウトマネージャ357からの命令に応答してアプリケーションモジュール351によって生成されるレンダリング面353又は他のアプリケーションデータが、ウィンドウマネージャ355に直接送信されてもよい。更なる実施形態では、レイアウトマネージャ357は、ユーザ入力マネージャ359に情報を伝達してもよい。例えば、レイアウトマネージャ357は、所定のユーザ入力を防ぐためにインターロック情報を提供してもよい。
マルチコア処理環境400は、ユーザ入力361を受信してもよい。ユーザ入力361は、タッチスクリーン入力(例えば、プレス、スワイプ、ジェスチャ等)、ハードキー入力(例えば、ボタンを押すこと、ノブを回すこと、スイッチをアクティブ化すること等)、音声コマンド等のユーザ入力に応じたものであってもよい。一部の実施形態では、ユーザ入力361は入力信号又は命令であってもよい。例えば、入力ハードウェア及び/又は中間制御ハードウェア及び/又はソフトウェアがユーザ入力を処理して、マルチコア処理環境400に情報を送信してもよい。他の実施形態では、マルチコア処理環境400は、車両インターフェースシステム301からユーザ入力361を受信する。更なる実施形態では、マルチコア処理環境400は、直接ユーザ入力(例えば、電圧の変化、測定キャパシタンス、測定抵抗等)を受信する。マルチコア処理環境400は、直接ユーザ入力を処理し又は他のやり方で取り扱ってもよい。例えば、ユーザ入力マネージャ359及び/又は追加のモジュールが直接ユーザ入力を処理してもよい。
ユーザ入力マネージャ359はユーザ入力361を受信する。ユーザ入力マネージャ359はユーザ入力361を処理してもよい。例えば、ユーザ入力マネージャ359は、ユーザ入力361を受信して、ユーザ入力361に基づいて命令を生成してもよい。例えば、ユーザ入力マネージャ359は、CIDディスプレイ上のキャパシタンスの変化から成るユーザ入力361を処理し、CIDディスプレイ上の左から右のスワイプに対応する入力命令を生成してもよい。また、ユーザ入力マネージャは、ユーザ入力361に対応する情報を決定してもよい。例えば、ユーザ入力マネージャ359は、どのアプリケーションモジュール351がユーザ入力361に対応するかを決定してもよい。ユーザ入力マネージャ359は、レイアウトマネージャ357から受信したアプリケーションレイアウト情報及びユーザ入力361、ウィンドウマネージャ355からのウィンドウ情報、及び/又はアプリケーションモジュール351から受信したアプリケーション情報に基づいてこの決定を行ってもよい。
ユーザ入力マネージャ359は、ユーザ入力361に対応する情報及び/又は命令を出力してもよい。情報及び/又は命令は、レイアウトマネージャ357に出力されてもよい。例えば、あるディスプレイ347から別のディスプレイ347へとアプリケーションを移動させるための命令が、対応するディスプレイ347に対して更新されたレンダリング面353を生成するようにアプリケーションモジュール351を命令するレイアウトマネージャ357に送信されてもよい。他の実施形態では、情報及び/又は命令は、ウィンドウマネージャ355に出力されてもよい。例えば、情報及び/又は命令はウィンドウマネージャ355に出力されてもよく、これは次に情報及び/又は命令を1つ以上のアプリケーションモジュール351に転送してもよい。更なる実施形態では、ユーザ入力マネージャ359は、情報及び/又は命令をアプリケーションモジュール351に直接出力する。
一部の実施形態では、システム構成モジュール341、アプリケーションデータベースモジュール343、レイアウトマネージャ357、ウィンドウマネージャ355、及びユーザ入力マネージャ359が、ネイティブHMIドメイン412に位置してもよい。上記の機能は、異なるドメインに位置するモジュールと通信するために共有メモリ424を使用して実行されてもよい。例えば、ユーザ入力は、ネイティブHMIドメイン412に位置するユーザ入力マネージャ359によって受信されてもよい。入力は、イベントとして共有メモリ424を介して別のドメイン(例えば、インフォテイメントドメイン410)に位置するアプリケーションに渡されてもよい。入力を受信するアプリケーションモジュール351は、新しいレンダリング面353を生成してもよい。レンダリング面353は、共有メモリ424を使用してフレームバッファクライアントとしてネイティブHMIドメイン412に位置するレイアウトマネージャ237及び/又はウィンドウマネージャ355に渡されてもよい。レイアウトマネージャ357及び/又はウィンドウマネージャ355は、次に、ディスプレイ347を使用して情報を表示してもよい。上記は単なる例示である。ドメイン間で命令及び/又は情報を渡すために共有メモリ424を使用してモジュール及びドメインの多数の構成が可能である。
レンダリング面353及び/又はアプリケーション情報は、1つ以上のディスプレイ347に表示されてもよい。ディスプレイ347は、ICD、CID、HUD、後部座席ディスプレイ等であってもよい。一部の実施形態では、ディスプレイ347は、統合型入力装置を含んでもよい。例えば、CIDディスプレイ347は容量性タッチスクリーンであってもよい。1つ以上のディスプレイ347がディスプレイシステム(例えば、拡張デスクトップ)を形成してもよい。ディスプレイシステムのディスプレイ347は、マルチコア処理環境400の1つ又は複数のモジュールにより調整されてもよい。例えば、レイアウトマネージャ357及び/又はウィンドウマネージャ355は、どのアプリケーションがディスプレイシステムのどのディスプレイ347に表示されるかを決定してもよい。同様に、1つ以上のモジュールが、複数のディスプレイ347間での相互作用を調整してもよい。例えば、マルチコア処理環境400は、あるディスプレイ347から別のディスプレイ347へのアプリケーションの移動を調整してもよい。
次に図9Aを参照すると、例示的な実施形態による、GPU共有のための例示的な実施形態による900及び方法を示すフロー図が示されている。システム900は、複数のドメイン901−911(即ち、インフォテイメントドメイン901、ドライバ情報ドメイン903、アンドロイドドメイン905、ADASドメイン907、クラウドドメイン909、及びHUDドメイン911)を含むように示されている。様々な実施形態では、システム900は、例示のドメイン901−911又は上記の任意の他のタイプのドメインの任意の組み合わせを含んでもよい。各ドメイン901−911は、GPUによって実行されるタスクを有する様々なアプリケーション(例えば、インフォテイメント、ナビゲーション、FBビュー、HUDソフトウェア等)を含んでもよい。有利に、様々なアプリケーションによって提供されるタスクを実行するために単一のGPU913が使用されてもよい。他の実施形態では、様々なアプリケーションによって提供されるタスクを実行するために複数のGPUが使用されてもよい。
一部の実施形態では、アプリケーションは、タスクをプロキシ(例えば、図示のOpenGLプロキシ)に渡す(ステップ1)。例えば、インフォテイメントドメイン901、アンドロイドドメイン903、ドライバ情報ドメイン905、ADASドメイン907、及びクラウドドメイン909は、各々がドメインに関係付けられるOpenGLプロキシにタスクを渡すように示されている。タスクがHUD関連ソフトウェアによって生成されるとき、HUDドメイン911はソフトウェアOpenGLドライバにタスクを渡してもよい。
図9Aを更に参照すると、システム900は、高信頼性レンダリングコア915(例えば、Linuxレンダリングコア)及びクラウドソフトウェアレンダリングコア917を含むように示されている。レンダリングコア915−917は、複数のリモートプロシージャコール(RPC)エンドポイント(例えば、インフォテイメントRPCエンドポイント、ドライバ情報RPCエンドポイント、アンドロイドRPCエンドポイント、ADAS RPCエンドポイント等)を含んでもよい。各RPCエンドポイントは、特定のドメインに対するタスクを管理するように構成されてもよい。
一部の実施形態では、各RPCエンドポイントは、対応するドメイン901−909のプロキシからタスクを受信する(ステップ2)。例えば、各RPCエンドポイントは、特定のドメイン又はその特定のアプリケーション用に指定されてもよい。タスクは、ドメイン901−909から受信されて、RPCエンドポイントにより検索されるように共有メモリに記憶されてもよい。例示的な実施形態では、クラウドドメイン909のアプリケーションは車両により直接的に関係付けられる他のアプリケーションとは異なって構成され得るので、クラウドドメイン909は異なるソフトウェアレンダリングコア917を有してもよい。
RPCエンドポイントは、様々なアプリケーションからOpenGLドライバにタスクを伝達してもよい(ステップ3)。一部のRPCエンドポイントは高信頼性レンダリングコア915のOpenGLドライバ919ドライバにタスクを伝達するように示されているが、他のRPCエンドポイントはクラウドソフトウェアレンダリングコア917内のソフトウェアOpenGLドライバ921にタスクを伝達するように示されている。OpenGLドライバ919は、処理のためGPU913に提供されるタスクを管理するように構成されてもよい。図9Aに示されているように、ソフトウェアOpenGLドライバ921で受信されたタスクは、クラウドドメイン909からのタスクであってもよい。クラウドドメイン909から受信されたタスクは、このようなタスクがGPU913による更なる処理無しでディスプレイ上にレンダリングされ得るので、処理のためにGPUに提供される必要が無くてもよい。
図9Aを更に参照すると、OpenGLドライバ919からのタスクは、カーネルドライバのスケジューラ(例えば、TimeGraphスケジューラ)に提供されてもよい(ステップ4)。スケジューラは、OpenGLドライバ919からのどのタスクをGPU913に送信すべきか及び/又はタスクを送信する順番を決定するように構成されてもよい。一部の実施形態では、スケジューラは、車両セーフティ及び/又はクリティカル車両動作に関するタスクを優先順位付けする。タスクスケジューリング処理は、後続の図面により詳細に記載されている。スケジューラは処理のためにGPU913にタスクを提供し(ステップ5)、GPU913はタスクを処理する(例えば、タスクに関する車両のディスプレイ用の表示構成を決定すること)。
GPU913がタスクを処理した後で、タスクは、タスクに関係付けられるドメインに対するフレームバッファ923に提供される(ステップ6)。一部の実施形態では、一連のタスクが組み合わされて同時にフレームバッファ923に提供される。個別の単一のタスクはGPU913内の状態を変化させてもよく、十分な数のタスクがフレームバッファを生成するために処理されている場合にフレームバッファに提供されてもよい。GPU913は、表示されるドメイン又はタスクの、様々なコンポーネント、及びその構成を識別することによりタスクを処理してもよい。言い換えれば、フレームバッファ923は、表示される各ドメイン又はタスクの「部品」を記憶するように構成されてもよい。例えば、ナビゲーションタスクについて、インフォテイメントドメインに関してフレームバッファ923に記憶される様々なコンポーネントは、マップ表示及び構成、アイコン、テキスト等に関してもよい。天気タスクは、雲り及び晴れ等の天気のグラフィカルシンボル及びテキスト等の様々なコンポーネントを含んでもよい。またステップ6では、高信頼性レンダリングコア915から離れて既に処理されているソフトウェアベースタスクが、特定のドメインに対して指定される共有メモリフレームバッファ925に送信されてもよい。フレームバッファ923と同様に、共有メモリフレームバッファ925は、タスクの様々なコンポーネント(例えば、「部品」)を受信してもよい。
図9Aを更に参照すると、フレームバッファ923及び共有メモリフレームバッファ925は、処理されたタスク及び情報をコンポジタ927に提供してもよい(ステップ7)。コンポジタ927は、フレームバッファ923及び925から受信された様々なコンポーネントを組み立ててもよい。コンポジタ927は、ディスプレイに関する適切な構成を決定するように構成されてもよい。例えば、コンポジタ927は、どのディスプレイにタスクが示されるべきか、ディスプレイの寸法、ディスプレイ内の様々なアイコン及びテキストの構成、特定のコンポーネントを表示するべきかどうか等を決定してもよい。コンポジタ927は、高い重要度を有するタスクがHUDディスプレイに表示されるべきであり、低い重要度を有するタスクがCIDディスプレイに表示されるべきであること等を決定してもよい。別の例として、コンポジタ927は、コンポーネント(例えば、ビデオ)が表示されるべき又は表示されるべきではないかどうかを決定してもよい。コンポジタ927は、アイコン、テキスト、又はディスプレイの他のコンポーネントをサイズ変更し、(例えば、複数のディスプレイで、同じディスプレイで)タスクを再配置してもよい。コンポジタ927は、様々なコンポーネントを組み立てて、組み立て済みタスクにしてもよい。
コンポジタ927は、OpenGLドライバ919に組み立て済みタスクを提供してもよい(ステップ8)。タスクに関する構成を決定した後で、コンポジタ927は、GPU及びディスプレイによる後続の処理のためにタスクをOpenGLドライバ919に提供してもよい。組み立て済みタスクはスケジューラに渡されてもよく(ステップ9)、スケジューラは処理のために組み立て済みタスクをGPU913に渡してもよい(ステップ10)。GPU913は、タスクに関する表示を生成するために組み立て済みタスクを処理してもよい。例えば、複数のフレームバッファが結合されて単一のフレームバッファにされてもよい。組み立て済みタスクがGPU913により処理された後で、GPU913は、タスクが表示される特定のディスプレイに関するフレームバッファ(例えば、ディスプレイフレームバッファ1、ディスプレイフレームバッファ2等)にタスクを渡してもよい(ステップ11)。フレームバッファは、車両での表示のために選択されたディスプレイのディスプレイ装置にタスクを渡してもよい(ステップ12)。
図9Bを次に参照すると、例示的な実施形態による、GPU共有システム900をより詳細に示すブロック図が示されている。システム900は、様々なCPUコンポーネント902−916及びGPUコンポーネント918−942を含むように示されている。
CPUコンポーネント902−916は、複数のアプリケーション902を含むように示されている。アプリケーション902は、上記のドメインからもたらされてもよい。CPUコンポーネントは、OpenGLプロキシ904及びEGLプロキシ906を更に含んでもよい。プロキシ904、906は、アプリケーション902とGPUとの間で様々なタスクに関する中間体として機能するように構成されてもよい。CPUコンポーネントは、クライアント認証ブロック908、ランタイムAPIセキュリティ910、及びGPUリセットリカバリプロキシ912を更に含んでもよい。クライアント認証ブロック908は、ドメインの様々なアプリケーション902により提供されるタスクを認証するように構成されてもよい。ランタイムAPIセキュリティ910は、(図14で詳細に記載される)車両のディスプレイと様々なドメインとの間の互換性を確実にするように構成されてもよい。一部の実施形態では、ランタイムAPIセキュリティ910は、OpenGLコマンド及びシェーダーのセーフティを確認するために使用される。GPUリセットリカバリプロキシ912は、GPUがリセットされ又は問題に遭遇する場合にアプリケーション902とGPUとの間の中間体として機能するように構成されてもよい。
CPUコンポーネント902−916は通信レイヤ914を含むように示され、GPUコンポーネント918−942は通信レイヤ918を含むように示されている。通信レイヤ914及び918は、TCP/IP又はUDP等のインターネットプロトコルを使用して及び/又は共有メモリと通信するように構成されてもよい。通信レイヤ914、918は、メモリ916に記憶されたタスクを送信及び受信するために共有メモリ916と通信するように構成されてもよい。
GPUコンポーネント918−942は、認証マネージャ920を含むように示されている。認証マネージャ920は、クライアント認証908により決定される認証情報を受信して、処理されるタスクを検証するために情報を使用してもよい。GPUコンポーネント918−942は、RPCエンドポイント922を更に含むように示されている。RPCエンドポイント922は、図8を参照して記載されるように、特定のドメインに関するタスクを管理するように構成されてもよい。
GPUコンポーネント918−942は、GPUリソースを管理するように構成されるリソースマネージャ924を含むように示されている。リソースマネージャ924は、GPUドメインにおけるアプリケーションによるメモリの割り当てを追跡及び許可してもよい。リソースマネージャ924は、図11−13により詳細に記載されている。GPUコンポーネント918−942は、GPUがリセットされる場合に、GPU、OpenGLドライバ、及びアプリケーションの挙動を管理するように構成されるリセットリカバリマネージャ926を更に含んでもよい。
GPUコンポーネント918−942は、OpenGLドライバ928及びEGLドライバ930を更に含んでもよい。ドライバ928、930は、GPUに関するバッファ管理活動(例えば、タスクを受信すること)を管理してもよい。言い換えれば、ドライバ928、930は、様々なドメインとGPUとの間の通信を管理する。一部の実施形態では、OpenGLプロキシ904及びOpenGLドライバ928は、Waylandプロキシ及びWaylandエンドポイントを実装する。EGLドライバ930は、例えば、Wayland EGLドライバであってもよい。
GPUコンポーネント918−942は、GPUスケジューラ932を更に含んでもよい。GPUスケジューラ932は、GPUのためのスケジュールを管理する(例えば、どのタスクを次に処理するかを決定する)ように構成されてもよい。GPUスケジューラ932は、図12により詳細に記載されている。GPUコンポーネント918−942は、GPU性能(例えば、図14により詳細に記載されるGPUストール)を監視するように構成されるGPUウォッチドッグを更に含んでもよい。GPUコンポーネント918−942は、(図12でより詳細に記載される)処理されるタスクを保持するため及び処理される次のタスクを選択するためのキューを記憶するように構成されるカーネルドライバ936を含むように更に示されている。GPUコンポーネント918−942は、図8に記載されたコンポジタ938、ロガー940及び構成マネージャ942を更に含んでもよい。ロガー940は、一般に、レンダリングコアにより使用されるGPU活動をログするように構成されてもよい。
次に図10を参照すると、例示的な実施形態による、車両ディスプレイ上でグラフィックスをレンダリングするためのGPUスケジューリング処理1000が示されている。処理1000は、高優先度タスク及び低優先度タスクを含むように示されている。こうしたタスクは、一般的には、車両ディスプレイにおいてレンダリングする表示を表す。例えば、高優先度タスクは、リアルタイム又は近リアルタイムで更新しなければならないナビゲーションディスプレイ、警告ディスプレイ、車両の現在速度を表示するディスプレイ等に関してもよい。低優先度タスクは、娯楽関連ディスプレイ(例えば、ラジオディスプレイ、ビデオ再生ディスプレイ、電話ディスプレイ、天気ディスプレイ等)に関してもよい。高優先度タスクは、一般に、車両の運転者にクリティカルである又は必要不可欠であると考えられるアプリケーションに関連し、低優先度タスクは、一般に、車内の娯楽機能を提供するアプリケーションに関連してもよい。
処理1000において、CPU1010は、レンダリングのための複数の高優先度タスク1002、1004、1007及び低優先度タスク1003、1005、1006を有してもよい。CPU1010は、GPUドライバ(例えば、ドライバ1009)からのGPUコマンド(例えば、コマンド1008)を介して、タスクが生成されるとレンダリングのためのタスクをGPU1012に提供してもよい。GPUドライバ1009は、一実施形態では、OpenGLドライバであってもよい。処理1000では、GPU1012は、タスクが到着する順番で各タスクを実行する。結果として、第2の高優先度タスク1004は、第1の低優先度タスク1003が処理される間、処理されるのを待たなければならないように示されている。高優先度タスクは、一般に、実行されて車両ディスプレイにレンダリングされることを所定期間の間ブロックされる。これは、高優先度タスクが時間内にレンダリングされない可能性があるという問題を引きおこし得る(例えば、リアルタイムでナビゲーションマップを更新しない、車両警告を時間内に更新しない等)。
次に図11を参照すると、例示的な実施形態による、別のGPUスケジューラ処理1100が示されている。処理1100は、タイルベース型GPUスケジューリング処理を示す。処理1100では、GPUは、CPUからタスクを受信してもよく、ディスプレイでレンダリングするための各タスクの各タイルを処理してもよい。GPUは、複数のGPUコアを介して(例えば、先の図面に示された4つのコアの間で)タイルを並列に処理し且つレンダリングしてもよい。
処理1100は、複数の生成されたタスクを有するCPU1102を含む。例えば、CPU1102は、低優先度タスク(例えば、天気表示1110)及び高優先度タスク(例えば、ナビゲーション表示1112)を実行していてもよい。CPU1102は、最初に低優先度タスクを生成して、天気表示1110の一部をGPUドライバを介してGPU1104に渡すように示されている。簡潔のため、図11は、レンダリングのためにGPU1104に渡される表示1110、1112の一部のみを示している。しかしながら、処理1100は2つの表示の全体及び/又は追加の表示のために実行されてもよいことが理解されるべきである。様々な実施形態では、CPU1102及び/又はGPU1104は、GPU1104が各タイルを個別に処理及びレンダリングし得るように各タスクを複数のタイルに分割してもよい。
GPU1104は、天気表示1100の各タイルの処理及びレンダリングを開始する。その間に、CPU1102は、高優先度タスクの生成を開始し、終了すると、ナビゲーション表示1112の一部をGPU1104に渡してもよい。ナビゲーション表示1112は、表示が天気表示1110に対して優先されるべきであることをGPU1104に示す優先度レベルとともに渡される。優先度レベルは、各タスクがディスプレイにどのように表示されるかに関連してもよい。例えば、あるタスクはリアルタイムで更新しなければならない一方で、他のタスクは断続的な更新を要求するのみであり、又はあるタスクのコンテンツは別のタスクのコンテンツよりも重要であってもよい。優先度レベル割り当ては、例えば、EGL_IMG_Context_priority等のEGL拡張により行われてもよい。
GPU1104は、低優先度タスクの第4のタイルを処理している間、高優先度タスクを受信するように示されている。GPU1104は低優先度タスクの第4のタイルの処理を終了すると、高優先度タスクの処理を開始するために低優先度タスクの処理を中断してもよい。高優先度タスクの処理が終了すると、GPU1104は低優先度タスクの処理を再開してもよい。図示のように、GPU1104は、タイルベース型スケジューリング処理を実行することにより、タイルを個別に処理する。GPU1104は、その当然の結果として低優先度タスクからのタイルに対して高優先度タスクからのタイルを優先する。GPU1104は、各受信タスクに対して各タイルの優先度を管理するための組み込みスケジューラを有してもよい。
次に図12−13を参照すると、別の例示的なGPUスケジューラ処理1200が示されている。処理1200では、イベント駆動型スケジューリング処理が、GPUをCPUと同期させる。GPUがアイドル状態にある場合、最も高い優先度を有するタスクがGPUに送られてもよい。GPUがタスクをアクティブに処理している場合、将来のタスクのキューが、GPUに送信するために形成されてもよい。GPUがタスクの処理を終了すると、割り込みがキューに送られてもよく、これは処理のためにキューからタスクをGPUスケジューラに検索させる。
図12に示されているように、複数のアプリケーション1201−1203が、処理のためにGPUに提供する1つ以上のタスクを有してもよい。アプリケーション1201は低優先度アプリケーションとして示され、アプリケーション1202は通常優先度アプリケーションとして示され、アプリケーション1203は高優先度アプリケーションとして示されている。アプリケーション1201−1203により生成されるタスクは、高優先度タスク1204及び低優先度タスク1206の組み合わせとして示されている。図12の実施形態は2つのタスクの優先度レベルのみを示しているが、任意の数の優先度レベルが処理1200に組み込まれてもよいことが理解されるべきである(例えば、クリティカル、高、並、通常、低、超低等)。
処理1200では、コマンドキュー1210が、カーネル空間ドライバ1208に形成されてもよい。キュー1210は、将来GPU1220によって処理されるタスクを含む。GPU1220がタスクの処理を終了すると、GPUは、GPU1220が次のタスクの準備が整っていることを示す割り込み1212をGPUスケジューラ1222に送信してもよい。GPUスケジューラ1222は、コマンドキュー1210にアクセスして、どのタスクがGPU1220に提供されるべきかを決定してもよい。決定は、各タスクの優先度レベル、各タスクのキューにおける場所、又は他の関連情報を使用して行われてもよい。GPUスケジューラ1222は、GPU1220に提供するために選択されたタスクをGPUインターフェース1224に提供する。GPUインターフェース1224は、例えば、円形又はリングバッファであってもよい。
図13をより詳細に参照すると、処理1300が示されている。処理1300は、処理1200のより詳細なバージョンであってもよい。処理1300は、高優先度タスク1302、1303のペア、及び低優先度タスク1304を示している。CPU1310は、GPUドライバ1306を介して第1の高優先度タスク1302を提供し、GPU1312がタスクを処理する。GPU1312がタスク1302を処理するのにビジーである間、CPU1310は将来の処理のためにタスク1303、1304を生成し続けてもよい。GPUドライバ1306によってタスク1303、1304がキュー1314に提供される。GPU1312がタスク1302の処理を終了すると、GPU1312は割り込み1316をCPU1310に送信する。割り込みに応答して、CPU1310は、キュー1314において最高優先度のタスクをGPU1312に提供してもよい。GPU1312は、次に、キュー1314から最大優先度を有するタスク(例えば、タスク1304)を受信して、このタスクを最初に処理してもよい。次に、GPU1312は、高優先度タスク(例えば、タスク1304)を処理して、低優先度タスク(例えば、タスク1303)が後に続く。タスクの処理の間、GPU1312は、どのタスクが次に処理されるべきかをGPUスケジューラ(例えば、GPUスケジューラ1222)が決定する「オーバヘッド」時間を有するように示されている。
GPUスケジューラ1222は、どのタスクが次に処理されるべきかを決定するために、タスク優先度レベルに追加して様々な情報を組み込んでもよい。例えば、GPUスケジューラ1222は、スケジュールが車内の各アプリケーションに対して所定量のGPU時間及びリソースを予約することを可能にする予約機能を含んでもよい。別の例として、GPUスケジューラ1222は、GPU実行時間を更に推定及びログしてもよく、タスクの推定実行時間に基づいてGPUにタスクを分配してもよい。
図14を次に参照すると、例示的な実施形態による、グラフィックスセーフティ及びセキュリティシステム1400のブロック図が示されている。システム1400の特徴は、図11−13に記載されたようにグラフィックススケジューリングの処理にセキュリティ機能を提供してもよい。システム1400は、GPU1401、GPU1401にタスクを提供する複数のアプリケーション1402、GPUドライバ1404(図14ではOpenGLとして示されている)、及び上記のGPUスケジューラ1410を含む。システム1400は、(図14でGL_EXT_robustnessと示されている)ロバスト性拡張1406を含むように示されている。拡張1406は、GPUによる各タスクの処理における異常を確認するために使用されてもよい。例えば、拡張1406は、セーフメモリコピー動作を確認し、GPUがリセットされたこと、又はそうではないことを検出してもよい。
システム1400は、ランタイムAPIセキュリティチェック1408を含むように更に示されている。ランタイムAPIセキュリティチェック1408は、GPUドライバ1404出力を確認するように構成されてもよい。例えば、チェック1408はシェーダーを有効にし、又はバグ若しくは事故を回避するためにシェーダーを修正してもよく、タイミングを制限し、又はタスクがGPU1400に送信される前にGPUドライバ1404により出力されるタスクを確認及び修正してもよい。ランタイムAPIセキュリティチェックの1つの例示の実装は、ANGLE(Almost Native Graphics Layer Engine)である。ANGLEは、OpenGL ES 2.0 APIコールをDirectX9又はDirectX11のAPIコールに変換するように構成されてもよい。言い換えれば、ANGLEは、様々なユーザインターフェース(例えば、本開示のディスプレイ)がOpenGLドライバに依存しなくてもコンテンツを実行できるようにする。ANGLEの使用は、OpenGLドライバ用のグラフィックスコマンドが他のグラフィックスコマンド(例えば、本開示のディスプレイで実装され得るWebGLグラフィックスコマンド)と互換性を有していない実装において有利であってもよい。しかしながら、他の実装では様々な他のランタイムAPIセキュリティチェックが使用され得ることを理解されたい。
システム1400は、GPU実行時間を監視するためにGPUウォッチドッグ1412を更に含むように示されている。GPUウォッチドッグ1412は、GPUがスタック又はブロックされた場合にGPUリセット1414をトリガしてもよい。GPUウォッチドッグ1412は、GPU実行時間及び処理される将来のタスクをスケジューリングするのに使用される他のGPU情報をGPUスケジューラ1410に提供してもよい。
様々な例示的な実施形態に示されたシステム及び方法の構造及び配置は単なる例示である。本開示には少数の実施形態のみが詳細に記載されているが、多くの修正(例えば、サイズ、寸法、構造、形状及び様々な要素の比率、パラメータの値、取り付け配置、材料の使用、色、方向の変更)が可能である。例えば、要素の配置は反転され又は他のやり方で変更されてもよく、個々の要素の性質又は数又は位置が変更又は変形されてもよい。従って、このような全ての修正が、本開示の範囲内に含まれることが意図される。任意の処理又は方法のステップの順番又は順序が、代替的な実施形態に従って変更され又は再順序付けされてもよい。他の置換、修正、変更及び省略が、本開示の範囲から逸脱することなく、例示的な実施形態の設計、動作条件及び配置で行われてもよい。
本開示は、様々な動作を遂行するための任意の機械可読媒体上のプログラム製品、システム及び方法を考慮している。本開示の実施形態は、既存のコンピュータプロセッサを使用して、又はこの若しくは別の目的で組み込まれる、適切なシステムのための専用コンピュータプロセッサによって、又は配線システムによって実装されてもよい。本開示の範囲内の実施形態は、機械実行可能命令又はそれに記憶されるデータ構造を伝送する又は有する機械可読媒体を含むプログラム製品を含む。このような機械可読媒体は、汎用又は専用コンピュータ又はプロセッサを有する他の機械によりアクセスされ得る任意の利用可能な媒体であってもよい。例えば、このような機械可読媒体は、RAM、ROM、EPROM、EEPROM、CD−ROM又は他の光学ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置、又は機械実行可能命令又はデータ構造の形態で所望のプログラムコードを伝送又は記憶するために使用され得る且つ汎用又は専用コンピュータ又はプロセッサを有する他の機械によりアクセスされ得る任意の他の媒体を含んでもよい。情報が機械とのネットワーク又は別の通信接続(有線、無線、又は有線若しくは無線の組み合わせ)を介して伝送又は提供される場合、機械は適切に接続を機械可読媒体と見なす。従って、任意のこのような接続は、適切に機械可読媒体と呼ばれる。上記の組み合わせも、機械可読媒体の範囲内に含まれる。例えば、機械実行可能命令は、汎用コンピュータ、専用コンピュータ、又は専用処理機械に所定の機能若しくは機能グループを実行させる命令及びデータを含む。
図面は方法ステップの特定の順番を示しているが、ステップの順番は描かれたものと異なっていてもよい。また、2つ以上のステップが同時に又は部分的に同時に行われてもよい。このような変形は、選択されたソフトウェア及びハードウェアシステムに及び設計者の選択に依存するであろう。このような全ての変形は、本開示の範囲内である。同様に、ソフトウェアの実装は、様々な接続ステップ、処理ステップ、比較ステップ及び決定ステップを遂行するためのルールベース論理及び他の論理を有する標準プログラミング技術によって達成され得る。

Claims (20)

  1. グラフィックス処理装置と、
    車両アプリケーションを実行して、前記グラフィックス処理装置に対するタスクを生成するように構成される複数の処理ドメインと、
    前記処理ドメインにより生成された前記タスクを受信して、前記グラフィックス処理装置に前記タスクを送信する順番を決定するように構成されるタスクスケジューラを含むレンダリングコアであって、前記グラフィックス処理装置は前記タスクスケジューラにより決定された前記順番で前記タスクを処理し且つ前記タスクに基づいて表示データを生成するレンダリングコアと、
    前記グラフィックス処理装置により生成された前記表示データを受信して、前記表示データをユーザに提示するように構成される電子ディスプレイと
    を備える、車両インターフェースシステム。
  2. 前記タスクスケジューラは、前記タスクの各々に関係付けられる優先度レベルを識別し、識別された優先度レベルに基づいて前記グラフィックス処理装置に前記タスクを送信する順番を決定する、請求項1に記載の車両インターフェースシステム。
  3. タスクに関係付けられる優先度レベルを識別することは、
    前記複数の処理ドメインの中のどれが前記タスクを生成したかを識別すること、
    識別された処理ドメインに関係付けられる優先度レベルを識別すること、及び
    前記識別された処理ドメインに関係付けられる前記優先度レベルに従って前記タスクに優先度レベルを割り当てること
    を含む、請求項2に記載の車両インターフェースシステム。
  4. 前記複数の処理ドメインは、
    車両クリティカルアプリケーションを実行して、前記グラフィックス処理装置に対する高優先度タスクを生成するように構成される高信頼性ドメイン、及び
    低優先度車両アプリケーションを実行して、前記グラフィックス処理装置に対する低優先度タスクを生成するように構成される低信頼性ドメイン
    を含む、請求項1に記載の車両インターフェースシステム。
  5. 前記レンダリングコアは、第1のセットの処理ドメインにより生成される第1のセットのタスクを受信及び管理して、前記第1のセットのタスクを前記スケジューラに提供するように構成される第1のアプリケーションプログラムインターフェースを含む、請求項1に記載の車両インターフェースシステム。
  6. 前記タスクスケジューラは、
    前記アプリケーションプログラムインターフェースにおいて受信された前記タスクの各々に関係付けられる優先度レベルを識別し、
    タスクを処理するように要求する割り込みを前記グラフィックス処理装置から受信し、且つ
    前記割り込みの受信に応じて、前記グラフィックス処理装置に最高の識別された優先度レベルを有するタスクを送信する
    ように構成される、請求項5に記載の車両インターフェースシステム。
  7. 第2のセットの処理ドメインにより生成される第2のセットのタスクを受信および管理するように構成される第2のアプリケーションプログラムインターフェースを更に備え、前記第2のセットの処理ドメインは前記第1のセットの処理ドメインには無い1つ以上の処理ドメインを含む、請求項5に記載の車両インターフェースシステム。
  8. 前記レンダリングコアは複数のリモートプロシージャコールエンドポイントを含み、前記リモートプロシージャコールエンドポイントの各々は、前記複数の処理ドメインの1つに対して指定され、且つ指定された処理ドメインにより生成されるタスクを管理するように構成される、請求項1に記載の車両インターフェースシステム。
  9. 前記グラフィックス処理装置は、表示される各タスクの部品を識別して、識別された部品をフレームバッファに記憶するように構成される、請求項1に記載の車両インターフェースシステム。
  10. 前記レンダリングコアは複数のフレームバッファを含み、前記フレームバッファの各々は、前記複数の処理ドメインの1つに対して指定され、且つ表示されるタスクの部品として前記グラフィックス処理装置により識別される各タスクの部品を記憶するように構成される、請求項1に記載の車両インターフェースシステム。
  11. 前記レンダリングコアは、前記複数のフレームバッファから前記タスクの識別された部品を受信して、前記識別された部品を組み立てることにより表示タスクを生成するように構成されるコンポジタを含む、請求項10に記載の車両インターフェースシステム。
  12. 前記グラフィックス処理装置は、前記タスクスケジューラから組み立て済みタスクを受信して、前記組み立て済みタスクに基づいて前記表示データを生成する、請求項11に記載の車両インターフェースシステム。
  13. グラフィックス処理装置と、
    高優先度車両アプリケーションを実行して、前記グラフィックス処理装置に対する高優先度タスクを生成するように構成される第1の処理コア、及び低優先度車両アプリケーションを実行して、前記グラフィックス処理装置に対する低優先度タスクを生成するように構成される第2の処理コアを備えるマルチコアプロセッサと、
    前記処理コアの各々により生成されるタスクを受信および管理するように構成されるグラフィックス処理装置ドライバと、
    前記グラフィックス処理装置ドライバで受信された前記タスクの各々に関係付けられる優先度レベルを識別して、識別された優先度レベルに基づいて前記グラフィックス処理装置に前記タスクを送信する順番を決定するように構成されるタスクスケジューラであって、前記グラフィックス処理装置は前記タスクスケジューラにより決定された前記順番で前記タスクを処理し且つ前記タスクに基づいて表示データを生成するタスクスケジューラと、
    前記グラフィックス処理装置により生成された前記表示データを受信して、前記表示データをユーザに提示するように構成される電子ディスプレイと
    を備える、車両インターフェースシステム。
  14. 前記タスクスケジューラは、
    タスクを処理するように要求する割り込みを前記グラフィックス処理装置から受信し、
    前記グラフィックス処理装置ドライバで受信された前記タスクのどれが最高の識別された優先度レベルを有するかを決定し、且つ
    前記割り込みの受信に応じて、前記グラフィックス処理装置に前記最高の識別された優先度レベルを有するタスクを送信する
    ように構成される、請求項13に記載の車両インターフェースシステム。
  15. タスクに関係付けられる優先度レベルを識別することは、
    前記複数の処理コアの中のどれが前記タスクを生成したかを識別すること、
    識別された処理コアに関係付けられる優先度レベルを識別すること、及び
    前記識別された処理コアに関係付けられる前記優先度レベルに従って前記タスクに優先度レベルを割り当てること
    を含む、請求項13に記載の車両インターフェースシステム。
  16. 前記高優先度タスクは、前記車両のセーフティ及びクリティカル車両動作の少なくとも1つに関連する車両アプリケーションにより生成される、請求項13に記載の車両インターフェースシステム。
  17. 前記低優先度タスクは、車両インフォテイメントアプリケーション、クラウドアプリケーション、及び自立ドライバ支援システムアプリケーションの少なくとも1つにより生成される、請求項13に記載の車両インターフェースシステム。
  18. 車両インターフェースシステムにおいてユーザインターフェースを生成するための方法であって、
    マルチコアプロセッサの第1のコアにより、第1の処理ドメインにおいて高優先度車両アプリケーションを実行するステップであって、前記高優先度車両アプリケーションは高優先度タスクを生成するステップと、
    前記マルチコアプロセッサの第2のコアにより、第2の処理ドメインにおいて低優先度車両アプリケーションを実行するステップであって、前記低優先度車両アプリケーションは低優先度タスクを生成するステップと、
    タスクスケジューラにより、生成されたタスクの各々に関係付けられる優先度レベルを識別するステップと、
    前記タスクスケジューラにより、識別された優先度レベルに基づいてグラフィックス処理装置に前記タスクを送信する順番を決定するステップと、
    前記グラフィックス処理装置により、前記タスクスケジューラにより決定された前記順番で前記タスクを処理するステップであって、前記グラフィックス処理装置は前記タスクに基づいて表示データを生成するステップと、
    前記車両インターフェースシステムの電子ディスプレイを介して前記グラフィックス処理装置により生成された前記表示データを提示するステップと
    を含む、方法。
  19. タスクに関係付けられる優先度レベルを識別するステップは、
    前記複数の処理ドメインの中のどれが前記タスクを生成したかを識別すること、
    識別された処理ドメインに関係付けられる優先度レベルを識別すること、及び
    前記識別された処理ドメインに関係付けられる前記優先度レベルに従って前記タスクに優先度レベルを割り当てること
    を含む、請求項18に記載の方法。
  20. 前記グラフィックス処理装置に前記タスクを送信する前記順番を決定するステップは、
    タスクを処理するように要求する割り込みを前記グラフィックス処理装置から受信すること、
    生成されたタスクの中のどれが最高の識別された優先度レベルを有するかを決定すること、及び
    前記割り込みの受信に応じて、前記グラフィックス処理装置に前記最高の識別された優先度レベルを有するタスクを送信すること
    を含む、請求項18に記載の方法。
JP2016544577A 2014-01-06 2014-12-31 複数のユーザインターフェース動作ドメインを有する車両 Expired - Fee Related JP6507169B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461924226P 2014-01-06 2014-01-06
US61/924,226 2014-01-06
PCT/US2014/072961 WO2015103374A1 (en) 2014-01-06 2014-12-31 Vehicle with multiple user interface operating domains

Publications (2)

Publication Number Publication Date
JP2017507398A true JP2017507398A (ja) 2017-03-16
JP6507169B2 JP6507169B2 (ja) 2019-04-24

Family

ID=52440830

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016544577A Expired - Fee Related JP6507169B2 (ja) 2014-01-06 2014-12-31 複数のユーザインターフェース動作ドメインを有する車両

Country Status (4)

Country Link
US (1) US20160328272A1 (ja)
EP (1) EP3092560B1 (ja)
JP (1) JP6507169B2 (ja)
WO (1) WO2015103374A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020027613A (ja) * 2018-08-10 2020-02-20 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 人工知能チップ及び人工知能チップに用いられる命令実行方法
JP2021151871A (ja) * 2017-07-19 2021-09-30 株式会社デンソー 車両用制御装置
JP2021190098A (ja) * 2020-05-29 2021-12-13 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像前処理方法、装置、電子機器及び記憶媒体
US11262757B2 (en) 2018-01-09 2022-03-01 Samsung Electronics Co., Ltd. Autonomous driving apparatus and method for autonomous driving of a vehicle
US11752960B2 (en) 2017-07-19 2023-09-12 Denso Corporation Vehicle control apparatus and power source supply circuit

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10862994B1 (en) * 2006-11-15 2020-12-08 Conviva Inc. Facilitating client decisions
US8874725B1 (en) 2006-11-15 2014-10-28 Conviva Inc. Monitoring the performance of a content player
US9177313B1 (en) * 2007-10-18 2015-11-03 Jpmorgan Chase Bank, N.A. System and method for issuing, circulating and trading financial instruments with smart features
US9100288B1 (en) * 2009-07-20 2015-08-04 Conviva Inc. Augmenting the functionality of a content player
US10182096B1 (en) 2012-09-05 2019-01-15 Conviva Inc. Virtual resource locator
US9246965B1 (en) 2012-09-05 2016-01-26 Conviva Inc. Source assignment based on network partitioning
US10353556B2 (en) * 2014-01-15 2019-07-16 Volkswagen Aktiengesellschaft Method and device for providing a user with feedback on an input
KR102100161B1 (ko) * 2014-02-04 2020-04-14 삼성전자주식회사 Gpu 데이터 캐싱 방법 및 그에 따른 데이터 프로세싱 시스템
EP3155735B1 (en) * 2014-06-10 2020-10-14 Audinate Pty Limited Systems, methods, and devices for providing networked access to media signals
US9946561B2 (en) * 2014-11-18 2018-04-17 Wind River Systems, Inc. Least privileged operating system
US10305955B1 (en) 2014-12-08 2019-05-28 Conviva Inc. Streaming decision in the cloud
US10178043B1 (en) 2014-12-08 2019-01-08 Conviva Inc. Dynamic bitrate range selection in the cloud for optimized video streaming
KR101663114B1 (ko) * 2015-01-21 2016-10-07 현대자동차주식회사 차량용 멀티미디어 단말기 및 그의 데이터 처리 방법
EP3101535B1 (en) * 2015-06-01 2022-04-13 OpenSynergy GmbH Method for updating a control unit for an automotive vehicle, control unit for an automotive vehicle, and computer program product
US11204871B2 (en) * 2015-06-30 2021-12-21 Advanced Micro Devices, Inc. System performance management using prioritized compute units
DE102015214389A1 (de) * 2015-07-29 2017-02-02 Robert Bosch Gmbh Verfahren und Vorrichtung zum Aktualisieren einer auf einer physischen Maschine unter einem Hypervisor betriebenen virtuellen Maschine
US10169066B2 (en) * 2015-08-06 2019-01-01 Ionroad Technologies Ltd. System and method for enhancing advanced driver assistance system (ADAS) as a system on a chip (SOC)
EP3341277A1 (de) * 2015-08-26 2018-07-04 Bloks. AG Steuergerät für ein fahrrad
EP3357761B1 (en) * 2015-09-30 2022-10-05 Hitachi Astemo, Ltd. In-vehicle control device
JP6394914B2 (ja) * 2015-11-11 2018-09-26 トヨタ自動車株式会社 運転支援装置
JP6428580B2 (ja) * 2015-11-24 2018-11-28 トヨタ自動車株式会社 ソフトウェア更新装置
US9537914B1 (en) * 2015-12-01 2017-01-03 International Business Machines Corporation Vehicle domain multi-level parallel buffering and context-based streaming data pre-processing system
CN106020926B (zh) * 2016-04-29 2019-10-25 华为技术有限公司 一种用于虚拟交换机技术中数据传输的方法及装置
JP6457973B2 (ja) * 2016-06-09 2019-01-23 株式会社 ミックウェア 移動体用情報表示システム、及び移動体用情報表示プログラム
JP6433939B2 (ja) * 2016-06-09 2018-12-05 株式会社 ミックウェア 移動体用情報表示システム、及び移動体用情報表示プログラム
GB2551516B (en) * 2016-06-20 2019-03-20 Jaguar Land Rover Ltd Activity monitor
DE102016217636A1 (de) * 2016-09-15 2018-03-15 Robert Bosch Gmbh Bildverarbeitungsalgorithmus
DE102017124105A1 (de) * 2016-10-24 2018-04-26 Denso Corporation Verfahren zur Portierung einer Single-Core Steuerungssoftware auf ein Multi-Core Steuergerät oder zur Optimierung einer Multi-Core Steuerungssoftware
CN106791152B (zh) * 2016-12-30 2019-08-27 Oppo广东移动通信有限公司 一种通信方法及移动终端
US10380886B2 (en) 2017-05-17 2019-08-13 Cavh Llc Connected automated vehicle highway systems and methods
EP3355188B1 (en) * 2017-01-31 2021-08-25 OpenSynergy GmbH Instrument display on a car dashboard by checking frames of a gui by a realtime os
DE102017203185B4 (de) 2017-02-28 2018-09-06 Audi Ag Kraftfahrzeug mit einem in mehrere getrennte Domänen eingeteilten Datennetzwerk sowie Verfahren zum Betreiben des Datennetzwerks
DE102017203570A1 (de) 2017-03-06 2018-09-06 Volkswagen Aktiengesellschaft Verfahren und vorrichtung zur darstellung von empfohlenen bedienhandlungen eines vorschlagssystems und interaktion mit dem vorschlagssystem
US10445007B1 (en) * 2017-04-19 2019-10-15 Rockwell Collins, Inc. Multi-core optimized warm-start loading approach
US20220375335A1 (en) 2017-05-17 2022-11-24 Cavh Llc Autonomous Vehicle and Cloud Control System
US10692365B2 (en) 2017-06-20 2020-06-23 Cavh Llc Intelligent road infrastructure system (IRIS): systems and methods
US10346345B2 (en) * 2017-05-26 2019-07-09 Microsoft Technology Licensing, Llc Core mapping
US10587575B2 (en) 2017-05-26 2020-03-10 Microsoft Technology Licensing, Llc Subsystem firewalls
US10353815B2 (en) 2017-05-26 2019-07-16 Microsoft Technology Licensing, Llc Data security for multiple banks of memory
US10628274B2 (en) * 2017-12-05 2020-04-21 Qualcomm Incorporated Self-test during idle cycles for shader core of GPU
EP3750145A4 (en) 2018-02-06 2022-02-16 Cavh Llc INTELLIGENT ROAD INFRASTRUCTURE SYSTEM (IRIS): SYSTEMS AND PROCEDURES
GB2571922B (en) * 2018-03-05 2020-03-25 Advanced Risc Mach Ltd External exception handling
WO2019217545A1 (en) 2018-05-09 2019-11-14 Cavh Llc Systems and methods for driving intelligence allocation between vehicles and highways
US10713747B2 (en) * 2018-06-08 2020-07-14 Honeywell International Inc. System and method for distributed processing of graphic server components
US11842642B2 (en) 2018-06-20 2023-12-12 Cavh Llc Connected automated vehicle highway systems and methods related to heavy vehicles
WO2020014224A1 (en) 2018-07-10 2020-01-16 Cavh Llc Fixed-route service system for cavh systems
WO2020014227A1 (en) 2018-07-10 2020-01-16 Cavh Llc Route-specific services for connected automated vehicle highway systems
WO2020028569A1 (en) * 2018-08-03 2020-02-06 Intel Corporation Dynamically direct compute tasks to any available compute resource within any local compute cluster of an embedded system
KR20200058157A (ko) * 2018-11-19 2020-05-27 삼성전자주식회사 Ivi 서비스를 제공하기 위한 전자 장치 및 방법
JP7196633B2 (ja) * 2019-01-23 2022-12-27 トヨタ自動車株式会社 タスク管理装置およびタスク管理方法
DE102020201279A1 (de) * 2019-02-20 2020-08-20 Zf Friedrichshafen Ag Computerimplementiertes Verfahren zum maschinellen Lernen einer Auslastung von Rechenressourcen und/oder Speicherressourcen eines Rechensystems für automatisierte Fahrfunktionen, Steuergerät für ein automatisiert betreibbares Fahrzeug und Computerprogrammprodukt zur mobilen Verarbeitung von Nutzerdaten
DE102019203130A1 (de) * 2019-03-07 2020-09-10 Continental Automotive Gmbh Nahtlose Audioübergabe in einem Mehrprozessor-Audiosystem
KR20210139307A (ko) * 2019-04-12 2021-11-22 하만인터내셔날인더스트리스인코포레이티드 차량 내 컴퓨팅 시스템을 위한 탄력적 컴퓨팅
EP3722947A1 (en) * 2019-04-12 2020-10-14 Aptiv Technologies Limited Distributed system for displaying a content
JP2020177074A (ja) * 2019-04-16 2020-10-29 株式会社デンソー 車両用装置、車両用装置の制御方法
JP7180516B2 (ja) * 2019-04-16 2022-11-30 株式会社デンソー 車両用装置、車両用装置の制御方法
JP7151631B2 (ja) * 2019-06-11 2022-10-12 株式会社デンソー 車両用制御装置、車両用表示システム、及び車両用表示制御方法
DE102019208941A1 (de) * 2019-06-19 2020-12-24 Audi Ag Kraftfahrzeug-Anzeigevorrichtung mit mehreren SOC-Einheiten und Kraftfahrzeug
US11847012B2 (en) * 2019-06-28 2023-12-19 Intel Corporation Method and apparatus to provide an improved fail-safe system for critical and non-critical workloads of a computer-assisted or autonomous driving vehicle
US11368471B2 (en) * 2019-07-01 2022-06-21 Beijing Voyager Technology Co., Ltd. Security gateway for autonomous or connected vehicles
DE102019124343A1 (de) * 2019-09-11 2021-03-11 Audi Ag Verfahren zum Betreiben eines Rechnersystems für ein Kraftfahrzeug sowie ein derartiges Rechnersystem
KR20220156805A (ko) * 2020-03-23 2022-11-28 엘지전자 주식회사 디스플레이 제어 장치
DE102020116988A1 (de) * 2020-06-29 2021-12-30 Audi Aktiengesellschaft Betriebsverfahren für ein Fahrzeuginformationssystem
US11138687B1 (en) * 2020-07-06 2021-10-05 Roku, Inc. Protocol-based graphics compositor
KR20220057302A (ko) * 2020-10-29 2022-05-09 현대자동차주식회사 차량 및 그 제어방법
US20230069413A1 (en) * 2021-09-01 2023-03-02 Wipro Limited System and method for providing assistance to vehicle occupants
CN113946729B (zh) * 2021-10-14 2023-08-22 阿波罗智联(北京)科技有限公司 针对车辆的数据处理方法、装置、电子设备和介质
US20230182734A1 (en) * 2021-12-10 2023-06-15 Ford Global Technologies, Llc Vehicle localization
US11924579B1 (en) * 2023-09-26 2024-03-05 N.S. International, Ltd. FPD-link IV video generator system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06350772A (ja) * 1993-06-14 1994-12-22 Ricoh Co Ltd ディジタル複写機システム
US20050285867A1 (en) * 2004-06-25 2005-12-29 Apple Computer, Inc. Partial display updates in a windowing system using a programmable graphics processing unit
JP2007219816A (ja) * 2006-02-16 2007-08-30 Handotai Rikougaku Kenkyu Center:Kk マルチプロセッサシステム
JP2010287254A (ja) * 2003-02-18 2010-12-24 Microsoft Corp タスクのスケジューリングを支援する装置
US20110115802A1 (en) * 2009-09-03 2011-05-19 Michael Mantor Processing Unit that Enables Asynchronous Task Dispatch
JP2011102121A (ja) * 2003-01-31 2011-05-26 Robert Bosch Gmbh 車両における計算機システム
JP2013537993A (ja) * 2010-09-20 2013-10-07 クゥアルコム・インコーポレイテッド マルチプルプロセッサ計算プラットフォームにおけるプロセッサ間通信技法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6161071A (en) * 1999-03-12 2000-12-12 Navigation Technologies Corporation Method and system for an in-vehicle computing architecture
US7269482B1 (en) * 2001-04-20 2007-09-11 Vetronix Corporation In-vehicle information system and software framework
US7178049B2 (en) * 2002-04-24 2007-02-13 Medius, Inc. Method for multi-tasking multiple Java virtual machines in a secure environment
US7802263B2 (en) * 2002-12-17 2010-09-21 Stragent, Llc System, method and computer program product for sharing information in a distributed framework
US7398337B2 (en) * 2005-02-25 2008-07-08 International Business Machines Corporation Association of host translations that are associated to an access control level on a PCI bridge that supports virtualization
US8316368B2 (en) * 2009-02-05 2012-11-20 Honeywell International Inc. Safe partition scheduling on multi-core processors
US20130241720A1 (en) * 2012-03-14 2013-09-19 Christopher P. Ricci Configurable vehicle console
KR20120067502A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 Osek 기반의 시간 결정 실시간 스케줄링 방법
CN103003798B (zh) * 2011-05-16 2017-02-22 松下电器(美国)知识产权公司 虚拟计算机系统、虚拟计算机系统的控制方法
JP5533789B2 (ja) * 2011-06-14 2014-06-25 株式会社デンソー 車載電子制御装置
DE112012004767T5 (de) * 2011-11-16 2014-11-06 Flextronics Ap, Llc Vollständiges Fahrzeugökosystem
MX341510B (es) * 2011-12-27 2016-08-23 Intel Corp Metodo, sistema, y dispositivo para navegacion basada en lista de cosas por hacer.
US9178886B2 (en) * 2012-08-29 2015-11-03 Red Hat Israel, Ltd. Flattening permission trees in a virtualization environment
US9515899B2 (en) * 2012-12-19 2016-12-06 Veritas Technologies Llc Providing optimized quality of service to prioritized virtual machines and applications based on quality of shared resources
US9607351B2 (en) * 2013-07-24 2017-03-28 General Dynamics Mission Systems, Inc. Systems and methods for GPU virtualization

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06350772A (ja) * 1993-06-14 1994-12-22 Ricoh Co Ltd ディジタル複写機システム
JP2011102121A (ja) * 2003-01-31 2011-05-26 Robert Bosch Gmbh 車両における計算機システム
JP2010287254A (ja) * 2003-02-18 2010-12-24 Microsoft Corp タスクのスケジューリングを支援する装置
US20050285867A1 (en) * 2004-06-25 2005-12-29 Apple Computer, Inc. Partial display updates in a windowing system using a programmable graphics processing unit
JP2007219816A (ja) * 2006-02-16 2007-08-30 Handotai Rikougaku Kenkyu Center:Kk マルチプロセッサシステム
US20110115802A1 (en) * 2009-09-03 2011-05-19 Michael Mantor Processing Unit that Enables Asynchronous Task Dispatch
JP2013504131A (ja) * 2009-09-03 2013-02-04 アドバンスト・マイクロ・ディバイシズ・インコーポレイテッド 非同期タスクディスパッチを可能にする処理ユニット
JP2013537993A (ja) * 2010-09-20 2013-10-07 クゥアルコム・インコーポレイテッド マルチプルプロセッサ計算プラットフォームにおけるプロセッサ間通信技法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021151871A (ja) * 2017-07-19 2021-09-30 株式会社デンソー 車両用制御装置
US11485301B2 (en) 2017-07-19 2022-11-01 Denso Corporation Vehicle control apparatus and power source supply circuit
JP7230949B2 (ja) 2017-07-19 2023-03-01 株式会社デンソー 車両用制御装置
US11752960B2 (en) 2017-07-19 2023-09-12 Denso Corporation Vehicle control apparatus and power source supply circuit
US11262757B2 (en) 2018-01-09 2022-03-01 Samsung Electronics Co., Ltd. Autonomous driving apparatus and method for autonomous driving of a vehicle
JP2020027613A (ja) * 2018-08-10 2020-02-20 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド 人工知能チップ及び人工知能チップに用いられる命令実行方法
JP7011627B2 (ja) 2018-08-10 2022-01-26 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 人工知能チップ及び人工知能チップに用いられる命令実行方法
US11372673B2 (en) 2018-08-10 2022-06-28 Beijing Baidu Netcom Science And Technology Co., Ltd. Artificial intelligence chip and instruction execution method for artificial intelligence chip
JP2021190098A (ja) * 2020-05-29 2021-12-13 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像前処理方法、装置、電子機器及び記憶媒体
JP7160495B2 (ja) 2020-05-29 2022-10-25 阿波▲羅▼智▲聯▼(北京)科技有限公司 画像前処理方法、装置、電子機器及び記憶媒体

Also Published As

Publication number Publication date
US20160328272A1 (en) 2016-11-10
JP6507169B2 (ja) 2019-04-24
EP3092560A1 (en) 2016-11-16
WO2015103374A1 (en) 2015-07-09
EP3092560B1 (en) 2019-05-08

Similar Documents

Publication Publication Date Title
JP6507169B2 (ja) 複数のユーザインターフェース動作ドメインを有する車両
JP6523298B2 (ja) コンピュータシステムと車両インターフェースシステム
US11042341B2 (en) Integrated functionality of center display, driver display, and shared-experience display
KR101495862B1 (ko) 제로 클라이언트를 지원하는 가상화 서버 및 가상 머신 관리 방법
US10860208B2 (en) Multi-window display controller
US20170004808A1 (en) Method and system for capturing a frame buffer of a virtual machine in a gpu pass-through environment
US20090197641A1 (en) Computing device with handheld and extended computing units
US20100217836A1 (en) Dockable handheld computing device with video application and methods for use therewith
TWI531958B (zh) 雲端計算之大型儲存虛擬化
JP2008503015A (ja) 複数クライアントによる単一物理デバイスの共有
US10891921B2 (en) Separate operating systems for dashboard display
JP2006190281A (ja) グラフィックサブシステムを仮想化するシステムおよび方法
JP2014135013A (ja) 画像転送方法、サーバ機器及びプログラム
US11347538B2 (en) Method for controlling execution of heterogeneous operating systems and electronic device and storage medium therefor
US9471357B2 (en) Monitoring virtual machine interface and local graphical user interface on a thin client and alternating therebetween
CN114741120B (zh) 用于增强设备流的可插拔组件
KR20200058157A (ko) Ivi 서비스를 제공하기 위한 전자 장치 및 방법
JP7277592B2 (ja) 家庭用ゲームコンソール及びクラウドゲーム用のスケーラブルなゲームコンソールcpu/gpu設計
Karthik et al. Hypervisor based approach for integrated cockpit solutions
WO2021253141A1 (zh) 一种图像数据处理的装置和方法
US9674307B1 (en) Running mobile applications in a distributed client-server model using selective delegation of hardware and software contexts to the client
US20220143499A1 (en) Scalable game console cpu / gpu design for home console and cloud gaming
Shelly Advanced In-Vehicle Systems: A Reference Design for the Future
US20130328865A1 (en) Apparatus and method for graphic offloading based on virtual machine monitor
JP2022114164A (ja) 車両用装置、車両用システム、外部装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190401

R150 Certificate of patent or registration of utility model

Ref document number: 6507169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees