JP2022507939A - 調整されたコンポーネントインターフェース制御フレームワーク - Google Patents

Abstract

調整されたコンポーネントインターフェース制御フレームワークはデータ処理パイプラインの動作を定期的に再現し得る。フレームワークは、パイプラインのコンポーネントへの入力、パイプラインのコンポーネントからの出力、および／またはパイプラインのコンポーネントの実行を（例えば、インターフェースを介して）制御するコントローラーを含み得る。フレームワークはまた、パイプラインのパフォーマンスを調整し、および／または異なるマシンに渡ってさえ、パイプラインの並行処理を可能にし得るが、パイプラインの動作を定期的に再現する能力を保持する。インターフェースは、コンポーネントを異なるおよび／または更新されたコンポーネントと交換すること、および／またはインターフェースを介してコンポーネントを制御するコントローラーのタイプを変更することを容易にし得る。例えば、さまざまなタイプのコントローラーは、他のコントローラーによって制御される（および/またはコントローラーによって制御されない）コンポーネント、コンポーネントの動作を再現できるように再現性データを生成するコントローラー、コンポーネントの動作を再現するコントローラー、および／またはパイプラインのパフォーマンスを（たとえば、それぞれのコンポーネントの入力、出力、および実行を変更することによって）調整するコントローラー間の通信を容易にし得る。

Description

本発明は、調整されたコンポーネントインターフェース制御フレームワークに関する。

（関連出願）
このＰＣＴ国際出願は、2018年11月21日に出願され、「Coordinated Component Interface Control Framework」と題された米国特許出願第16/198,621号、および2018年11月21日に出願され、「Executable Component Interface and Controller」と題された米国特許出願第16/198,653号の利益を主張し、これらはいずれも、参照により本明細書に組み込まれる。

様々なシステムが、システムを制御するために複雑なデータ処理パイプラインに依存していることがある。例えば、データ処理パイプラインを使用して、製造プロセスを制御し、部屋の中の複数の会話を追跡し、個別の話者を識別しながら音声をテキストに変換し、環境を介して自律型ロボットの動きを制御し、化学的刺激および/またはバイオフィードバックなどを介して微細なナノチューブの動きを調整することができる。ただし、これらのデータ処理パイプラインは非常に複雑であるため、処理パイプラインの１つの要素を改善する変更により、パイプライン全体の出力が実際には悪化する可能性があるため、時々、データ処理パイプラインのパフォーマンスの調整は難しいことがある。さらに、データ処理パイプラインの要素が最適に実行されていない場合、処理パイプラインの複雑さが、その原因である１つまたは複数の要素を曖昧にする可能性がある。

詳細な説明は、添付の図面を参照して説明される。図では、参照番号の左端の数字は、その参照番号が最初に現れる図を識別する。異なる図における同じ参照番号は、同様のまたは同等の項目を示す。

図１は、ネイティブ構成に従って構成されたシステムを含む自律走行車を示す例示的なシナリオを示す。 図２Ａは、ネイティブ構成における１つまたは複数のコンポーネントを備える例示的なシステムのブロック図を示す。 図２Ｂは、システムの１つまたは複数のコンポーネントへの入力、出力、および／または実行状態を制御するための例示的なフレームワークのブロック図を示す。 図３は、コンポーネント、入出力インターフェース、およびオンラインコントローラーを備えるフレームワーク実装のブロック図を示す。 図４は、コンポーネントにおいてイベントを再現するためのデータストアおよびロガーを実装するための例示的なアーキテクチャのブロック図を示す。 図５は、コンポーネント、入出力インターフェース、および再生コントローラーを備えるフレームワーク実装のブロック図を示す。 図６は、コンポーネント、入出力インターフェース、調整コントローラー、それに関連する他のコントローラーおよびコンポーネント、ならびに非調整コンポーネントを備えるフレームワーク実装のブロック図を示す。 図７は、本明細書で論じられるフレームワークを使用してシステムの性能を調整するための例示的なプロセスの流れ図を示す。 図８は、本明細書で論じられるフレームワークを実装する例示的なアーキテクチャのブロック図を示す。

上述したように、システムは、処理パイプラインのコンポーネントの問題を覆い隠し、データ処理パイプラインのパフォーマンスを調整するための努力を妨げたり邪魔したりする可能性のある複雑なデータ処理パイプラインを含むことがある。さらに、パイプラインのコンポーネントは、さまざまなタイプのコンポーネントであり得る。第１のコンポーネントは、プロセッサによって実行されたソフトウェアに実装され、２番目のコンポーネントは、フィールドプログラマブルゲートアレイ（FPGA）または特定用途向け集積回路（ＡＳＩＣ）などのハードウェアとして実装され得、若しくは追加または代替の例では、第１のコンポーネントは、オペレーティングシステムのカーネル層に実装され得、第２のコンポーネントは、オペレーティングシステムのアプリケーション層に実装され得、第３のコンポーネントは、異なるオペレーティングシステムのアプリケーション層に実装され得る。コンポーネントは、その機能が異なる可能性があり、したがって、コンポーネントへの入力およびコンポーネントからの出力において機能する。

さらに、データパイプラインオフラインの動作を再生しようとすると（すなわち、アクティビティを再現しようとすると）、非決定論的な出力をもたらし得、つまり、特定の入力が与えられると、データパイプラインは常に同じ出力を生成するとは限らない可能性がある。これは、データパイプラインのコンポーネントが異なるコンピューティングノード（例えば、異なるグラフィックスプロセッシングユニット（GPU）パイプラインおよび/または異なるGPU、異なる中央処理装置（CPU）コアおよび/または異なるCPU、ネットワークを介して接続されたさまざまなマシン、さまざまな仮想マシン）上で並列に動作する場合に特に悪化し、これは、自律走行車をリアルタイムで制御するのに役立つ動作速度を達成するために、一部のアプリケーションで必要になり得る。

ユースケースに関係なく、この出願は、システムのコンポーネント（例えば、データ処理パイプライン、コンピュータービジョンシステム、知覚コンポーネント）に関する技術を説明する。本明細書で使用される場合、システムは、１つまたは複数のコンポーネントを含み得る。コンポーネントは、それ自体、複数の要素のシステム（例えば、ハードウェアおよび/またはソフトウェアのさまざまな組み合わせ）を含み得る。

説明するために、自律走行車のシステムは、例えば、知覚システム、位置特定システム、プランナーシステム、駆動モジュール制御システム、内部動作システムなどの複数のシステムを含む人工知能（ＡＩ）スタックを含み得る。これらのシステムのそれぞれは、順番に、数十、数百、さらには数千のコンポーネントを含み得る。知覚システムは、例えば、１つまたは複数のセンサーデータ処理コンポーネント、画像をセグメント化するためのコンポーネント、ライダー（ＬＩＤＡＲ）データのポイントをセグメント化するためのコンポーネント、センサーデータにおいて識別されたオブジェクトを分類するためのコンポーネント、オブジェクトを追跡するためのコンポーネントなどを含み得る。さらに、これらのコンポーネントの１つは、ニューラルネットワークおよび／または他の機械学習モデル、プロセッサによって実行可能な命令、および／またはハードウェアなどの複数のサブコンポーネントを含み得る。

この出願は、コンポーネントへの入力および／またはコンポーネントからの出力を制御する、および／またはコンポーネントがいつおよび／またはどのくらいの時間動作するかを制御するフレームワークを含む技術を説明する。

本明細書で説明されるフレームワークは、システムのコンポーネントによって実行されるアクションが決定論的に再現され得るようにシステムを構成し得、つまり、フレームワークを実装するシステムに提供される同じ入力ごとに、同じ出力がシステムによって生成される。場合によっては、フレームワークは、以前は開発者がパイプラインフローを指定したり、他のコンポーネントの一部を書き直したりする必要があった場合に、「プラグアンドプレイ」方式でシステムのコンポーネントを別のコンポーネントに置き換える機能も容易にする。いくつかの例では、本明細書で論じられる技術は、システムのコンポーネントを代替コンポーネントに置き換えること、および置き換えの前後のシステムの動作を比較することを含む。例えば、フレームワークは、ログデータを使用して上述したＡＩスタックの動作を再現し得（および／またはシミュレーションデータを使用してＡＩスタックの動作を決定論的にシミュレートし得）、ＡＩスタックおよび／またはそのコンポーネントからの出力の第１のセットを獲得し得る。AIスタックの知覚システムは、更新された、および/または異なる知覚システムに置き換えてもよく、フレームワークは、同じログデータおよび/またはシミュレーションデータを使用してAIスタックを実行し得、AIスタックの動作/パフォーマンスを置き換えの前後で比較することを可能にする。少なくともいくつかの例では、フレームワークは、異なるコンポーネントを有しているにもかかわらず、あるシステム変数（例えば、内部状態、実行回数など）を保持することを可能にし得る。そのような例では、システムは、必要なシステムリソースに関係なく、コンポーネントがシステム全体の正確さや的確さにどのように影響するかを分類することを可能にし得る。

場合によっては、フレームワークは、コンポーネントとコントローラーとの間の入出力インターフェースに信号を提供するコントローラーを含み得る。いくつかの例では、コントローラーは、コンポーネントのすべての入出力機能の宛先およびソースであり得、および／またはコントローラーは、コンポーネントに実行させ得る。他の例では、コンポーネントの少なくとも１つの入力および／または出力は、コントローラーの外部で入力または出力され得る。コンポーネントへの入力および/または出力を制御することに加えて、またはその代わりに、コントローラーは、コンポーネントの実行状態を制御し得る（例えば、コンポーネントの実行を引き起こす、実行を防ぐ、コンポーネントがいつおよび／またはどのくらいの時間実行するかを制御する、指定された内部状態に設定されるコンポーネントの内部状態を引き起こす）。コンポーネントに提供される入力、コンポーネントからの出力、および／またはコンポーネントの実行を制御するために、コントローラーは、信号および／または他のデータを入力／出力インターフェースに提供し得、および／または入力／出力インターフェースのステータスを制御し得る（例えば、コントローラーは、コンポーネントに関連付けられたレジスタに格納された値／フラグを設定し得る。コントローラーは、コンポーネントに関連付けられたプロセスを呼び出し得る）。コンポーネントがプロセッサ実行可能命令を含む例では、コントローラーは、プロセッサ実行可能命令を１つまたは複数のプロセッサによって実行させることによって、コンポーネントを動作させることができる（例えば、コンポーネントのプロセスに関連するアドレスをスタックにプッシュすること、フラグ状態がコンポーネントが実行すべきであることを示していると判断することに応じて、コンポーネントがアドレスをスタックにプッシュするように構成されている入力／出力インターフェースにフラグを設定すること）。

場合によっては、入力／出力インターフェースは、コントローラーから１つまたは複数の変数を受け取るように構成された第１の入力インターフェース（「初期化」入力インターフェース）、コントローラーから実行する指示を受け取るように構成された第２の入力インターフェース（「実行」入力インターフェース）（例えば、指示は、実行する期間をさらに含み得、および／または指示は、高い間、コンポーネントを実行させるフラグを含み得る）、コントローラーからキーフレームを受信し、少なくとも部分的にキーフレームに基づいてコンポーネントの内部状態を設定するように構成された第３の入力インターフェース（例えば、これは、内部状態を決定するためキーフレームを逆シリアル化することを含み得る）、少なくとも部分的にコンポーネントの内部状態に基づいてキーフレームを出力する第１の出力インターフェース（例えば、これは、キーフレームを決定するためにコンポーネントの内部状態をシリアル化することを含み得、コンポーネントは、定期的にキーフレームを出力し得（例えば、５００回の実行ごと、１０００回ごと）、および／または内部状態が、閾値変化度を満たすかまたは超える変化度によって変化するとき）、および／またはコンポーネントの実行の結果を出力する第２の出力インターフェースを含み得る。

本明細書で使用される場合、「結果（product）」および「出力」（名詞としての使用において）は、コンポーネントの実行の出力および／またはシステムの出力を指すために交換可能に使用され得ることに留意されたい。例えば、コンポーネントは実行に応じて出力／結果を出力し得る。この出力／結果は、システムによって出力／結果として出力され得、および／またはこの出力／製品は、第２の出力／結果も生成し得るシステムの別のコンポーネントによって受け取られ得る。システムは、追加的または代替的に、第２の出力／結果を出力し得る。「結果（product）」という用語を使用することで、コンポーネントが出力インターフェースを介して出力（名詞）を出力（動詞）し得るという紛らわしい状況を回避する。

本明細書で論じられる技術は、様々なタイプのコントローラーを含み得る。例えば、限定されないが、コントローラーのタイプは、オンラインコントローラー、再生コントローラー、および／または調整コントローラーを含み得る。異なるタイプのコントローラーはすべて、コンポーネントへの入力、コンポーネントからの出力、および／またはコンポーネントの実行状態を制御するように構成され得、無意識に（例えば、コントローラーが制御している実物のコンポーネントの知識を必要とせずに）そうするように構成され得る。これにより、第２のコンポーネントは第１のコンポーネントを置き換えることができ、一方、第１のコンポーネントを制御していた同じコントローラーは、置き換え後、コントローラーの動作を変えることなく、または場合によってはコントローラーに変化を通知することなく、第２のコンポーネントを制御するために引き続き使用され得る。場合によっては、入力／出力インターフェースを含むように構成されたコンポーネントは、入力／出力インターフェース、コンポーネント、および／またはコントローラーを再構成することなく、互いに交換され得る。言い換えると、コントローラーは入力／出力インターフェースの反対側のコンポーネントに依存しない（agnostic）ことがある。コントローラーの不可知論（agnosticism）を容易にするために、コントローラーは、以下で説明するように、自律走行車のオンライン動作からキャプチャされたイベントのシーケンス、ユーザー定義のタイミング、デフォルトのタイミング、センサーデータ、および／または他の非決定論的値を含み得るログファイルを受け取り得る。

異なるタイプのコントローラーはすべて同じコア機能、例えば、コンポーネントの入力/出力/実行を制御すること、および、それがコントローラーであるコンポーネントの機能に関して依存せずにそうすること、を有し得る。ただし、異なるタイプのコントローラーは、異なる追加機能を含み得る。たとえば、オンラインコントローラーは、コンポーネントの入力/出力/実行状態を制御することに加えて、（他のコンポーネントに関連付けられた）コントローラー間でメッセージをルーティングする場合がある。例えば、オンラインコントローラーは、サブスクライバ（subscriber）コンポーネントおよびパブリッシャ（publisher）コンポーネントを含み得る。オンラインコントローラーは、（例えば、パブリッシュ－サブスクライブ（ｐｕｂ－ｓｕｂ））アーキテクチャにおいて）オンラインコントローラーがサブスクライブするネットワークチャネルおよび／またはトピックからのサブスクライバコンポーネントを介して、別のコントローラー（すなわち、パブリッシング／アップストリームコントローラー）からメッセージを受信し得る。オンライン制御は、追加的または代替的に、ネットワークチャネルおよび／またはトピックを介して１つまたは複数のサブスクライブおよび／またはダウンストリームコントローラーにメッセージを発行し得る。いくつかの例では、メッセージは、トピックおよび／またはチャネルの識別子、コンポーネントの実行の結果、コンポーネントからコントローラーで結果を受信し、結果を含むメッセージがコントローラーによって作成され、および/または結果を含むメッセージが発行された時間（「生成時間」）、および/またはホライズン時間（たとえば、コンポーネントが最も早く再実行されるまでの時間）を含み得る。

例えば、第１のコンポーネントは、第１の結果を出力し得、第１のコンポーネントに関連付けられた第１のオンラインコントローラーは、第１のオンラインコントローラーと第１のコンポーネントとの間の第１の入力／出力インターフェースを介して第１の結果を受信し得る。第１のオンラインコントローラーは、第１の結果を含むメッセージを、第２のコンポーネントに関連付けられた第２のオンラインコントローラーに発行し得る。第２のオンラインコントローラーは、第２のコンポーネントへの入力として、第２のオンラインコントローラーと第２のコンポーネントとの間の第２の入力／出力インターフェースを介して、第１の結果を提供し得、第２のオンラインコントローラーは、第２のコンポーネントを第１の結果を使用して実行させ得る。第２のオンラインコントローラーは、第２のコンポーネントの実行に応答して、第２の結果を受け取り得る。第２のオンラインコントローラーは、第２の結果の受信に応答して第２の結果を含む１つまたは複数のサブスクライビングコントローラーに第２のメッセージを発行し得る。

場合によっては、オンラインコントローラーは、生成時間をオンラインコントローラーが発行するメッセージに関連付け得る。いくつかの例では、オンラインコントローラーは、入力／出力インターフェースを介したコンポーネントへの入力として、クロック信号、自律走行車から受信されたセンサーデータ、オンラインコントローラーで受信された１つまたは複数の他のコンポーネントの結果、および/または実行中にコンポーネントが使用可能な非決定論的値を提供し得る。たとえば、非決定論的値は、乱数分布、および／または実行ごとに異なる可能性のあるその他の値を含み得る。場合によっては、非決定論的値は、センサーデータおよび／または別のコンポーネントによって生成された結果を含み得る。オンラインコントローラーは、コンポーネントから非決定論的値の呼び出しを受信することに少なくとも部分的に基づいて非決定論的値を生成し得、非決定論的値を生成すると、オンラインコントローラーは非決定論的値をコンポーネントに提供し得る。

いくつかの例では、オンラインコントローラーは、追加的または代替的に、コンポーネントで発生するイベントをログファイルに保存し得る。例えば、オンラインコントローラーは、イベントのシーケンス、コンポーネントへの入力として提供されるセンサーデータ、コンポーネントに提供される他の入力、コントローラーによってコンポーネントへの入力として提供される非決定論的値、コンポーネントから受信した出力、コンポーネントの実行に関する診断情報、および/またはコンポーネントから受信したキーフレームをログファイルに保存し得る。場合によっては、入力／出力インターフェースは、コンポーネントの内部状態をキーフレームとしてシリアル化するように構成され得る。内部状態は、出力として渡されない可能性があり、および／または最後の１から５つのメッセージに基づいてコンポーネントを再実行することから回復できない可能性がある内部変数などのオブジェクトの実行に関連する隠されたカプセル化データを含み得る。例えば、内部状態は、カウンター値、第１のコンポーネントの以前の実行に少なくとも部分的に基づく内部変数値、出力コンテキスト（例えば、プランナーは、複数の軌道を生成し、自律走行車を制御するために少なくとも１つを選択し得、かつ、プランナーの各実行に対する車両の各位置および/または軌道によって達成された位置の履歴を保持し得、このデータは、軌道を選択する際に考慮に入れられることがあり、このデータは事後アクティビティおよび／またはデータを記録するため、プランナーの特定の実行時に内部状態を再作成するために、複数の反復が必要になる）などを含み得る。少なくともいくつかの例では、コンポーネントは、ステートフル（たとえば、それらは以前に計算された1つまたは複数の変数に依存する）および/またはステートレス（たとえば、コンポーネントによって実行された計算が以前の計算から独立している）として指定され得る。上記のように、ステートフルコンポーネントは、そのような内部状態の履歴を保持するものとして指定され得る。いくつかの例では、入力／出力インターフェースは、定期的に（例えば、１０回の実行ごと、５００回の実行ごと、１０００回の実行ごと）および／または顕著な状態（例えば、内部状態は、以前の内部状態と比較して、閾値変化度を満たすかまたはそれを超える変化度によって変化する。コンポーネントが指定されたタイプの出力を生成するときはいつでも）を検出すると、キーフレームを生成し得る。

いくつかの例では、イベントのシーケンスは、コンポーネントでイベントが発生した順序、および／または別のコンポーネントでのイベントに対してコンポーネントでイベントが発生した順序を定義し得る。

上記のように、システムの実行のその後の再生が決定論的かつ再現可能であるために、オンラインコントローラーは、コントローラーによって生成され、および／またはそれに関連するコンポーネントに提供される非決定論的値をキャプチャし得る（例えば、乱数分布、センサーデータ、別のコンポーネントによって決定された結果）。

再生コントローラーは、オンラインコントローラーの機能を含み得、追加的または代替的に、コンポーネントで以前のイベントを再生し得る。コンポーネントが以前に動作した方法と同様に（可能な動作許容範囲内で）コンポーネントの動作を再現するために、再生コントローラーは、イベントのシーケンスおよび／または入力データを含む、（例えば、オンラインコントローラーおよび／またはそれに関連するロガーによって生成された）ログファイルを受信し得る。場合によっては、ログファイルは、コンポーネントの動作に関連してオンラインコントローラーによって以前に生成された１つまたは複数の再現性メッセージを含み得る。

自律走行車（または他のオンラインシナリオ）で発生したコンポーネントの動作を再現するために再生コントローラーが使用されている例では、再生コントローラーは、コンポーネント（および／またはそれに関連するコントローラー）および／または１または複数の他のコントローラーでのシナリオ中に発生したイベントのシーケンス、および／または自律走行車からのセンサーデータ、アップストリームコンポーネントの出力（ただし、場合によっては、アップストリームコンポーネントの出力は使用され得ず、および／または、ログファイルに保存され得ない）、キーフレーム、および/またはコンポーネントに提供される非決定論的値を含み得る入力データを含むログファイルを受信し得る。場合によっては、イベントのシーケンスは、イベントのシーケンスによって指定された順序に従って、再生コントローラーが読み出し、コンポーネントへの入力として供給し得るデータストアに格納されたデータへの参照を含み得る。

いくつかの例では、再生コントローラーは、他のコントローラーと通信し、フレームワークを決定論的にし、シナリオを再現できるようにし、および／または、コンポーネントがダウンストリームコンポーネントの入力に直接出力することを可能にする代わりに、移植可能にすることができ、再生コントローラーは。パイプラインのフローをシミュレートするための相互間でメッセージを送信する。

例えば、ネイティブ構成（フレームワークを実装していないデータ処理パイプラインの元の構成）によれば、第１のコンポーネントは、入力としてセンサーからセンサーデータを受け取り得、センサーデータに少なくとも部分的に基づいて実行し得、そして、実行の結果を第２のコンポーネント（ダウンストリームコンポーネント）に出力し得、第２のコンポーネントは、結果を入力として受け取り、少なくとも部分的に結果に基づいて実行し、そして、第２の結果を別のダウンストリームコンポーネントに出力し、および／または第２の結果を出力する。本明細書で論じられるフレームワークによれば、第１のコントローラーは、第１のコンポーネントに関連付けられ得、第２のコントローラーは、第２のコンポーネントに関連付けられ得る。コンポーネントが他のコンポーネントからの入力を受信し、実行し、および/または結果を他のコンポーネントに直接出力できるようにする代わりに、第１のコントローラーはセンサーデータを受信し、センサーデータを入力としていつ提供するか、第１のコンポーネントをいつ、どのくらいの時間実行させるかを決定し得、第１のコンポーネントから結果を受け取り、および／または結果を含むメッセージを第２のコンポーネントに関連付けられた第２のコントローラーにいつ発行するかを決定する。少なくともいくつかの例では、フレームワークは、システム全体のアーキテクチャに少なくとも部分的に基づいてさまざまなコンポーネントの動作の順序を決定し得、計算の順序を最適化して、システム全体の動作の順序を維持しながら、コンポーネント間の最大の並列計算を可能にすることができる。そのような順序は、１つまたは複数のメッセージ内のデータに基づいて実施および／または決定され得る。

本明細書で論じられる技術は、記録されたイベントのシーケンスをユーザーが編集できるようにすることによって、またはユーザーがシーケンスを指定できるようにすることによって、イベントの異なるシーケンス（例えば、ユーザーが指定したシーケンス）にしたがって動作するようにユーザーがコンポーネントを強制することを可能にし得る。再生コントローラーは、（オンラインコントローラーによって生成されたイベントのシーケンスに加えて、またはその代わりに）少なくとも部分的にユーザー入力に基づくイベントのシーケンスを受信し得る。いくつかの例では、入力データは、追加的または代替的に、シミュレーションコンポーネントによって生成され、シミュレーションコンポーネントに関連付けられたコントローラーから再生コントローラーに発行されたシミュレートされたセンサーデータを含み得る。

フレームワークが決定論的に動作することを保証するために、コントローラーは、生成時間および／またはホライズン時間を、コントローラーが発行するメッセージに関連付け、および／またはコンポーネントへの入力として提供されるメッセージの順序および／または実行の順序を制御し得る。生成時間は、結果がコンポーネントからコントローラーで受信された時間、コントローラーが結果を含むメッセージを生成した時間、および／またはコントローラーがメッセージを発行した時間の識別子を含み得る。ホライズン時間は、コントローラーがコンポーネントを実行するまでの期間を最短で識別する。基本的に、ホライズン時間は、コンポーネントが別のｘ時間（たとえば、５００ミリ秒、１００マイクロ秒、１．２秒）の間再実行されないことをコントローラーが別のコントローラーに通知するという約束のように機能する。

生成時間および／またはホライズン時間を含むメッセージを受信するコントローラーは、生成時間および／またはホライズン時間を使用して、いつ入力を提供し、および／またはそれに関連するコンポーネントを実行させるかを決定し得る。例えば、コントローラーは、生成時間をイベントのシーケンスと比較し得、コントローラーが複数のメッセージを受信したいくつかの例では、イベントのシーケンスに対応するようにメッセージを並べ替え、イベントのシーケンスに反映されるのと同じ順序でメッセージをコンポーネントへの入力として提供し得、これにより、イベントのシーケンスがコンポーネントで（たとえば、オンラインコントローラーによって記録されたイベントのシーケンスと比較して）複製されることが保証される。少なくともいくつかの例では、実行の順序および／または総数が同じまたは類似である限り、コンポーネントの実行時刻および／または期間は変動し得る。場合によっては、コントローラーは、少なくとも部分的にホライズン時間に基づいて、コンポーネントを実行できるようにする時刻および／または期間を追加的または代替的に決定し得る。例えば、コントローラーは、ホライズン時間が満了するまで、コンポーネントを１回または複数回実行させることを決定し得る。コントローラーが複数のメッセージ、したがって複数のホライズン時間を受信する例では、コントローラーは、複数のホライズン時間のうちの最小ホライズン時間および／または少なくとも複数のホライズン時間のうちの最大ホライズン時間よりも短いホライズン時間まで、コンポーネントを１回または複数回実行させることを決定し得る。そのような方法で動作することにより、（シーケンスに関する）生成時間および／またはホライズン時間に関して、本明細書で論じられるフレームワークは、動作の順序および／またはコンポーネントの状態および／または動作中のシステムを維持することを含み得る、コンポーネントおよび／またはシステムの以前の動作を再現し得る。

さらに、フレームワークは、オンライン（ネイティブ）コンピューティング環境とは異なるハードウェアを含むコンピューティング環境で動作することにより、システムを移植可能にすることができ、フレームワークは、システムにネイティブ環境で発生する動作を再現させる。さらに、フレームワークは、分散コンピューティングシステム上で処理されることによって、および／または計算上制限されているコンピューティングデバイスによって、システムを移植可能にすることを可能にする。例えば、本明細書で論じられるフレームワークおよびそれに付随する動作のために、コントローラーは、イベントのシーケンス、生成時間、および/またはホライズン時間に従ってコンポーネントの入力/出力/実行を制御するため、コントローラーおよび／またはコンポーネントを実行するコンピューティングデバイスが、ネイティブコンピューティングデバイスおよび／または互いより遅いか速いかは問題ではない。そうすれば、コンポーネントが別のコンポーネントより「進んで」いることはなく、実行前に受け取るべきである入力がない状態でコンポーネントが残されることもない。

調整コントローラーは、特定のコンポーネントに関連付けられる代わりに、複数のコントローラー間の相互作用を調整し得る。例えば、自律走行車の知覚システムなどのシステムは、ネイティブ構成に従ってデータ処理パイプラインを形成する複数のコンポーネントを含み得る。少なくとも１つの例では、コントローラーは、複数のコンポーネントのうちの１つのコンポーネントに関連付けられ得るが、１つのコントローラーが代替的に複数のコンポーネントに関連付けられ得ることが企図される。いくつかの例では、複数のコンポーネントのうちのいくつかのコンポーネントは、入力／出力インターフェースを含まない場合があり、したがって、コントローラーと相互作用するように構成されない場合がある。入力／出力インターフェースを含まないコンポーネントは、本明細書では「非調整コントローラー」と呼ぶ。しかしながら、いくつかの例では、複数のコンポーネントのうちの各コンポーネントは、コントローラーに関連付けられ得、その結果、コントローラー対コンポーネントの比率は１：１である（ただし、他の技術が企図される）。ネイティブ構成では、特定のコンポーネントが１つまたは複数のアップストリームコンポーネントから入力を受け取り、１つまたは複数のダウンストリームコンポーネントに出力する場合がある。ただし、本が明細書で説明する技術によれば、入力／出力インターフェースを含むコンポーネントは、ネイティブ構成のように他のコンポーネントと直接通信し得ず、代わりに、コンポーネントに関連付けられたコントローラーと入力／出力インターフェースを介して排他的に通信し得る。次に、コントローラーは、処理パイプラインパターンに従って、および／または調整コントローラーを介して、互いに直接通信し得る。

調整コントローラーを使用する実装では、調整コントローラーは、コントローラーによって発行されたメッセージを受信し得、メッセージをサブスクライバコントローラーに中継し得、および／またはメッセージをイベントのシーケンスに従って中継し得る。例えば、第１のコントローラーからメッセージを受信し、少なくとも部分的にシーケンスに基づいて第２のコントローラーにメッセージを送信する時間を決定し、その時点で第２のコントローラーにメッセージを送信することによって、シーケンスが実施されることを確実にし得る。追加的または代替的に、調整コントローラーは、非調整コンポーネント（例えば、それに関連付けられたコントローラーを持たないコンポーネント）宛てのメッセージを処理し得る。例えば、調整コントローラーは、コントローラーからメッセージを受信し、メッセージが少なくとも１つの非調整コンポーネント宛てであると判定し、メッセージを非調整メッセージタイプに変換し、変換されたメッセージを非調整コンポーネントに送信し得る。これにより、コントローラーによって発行されたメッセージが調整または非調整コンポーネントに送信されるかどうかについて、コントローラーが依存しないこと（agnostic）を可能にし得る。

コントローラーを入力／出力インターフェースを含むコンポーネントと関連付ける配置は、本明細書では「フレームワーク」と呼ばれる。上述したように、フレームワークは、入力／出力インターフェースを含む（システムの）各コンポーネントにコントローラーを割り当て得る。システムが非調整コンポーネントを含む場合、フレームワークは、コントローラーと非調整コンポーネントとの相互作用を処理するための調整コントローラーをさらに含み得る。パイプラインのネイティブ構成を避け、本明細書で説明するフレームワークに従ってデータパイプラインを構成することにより、（フレームワーク内の）パイプラインの動作は決定論的であり、移植可能であり、計算リソースを最大化し、および/または計算的に制限されたハードウェア上で複雑なシナリオの再現を可能にし得る。

本明細書で説明するフレームワークは、パイプラインが同じ入力を決定論的に処理することを可能にし、つまり、同じ入力データ（例えば、車両から受信したセンサーデータ）がフレームワークに提供されるたびに、フレームワークは毎回同じ出力を生成する。いくつかの例では、本明細書で論じられる技術は、フレームワーク内で第１のコンポーネントが第２のコンポーネントで置き換えられることを容易にする。例えば、コントローラーは、第１のコンポーネントに関連付けられ得、ユーザー選択により、第１のコンポーネントは、もはやコントローラーに関連付けられず、第２のコンポーネントは、すぐにコントローラーに関連付けられる（したがって、コントローラーによって/コントローラーと通信して制御される）ように、第２のコンポーネントに置き換えられ得る。たとえば、第１のニューラルネットワークが第２のニューラルネットワークに置き換えられる可能性がある。この置換は、第２のコンポーネントをメモリにロードすること、第２のコンポーネントに関連付けられたプロセスをスタックにプッシュすること、第１のコンポーネントに関連付けられたアドレスを、コンポーネントに実行させるときにコントローラーが参照するレジスタ内の第２のコンポーネントに関連付けられたアドレスに置き換えること、および/または入力を提供する/出力を受信するときなどを含み得る。「第１のシステム」は、第１のコンポーネントおよび／または他のコンポーネントを含み得、「第２のシステム」は、第１のコンポーネントと置き換えられた第２のコンポーネントおよび／または他のコンポーネントを含み得る。

本明細書で論じられる技術は、追加的または代替的に、システムによって出力された結果および/またはコンポーネントによって出力された結果に関連付けられたメトリック、例えば、正確さ、精度、適合率再現率（ＰＲ）曲線、受信機動作特性（ＲＯＣ）曲線、待ち時間、反応時間（例えば、オブジェクトおよび/またはトラックを識別する前の実行の数）、および/または加速度（たとえば、横方向の加速度が横方向の加速度の閾値を満たすかまたは超えるか、前方の加速度が、車両の知覚された「ジャーク」に関連付けられた前方の加速度の閾値を満たすかまたは超えるか）などを決定することを含み得る。場合によっては、技術は、コンポーネントが実行されると、および／またはコンポーネントを含むシステムから出力を受け取ると、正確さ、精度、ＰＲ曲線、および／またはＲＯＣ曲線を決定することを含み得る。

場合によっては、技術は、第１のシステムおよび／または第１のコンポーネントに関連付けられた第１のメトリックを決定すること、第１のコンポーネントを第２のコンポーネントに置き換えて第２のシステムを形成すること、および第２のシステムおよび／または第２のコンポーネントに関連付けられた第２のメトリックを決定することを含み得る。場合によっては、技術は、追加的または代替的に、第１のシステムと第２のシステムおよび／または第１のコンポーネントおよび／または第２のコンポーネントとの間の差異を決定し得る。場合によっては、これは、それに関連付けられたメトリックを比較することを含み得る。場合によっては、技術は、第２のメトリックが第１のメトリックに対する改善であると決定すること、および、自律走行車に、少なくとも部分的に第２のメトリックが第１のメトリックに対する改善であるという決定に基づいて、第２のコンポーネントおよび／または第１のコンポーネントを第２のコンポーネントと置き換えるための命令を送信することを含み得る。

いくつかの例では、第２のメトリックは、第１のメトリックに対する改善であり得、第２のメトリックは、第１のメトリックによって示される正確さおよび／または精度を満たすかまたは超える正確さおよび／または精度を示し、第２のメトリックは、第１のメトリックによって示されるＰＲ曲線、ＲＯＣ曲線、および／または加速度よりも曲線により密接に一致するＰＲ曲線、ＲＯＣ曲線、および／または加速度を示し、および／または第２のメトリックは、第１のメトリックによって示される待ち時間および／または反応時間よりも短い待ち時間および／または反応時間を示す。

場合によっては、技術は、ログファイルを受信すること、第１のシステムによってログファイルを処理すること、第１のシステムに関連するメトリックを決定すること、メモリに格納された１つまたは複数の第１のコンポーネントが、第１のシステムの１つまたは複数の第２のコンポーネントに対応すると決定すること、および少なくとも部分的に対応の決定に基づいて、１つまたは複数の第１のコンポーネントのうちの少なくとも１つを、１つまたは複数の第２のコンポーネントのうちの対応する１つで置き換えることを含み得る。たとえば、自律走行車のシステムへの最後の更新の間に、コンポーネントが変更され得る。コンポーネントのこの２番目のバージョンは、バージョン情報に関連付けられたリポジトリに格納され得る。フレームワークを実行しているコンピューティングデバイスは、この変更されたコンポーネントが利用可能であり、以前のコンポーネントに対応していると判定し得る。コンピューティングデバイスは、第１のシステムへの入力として、第１のシステムの動作を再現するためのログデータを提供し、第１のコンポーネントを第２のバージョンのコンポーネントに置き換えて第２のシステムを形成し、ログデータを第２のシステムへの入力として提供し、第２のシステムの動作が第１のシステムと異なるかどうか判定し得る。フレームワークは、システムのオンライン動作中にキャプチャされたイベントのシーケンスに従って、および／またはシミュレートされたイベントのシーケンスに従って、第１のシステムおよび／または第２のシステムを強制的に実行し得る。

本明細書に記載の技術は、自律走行車のシステムの性能を改善することにより、自律走行車の安全性および効率を改善し得る。この技術はまた、システムの性能を妨げているコンポーネントを取り除き得、および／またはこの技術は、高度なトラブルシューティングを容易にし得る。本明細書で論じられるフレームワークは、パイプラインが非ネイティブシステム上で動作している場合、および／または異なる機能のコンピューティングデバイスを使用している場合でも、データ処理パイプラインを決定論的に動作させること、および／またはパイプラインの以前の動作を再現することを可能にし得る。さらに、フレームワークは、パイプラインを実行する際の無駄な計算サイクルの数を減らし得、パイプラインの分散実行を可能にし得る（これも決定論的である）。

（例示的なシナリオ）
図１は、自律走行車１０２を含む例示的なシナリオ１００を示している。本明細書で論じられる技術によれば、自律走行車１０２は、自律走行車１０２のセンサー１０４からセンサーデータを受信し得る。例えば、センサーデータは、位置信号（例えば、ＧＰＳ信号）、慣性信号（例えば、加速度計信号、ジャイロスコープ信号など）、磁気計信号、ホイールエンコーダ信号、速度計信号、蓄積されたライダー（LIDAR）および/またはレーダー（RADAR）ポイントのポイントクラウド、画像（または複数の画像）、音声信号、バリアトリック（bariatric）またはその他の環境信号などを含み得る。

自律走行車１０２は、そのようなセンサー１０４から受信したセンサーデータを１つまたは複数のシステムに提供して、自律走行車の様々な機能を達成し得る。例えば、１つまたは複数のシステムは、乗客の乗車体験を制御し得（例えば、温度／湿度制御、内部ディスプレイ制御、ドア制御機能、座席機能）、位置特定および／またはマッピングシステムは、自律走行車の周囲の地図、および／または地図内の自律走行車１０２の位置および／または向きを生成し得、知覚システムは、自律走行車の環境内のオブジェクトを検出および追跡し得、予測システムは、環境内のオブジェクトの将来の位置、速度、および／または加速度を予測し得、加速、計画システムは、自律走行車の動きを制御するための軌道を決定し得る。これらのシステムは、順番に、１つまたは複数のコンポーネントを含み得る。これらのコンポーネントは、ソフトウェアおよび/またはハードウェアコンポーネントを含み得る。例えば、コンポーネントは、ニューラルネットワークおよび／またはプロセッサによって実行可能な他の命令などの機械学習モデルを含み得る。

例えば、図１は、簡略化された知覚システムを表し得る例示的なシステム１０６のネイティブ構成（例えば、本明細書で説明されるフレームワークを使用して動作していないデータ処理パイプライン）を示す。例示的なシステム１０６は、入力として、センサー１０４からセンサーデータを受信し得、例示的なシステム１０６によるセンサーデータの処理に少なくとも部分的に基づいて、例示的なシステム１０６は、境界ボックス１０８および／または意味ラベル１１０を出力し得る。境界ボックス１０８および／または意味ラベル１１０は、例示的なシステム１０６の「結果」１１２（すなわち、例示的なシステム１０６の動作に応答して生成された出力）であり得る。

例示的なシステム１０６のネイティブ構成によれば、例示的なシステム１０６は、センサーデータを受信し、正規化し、平滑化し、変換し、および／またはそうでなければ予備的に処理し得るセンサーデータプロセッサ１１４を備え得る。いくつかの例では、センサーデータプロセッサ１１４は、例えば、ガウスフィルタ、デジタルアナログ変換器（ＤＡＣ）、センサードライバなどのサブコンポーネントを備え得る。センサーデータプロセッサ１１４は、センサーデータプロセッサ１１４によって生成された出力を１つまたは複数のダウンストリームコンポーネントに送信し得、これは、図示の例では、セグメンテーションコンポーネント１１６および境界ボックスコンポーネント１１８を含み得る。セグメンテーションコンポーネント１１６は、センサーデータプロセッサ１１４（セグメンテーションコンポーネント１１６に関連するアップストリームコンポーネントである）から処理されたセンサーデータを受信し得、オブジェクトに起因するものとしてセンサーデータの一部を識別し得る（例えば、オブジェクトに関連付けられているものとして、ＬＩＤＡＲポイントクラウドのポイントをラベリングすること、画像の画素を識別すること、ＬＩＤＡＲポイントを画像に投影すること、およびオブジェクトに関連付けられているものとして投影されたポイントおよび／または画素を識別すること）。セグメンテーションコンポーネント１１６は、セグメント化されたセンサーデータをダウンストリームコンポーネントに出力し得、これは、図示の例では、境界ボックスコンポーネント１１８および意味分類コンポーネント１２０を含み得る。

境界ボックスコンポーネント１１８は、アップストリームコンポーネント、センサーデータプロセッサ１１４、およびセグメンテーションコンポーネント１１６から入力を受け取り得る。境界ボックスコンポーネント１１８は、処理されたセンサーデータに反映され、セグメンテーションコンポーネントから受信されたセグメント化されたセンサーデータに対応する１つまたは複数のオブジェクトの境界ボックス１０８を生成し得る。境界ボックスは、生成された境界ボックス１０８を、オブジェクト識別コンポーネント１２２を含み得るダウンストリームコンポーネントに送信し得る。

意味分類コンポーネント１２０は、セグメンテーションコンポーネント１１６から受信されたセグメント化されたセンサーデータに少なくとも部分的に基づいて、セグメント化されているセンサーデータの一部の意味ラベルを生成し得る。例えば、意味ラベルは、例示的な意味ラベル１１０、「四輪車」、または意味分類コンポーネント１２０の１つまたは複数の機械学習モデルが評価時に出力するように構成された他の意味ラベル（例えば、「歩行者」、「二輪車」、「自転車」、「駐車車両」）などのラベルを含み得る。

オブジェクト識別コンポーネント１２２は、境界ボックスコンポーネント１１８によって出力される境界ボックス１０８および／または意味分類コンポーネント１２０の意味ラベルを含む、アップストリームコンポーネントから受信された様々な入力を融合して、結果１１２を１つまたは複数のダウンストリームコンポーネントに出力し得る。例えば、結果１１２は、自律走行車１０２の動きを制御するための軌道を生成するために計画システムによって使用可能であり、および／またはセンサーデータ、境界ボックス、および／または１２４で示されるような意味ラベル１１０の表現を生成するためにＧＵＩコンポーネントによって使用可能であるプログラミングオブジェクトとしてフォーマットされたオブジェクト識別子を含み得る。

知覚システムは、いくつかの例では、より多くのコンポーネントを含み得、および／またはより多くの機能を実行し得ることが企図される。例えば、知覚システムは、センサーデータからオブジェクトを検出するための複数のコンポーネント、オブジェクトの分類を決定するための複数のコンポーネント、オブジェクトの現在および／または将来の進行方向、位置、速度、および／または加速度を決定するための複数のコンポーネント、オブジェクトを追跡するための複数のコンポーネント、環境の地図を生成するための複数のコンポーネント、地図内でオブジェクトをローカライズするための複数のコンポーネント、オブジェクトの境界ボックスを決定するための複数のコンポーネントなどを含み得る。例えば、セグメンテーションコンポーネント１１６は、それ自体で、例えば、複数の機械学習モデル、プロセッサ実行可能命令、および／またはハードウェア（例えば、ＦＰＧＡおよび／またはＡＳＩＣ）などの複数のサブコンポーネントを含み得る。

例示的なシステム１０６は、単に「システム」、「コンポーネント」、および／またはサブコンポーネントによって意味されるものについて当業者に与えるために上に例示および説明されている。

（例示的なフレームワーク）
図２Ａは、ネイティブ構成に従って構成された１つまたは複数のコンポーネントを含む例示的なシステム２００のブロック図を示している。例示的なシステム２００は、主に、ネイティブ構成を本明細書で説明されるフレームワークと対比するために描かれている。図２Ａおよび２Ｂは、太線で強調されているコンポーネント２０２の観点から説明される。

ネイティブ構成に従って構成された例示的なシステム２００は、システム入力２０４を受信し得る。システム入力２０４は、センサーデータ、別のシステムの結果などを含み得る。この入力は、アップストリームコンポーネント２０６（１）－（ｘ）によって処理され得る。場合によっては、コンポーネント２０２は、１つまたは複数のアップストリームコンポーネント２０６（１）－（ｘ）の出力をサブスクライブし得、および／またはそうでなければ、１つまたは複数のアップストリームコンポーネント２０６（１）－（ｘ）の出力を受信し得る。図２Ｂは、コンポーネント２０６（１）および２０６（ｘ）の両方をコンポーネント２０２に出力を提供するものとして示しているが、第１レイヤのすべてのコンポーネントが必ずしもコンポーネント２０２に出力を提供し得るわけではない。第１のコンポーネントは、第２のコンポーネントへの入力として第１のコンポーネントの出力を第２のコンポーネントに提供することにより、第２のコンポーネントからの「上流（upstream）」であり得る。したがって、システム入力２０４を受け取り、そのコンポーネントの出力をコンポーネント２０２に提供しないコンポーネントは、コンポーネント２０２の観点から「アップストリーム」コンポーネントとは見なされない場合がある。例えば、独立コンポーネント２０８の観点から、独立コンポーネント２０８は、独立コンポーネント２０８への入力として、コンポーネント２０６（１）によって生成された出力を受け取らないので、コンポーネント２０６（１）は、独立コンポーネント２０８に対するアップストリームコンポーネントではない。

独立コンポーネント２０８は、独立コンポーネント２０８の出力がコンポーネント２０２の出力に影響を及ぼさないという点でコンポーネント２０２から独立しているが、コンポーネント２０２の動作は、少なくとも部分的に少なくともアップストリームコンポーネント２０６（１）および２０６（ｘ）の結果に基づく。

アップストリームコンポーネント２０６（１）および／または２０６（ｘ）からの結果を入力として受け取ることに少なくとも部分的に基づいて、コンポーネント２０２は実行され得、実行に応答して、出力を生成し得る。コンポーネント２０２は、例えば、ダウンストリームコンポーネント２１０（１）－（ｙ）がサブスクライブするトピックおよび／またはチャネルを介して出力を発行することによって、この出力をダウンストリームコンポーネント２１０（１）－（ｙ）に提供し得る。この場合も、これらのダウンストリームコンポーネント２１０（１）－（ｙ）は、入力として、コンポーネント２０２の出力を受け取り得、コンポーネント２０２の出力に少なくとも部分的に基づいて実行し得、それぞれの出力を生成し、ダウンストリームコンポーネント２１０（１）－（ｙ）は、後続のダウンストリームコンポーネント２１２などに送信し得る。場合によっては、ダウンストリームコンポーネント２１２は、システム２００の最後のレイヤに存在し得、その結果、ダウンストリームコンポーネント２１２からの出力は、システム２００の結果２１４である。たとえば、システム２００が自律走行車の計画システムである場合、結果２１４は軌道（たとえば、速度、操舵角、および/または舵角比）を含み得、システム２００が知覚システムである場合、結果２１４は検出されたオブジェクトの位置、速度、加速度、および/または分類を含むオブジェクトリストを含み得る。

図２Ｂは、システム２００の１つまたは複数のコンポーネントへの入力、１つまたは複数のコンポーネントからの出力、および／または１つまたは複数のコンポーネントの実行状態を制御するための例示的なフレームワーク２１６のブロック図を示す。場合によっては、フレームワークを実装するために、入力／出力インターフェース２１８（簡潔にするために図２Ｂでは「入力／出力２１８」と呼ばれる）が、決定論的再現およびテストが望まれるコンポーネントに含まれ得、非決定論的な動作を示し得る。場合によっては、例示的なフレームワーク２１６を実装することは、例示的なフレームワーク２１６を介して制御される各コンポーネントにコントローラー（２２０－２３０）を関連付けることを含み得る。場合によっては、コントローラーは、１：１の比率で入力／出力インターフェース２１８を含むシステム２００の各コンポーネントに割り当てられ得るが、他の構成が企図される（例えば、３つのコンポーネントに関連付けられた１つのコントローラー、パイプラインの１つのレイヤのコンポーネントに関連付けられた１つのコントローラー、システム２００内の指定されたタイプのコンポーネントに関連付けられた１つのコントローラー）。図２Ｂに示される例示的なフレームワーク２１６は、１：１の比率を示している。

コンポーネントがいつでも入力を受信し、実行し、および／または出力を他のコンポーネントに提供することを可能にする代わりに、コントローラー２２０－２３０は、これらおよび他の機能を制御し得る。コントローラー２２０－２３０は、異なるタイプのコントローラーを含み得、コントローラー２２０－２３０は、それぞれのコントローラーが関連付けられているコンポーネントへの入力、そのコンポーネントの実行状態、および／またはそのコンポーネントからサブスクライブしている（ダウンストリーム）コンポーネントへの出力を制御し得る。いくつかの例では、コントローラーによって制御されるコンポーネント（例えば、コンポーネント２０２はコントローラー２２４によって制御される）は、他のコンポーネントから分離され得、それに関連付けられたコントローラーは、処理パイプラインによって規定されるように、コンポーネントへの入力およびコンポーネントからの出力を提供し得る。

しかしながら、ダウンストリームコンポーネント２１０（ｙ）などの入力／出力インターフェース２１８を含まないコンポーネントは、ネイティブ構成に従って、入力を受信し、実行し、および／または出力を送信し得る。このタイプのコンポーネントは、本明細書では「非調整コンポーネント」と呼ばれる。場合によっては、特別なタイプのコントローラー、調整コントローラーは、調整されたコントローラーからの出力が非調整コントローラーによって適切に受信されることを保証し得る（例えば、これは、非調整コントローラーに入力を提供する時間を決定し、メッセージタイプを非調整コントローラーによって使用可能なメッセージタイプへ変換することを含み得る）。後続の図は、コントローラーと入力／出力インターフェース２１８、および／またはコントローラーが関連付けられているコンポーネントとの相互作用をより詳細に説明している。

場合によっては、コントローラー２２０－２３０は、１つまたは複数のミドルウェアおよび／またはネットワークトポロジを介して、コントローラー２２０－２３０の他のものからデータを受信しおよび／またはデータを送信し得る。例えば、コンポーネント２０２は、第１のハードウェア上で実行される第１のプロセスに関連付けられ得る。コントローラー２２４は、
・第２のハードウェア上で実行され、および/または異なるソフトウェア言語を使用しているコンポーネントに関連付けられている第２のコントローラーを備えた第１のタイプのミドルウェア（例えば、データ配布サービス（ＤＤＳ））を介して
・第１のハードウェア上で実行されているコンポーネントに関連付けられ、および／または第２のプロセスに関連付けられている第３のコントローラーを備えた第２のタイプのミドルウェア（たとえば、ロボットオペレーティングシステム（ＲＯＳ）、オペレーティングシステムのプロセス間通信（ＩＰＣ）ツール）を介して
・第１のプロセスにも関連付けられているコンポーネントに関連付けられている第３のコントローラーを備えた第３のタイプのミドルウェア（たとえば、InProcess）を介して
データを受信および／または送信し得る。

言い換えれば、コントローラー２２０－２３０は、異なるコンピューティングコンテキストに関連付けられた、および／または異なるミドルウェア／プロセス間通信（ＩＰＣ）の異なる実装を介して、データを受信および／または他のコントローラーに送信するように構成され得る。例えば、オンライン動作中に、コントローラー３０２は、オペレーティングシステムのＩＰＣを介してメッセージを受信したかもしれないが、オンラインシナリオの再生中に、以下で説明するように、コントローラー３０２は、コンピュータ可読媒体からメッセージを読み取り得る（例えば、これは、ビデオファイルをデコードすること、および／またはビデオフレームのうちの１つのフレームを一度に再生することを含み得る）。

（例示的なフレームワークの動作）
図３－６は、コンポーネント３００、入力／出力インターフェース３０２、および異なるタイプのコントローラー、ならびに異なるタイプのコントローラーのそれぞれのコンポーネントおよび機能のブロック図を示している。いくつかの例では、コンポーネント３００は、命令３０６を含み得る。命令３０６は、ニューラルネットワーク３０８を含むものとして示されているが、命令３０６は、追加的または代替的に、プロセッサ実行可能命令を含み得る。簡単にするために図示されていないが、コンポーネント３００は、追加的または代替的に、例えば、ＤＡＣ、ＡＳＩＣ、ＦＰＧＡなどのハードウェアを含み得る。

いくつかの例では、入力／出力インターフェース３０２は、初期化入力インターフェース３１０、実行入力インターフェース３１２、出力インターフェース３１４、保存キーフレーム出力インターフェース３１６、および／またはロードキーフレーム入力インターフェース３１８を含み得る。一般に、初期化入力インターフェース３１０は、コントローラーから１つまたは複数の変数を受け取り、それらを入力として命令３０６に提供し、その結果、命令３０６の実行は、少なくとも部分的に１つまたは複数の変数に基づき得る。場合によっては、初期化入力インターフェース３１０は、コンポーネント３００および／または命令３０６の初期状態を設定するように、および／または命令３０６に初期変数を提供するように構成され得、および／または追加または代替の例では、初期化入力インターフェース３１０は、コントローラーから変数３３４を受信し得、命令３０６の実行の任意の時点でそれらを命令３０６への入力として提供し得る（例えば、実行前、実行中に、少なくとも部分的には命令３０６から変数の要求を受信することに基づいて）。少なくともいくつかの例では、そのような変数は、別のインターフェース（例えば、初期化入力インターフェース３１０に加えて）を介して渡され得る。実行入力インターフェース３１２は、コントローラーから実行するための命令を受信し、コンポーネント３００を実行させ得、そうでなければ、命令を受信せずに、コンポーネント３００の実行を一時停止または阻止し得る。出力インターフェース３１４は、命令３０６の実行の結果を受け取り得、その結果をコントローラーに提供し得る。保存キーフレーム出力インターフェース３１６は、コンポーネント３００に、コンポーネント３００の内部状態をキーフレームとしてシリアル化させ得、キーフレームをコントローラーに出力し得る。例えば、内部状態は、カウンター値、出力コンテキスト（例えば、プランナーは、複数の軌道を生成し、自律走行車を制御するために少なくとも１つを選択し得、プランナーの各実行に対して車両があった各位置、および／または軌道によって達成された位置の履歴を保持し得る。このデータは軌道を選択する際に考慮に入れることができ、このデータは後方活動および／またはデータを記録するため、プランナーの特定の実行時に内部状態を再作成するために複数の反復が必要になる）などを含み得る。ロードキーフレーム入力インターフェース３１８は、コントローラーからキーフレームを受信し得、コンポーネント３００にキーフレームを逆シリアル化させ得、コンポーネント３００の内部状態を、逆シリアル化されたキーフレームによって指定された内部状態に設定させ得る。キーフレームをロードすることは、開発者をコンポーネントの個別（「ｎ番目」）の実行にスキップさせ得、実行の決定論を維持しながら、かつ、決定論が維持されるように内部状態を正確に設定するために、最初または最後の数回の実行からすべてのコンポーネントに戻って再実行することなく、その個別の実行中のコンポーネントの動作を正確に再現させ得る。たとえば、コンポーネントの内部状態は、コンポーネント自体および/または他のコンポーネントの最後のｍ回の実行に依存する場合がある。単にコンポーネントの「ｎ番目」の実行にジャンプし、コンポーネントの内部状態を設定せずにコンポーネントに修正入力を提供することだけでは、コンポーネントの実行はコンポーネントの動作を正確に再現せず、内部状態は非決定論的要素に依存している可能性があるので、決定論が維持されない。いくつかの例では、キーフレームは、キーフレームが関連付けられている個別の実行を指定し得る（たとえば、キーフレームを生成時間に関連付けることによって）。別の例では、実行の９８番目のタイムステップを見たいユーザーは、最も近いキーフレーム（例えば、９５番目のタイムステップで格納されたもの）に効果的に「早送り」し、単に時間を３単位だけ前進し得る。

図３は、コンポーネント３００、入力／出力インターフェース３０２、およびオンラインコントローラー３２０のブロック図を示している。オンラインコントローラーは、システムのリアルタイム実行中に実装されるコントローラーであり得る。例えば、オンラインコントローラー３２０は、自律走行車で使用されて、アップストリームコントローラーからコンポーネント３００へ、コンポーネント３００からダウンストリームコントローラーへのメッセージを提供し得、それによって、コンポーネント３００の入力／出力機能を抽象化し、および／またはコンポーネント３００がいつ実行されるかを制御し得る。オンラインコントローラー３２０はまた、他のコントローラータイプがオンラインコントローラー３２０の１つまたは複数のコンポーネントおよび／または機能を含み得るので、ベースラインコントローラーとみなされ得る。

いくつかの例では、オンラインコントローラー３２０は、オンラインコントローラー３２０のサブスクライバ３２６において、アップストリームコントローラー３２４からメッセージ３２２を受信し得る。本明細書で論じられる例によれば、フレームワークは、コントローラーが別のコントローラーを具体的にアドレス指定する必要がなく、コントローラーのサブスクライバ３２６にサブスクリプションを削除および／またはサブスクリプションをチャネルおよび／またはトピックに追加するように指示することによってパイプラインフローを容易に変更できるように、コントローラー間のパブリッシュ－サブスクライブアーキテクチャを含み得る。明確にするために、これは、コンポーネントからの出力を別のコントローラーに中継するために本明細書で論じられる唯一のアーキテクチャであるが、他の任意の適切な送信プロトコルが実装され得ることが理解される。

とにかく、サブスクライバ３２６は、メッセージ３２２を受信し得、メッセージ３２２がデータ３２８および／または生成時間３３０を含むと判定し得る。生成時間は、結果（例えば、データ３２８に関連付けられた）が、それに関連付けられたアップストリームコンポーネント３３２からアップストリームコントローラー３２４で受信された時間、アップストリームコントローラー３２４がメッセージ３２２を生成した時間、アップストリームコンポーネント３３２およびメッセージ３２２をもたらした特定の実行を一意に識別する単調に増加する値、および／またはアップストリームコントローラー３２４がメッセージ３２２を発行した時間の識別子を含み得る。場合によっては、データ３２８は、アップストリームコントローラー３２４に関連付けられたアップストリームコンポーネント３３２の実行の結果を含み得る。

サブスクライバ３２６は、オンラインコントローラー３２０から初期化入力インターフェース３１０に提供される１つまたは複数の変数３３４の１つとして、データ３２８またはその少なくとも一部を初期化入力インターフェース３１０に提供し得る。変数３３４は、実行するために命令３０６によって使用可能な値を含み得る。例えば、命令３０６は、ガウス乱数分布、ＬＩＤＡＲ点群、および共分散行列を受信するように構成されたプロセスと、ＬＩＤＡＲ点群および意味ラベルを受信するように構成されたニューラルネットワークとを含み得る。オンラインコントローラー３２０は、非決定論的変数ジェネレータ３３６で非決定論的変数値を生成し得る。例えば、これは、乱数分布などを生成することを含み得る。言い換えれば、コンポーネント３００が決定論的に再現することができなかった値を生成することを可能にする代わりに、非決定論的変数ジェネレータ３３６は、値を生成し得る。さらに、クロック３３８は、追加的または代替的に、変数３３４の１つとして初期化入力インターフェース３１０にクロック信号を提供し得る。

コンポーネント３００がオンラインコントローラー３２０によって制御されるとき、場合によっては、オンラインコントローラー３２０は、コンポーネント３００がいつおよび／またはどのくらいの時間動作するかを制御し得る。例えば、オンラインコントローラー３２０は、例えば、コンポーネント３００に提供された実行可能コードに少なくとも部分的に基づいてコンポーネント３００を実行させ得る実行可能コードをコンポーネント３００に提供することによって、実行インターフェース３１２を介してコールバックを実施し得、および／またはいくつかの例では、変数３３４を含み得る。いくつかの例では、コールバックは同期コールバックであり得るが、オンラインコントローラー３２０がいつコンポーネント３００が実行されるかを制御する限り、コールバックは非同期であり得ることが企図される。追加または代替の例では、オンラインコントローラー３２０は、実行入力インターフェース３１２を「高い」値に設定し得、それにより、コンポーネント３００は、初期化入力インターフェース３１０を介して変数３３４を受信すると、実行することができる。いくつかの例では、実行入力インターフェース３１２は、オンラインコントローラー３２０がフラグを、コンポーネント３００が実行し得、および／またはコンポーネント３００に少なくとも部分的には初期化入力インターフェース３１０を介して受信された変数３３４に基づいて実行させることを示す「高い」フラグ値に設定し得る、レジスタ内のフラグを含み得る。逆に、「低い」フラグ値は、フラグが「高い」値に遷移するまで、コンポーネント３００の実行を一時停止および／または阻止し得る。追加または代替の例では、オンラインコントローラー３２０は、命令３０６に関連するアドレスをスタックにプッシュして、コンポーネント３００を実行させ得、および／またはオンラインコントローラー３２０は、実行入力インターフェース３１２を呼び出すか、さもなければ通知し得、それに応じて、アドレスをスタックにプッシュし得る。スタックに入ると、１つまたは複数のプロセッサは、スタック内のアドレスに到達すると、アドレスに関連付けられた命令を実行し得る。後者の例では、コンポーネント３００は、実行入力インターフェース３１２が１つまたは複数のプロセッサによる実行のためにアドレスをスタックにプッシュする準備として、アドレス（および／またはコンポーネント３００が複数のサブコンポーネントを含む場合は他の任意の関連アドレス）を実行入力インターフェース３１２に送信し得る。

オンラインコントローラー３２０がコンポーネント３００に関連付けられている追加のまたは代替の例では、オンラインコントローラー３２０は、定期的に（例えば、３０ＭＨｚ、５００ＭＨｚ、１ＧＨｚで）、および／または、サブスクライバ３２６が、コンポーネント３００の最後の実行以降、オンラインコントローラー３２０がサブスクライブしているすべてのアップストリームコントローラーからメッセージが受信されたと判定するときに、コンポーネント３００を実行させ得る。

出力インターフェース３１４は、コンポーネント３００の実行の結果３４０を受け取り得、結果３４０をオンラインコントローラー３２０のパブリッシャ３４２に提供し得る。結果３４０を受信することに少なくとも部分的に基づいて、パブリッシャ３４２は、データ３４６（例えば、結果３４０および／またはその表現を含み得る）、および／または生成時間３４８を含むメッセージ３４４を生成し得る。パブリッシャ３４２はまた、例えば、ｐｕｂ－ｓｕｂアーキテクチャのためのチャネル識別子および／またはトピック識別子などの、メッセージ３４４を伴う適切なルーティング情報を含み得る。パブリッシャ３４２は、メッセージ３４４を発行し得、メッセージ３４４は、（ダウンストリーム）コントローラー３５０をサブスクライブすることによって受信し得る。このアプリケーションは、あるコンポーネントの出力を別のコンポーネントの入力に送信するためのpub-subアーキテクチャの使用を主に説明するが、他のネットワーク構成が検討され、および/またはそうでなければパイプライン構成を確立することが理解る。他のネットワーク構成は、例えば、静的ＩＰアドレスをコントローラーおよび／または非調整コンポーネントに割り当てること、仮想ルーティングおよび転送（ＶＲＦ）スキームなどを使用してコントローラーおよび／または非調整コンポーネントをアドレス指定することを含み得る。

場合によっては、パブリッシャ３４２は、メッセージ３４４に加えて（または、コンポーネント３００がシンク（sink）である場合、すなわち、コンポーネント３００が入力をダイジェストするが、出力を別のコントローラー／コンポーネントに送信しない場合、メッセージ３４４の代わりに）再現性メッセージ３５２を発行し得る。場合によっては、再現性メッセージ３５２は、データメッセージ用のチャネル（「データチャネル」）とは異なるロギングチャネルを介して１つまたは複数のコンポーネントから再現性メッセージを受信するロガー３５４によって受信され得る。メッセージ３２２および３４４は、データメッセージの例であり得る。場合によっては、データストア３５６は、データチャネルを「リッスン」し得、それによって、メッセージ３２２および／またはメッセージ３４４などの１つまたは複数のデータメッセージを受信する。データストア３５６は、いくつかの例では、データチャネルを介して受信されたメッセージを格納し得る。再生コントローラーは、ロガー３５４によって格納された再現性メッセージおよび／またはデータストア３５６によって格納されたデータメッセージを使用して、コンポーネント３００の動作を決定論的に再現し得る。場合によっては、オンラインコントローラー３２０は、純粋なトランスポートレイヤとして動作し得、再現性メッセージを生成しないことがある。

場合によっては、再現性メッセージ３５２は、再現性データ３５８を含み得る。場合によっては、再現性データ３５８は、コンポーネント３００の特定の動作を再現するのに十分な情報（例えば、結果３４０を出力すること、および／またはメッセージ３４４を発行することとなった最後の実行など、命令３０６の特定の実行を再実行するのに十分な情報）を含み得、コンポーネントの動作（例えば、実行）の順序の指示を提供し得る。

図４は、データストア３５６およびロガー３５４のブロック図、ならびにそれによって受信され、生成され、および／または格納されたそれぞれのデータを示す。いくつかの例では、データストア３５６は、データチャネルを介してコントローラーによって発行されたメッセージ３４４などのデータメッセージを受信し得、ロガー３５４は、ロギングチャネルを介して再現性メッセージ３５２などの再現性メッセージを受信し得る。場合によっては、データストア３５６は、受信したデータメッセージ（例えば、１つまたは複数のコンポーネントに関連付けられた１つまたは複数のコントローラーから受信され得るメッセージ３４４－４００）を、非一時的なコンピュータ可読媒体などのデータリポジトリに格納し得、および／またはデータストア３５６ｋは、追加的または代替的に、ロギングチャネルを介して受信され、および／またはロガー３５４から受信された再現性メッセージを格納し得る。

場合によっては、メッセージ３４４などのデータメッセージは、生成時間３４８、およびコンポーネント３００の実行の結果３４０を含むデータ３４６を含み得る。場合によっては、生成時間３４８は、メッセージを生成したコンポーネントおよび／またはメッセージ３２２をもたらしたコンポーネントの特定の実行を一意に識別する単調に増加する値を含み得る。例えば、コンポーネント３００が３，４６２回目の実行を行った場合、生成時間３４８は、コンポーネントによる３，４６２回目の実行の識別子、およびいくつかの例では、コンポーネント自体の個別の識別子を含み得る。

場合によっては、再現性メッセージ３５２などの再現性メッセージは、それに対応するメッセージ３４４と同じ識別子を含み得、および／またはそうでなければメッセージ３４４に関連するものとして識別され得る。場合によっては、再現性データ３５８は、コンポーネント３００の動作を決定論的に再現するのに十分な情報を含み得る。例えば、再現性データ３５８は、イベントのシーケンス４０２、非決定論的変数ジェネレータ３３６によって生成され、および／またはコントローラーによってコンポーネントへ入力として提供された非決定論的値、コンポーネントの実行に関する診断情報（例えば、実行時間、コンポーネントの実行に専念するコアおよび/またはスレッドの数、コンポーネントの実行の状態（例えば、成功、失敗、一時停止など））、および/またはコンポーネントから受信したキーフレームを含み得る。非限定的な例として、再現性データ３５８は、再生時に計算の順序を保存することができるように、計算を実行するために必要な変数／コンポーネントについての情報を含み得る。

いくつかの例では、イベントのシーケンス４０２は、コンポーネント３００（および／または入力／出力インターフェース３０２および／またはオンラインコントローラー３２０）でイベントが発生した順序、および／または別のコンポーネントでのイベントに関連してコンポーネント３００でイベントが発生した順序を含み得る。例えば、イベントのシーケンス４０２は、入力フェーズ、実行フェーズ、および／または出力フェーズがコンポーネントで発生した順序を定義し得る（場合によっては、別のコンポーネントでの入力フェーズ、実行フェーズ、および／または出力フェーズに関連して）。例えば、入力フェーズは、コンポーネントへ入力を提供すること（例えば、初期化入力インターフェース３１０、実行入力インターフェース３１２、および／またはロードキーフレーム入力インターフェース３１８を介して）を含み得、これは、コンポーネントに提供されるメッセージおよび／または変数の順序、コントローラーでメッセージが受信された順序などを含み得、実行フェーズは、メッセージを受信することおよび／またはコンポーネントに入力を提供することと、コンポーネントを実行させることとの間の遅延、コントローラーがコンポーネントに実行を開始させた相対時間（例えば、別のコントローラーでの他のイベントに関連して）、コンポーネントが実行された期間および/またはコンポーネントの実行回数、実行が終了した、および/またはコンポーネントから出力を受信した相対時間などを含み得、出力フェーズは、コンポーネントから出力を受信すること（たとえば、実行および／またはキーフレームの結果であるかどうか）、出力を含むメッセージを生成すること、および／またはメッセージを発行することを含み得る。イベントのシーケンス４０２は、追加的または代替的に、オンラインコントローラー３２０がコンポーネントへの入力としてメッセージを提供した順序、および／または生成時間３４８および／または４０４などの入力として提供されたメッセージの識別子を識別し得る。メッセージの識別子は、データストア３５６に格納された１つまたは複数のメッセージに対応し得る。追加のまたは代替の例では、イベントのシーケンス４０２は、再現性メッセージ３５２に関連付けられた出力としてメッセージ３４４を識別し得る（例えば、イベントのシーケンス４０２の出力フィールドにメッセージ３４４の生成時間３４８を含めることによって）。

例えば、図４は、メッセージ３４４に関連し、コンポーネント３００での動作の順序およびそれに関連するメッセージの識別を含むイベントのシーケンス４０２を示している。例えば、イベントのシーケンス４０２は、オンラインコントローラー３２０が実行インターフェース３１２を介して４０８でコンポーネント３００の実行を開始する前に、オンラインコントローラー３２０がコンポーネントにメッセージ３２２を入力したこと（４０６）を識別する（これは、実行コマンドが４１０で与えられる前に発生したので、初期化パラメータとして潜在的に）。４０８でのコンポーネント３００の実行に続いて、オンラインコントローラー３２０は、４１０でコンポーネント３００への入力としてメッセージ４００を提供し、次いで、結果３４０が、４１２で出力インターフェース３１４を介して受信され、次いで、オンラインコントローラー３２０は４１４でメッセージ３４４を発行した。

いくつかの例では、イベントのシーケンス４０２によって識別される順序に加えて、イベントのシーケンスは、データストアに格納されているそれに関連付けられたメッセージを識別し得（例えば、生成時間および／または一意の識別子によって識別され、識別されたメッセージは、入力としてコンポーネント３００に提供された可能性があり、識別されたメッセージは、実行に応答してコンポーネントによって出力された）、コンポーネント３００に提供された非決定論的変数値などの非決定論的データ、コンポーネントに提供されるクロックデータなどを識別および／または格納し得る。例えば、イベントのシーケンス４０２は、４０６で、入力としてメッセージ３２２を提供する相対的な順序を識別し得るだけでなく、生成時間３３０および／またはデータストア３５６からメッセージ３２２を読み出すのに適した他の識別子を含み得る。

イベントのシーケンス４０２は、メッセージ入力、実行の開始、結果の受信、およびメッセージの発行を示すが、本明細書で論じられる入力／出力インターフェース３０２および／またはオンラインコントローラー３２０の動作のいずれかがイベントのシーケンス４０２によって記録され得ることが企図されることに留意されたい。－例えば、本明細書で論じられる入力フェーズ、実行フェーズ、および／または出力フェーズの任意の部分、それらの順序、それに関連するデータへの参照（例えば、データがデータストア３５６に格納されるとき）、および／またはデータストア３５６がデータを格納しない場合、および／またはデータが再現性メッセージおよび／またはログファイル４１６に存在する場合、データ自体。例えば、変数３３４、結果３４０、コンポーネントに提供される任意の非決定論的変数値、クロックデータなどは、データストア３５６に格納され得、イベントのシーケンス４０２によって参照され得る。別の例を与えるために、イベントのシーケンス４０２は、コンポーネント３００の実行中のウェイポイントに対してメッセージがコンポーネント３００に提供される順序を示し得る（例えば、実行に応答してコンポーネント３００から受信された要求、ウェイポイントをマークしているコンポーネント３００から受信されたメッセージ、コンポーネント３００による結果の出力）。

場合によっては、ロガー３５４は、ロガー３５４で受信された再現性メッセージを格納し得る。ロガー３５４によって格納された各再現性メッセージは、イベントのそれぞれのシーケンス、非決定論的変数値、コントローラーのクロックによって生成されたクロックデータ（例えば、様々なイベントが発生するまでの期間、その間の遅延、および／または発生した時間）、および/またはそれに関連するコンポーネントの実行に関連付けられたキーフレームを含み得る。追加のまたは代替の例では、ロガー３５４は、ロガー３５４で受信された再現性メッセージに少なくとも部分的に基づいて、ログファイル４０６を生成し得る。ログファイル４０６は、特定のコンポーネントについてロガー３５４で受信された再現性メッセージによって示されるイベントのそれぞれのシーケンスから生成されたイベントの全シーケンスを含み得る。場合によっては、ロガー３５４は、システムの各コンポーネントのログファイルを生成し得、各コンポーネントが、順序および／または関連するメッセージ（および／または非決定論的変数値、クロックデータ、キーフレームなどの他の非決定論的データ）を識別する、それに関連付けられたイベントのシーケンスを有するようにする。追加または代替の例では、ロガー３５４は、２つ以上のコンポーネントに関連付けられたコントローラーから受信されたシーケンスに少なくとも部分的に基づいて、２つ以上のコンポーネントでのイベントの順序を反映するイベントの全シーケンスを生成し得る。言い換えれば、ログファイル４１６は、システムの２つ以上のコンポーネントからシステムのすべてのコンポーネントまでのイベントの順序を反映するシーケンスイベントを含み得、その結果、イベントは、すべてのコンポーネントに関して順序付けられる。追加または代替の例では、ログファイル４０６は、データ３４６および／または生成時間３４８を追加的に含み得る。いくつかの例では、ログファイル４０６は、コンポーネントに関連付けられたコントローラーから受信された再現性メッセージを含み得る。場合によっては、ロガー３５４はオンラインコントローラー３２０の一部であり得る。

図４は、コンポーネント３００、入力／出力インターフェース３０２、および再生コントローラー４００のブロック図を示している。図４は、図３に示される入力フェーズを繰り返し、再生コントローラー４００に含まれ得る追加のまたは代替の機能および／またはコンポーネントを詳しく説明する。図５は、図３の実行および／または出力フェーズに関する再生コントローラー４００の説明を続ける。再生コントローラー４００は、コンポーネント３００の動作がそれがキャプチャされたときに発生した動作に可能な限り近く再現され得、動作を決定論的に再現できるように、コンポーネント３００の動作をキャプチャする目的で動作し得る。図５は、コンポーネント３００、入力／出力インターフェース３０２、および再生コントローラー５００のブロック図を示している。場合によっては、再生コントローラー５００は、オンラインコントローラー３２０の１つまたは複数のコンポーネントおよび／または機能を含み得、追加的または代替的に、決定論的かつ移植可能にコンポーネントで以前のイベントを再生し得る。再生コントローラー５００は、ログファイル４１６および／または別のログファイルを表し得るログファイル５０２を受信し得る。例えば、オンラインコントローラー３２０（および／またはそれに関連するロガー３５４）は、ログファイル５０２を生成し得、それを、再生コントローラー５００によってアクセス可能なメモリに保存し、および／または送信し得る。場合によっては、ログファイル５０２は、イベントのシーケンス４０２を含み得る。場合によっては、再生コントローラー５００のインスタンス化時に、再生コントローラー５００は、ログファイル５０２を読み出すために、コンポーネント３００に関連付けられた一意の識別子を提供し得る。

いくつかの例では、再生コントローラー５００は、コンポーネント３００での動作／イベントを同期させるタイミングエンフォーサ５０４を含み得、その結果、コンポーネント３００を含むシステムの動作は、場合によっては非リアルタイムで、決定論的に、潜在的に再生され得る（例えば、オンラインハードウェアが動作するよりも速くまたは遅く、異なるコンピューティングリソース能力および／または機能を備えた異なる種類のハードウェア上で動作する）。システムの異なるコンポーネントは、実行に異なる長さの時間を要する可能性があるため、システムのコンポーネントの実行を同期するグローバルクロックは、各コンポーネントが実行に使用する入力を持っていること、または実行が発生した後、実行のために受け取るべき入力を各コンポーネントが受け取らないことを保証するには不十分である。

さらに、システムは、異なるタイプのソフトウェア上で動作するように構成され得、および／またはフレームワークは、異なる能力、したがって動作速度および／または機能のハードウェアを含み得る分散コンピューティングシステムのノードに対してシステムの処理を分散し得る。たとえば、１つのコンポーネントは、中央処理装置（ＣＰＵ）上で稼働するサブコンポーネントプロセスを含む場合があるが、第２のコンポーネントは、グラフィックスプロセッシングユニット（ＧＰＵ）コア／パイプラインによって実行可能な数千のサブコンポーネントスレッドを含む場合がある。サブコンポーネントは複雑さとランタイムが異なるだけでなく、ＣＰＵとＧＰＵは、コンピューティングリソースがサブコンポーネントの処理に利用できない場合に異なる動作を示す、異なるコンピューティングリソース管理機能を含み得る。たとえば、ＣＰＵは、コンピューティングリソースが利用可能になるまでプロセスを実行からブロックする、高度なスケジューラおよび／またはハイパースレッディングなどのプロセス管理を含み得るが、ＧＰＵは、コンピューティングリソースが利用できない場合にスレッドを失敗させ得る、より基本的なシステムを含み得る。このため、ＣＰＵ、ＧＰＵ、および／または他のプロセッサのネイティブプロセス管理機能がコンポーネントのスケジューリングを制御する場合、システムが正確に再現されないことがある。

タイミングエンフォーサ５０４を含む、本明細書で論じられるフレームワークは、別のコントローラーによって記録される時間に関してコンポーネントが同期していないことを可能にし得るが、コンポーネントへの入力、コンポーネントからの出力、および／またはコンポーネントの実行のタイミングを制御し得、その結果、システム全体の動作は決定論的なままであり、コンポーネントは実行前に使用する入力を受け取る。フレームワークは、コンポーネントが共通の時間を保持していない場合でも、イベントが記録されたときに発生したのと同じ順序でコンポーネントでイベントを再現し得る。場合によっては、フレームワークのコントローラーは、コンポーネントごとに個別のクロックを備えている場合があり、これらのクロックは、同期が取れたり、同期が外れたりすることが許可されている。

コンポーネントの非同時／非同期実行から生じ得る上記の問題を克服するために、再生コントローラー間で送信されるメッセージは、生成時間および／またはホライズン時間など、コントローラーを遡及的に同期するのに十分なデータをさらに含み得る。例えば、アップストリームコントローラー５０８は、再生コントローラーを含み得、そのパブリッシャは、データ３２８、生成時間３４８、および／またはホライズン時間５０６を含むようにメッセージ３４４を生成および発行する。いくつかの例では、ホライズン時間５０６は、コンポーネント３００の次の実行が、まだ実行されていないアップストリームコンポーネント３３２の実行の結果によって影響を受け得ないことを示すために、メッセージ３４４に提供され得る。

いくつかの例では、生成時間および／またはホライズン時間は単調に増加することがある。別の例では、ホライズン時間は、期間および／または実行の数を含み得、単調に増加しないことがある。いくつかの例では、ホライズン時間５０６は、コンポーネント３００および／または再生コントローラー５００へのメッセージ３４４の配信の遅延を考慮して調整され得る。いくつかの例では、ホライズン時間は、コンポーネントが実行される最も早い時間を定義し得、および／または次のメッセージが、コンポーネントの実行に応答してコントローラーによって発行される。ホライズン時間は下限であることがあり、つまり、実際の発行時間はホライズン時間よりも遅いことがある。いくつかの例では、再生コントローラー５００は、コンポーネント３００の実行の結果を含む第１のメッセージと、パブリッシャ３４２がコンポーネント３００の実行に応答して次のメッセージを発行する最も早い推定時間を識別する第１の生成時間とをパブリッシャ３４２によって発行し得る。いくつかの例では、パブリッシャ３４２は、タイミングエンフォーサ５０４が最も早い時間が以前に推定された時間より遅いと決定した場合、コンポーネント３００が再び実行されてホライズン時間を更新する前に、第２のメッセージを発行し得る。これにより、フレームワーク全体で計算リソースの使用が最大化され得る。コンポーネント３００はまだ再実行されていないので、第２のメッセージは結果の包含をあきらめ得る。

場合によっては、タイミングエンフォーサ５０４は、メッセージを受信すること（すなわち、メッセージベースの実行）および／または期間が前回の時間ベースの実行以降に経過したと判定すること（すなわち、時間ベースの実行）に少なくとも部分的に基づいて、コンポーネント３００を（例えば、実行入力インターフェース３１２を介して）実行させ得る。コンポーネントの実行は、実行が発生する時間（メッセージベースの実行または時間ベースの実行、あるいはその両方）、実行直前のコンポーネントの内部状態、および初期化入力インターフェース３１０を介して、実行中／実行時にコンポーネント３００に提供される一連のメッセージによって定義され得る。タイミングエンフォーサ５０４は、コンポーネント３００が同期されることを遡及的に保証するための規則で構成され得る。ルールは、（１）将来のイベントが実行が発生する時間を変更できなかった（例えば、実行はタイムセーフ（time-safe）である）、（２）将来のイベントが実行時／実行中にコンポーネントに提示されるメッセージのセットを変更できなかった（例えば、実行はメッセージセーフ（message-safe）である）、および（3）将来のイベントが実行の直前にコンポーネントが保持する内部状態を変更できなかった（例えば、実行は状態セーフ（state-safe）である）、という決定に応じて、コンポーネント３００の実行を発生させることを含み得る。タイミングエンフォーサ５０４は、タイミングエンフォーサ５０４がコンポーネント３００を実行させると決定するまで、コンポーネント３００を一時停止させ得る（例えば、内部状態を維持する、コンポーネント３００の内部状態が実行の間で変化するのを防ぐ、および／またはコンポーネント３００に関連する命令が実行されるのを防ぐ）。

場合によっては、メッセージベースの実行は、コンポーネント３００の次の実行をトリガーするサブスクライバからの１つまたは複数のメッセージを受信することに少なくとも部分的に基づき得る。例えば、タイミングエンフォーサ５０４は、コンポーネント３００が、第１および第２の発行コントローラーからメッセージの第１のセットと、第３の発行コントローラーからメッセージの第２のセットとを受信するように構成され得ることを決定し得、コンポーネント３００は、どちらかまたは両方のセットを使用して実行し得る。コンポーネント３００は、初期化入力インターフェース３１０を介してメッセージのセットの指示を出力し得る。追加または代替の例では、ログファイル５０２のイベントのシーケンスは、実行の基礎となったメッセージを示し得る。それにより、タイミングエンフォーサ５０４は、実行するためにコンポーネント３００によって使用可能なメッセージのセットを満たすために、メッセージの受信を「期待」し得る。したがって、タイミングエンフォーサ５０４は、サブスクライバ３２６が第１のセットおよび／または第２のセットを満たすためにすべてのメッセージを受信したと決定すると、コンポーネント３００を実行させ得る。タイミングエンフォーサ５０４はまた、第１のセットおよび／または第２のセットを満たすメッセージを、初期化入力インターフェース３１０を介してコンポーネント３００に提供し得る。場合によっては、セットは、単一のパブリッシャからの単一のメッセージを含み得るが、セットは、単一のパブリッシャおよび／または複数のパブリッシャからの複数のメッセージを含み得ることが企図される。

いくつかの例では、タイミングエンフォーサ５０４は、次の時間ベースの実行の時間またはホライズン時間と次のメッセージ発行時間とのうちのより短い時間の最小時間を決定することに少なくとも部分的に基づいて、コンポーネントを実行させる次の時間を追加的または代替的に決定し得る）。これは次のように表すことができる：（次の実行時間）＝ｍｉｎ（（次のタイミングベースの実行）∪（ｍｉｎ（（ホライズン時間、次のメッセージ発行時間）：実行をトリガーするパブリッシャごとに）））。

場合によっては、タイミングエンフォーサ５０４は、追加的または代替的に、タイミングエンフォーサ５０４がコンポーネント３００の実行を発生させ、および／または許可し得る期間（５１０）を決定し得る。例えば、タイミングエンフォーサ５０４は、期間の満了まで、コンポーネント３００を１回または複数回実行させ得る。場合によっては、タイミングエンフォーサ５０４は、期間がホライズン時間５０６に対応すると決定し得る。しかしながら、異なるホライズン時間を含み得る複数のメッセージがサブスクライバ３２６で受信され得る。例えば、図５は、５００ミリ秒のホライズン時間５１４を含む５１２で第１のメッセージを受信し、３００ミリ秒のホライズン時間５１８を含む５１６で第２のメッセージを受信することを示す。この例では、タイミングエンフォーサ５０４を構成する規則は、コンポーネント３００を実行する期間が、最小時間であるため、３００ミリ秒のホライズン時間５１８以下であり得ると決定し得る。これは、コンポーネント３００を３００ミリ秒より長く実行すると、実行の時間安全性、メッセージ安全性、および／または実行安全性を損なうリスクが生じ得るためである。いくつかの例では、タイミングエンフォーサ５０４は、次の実行がまだ受信されていないメッセージを使用する場合、期間がまだ満了していない場合でも、コンポーネント３００が実行されるのを防ぎ得る。

場合によっては、タイミングエンフォーサ５０４は、ログファイル５０２から読み出されたメッセージおよび／またはイベントのシーケンスに関連する生成時間および／またはホライズン時間に少なくとも部分的に基づいて、入力としてコンポーネント３００に提供されるメッセージおよび／またはメッセージのセットを追加的または代替的に順序付けし得る。例えば、アップストリームコンポーネント３３２は、コンポーネント３００よりも迅速かつ／または定期的に実行し得、したがって、サブスクライバ３２６は、コンポーネント３００の次の実行の前に、アップストリームコントローラー５０８からの複数のメッセージを有し得る。タイミングエンフォーサ５０４は、生成時間の昇順でメッセージがコンポーネントに提供されることを保証し得る。追加のまたは代替の例では、タイミングエンフォーサ５０４は、ログファイルからのイベントのシーケンスに対応する順序でメッセージをコンポーネント３００に提供し得る。いくつかの例では、タイミングエンフォーサ５０４は、追加的または代替的に、コンポーネント３００の実行を発生させ、および／またはイベントのシーケンス６２０に従ってメッセージの発行を発生させ得る。

いくつかの例では、タイミングエンフォーサ５０４は、ログファイル５０２のイベントのシーケンスによって参照される１つまたは複数のメッセージ５１０を決定し得、データストアからメッセージ５１０を読み出し得、イベントのシーケンスに従ってコンポーネント３００にメッセージ５１０を提供し得る。例えば、タイミングエンフォーサ５０４は、ログファイル５０２に格納された再現性メッセージの識別子が、コンポーネント３００の次の実行に対応すること（例えば、コンポーネント３００の次の実行は２００^番目の実行であり、タイミングエンフォーサ５０４は、ログファイル５０２が２００^番目の実行に関連する再現性メッセージを含むことを決定する）、および再現性メッセージがメッセージ５１０およびその順序を識別することを決定し得る。使用例に応じて、再生コントローラー５００は、アップストリームコントローラーからのメッセージ５１０の受信を待機し得（フレームワークは決定論的であるため、アップストリームコントローラーは、メッセージ５１０と同じ識別子を有するメッセージを発行する）、および／または再生コントローラー５００は、メモリ（例えば、データストア３５６）からメッセージ５１０を読み取り得る。タイミングエンフォーサ５０４は、メッセージ５１０を入力として提供する順序を決定し得る。さらに、メッセージ５１０がオンラインコントローラー３２０によって発行されたメッセージを含む場合、コンポーネント３００が変更されていると、以下で説明するように、オンラインコントローラー３２０によって以前に発行された（およびメッセージ５１０に含まれた）メッセージは、コンポーネント３００の同じ実行（例えば、上記の例では２００番目の実行）について、読み出され、コンポーネント３００の結果と比較され得る。

いくつかの例では、タイミングエンフォーサ５０４は、追加的または代替的に、ログファイル５０２（および／またはデータストア３５６）からの他のデータを、イベントのシーケンスによって指定された順序でコンポーネント３００に提供させ得る。例えば、これは、コンポーネント３００への入力として、センサーデータ、非決定論的値、クロック信号、コンポーネントの結果などを提供することを含み得る。これは、再生コントローラー５００を含むフレームワークが、コンポーネント３００を含むシステムの動作中に発生したシナリオを決定論的に再生することを可能にし得る。

場合によっては、イベントのシーケンスは、記録されたシーケンスの代わりに、またはそれに加えて、ユーザーによって定義され得る。さらに、ログファイル５０２に含まれるデータは、オンラインコントローラー、データを定義するユーザー、および／またはシミュレーションコンポーネントから提供され得る。例えば、シミュレーションコンポーネントは、センサーデータおよび／またはコンポーネント３００を含むシステムの出力に対する自律走行車の応答をシミュレートするように構成され得る。例えば、シミュレーションコンポーネントは、コンポーネント３００を含むシステムのフィードバックループの一部を形成し得る。シミュレーションコンポーネント自体が、コントローラーに関連付けられ得る。

図６は、コンポーネント３００、入力／出力インターフェース３０２、第１のコントローラー６００、調整コントローラー６０２、他のコントローラー６０４（１）－（ｘ）およびそれらに関連付けられたコンポーネント６０６（１）－（ｘ）、および非調整コンポーネント６０８を含むフレームワーク実装のブロック図を示す。

いくつかの例では、調整コントローラー６０２は、特定のコンポーネントに関連付けられる代わりに、複数のコントローラー間のアクションを調整し得る。例えば、調整コントローラー６０２は、他のコントローラー６０４（１）－（ｘ）からメッセージ６１０を受信し得、メッセージ６１０が適切なサブスクライバにルーティングされることを確実にし得る。いくつかの例では、フレームワークのインスタンス化時に、調整コントローラー６０２は、コントローラー（例えば、第１のコントローラー６００および／または他のコントローラー６０４（１）－（ｘ）のいずれか）からパラメータセットを要求し得る。第１のコントローラー６００は、コンポーネント３００の入力、実行、および／または出力特性を確認するためにコンポーネント３００に問い合わせることに少なくとも部分的に基づいてパラメータセットを生成し得る。第１のコントローラー６００は、入力、実行、および／または出力特性の少なくとも一部を保持し得、調整コントローラー６０２に、コンポーネント３００が実行するために使用する入力（例えば、コンポーネントがサブスクライブする他のコンポーネント、コンポーネント３００が消費するメッセージ、コンポーネント３００が消費する非決定論的変数）、コンポーネントが生成する出力（例えば、メッセージのタイプ、コンポーネント３００がメッセージを出力するサブスクライバ）などを指定するパラメータセットを送信し得る。例えば、コンポーネント３００が実行するために使用する入力は、コンポーネント３００が出力を生成するために消費するメッセージのセットおよび／または非決定論的変数の識別子を含み得る。パラメータセットは、例えば、初期化遅延、（所与の処理周波数での）平均実行時間など、コンポーネント３００に関連する遅延時間をさらに含み得る。

コントローラーから受信されたパラメータセットは、パイプライン構成に従ってコントローラー間でメッセージをルーティングするように調整コントローラー６０２を構成するのに十分であり得る。しかしながら、コンポーネントを処理パイプラインフローにさらに依存しないようにするために、調整コントローラー６０２は、データ処理パイプライン構成を指定する構成を受信し得る。例えば、構成は、フロー内のコンポーネント／コントローラーの相互の相対位置を定義するｐｕｂ－ｓｕｂパターンを識別し得る（例えば、コンポーネント３００がサブスクライブするコンポーネント、コンポーネント３００が発行するコンポーネント）。

パラメータセットおよび／または構成に少なくとも部分的に基づいて、調整コントローラー６０２は、他のコントローラー６０４（１）－（ｘ）から受信したメッセージ６１０を適切なサブスクライビングコントローラーにルーティングし得る。場合によっては、コンポーネント３００に関連付けられたパラメータセットは、実行のための入力としてコンポーネント３００によって消費可能なメッセージのセットに対応するものとして識別されたメッセージを収集するように調整コントローラー６０２を構成し得る。調整コントローラー６０２は、収集されたメッセージがメッセージのセットを満たすと調整コントローラー６０２が決定するまでメッセージを収集し得、その時点で、調整コントローラー６０２は、収集されたメッセージのセット６１２をコンポーネント３００に関連する第１のコントローラー６００に送信し得る。いくつかの例では、調整コントローラー６０２は、メッセージに関連する生成時間、メッセージに関連するホライズン時間、および／またはログファイルに保存されたおよび/またはユーザーによって提供されたイベントのシーケンスに少なくとも部分的に基づいて、第１のコントローラー６００へのメッセージの発行を追加的または代替的に遅延させ、および／またはそうでなければ時間を決め得る。例えば、調整コントローラー６０２は、調整コントローラー６０２が入力／出力インターフェース３０２と直接相互作用しないが、むしろ命令および／またはメッセージを第１のコントローラー６００に送信し得、次に、入力／出力インターフェース３０２を介してコンポーネント３００にメッセージおよび／または命令を提供し得ることを除いて、上記と実質的に同じ動作を達成するタイミングエンフォーサ５０４を備え得る。

いくつかの例では、調整コントローラー６０２は、追加的または代替的に、メッセージ６１４を非調整コンポーネント６０８と交換し得る。非調整コンポーネント６０８は、決定論的コンポーネントであり得るか、入力／出力インターフェース３０２を含み得ないか、および／または調整コントローラー６０２以外のコントローラーに関連付けられ得ない。いくつかの例では、コントローラー間でｐｕｂ－ｓｕｂネットワークを介して送信されるメッセージは、非調整コンポーネント６０８間で送信されるメッセージとフォーマットが異なり得る。さらに、非調整コンポーネント６０８は、調整コンポーネント（例えば、この例におけるコンポーネント３００および／またはコンポーネント６０６（１）－（ｘ））とは異なるｐｕｂ－ｓｕｂネットワークのチャネルおよび／またはトピックを介してメッセージを交換し得る。

いくつかの例では、調整コントローラー６０２は、コントローラーからメッセージを受信し得、メッセージを非調整コンポーネントにルーティングする必要があると判断し得（メッセージが調整コンポーネント用にフォーマットされている場合でも）、メッセージを非調整メッセージタイプに変換し得、および／または変換されたメッセージ６１４を非調整コンポーネントに発行し得る（例えば、ｐｕｂ－ｓｕｂアーキテクチャの非調整コンポーネント部分を介して）。いくつかの例では、メッセージを変換することは、元のメッセージが第１のネットワークチャネルおよび／または第１のトピックを介して受信されたときに第２のネットワークチャネルおよび／または第２のトピックを介して変換されたメッセージを発行すること、および／または調整されたコンポーネントに関連する情報を削除すること（たとえば、ホライズン時間を削除すること、入力／出力インターフェースと対話するための命令を削除すること、入力／出力インターフェースへの参照を削除すること）を含み得る。調整コントローラー６０２は、非調整コンポーネント６０８から受信されたメッセージに対してこのプロセスを逆に実施し得る（例えば、調整コントローラー６０２は、受信時間を、非調整コンポーネントから受信されたメッセージと関連付け得、調整コントローラー６０２は、ｐｕｂ－ｓｕｂアーキテクチャの調整された部分を介してメッセージを発行し得る）。いくつかの例では、非調整コンポーネント６０８はコントローラーに関連付けられていないので、調整コントローラー６０２は、時間安全性および／またはメッセージ安全性が非調整コンポーネント６０８で違反しないように、非調整コンポーネントにメッセージを提供する時間を決定し得る。

いくつかの例では、調整コントローラー６０２は、調整コントローラー６０２に関連付けられたコントローラーから受信したパラメータセットを発行すること、およびパラメータセットを他のすべての調整コントローラーから受信するまで他の調整コントローラーからパラメータセットを受信することによって、パイプライン構成のマッピングを発見するための発見動作を実行し得る。

（例示的な処理）
図７は、本明細書で論じられるフレームワークを使用してシステムの性能を調整するための例示的なプロセス７００の流れ図を示す。システムは、第１のコンポーネント、および／または例えば、プロセッサ実行可能命令、機械学習モデル、および／またはハードウェアなどの他のコンポーネントを含む第１のシステムであり得る。場合によっては、チューニングモデル、調整コントローラー、入力／出力インターフェース、および／または本明細書で論じられる任意のタイプのコントローラーは、例示的なプロセス７００の全部または一部を実行し得る。

動作７０２において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、センサーデータおよび／またはイベントのシーケンスを受信することを含み得る。例えば、センサーデータおよび／またはイベントのシーケンスは、ログファイルに格納され得る。いくつかの例では、オンラインコントローラーは、コンポーネントのオンライン動作中にコンポーネントの動作を監視することに少なくとも部分的に基づいて、センサーデータおよび／またはイベントのシーケンスを格納し得る。ログファイルは、１つまたは複数のオンラインコントローラーおよび／またはそれに関連するコンポーネントによって生成され得ることが企図される。追加または代替の例では、センサーデータは、フレームワークによって動作されるコンポーネントによって生成されたシミュレートされたセンサーデータを含み得る。言い換えると、フレームワークのコンポーネントの１つは、フレームワークの他のコンポーネントに対する入力として使用されるデータを生成するシミュレータであり得る。いくつかの例では、少なくとも１つのコンポーネントがソースであり得（例えば、コンポーネントが出力を生成し、入力を消費しない）、および／または少なくとも１つのコンポーネントがシンク（sink）であり得る（例えば、コンポーネントが入力を受け取るが、出力を生成しない）。

動作７０４において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、第１のシステムのコンポーネントをイベントのシーケンスに従って動作させることに少なくとも部分的に基づいて、第１のシステムによってセンサーデータを処理することを含み得る。例えば、第１のシステムのコンポーネントは、上述した規則を実施する再生コントローラー（または任意の他のタイプのコントローラー）に関連付けられ得（例えば、タイミングエンフォーサを介して、生成時間、ホライズン時間などのメッセージデータ）、センサーデータおよび／またはイベントのシーケンスが保存されたときに第１のシステムがセンサーデータを処理したときの第１のシステムの動作の決定論的再現を達成する。いくつかの例では、動作７０４が達成されるために、本明細書で論じられるフレームワークは、最初に、入力／出力インターフェースおよび／または第１のシステムの非調整コンポーネントとともに調整コントローラーを含むコンポーネントのものと関連付けられたコントローラーによってインスタンス化され得る。いくつかの例では、インスタンス化は、動作７０４の前に発生し得、上記で論じたように、パラメータセットおよび／または構成を受信することをさらに含み得る。

第１のコンポーネントおよび他のコンポーネントをイベントのシーケンスに従って動作させることは、コンポーネントの実行が決定論的出力を生成するように、第１のシステムのコンポーネントへの入力、出力、および／または実行状態を制御することを含み得る。これは、本明細書で論じられるフレームワークが、同じセンサーデータおよび／または同じイベントのシーケンスがフレームワークによって調整される第１のシステムに提供されるたびに、第１のシステムに同じ出力を生成させることを意味する。

動作７０６において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、第１のシステムによってセンサーデータを処理することに少なくとも部分的に基づいて、第１の出力を受信することを含み得る。例えば、第１の出力は、システム全体の出力であり得、これは、第１のシステムの最後のレイヤのコンポーネントの出力であり得る（すなわち、最も下流でありデータ処理パイプラインのフローで出力を生成する最後であるコンポーネントのレイヤ）。別の例では、第１の出力は、調整手順のターゲットに応じて、特定のコンポーネントの出力であり得る。いくつかの例では、特定のコンポーネントのパフォーマンスを改善すると実際にはシステム全体のパフォーマンスが損なわれる可能性があるため、第１の出力はシステムの出力である場合がある。たとえば、特定のコンポーネントがより適切に動作する場合でも、パイプラインの複雑さによってわかりにくくなったという理由で、より長く動作したり、システムの正確さおよび／または精度を低下せる出力を作成したりする場合がある（例えば、ニューラルネットワークおよび／または他の機械学習モデルが、隠されたレイヤ、および／または変更された入力によって刺激され得、出力に変動を引き起こす可能性のある活性化機能を含み得る）。非限定的な例として、新しい検出コンポーネントは、以前のバージョンよりも歩行者の検出率が高いが、オブジェクト全体の検出率は低いことがある。

動作７０８において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、第１の出力に関連する第１のメトリックを決定することを含み得る。例えば、メトリックは、第１の出力に関連する、正確さ、精度、ＰＲ曲線、ＲＯＣ曲線、待ち時間、反応時間（例えば、オブジェクトおよび／またはトラックを識別する前の実行の数）、および／または加速度（例えば、横方向加速度が横方向加速度閾値を満たすかまたは超えているか、前方加速度が車両の知覚された「ジャーク」に関連する前方加速度閾値を満たすかまたは超えているか）などを含み得る。これらのメトリックは、グラウンドトゥルースが知られている可能性のあるさまざまなコンポーネントのパフォーマンスを計量するのに適している場合があるが、追加または代替のメトリクスが、出力および／または任意の入力、グラウンドトゥルースなどに基づいてシステムのパフォーマンスを計量するのに適している場合がある。

動作７１０において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、代替のコンポーネントが利用可能であるかどうかを決定することを含み得る。たとえば、コンポーネントが変更されると、たとえば、ソースコードの開発者による更新、ハードウェアの変更によって、および／または追加の機械学習トレーニング技術によって、変更されたコンポーネントがリポジトリに保存され得る。変更されたコンポーネントは、バージョン管理および／または他の識別子データに関連して格納され得、その結果、動作７１０において、例示的なプロセス７００は、コンポーネントの変更されたバージョンがリポジトリに格納されるかどうかを決定し得る。

いくつかの例では、代替コンポーネントが利用できない場合、例示的なプロセスは動作７１２に遷移し得る。動作７１２において、例示的なプロセス７００は、第１のメトリックが閾値メトリックを満たすかまたは超えているかを決定することを含み得る。閾値メトリックを満たすかまたは超えていることは、第１のシステムの適切なパフォーマンスを示し得る。動作７１２が、第１のメトリックが閾値メトリックを満たすかまたは超えると判定した場合、例示的なプロセス７００は、動作７０２に戻り得、これは、新しいセンサーデータおよび／またはイベントの新しいシーケンスを受信することを含み得る。

しかしながら、閾値が閾値メトリックを満たさず、代替コンポーネントが利用可能でない場合、例示的なプロセスは、動作７１４に遷移し得る。動作７１４において、例示的なプロセス７００は、第１のシステムが閾値メトリックを満たさないことをユーザーに通知するために、ユーザーインターフェースを介して通知を表示させることを含み得る。追加的または代替的に、動作７１４は、第１のメトリックがシステムの出力に関連付けられたときに第１のシステムの特定のコンポーネントに関連付けられたメトリックを決定すること、および／またはメトリックが閾値メトリックを満たすかまたは超えるかを判定することを含み得る。

動作７１０に戻ると、動作７１０は、代替コンポーネントが利用可能であると決定し得る。例えば、この決定は、コンポーネントの修正されたバージョンがリポジトリで利用可能であるという決定、および／またはパイプラインの構成への変更を示す指示がユーザーインターフェースから受信されたという決定を含み得る。追加または代替の例では、ユーザーは、代替コンポーネントを直接供給し得る（例えば、例示的なプロセス７００を実行するコンピューティングデバイスにアクセス可能なメモリにコンポーネントを格納すること、およびコンポーネントに関連付けられたアドレスへのポインタを提供することによって、物理的にハードウェアを変更することによって、ＡＳＩＣおよび/またはＦＰＧＡのメモリをフラッシュすることによって）。代替コンポーネントが利用可能であると決定することに少なくとも部分的に基づいて、例示的なプロセス７００は、動作７１２に遷移し得る。

動作７１６において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、第１のシステムの第１のコンポーネントを第２のコンポーネントで置き換えて、第２のシステムを形成することを含み得る。したがって、第２のシステムは、第２のコンポーネントと第１のシステムの他のコンポーネントとを含み得る。いくつかの例では、動作７１６は、実験的制御を維持するために一度に１つのコンポーネントを置き換え得るが、他の置き換え戦略が企図されている。例えば、第２のコンポーネントが第１のシステムに存在しない追加のコンポーネントからの入力を必要とする場合、第１のコンポーネントを第２のコンポーネントで置き換えることは、第１のコンポーネントを第２のコンポーネントと交換すること、および追加のコンポーネントをシステムに追加すること、および/または第１のシステムの別のコンポーネントを追加のコンポーネントで置き換えることを含み得る。一度に複数のコンポーネントを変更し得ることが企図されている。

いくつかの例では、動作７１６は、追加的または代替的に、第１のコンポーネントを第２のコンポーネントで置き換える前に、置き換えのユーザー許可を求めることを含み得る。別の例では、動作７１６は、代替コンポーネントが動作７１０で利用可能であると決定することに少なくとも部分的に基づいて、ユーザー入力なしで置き換えおよび後続の動作を自動的に生じさせることを含み得る。例えば、例示的なプロセス７００は完全に自動化され得る。例えば、自律走行車は、センサーデータおよび／またはイベントのシーケンスを定期的に記録し、リモートリポジトリをチェックし、および／またはセンサーデータおよび／またはイベントのシーケンスをリポジトリを含むリモートデバイスに送信し得る。次に、リモートデバイスは、例示的なプロセス７００を自動的に実行し得る。

動作７１８において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、第２のシステムのコンポーネントをイベントのシーケンスに従って動作させることに少なくとも部分的に基づいて、第２のシステムによってセンサーデータを処理することを含み得る。フレームワークのコントローラー、入力／出力インターフェース、および／または調整コントローラーは、動作７０４で行ったように動作し得るが、コントローラーの１つは、第１のコンポーネントの代わりに第２のコンポーネントを制御する。いくつかの例では、コントローラーはこの変更にとらわれず、追加のデータを必要としない場合がある。

動作７２０において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、第２のシステムによってセンサーデータを処理することに少なくとも部分的に基づいて、第２の出力を受信することを含み得る。フレームワークは、第１のコンポーネントを第２のコンポーネントと交換することによって、第１のシステムと第２のシステムの両方が決定論的に動作することを可能にするので、第１の出力と第２の出力との間の差異は交換に起因し得る。これにより、フレームワークなしでは不可能な方法でシステムのパフォーマンスを調整することを可能にする。

いくつかの例では、フレームワークがシステムを決定論的に動作させるので、第１の出力および第２の出力は、同じ識別子に関連付けられ得る（例えば、上記で定義された、それぞれの出力を含むメッセージに関連付けられた同じ生成時間）。場合によっては、チューニングモデルは、再生コントローラーから第１のメッセージを受信し（例えば、オンラインコントローラーの動作中にキャプチャされたシステムおよび／またはコンポーネントの動作の再生中に）、データストアから、第１のメッセージと同じ生成時間（または他の識別子）を持つオンラインコントローラーの動作中に記録された第２のメッセージを識別し得る。チューニングモデルは、次に、第１のメッセージの第１の出力と第２のメッセージの第２の出力とを比較し、および／または以下でさらに説明するように、第１のメッセージおよび第２のメッセージに関連する１つまたは複数のメトリックを決定し得る。

動作７２２において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、第２の出力に関連する第２のメトリックを決定することを含み得る。

動作７２４において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、第２のメトリックが第１のメトリックに対する改善であるかどうかを決定し得る。第２のメトリックが第１のメトリックに対する改善ではない場合、例示的なプロセス７００は、動作７０２に戻り得る。追加的または代替的に、例示的なプロセス７００は、第２のコンポーネントに関連して、第２のメトリックが第１のメトリックおよび／または閾値メトリックに対する改善ではなかったという指示を格納し得る。第２のメトリックが第１のメトリック（および／または閾値メトリック）に対する改善である場合、例示的なプロセス７００は、動作７２６に遷移し得る。第２のメトリックは、第１のメトリックに対する改善であり得、第２のメトリックは、第１のメトリックによって示される正確さおよび／または精度を満たすかまたは超える正確さおよび／または精度を示し、第２のメトリックは、第１のメトリックによって示されるＰＲ曲線、ＲＯＣ曲線、および／または加速度よりも曲線により密接に一致するＰＲ曲線、ＲＯＣ曲線、および／または加速度を示し、および／または第２のメトリックは、第１のメトリックによって示される待ち時間および／または反応時間よりも短い待ち時間および／または反応時間を示す。メトリックは、システムおよび／またはコンポーネントのパフォーマンスの他の指標を含み得、したがって、あるメトリック値の別のものに対する改善は、メトリックタイプに応じて変化することが理解される（たとえば、改善は、ときどきより大きな値、ときどきより小さい値、ときどき標準および／または閾値へのより高い適合度によって示される）。メトリックが複数のタイプのメトリックを示すいくつかの例では、さまざまなメトリックは重み付けされ得、差異の重み付き合計が計算され、第２のメトリックが第１のメトリックに対する改善であるかどうかを判定し得る。

動作７２６において、例示的なプロセス７００は、本明細書で論じられる技術のいずれかに従って、自律走行車に、第１のコンポーネントを第２のコンポーネントと交換するための命令を送信することを含み得る。

（例示的なアーキテクチャ）
図８は、本明細書で論じられるフレームワークを実装する例示的なアーキテクチャのブロック図を示す。場合によっては、システム８００は、図１の自律走行車１０２に対応し得る車両８０２を含み得る。いくつかの例では、車両８０２は、米国道路交通安全局が発行したレベル５の分類に従って動作するように構成された自律走行車であり得、これは、トリップ全体ですべての安全上重要な機能を実行することができる車両を記述したものであり、運転者（または乗員）はどんなときでも車両を制御することを期待されていない。しかしながら、他の例では、車両８０２は、他のレベルまたは分類を有する完全にまたは部分的な自律走行車であり得る。さらに、場合によっては、本明細書に記載の技術は、非自律走行車によっても使用可能であり得る。

車両８０２は、車両コンピューティングデバイス８０４、１つまたは複数のセンサー８０６、１つまたは複数のエミッター８０８、１つまたは複数のネットワークインターフェース８１０、少なくとも１つおよび／または１つまたは複数の駆動モジュール８１２を含み得る。

場合によっては、センサー８０６は、光検出および測距（ＬＩＤＡＲ）センサー、ＲＡＤＡＲセンサー、超音波トランスデューサ、ソナーセンサー、位置センサー（例えば、グローバルポジショニングシステム（ＧＰＳ）、コンパスなど）、慣性センサー（例えば、慣性測定ユニット（ＩＭＵ）、加速度計、磁気計、ジャイロスコープなど）、カメラ（例えば、赤-緑-青（ＲＧＢ）、赤外線（ＩＲ）、強度、深度、飛行時間など）、マイク、ホイールエンコーダ、環境センサー（例えば、温度センサー、湿度センサー、光センサー、圧力センサーなど）、などを含み得る。センサー８０６は、これらまたは他のタイプのセンサーのそれぞれの複数のインスタンスを含み得る。例えば、ライダーセンサーは、車両８０２の角部、前部、後部、側部、および／または上部に位置する個々のライダーセンサーを含み得る。別の例として、カメラは、車両８０２の外部および／または内部に関する様々な場所に配置された複数のカメラを含み得る。センサー８０６は、車両コンピューティングデバイス８０４に入力を提供し得る。

車両８０２はまた、上記のように、光および／または音を放出するためのエミッター８０８を含み得る。この例におけるエミッター８０８は、車両８０２の乗客と通信するための内部オーディオおよびビジュアルエミッターを含み得る。限定ではなく例として、内部エミッターは、スピーカー、ライト、標識、ディスプレイスクリーン、タッチスクリーン、触覚エミッター（例えば、振動および／または力フィードバック）、機械的アクチュエータ（例えば、シートベルトテンショナー、シートポジショナー、ヘッドレストポジショナーなど）などを含み得る。この例におけるエミッター８０８はまた、外部エミッターを含み得る。限定ではなく例として、この例における外部エミッターは、進行方向を信号で伝えるためのライトまたは車両動作の他のインジケータ（例えば、インジケータライト、標識、ライトアレイなど）、および歩行者または他の近くの車両と聴覚的に通信するための１つまたは複数のオーディオエミッター（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含み得、それらの１つまたは複数は、音響ビームステアリング技術を含む。

車両８０２はまた、車両８０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にするネットワークインターフェース８１０を含み得る。例えば、ネットワークインターフェース８１０は、車両８０２および／または駆動モジュール８１２上の他のローカルコンピューティングデバイスとの通信を容易にし得る。また、ネットワークインターフェース８１０は、追加的または代替的に、車両が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にし得る。ネットワークインターフェース８１０は、追加的または代替的に、車両８０２がコンピューティングデバイス８１４と通信することを可能にし得る。

ネットワークインターフェース８１０は、車両コンピューティングデバイス８０４を別のコンピューティングデバイスまたはネットワーク８１６などのネットワークに接続するための物理的および／または論理的インターフェースを含み得る。例えば、ネットワークインターフェース８１０は、ＩＥＥＥ８００．１１規格によって定義された周波数、ブルートゥース（登録商標）などの短距離無線周波数、セルラー通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースできるようにする適切な有線または無線通信プロトコルを介するなどのＷｉ－Ｆｉベースの通信を可能にし得る。場合によっては、車両コンピューティングデバイス８０４および／またはセンサー８０６は、所定の期間の経過後、ほぼリアルタイムで、など、ネットワーク８１６を介して、特定の周波数でセンサーデータをコンピューティングデバイス８１４に送信し得る。

場合によっては、車両８０２は、１つまたは複数の駆動モジュール８１２を含み得る。場合によっては、車両８０２は、単一の駆動モジュール８１２を有し得る。場合によっては、駆動モジュール８１２は、駆動モジュール８１２および／または車両８０２の周囲の状態を検出するための１つまたは複数のセンサーを含み得る。限定ではなく例として、駆動モジュール８１２のセンサーは、駆動モジュールの車輪の回転を感知するための１つまたは複数のホイールエンコーダ（例えば、回転エンコーダ）、ドライブモジュール、カメラまたはその他の画像センサーの方向と加速度を測定する慣性センサー（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁気計など）、ドライブモジュールの周囲のオブジェクトを音響的に検出する超音波センサー、ＬＩＤＡＲセンサー、ＲＡＤＡＲセンサーなどを含み得る。ホイールエンコーダなどの一部のセンサーは、駆動モジュール８１２に固有のものであり得る。場合によっては、駆動モジュール８１２上のセンサーは、車両８０２の対応するシステム（例えば、センサー８０６）と重複するか、または補足し得る。

駆動モジュール８１２は、高電圧バッテリー、車両を推進するモーター、バッテリーからの直流電流を他の車両システムによって利用される交流電流へと変換するインバーター、ステアリングモーターおよびステアリングラック（これは、電動であってよい）を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し、且つ制御を維持するよう制動力の分散をするスタビリティー制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバーター、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどのその他の電装コンポーネント）を含む多くの車両システムを含み得る。さらに、駆動モジュール８１２は、センサーからデータを受信し、および前処理をし得る駆動モジュールコントローラーを含み、さまざまな車両システムの動作を制御し得る。場合によっては、駆動モジュールコントローラーは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含み得る。メモリは、１つまたは複数のモジュールを格納し、駆動モジュール８１２のさまざまな機能を実行し得る。さらに、駆動モジュール８１２はまた、それぞれの駆動モジュールによって、１つまたは複数の他のローカルまたはリモートのコンピューティングデバイスと通信を可能にする１つまたは複数の通信接続を含み得る。

車両コンピューティングデバイス８０４は、１つまたは複数のプロセッサ８１８、および１つまたは複数のプロセッサ８１８と通信可能に結合されたメモリ８２０を含み得る。コンピューティングデバイス８１４はまた、プロセッサ８２２、および／またはメモリ８２４を含み得る。プロセッサ８１８および／または８２２は、データを処理し、本明細書に記載されるような動作を実行するための命令を実行することができる任意の適切なプロセッサであり得る。限定ではなく例として、プロセッサ８１８および／または８２２は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、集積回路（例えば、特定用途向け集積回路（ＡＳＩＣ）など）、ゲートアレイ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）、および/または電子データを処理してその電子データを、レジスタおよび/またはメモリに格納され得る他の電子データに変換する他のデバイスまたはデバイスの一部を含み得る。

メモリ８２０および／または８２４は、非一時的なコンピュータ可読媒体の例であり得る。メモリ８２０および／または８２４は、オペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納し、本明細書で説明される方法およびさまざまなシステムに起因する機能を実装し得る。さまざまな実装において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、シンクロナスダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または情報を格納可能な任意の他のタイプのメモリなど、適切なメモリ技術を用いて実装され得る。本明細書で説明される、アーキテクチャ、システム、および個々のエレメントは、他の多くの論理的、プログラム的、および物理的なコンポーネントを含んでよく、それらのうちの添付図面に示されるものは、単に本明細書での説明に関連する例示に過ぎない。

場合によっては、メモリ８２０および／またはメモリ８２４は、例えば、一次知覚システム、二次知覚システム、予測システム、ローカリゼーションシステム、マッピングシステム、計画システム、乗車管理システムなどのコンポーネントなどのコンポーネント８２６および／または８３４を格納し得る。これらの（および他の）システムは、データ処理パイプラインを構成するさまざまなコンポーネントを含み得る。コンポーネント８２６および／または８３４は、メモリ８２０および／または８２４に格納されているように示されているが、コンポーネント８２６および／または８３４は、プロセッサ実行可能命令、機械学習モデル（例えば、ニューラルネットワーク）、および/またはハードウェアを含み得る。いくつかの例では、本明細書で論じられるフレームワークに従って調整されるべきコンポーネント８２６および／または８３４は、入力／出力インターフェース３０２を含むように構成され得る。

本明細書で説明するように、例示的なニューラルネットワークは、入力データを一連の接続されたレイヤに渡して出力を生成する生物学的に着想を得たアルゴリズムである。ニューラルネットワークの各レイヤは、別のニューラルネットワークも含むことができ、または任意の数のレイヤ（畳み込みかどうかに関係なく）を含むことができる。本開示の文脈で理解できるように、ニューラルネットワークは、機械学習を利用でき、これは、学習されたパラメータに基づいて出力が生成されるそのようなアルゴリズムの広範囲のクラスを指すことができる。

ニューラルネットワークのコンテキストで説明されているが、この開示と一致して、任意のタイプの機械学習を使用することができる。例えば、機械学習アルゴリズムは、限定はされないが、回帰アルゴリズム（例えば、通常最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、段階的回帰、多変量適応回帰スプライン（ＭＡＲＳ）、ローカル的推定スキャッタープロットの平滑化（ＬＯＥＳＳ）、例示に基づいたアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾力ネット、最小角度回帰（ＬＡＲＳ）、決定木アルゴリズム（例えば、分類および回帰木（ＣＡＲＴ）、ｉｔｅｒａｔｉｖｅ ｄｉｃｈｏｔｏｍｉｓｅｒ ３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木）、ベイジアンアルゴリズム（例えば、ナイーブベイズ、ガウスナイーブベイズ、多項ナイーブベイズ、Ａｖｅｒａｇｅ ｏｎｅ－ｄｅｐｅｎｃｅ ｅｓｔｉｍａｔｏｒｓ（ＡＯＤＥ）、ベイジアンビリーフネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋメジアン、期待値の最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、誤差逆伝搬、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、深層学習アルゴリズム（例えば、深層ボルツマンマシン（ＤＢＭ）、深層ビリーフネットワーク（ＤＢＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、積層オートエンコーダ）、次元縮小アルゴリズム（例えば、主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元尺度構成法（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップアグリゲーション（バギング）、アダブースト、積層ジェネラリゼーション（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースト回帰木（ＧＢＲＴ）、ランダム森）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などを含むことができる。アーキテクチャの追加の例は、ResNet70、ResNet101、VGG、DenseNet、PointNetなどのニューラルネットワークを含む。

メモリ８２０および／または８２４は、追加的または代替的に、本明細書で論じられるコントローラーのいずれかを含み得るコントローラー８２８および／または８３６を格納し得る。例えば、コントローラー８２８および／または８３６は、オンラインコントローラー、再生コントローラー、および／または調整コントローラーを含み得る。いくつかの例では、メモリ８２０および／または８２４は、例示的なプロセス７００の少なくとも一部を実行するように構成され得るチューニングモデル８３０および／または８４０を追加的または代替的に格納し得る。例えば、チューニングモデル８３０は、コンピューティングデバイス８１４に定期的にクエリを実行して、代替コンポーネント８３８が利用可能であるかどうかを決定し得る。代替コンポーネント８３８は、コンポーネント８２６の修正バージョン、新しいコンポーネント、パイプライン構成の変更などを含み得る。代替コンポーネントが利用可能である場合、チューニングモデル８３０は、オンラインコントローラーに、代替コンポーネントに対応するコンポーネントを含む車両上のシステムの現在の構成のログファイルを生成させ得る。ログファイルが生成されると、チューニングモデル８３０は、メモリ８２４に格納されたチューニングモデル８４０のログファイルをコンピューティングデバイス８１４に送信して、例示的なプロセス７００を実行し得、および／またはチューニングモデル８３０は、例示的なプロセス７００を車両上で実行し得る。別の例では、チューニングモデル８３０は、代替コンポーネントの利用可能性に関係なく、ログファイルを定期的に保存し、コンピューティングデバイス８１４に送信し得る。次に、コンピューティングデバイスは、定期的に受信されるログファイルを使用して、車両上のシステムの現在の構成のパフォーマンスと、代替コンポーネントを組み込んだ第２のシステムのパフォーマンスとの間の差異をテストし得る。

メモリ８２０は、追加的または代替的に、１つまたは複数のシステムコントローラー８３２を格納し得、これは、車両８０２のステアリング、推進、ブレーキ、安全、エミッター、通信、および他のシステムを制御するように構成され得る。これらのシステムコントローラー８３２は、駆動モジュール８１２および／または車両８０２の他のコンポーネントの対応するシステムと通信し、および／または制御し得る。

場合によっては、コンピューティングデバイス８１４は、データストア８４２および／またはロガー８４４を含み得る。場合によっては、データストア８４２は、データチャネルを介して発行されたメッセージ（例えば、コンポーネントによる消費のためにコントローラー間で発行されたメッセージ）を格納するように構成され得、ロガー８４４は、再現性チャネルを介して発行されたメッセージを格納し得る。場合によっては、ロガー８４４は、それによって受信された再現性メッセージに少なくとも部分的に基づいて、本明細書に記載されるように、追加的または代替的にログファイルを生成し得る。

場合によっては、コンポーネント８２６は、センサーデータを処理し得、それに関連するコントローラー８２８は、１つまたは複数のネットワーク８１６を介して、１つまたは複数のコンピューティングデバイスにそれぞれの出力を送信し得る（例えば、特定の頻度で、所定の期間が経過した後、ほぼリアルタイムで、など）。

いくつかの例では、コンピューティングデバイス８１４は、分散コンピューティングシステム（例えば、クラウドコンピューティングアーキテクチャ）の１つまたは複数のノードを含み得る。コンポーネント８３４に関連付けられたコントローラー８３６を含むフレームワークは、コンポーネント８３４の決定論的動作および再現性を維持しながら、コンポーネント８３４を異種のコンピューティングデバイス上で実行されることを可能にし得る。

図８は分散システムとして示されているが、代替の例では、車両８０２のコンポーネントは、コンピューティングデバイス８１４に関連付けられ得、および／またはコンピューティングデバイス８１４のコンポーネントは、車両８０２に関連付けられ得ることに留意されたい。すなわち、車両８０２は、コンピューティングデバイス８１４に関連する１つまたは複数の機能を実行し得、逆もまた同様である。

（例示的な節）
Ａ．自律走行車のセンサーからセンサーデータを受信すること、第１のシステムによってセンサーデータを処理し、第１のシステムは、第１のコンポーネントおよび１つまたは複数の他のコンポーネントを含み、処理は、少なくとも部分的に、第１のコンポーネントおよび１つまたは複数の他のコンポーネントの動作を制御することに基づくこと、第１のシステムによるセンサーデータの処理中に第１のコンポーネントに関連付けられた第１のコントローラーから１つまたは複数のメッセージを受信することに少なくとも部分的に基づいてイベントのシーケンスを記録すること、第１のシステムによりセンサーデータを処理することに少なくとも部分的に基づいて、第１の出力を受信すること、第１のコンポーネントを第２のコンポーネントと交換して、第２のコンポーネントおよび１つまたは複数の他のコンポーネントを含む第２のシステムを取得すること、第２のコンポーネントをシーケンスに従って動作させることに少なくとも部分的に基づいて、第２のシステムによってセンサーデータを処理すること、第２のシステムによってセンサーデータを処理することに少なくとも部分的に基づいて、第２の出力を受信すること、および、自律走行車に、第１の出力と第２の出力との間の差を決定することに少なくとも部分的に基づいて、第１のコンポーネントを第２のコンポーネントと交換する命令を送信することを含む方法。

Ｂ．段落Ａの方法であって、イベントは、第１のコンポーネントに入力を提供すること、第１のコンポーネントを実行させること、または第１のコンポーネントから出力を受信することの少なくとも１つを含み、第２のコンポーネントをシーケンスに従って動作させることは、入力を提供すること、出力を送信すること、またはシーケンスによって指定されるように実行することのうちの少なくとも１つを含む。

Ｃ．段落ＡまたはＢの方法であって、第１の出力に関連する第１のメトリックおよび第２の出力に関連する第２のメトリックのうちの少なくとも１つを決定することをさらに含み、差異を決定することは、第２のメトリックの少なくとも１つが第１のメトリックに対する改善であると決定することを含む。

Ｄ．段落Ａ－Ｃのいずれか１つの方法であって、第１のシステムによってセンサーデータを処理することは、第１のコンポーネントに関連する第１のコントローラーで、１つまたは複数のアップストリームに関連する１つまたは複数のアップストリームコントローラーからアップストリームメッセージを受信すること、メッセージはホライズン時間を含み、ホライズン時間はコンポーネントが再実行されるまでの期間を識別すること、第１のコントローラーによって、少なくとも部分的にシーケンスに基づいて、アップストリームメッセージの順序を決定すること、第１のコントローラーによって、少なくとも部分的にホライズン時間に基づいて、期間を決定すること、第１のコントローラーによって、期間中に、順序に従ってコンポーネントへの入力としてアップストリームメッセージを提供すること、第１のコントローラーによって、期間が満了するまで第１のコンポーネントを１回以上実行させること、第１のコントローラーで、第１のコンポーネントの実行に応答する第１のコンポーネントから、出力を受信すること、および、第１のコントローラーによって、１つまたは複数のサブスクライビングコントローラーに、出力、出力をもたらした第１のコンポーネントの個別の実行を識別する生成時間、およびホライズン時間を含む出力メッセージを発行することを含む。

Ｅ．段落Ａ－Ｄのいずれか１つの方法であって、１つまたは複数のサブスクライビングコントローラーのうちの１つが、出力メッセージに対する自律走行車の応答をシミュレートするシミュレーションコンポーネントに関連付けられたシミュレーションコントローラーを含む。

Ｆ．段落Ａの方法であって、第１のコンポーネントの個別の実行に少なくとも部分的に基づいて第１のコンポーネントの内部状態を識別するキーフレームを第１のコントローラーから受信することをさらに含み、第２のシステムによってセンサーデータを処理することは、キーフレームで識別された実行と一致する第２のコンポーネントの実行にスキップすること、および、キーフレームによって識別される内部状態と一致するように、第２のコンポーネントの内部状態を設定することを含む。

Ｇ．１つまたは複数のプロセッサと、第１のコンポーネントと、第１のコンポーネントに関連付けられた第１のコントローラーであって、１つまたは複数のプロセッサによって実行されると、システムに、１つまたは複数の他のコンポーネントの動作に関連する第１のコンポーネントでイベントのシーケンスを受信すること、第１のコントローラーがサブスクライブするアップストリームコントローラーから第１のメッセージを受信することであって、メッセージは、第２のコンポーネントの実行の第１の出力を含むこと、少なくとも部分的にシーケンスに基づいて、１つまたは複数のメッセージの順序を決定することであって、１つまたは複数のメッセージが第１のメッセージを含むこと、第１のコンポーネントへの入力として、順序に従って１つまたは複数のメッセージを提供すること、少なくとも部分的にシーケンスに基づいて、第１のコンポーネントを実行させる時間を決定すること、その時点で、少なくとも部分的に第１のコンポーネントで１つまたは複数のメッセージを受信することに基づいて、第１のコンポーネントを実行させること、第１のコンポーネントの実行に応答して、第１のコンポーネントの出力を受信すること、および、出力を構成するメッセージを、１つまたは複数のサブスクライビングコントローラーに発行すること、を含む動作を実行させる第１のコントローラーとを格納するメモリとを含むシステム。

Ｈ．段落Ｇのシステムであって、第１のメッセージは第１のホライズン時間を含み、１つまたは複数のメッセージのうちの少なくとも１つは、第２のホライズン時間を含み、動作は、少なくとも部分的に第１のホライズン時間および第２のホライズン時間に基づいて、第１のコンポーネントを実行できる期間を決定することをさらに含み、この期間は、第１のホライズン時間または第２のホライズンのいずれか短い方であり、第１のコンポーネントはその期間中に実行される。

Ｉ．段落ＧまたはＨのシステムであって、第１のシステムは、第１のコンポーネントおよび１つまたは複数の他のコンポーネントを含み、メモリは、１つまたは複数のプロセッサによって実行されると、システムに、第１のコンポーネントを第３のコンポーネントに置き換えて、第３のコンポーネントおよび１つまたは複数の他のコンポーネントを含む第２のシステムを取得させ、第３のコンポーネントを使用して第２のシステムに動作を繰り返させる命令をさらに含み、動作は、第３のコンポーネントの実行に応答して、期間中に第３のコンポーネントの第２の出力を受信し、第２の出力を含む第２のメッセージを、１つまたは複数のサブスクライビングコントローラーに発行することを含む。

Ｊ．段落Ｇ－Ｉのいずれか１つのシステムであって、第１のシステムが、少なくとも部分的に第１のメッセージに基づいて第１の結果を決定し、第２のシステムが、少なくとも部分的に第２のメッセージに基づいて第２の結果を決定し、メモリは、１つまたは複数のプロセッサによって実行されると、プロセッサに、少なくとも部分的に第１の結果に基づいて、第１のメトリックを決定させ、少なくとも部分的に第２の結果に基づいて、第２のメトリックを決定させ、そして、自律走行車に、第２のメトリックが第１のメトリックに対する改善であると少なくとも部分的に決定することに基づいて、第１のコンポーネントを第３のコンポーネントと交換する指示を送信させる命令をさらに含む。

Ｋ．段落Ｇ－Ｊのいずれか１つのシステムであって、１つまたは複数のサブスクライビングコントローラーのうちの１つのコントローラーは、シミュレーションコンポーネントで１つまたは複数のコンポーネントに関連付けられた１つまたは複数のコントローラーから受信された１つまたは複数のメッセージに対する自律走行車の応答をシミュレートするシミュレーションコンポーネントに関連付けられている。

Ｌ．段落Ｇ－Ｋのいずれか１つのシステムであって、動作は、少なくとも１つの期間の満了で第１のコンポーネントが実行されるのを防止すること、またはシーケンスが、第１のコンポーネントが実行される前に少なくとも１つの他のコンポーネントが実行されなければならないことを示すことを決定することをさらに含む。

Ｍ．プロセッサ実行可能命令が格納されている非一時的なコンピュータ可読媒体であって、プロセッサ実行可能命令は１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、センサーデータおよびイベントのシーケンスを含むログデータを受信させ、シーケンスに従って、少なくとも２つのコンポーネントを相互に関連して実行させ、２つのコンポーネントは少なくとも２つのコンポーネントを実行させる２つのコントローラーに関連付けられ、少なくとも部分的に少なくとも２つのコンポーネントを実行させることに基づいて、少なくとも２つのコンポーネントを含む第１のシステムの第１の出力を受信させ、少なくとも２つのコンポーネントのうちの１つを交換用コンポーネントと交換させ、第２のシステムを形成し、第２のシステムのコンポーネントをシーケンスに従って実行させ、第２のシステムのコンポーネントを実行させることに少なくとも部分的に基づいて、第２のシステムの第２の出力を受信させ、第１の出力と第２の出力との間の差異を決定することに少なくとも部分的に基づいて、自律走行車に交換用コンポーネントを使用するための命令を送信させる、非一時的なコンピュータ可読媒体。

Ｎ．段落Ｍの非一時的なコンピュータ可読媒体であって、少なくとも２つのコンポーネントをシーケンスに従って実行させることは、コンポーネントに入力を提供する順序を決定すること、コンポーネントから少なくとも２つのコンポーネントのうちの別のコンポーネントに出力を提供すること、または、別のコンポーネントへ入力を提供すること、別のコンポーネントからの出力を少なくとも１つのコンポーネントまたは追加のコンポーネントのうちの１つに提供すること、または別のコンポーネントを実行させることのうちの少なくとも１つに関連してコンポーネントを実行させること、のうちの少なくとも１つを含む。

Ｏ．段落ＭまたはＮの非一時的なコンピュータ可読媒体であって、差異を決定することは、第１の出力の第１のメトリックおよび第２の出力の第２のメトリックを決定することと、第２のメトリックが第１のメトリックに対する改善であると決定することとを含む。

Ｐ．段落Ｍ－Ｏのいずれか１つの非一時的なコンピュータ可読媒体であって、命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、少なくとも２つのコンポーネントのうちの第１のコンポーネントを実行させることに少なくとも部分的に基づいて、実行中に第１のコンポーネントの内部状態をシリアル化するキーフレームを受信させ、キーフレームを受信した後、第１のコンポーネントの内部状態をキーフレームの内部状態と一致するように設定させ、少なくとも部分的に内部状態に基づいて第１のコンポーネントに実行を再現させる。

Ｑ．段落Ｍ－Ｐのいずれか１つの非一時的なコンピュータ可読媒体であって、命令は、１つまたは複数のプロセッサによって実行されると、プロセッサにさらに、少なくとも２つのコンポーネントの実行中に少なくとも２つのコンポーネントのうちの１つへの入力として提供される非決定論的変数またはクロックのうちの少なくとも１つを格納させ、第２のシステムのコンポーネントを実行させることは、非決定論的変数またはクロックデータのうちの少なくとも１つを読み出すことと、コンポーネントの少なくとも１つの実行中に、非決定論的変数またはクロックデータのうちの少なくとも１つを第２のシステムのコンポーネントのうちの少なくとも１つに提供することを含む。

Ｒ．段落Ｍ－Ｑのいずれか１つの非一時的なコンピュータ可読媒体であって、少なくとも２つのコンポーネントは、第１のコンポーネントおよび第２のコンポーネントを含み、第１のコントローラーは第１のコンポーネントに関連付けられ、第２のコントローラーは第２のコンポーネントに関連付けられ、シーケンスに従って第１のコンポーネントを実行させることは、第１のコントローラーで、第２のコントローラーから第１のメッセージを受信することであって、第１のメッセージは、第２のコンポーネントの出力および第１のホライズン時間を含むことと、第１のホライズン時間が別のメッセージの別のホライズン時間よりも短いと判定することと、第１のホライズン時間の満了前に第１のコンポーネントを実行させると決定することとをさらに含む。

Ｓ．段落Ｍ－Ｒのいずれか１つの非一時的なコンピュータ可読媒体であって、命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、実行中の第２のコンポーネントに応じて第２のコンポーネントからの出力を受信させ、出力が第２のコンポーネントから受信された時間と、期間を示す第２のホライズン時間とを含む第２のメッセージを生成させ、１つまたは複数のサブスクライビングコントローラーに第２のメッセージを発行させる。

Ｔ．段落Ｍ－Ｓのいずれか１つの非一時的なコンピュータ可読媒体であって、少なくとも２つのコンポーネントは、第２のコンポーネントおよび第３のコンポーネントを含み、第１のコントローラーは第２のコンポーネントに関連付けられ、第２のコントローラーは第３のコンポーネントに関連付けられ、第２のコンポーネントは、自律走行車の動作を制御するためにコンピューティングデバイスによって使用可能な出力を生成し、第１のコントローラーは、出力を含むメッセージを第２のコントローラーに送信し、第２のコントローラーはメッセージを受信し、第３のコンポーネントへの入力として出力を提供し、第３のコンポーネントは、自律走行車の応答をエミュレートし、シミュレートされたデータを出力するシミュレーションコンポーネントを含む。

Ｕ．非一時的なコンピュータ可読媒体は、コントローラーから、第１のソフトウェアコンポーネントおよび１つまたは複数の変数を実行するための指示を受信するように構成された入力インターフェースと、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、少なくとも部分的に１つまたは複数の変数に基づいて、指示の受信に応答して第１のソフトウェアコンポーネントを実行させ、第１のソフトウェアコンポーネントの実行の結果を受け取らせる第１の命令と、結果をコントローラーに出力するように構成された出力インターフェースとを含む第１のソフトウェアコンポーネントを格納し、コントローラーは、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、入力インターフェースに提供される１つまたは複数の変数の値を制御し、実行の結果は少なくとも部分的に値に基づき、第１のソフトウェアコンポーネントが少なくとも部分的に入力インターフェースへの指示を送信することに少なくとも部分的に基づいて実行する時間を制御し、出力インターフェースから結果を受け取ることを含む動作を実施させる第２の命令を含む。

Ｖ．段落Ｕの非一時的なコンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに第１のソフトウェアコンポーネントを第２のソフトウェアコンポーネントと交換させる第３の命令をさらに含み、第２のソフトウェアコンポーネントは、入力インターフェースと出力インターフェースを含む。

Ｗ．段落ＵまたはＶの非一時的なコンピュータ可読媒体であって、第２の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、入力インターフェースを介した入力として、クロック信号、自律走行車のセンサーから受信したセンサーデータ、または第１のソフトウェアコンポーネントによって実行するために使用可能な非決定論的値のうちの少なくとも１つを提供させる。

Ｘ．段落Ｕ－Ｗのいずれか１つの非一時的なコンピュータ可読媒体であって、第２の命令は、１つまたは複数のプロセッサもしくは１つまたは複数の第２のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、第３のソフトウェアコンポーネントに関連付けられたアップストリームコントローラーから、第３のソフトウェアコンポーネントの第２の結果を含む第２のメッセージを受信させ、入力インターフェースを介した入力として、１つまたは複数の変数のうちの１つとして第２の結果を提供させる。

Ｙ．段落Ｕ－Ｘのいずれか１つの非一時的なコンピュータ可読媒体であって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、キーフレームとして第１のソフトウェアコンポーネントの内部状態をシリアル化させ、出力インターフェースは、キーフレームをコントローラーに出力するように構成される。

Ｚ．段落Ｕ－Ｙのいずれか１つの非一時的なコンピュータ可読媒体であって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、少なくとも１つは定期的に、または、少なくとも部分的に、内部状態の変化の程度が変化の閾値程度を満たすかまたは超えると判定することに基づいて内部状態をシリアル化する。

ＡＡ．段落Ｕ－Ｚのいずれか１つの非一時的なコンピュータ可読媒体であって、第１の命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサにさらに、キーフレームのシリアル化に続いてキーフレームによって指定される第１のソフトウェアコンポーネントの個別の実行にスキップさせ、キーフレームを逆シリアル化して、キーフレームによってシリアル化された内部状態と一致するように第１のソフトウェアコンポーネントの内部状態を設定させ、個別の実行から始めて、第１のソフトウェアコンポーネントを実行させる。

ＡＢ．１つまたは複数のプロセッサと、メモリとを備えたシステムであって、メモリは、コンピューティングデバイスによって実行可能な命令を含む第１のコンポーネントであって、命令が、機械制御装置またはデータ処理パイプラインの少なくとも１つの動作を制御するためにコンピューティングデバイスによって少なくとも部分的に使用される結果を生成する第１のコンポーネントと、１つまたは複数の変数を受信するように構成された第１の入力インターフェースと、命令を実行するための指示を受け取る第２の入力インターフェースと、少なくとも部分的に１つまたは複数の変数と指示を受け取ることに基づいて、結果を出力する第１の出力インターフェースとを含むインターフェースと、第１のコンポーネントに関連付けられ、第１の命令を含む第１のコントローラーであって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、第１の入力インターフェースを介して、１つまたは複数の変数が第１の入力インターフェースに提供される順序を制御させ、指示が第２の入力インターフェースに送信されるとき、第２の入力インターフェースを介して第１のコンポーネントを実行させることを制御させ、第１の出力インターフェースを介して、結果を受け取らせ、結果と、第１のコントローラーで結果が受信された時刻とを含むメッセージを１つまたは複数のダウンストリームコントローラーに発行させる第１のコントローラーと格納する。

ＡＣ．段落ＡＢのシステムであって、第１のコントローラーはオンラインコントローラーであり、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、ログファイルに、別のコンポーネントでの１つまたは複数のイベントに対するインターフェースでのイベントの順序を格納させ、イベントは、１つまたは複数の変数を第１の入力インターフェースに提供すること、第１のコンポーネントを第２の入力インターフェースを介して実行させること、または第１のコンポーネントから第１の出力インターフェースを介して出力を受信することのうちの少なくとも１つを含む。

ＡＤ．段落ＡＢまたはＡＣのシステムであって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、自律走行車のセンサーから受信したセンサーデータ、第１のコンポーネントによって消費される非決定論的データ、または第１のコンポーネントの実行に関する診断情報のうちの少なくとも１つをログファイルに格納させる。

ＡＥ．段落ＡＢ－ＡＤのいずれか１つのシステムであって、第１のコントローラーは再生コントローラーであり、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、１つまたは複数のコンポーネントでのイベントのシーケンスを含むログファイルを受信させ、イベントのシーケンスは、１つまたは複数のコンポーネントが以前に実行されたためにイベントが発生した順序を定義し、１つまたは複数の変数を提供するか、または第１のコンポーネントを実行させることがシーケンスを混乱させると決定することに少なくとも部分的に基づいて、１つまたは複数の変数を受信するかまたは実行することのうちの少なくとも１つから第１のコンポーネントを防がせ、１つまたは複数の変数を提供させるか、第１のコンポーネントを実行させるか、または少なくとも部分的にシーケンスに基づいてメッセージを発行させることの少なくとも１つを生じさせる。

ＡＦ．段落ＡＢ－ＡＥのうちの１つのシステムであって、インターフェースは、第１のコンポーネントの第１の内部状態を第１のキーフレームとしてシリアル化し、第１のキーフレームを出力する第２の出力インターフェースであって、第１の内部状態は、非決定論的変数値、カウンター値、出力コンテキスト、または第１のコンポーネントの以前の実行に少なくとも部分的に基づく内部変数値のうちの少なくとも１つを含む、第２の出力インターフェースと、第２のキーフレームを受信し、第２のキーフレームを第２の内部状態に逆シリアル化し、第１のコンポーネントの内部状態を第２の内部状態に設定させる第３の入力インターフェースとをさらに含む。

ＡＧ．段落ＡＢ－ＡＦのうちの１つのシステムであって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、第１の入力インターフェースを介した入力として、クロック信号、自律走行車のセンサーから受信したセンサーデータ、または第１のソフトウェアコンポーネントによって使用可能な非決定論的値のうちの少なくとも１つを提供させる。

ＡＨ．第１のコントローラーによって、第１のソフトウェアコンポーネントに関連付けられた入力インターフェースに提供される１つまたは複数の変数の値を制御することと、第１のコントローラーによって、メッセージの受信、指定された期間、イベントのシーケンス、またはホライズン時間のうちの少なくとも１つに少なくとも部分的に基づいて、第１のソフトウェアコンポーネントを実行させる時間を決定することと、その時点に、第１のコントローラーによって、第１のソフトウェアコンポーネントを実行させることであって、第１のソフトウェアコンポーネントの実行は、少なくとも部分的に１つまたは複数の変数に基づくことと、第１のコントローラーで、第１のソフトウェアコンポーネントから、実行の第１の出力を受信することと、１つまたは複数のサブスクライバに、第１のコントローラーによって、第１の出力と、第１のコントローラーが第１のソフトウェアコンポーネントを再実行させる前の期間、または第１の出力が、第１のコントローラーで受信されたか、または、第１のソフトウェアコンポーネントによって生成されたときを示す生成時間のうちの少なくとも１つとを含む第１のメッセージを発行することとを含む方法。

ＡＩ．段落ＡＨの方法であって、入力インターフェースへの入力として提供されるセンサーデータ、イベントのシーケンスであって、イベントのシーケンスを保存することは、別のソフトウェアコンポーネントでの１つまたは複数のイベントに対する第１のソフトウェアコンポーネントでの動作を監視することを含み、イベントは、メッセージを受信すること、第１のメッセージを発行すること、入力インターフェースへの入力、実行の開始、実行の完了を提供すること、または出力を受信することのうちの少なくとも１つを含む、イベントのシーケンス、入力インターフェースへの入力として提供されるデータ、出力インターフェースから出力として受信したデータ、または第１のソフトウェアコンポーネントによって生成され、出力インターフェースを介して出力されるキーフレームのうちの少なくとも１つをログファイルに保存することをさらに含む。

ＡＪ．段落ＡＨまたはＡＩの方法であって、第１のソフトウェアコンポーネントが第１のプロセッサ実行可能命令を含み、方法は、入力インターフェースが第２のソフトウェアコンポーネントに１つまたは複数の変数を提供するように第１のソフトウェアコンポーネントを第２のソフトウェアコンポーネントと置き換えることをさらに含み、第２のソフトウェアコンポーネントは、コントローラーによってその時間に実行され、第２のソフトウェアコンポーネントの実行の第２の出力は、出力インターフェースを介して受信され、第２のソフトウェアコンポーネントは、第２のプロセッサ実行可能命令を含む。

ＡＫ．段落ＡＨ－ＡＪのうちの１つの方法であって、第２のソフトウェアコンポーネントに関連付けられた第２のコントローラーで第１のメッセージを受信することと、イベントのシーケンスに少なくとも部分的に基づいて、第２のコントローラーによって、第１のメッセージを第２のソフトウェアコンポーネントに提供する第１の時間を決定することと、少なくとも部分的にシーケンスに基づいて、第２のコントローラーによって、第２のソフトウェアコンポーネントを実行させる第２の時間を決定することと、第１の時間に、第２のコントローラーによって、第１のメッセージを第２のソフトウェアコンポーネントに提供することと、第２の時間に、第２のコントローラーによって、第２のソフトウェアコンポーネントを１回または複数回実行させることと、第１のコントローラーで、第２のソフトウェアコンポーネントから、第２のソフトウェアコンポーネントの実行の第２の出力を受信することと、第２の出力と、第２のホライズン時間、または第２の出力が第２のコントローラーで受信されたとき、または第２の出力を生成した第２のソフトウェアコンポーネントの個別の実行を示す第２の生成時間のうちの少なくとも１つとを含む第２のメッセージを、１つまたは複数の第２のサブスクライバに、第２のコントローラーによって発行することとさらに含む。

ＡＬ．段落ＡＨ－ＡＫのうちの１つの方法であって、時間を決定することは、第１のソフトウェアコンポーネントが別のコントローラーでの別のイベントの前または後に実行されるべきであると決定することであって、別のコントローラーでの別のイベントは、第１のコントローラーでアップストリームコントローラーから受信された第２のメッセージによって、または少なくとも部分的にシーケンスに基づいて指定されることを含む。

ＡＭ．段落ＡＨ－ＡＬのうちの１つの方法であって、第１のソフトウェアコンポーネントを実行させることができる期間を決定することと、時間の前、かつ期間が満了すると、第１のソフトウェアコンポーネントが実行されるのを防ぐこととをさらに含む。

ＡＮ．段落ＡＨ－ＡＭのうちの１つの方法であって、入力インターフェースを介した入力として、１つまたは複数の変数のうちの１つとしてのセンサーデータを提供すること、および、少なくとも部分的にログファイルに基づいて、第１のソフトウェアコンポーネントまたは１つまたは複数の他のコンポーネントのうちの少なくとも１つでの１つまたは複数のイベントに関するイベントのシーケンスを決定することに少なくとも部分的に基づいて時間を決定することに少なくとも部分的に基づいて、前記第１のソフトウェアコンポーネントを介してセンサーデータを処理することをさらに含み、１つまたは複数のイベントは、１つまたは複数の他のコンポーネントに関連付けられた１つまたは複数の他のコントローラーから第１のコントローラーで受信された１つまたは複数のメッセージによって示される。

ＡＯ．自律走行車のセンサーからセンサーデータを受信することと、第１のシステムによってセンサーデータを処理することであって、第１のシステムは、第１のコンポーネントおよび１つまたは複数の他のコンポーネントを含み、処理することは、第１のコンポーネントおよび１つまたは複数の他のコンポーネントの動作を制御することに少なくとも部分的に基づくことと、第１のシステムによるセンサーデータの処理中に第１のコンポーネントに関連付けられた第１のコントローラーから１つまたは複数のメッセージを受信することに少なくとも部分的に基づいてイベントのシーケンスを記録することと、第１のシステムによりセンサーデータを処理することに少なくとも部分的に基づいて、第１の出力を受信することと、第１のコンポーネントを第２のコンポーネントと交換して、第２のコンポーネントおよび１つまたは複数の他のコンポーネントを含む第２のシステムを取得することと、第２のコンポーネントをシーケンスに従って動作させることに少なくとも部分的に基づいて、第２のシステムによってセンサーデータを処理することと、第２のシステムによってセンサーデータを処理することに少なくとも部分的に基づいて、第２の出力を受信することと、第１の出力と第２の出力との間の差を決定することに少なくとも部分的に基づいて、自律走行車に第１のコンポーネントを第２のコンポーネントと交換する命令を送信することとを含む方法。

ＡＰ．段落ＡＯの方法であって、イベントは、第１のコンポーネントに入力を提供すること、第１のコンポーネントを実行させること、または第１のコンポーネントから出力を受信することのうちの少なくとも１つを含み、第２のコンポーネントをシーケンスに従って動作させることは、入力を提供すること、出力を送信すること、またはシーケンスによって指定されるように実行することのうちの少なくとも１つを含む。

ＡＱ．段落ＡＯまたはＡＰの方法であって、第１の出力に関連する第１のメトリックおよび第２の出力に関連する第２のメトリックのうちの少なくとも１つを決定することをさらに含み、差異を決定することは、第２のメトリックの少なくとも１つが第１のメトリックに対する改善であると決定することを含む。

ＡＲ．段落ＡＯ－ＡＱのいずれか１つの方法であって、第１のシステムによってセンサーデータを処理することは、第１のコンポーネントに関連する第１のコントローラーで、１つまたは複数のアップストリームに関連する１つまたは複数のアップストリームコントローラーからアップストリームメッセージを受信することであって、メッセージはホライズン時間を含み、ホライズン時間はコンポーネントが再実行されるまでの期間を識別することと、第１のコントローラーによって、少なくとも部分的にシーケンスに基づいて、アップストリームメッセージの順序を決定することと、第１のコントローラーによって、少なくとも部分的にホライズン時間に基づいて、期間を決定することと、第１のコントローラーによって、期間中に、順序に従ってコンポーネントへの入力としてアップストリームメッセージを提供することと、第１のコントローラーによって、期間が満了するまで第１のコンポーネントを１回または複数回実行させることと、第１のコントローラーで、第１のコンポーネントの実行に応答する第１のコンポーネントから、出力を受信することと、第１のコントローラーによって、１つまたは複数のサブスクライビングコントローラーに、出力、出力をもたらした第１のコンポーネントの個別の実行を識別する生成時間、およびホライズン時間を含む出力メッセージを発行することとを含む。

ＡＳ．段落ＡＯ－ＡＲのいずれか１つの方法であって、１つまたは複数のサブスクライビングコントローラーのうちの１つが、出力メッセージに対する自律走行車の応答をシミュレートするシミュレーションコンポーネントに関連付けられたシミュレーションコントローラーを含む。

ＡＴ．段落ＡＯの方法であって、第１のコンポーネントの個別の実行に少なくとも部分的に基づいて第１のコンポーネントの内部状態を識別するキーフレームを第１のコントローラーから受信することをさらに含み、第２のシステムによってセンサーデータを処理することは、キーフレームで識別された実行と一致する第２のコンポーネントの実行にスキップすることと、キーフレームによって識別される内部状態と一致するように、第２のコンポーネントの内部状態を設定することとを含む。

ＡＵ．１つまたは複数のプロセッサと、第１のコンポーネントと、第１のコンポーネントに関連付けられた第１のコントローラーであって、１つまたは複数のプロセッサによって実行されると、システムに、１つまたは複数の他のコンポーネントの動作に関連する第１のコンポーネントでイベントのシーケンスを受信すること、第１のコントローラーがサブスクライブするアップストリームコントローラーから第１のメッセージを受信することであって、メッセージは、第２のコンポーネントの実行の第１の出力を含むこと、少なくとも部分的にシーケンスに基づいて、１つまたは複数のメッセージの順序を決定することであって、１つまたは複数のメッセージが第１のメッセージを含むこと、第１のコンポーネントへの入力として、順序に従って１つまたは複数のメッセージを提供すること、少なくとも部分的にシーケンスに基づいて、第１のコンポーネントを実行させる時間を決定すること、その時点で、少なくとも部分的に第１のコンポーネントで１つまたは複数のメッセージを受信することに基づいて、第１のコンポーネントを実行させること、第１のコンポーネントの実行に応答して、第１のコンポーネントの出力を受信すること、および、出力を含むメッセージを、１つまたは複数のサブスクライビングコントローラーに発行すること、を含む動作をシステムに実行させる第１のコントローラーとを格納するメモリとを含むシステム。

ＡＶ．段落ＡＵのシステムであって、第１のメッセージは第１のホライズン時間を含み、１つまたは複数のメッセージのうちの少なくとも１つは、第２のホライズン時間を含み、動作は、少なくとも部分的に第１のホライズン時間および第２のホライズン時間に基づいて、第１のコンポーネントを実行できる期間を決定することをさらに含み、期間は、第１のホライズン時間または第２のホライズンのいずれか短い方であり、第１のコンポーネントはその期間中に実行される。

ＡＷ．段落ＡＵまたはＡＶのシステムであって、第１のシステムは、第１のコンポーネントおよび１つまたは複数の他のコンポーネントを含み、メモリは、１つまたは複数のプロセッサによって実行されると、システムに、第１のコンポーネントを第３のコンポーネントに置き換えて、第３のコンポーネントおよび１つまたは複数の他のコンポーネントを含む第２のシステムを取得させ、第３のコンポーネントを使用して第２のシステムに動作を繰り返させる命令をさらに含み、動作は、第３のコンポーネントの実行に応答して、期間中に第３のコンポーネントの第２の出力を受信し、第２の出力を含む第２のメッセージを、１つまたは複数のサブスクライビングコントローラーに発行することを含む。

ＡＸ．段落ＡＵ－ＡＷのいずれか１つのシステムであって、第１のシステムが、少なくとも部分的に第１のメッセージに基づいて第１の結果を決定し、第２のシステムが、少なくとも部分的に第２のメッセージに基づいて第２の結果を決定し、メモリは、１つまたは複数のプロセッサによって実行されると、プロセッサに、少なくとも部分的に第１の結果に基づいて、第１のメトリックを決定させ、少なくとも部分的に第２の結果に基づいて、第２のメトリックを決定させ、そして、自律走行車に、第２のメトリックが第１のメトリックに対する改善であると少なくとも部分的に決定することに基づいて、第１のコンポーネントを第３のコンポーネントと交換する命令を送信させる命令をさらに含む。

ＡＹ．段落ＡＵ－ＡＸのいずれか１つのシステムであって、１つまたは複数のサブスクライビングコントローラーのうちの１つのコントローラーは、シミュレーションコンポーネントで１つまたは複数のコンポーネントに関連付けられた１つまたは複数のコントローラーから受信された１つまたは複数のメッセージに対する自律走行車の応答をシミュレートするシミュレーションコンポーネントに関連付けられている。

ＡＺ．段落ＡＵ－ＡＹのいずれか１つのシステムであって、動作は、少なくとも１つの期間の満了で第１のコンポーネントが実行されるのを防止すること、またはシーケンスが、第１のコンポーネントが実行される前に少なくとも１つの他のコンポーネントが実行されなければならないことを示すと決定することをさらに含む。

ＢＡ．プロセッサ実行可能命令が格納されている非一時的なコンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行されると、プロセッサ実行可能命令は、１つまたは複数のプロセッサが、センサーデータおよびイベントのシーケンスを含むログデータを受信し、シーケンスに従って、少なくとも２つのコンポーネントを相互に関連して実行し、２つのコンポーネントは少なくとも２つのコンポーネントを実行させる２つのコントローラーに関連付けられ、少なくとも部分的に少なくとも２つのコンポーネントを実行させることに基づいて、少なくとも２つのコンポーネントを含む第１のシステムの第１の出力を受信し、少なくとも２つのコンポーネントのうちの１つを交換用コンポーネントと交換して、第２のシステムを形成し、第２のシステムのコンポーネントをシーケンスに従って実行させ、第２のシステムのコンポーネントを実行させることに少なくとも部分的に基づいて、第２のシステムの第２の出力を受信し、自律走行車に、第１の出力と第２の出力との間の差異を決定することに少なくとも部分的に基づいて、交換用コンポーネントを使用するための命令を送信するようにする。

ＢＢ．段落ＢＡの非一時的なコンピュータ可読媒体であって、少なくとも２つのコンポーネントをシーケンスに従って実行させることは、コンポーネントに入力を提供すること、コンポーネントから少なくとも２つのコンポーネントのうちの別のコンポーネントに出力を提供することの順序を決定すること、または、別のコンポーネントへ入力を提供すること、別のコンポーネントからの出力を少なくとも１つのコンポーネントまたは追加のコンポーネントへ提供することのうちの少なくとも１つに関してコンポーネントを実行させること、または別のコンポーネントに実行させること、のうちの少なくとも１つを含む。

ＢＣ．段落ＢＡまたはＢＢの非一時的なコンピュータ可読媒体であって、差異を決定することは、第１の出力の第１のメトリックおよび第２の出力の第２のメトリックを決定すること、および第２のメトリックが第１のメトリックに対する改善であると決定することを含む。

ＢＤ．段落ＢＡ－ＢＣのいずれか１つの非一時的なコンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行されると、命令はさらに１つまたは複数のプロセッサに、少なくとも２つのコンポーネントのうちの第１のコンポーネントを実行することに少なくとも部分的に基づいて、実行中に第１のコンポーネントの内部状態をシリアル化するキーフレームを受信させ、キーフレームを受信した後、第１のコンポーネントの内部状態をキーフレームの内部状態と一致するように設定させ、および、少なくとも部分的に内部状態に基づいて第１のコンポーネントに実行を再現させる。

ＢＥ．段落ＢＡ－ＢＤのいずれか１つの非一時的なコンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行されると、命令はさらにプロセッサに、少なくとも２つのコンポーネントの実行中に少なくとも２つのコンポーネントのうちの１つへの入力として提供される非決定論的変数またはクロックのうちの少なくとも１つをさらに格納させ、第２のシステムのコンポーネントを実行させることは、非決定論的変数またはクロックデータのうちの少なくとも１つを読み出すこと、およびコンポーネントの少なくとも１つの実行中に、非決定論的変数またはクロックデータのうちの少なくとも１つを第２のシステムのコンポーネントのうちの少なくとも１つに提供することを含む。

ＢＦ．段落ＢＡ－ＢＥのいずれか１つの非一時的なコンピュータ可読媒体であって、少なくとも２つのコンポーネントは、第１のコンポーネントおよび第２のコンポーネントを含み、第１のコントローラーは第１のコンポーネントに関連付けられ、第２のコントローラーは第２のコンポーネントに関連付けられ、シーケンスに従って第１のコンポーネントを実行させることは、第１のコントローラーで、第２のコントローラーから第１のメッセージを受信し、第１のメッセージは、第２のコンポーネントの出力および第１のホライズン時間を含むこと、第１のホライズン時間が別のメッセージの別のホライズン時間よりも短いと判定すること、および、第１のホライズン時間の満了前に第１のコンポーネントを実行させると決定することをさらに含む。

ＢＧ．段落ＢＡ－ＢＦのいずれか１つの非一時的なコンピュータ可読媒体であって、命令は、１つまたは複数のプロセッサによって実行されると、さらに１つまたは複数のプロセッサに、実行中の第２のコンポーネントに応じて第２のコンポーネントからの出力を受信させ、出力が第２のコンポーネントから受信された時間と、期間を示す第２のホライズン時間とを含む第２のメッセージを生成させ、１つまたは複数のサブスクライビングコントローラーに第２のメッセージを発行させる。

ＢＨ．段落ＢＡ－ＢＧのいずれか１つの非一時的なコンピュータ可読媒体であって、少なくとも２つのコンポーネントは、第２のコンポーネントおよび第３のコンポーネントを含み、第１のコントローラーは第２のコンポーネントに関連付けられ、第２のコントローラーは第３のコンポーネントに関連付けられ、第２のコンポーネントは、自律走行車の動作を制御するためにコンピューティングデバイスによって使用可能な出力を生成し、第１のコントローラーは、出力を含むメッセージを第２のコントローラーに送信し、第２のコントローラーはメッセージを受信し、第３のコンポーネントへの入力として出力を提供し、第３のコンポーネントは、自律走行車の応答をエミュレートし、シミュレートされたデータを出力するシミュレーションコンポーネントを含む。

ＢＩ．非一時的なコンピュータ可読媒体は、コントローラーから、第１のソフトウェアコンポーネントおよび１つまたは複数の変数を実行するための指示を受信するように構成された入力インターフェースと、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、少なくとも部分的に１つまたは複数の変数に基づいて、指示の受信に応答して第１のソフトウェアコンポーネントを実行させ、第１のソフトウェアコンポーネントの実行の結果を受け取らせる第１の命令と、結果をコントローラーに出力するように構成された出力インターフェースとを含む第１のソフトウェアコンポーネントを格納し、コントローラーは、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、入力インターフェースに提供される１つまたは複数の変数の値を制御し、実行の結果は少なくとも部分的に値に基づき、第１のソフトウェアコンポーネントが少なくとも部分的に入力インターフェースへの指示を送信することに少なくとも部分的に基づいて実行する時間を制御し、出力インターフェースから結果を受け取ることを含む動作を実施させる第２の命令を含む。

ＢＪ．段落ＢＩの非一時的なコンピュータ可読媒体であって、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに第１のソフトウェアコンポーネントを第２のソフトウェアコンポーネントと交換させる第３の命令をさらに含み、第２のソフトウェアコンポーネントは、入力インターフェースと出力インターフェースを含む。

ＢＫ．段落ＢＩまたはＢＪの非一時的なコンピュータ可読媒体であって、第２の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、入力インターフェースを介した入力として、クロック信号、自律走行車のセンサーから受信したセンサーデータ、または第１のソフトウェアコンポーネントによって実行するために使用可能な非決定論的値のうちの少なくとも１つを提供させる。

ＢＬ．段落ＢＩ－ＢＫのいずれか１つの非一時的なコンピュータ可読媒体であって、第２の命令は、１つまたは複数のプロセッサもしくは１つまたは複数の第２のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、第３のソフトウェアコンポーネントに関連付けられたアップストリームコントローラーから、第３のソフトウェアコンポーネントの第２の結果を含む第２のメッセージを受信させ、入力インターフェースを介した入力として、１つまたは複数の変数のうちの１つとして第２の結果を提供させる。

ＢＭ．段落ＢＩ－ＢＬのいずれか１つの非一時的なコンピュータ可読媒体であって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、キーフレームとして第１のソフトウェアコンポーネントの内部状態をシリアル化させ、出力インターフェースは、キーフレームをコントローラーに出力するように構成される。

ＢＮ．段落ＢＩ－ＢＭのいずれか１つの非一時的なコンピュータ可読媒体であって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、少なくとも１つは定期的に、または、少なくとも部分的に、内部状態の変化の程度が変化の閾値程度を満たすかまたは超えると判定することに基づいて内部状態をシリアル化する。

ＢＯ．段落ＢＩ－ＢＮのいずれか１つの非一時的なコンピュータ可読媒体であって、第１の命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサにさらに、キーフレームのシリアル化に続いてキーフレームによって指定される第１のソフトウェアコンポーネントの個別の実行にスキップさせ、キーフレームを逆シリアル化して、キーフレームによってシリアル化された内部状態と一致するように第１のソフトウェアコンポーネントの内部状態を設定させ、個別の実行から始めて、第１のソフトウェアコンポーネントを実行させる。

ＢＰ．１つまたは複数のプロセッサと、メモリとを備えたシステムであって、メモリは、コンピューティングデバイスによって実行可能な命令を含む第１のコンポーネントであって、命令が、機械制御装置またはデータ処理パイプラインの少なくとも１つの動作を制御するためにコンピューティングデバイスによって少なくとも部分的に使用される結果を生成する第１のコンポーネントと、１つまたは複数の変数を受信するように構成された第１の入力インターフェースと、命令を実行するための指示を受け取る第２の入力インターフェースと、少なくとも部分的に１つまたは複数の変数と指示を受け取ることに基づいて、結果を出力する第１の出力インターフェースとを含むインターフェースと、第１のコンポーネントに関連付けられ、第１の命令を含む第１のコントローラーであって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに、第１の入力インターフェースを介して、１つまたは複数の変数が第１の入力インターフェースに提供される順序を制御させ、指示が第２の入力インターフェースに送信されるとき、第２の入力インターフェースを介して第１のコンポーネントを実行させることを制御させ、第１の出力インターフェースを介して、結果を受け取らせ、結果と、第１のコントローラーで結果が受信された時刻とを含むメッセージを１つまたは複数のダウンストリームコントローラーに発行させる第１のコントローラーと格納する。

ＢＱ．段落ＢＰのシステムであって、第１のコントローラーはオンラインコントローラーであり、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、ログファイルに、別のコンポーネントでの１つまたは複数のイベントに対するインターフェースでのイベントの順序を格納させ、イベントは、１つまたは複数の変数を第１の入力インターフェースに提供すること、第１のコンポーネントを第２の入力インターフェースを介して実行させること、または第１のコンポーネントから第１の出力インターフェースを介して出力を受信することのうちの少なくとも１つを含む。

ＢＲ．段落ＢＰまたはＢＱのシステムであって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、自律走行車のセンサーから受信したセンサーデータ、第１のコンポーネントによって消費される非決定論的データ、または第１のコンポーネントの実行に関する診断情報のうちの少なくとも１つをログファイルに格納させる。

ＢＳ．段落ＢＰ－ＢＲのいずれか１つのシステムであって、第１のコントローラーは再生コントローラーであり、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、１つまたは複数のコンポーネントでのイベントのシーケンスを含むログファイルを受信させ、イベントのシーケンスは、１つまたは複数のコンポーネントが以前に実行されたためにイベントが発生した順序を定義し、１つまたは複数の変数を提供するか、または第１のコンポーネントを実行させることがシーケンスを混乱させると決定することに少なくとも部分的に基づいて、１つまたは複数の変数を受信するかまたは実行することのうちの少なくとも１つから第１のコンポーネントを防がせ、１つまたは複数の変数を提供させるか、第１のコンポーネントを実行させるか、または少なくとも部分的にシーケンスに基づいてメッセージを発行させることの少なくとも１つを生じさせる。

ＢＴ．段落ＢＰ－ＢＳのうちの１つのシステムであって、インターフェースは、第１のコンポーネントの第１の内部状態を第１のキーフレームとしてシリアル化し、第１のキーフレームを出力する第２の出力インターフェースであって、第１の内部状態は、非決定論的変数値、カウンター値、出力コンテキスト、または第１のコンポーネントの以前の実行に少なくとも部分的に基づく内部変数値のうちの少なくとも１つを含む、第２の出力インターフェースと、第２のキーフレームを受信し、第２のキーフレームを第２の内部状態に逆シリアル化し、第１のコンポーネントの内部状態を第２の内部状態に設定させる第３の入力インターフェースとをさらに含む。

ＢＵ．段落ＢＰ－ＢＴのうちの１つのシステムであって、第１の命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサにさらに、第１の入力インターフェースを介した入力として、クロック信号、自律走行車のセンサーから受信したセンサーデータ、または第１のソフトウェアコンポーネントによって使用可能な非決定論的値のうちの少なくとも１つを提供させる。

ＢＶ．第１のコントローラーによって、第１のソフトウェアコンポーネントに関連付けられた入力インターフェースに提供される１つまたは複数の変数の値を制御することと、第１のコントローラーによって、メッセージの受信、指定された期間、イベントのシーケンス、またはホライズン時間のうちの少なくとも１つに少なくとも部分的に基づいて、第１のソフトウェアコンポーネントを実行させる時間を決定することと、その時点で、第１のコントローラーによって、第１のソフトウェアコンポーネントを実行させることであって、第１のソフトウェアコンポーネントの実行は、少なくとも部分的に１つまたは複数の変数に基づくことと、第１のコントローラーで、第１のソフトウェアコンポーネントから、実行の第１の出力を受信することと、１つまたは複数のサブスクライバに、第１のコントローラーによって、第１の出力と、第１のコントローラーが第１のソフトウェアコンポーネントを再実行させる前の期間の、または第１の出力が、第１のコントローラーで受信されるか、また、第１のソフトウェアコンポーネントによって生成されたときを示す生成時間のうちの少なくとも１つとを含む第１のメッセージを発行することとを含む方法。

ＢＷ．段落ＢＶの方法であって、入力インターフェースへの入力として提供されるセンサーデータ、イベントのシーケンスであって、イベントのシーケンスを保存することは、別のソフトウェアコンポーネントでの１つまたは複数のイベントに対する第１のソフトウェアコンポーネントでの動作を監視することを含み、イベントは、メッセージを受信すること、第１のメッセージを発行すること、入力インターフェースへの入力、実行の開始、実行の完了を提供すること、または出力を受信することのうちの少なくとも１つを含み、入力インターフェースへの入力として提供されるデータと、出力インターフェースから出力として受信したデータと、または第１のソフトウェアコンポーネントによって生成され、出力インターフェースを介して出力されるキーフレームとのうちの少なくとも１つをログファイルに保存することをさらに含む。

ＢＸ．段落ＢＶまたはＢＷの方法であって、第１のソフトウェアコンポーネントが第１のプロセッサ実行可能命令を含み、方法は、入力インターフェースが第２のソフトウェアに１つまたは複数の変数を提供するように第１のソフトウェアコンポーネントを第２のソフトウェアコンポーネントと置き換えることをさらに含み、第２のソフトウェアコンポーネントは、コントローラーによってその時点で実行され、第２のソフトウェアコンポーネントの実行の第２の出力は、出力インターフェースを介して受信され、第２のソフトウェアコンポーネントは、第２のプロセッサ実行可能命令を含む。

ＢＹ．段落ＢＶ－ＢＸのうちの１つの方法であって、第２のソフトウェアコンポーネントに関連付けられた第２のコントローラーで第１のメッセージを受信することと、イベントのシーケンスに少なくとも部分的に基づいて、第２のコントローラーによって、第１のメッセージを第２のソフトウェアコンポーネントに提供する第１の時間を決定することと、少なくとも部分的にシーケンスに基づいて、第２のコントローラーによって、第２のソフトウェアコンポーネントを実行させる第２の時間を決定することと、第１の時間に、第２のコントローラーによって、第１のメッセージを第２のソフトウェアコンポーネントに提供することと、第２の時間に、第２のコントローラーによって、第２のソフトウェアコンポーネントを１回または複数回実行させることと、第１のコントローラーで、第２のソフトウェアコンポーネントから、第２のソフトウェアコンポーネントの実行の第２の出力を受信することと、第２の出力と、第２のホライズン時間、または第２の出力が第２のコントローラーで受信されたとき、または第２の出力を生成した第２のソフトウェアコンポーネントの個別の実行を示す第２の生成時間のうちの少なくとも１つとを含む第２のメッセージを、１つまたは複数の第２のサブスクライバに、第２のコントローラーによって発行することさらに含む。

ＢＺ．段落ＢＶ－ＢＹのうちの１つの方法であって、時間を決定することは、第１のソフトウェアコンポーネントが別のコントローラーでの別のイベントの前または後に実行されるべきであると決定することであって、別のコントローラーでの別のイベントは、第１のコントローラーでアップストリームコントローラーから受信された第２のメッセージによって指定され、または少なくとも部分的にシーケンスに基づくことを含む。

ＣＡ．段落ＢＶ－ＢＺのうちの１つの方法であって、第１のソフトウェアコンポーネントを実行させる期間を決定することと、第１のソフトウェアコンポーネントが時間の前に、かつ期間が満了すると実行されるのを防ぐこととをさらに含む。

ＣＢ．段落ＢＶ－ＣＡのうちの１つの方法であって、入力インターフェースを介した入力として、１つまたは複数の変数のうちの１つとしてのセンサーデータを提供することに少なくとも部分的に基づいて、第１のソフトウェアコンポーネントを介してセンサーデータを処理することと、少なくとも部分的にログファイルに基づいて、第１のソフトウェアコンポーネントまたは１つまたは複数の他のコンポーネントのうちの１つでの１つまたは複数のイベントに関するイベントのシーケンスを決定することに少なくとも部分的に基づいて時間を決定することであって、１つまたは複数のイベントは、１つまたは複数の他のコンポーネントに関連付けられた１つまたは複数の他のコントローラーから第１のコントローラーで受信された１つまたは複数のメッセージによって示されることをさらに含む。

（結論）
発明の主題は、構造的な特徴および／または方法的な活動に特有の言語で説明されてきたが、添付の特許請求の範囲の中で画定される発明の主題は、必ずしも説明される特定の特徴、または活動に限定されるものではないことを理解されたい。むしろ、特定の特徴、および活動は、特許請求の範囲を実施する例示的形態として開示される。

本明細書で説明されるモジュールは、任意のタイプのコンピュータ可読媒体に格納し得、且つソフトウェアおよび／またはハードウェアにおいて実装し得る命令を表現する。上述の方法、およびプロセスのすべては、１つもしくは複数のコンピュータまたはプロセッサ、ハードウェア、またはそれらのいくつかの組み合わせによって実行されるソフトウェアコードモジュールおよび／またはコンピュータ実行可能命令を介して完全に自動化し得る。あるいは、方法のうちの一部またはすべては、専門のコンピュータハードウェアで具現化し得る。

そうではないと特に明記されていない限り、特に「可能である」、「得る」、「できる」、または「してよい」などの条件付きの用語は、とりわけ、他の例示が含まないある特徴、要素および／またはステップをある例示が含み、提示することの文脈内で理解される。したがって、そのような条件付きの用語は、概して、ある特徴、要素および／またはステップが、１つまたは複数の例示に任意の方法で要求されるか、またはその１つまたは複数の例示が、ユーザーのインプット、またはプロンプトを用いて、または用いずに、ある特徴、要素および／またはステップが任意の具体的な例示に含まれるか、または実行されるべきであるかを判断するための論理を必ずしも含むことを暗示することは意図されていない。

「Ｘ、Ｙ、またはＺのうちの少なくとも１つ」という句などの接続詞は、そうではないと特に明記されていない限り、項目、用語などがＸ、Ｙ、またはＺのいずれか、またはそれぞれの要素の集合を含む、それらの任意の組み合わせであってよいと理解されるべきである。単数として明示的に説明されていない限り、「ある」は、単数、および複数を意味する。

本明細書で説明され、および／または添付の図に示したフロー図における任意のルーティンの説明、要素、またはブロックは、ルーティンにおける特定の論理機能、または要素を実装するための１つまたは複数のコンピュータ実行可能命令を含むコードのモジュール、セグメント、または部分を潜在的に表現するものとして理解されるべきである。代替的な実装は、本明細書に説明される例示の範囲内に含まれ、その中で、要素または機能は、当業者によって理解されるように、関係する機能に応じて、実質的に同時、または逆の順序を含む、図示されたもの、または説明されたものと順不同で、削除され、実行されることが可能である。さらに、フロー図におけるそのような要素および／またはブロックは、連続して描かれる場合、追加的または代替的に、任意の順序で配置され、および／または並列に実行され得る。

上述の例示に対して多くの変形例、および修正例を作成することが可能であることを強調すべきであり、それらの要素は、他の容認できる例示の中にあるものとして理解されるべきである。このような変更例、および変形例のすべてが本開示の範囲内で本明細書に含まれ、以下の特許請求の範囲によって保護されることが意図される。

Claims (15)

1. プロセッサ実行可能命令が格納されている非一時的なコンピュータ可読媒体であって、前記プロセッサ実行可能命令は１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、
   センサーデータおよびイベントのシーケンスを含むログデータを受信させ、
   前記シーケンスに従って、少なくとも２つのコンポーネントを相互に関連して実行させ、前記２つのコンポーネントは前記少なくとも２つのコンポーネントを実行させる２つのコントローラーに関連付けられ、
   少なくとも部分的に前記少なくとも２つのコンポーネントを実行させることに基づいて、前記少なくとも２つのコンポーネントを含む第１のシステムの第１の出力を受信させ、
   前記少なくとも２つのコンポーネントのうちの１つを交換用コンポーネントと交換させ、第２のシステムを形成し、
   前記第２のシステムの前記コンポーネントを前記シーケンスに従って実行させ、
   前記第２のシステムの前記コンポーネントを実行させることに少なくとも部分的に基づいて、前記第２のシステムの第２の出力を受信させ、
   前記第１の出力と前記第２の出力との間の差異を決定することに少なくとも部分的に基づいて、自律走行車に前記交換用コンポーネントを使用するための命令を送信させる、非一時的なコンピュータ可読媒体。
2. 前記少なくとも２つのコンポーネントを前記シーケンスに従って実行させることは、
   コンポーネントに入力を提供する順序を決定すること、
   前記コンポーネントから前記少なくとも２つのコンポーネントのうちの別のコンポーネントに出力を提供すること、または、
   前記別のコンポーネントへ入力を提供すること、前記別のコンポーネントからの出力を前記コンポーネントまたは追加のコンポーネントのうちの１つに提供すること、または別のコンポーネントを実行させることのうちの少なくとも１つに関連して前記コンポーネントを実行させること
   のうちの少なくとも１つを含む、請求項１に記載の非一時的なコンピュータ可読媒体。
3. 前記差異を決定することは、
   前記第１の出力の第１のメトリックおよび前記第２の出力の第２のメトリックを決定することと、
   前記第２のメトリックが前記第１のメトリックに対する改善であると決定することと
   を含む、請求項１または２に記載の非一時的なコンピュータ可読媒体。
4. 前記命令は、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサにさらに、
   前記少なくとも２つのコンポーネントのうちの第１のコンポーネントを実行させることに少なくとも部分的に基づいて、実行中に前記第１のコンポーネントの内部状態をシリアル化するキーフレームを受信させ、
   前記キーフレームを受信した後、前記第１のコンポーネントの前記内部状態を前記キーフレームの前記内部状態と一致するように設定させ、
   少なくとも部分的に前記内部状態に基づいて前記第１のコンポーネントに前記実行を再現させる、請求項１乃至３のいずれか１項に記載の非一時的なコンピュータ可読媒体。
5. 前記命令は、前記１つまたは複数のプロセッサによって実行されると、前記プロセッサにさらに、前記少なくとも２つのコンポーネントの実行中に前記少なくとも２つのコンポーネントのうちの１つへの入力として提供される非決定論的変数またはクロックデータのうちの少なくとも１つを格納させ、
   前記第２のシステムの前記コンポーネントを実行させることは、
   前記非決定論的変数または前記クロックデータのうちの前記少なくとも１つを読み出すことと、
   前記コンポーネントの前記少なくとも１つの実行中に、前記非決定論的変数または前記クロックデータのうちの前記少なくとも１つを前記第２のシステムの前記コンポーネントのうちの少なくとも１つに提供することを含む、請求項１乃至４のいずれか１項に記載の非一時的なコンピュータ可読媒体。
6. 前記少なくとも２つのコンポーネントは、第１のコンポーネントおよび第２のコンポーネントを含み、
   第１のコントローラーは前記第１のコンポーネントに関連付けられ、
   第２のコントローラーは前記第２のコンポーネントに関連付けられ、
   前記シーケンスに従って前記第１のコンポーネントを実行させることは、
   前記第１のコントローラーで、前記第２のコントローラーから第１のメッセージを受信することであって、前記第１のメッセージは、前記第２のコンポーネントの出力および第１のホライズン時間を含むことと、
   前記第１のホライズン時間が別のメッセージの別のホライズン時間よりも短いと判定することと、
   前記第１のホライズン時間の満了前に前記第１のコンポーネントを実行させると決定することとをさらに含む、請求項１乃至５のいずれか１項に記載の非一時的なコンピュータ可読媒体。
7. 前記命令は、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサにさらに、実行中の第２のコンポーネントに応じて前記第２のコンポーネントからの出力を受信させ、
   前記出力が前記第２のコンポーネントから受信された時間と、期間を示す第２のホライズン時間とを含む第２のメッセージを生成させ、
   １つまたは複数のサブスクライビングコントローラーに前記第２のメッセージを発行させる、請求項１乃至６のいずれか１項に記載の非一時的なコンピュータ可読媒体。
8. 前記少なくとも２つのコンポーネントは、第２のコンポーネントおよび第３のコンポーネントを含み、
   第１のコントローラーは前記第２のコンポーネントに関連付けられ、
   第２のコントローラーは前記第３のコンポーネントに関連付けられ、
   前記第２のコンポーネントは、前記自律走行車の動作を制御するためにコンピューティングデバイスによって使用可能な出力を生成し、
   前記第１のコントローラーは、前記出力を含むメッセージを前記第２のコントローラーに送信し、
   前記第２のコントローラーは前記メッセージを受信し、前記第３のコンポーネントへの入力として前記出力を提供し、
   前記第３のコンポーネントは、前記自律走行車の応答をエミュレートし、シミュレートされたデータを出力するシミュレーションコンポーネントを含む、請求項１乃至７のいずれか１項に記載の非一時的なコンピュータ可読媒体。
9. 第１のコントローラーによって、第１のソフトウェアコンポーネントに関連付けられた入力インターフェースに提供される１つまたは複数の変数の値を制御することと、
   前記第１のコントローラーによって、メッセージの受信、指定された期間、イベントのシーケンス、またはホライズン時間のうちの少なくとも１つに少なくとも部分的に基づいて、前記第１のソフトウェアコンポーネントを実行させる時間を決定することと、
   前記時間に、前記第１のコントローラーによって、前記第１のソフトウェアコンポーネントを実行させることであって、前記第１のソフトウェアコンポーネントの実行は、少なくとも部分的に前記１つまたは複数の変数に基づくことと、
   前記第１のコントローラーで、前記第１のソフトウェアコンポーネントから、前記実行の第１の出力を受信することと、
   １つまたは複数のサブスクライバに、前記第１のコントローラーによって、前記第１の出力と、前記第１のコントローラーが前記第１のソフトウェアコンポーネントを再実行させる前の期間、または前記第１の出力が、前記第１のコントローラーで受信されたか、または、前記第１のソフトウェアコンポーネントによって生成されたときを示す生成時間のうちの少なくとも１つとを含む第１のメッセージを発行することと
   を含む方法。
10. 前記入力インターフェースへの入力として提供されるセンサーデータ、
    前記イベントのシーケンスであって、前記イベントのシーケンスを保存することは、別のソフトウェアコンポーネントでの１つまたは複数のイベントに対する前記第１のソフトウェアコンポーネントでの動作を監視することを含み、前記イベントは、メッセージを受信すること、前記第１のメッセージを発行すること、前記入力インターフェースへの入力、前記実行の開始、前記実行の完了を提供すること、または前記出力を受信することのうちの少なくとも１つを含む、前記イベントのシーケンス、
    前記入力インターフェースへの入力として提供されるデータ、
    出力インターフェースから出力として受信したデータ、または
    前記第１のソフトウェアコンポーネントによって生成され、前記出力インターフェースを介して出力されるキーフレーム
    のうちの少なくとも１つをログファイルに保存することをさらに含む、請求項９に記載の方法。
11. 前記第１のソフトウェアコンポーネントが第１のプロセッサ実行可能命令を含み、
    前記方法は、
    前記入力インターフェースが第２のソフトウェアコンポーネントに１つまたは複数の変数を提供するように前記第１のソフトウェアコンポーネントを前記第２のソフトウェアコンポーネントと置き換えることをさらに含み、前記第２のソフトウェアコンポーネントは、前記コントローラーによって前記時間に実行され、前記第２のソフトウェアコンポーネントの実行の第２の出力は、出力インターフェースを介して受信され、
    前記第２のソフトウェアコンポーネントは、第２のプロセッサ実行可能命令を含む、請求項９または１０に記載の方法。
12. 第２のソフトウェアコンポーネントに関連付けられた第２のコントローラーで前記第１のメッセージを受信することと、
    イベントのシーケンスに少なくとも部分的に基づいて、前記第２のコントローラーによって、前記第１のメッセージを前記第２のソフトウェアコンポーネントに提供する第１の時間を決定することと、
    少なくとも部分的に前記シーケンスに基づいて、前記第２のコントローラーによって、前記第２のソフトウェアコンポーネントを実行させる第２の時間を決定することと、
    前記第１の時間に、前記第２のコントローラーによって、前記第１のメッセージを前記第２のソフトウェアコンポーネントに提供することと、
    前記第２の時間に、前記第２のコントローラーによって、前記第２のソフトウェアコンポーネントを１回または複数回実行させることと、
    前記第１のコントローラーで、前記第２のソフトウェアコンポーネントから、前記第２のソフトウェアコンポーネントの実行の第２の出力を受信することと、
    前記第２の出力と、第２のホライズン時間、または前記第２の出力が前記第２のコントローラーで受信されたとき、または前記第２の出力を生成した前記第２のソフトウェアコンポーネントの個別の実行を示す第２の生成時間のうちの少なくとも１つとを含む第２のメッセージを、１つまたは複数の第２のサブスクライバに、前記第２のコントローラーによって発行することと
    さらに含む、請求項９に記載の方法。
13. 前記時間を決定することは、前記第１のソフトウェアコンポーネントが別のコントローラーでの別のイベントの前または後に実行されるべきであると決定することであって、前記別のコントローラーでの前記別のイベントは、前記第１のコントローラーでアップストリームコントローラーから受信された第２のメッセージによって、または少なくとも部分的に前記シーケンスに基づいて指定されることを含む、請求項９乃至１２のいずれか１項に記載の方法。
14. 前記第１のソフトウェアコンポーネントを実行させることができる期間を決定することと、
    前記時間の前、かつ前記期間が満了すると、前記第１のソフトウェアコンポーネントが実行されるのを防ぐことと
    をさらに含む、請求項９乃至１３のいずれか１項に記載の方法。
15. 入力インターフェースを介した入力として、前記１つまたは複数の変数のうちの１つとしてセンサーデータを提供すること、および、
    少なくとも部分的にログファイルに基づいて、前記第１のソフトウェアコンポーネントまたは１つまたは複数の他のコンポーネントのうちの少なくとも１つでの１つまたは複数のイベントに関するイベントのシーケンスを決定することに少なくとも部分的に基づいて前記時間を決定すること
    に少なくとも部分的に基づいて、前記第１のソフトウェアコンポーネントを介してセンサーデータを処理することをさらに含み、
    前記１つまたは複数のイベントは、前記１つまたは複数の他のコンポーネントに関連付けられた１つまたは複数の他のコントローラーから前記第１のコントローラーで受信された１つまたは複数のメッセージによって示される、請求項９乃至１４のいずれか１項に記載の方法。

Images