JP2022501032A - トラクターに連結する自律的な農機具 - Google Patents

Abstract

トラクターをトレーラーに連結支援システムを用いて取り付けるために後退方向に自律的に移動させる方法であって、この方法は、連結支援モードに入るステップと、ユーザインタフェース上にカメラ画像を表示するステップと、選択されたトレーラーの表示を受け取るステップと、を含む。この方法は、演算装置を用いて計画された経路、すなわち、トラクターをトラクター経路に沿って初期位置から最終位置まで移動させるように構成された動きを含む、初期位置からトレーラーに近接する最終位置までのトラクター経路を確定するステップも含む。この方法は、演算装置と通信する駆動系において、トラクター経路を初期位置から最終位置まで自律的に追従するステップも含む。

Description

本開示は、トラクターに近接して配置された１つ以上の農機具を識別すると共に、機具をトレーラーに取り付けるために１つ以上の農機具のうちの１つに向かって走行するように構成されたトラクターに関する。

トレーラーは通常、牽引動力車により牽引される無動力の車両、道具、または機具である。農機具に言及する場合、牽引動力車は典型的には、トレーラーに取り付けてトレーラーを牽引するように構成されたトラクター（リヤまたはフロントローディング）またはその他の任意の車両を指す。トレーラーは、ベーラー、トレーラーベッド、すき、シーダー、ハーベスター、ベーラー等といった、任意の形式の農機具であってよい。フロントローディングトラクターの場合、トレーラー（すなわち車両に動力は供給されていない）は実際には、牽引車（すなわち動力を供給する車両）の前方に配置されることがある。

トレーラーは、トレーラーヒッチを用いてトラクターに取り付けられてよい。レシーバーヒッチがトラクターに取り付けられ、トレーラーヒッチに連結されて連結を形成する。農機具を扱う場合、連結点、すなわちトラクターとトレーラーとの間のヒッチは、トレーラーの機具の形式に応じて変わることがある。

トレーラーヒッチは、ボールとソケット、フィフスホイールとグースネック、トレーラージャック、アイとリング、ピントルヒッチ、ドローバー、または３点ヒッチであってよい。その他の取付け機構が使用されてもよい。トレーラーとトラクターとの間の機械的な連結に加え、いくつかの例では、トレーラーはトラクターに電気的に接続されている。よって、電気的な接続により、トレーラーに、動力が供給されたトラクターの後部ライト回路から給電することができ、トレーラーが、動力を供給されたトラクターのライトと同期するライトを有することを可能にする。

トラクターのオペレータが直面する難題のうちのいくつかは、トラクターをトレーラーに連結することである。なぜならば、２人以上の人員が必要とされるからである。例えば、１人はトラクターを運転する例えばオペレータであり、他の１人以上が、トラクターとトレーラーとを見て、ヒッチを整列させるためにトラクターがとらねばならない経路に関する指示をオペレータに出すために必要となる。オペレータに指示を出す人が、トラクターをトレーラーに連結することに慣れていないと、トラクターの経路を指示する効果的な指示を出すことは難しい場合がある。

センサ技術の昨今の進歩により、車両用の安全システムが改良されてきている。衝突を検出して回避するための段取りや方法が利用可能になっている。このようなオペレータ支援システムは、進行中の衝突を検出するために車両に配置されたセンサを使用する。いくつかの例では、システムは、衝突を防ぐかまたは最小限にするために、オペレータに１つ以上の運転状況を警告することができる。さらに、車両が前進方向に移動した場合にオペレータに障害物の可能性を警告するために、センサとカメラとが使用されてもよい。よって、トラクターのオペレータが直面する難題を克服するためには、センサを含むシステムを提供することが望ましい。

１つの全般的な態様は、トラクターをトレーラーに連結支援システムを用いて取り付けるために後退方向に移動させる方法を含み、この方法は、連結支援モードに入るステップを含む。この方法は、ユーザインタフェース上にカメラ画像を表示するステップも含み、表示された画像は、少なくとも１つのカメラを示す。この方法は、通信中のユーザインタフェースにおいて、選択されたトレーラーの表示を受け取るステップも含む。この方法は、演算装置を用いて計画された経路、すなわち、トラクターをトラクター経路に沿って初期位置から最終位置まで移動させるように構成された動きを含む、初期位置からトレーラーに近接する最終位置までのトラクター経路を確定するステップも含む。この方法は、演算装置と通信する駆動系において、トラクター経路を初期位置から最終位置まで自律的に追従するステップも含む。

実施形態には、１つ以上の以下の特徴が含まれていてよい。この方法はさらに、トラクターがトラクター経路に沿って移動する際に、ニューラルネットワークにおいて、トラクター経路内の１つ以上の物体を連続的に検出するステップを含む。この方法は、物体を検出した場合には、演算装置においてトラクター経路を変更するステップを含んでいてもよい。１つ以上のトレーラーを検出する方法は、ニューラルネットワークと通信し、少なくとも１つが、後退方向に向いたトレーラーの後ろ側に配置された１つ以上の画像装置において、１つ以上の画像を捉えるステップを含む。この方法は、ニューラルネットワークにおいて、１つ以上の画像内で１つ以上のトレーラーを確定するステップを含んでいてもよい。ユーザインタフェース上に表示する方法はさらに、コントローラにおいて、トラクターの後部に配置されかつコントローラと通信する１つ以上のカメラから１つ以上の画像を受け取り、コントローラにおいて、トラクターヒッチから始まり、これに沿ってトラクターが走行する予想経路を示す経路図を重ねるステップを含む。トレーラーを選択する方法はさらに、コントローラにおいて、経路図が関心点で終わるといった、経路図における変更を示す第１のコマンドを、ユーザインタフェースを介して受け取り、かつコントローラにおいて、第１のコマンドに基づき経路図を調整し、連結支援システム用のコントローラが、経路計画を完了させるステップを含む。この方法はさらに、駆動系において、トラクターが最終位置に到達する前に、初期位置よりも最終位置に近い中間位置に停止または駐車させるステップを含む。この方法は、駆動系において、トラクターに関連する１つ以上のトラクターサスペンションを変化させて、トラクターヒッチとトレーラーヒッチとを整列させるステップを含んでいてもよい。この方法は、駆動系において、トラクター経路を中間位置から最終位置まで自律的に追従するステップを含んでいてもよい。この方法は、駆動系において、トラクターヒッチとトレーラーヒッチとを連結するステップを含んでいてもよい。トラクターヒッチとトレーラーヒッチとを連結する方法は、トラクターに関連する１つ以上のトラクターサスペンションを変化させて、トラクターヒッチとトレーラーヒッチとを整列させるステップを含む。

本開示の１つの態様は、関心点に向かって車両を後退方向に自律運転させる方法を提供する。この方法は、データ処理ハードウェアにおいて、車両の後部に位置しかつデータ処理ハードウェアと通信するカメラから１つ以上の画像を受け取るステップを含む。この方法は、データ処理ハードウェアにおいて、データ処理ハードウェアと通信するユーザインタフェースからオペレータが計画した経路を受け取るステップも含む。オペレータが計画した経路には、複数の中間点が含まれている。この方法は、データ処理ハードウェアから、データ処理ハードウェアと通信する駆動系に、オペレータが計画した経路に沿って車両を自律的に移動させる１つ以上のコマンドを送信するステップを含む。この方法は、データ処理ハードウェアにおいて、現在の車両位置を確定するステップを含む。さらに、この方法は、データ処理ハードウェアにおいて、オペレータが計画した経路に基づき後続の推定車両位置を確定するステップを含む。後続の推定車両位置は、現在の車両位置からオペレータが計画した経路に沿って続く中間点である。この方法は、データ処理ハードウェアにおいて、現在の車両位置から後続の推定車両位置までの経路調整を確定するステップも含む。さらに、この方法は、経路調整に基づき後続の推定車両位置に向かって車両を自律的に移動させる命令を、データ処理ハードウェアから駆動系に送信するステップを含む。

本開示の別の態様は、関心点に向かって車両を後退方向に自律的に移動させるためのシステムを提供する。このシステムは、データ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを含む。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに上述した方法を含む工程を行わせる命令を記憶している。

本開示の態様の実施形態には、以下の１つ以上の任意の特徴が含まれていてよい。いくつかの実施形態では、方法は、経路を１つ以上の画像に重ねるステップおよびコマンドを、データ処理ハードウェアと通信するユーザインタフェースを介して受け取るステップを含む。コマンドには、オペレータが計画した経路のとおりに経路を調整する命令が含まれる。コマンドには、経路の距離を調整する命令が含まれていてよい。いくつかの例では、コマンドには、経路の角度を調整する命令が含まれる。コマンドには、経路の終端部の角度を調整する命令が含まれていてよい。

いくつかの実施形態では、現在の車両位置を確定するステップは、１つ以上のホイールに関連するホイールエンコーダセンサデータを受け取るステップと、操舵角センサデータを受け取るステップとを含む。現在の車両位置は、ホイールエンコーダセンサデータと操舵角センサデータとに基づく。

本開示の１つ以上の実施形態の詳細は、添付の図面および以下の説明に記載されている。その他の態様、特徴および利点は、説明、図面および請求項から明らかになる。

トラクターの後ろのトレーラーの表示を表示するユーザインタフェースを有する、例示的なトラクターを示す概略図である。 例示的なトラクターを示す概略図である。 計画した経路に沿って自律的に動く例示的なトラクターを示す斜視図である。 計画した経路に沿って自律的に動く例示的なトラクターを示す斜視図である。 図４Ａは、初期位置にある例示的なトラクターを示す斜視図であり、図４Ｂは、中間位置にある例示的なトラクターを示す斜視図であり、図４Ｃは、最終位置にある例示的なトラクターを示す斜視図である。 図５Ａ〜図５Ｄは、例示的なトラクターシステム用のトレーラーヒッチに連結する例示的なヒッチを示す斜視図である。 第２の例示的なトラクターシステムを示す概略図である。 第２の例示的なトラクターシステムを示す概略図である。 系の例示的なステートチャートを示す概略図である。 系の例示的なステートチャートを示す概略図である。 図８Ａおよび図８Ｂは、第２の例示的なトラクターシステム用の例示的な角度モードを示す概略図である。 図９Ａおよび図９Ｂは、第２の例示的なトラクターシステム用の例示的な距離モードを示す概略図である。 図１０Ａおよび図１０Ｂは、第２の例示的なトラクターシステム用の例示的な２円弧モードを示す概略図である。 図１１Ａおよび図１１Ｂは、軌道生成計算を示す概略図であり、図１１Ｃは、推定された角速度およびシミュレートされた角速度を示す図であり、図１１Ｄは、ＤＧＰＳからの動作推定装置のずれを示す図である。 第２の例示的なトラクターシステム用の動作推定計算を示す概略図である。 第２の例示的なトラクターシステム用の動作推定計算を示す概略図である。 関心点に向かって車両を後退方向に自律運転させる例示的な方法を示す概略図である。 第１および第２の例示的なトラクターシステム用のトレーラーに取り付けるために、トラクターを逆方向に操作するための、操作の例示的な段取りを示すフローチャートである。

異なる図面中の同じ参照符号は、それぞれ同じ部材を表す。

詳細な説明
限定はしないがリヤロードトラクターまたはフロントロードトラクター等のトラクター（以下トラクターと呼ぶ）は、トレーラーを牽引するように構成することができる。トラクターは、別の農機具を牽引するように動力を供給されて構成された、他の形式の車両および農機具であってもよい。トレーラーは、ベーラー、トレーラーベッド、すき、シーダー、ハーベスター、ベーラー等といった、任意の形式の農機具であってよい。フロントローディングトラクターの場合、トレーラー（すなわち車両に動力は供給されていない）は実際には、トラクター（すなわち動力を供給する車両）の前方に配置されることがある。以下、このような機具は全て、トレーラーと呼ばれる。

トラクターは、トレーラーヒッチを用いてトレーラーに連結する。トレーラーに向かって自律的に動いてトレーラーを取り付けることができ、よってオペレータがトラクターを（例えば後退方向に）運転する一方で、別の１人以上の人がオペレータに、トレーラーと最終的にはトレーラーのヒッチとに整列するようになっていなければならない経路に関する命令を与える必要を無くすことができるトラクターを有することが望ましい。このように、自律運転・連結機能を備えたトラクターは、トラクターをトレーラーに連結する際、オペレータに、より安全でより迅速な経験をもたらす。

図１〜図２Ｂを参照すると、いくつかの実施形態で、トラクター１００のオペレータが、１つのトレーラー２００，２００ａ〜ｃ、例えばトレーラー２００，２００ａ〜ｃの群からの１つの特定のトレーラー２００ａ〜ｃを牽引しようとしている。トラクター１００は、選択されるトレーラー２００，２００ａ〜ｃに関するオペレータの選択１４４の命令を受け取り、選択されたトレーラー２００，２００ａ〜ｃに向かって自律運転するように構成されることができる。トラクター１００は、例えばｘ、ｙおよびｚ成分を有する駆動コマンドに基づき路面にわたってトラクター１００を動かす駆動系１１０を有していてよい。図示のように、駆動系１１０は右前輪１１２，１１２ａ、左前輪１１２，１１２ｂ、右後輪１１２，１１２ｃ、および左後輪１１２，１１２ｄを有している。駆動系１１０は、別の車輪構成を有していてもよい。駆動系１１０は、各車輪１１２，１１２ａ〜ｄに関するブレーキを含む制動系１２０と、トラクター１００の速度および方向を調整するように構成された加速系１３０も含んでいてよい。さらに、駆動系１１０は懸架系１３２を含んでいてよく、懸架系１３２は、各車輪１１２，１１２ａ〜ｄに関するタイヤと、タイヤ空気と、ばねと、緩衝装置と、トラクター１００をその車輪１１２，１１２ａ〜ｄに結合し、トラクター１００と車輪１１２，１１２ａ〜ｄとの間の相対運動を可能にするリンク機構とを含む。懸架系１３２は、トラクター１００のハンドリングを改善すると共に、騒音、衝撃および振動を絶つことで、より良質な乗り心地をもたらす。さらに、懸架系１３２は、トラクターヒッチ１６０をトレーラーヒッチ２１０に整合させることを可能にするトラクター１００の高さを調整するように構成されており、これにより、トラクター１００とトレーラー２００との間の自律的な連結が可能になる。

トラクター１００は、トラクター１００により規定される互いに垂直な３つの軸、すなわち横軸Ｘ、縦軸Ｙ、および中心の鉛直軸Ｚに関する動きの様々な組合せに基づき、路面にわたり移動することができる。横軸Ｘは、トラクター１００の右側Ｒと左側との間に延在している。縦軸Ｙに沿った前進方向はＦと表されており、前進動作とも呼ばれる。さらに、縦軸Ｙに沿った後方または後退方向はＲと表されており、後退動作とも呼ばれる。懸架系１３２がトラクター１００のサスペンションを調整すると、トラクター１００はＸ軸およびまたはＹ軸を中心として傾くことができ、または中心の鉛直軸Ｚに沿って動くことができる。ここでは、トラクター１００の後方位置に配置されたトレーラー２００が例示されている。ただし、これは当然、例として示したものであるに過ぎず、当業者は、この実施形態を、トラクター１００の前方または一般には後方に配置されたトレーラー２００にも適用することができるであろう。代替的に、当業者はこの実施形態を、フロントローディングトラクターヒッチ１６０を有する場合があるトラクター１００に適用することができるであろう。さらに、図示のトラクター１００およびトレーラー２００は、牽引を簡単にするために、ボール形式のヒッチを備えたヒッチとレシーバーとを使用している。別の形式のヒッチがこの例示的な実施形態と共に使用されてもよい。

トラクター１００は、ディスプレイ等のユーザインタフェース１４０を有していてよい。ユーザインタフェース１４０は、オペレータからの１つ以上のユーザコマンドを、１つ以上の入力機構またはタッチスクリーンディスプレイ１４２を介して受け取りかつ／または１つ以上の通知をオペレータに表示する。ユーザインタフェース１４０は、コントローラ３００と通信しており、コントローラ３００もまた、センサシステム４００と通信している。いくつかの例では、ユーザインタフェース１４０は、トラクター１００の周辺環境の画像を表示し、（オペレータから）ユーザインタフェース１４０が受け取った１つ以上のコマンドが、１つ以上の動作の実行を開始させる。コントローラ３００は、演算プロセッサにおいて実行可能な命令を記憶することができる非一時的なメモリ３０４（例えばハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信する演算装置（またはプロセッサ）３０２（例えば１つ以上の演算プロセッサを有する中央処理ユニット）を有している。

コントローラ３００はオペレータ支援システム３１０を実行し、オペレータ支援システム３１０もまた、経路追従サブシステム３２０を有している。経路追従サブシステム３２０は、経路計画システム５５０から計画された経路５５２（図３Ａおよび図３Ｂ）を受け取り、コマンド３０１を駆動系１１０に送る動作３２２〜３３０を実行し、これにより、トラクター１００は計画された経路５５２付近を後退方向Ｒに自律運転する。

経路追従サブシステム３２０には、制動動作３２２、速度動作３２４、操舵動作３２６、ヒッチ連結動作３２８、およびサスペンション調整動作３３０が含まれる。各動作３３０，３３０ａ〜ｃに基づき、トラクター１００はとりわけ、後退走行、特定の角度での方向転換、制動、加速、減速等の行動を取る。コントローラ３００は駆動系１１０を制御することにより、より具体的には駆動系１１０にコマンド３０１を出すことにより、トラクター１００を路面にわたり任意の方向に動かすことができる。例えば、コントローラ３００はトラクター１００を、（図４Ａに示すような）初期位置から（図４Ｃに示すような）最終位置まで動かすことができる。最終位置で、トラクター１００のヒッチカプラー１６２とトレーラー２００のヒッチカプラー２１２とが整列し、トラクター１００と、選択されたトレーラー２００，２００ａ〜ｃとを連結する。

トラクター１００は、信頼性およびエラー強さのある自律運転を提供するために、センサシステム４００を有していてよい。センサシステム４００は複数の異なる形式のセンサを有していてよく、センサは別個にまたは互いにトラクターの周辺環境を認知し、トラクターの周辺環境は、トラクター１００が自律運転しかつセンサシステム４００により検出された物体および障害物に基づき情報処理的な決定を下すために用いられる。センサには、限定はしないが１つ以上の画像装置（カメラ等）４１０、および限定はしないがレーダー、ソナー、ＬＩＤＡＲ（遠方ターゲットへの到達距離および／または別の情報を見いだすために散乱光の特性を測定する光学リモートセンシングを必要とし得る光検出と測距（Light detection and Ranging））、ＬＡＤＡＲ（レーザー検出と測距（Laser Detection and Ranging））等のセンサ４２０が含まれていてよい。さらに、トラクター１００が前進方向Ｆまたは後退方向Ｒに移動する際に、ユーザインタフェース１４０を介して可聴警報および／または可視警報により障害物の可能性をオペレータに警告するために、カメラ４１０とセンサ４２０とを使用することができる。よって、センサシステム４００は特に、半自律的または自律的な条件下で運転するトラクター１００において安全性を高めるために有用である。

いくつかの実施形態では、トラクター１００は、トラクター１００の後進経路の視野を提供するために取り付けられたリヤカメラ４１０，４１０ａを有している。さらに、いくつかの例では、トラクター１００は、トラクター１００の前進経路の視野を提供するフロントカメラ４１０，４１０ｂ、トラクター１００の右側に位置する右カメラ４１０，４１０ｃ、およびトラクター１００の左側に位置する左カメラ４１０，４１０ｄを有している。左右のカメラ４１０，４１０ｃ，４１０ｄは、トラクター１００の追加的な側方視野を提供する。この場合、トラクター１００は、前進経路および後進経路に沿って検出される物体および障害物に加え、トラクター１００の各側に位置する物体および障害物も検出することができる。カメラ４１０，４１０ａ〜ｄは、一眼カメラ、二眼カメラ、またはトラクター１００の後進経路の視野を提供することができる別の形式のセンサ装置であってよい。

いくつかの実施形態では、トラクター１００は、トラクター１００の自律運転を改良するために、１つ以上のニューラルネットワーク（ＮＮ）５００、例えばディープニューラルネットワーク（ＤＮＮ）を有している。ＤＮＮ５００は、数ある分野の中で、とりわけコンピュータサイエンスに用いられる計算的なアプローチであり、神経単位の大きな集合に基づくものであり、生物の脳が、軸索により結合された生物の神経細胞の大きなクラスターを用いて問題を解決する方法を漠然と模したものである。ＤＮＮ５００は、プログラムされるというよりはむしろセルフラーニングしてトレーニングされるものであり、従来のコンピュータプログラムではソリューション機能の検出を表現し難い分野において優れている。換言すると、ＤＮＮ５００は、パターンを認識するように設計されたアルゴリズムのセットである。ＤＮＮ５００は、（例えばセンサシステム４００からの）センサシステムデータ４０２を、機械認知、ラベリングまたは生入力のクラスタリングを介して翻訳する。認識されるパターンは、画像、テキスト、音声、または時系列等の、全ての実世界データが変換された数値、ベクトルである。ＤＮＮ５００には、非一時的なＤＮＮメモリ５０４と通信する、非線形処理ユニット５０２の複数の層が含まれる。非一時的なＤＮＮメモリ５０４は、非線形処理ユニット５０２上で実行されるとＤＮＮ５００に出力値５０６，５０８を提供させる命令を記憶している。各非線形処理ユニット５０２は、トレーニングにより学習したパラメータを用いて、入力値または信号（例えばセンサシステムデータ４０２）を変換するように構成されている。入力値（例えばセンサシステムデータ４０２）から出力値５０６，５０８への一連の変換は、非線形処理ユニット５０２の複数の層において生じる。よって、ＤＮＮ５００は画像４１２またはセンサデータ４２２に基づき位置を確定することができ、ＤＧＰＳまたはＧＰＳを有する必要がない。

ＤＮＮ５００は、（画像４１２および／またはセンサデータ４２２を含む）センサシステムデータ４０２を受け取り、受け取ったデータ４０２に基づき画像出力値５０６をユーザインタフェース１４０に供給しかつ／またはデータ出力値５０８をコントローラ３００に供給する。いくつかの例では、ＤＮＮ５００はトラクター１００の後方視野の画像４１２を、ＤＮＮ５００と通信するカメラ４１０から受け取る。ＤＮＮ５００は、画像４１２を分析し、受け取った画像４１２の中の１つ以上のトレーラー２００を識別する。ＤＮＮ５００は、ＤＮＮ５００と通信するセンサ４２０からセンサデータ４２２を受け取り、受け取ったセンサデータ４２２を分析してもよい。分析した画像４１２（または分析した画像４１２およびセンサデータ４２２）に基づき、ＤＮＮ５００は識別した各トレーラー２００の、トラクター１００に対する位置を、例えば座標系を用いて識別する。よって、ＤＮＮ５００はユーザインタフェース１４０に受け取った画像４１２を表示し、受け取った画像４１２は、トラクター１００の後方に距離をあけて配置された、識別されたトレーラー２００，２００ａ〜ｃのトレーラー像１４６，１４６ａ〜ｃを表している。図１に示すように、第１、第２および第３のトレーラー２００ａ，２００ｂ，２００ｃが、トラクター１００の後方に位置している。よって、ユーザインタフェース１４０は第１、第２および第３のトレーラー２００ａ，２００ｂ，２００ｃそれぞれに関する第１、第２および第３のトレーラー像１４６ａ，１４６ｂ，１４６ｃを表示する。

オペレータは、トレーラー像１４６，１４６ａ〜ｃのうちの１つを選択することができ、これにより、オペレータがトラクター１００を自律運転させ、選択したトレーラー像１４６、すなわちオペレータの選択１４４に関連するトレーラー２００，２００ａ〜ｃに連結させたいということを知らせる。いくつかの例では、ユーザインタフェースはタッチスクリーンディスプレイ１４２であり、したがってオペレータは指を差してトレーラー像１４６を選択することができる。別の例では、ユーザインタフェース１４０はタッチスクリーンではなく、オペレータはトレーラー像１４６，１４６ａ〜ｃを選択するために、限定はしないが回転つまみまたはマウス等の入力装置を使用することができる。

オペレータがトラクター１００に連結させたいトレーラー２００，２００ａ〜ｃを選択すると、経路計画システム５５０が、トラクター１００とトレーラー２００との間の経路５５２（図３）を、（受け取ったセンサシステムデータ４０２からＤＮＮ５００により確定される）選択したトレーラー２００，２００ａ〜ｃの、トラクター１００の位置に対する位置（例えば方向および距離）に基づき計画する。トラクター１００は、選択したトレーラー２００（図１に示すような第１のトレーラー２００ａ）に向かって自律的に後退する。計画された経路５５２は、トラクター１００が自律運転してトレーラー２００に連結することを可能にする。経路計画システム５５０は、トレーラー２００から予め規定された距離Ｄ内の中間位置にあるトラクター１００が、トレーラー２００と概ね並列に整列するように方向付けられ、かつ、トレーラー２００とは反対の側を向き、トラクター１００のヒッチ１６０とトレーラー２００のヒッチ２１０とが実質的に整列するように、トラクター１００が自律的に移動するための経路５５２を計画する。

いくつかの例では、経路計画システム５５０は、図２Ａに示すようにコントローラ３００の一部である。一方、別の例では、経路計画システム５５０は、図２Ｂに示すようにＤＮＮ５００の一部である。図２Ａを参照すると、オペレータがトラクター１００を自律的に接近運転させて連結しようとするトレーラー２００ａに関するトレーラー像１４６ａをオペレータが選択した場合、ＤＮＮ５００ａはコントローラ３００に、選択したトレーラー２００ａと、選択したトレーラー２００ａの、トラクター１００に対する位置とを含むデータ出力値５０８を送る。この場合、経路計画システム５５０ａは、トラクター１００と、選択されたトレーラー２００ａとの間の経路５５２を計画する。経路計画システム５５０ａは、経路５５２を確定するためにいくつかの方法を用いてよい。図３Ａおよび図３Ｂは、経路計画法を提供するものである。いくつかの例では、経路計画システム５５０ａがその縦軸Ｙを後退方向Ｒに延ばしているのに対し、トレーラー２００ａは、トレーラー２００の長さに関する縦軸を前進方向に延ばしている。経路計画システム５５０ａは、第１の接点５５５において、トレーラー縦軸に面したトラクター縦軸Ｙに接する第１の円５５４と、第２の接点５５７において、トラクター縦軸Ｙに面したトレーラー縦軸に接する第２の円５５６とを描く。第１の円５５４と第２の円５５６とは、交点５５８において交わる。第１および第２の円５５４，５５６の寸法は、トラクター１００とトレーラー２００との間の距離、トラクター１００とトレーラー２００との間の障害物および物体、およびその他の考慮すべき全ての事柄に基づき調整し、操作することができる。経路計画システム５５０ａは、第１の接点５５５までトラクター縦軸Ｙに追従し、次いで第１の円５５４の円弧に沿って交点５５８まで移動し、次いで第２の円５５６の円弧に沿って第２の接点５５７まで移動し、次いでトレーラー縦軸に追従することにより、経路５５２を確定する。このようにして、計画された経路５５２はトラクター１００を、トレーラー２００と概ね並列に整列する向きで、トレーラー２００ａとは反対の側を向き、トラクター１００のヒッチ１６０とトレーラー２００用のトレーラーヒッチ２１０のヒッチレシーバー２１２とが実質的に整列するように、位置決めする。換言すると、そこではトラクター１００の縦軸Ｙとトレーラー２００ａの縦軸Ｔとが、実質的に整列している。図３Ａには、トラクター１００の縦軸Ｙとトレーラー２００ａの縦軸Ｔとが実質的に並列している、経路５５２の一例が示されている。一方、図３Ｂには、トラクター１００の縦軸Ｙとトレーラー２００ａの縦軸Ｔとが実質的に並列していない、経路５５２の一例が示されている。

引き続き図２Ａ、図３Ａおよび図３Ｂを参照すると、いくつかの例では、トラクター１００が計画された経路５５２に沿って自律運転する場合、トラクター１００が、受け取ったセンサシステムデータ４０２、すなわち画像４１２に基づき計画された経路５５２に沿って移動すると、ＤＮＮ５００はコントローラ３００に、選択されたトレーラー２００ａの、トラクター１００に対する位置を連続的に送る。画像４１２は、トラクター１００が選択されたトレーラー２００ａに接近すると更新されるため、この場合、トラクター１００が選択されたトレーラー２００ａにより近づくと、選択されたトレーラー２００ａの、トラクター１００に対する位置も変化する。いくつかの例では、ＤＮＮ５００は、計画された経路５５２に沿って１つ以上の物体を識別し、この１つ以上の物体の位置に関するデータを経路計画システム５５０ａに送る。この場合、経路計画システム５５０ａは、１つ以上の物体を回避するために、計画された経路５５２を再計算することができる。いくつかの例では、経路計画システム５５０ａは衝突の確率を確定し、衝突の確率が予め規定されたしきい値を上回った場合、経路計画システム５５０ａは経路を調整し、これを経路追従サブシステム３２０に送る。

再び図２Ｂを参照すると、いくつかの実施形態ではＤＮＮ５００に経路計画システム５００ｂが含まれている。よって、経路計画システム５５０ｂは経路５５２を、学習した動作に基づき確定することができる。例えば、ＤＮＮ５００は、選択されたトレーラー２００ａの位置を確定し、この位置に基づきトラクター１００の経路５５２を確定する。いくつかの例では、確定された経路５５２は、図３Ａおよび図３Ｂに関して説明した経路に類似していてよい。ただし、別の経路確定法も可能であり得る。同様に、ＤＮＮ５００、すなわちＤＮＮ５００の経路計画システム５５０ｂは、トラクター１００が経路５５２付近を移動する際に、計画された経路５５２内で識別することができる（動いているまたは静止している）１つ以上の物体に基づき、計画した経路５５２を調整する。いくつかの例では、経路計画システム５５０ｂは衝突の確率を確定し、衝突の確率が予め規定されたしきい値を上回った場合、経路計画システム５５０ｂは経路を調整し、これを経路追従サブシステム３２０に送る。

再び図２Ａおよび図２Ｂを参照すると、経路追従サブシステム３２０は、経路計画システム５５０が経路５５２を計画すると、駆動系１１０が計画された経路５５２に自律的に追従する動作を実行するように構成されている。よって、経路追従サブシステム３２０には、実行されると、計画された経路５５２に沿ったトラクター１００の自律運転を可能にする１つ以上の動作３２２〜３３０が含まれる。動作３２２〜３３０には、限定はしないが制動動作３２２、速度動作３２４、操舵動作３２６、ヒッチ連結動作３２８、およびサスペンション調整動作３３０が含まれていてよい。

制動動作３２２は、計画された経路５５２に基づきトラクター１００を停止させるためまたはトラクターを減速させるために実行されてよい。制動動作３２２は、トラクター１００を停止させるためまたはトラクター１００の速度を低下させるために、駆動系１１０、例えば制動系１２０に信号またはコマンド３０１を送る。

速度動作３２４は、計画された経路５５２に基づき、加速または減速によりトラクター１００の速度を変更するために実行されてよい。速度動作３２４は、減速用の制動系１２０または加速用の加速系１３０に信号またはコマンド３０１を送る。

操舵動作３２６は、計画された経路に基づきトラクター１００の方向を転換させるために実行されてよい。よって、操舵動作３２６は、駆動系１１０に方向転換させる操舵角を示す信号またはコマンド３０１を、加速系１３０に送る。

図４Ａ〜図４Ｃには、選択したトレーラー２００ａに対してそれぞれ初期位置Ｐ_Ｉ（図４Ａ）、中間位置Ｐ_Ｍ（図４Ｂ）および最終位置Ｐ_Ｆ（図４Ｃ）または連結位置にあるトラクター１００が示されている。図４Ａを参照すると、トラクター１００は、選択されたトレーラー２００ａに向かう自律的な移動を開始する前は、トレーラー２００に対して初期位置Ｐ_Ｉに位置している。いくつかの例では、トラクター１００と選択されたトレーラー２００ａとの間の初期距離Ｄ_Ｉは、約１５メートルである。トラクター１００は、図４Ｂに示すようにトラクター１００が選択されたトレーラー２００ａから中間距離Ｄ_Ｍをあけた中間位置Ｐ_Ｍに到達するまで、計画された経路５５２に沿って自律的に移動する。中間位置Ｐ_Ｍでは、トラクターヒッチ１６０が選択されたトレーラー２００ａに概ね並列して整列するように方向付けられており、トラクターヒッチ１６０と、トレーラーヒッチ２１０のトレーラーヒッチレシーバー／カプラー２１２とは実質的に整列している。換言すると、トラクター縦軸Ｙは、トラクター鉛直軸Ｚと、トレーラー鉛直軸に沿ったトレーラー縦軸Ｔとに沿って延在する平面を規定する。いくつかの例では、中間距離Ｄ_Ｍは、約１メートルである。

図５Ａ〜図５Ｄを参照すると、いくつかの例では、トラクター１００が中間位置Ｐ_Ｍに位置するとき、ヒッチ連結動作３２８が、トラクターヒッチ１６０とトレーラーヒッチ２１０との連結を実行する。図示の例では、ボール形式のヒッチとレシーバーとが用いられている。ただし、図５Ａ〜図５Ｄに示す例示的な実施形態は、トラクターヒッチとヒッチレシーバーとの間の鉛直方向の配置を利用する任意の形式のヒッチを用いて実施することができる。トラクターヒッチとヒッチレシーバーとの間の水平方向の配置を必要とするヒッチの形式に関して、鉛直方向の動きは、各コンポーネントの間で所望の水平方向の整列を達成するためだけに必要な場合、または全く不要な場合がある。

コントローラ３００は、トラクターヒッチカプラー１６２の上部とトレーラーヒッチカプラー２１２の下部との間の相対高さＨ_Ｒを確定する。トラクター１００と選択されたトレーラー２００ａとを連結するために、トレーラーヒッチカプラー２１２は、トラクターヒッチカプラー１６２を解放可能に収容する。よって、トラクターヒッチカプラー１６２をトレーラーヒッチカプラー２１２に結合するためには、相対高さＨ_Ｒがゼロに等しくなければならず、これにより、トラクターヒッチカプラー１６２が下降して、トレーラーヒッチカプラー２１２内に挿入されることが可能になる。よって、ヒッチ連結動作３２８が、コントローラ３００からトラクターヒッチカプラー１６２とトレーラーヒッチカプラー２１２との間のゼロよりも大きな相対高さＨ_Ｒを受け取ると、ヒッチ連結動作３２８はサスペンション調整動作３３０にコマンドを送り、これによりサスペンション調整動作３３０は懸架系１３２にコマンド３０１を出してトラクター１００の高さ調整を実行し、コントローラ３００からの測定に基づき相対高さＨ_Ｒを低下させる。ヒッチ連結動作３２８が、ゼロに等しい相対高さＨ_Ｒを受け取ると、ヒッチ連結動作３２８は駆動系１１０にコマンド３０１を出し、残りの経路５５２に沿って、すなわち中間位置Ｐ_Ｍから最終位置Ｐ_Ｆ（図４Ｃ）まで移動させ、トラクター１００を選択されたトレーラー２００ａに連結させる。

図１および図６Ａ〜図７Ｂを参照すると、第２の例示的なトラクター１００が示されている。この場合も、トラクター１００は、トラクター１００の周辺環境の画像４１２を捉えるように構成されたカメラ４１０を有していてよい。画像４１２は、トラクター１００の後方に位置するトレーラー２００のトレーラー像を示すディスプレイ１４２上に表示される。オペレータは、トラクターヒッチカプラー１６２をトレーラーヒッチカプラー２１２の下または隣に位置決めすることになる軌道または経路５５４を、受け取った画像４１２内で確認する。オペレータが画像４１２内で確認した経路５５４に基づき、トラクター１００は確認された経路５５４に沿って自律運転する。

トラクター１００は、ユーザインタフェース１４０を有していてよい。ユーザインタフェース１４０には、ディスプレイ１４２と、つまみ１４３と、ボタン１４５とが含まれていてよく、これらは入力機構として用いられる。いくつかの例では、ディスプレイ１４２が、つまみ１４３およびボタン１４５を示してもよい。一方、別の例では、つまみ１４３およびボタン１４５は、つまみとボタンとが組み合わされたものである。いくつかの例では、ユーザインタフェース１４０は、オペレータからの１つ以上のオペレータコマンドを、１つ以上の入力機構またはタッチスクリーンディスプレイ１４２を介して受け取りかつ／または１つ以上の通知をオペレータに表示する。ユーザインタフェース１４０は、トラクターコントローラ３００と通信しており、トラクターコントローラ３００もまた、センサシステム４００と通信している。いくつかの例では、ディスプレイ１４２は、トラクター１００の周辺環境の画像を表示し、（オペレータから）ユーザインタフェース１４０が受け取った１つ以上のコマンドが、１つ以上の動作の実行を開始させる。いくつかの例では、ユーザディスプレイ１４２は、トラクター１００の後方の周辺環境を表す画像を表示する。この場合、オペレータは、オペレータが車両を自律的に接近移動させたい周辺環境を示す、画像内の位置を選択することができる。いくつかの例では、ユーザディスプレイ１４２は、トラクター１００の後方に位置する複数のトレーラー２００の１つ以上の像を表示する。この場合、オペレータは、トラクター１００を自律的に接近移動させるトレーラー２００の像を選択する。

ディスプレイ１４２は、トラクター１００の後方の周辺環境のカメラ画像４１２に重ねられた、トラクター１００の推定経路５５４を表示する。オペレータは、ユーザインタフェース１４０を用いて推定経路５５４を変更してもよい。例えば、オペレータは、仮想のステアリング車輪を模したつまみ１４３を回転させることができる。オペレータがつまみ１４３を回転させると、ディスプレイ１４２に表示される推定経路が更新される。オペレータは、ディスプレイ１４２上に表示された推定経路と、ユーザがトラクター１００を接近運転させようとするトレーラー像または別の物体とが交わるまで、表示された経路５５４を調整する。ユーザが表示された推定経路５５４に納得すると、オペレータは、経路５５４の確定を示す動作を実行し、トラクター１００が計画された経路５５４に自律的に追従することを可能にする。計画された経路５５４は、トラクターヒッチカプラー１６２からトレーラーヒッチレシーバー／カプラー２１２までの経路である。車輪経路５５２は、車輪が計画された経路５５４に沿って移動するであろうと推定された経路である。

いくつかの実施形態では、ユーザは３つの経路モード３１２を調整することができ、３つの経路モード３１２には、図８Ａおよび図８Ｂに示すような、経路の湾曲角度を調整するための角度モード３１４と、図９Ａおよび図９Ｂに示すような、推定経路５５４の長さを調整するための距離モード３１６と、任意には図１０Ａおよび図１０Ｂに示すような、移動終了時にトレーラー（または別の物体）に対して車両を方向付けるために「接近角度」を調整するための２円弧モード３１８とが含まれている。２円弧モードは任意であるため、ユーザが目下構成されている経路（１円弧）に納得した場合には、ユーザはボタンをもう一度押すことにより、移動の選択を決定することができる。そうでない場合には、ユーザは３度目のつまみ調整を行って、２円弧または別の適当な経路の形状を変更することができる。このことは、トレーラーまたは別の物体に対する最終接近角度の調整を可能にする。ユーザが接近角度の選択に納得すると、ユーザはボタンを押して経路の選択を決定する。

トラクターコントローラ３００は、演算プロセッサ３０２において実行可能な命令を記憶することができる非一時的なメモリ３０４（例えばハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信する演算装置（またはプロセッサ）３０２（例えば１つ以上の演算プロセッサを有する中央処理ユニット）を有している。

トラクターコントローラ３００は、オペレータ支援システム３１０を実行し、オペレータ支援システム３１０は、経路システム５５０から計画された経路５５４を受け取り、コマンド３０１を駆動系１１０に送る動作３３０，３３０ａ〜３３０ｃを実行し、これにより、トラクター１００は計画された経路５５４付近を（例示した）後退方向Ｒに自律運転する。

経路追従動作３３０には、制動動作３３０ａと、速度動作３３０ｂと、操舵動作３３０ｃとが含まれる。いくつかの例では、経路追従動作３３０にはヒッチ連結動作とサスペンション調整動作も含まれる。各動作３３０，３３０ａ〜３３０ｃに基づき、トラクター１００はとりわけ、後退走行、特定の角度での方向転換、制動、加速、減速等の行動を取る。トラクターコントローラ３００は駆動系１１０を制御することにより、より具体的には駆動系１１０にコマンド３０１を出すことにより、トラクター１００を路面にわたり任意の方向に動かすことができる。

トラクター１００は、信頼性およびエラー強さのある運転を提供するために、センサシステム４００を有していてよい。センサシステム４００は、複数の異なる形式のセンサを有していてよく、センサは別個にまたは互いにトラクター１００の周辺環境を認知し、トラクターの周辺環境は、トラクター１００を運転しかつオペレータがセンサシステム４００により検出された物体および障害物に基づき情報処理的な決定を下すことを支援するために用いられる。センサシステム４００には、１つ以上のカメラ４１０が含まれていてよい。いくつかの実施形態では、トラクター１００は、トラクター１００の後進経路の視野を提供するために取り付けられたリヤカメラ４１０，４１０ａを有している。リヤカメラ４１０は、広幅のパノラマ画像または半球形画像を生成することを意図して視覚の大幅な歪みを生じさせる超広角レンズを含む魚眼レンズを有していてよい。魚眼カメラは、極度に広幅の画角を有する画像を捉える。さらに、魚眼カメラにより捉えられた画像は、特徴的な凸状の非直線的な外観を有している。トラクター１００の後方の画像を捉えるためには、別の形式のカメラも使用することができる。

センサシステム４００には、トラクターの線形加速度（１つ以上の加速度計を使用）および回転速度（１つ以上のジャイロスコープを使用）を計測するように構成されたＩＭＵ（慣性計測装置）４２０も含まれていてよい。いくつかの例では、ＩＭＵ４２０はトラクター１００の向きの基準をも確定する。よって、ＩＭＵ４２０はトラクター１００のピッチ、ロールおよびヨーを確定する。

センサシステム４００には、限定はしないがレーダー、ソナー、ＬＩＤＡＲ（遠方ターゲットへの到達距離および／または別の情報を見いだすために散乱光の特性を測定する光学リモートセンシングを必要とし得る光検出と測距（Light detection and Ranging））、ＬＡＤＡＲ（レーザー検出と測距（Laser Detection and Ranging））等の、別のセンサが含まれていてよい。

トラクターコントローラ３００は、カメラ４１０から画像４１２を受け取り、受け取った画像４１２にトラクターの経路５５２を重ねる連結支援システム３１０を実行する。

再び図６Ａ〜図６Ｂを参照すると、トラクターコントローラ３００は、トラクター１００をトレーラー２００に向かって自律運転させるための経路５５４をオペレータが選択することを支援する、連結支援システム３１０を実行する。オペレータは、ユーザインタフェース１４０を用いて、例えばディスプレイ１４２上で選択して、連結支援システム３１０の実行を開始することができる。開始されると、連結支援システム３１０はディスプレイ１４２に命令し、トラクター１００の後方の周辺環境のカメラ画像４１２に重ねられるトラクター１００の経路５５４を表示させる。オペレータはユーザインタフェース１４０を用いて、計画された経路５５４を変更してもよい。例えば、オペレータは、仮想のステアリングホイールを模したつまみ１４３を回転させることができる。オペレータがつまみ１４３を回転させると、ディスプレイ１４２に表示される、計画された経路５５４が更新される。オペレータは、ディスプレイ１４２上に表示された、更新済みの計画された経路５５４と、オペレータがトラクター１００を接近運転させようとするトレーラー像１３８または別の物体とが交わるまで、表示された経路５５４を調整する。オペレータが表示された、計画された経路５５４に納得すると、オペレータは、経路５５４の確定を表す動作を実行し、トラクター１００が計画された経路に自律的に追従することを可能にする。

いくつかの実施形態では、連結支援システム３１０には、軌道生成器５６０と、動作推定装置５７０と、経路追跡装置５８０とが含まれている。軌道生成器５６０は、オペレータが選択した経路５５４に基づきトラクター１００の推定位置を確定する。動作推定装置５７０は、トラクター１００の実際位置を確定し、経路追跡装置５８０は、推定位置Ｐｅと実際位置Ｐａとに基づき誤差５６２を確定すると共にトラクター１００の計画された経路５５４を調整して、実際位置Ｐａと推定位置Ｐｅとの間の誤差５６２を解消する。

いくつかの実施形態では、軌道生成器５６０はカメラ４１０から画像４１２を受け取り、受け取った画像４１２に車両の経路５５４を重ねる。オペレータは、１つ以上の経路モード３１２に基づき、経路５５４の選択を調整することができる。いくつかの例では、経路モード３１２には、角度サブモード３１４と距離サブモード３１６とを有する１円弧モード３１２が含まれる。いくつかの例では、経路モード３１２には、２円弧モード３１８が含まれていてもよい。よってオペレータは、トレーラー２００または物体までの経路５５４を確定しかつ調整するために、角度サブモード３１４、距離サブモード、および／または２円弧モード３１８の間で選択することができる。

図７Ａおよび図７Ｂを参照すると、いくつかの例では、角度サブモード３１４および距離サブモード３１６は円弧モード３１２の一部であり（図７Ａ）、よってオペレータは最初に１つのモード３１２，３１８を選択してから、選択したモード３１２，３１８内のサブモードを選択する。このように、例えばディスプレイ１４２は１円弧モードボタン１４５および２円弧モードボタン１４５を表示することができ、オペレータはこれらのボタンから選択することができる。図７Ｂに示す例では、各サブモード／モード３１４，３１６，３１８が独立している。よって、ボタン１４５を押すと、３つのモード３１４，３１６，３１８の間でローテーションが行われる。

角度サブモード３１４は、図８Ａおよび図８Ｂに示すような経路５５２の湾曲角度を調整するように構成されている。よって、オペレータはつまみ１４３を右に回し、これにより、表示された経路５５２が図８Ａに示すような右に向かう湾曲を有するようにすることができる。さらに、オペレータはつまみ１４３を左に回し、これにより、表示された経路５５２が図８Ｂに示すように左に向かう湾曲を有するようにすることもできる。距離サブモード３１６は、図８Ａおよび図８Ｂに示すような推定経路５５２の長さを調整するように構成されている。例えば、図８Ａを参照すると、オペレータはつまみ１４３を回して、経路５５２の目的地を画像４１２内のトレーラー像１３８に近接するように位置決めすることができる。図８Ｂを参照すると、画像４１２が示す経路５５２は、図８Ａに示した経路よりも短い距離を有している。よって、この場合、オペレータは、トラクター１００が後退方向Ｒに数メートルだけ自律的に移動することを希望する場合がある。２円弧モード３１８は、図１０Ａおよび図１０Ｂに示すような経路５５２の終点においてトラクター１００をトレーラー２００（または別の物体）に対して方向付ける方法を示す接近角度を調整するように構成されている。例えば、２円弧モード３１８は、トラクター１００とトレーラー２００とを整列させ、これにより、トラクター１００の縦軸Ｙとトレーラー２００の縦軸Ｙとを整列させるという点においてオペレータを支援し、これによりオペレータは、トラクター１００とトレーラー２００との間での連結プロセス中に支援される。図１１Ａおよび図１１Ｂを参照すると、円弧モード３１２と２円弧モード３１８とは両方共、同じ終点を有している。ただし、２円弧モード３１８は、トレーラー２００に向かう接近角度の調整を可能にする。いくつかの例では、オペレータが２円弧モード３１８に切り替えると、軌道生成器５６０はスタート位置と終点位置とをそのまま保つ。２円弧モード３１８では、オペレータはトレーラー２００に対する接近角度のみを調整することができる。オペレータが２円弧モード３１８で距離を調整することはない。いくつかの例では、オペレータが選択した経路５５２の半径と長さとが、トラクター１００の最終位置を確定する。車両コントローラ１５０は、デュビン経路を用いて最適な計算の経路５５２を確定する。

２円弧モード３１８が任意であるいくつかの実施形態では、オペレータが円弧モード３１２の選択に基づく経路５５２に納得すると、オペレータはボタン１４５を押すことにより、経路５５２を決定することができる。そうでない場合には、オペレータはつまみ１４３の３度目の調整を行って、２円弧または別の適当な経路５５２の形状を変更する。このことは、トレーラー２００または別の物体に対する最終接近角度の調整を可能にする。オペレータが接近角度の選択に納得すると、オペレータはボタン１４５を押して経路の選択を決定する。

いくつかの実施形態では、オペレータはトラクター１００を、トレーラー２００、または別の物体または関心点がトラクター１００のリヤカメラ４１０の視野内にある位置に駐車させる。トラクター１００のエンジンはアイドリング状態であり、トランスミッションはパーキングポジションになっていてよい。オペレータは、ボタン１４５を押すことおよび／またはディスプレイ１４２上で選択することにより、軌道生成器５６０を始動させることができる。いくつかの例では、ディスプレイ１４２は、選択可能なオプションまたはボタン１４５を表示して、オペレータが円弧モード３１２を開始させることを可能にする。軌道生成器５６０は、図７Ａおよび図７Ｂに示すように、円弧モード３１２の角度サブモード３１４を実行することにより始動する。オペレータは、例えばボタン１４５を押すことにより距離サブモード３１６に切り替えて、経路５５２の距離を調整する。いくつかの例では、オペレータは角度サブモード３１４と距離サブモード３１６との間を切り替えることと、ディスプレイに所望の経路５５２が表示されるまで経路５５２を調整することとにより、経路５５２を調整することができる。オペレータは、経路５５２の外側の境界線５５４をトレーラー２００（すなわち画像４１２内のトレーラー像１３８）または別の関心点に関与させるように、経路５５２を調整する。

いくつかの実施形態では、トレーラー２００または関心点に対する最終接近角度が、例えば車両縦軸Ｙとトレーラー縦軸Ｙとを整列させるために重要である。この場合、オペレータは（ディスプレイ１４２上に表示される）「円弧／２円弧モード」ボタン１４５を選択するかまたは押して、２円弧モード３１８に切り替えることができる。２円弧モード３１８では、先にセットした経路５５２の終点は不変のままであり、オペレータはつまみ１４３で最終接近角度を調整する。オペレータが最終接近角度と完成した軌道または経路５５２に納得すると、オペレータは動作を実行することで、選択した経路５５２を確認することができる。いくつかの例では、オペレータはトランスミッションをリバースに切り替え、これにより、オペレータが表示された経路５５２に納得したということを示す。いくつかの例では、オペレータがブレーキを作動させると共にトランスミッションをリバースに切り替えてからブレーキを解除すると、トラクター１００は選択された経路５５２に追従する。いくつかの例では、車両が経路５５２に沿って後退方向Ｒに自律的に移動している間、オペレータは例えばブレーキを踏むことにより、トラクター１００を停止させることができる。このことは、連結支援システム３１０から車両コントローラ１５０を抜け出させる。

いくつかの実施形態では、軌道生成器５６０は、経路の距離をデフォルトにセットし、これは、経路がトレーラー２００または別の関心点と交差するまで、オペレータは操舵角を調整するだけであるということを可能にする。

いくつかの実施形態では、最終接近角度は調整されない。その代わり、最終接近角度は常に、最初の車両出発角度と同じである。つまり、最終車両縦軸Ｙは、最初の車両縦軸Ｙに対して平行である。この場合、オペレータは経路５５２の最終位置を調整して、トレーラーに関与させる。

いくつかの例では、トラクター１００が経路５５２に沿って後退方向Ｒに移動している間、ディスプレイ１４２は、経路５５２に沿ったトラクター１００の進行を示すことができる。例えば、ディスプレイ１４２は地面に投影された元の軌道を示すことができるが、これは車両の位置変化により更新される。ディスプレイ１４２は、この軌道に車両がどれだけ良好に追従しているかの指標を示すこともできる。

いくつかの実施形態では、軌道生成器５６０は他の車両システムからデータを受け取って経路５５２を生成する。いくつかの例では、軌道生成器５６０は（ｘ，ｙ，θ）により規定された車両姿勢データを受け取り、この場合、ｘはＸ−Ｙ平面内で横軸Ｘに沿ったトラクター１００の中心の位置であり、ｙはＸ−Ｙ平面内で縦軸Ｙに沿った車両の中心の位置であり、θはトラクター１００の向きである。さらに軌道生成器５６０は、つまみ１４３からつまみ１４３の位置、例えばつまみの角度を受け取ることができる。軌道生成器５６０は、モードボタン状態（すなわち円弧モード３１２または２円弧モード３１８）と、サブモードボタン状態（すなわち角度サブモード３１４または距離サブモード３１６）とを受け取ることもできる。受け取ったデータに基づき、軌道生成器５６０は経路５５２を調整し、ディスプレイ１４２にこの経路５５２を表示するように命令する。いくつかの例では、軌道５５２には外側の境界線５５４と、牽引ボール１２２の推定経路である牽引ボール経路１６６とが含まれる。軌道生成器５６０はディスプレイ１４２に、運転者が経路５５２を調整するために選択したモード／サブモードを示す現在のモードまたはサブモード状態を表示するように命令することもできる。

再び図６Ａおよび図６Ｂを参照すると、オペレータがユーザインタフェース１４０を介して経路選択の完了を知らせると、車両コントローラ１５０は、計画された経路５５２に追従するためにオペレータ支援システム３２０を実行する。オペレータ支援システム３２０には、経路追従動作３３０が含まれている。経路追従動作３３０は、選択された経路５５２を受け取って１つ以上の動作３３０ａ〜ｃを実行し、１つ以上の動作３３０ａ〜ｃは駆動系１１０にコマンド３０１を送り、トラクター１００が計画された経路５５２に沿って自律運転するようにする。トラクター１００が計画された経路５５２に沿って自律的に移動すると、連結支援システム３１０は以下に述べるように、動作推定装置５７０と経路追跡装置とに基づき、経路５５２を連続的に更新する。

再び図６Ａおよび図６Ｂを参照すると、トラクター１００が経路５５２に沿って後退方向Ｒに自律的に移動すると、動作推定装置５７０は、トラクター１００の現在の位置Ｐａを確定する。上述したように、軌道生成器５６０は、計画された経路５５２、すなわち推定位置Ｐｅに基づいて、トラクター１００があるべき所を確定する。よって、動作推定装置は、トラクター１００の実際位置Ｐａを確定する。いくつかの例では、動作推定装置は、相対的な車両位置および速度を出力する動作推定アルゴリズムを有している。例えば、動作推定アルゴリズムは、拡張カルマンフィルター（ＥＫＦ）を有していてよい。ＥＫＦは、限定はしないが４つのホイールから成るエンコーダ（例えば１回転につき９６ティック）、および操舵角等の測定を用いる。動作推定装置５７０は、複数の測定値を融合して、トラクター１００の実際位置を確定する。動作推定装置５７０は、トラクター１００が後退方向に自律的に移動しているときのトラクター１００の低速に基づき、自転車モデルを用いてもよい。自転車モデルは、２つの前輪を表す単一の操舵前輪と、２つの後輪を表す単一の非操舵後輪とを使用する。車輪はそれぞれ、単一のリジッドリンクにより結合されている。動作は、２次元の水平な地面に制限される。自転車モードの入力値は速度と操舵角である一方で、その状態は位置および向きである。動作推定装置５７０は、線形速度、回転速度および位置（例えば車両の向き）を推定する。いくつかの例では、動作推定装置５７０は、センサシステム４００、例えばカメラ、レーダー、ＧＰＳ測定からのセンサデータを考慮して、あらゆるドリフトを改良する。

いくつかの実施形態では、動作推定装置５７０は拡張カルマンフィルター（ＥＫＦ）を使用する。ＥＫＦの数式も、以下に方程式（３）〜（７）として提供されている。状態ベクトルは、数式１：

に示された９つの要素を有している。

最初の３つは、車両の「姿勢」（ｘ，ｙ，θ）である。次の２つは、線形速度および角速度（ｖ，ω）である。最後の４つは、左後ろ、右後ろ、左前、右前の４つのタイヤそれぞれが移動した距離（ｄ_ｌｒ，ｄ_ｒｒ，ｄ_ｌｆ，ｄ_ｒｆ）である。

完全な測定ベクトルは、数式２：

に示された５つの要素を有している。

最初の４つは再び、４つのタイヤが移動した距離（ｄ_ｌｒ，ｄ_ｒｒ，ｄ_ｌｆ，ｄ_ｒｆ）である。最後の要素φは、前輪の平均角度（ステアリングホイール角ではなく、縦軸に対する前タイヤの平均角度）である。

動作推定装置５７０は、推定車両速度を提供する。距離変化を時間変化で割って（Δｄ／Δｔ）おおよその速度を計算することは一般的であるが、これはホイールエンコーダの数が比較的少数であり、かつ車両が比較的低速で移動するこの場合の状況に関しては、ノイズが大幅に増えることになる。よって、距離変化を時間変化で割ること（Δｄ／Δｔ）を含む直接計算を回避するために、動作推定装置５７０は、測定されたホイール累積距離に基づくＥＫＦを使用することによって車両の線形速度ｖを推定し、除算を含む明確な速度計算はない。

拡張カルマンフィルターは、２つの予測式および３つの測定式として記述することができる。予測式は：

である。

数式（３）は、状態μの更新を提供する。数式（４）は、共分散Σの更新を提供する。共分散は、状態の現在の不確定性の推定を提供する。行列Ｒは、状態μのノイズ共分散である。

測定更新式は：

である。数式（５）は、最適なカルマンゲインＫの値を設定する。数式（６）は、状態μの更新を提供する。数式（７）は、共分散Σの更新を提供する。行列Ｑは、測定ｚのノイズ共分散である。

予測するためには、非線形ベクトル関数ｇを規定する必要がある。行列Ｇは、このベクトル関数の導関数であり、便宜上、これも提供される。ベクトル関数ｇは、

により与えられる。

この場合、ｗは車両の「軌道幅」である。より具体的には、これは左タイヤの中心から右タイヤの中心までの横方向距離である。フロントタイヤ間の距離と、リヤタイヤ間の距離とは同じであると想定されている。ホイールベースはｌで表されている。最後の２つの要素には、式がｄ_ｌｆおよびｄ_ｒｆから減算されるマイナス符号があることに留意されたい。このマイナス符号は、後退動作を想定している。よって、この予測式を前進動作に使用することはできない。ただし、車両の方向（前方または後方）のいくつかの測定値があると、最後の２つの要素の符号（前方は正、後方は負）を変更し、この数式を前方および後方の両方向に対して有効にすることは簡単になる。

行列Ｇは、９つの行および９つの列を有している。

とする。Ｉは９×９の単位行列である。この場合、

である。その他の要素は全てゼロである。

更新完了は、ホイールティックおよびホイール角の測定値が全て同時に利用可能であるということを想定している。ホイールティックのみが利用可能な場合にはホイールティックが別個に組み込まれてよく、ホイール角のみが利用可能な場合にはホイール角が別個に組み込まれてよい。更新完了のためにはベクトルｈが規定される。行列Ｈは、このベクトル関数の導関数である。便宜上、これも提供される。ベクトル関数ｈは、

により与えられる。行列Ｈはｈの導関数であり、５×９である。非ゼロ要素は

である。特定の量ｈ_５，Ｈ_５４，Ｈ_５５には、容易にゼロになり得る除数が含まれることに留意されたい。よって、実施形態では、除算を実行する前にこれらの除数がゼロでないことをテストする必要がある。

操舵角のみから成る測定値と同様、ホイールティックのみから成る測定値も考慮することができる。ただし、提供される情報を考慮すると、これらの変化形は明白であるため、含まれていない。

車両が計画された経路５５２に沿って後退方向Ｒに自律的に移動している間、軌道生成器５６０は、トラクター１００が計画された経路５５２に基づき位置すべき所、すなわち推定位置Ｐｅを確定する。一方、動作推定装置５７０は、トラクター１００の実際位置Ｐａを確定する。よって経路追跡装置５８０は、推定位置Ｐｅと実際位置Ｐａとに基づき、誤差５６２を確定する。経路追跡装置５８０は、誤差５６２に基づき車両の現在の位置Ｐａを調整し、これによりトラクター１００は、計画された経路５５２の追従を継続することができる。

図１２Ａ〜図１２Ｄを参照すると、いくつかの実施形態では、経路追跡装置５８０が純粋な追跡アプローチを実行し、トラクター１００を計画された経路５５２上に保つ。オペレータが選択した経路５５２は、予め規定された時間間隔で、例えば毎分サンプリングされ、これにより、計画された経路５５２の牽引ボール経路１６６に沿って位置決めされた複数の中間点１６８を生成する。経路追跡装置５８０（例えばアルゴリズム）は、動作推定装置５７０から受け取った現在の牽引ボール位置および向きＰａと、次の中間点位置Ｐｂとを比較する。車両連結支援システム３１０は、現在の中間点Ｐｂ、すなわち車両が接近運転している中間点に向かう車両の操舵を絶えず調整する。経路追跡装置５８０は、車両牽引ボール１２２が各中間点１６８をたどることを可能にする。換言すると、経路追跡装置５８０は、牽引ボール１２２が牽引ボール経路１６６に沿って各中間点をたどることを可能にする。いくつかの例では、中間点１６８は世界座標から車両座標に変換される。例えば、経路追跡装置５８０は牽引ボール位置Ｐａと中間点位置Ｐｂとに基づき、旋回円の中心Ｃｃを計算する。次いで、経路追跡装置５８０は旋回円の中心に基づき、車両旋回半径Ｒｒを計算する。最後に、経路追跡装置５８０はアッカーマンアングルを用いて旋回円の中心に基づき、操舵角を計算する。換言すると、経路追跡装置５８０は、推定位置Ｐｅと現在の位置Ｐａとを比較して車両が経路に従っていることを確認し、かつ次の中間点Ｐｂを確定し、かつ現在の車両位置および向きから次のまたは後続の中間点Ｐｂまでの経路を確定または調整する。よって、経路追跡装置５８０は、トラクター１００が計画された経路に沿って自律的に移動しかつトラクター１００が計画された経路から逸脱した場合には車両の動作または運転を調整することを維持する。

いくつかの例では、コントローラは、計画された経路５５２に沿って１つ以上の物体を識別する物体検出システム（図示せず）を有している。この場合、連結支援システム３１０が経路５５２を調整して、検出された１つ以上の物体を回避する。いくつかの例では、連結支援システム３１０が衝突の確率を確定し、衝突の確率が、予め規定されたしきい値を上回った場合、連結支援システム３１０は経路５５２を調整し、これをオペレータ支援システム３２０に送る。

オペレータが、選択した経路５５２が入力されたことを知らせると、車両コントローラ１５０はオペレータ支援システム３２０を実行し、オペレータ支援システム３２０もまた、経路追従動作３３０を有している。経路追従動作３３０は、選択された経路５５２を受け取って１つ以上の動作３３０ａ〜ｂを実行し、１つ以上の動作３３０ａ〜ｂは駆動系１１０にコマンド３０１を送り、トラクター１００が計画された経路に沿って後退方向Ｒに自律運転するようにする。

経路追従動作３３０ａ〜ｂには、限定はしないが制動動作３３０ａと、速度動作３３０ｂと、操舵動作３３０ｃといった、１つ以上の動作が含まれていてよい。各動作３３０ａ〜ｂに基づき、トラクター１００はとりわけ、後退走行、特定の角度での方向転換、制動、加速、減速等の行動を取る。車両コントローラ１５０は駆動系１１０を制御することによって、より具体的には駆動系１１０にコマンド３０１を出すことによって、トラクター１００を路面にわたり任意の方向に動かすことができる。

制動動作３３０ａは、計画された経路に基づきトラクター１００を停止させるためまたはトラクター１００を減速させるために実行されてよい。制動動作３３０ａは、トラクター１００を停止させるためまたはトラクター１００の速度を低下させるために、駆動系１１０、例えば制動系（図示せず）に信号またはコマンド３０１を送る。

速度動作３３０ｂは、計画された経路５５２に基づき、加速または減速によってトラクター１００の速度を変更するために実行されてよい。速度動作３３０ｂは、減速用の制動系１２０または加速用の加速系１３０に信号またはコマンド３０１を送る。

操舵動作３３０ｃは、計画された経路５５２に基づきトラクター１００の方向を転換させるために実行されてよい。よって、操舵動作３３０ｃは、駆動系１１０に方向転換させる操舵角を命令する信号またはコマンド３０１を、加速系１３０に送る。

図１３には、トラクター１００を（図１〜図１２Ｄに示したように）選択したトレーラー２００，２００ａに向かって自律的に移動させる方法８００を運用する段取りの一例が示されている。ブロック８０２において方法８００は、オペレータがトラクター１００をトレーラー２００，２００ａに自律的に連結させようとする命令を受け取ることにより、連結支援モードを開始させるステップを含む。命令は、トラクター１００のユーザインタフェース１４０上での選択、トラクターを（後退はさせずに）リヤに入れること、またはその他の任意の命令によるものであってよい。ブロック８０４において、ＤＮＮ５００がトラクター１００の後方の１つ以上のトレーラー２００，２００ａ〜ｃを検出して位置を確認し、確認した１つ以上のトレーラー２００，２００ａ〜ｃそれぞれに関するトレーラー像１４６，１４６ａ〜ｃを、ユーザインタフェース１４０を介して表示する。代替的には、カメラ画像がディスプレイ１４２に表示される。決定ブロック８０６において、方法８００はオペレータの選択１４４を待つ。オペレータは、ディスプレイ上の１つ以上のトレーラー像１４６，１４６ａ〜ｃを選択することにより、または経路図、すなわち経路追跡装置５８０と、関心点、すなわち連結画像位置を含むトレーラー像１４６とが表示された画像上で整列するまでユーザ入力つまみ１４３を操作することにより、表示された画像から選択することができる。オペレータが、選択したトレーラー２００ａに関連するトレーラー像１４６，１４６ａ〜ｃを選択すると、ブロック８０８において、方法８００は、トラクター１００の初期位置Ｐ_Ｉから、選択したトレーラー２００に対する最終位置Ｐ_Ｆまでのトラクター経路５５２を計画するステップを含む。いくつかの例では、経路計画システム５５０，５５０ａ，５５０ｂが経路５５２を計画する。経路計画システム５５０，５５０ａ，５５０ｂは、コントローラ３００の一部またはＤＮＮ５００の一部であってよい。ブロック８１０において、方法８００は、経路追従サブシステム３２０を実行するステップを含む。決定ブロック８１２において、方法８００は、選択したトレーラー２００ａからトラクター１００が予め規定した距離内にあるか否かを確定する、すなわち方法８００は、トラクター１００が中間位置Ｐ_Ｍに到達したか否かを確定する。トラクター１００が中間位置Ｐ_Ｍに到達すると、方法８００は決定ブロック８１２において、トラクター１００のトラクターヒッチカプラー１６２の上部と、選択したトレーラー２００ａのヒッチカプラー２１２の下部との間の相対高さＨ_Ｒを確定し、かつヒッチカプラー２１２が相対高さＨ_Ｒに基づきトラクターヒッチカプラー１６２を解放可能に収容することができるか否かを確定する。換言すると、方法８００は、相対高さＨ_Ｒがゼロに等しくなっているか否かを確定する。相対高さＨ_Ｒがゼロに等しくなっていない場合には、ブロック８１６において、方法８００はトラクター１００のサスペンションを調整し、次いでブロック８１４において相対高さＨ_Ｒを確定し、かつ相対高さＨ_Ｒがゼロに等しくなっているか否かを確認する。相対高さＨ_Ｒがゼロに等しくなっていると、方法８００はブロック８１８において、中間位置Ｐ_Ｍから最終位置Ｐ_Ｆまで、経路５５２を巡る移動を継続し、トラクター１００のトラクターヒッチカプラー１６２を、選択したトレーラー２００ａのヒッチカプラー２１２に連結させる。

図１３は、図１〜図８Ｂで説明したシステムを使用してトラクター１００（例えば牽引車）をトレーラー２００等の関心点に向かって後退方向Ｒに自律的に移動させる方法９００を運用する段取りの一例を提供する。ブロック９０２において、方法９００は、データ処理ハードウェア１５２において、トラクター１００の後部に位置しかつデータ処理ハードウェア１５２と通信するカメラ４１０から１つ以上の画像１４３を受け取るステップを含む。ブロック９０４において、方法９００は、データ処理ハードウェア１５２において、データ処理ハードウェア１５２と通信するユーザインタフェース１４０からオペレータが計画した経路１６２を受け取るステップを含む。オペレータが計画した経路１６２には、複数の中間点１６８が含まれている。ブロック９０６において、方法９００は、データ処理ハードウェア１５２から、データ処理ハードウェア１５２と通信する駆動系１１０に、オペレータが計画した経路１６２に沿ってトラクター１００を自律的に移動させる１つ以上のコマンド１６１，１９４を送信するステップを含む。ブロック９０８において、方法９００は、データ処理ハードウェア１５２において、現在の車両位置Ｐａを確定するステップを含む。ブロック９１０において、方法９００は、データ処理ハードウェア１５２においてオペレータが計画した経路に基づき、現在の車両位置Ｐａから見てオペレータが計画した経路１６２に沿った後続の中間点Ｐｂになる後続の推定車両位置を確定するステップを含む。ブロック９１２において、方法９００は、データ処理ハードウェア１５２において、現在の車両位置Ｐａから後続の推定車両位置Ｐｂまでの経路調整を確定するステップを含む。ブロック９１４において、方法９００は、経路調整に基づき後続の推定車両位置Ｐｂに向かってトラクター１００を自律的に移動させる命令を、データ処理ハードウェア１５２から駆動系１１０に送信するステップを含む。

図１４は、図１〜図８Ｂで説明したシステムを使用してトラクター１００（例えば牽引車）をトレーラー２００等の関心点に向かって後退方向Ｒに自律的に移動させる別の方法１０００を運用する段取りの一例を提供する。ブロック１００２において、方法１０００は、データ処理ハードウェア１５２において、トラクター１００の後部に位置しかつデータ処理ハードウェア１５２と通信する１つ以上のカメラ１４２から１つ以上の画像１４３を受け取るステップを含む。ブロック１００４において、方法１０００は、データ処理ハードウェア１５２において、データ処理ハードウェア１５２と通信するユーザインタフェース１４０からオペレータが計画した経路１６２を受け取るステップを含む。ブロック１００６において、方法１０００は、データ処理ハードウェア１５２から、データ処理ハードウェア１５２と通信する駆動系１１０に、オペレータが計画した経路１６２に沿ってトラクター１００を自律的に移動させる１つ以上のコマンド１６１，１９４を送信するステップを含む。ブロック１００８において、方法１０００は、データ処理ハードウェア１５２において、オペレータが計画した経路１６２に基づき推定車両位置Ｐｅを確定するステップを含む。ブロック１０１０において、方法１０００は、データ処理ハードウェア１５２において、現在の車両位置Ｐａを確定するステップを含む。ブロック１０１２において、方法１０００は、データ処理ハードウェア１５２において、推定車両位置Ｐｅと現在の車両位置Ｐａとに基づき誤差１８４を確定するステップを含む。ブロック１０１４において、方法１０００は、データ処理ハードウェア１５２において、トラクター１００を現在の車両位置Ｐａから推定車両位置Ｐｅへ自律的に移動させて誤差１８４を解消する１つ以上の経路調整コマンドを確定するステップを含む。ブロック１０１６において、方法１０００は、データ処理ハードウェア１５２から駆動系１１０に１つ以上の経路調整コマンドを送信するステップを含む。

いくつかの例では、方法９００，１０００は、経路を１つ以上の画像１４３に重ねるステップおよびコマンドを、データ処理ハードウェア１５２と通信するユーザインタフェース１４０を介して受け取るステップを含んでいる。コマンドには、オペレータが計画した経路１６２のとおりに経路を調整する命令が含まれる。いくつかの例では、コマンドには、経路の距離を調整する命令が含まれる。コマンドには、経路の角度を調整する命令または経路の終端部の角度を調整する命令が含まれてもよい。

いくつかの実施形態では、現在の車両位置を確定することには、１つ以上の車輪１１２に関連するホイールエンコーダセンサデータ１４５を受け取ることと、操舵角センサデータ１４５を受け取ることとが含まれる。現在の車両位置Ｐａは、ホイールエンコーダセンサデータ１４５と操舵角センサデータ１４５とに基づく。

上述したように、提案したアルゴリズムは、ＧＰＵ、グラフィックアクセラレータ、トレーニングまたはＦＰＧＡを用いてまたは用いずに、標準的なＣＰＵにおいてリアルタイムで動作するように設計されている。さらに、提案したアプローチは、オペレータからの初期入力のみを必要とする自動化された方法を提供する。さらに、説明したシステムは、オペレータへのガイドラインの提供と、全ての後退機能の自動化との間の折衷案を提供する。

ここで説明したシステムおよび技術の様々な実施形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路（application specific integrated circuits））、コンピュータハードウェア、ファームウェア、ソフトウェア、および／またはそれらの組合せにおいて実現することができる。これらの様々な実施形態は、特別または汎用であってよく、データおよび命令を、ストレージシステム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスから受け取りかつこれらに送信するように接続された、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能かつ／または翻訳可能な１つ以上のコンピュータプログラムにおける実施形態を含んでいてよい。

これらの（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとして知られてもいる）コンピュータプログラムには、プログラム可能なプロセッサに対する機械命令が含まれ、高度なプロセデュラル型および／またはオブジェクト指向型のプログラミング言語、および／またはアセンブリ／マシン言語で実行することができる。本明細書で使用する場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、プログラム可能なプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（例えば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械命令を機械可読信号として受信する機械可読媒体を含む。「機械可読信号」という用語は、プログラム可能なプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。

本明細書に記載した主題および機能運用の実施形態は、本明細書に開示した構造およびそれらと構造的に同等のものを含むデジタル電子回路、またはコンピュータソフトウェア、ファームウェア、またはハードウェアで、またはこれらを１つ以上組み合わせて実施することができる。さらに、本明細書に記載した主題は、データ処理装置の動作を制御してまたは制御することを実行するためにコンピュータ可読媒体上でコード化された１つ以上のコンピュータプログラム製品、すなわち、コンピュータプログラム命令の１つ以上のモジュールとして実行することができる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリ装置、機械可読伝達信号に影響を及ぼす組成物、またはこれらを１つ以上組み合わせたものであってよい。「データ処理装置」、「演算装置」および「演算プロセッサ」という用語には、例えばプログラム可能な１つのプロセッサ、１つのコンピュータ、または複数のプロセッサまたはコンピュータを含む、データを処理するあらゆる装置、デバイス、および機械が含まれる。装置は、ハードウェアに加えて、当該のコンピュータプログラム用の実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、運用システム、またはこれらを１つ以上組み合わせたものを構成するコードを含んでいてよい。伝達信号は、人為的に生成された信号、例えば、適切な受信器装置に送信する情報をコード化するために生成される、機械により生成された電気信号、光信号、または電磁信号である。

同様に、工程は特定の順序で図示されている一方で、望ましい結果を達成するために、このような工程は図示の特定の順序または連続した順序で実施されること、または図示の全ての工程が実施されることが要求されていると理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利な場合もある。さらに、上述した実施形態における様々なシステムコンポーネントの分離は、このような分離が全ての実施形態において要求されていると理解されるべきではなく、記載したプログラムコンポーネントおよびシステムは一般に、単一のソフトウェア製品に一緒に組み込むことができるか、または複数のソフトウェア製品にパッケージングすることができると理解されるべきである。

いくつかの実施形態を説明してきた。それにもかかわらず、様々な変更が、本開示の思想および範囲から逸脱すること無しに行われてよいということが理解されるであろう。よって、その他の実施形態は、以下の請求項の範囲内にある。

Claims (20)

1. トラクターをトレーラーに連結支援システムを用いて取り付けるために後退方向に移動させる方法であって、
   連結支援モードに入るステップと、
   少なくとも１つのカメラを示すカメラ画像をユーザインタフェース上に表示するステップと、
   通信中のユーザインタフェースにおいて、選択されたトレーラーの表示を受け取るステップと、
   演算装置を用いて計画された経路、すなわち、トラクターをトラクター経路に沿って初期位置から最終位置まで移動させるように構成された動きを含む、前記初期位置から前記トレーラーに近接する前期最終位置までの前記トラクター経路を確定するステップと、
   前記演算装置と通信する駆動系において、前記トラクター経路を前記初期位置から前記最終位置まで自律的に追従するステップと、
   を含む方法。
2. 前記ユーザインタフェース上に表示するステップは、２つ以上のトレーラーを表示することを含み、前記トレーラーを選択することは、所望のトレーラーの画像を選択することを含み、前記経路の計画は、ディープニューラルネットワークにより完了する、請求項１記載の方法。
3. 前記トラクターが前記トラクター経路に沿って移動する際に、前記ニューラルネットワークにおいて、前記トラクター経路内の１つ以上の物体を連続的に検出するステップと、
   前記物体を検出した場合には、前記演算装置において前記トラクター経路を変更するステップと、
   をさらに含む、請求項２記載の方法。
4. １つ以上のトレーラーを検出するステップは、
   前記ニューラルネットワークと通信し、少なくとも１つが、後退方向に向いた前記トレーラーの後ろ側に配置された１つ以上の画像装置において、１つ以上の画像を捉えるステップと、
   ニューラルネットワークにおいて、１つ以上の前記画像内で１つ以上の前記トレーラーを確定するステップと、
   を含む、請求項２記載の方法。
5. 前記ユーザインタフェース上に表示するステップはさらに、コントローラにおいて、前記トラクターの後部に配置されかつ前記コントローラと通信する１つ以上のカメラから１つ以上の画像を受け取り、前記コントローラにおいて、トラクターヒッチから始まり、これに沿って前記トラクターが走行する予想経路を示す経路図を重ねるステップを含む、請求項１記載の方法。
6. 前記トレーラーを選択するステップはさらに、前記コントローラにおいて、前記経路図が関心点で終わるといった、前記経路図における変更を示す第１のコマンドを、ユーザインタフェースを介して受け取り、かつ前記コントローラにおいて、前記第１のコマンドに基づき前記経路図を調整し、前記連結支援システム用のコントローラが、前記経路の計画を完了させるステップを含む、請求項５記載の方法。
7. 前記駆動系において、前記トラクターが前記最終位置に到達する前に、前記初期位置よりも前記最終位置に近い中間位置に停止または駐車させるステップと、
   前記駆動系において、前記トラクターに関連する１つ以上のトラクターサスペンションを変化させて、トラクターヒッチとトレーラーヒッチとを整列させるステップと、
   前記駆動系において、前記トラクター経路を前記中間位置から前記最終位置まで自律的に追従するステップと、
   前記駆動系において、前記トラクターヒッチと前記トレーラーヒッチとを連結するステップと、
   をさらに含む、請求項１記載の方法。
8. トラクターヒッチとトレーラーヒッチとを連結するステップは、前記トラクターに関連する１つ以上のトラクターサスペンションを変化させて、トラクターヒッチとトレーラーヒッチとを整列させるステップを含む、請求項１記載の方法。
9. トラクターを関心点に向かって後退方向に自律運転させる方法であって、
   データ処理ハードウェアにおいて、前記トラクターの後部に位置しかつ前記データ処理ハードウェアと通信するカメラから１つ以上の画像を受け取るステップと、
   前記データ処理ハードウェアにおいて、該データ処理ハードウェアと通信するユーザインタフェースから、オペレータが計画した、複数の中間点を含む経路を受け取るステップと、
   前記データ処理ハードウェアから、該データ処理ハードウェアと通信する駆動系に、オペレータが計画した前記経路に沿って前記トラクターを自律的に移動させる１つ以上のコマンドを送信するステップと、
   前記データ処理ハードウェアにおいて、現在のトラクター位置を確定するステップと、
   前記データ処理ハードウェアにおいて、オペレータが計画した前記経路に基づき、前記現在のトラクター位置から見てオペレータが計画した前記経路に沿った後続の中間点になる後続の推定トラクター位置を確定するステップと、
   前記データ処理ハードウェアにおいて、前記現在のトラクター位置から前記後続の推定トラクター位置までの経路調整を確定するステップと、
   前記経路調整に基づき前記後続の推定トラクター位置に向かって前記トラクターを自律的に移動させる命令を、前記データ処理ハードウェアから前記駆動系に送信するステップと、
   を含む方法。
10. 経路を前記１つ以上の画像に重ねるステップと、
    前記経路を、オペレータが計画した前記経路のとおりに調整する命令を含むコマンドを、前記データ処理ハードウェアと通信する前記ユーザインタフェースを介して受け取るステップと、
    をさらに含む、請求項９記載の方法。
11. 前記コマンドには、前記経路の距離を調整する命令が含まれる、請求項１０記載の方法。
12. 前記コマンドには、前記経路の角度を調整する命令が含まれる、請求項１０記載の方法。
13. 前記コマンドには、前記経路の終端部の角度を調整する命令が含まれる、請求項１０記載の方法。
14. 前記現在のトラクター位置を確定するステップは、
    １つ以上のホイールに関連するホイールエンコーダセンサデータを受け取るステップと、
    操舵角センサデータを受け取るステップと、
    を含み、
    前記現在のトラクター位置は、前記ホイールエンコーダセンサデータと前記操舵角センサデータとに基づく、請求項９記載の方法。
15. トラクターを関心点に向かって後退方向に自律運転させるためのシステムであって、
    通信におけるデータ処理ハードウェアと、
    前記データ処理ハードウェアと通信するメモリハードウェアと、
    を含み、
    前記メモリハードウェアは、前記データ処理ハードウェア上で実行されると、該データ処理ハードウェアに
    前記トラクターの後部に位置しかつ前記データ処理ハードウェアと通信するカメラから１つ以上の画像を受け取るステップと、
    前記データ処理ハードウェアと通信するユーザインタフェースから、オペレータが計画した、複数の中間点を含む経路を受け取るステップと、
    前記データ処理ハードウェアと通信する駆動系に、オペレータが計画した前記経路に沿って前記トラクターを自律的に移動させる１つ以上のコマンドを送信するステップと、
    現在のトラクター位置を確定するステップと、
    オペレータが計画した前記経路に基づき、前記現在のトラクター位置から見てオペレータが計画した前記経路に沿った後続の中間点になる後続の推定トラクター位置を確定するステップと、
    前記現在のトラクター位置から前記後続の推定トラクター位置までの経路調整を確定するステップと、
    前記経路調整に基づき前記後続の推定トラクター位置に向かって前記トラクターを自律的に移動させる命令を、前記駆動系に送信するステップと、
    を含む工程を行わせる命令を記憶している、システム。
16. 前記工程はさらに、
    経路を前記１つ以上の画像に重ねるステップと、
    オペレータが計画した前記経路のとおりに前記経路を調整する命令を含むコマンドを、前記データ処理ハードウェアと通信する前記ユーザインタフェースを介して受け取るステップと、
    を含む、請求項１５記載のシステム。
17. 前記コマンドには、前記経路の距離を調整する命令が含まれる、請求項１６記載のシステム。
18. 前記コマンドには、前記経路の角度を調整する命令が含まれる、請求項１６記載のシステム。
19. 前記コマンドには、前記経路の終端部の角度を調整する命令が含まれる、請求項１６記載のシステム。
20. 前記現在のトラクター位置を確定するステップは、
    １つ以上のホイールに関連するホイールエンコーダセンサデータを受け取るステップと、
    操舵角センサデータを受け取るステップと、
    を含み、
    前記現在のトラクター位置は、前記ホイールエンコーダセンサデータと前記操舵角センサデータとに基づく、
    請求項１５記載のシステム。

Images