JP2021519242A - 車両とトレーラとの間の距離を検出する装置および方法 - Google Patents

Abstract

牽引車両がトレーラに接近するときに、牽引車両（１００）の後部に配置されているカメラ（４１０）と、牽引車両の後方に配置されているトレーラ（２００）によって支持されているトレーラカプラ（２１２）との間の距離を決定する方法である。この方法は、牽引車両の後方環境の１つまたは複数の画像内のトレーラのトレーラカプラを識別することを含んでいる。この方法は、牽引車両によって支持されている慣性測定ユニット（４２０）からセンサーデータを受け取ることも含んでいる。この方法は、１つまたは複数の画像のうちの、最も新たに受け取った画像と、１つまたは複数の画像のうちの、その前に受け取った画像との間のピクセルごとの強度差を決定することを含んでいる。この方法は、識別されたトレーラカプラと、センサーデータと、ピクセルごとの強度差とに基づいて、長手方向距離（ＤＬｇ）と、横方向距離（ＤＬｔ）と、垂直方向距離（ＨＣＣ）とを含んでいる距離を決定することを含んでいる。

Description

本開示は、牽引車両の後部に配置されているカメラと、牽引車両の後方に配置されているトレーラのトレーラカプラとの間の距離、すなわち長手方向距離と、横方向距離と、垂直方向距離とを検出する装置および方法に関する。

背景
トレーラは通常、動力を備えた牽引車両によって引っ張られる無動力の車両である。トレーラを、他にもある中で特に、ユーティリティトレーラ、ポップアップ式キャンピングカー、旅行用トレーラ、家畜用トレーラ、平床式トレーラ、有蓋車両輸送トレーラおよびボートトレーラとすることができる。牽引車両を、乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）、レクレーショナル・ビークル（ＲＶ）、またはトレーラに取り付けてトレーラを引っ張るように構成されている他の任意の車両とすることができる。トレーラヒッチを用いて、トレーラを動力車両に取り付けることができる。受け側ヒッチが牽引車両に装備されており、これがトレーラヒッチと接続されて接続が形成される。トレーラヒッチを、ボールおよびソケット、予備車輪およびグースネックまたはトレーラジャッキとすることができる。他の取り付け機構を使用することもできる。トレーラと動力車両との間の機械的接続に加えて、一部の例によれば、トレーラは牽引車両と電気的に接続される。このようにすれば電気的接続によって、トレーラは動力車両のリアライト回路から給電を受けることができ、これによってトレーラは、動力車両のライトと同期したテールライト、ウィンカおよびブレーキライトを有することができる。

センサー技術の最近の進歩によって、車両の安全システムが改善された。したがって、牽引車両にトレーラをつなぐ際に運転者を支援するために、車両とトレーラとの間の距離を決定することができるシステムを提供することが望まれている。

要約
本開示の一態様は、牽引車両がトレーラに接近するときに、牽引車両の後部に配置されているカメラと、牽引車両の後方に配置されているトレーラによって支持されているトレーラカプラとの間の距離を決定する方法を提供する。この方法は、データ処理ハードウェアによって、牽引車両の後方環境の１つまたは複数の画像内のトレーラのトレーラカプラを識別することを含んでいる。この方法は、データ処理ハードウェアで、データ処理ハードウェアと通信し、かつ牽引車両によって支持されている慣性測定ユニット(inertial measurement unit)からセンサーデータを受け取ることも含んでいる。この方法は、データ処理ハードウェアによって、１つまたは複数の画像のうちの、最も新たに受け取った画像と、１つまたは複数の画像のうちの、その前に受け取った画像との間のピクセルごとの強度差（ｐｉｘｅｌ−ｗｉｓｅ ｉｎｔｅｎｓｉｔｙ ｄｉｆｆｅｒｅｎｃｅ）を決定することも含んでいる。付加的に、この方法は、データ処理ハードウェアによって、識別されたトレーラカプラと、センサーデータと、ピクセルごとの強度差とに基づいて、カメラとトレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを含んでいる距離を決定することを含んでいる。

本開示の実施形態は、以降の任意の特徴のうちの１つまたは複数を含んでいてよい。いくつかの実施形態では、この方法は、データ処理ハードウェアから、データ処理ハードウェアと通信するディスプレイに、距離を表示するための指示を送ることを含んでいる。

この方法はさらに、データ処理ハードウェアから、データ処理ハードウェアと通信する駆動支援システム（drive assistance system）に、この距離に基づいて牽引車両をトレーラに向かって自律的に駆動するための指示を送ることを含んでいてよい。付加的または択一的に、この方法は、データ処理ハードウェアで、カメラとトレーラカプラとの間の垂直方向距離に基づいて、地面からのトレーラカプラの高さを決定することを含んでいてよい。

いくつかの例では、１つまたは複数の画像が、単眼カメラによって捕捉される。付加的または択一的に、慣性測定ユニットからのセンサーデータが、牽引車両の加速度および角速度を含んでいてよい。

いくつかの実施形態では、距離を決定することはさらに以下のことを含んでいる。すなわち、センサーデータと識別されたトレーラカプラとに基づいて、１つまたは複数の現在のフィルター状態を決定すること、および現在のフィルター状態とピクセルごとの強度差とに基づいて、１つまたは複数の更新されたフィルター状態を決定することを含んでいる。この方法はさらに、更新されたフィルター状態に基づいて、距離を決定することを含んでいてよい。いくつかの例では、この方法は、更新されたフィルター状態に基づいて、ワールド座標系（world coordinate system）におけるカメラ位置を決定することも含んでいる。

本開示の別の態様は、牽引車両がトレーラに接近するときに、牽引車両と牽引車両の後方に配置されているトレーラとの間の距離を決定する方法を提供する。この方法は、データ処理ハードウェアで、牽引車両の後部に配置されているカメラから１つまたは複数の画像を受け取ることを含んでいる。カメラはデータ処理ハードウェアと通信する。この方法は、データ処理ハードウェアによって、１つまたは複数の画像内のトレーラのトレーラカプラを識別することを含んでいる。この方法は、データ処理ハードウェアによって、１つまたは複数のカプラ特徴点を、１つまたは複数の画像内で識別されたトレーラカプラに関連付けることも含んでいる。この方法は、データ処理ハードウェアによって、１つまたは複数の画像内の１つまたは複数の視覚的特徴を識別することも含んでいる。付加的に、この方法は、データ処理ハードウェアによって、１つまたは複数の視覚的特徴点を、１つまたは複数の画像内で識別された１つまたは複数の視覚的特徴に関連付けることを含んでいる。この方法は、データ処理ハードウェアによって、１つまたは複数のカプラ特徴点および１つまたは複数の視覚的特徴点を追跡することも含んでいる。さらに、この方法は、データ処理ハードウェアで、データ処理ハードウェアと通信し、かつ牽引車両によって支持されている慣性測定ユニットからセンサーデータを受け取ることを含んでいる。この方法は、データ処理ハードウェアによって、１つまたは複数のカプラ特徴点と、１つまたは複数の視覚的特徴点と、センサーデータとに基づいて、カメラとトレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを含んでいる距離を決定することも含んでいる。

本開示のこの態様の実施形態は、以降の任意の特徴のうちの１つまたは複数を含んでいてよい。いくつかの実施形態では、この方法は、データ処理ハードウェアから、データ処理ハードウェアと通信するディスプレイに、距離を表示するための指示を送ることを含んでいる。

この方法はさらに、データ処理ハードウェアから、データ処理ハードウェアと通信する駆動支援システムに、この距離に基づいて牽引車両をトレーラに向かって自律的に駆動するための指示を送ることを含んでいてよい。付加的または択一的に、この方法は、データ処理ハードウェアで、カメラとトレーラカプラとの間の垂直方向距離に基づいて、地面からのトレーラカプラの高さを決定することを含んでいてよい。

いくつかの例では、カメラは単眼カメラを含んでいる。付加的または択一的に、慣性測定ユニットは、牽引車両の加速度および角速度を含んでいてよい。

いくつかの実施形態では、距離を決定することはさらに、繰り返し拡張カルマンフィルター(iterated extended Kalman Filter)を実行することを含んでいる。繰り返し拡張カルマンフィルターを実行することは、センサーデータと、１つまたは複数の視覚的特徴点と、１つまたは複数のカプラ特徴点とに基づいて１つまたは複数の現在のフィルター状態を決定することを含んでいてよい。さらに、繰り返し拡張カルマンフィルターを実行することは、以下のことを含んでいる。すなわち、１つまたは複数の画像のうちの、現在の画像と、その前に受け取った画像との間のピクセルごとの強度差を決定すること、および現在のフィルター状態と、ピクセルごとの強度差とに基づいて、１つまたは複数の更新されたフィルター状態を決定することを含んでいる。この方法はさらに、更新されたフィルター状態に基づいて、カメラとトレーラカプラとの間の距離を決定することを含んでいてよい。いくつかの例では、この方法はさらに、更新されたフィルター状態に基づいてワールド座標系におけるカメラ位置を決定することを含んでいる。

本開示の１つまたは複数の実施形態の詳細を、添付の図面および以降の説明に記載する。他の態様、特徴および利点は、明細書および図面ならびに特許請求の範囲から明らかになるであろう。

例示的な牽引車両と、牽引車両の後方に配置されているトレーラとの概略的な上面図である。 図１Ａに示された例示的な牽引車両とトレーラとの概略的な側面図である。 コントローラー、ユーザインターフェース、センサーシステムおよび駆動システムを有する例示的な牽引車両の概略図である。 図２に示された例示的な距離推定器の概略図である。 図２に示された例示的な距離推定器の概略図である。 図１Ａ〜図３Ｂに示された、牽引車両とトレーラとの間の距離を決定するための動作の例示的な段取りの概略図である。 図１Ａ〜図３Ｂに示された、牽引車両とトレーラとの間の距離を決定するための動作の例示的な段取りの概略図である。

種々の図面における同様の参照記号は、同じ要素を示している。

詳細な説明
乗用車、クロスオーバー車、トラック、バン、スポーツ・ユーティリティ・ビークル（ＳＵＶ）およびレクレーショナル・ビークル（ＲＶ）等であるがこれらに限定されない牽引車両は、トレーラを牽引するように構成されていてよい。牽引車両は、トレーラヒッチを介してトレーラに接続する。牽引車両の後方に配置されているトレーラに対する長手方向距離と、横方向距離と、垂直方向距離とを含んでいる距離を決定することができる牽引車両を有することが望ましい。より具体的には、牽引車両は、車両の後方カメラとトレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを決定することが望ましい。このように、距離推定機能を備えた牽引車両は、トレーラに向かう牽引車両の（運転者による、または自律的な）駆動を助ける情報を運転者および／または車両に提供する。

図１Ａ〜図２を参照する。いくつかの実施形態では、牽引車両１００の運転者は、牽引車両１００の後方に配置されているトレーラ２００を牽引することを望んでいる。牽引車両１００は、選択されたトレーラ２００に関連付けられた、運転者の選択の表示を（たとえば、ディスプレイ等のユーザインターフェース装置を介して）受け取るように構成されていてよい。いくつかの例では、運転者は、牽引車両１００を選択されたトレーラ２００に向かって操縦し、他の例では、牽引車両１００は、選択されたトレーラ２００に自律的に向かう。牽引車両１００は、たとえば、ｘ、ｙおよびｚ成分を有する駆動命令に基づいて、路面１０を横切るように牽引車両１００を操縦する駆動システム１１０を含んでいてよい。示されているように、駆動システム１１０は、右前輪１１２、１１２ａ、左前輪１１２、１１２ｂ、右後輪１１２、１１２ｃおよび左後輪１１２、１１２ｄを含んでいる。駆動システム１１０は、同様に他の車輪配置を含んでいてよい。駆動システム１１０は、各車輪１１２、１１２ａ〜ｄに関連付けられたブレーキを含んでいるブレーキシステム１２０および牽引車両１００の速度および方向を調整するように構成されている加速システム１３０も含んでいてよい。さらに、駆動システム１１０は、サスペンションシステム１３２を含んでいてよく、これは各車輪１１２、１１２ａ〜ｄに関連付けられたタイヤと、タイヤの空気と、ばねと、衝撃吸収装置と、連結部とを含んでおり、この連結部は、牽引車両１００を自身の車輪１１２、１１２ａ〜ｄに接続し、牽引車両１００と車輪１１２、１１２ａ〜ｄとの間の相対運動を可能にする。サスペンションシステム１３２は、牽引車両１００の高さを調整するように構成されていてよく、これによって牽引車両ヒッチ１６０（たとえば、牽引車両ヒッチボール１６２）をトレーラヒッチ２１０（たとえば、トレーラヒッチカプラ２１２）と整列させることが可能になり、さらにトレーラカプラ２１２の下に牽引車両ヒッチボール１６２を配置することが可能になる。これによって牽引車両１００とトレーラ２００との間の接続が可能になる。

牽引車両１００は、牽引車両１００によって規定された３つの相互に鉛直な軸、すなわち横軸Ｘ_Ｖ、前後軸Ｙ_Ｖおよび中心垂直軸Ｚ_Ｖに対する動きの様々な組み合わせによって路面を横切って移動してよい。横軸Ｘ_Ｖは、牽引車両１００の右側と左側との間に延在している。前後軸Ｙ_Ｖに沿った前進駆動方向はＦ_Ｖとして示されており、前進運動とも称される。さらに、前後方向Ｙ_Ｖに沿った、後部または後方への駆動方向はＲ_Ｖとして示されており、後方運動とも称される。サスペンションシステム１３２が牽引車両１００のサスペンションを調整するとき、牽引車両１００は、横軸Ｘ_Ｖおよび／または前後軸Ｙ_Ｖを中心として傾斜するか、または中心垂直軸Ｚ_Ｖに沿って動いてよい。

牽引車両１００は、ディスプレイ等のユーザインターフェース１４０を含んでいてよい。ユーザインターフェース１４０は、１つまたは複数の入力機構またはタッチスクリーンディスプレイ１４２を介して運転者から１つまたは複数のユーザ命令を受け取る、かつ／または運転者への１つまたは複数の通知を表示する。ユーザインターフェース１４０は車両コントローラー３００と通信し、また車両コントローラー３００はセンサーシステム４００と通信する。いくつかの例では、ユーザインターフェース１４０は、牽引車両１００の環境（たとえば、牽引車両１００の後方環境）の画像を表示する。これによって、１つまたは複数の動作の実行を開始させる１つまたは複数の命令が（運転者から）ユーザインターフェース１４０によって受け取られる。いくつかの例では、ユーザディスプレイ１４２は、１つまたは複数のトレーラ表現（図示せず）を表示し、ここで各トレーラ表現は、牽引車両１００の後方に配置されているトレーラ２００に関連付けられている。この場合、運転者は、トレーラ２００に関連付けられたトレーラ表現を選択し、運転者のこの選択に基づいて、コントローラー３００は、このトレーラ表現に関連付けられたトレーラ２００と牽引車両１００との間の距離を決定する。他の例では、コントローラー３００は、１つまたは複数のトレーラ２００を検出し、同時に、この１つまたは複数のトレーラ２００までの距離を決定する。コントローラー３００は、ディスプレイ１４２に、１つまたは複数のトレーラ表現および運転者によって選択された表現までの距離、または１つまたは複数のトレーラ２００のそれぞれまでの距離を表示するように指示してよい。車両コントローラー３００は、コンピューティングデバイス（またはプロセッサ）３０２（たとえば、１つまたは複数のコンピューティングプロセッサを有する中央処理装置）を含んでおり、これは、非一時的なメモリ３０４（たとえば、ハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信し、コンピューティングプロセッサ３０２上で実行可能な指示を格納することができる。

牽引車両１００は、信頼性が高く、ロバストな駆動を提供するセンサーシステム４００を含んでいてよい。センサーシステム４００は、牽引車両１００の環境の認識を作り出すために、別々にまたは相互に使用され得る異なるタイプのセンサーを含んでいてよい。センサーシステム４００は、センサーシステム４００によって検出された物体および障害物に基づいて運転者が知的判定を行うのを支援する、または駆動システム１１０が牽引車両１００を自律的に操縦するのを支援する。

センサーシステム４００は、牽引車両１００の環境の画像４１２を捕捉する、牽引車両１００によって支持されている１つまたは複数のカメラ４１０、４１０ａ〜ｄを含んでいてよい。いくつかの実施形態では、牽引車両１００は、後方カメラ４１０、４１０ａを含んでいる。これは牽引車両１００の後部に、牽引車両１００の後部駆動経路を見ることができるように取り付けられている。さらに、後方カメラ４１０は、牽引車両ヒッチボール１６２の眺めを捕捉するように配置されている。いくつかの例では、後方カメラは、二次元画像を生成する単眼カメラ４１０ａである。他の種類のカメラが使用されてもよい。

センサーシステム４００はＩＭＵ（慣性測定ユニット）４２０も含んでいる。ＩＭＵは、（１つまたは複数の加速度計を使用して）牽引車両１００の直線加速度および（１つまたは複数のジャイロスコープを使用して）牽引車両１００の回転速度を測定するように構成されている。いくつかの例では、ＩＭＵ４２０は、牽引車両１００の方位基準も決定する。したがって、ＩＭＵ４２０は、牽引車両１００のピッチ、ロールおよびヨーを決定する。センサーシステム４００は、他のセンサーを含んでいてよく、これはレーダー、ソナー、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、これは遠隔ターゲットの距離および／またはその他の情報を検出するために、散乱光の特性を測定する光学リモートセンシングを伴うことができる）、ＬＡＤＡＲ（Ｌａｓｅｒ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）等であるが、これに限定されない。

図２を参照する。車両コントローラー３００は距離推定器３１０を動作させ、距離推定器は後方カメラ４１０ａから画像４１２を受け取り、ＩＭＵ４２０からＩＭＵセンサーデータ４２２を受け取り、カメラ４１０と、ユーザインターフェース１４０を介して運転者によって識別されたトレーラ２００に関連付けられたトレーラカプラ２１２との間の長手方向距離Ｄ_Ｌｇと、横方向距離Ｄ_Ｌｔと、垂直方向距離Ｈ_ＣＣとを含んでいる距離を決定する。距離推定器３１０は、垂直方向距離Ｈ_ＣＣに基づいてカプラの高さＨ_ＣＰを決定してよい。

いくつかの実施形態では、コントローラー３００は、決定された長手方向距離Ｄ_Ｌｇ、横方向距離Ｄ_Ｌｔおよび垂直方向距離Ｈ_ＣＣおよび／またはカプラの高さＨ_ＣＰをユーザインターフェース１４０、たとえばディスプレイ１４２に送り、これが運転者に表示される。長手方向距離Ｄ_Ｌｇ、横方向距離Ｄ_Ｌｔおよび垂直方向距離Ｈ_ＣＣおよび／またはカプラの高さＨ_ＣＰは、トレーラ２００に向かって牽引車両１００を後退させる間に運転者によって考慮される、またはトレーラ２００に向かった、牽引車両１００の自律的な操縦の間に駆動支援システム３３０によって考慮される。いくつかの例では、コントローラー３００は駆動支援システム３３０を含んでおり、これは、長手方向距離Ｄ_Ｌｇ、横方向距離Ｄ_Ｌｔおよび垂直方向距離Ｈ_ＣＣおよび／またはカプラの高さＨ_ＣＰを受け取り、受け取った情報に基づいて、牽引車両１００とトレーラ２００との間の経路を決定し、これによって、つなぐために、牽引車両１００をトレーラ２００と整列させることができる。さらに、駆動支援システム３３０は、駆動システム１１０に１つまたは複数の命令３３２を送り、これによって駆動システム１１０は、牽引車両１００をトレーラ２００に向かう後方方向Ｒ_Ｖにおいて自律的な操縦を行うことができる。いくつかの例では、駆動支援システム３３０は、牽引車両１００の前後軸Ｙ_Ｖとトレーラ２００の前後軸Ｙ_Ｔとが一致するように牽引車両１００を配置するように駆動システム１１０に指示する。

いくつかの実施形態では、距離推定器３１０は、カメラ画像４１２およびＩＭＵセンサーデータ４２２を受け取り、このカメラ画像４１２およびＩＭＵセンサーデータ４２２に関連付けされたカメラ画像データ４１３を融合する繰り返し拡張カルマンフィルター３１２を実行する。更新されたフィルター状態３１４ｕである融合データ（すなわち、カメラ画像データ４１３とＩＭＵセンサーデータ４２２）に基づいて、距離推定器３１０は、長手方向距離Ｄ_Ｌｇと_、横方向距離Ｄ_Ｌｔと、路面１０からのカプラの高さＨ_ＣＰとを決定する。カプラの高さＨ_ＣＰは、カメラ４１０とトレーラカプラ２１２との間の垂直方向距離Ｈ_ＣＣに基づいて決定される。繰り返し拡張カルマンフィルター３１２は、牽引車両１００とトレーラ２００との間の距離である可変の量の推定値を決定するために動的モデルを使用し、これはたとえば、カメラ４１０ａおよびＩＭＵ４２０から距離推定器３１０への既知の制御入力、および（カメラ４１０ａおよびＩＭＵ４２０からの）複数の連続測定値である。いくつかの例では、繰り返し拡張カルマンフィルター３１２は、牽引車両１００がトレーラ２００に向かって移動している間に、長手方向距離Ｄ_Ｌｇと、横方向距離Ｄ_Ｌｔと、垂直方向距離Ｈ_ＣＣ（またはカプラの高さＨ_ＣＰ）とを継続的に決定する。牽引車両１００が選択されたトレーラ２００に接近するにつれて、画像４１２およびＩＭＵセンサーデータ４２２が更新されるので、牽引車両１００に関する、選択されたトレーラ２００の長手方向距離Ｄ_Ｌｇ、横方向距離Ｄ_Ｌｔおよび垂直方向距離Ｈ_ＣＣ（またはカプラの高さＨ_ＣＰ）も、牽引車両１００が選択されたトレーラ２００に接近するにつれて変化する。

図３Ａおよび図３Ｂを参照する。いくつかの実施形態では、ＩＭＵ４２０は、牽引車両１００に関連付けされた加速度および角速度を決定し、加速度および角速度データ４２２（すなわち、ＩＭＵセンサーデータ）を、コントローラー３００の繰り返し拡張カルマンフィルター３１２に送る。さらに、後方カメラ４１０ａは、分析された画像４１２を捕捉し、カメラ画像データ４１３、４１３ａ、４１３ｂが得られる。図３Ａに示されたいくつかの例では、コントローラー３００は、捕捉された画像４１２を分析するための画像化モジュール４１４を含んでいる。図３Ｂに示されている他の例では、カメラ４１０ａが、画像化モジュール４１４を含んでいる。図３Ａおよび図３Ｂをさらに参照する。画像化モジュール４１４は、カメラ４１０ａによって捕捉された画像４１２を分析し、受け取った画像４１２に関連付けされたカメラ画像データ４１３を出力する。画像化モジュール４１４は、視覚的特徴検出および追跡モジュール４１６と、カプラ特徴検出および追跡モジュール４１８とを含んでいてよい。視覚的特徴検出および追跡モジュール４１６は、捕捉された各画像４１２内の車両環境の視覚的特徴を検出および追跡し、視覚的特徴点４１３ａを決定する。視覚的特徴点４１３ａは、たとえば、木、家、柱または他の任意の物体であり得る。カプラ特徴検出および追跡モジュール４１８は、牽引車両１００がトレーラ２００に向かって移動している間、トレーラカプラ２１２を検出し、トレーラカプラ２１２を追跡する。視覚的特徴検出／カプラ特徴検出および追跡モジュール４１６、４１８は、１つまたは複数の特徴点４１３ａ，４１３ｂを、視覚的特徴またはカプラに関連付け、１つまたは複数の特徴点４１３ａ、４１３ｂを追跡する。カプラ特徴検出および追跡モジュール４１８は、トレーラカプラ２１２と、このトレーラカプラ２１２に関連付けされたピクセル位置とを検出および追跡するので、トレーラカプラ２１２は、コントローラー３００がトレーラカプラ２１２を検出し、認識するための基準としての、カプラ２１２上に配置されたマーカーを必要としない。これによって、車両／トレーラシステムの動作の複雑さおよび製造コストが低減される。

拡張カルマンフィルターは、現在の平均および共分散の推定値に関して線形化を行う、カルマンフィルターの非線形バージョンである。カルマンフィルターは、経時的に観測された一連の測定値を使用するアルゴリズムであり、統計的なノイズおよびその他の不正確さを含んでおり、１つの測定値に基づくものよりもより正確な未知の変数の推定値を出力する。なぜならカルマンフィルター３１２は、各時間枠の変数にわたって同時確率分布を推定するからである。カルマンフィルターは、二段階のプロセスで自身の計算を実行する。予測ステップとも称される第１のステップの間、カルマンフィルターは、現在の状態３１４ｃ（状態３１３、３１３ａ_ｃ〜３１３ｊ_ｃ）を、各現在の状態変数３１３ａ〜ｊに関連付けされた不確実性とともに決定する。目下の測定値の結果が観察されると、更新ステップとしても知られる第２のステップにおいて、これらの現在の状態３１４ｃ（状態３１３、３１３ａ_ｃ〜３１３ｊ_ｃ）が加重平均を使用して更新される。ここでは、より高い確実性を有するものにより多くの重さが与えられる（現在の状態３１４ｃ（状態３１３、３１３ａ_ｃ〜３１３ｊ_ｃ）か目下の測定値のどちらか）。このアルゴリズムは再帰的であり、リアルタイムで実行され、目下の入力測定値と現在のフィルター状態３１４ｃ（状態３１３、３１３ａ_ｃ〜３１３ｊ_ｃ）とを使用して、更新されたフィルター状態３１４ｕ（状態３１３、３１３ａ_ｕ〜３１３ｊ_ｕ）を決定するので、付加的な過去の情報は不要である。繰り返し拡張カルマンフィルター３１２は、計算に関する要件の増大を犠牲にして、線形化エラーを低減することによって、拡張カルマンフィルターの線形化を改善する。

繰り返し拡張カルマンフィルター３１２は、ＩＭＵ４２０からＩＭＵセンサーデータ４２２を受け取り、さらにカメラ画像データ４１３、４１３ａ、４１３ｂ（すなわち、視覚的特徴点４１３ａおよびカプラ特徴点４１３ｂ）を受け取る。いくつかの実施形態では、繰り返し拡張カルマンフィルター３１２は、受け取ったＩＭＵセンサーデータ４２２およびカメラ画像データ４１３、４１３ａ、４１３ｂに基づいて継続的に新しくなるフィルター状態３１４、３１４ｃ、３１４ｕを決定する。フィルター状態３１４、３１４ｃ、３１４ｕは、ＩＭＵ４２０と後方カメラ４１０ａとの間の距離３１３ｆ等の較正された値を含んでいてよい。なぜなら、牽引車両１００内のこれら２つの位置が既知だからである。いくつかの例では、フィルター状態３１４、３１４ｃ、３１４ｕは、ＩＭＵ位置状態３１３ａ、ＩＭＵ速度状態３１３ｂおよびＩＭＵ高度状態３１３ｃを含んでおり、これらは加速度および角速度データ４２２と、ＩＭＵ４２０と後方カメラ４１０ａとの間の較正された距離３１３ｆと、座標系、たとえばワールド座標系におけるカメラ４１０ａの位置とに基づいて繰り返し拡張カルマンフィルター３１２によって決定される。ワールド座標系は、世界の原点（座標が［０，０，０］である点）を規定し、さらに互いに直交する三単位軸を規定する。世界空間内の任意の点の座標が、世界の原点に関して規定される。ワールド座標系が規定されると、カメラ４１０ａの位置が世界空間内の位置によって規定されてよく、カメラ４１０ａの配向が互いに直交する三単位ベクトルによって規定されてよい。いくつかの例では、世界の原点はカメラの初期位置によって規定され、三単位軸はカメラの初期配向によって規定される。カメラ４１０ａの位置は、以降に説明するように、カメラポーズモジュール３１８によって決定または認識される。上述のように、ＩＭＵ４２０は、直線加速度を決定するための加速度計と、回転速度を決定するためのジャイロスコープとを含んでいる。さらに、いくつかの例では、フィルター状態３１４、３１４ｃ、３１４ｕは、加速度計バイアス状態３１３ｄとジャイロスコープバイアス状態３１３ｅとを含んでいる。加速度計およびジャイロスコープ等の慣性センサーは、動きがない場合でも、平均信号出力に小さなオフセットを含んでいることがよくある。加速度計バイアス状態３１３ｄは、平均信号出力における加速度計センサーの小さなオフセットを推定し、ジャイロスコープバイアス状態３１３ｅは、平均信号出力におけるジャイロスコープセンサーの小さなオフセットを推定する。

いくつかの例では、フィルター状態３１４、３１４ｃ、３１４ｕは、カメラモジュール４１４によって識別された１つまたは複数のカプラ特徴点４１３ｂに対するカメラ４１０ａの配向である、カプラ特徴状態に対するカメラ配向３１３ｇを含んでいる。フィルター状態３１４、３１４ｃ、３１４ｕは、カメラモジュール４１４によって識別された１つまたは複数のカプラ特徴点４１３ｂまでのカメラ４１０ａの距離である、カプラ特徴状態に対するカメラ距離３１３ｈも含んでいてよい。いくつかの例では、フィルター状態３１４、３１４ｃ、３１４ｕは、カメラモジュール４１４によって識別された１つまたは複数の視覚的特徴点４１３ａに対するカメラ４１４の配向である、視覚的特徴状態に対するカメラ配向３１３ｉを含んでいる。フィルター状態３１４、３１４ｃ、３１４ｕは、カメラモジュール４１４によって識別された１つまたは複数の視覚的特徴点４１３ａまでのカメラ４１０ａの距離である、視覚的特徴状態に対するカメラ距離３１３ｊも含んでいてよい。

繰り返し拡張カルマンフィルター３１２は、現在の画像４１２およびその前に追跡された画像４１２の視覚的特徴点４１３ａ間の第１のピクセルごとの強度差３１６と、現在の画像４１２およびその前に追跡された画像４１２のカプラ特徴点４１３ｂ間の第２のピクセルごとの強度差３１６とを生成する。繰り返し拡張カルマンフィルター３１２は、現在の画像４１２およびその前に追跡された画像４１２の、あるピクセル位置上でルーチンを実行することによってピクセルごとの強度差３１６を決定し、結果を戻し、その後、次のピクセル位置に移動し、現在の画像４１２およびその前に追跡された画像４１２のすべてのピクセルが処理され、第１および第２のピクセルごとの強度差３１６が決定されるまで、同じルーチンを繰り返す。

第１のステップでは、繰り返し拡張カルマンフィルター３１２は、受け取った加速度および角速度データ４２２に基づいて、現在のフィルター状態３１４ｃ、３１３ａ_ｃ〜３１３ｊ_ｃを予測する。第２のステップでは、繰り返し拡張カルマンフィルター３１２は、現在の画像４１２の追跡された特徴点４１３ａ、４１３ｂと、その前に追跡された画像４１２の対応する、以前の特徴点４１３ａ、４１３ｂとの間の第１および第２のピクセルごとの強度差３１６に基づいて、現在の状態３１３ａ_ｃ〜３１３ｉ_ｃの値を更新して、更新されたフィルター状態３１４ｕ、３１３ａ_ｕ〜３１３ｉ_ｕを更新および修正する。したがって、上述の各状態３１４ｃの現在の状態３１３ａ_ｃ〜３１３ｉ_ｃは、繰り返し拡張カルマンフィルター３１２がＩＭＵ４２０およびカメラ４１０ａからデータを受け取るたびに更新される。

距離推定器３１０は、更新されたフィルター状態３１４ｕに基づいて、ワールド座標系におけるカメラ４１０ａの位置および配向を計算するカメラポーズモジュール３１８も含んでいる。カプラ位置モジュール３２０は、更新されたフィルター状態３１４ｕに基づいて、カメラ４１０ａの位置に対するカプラの長手方向距離Ｄ_Ｌｇと、横方向距離Ｄ_Ｌｔと、カプラの高さＨ_ＣＣとを決定する。いくつかの例では、カプラ位置モジュール３２０は、更新されたフィルター状態３１４ｕと、カメラポーズモジュール３１８によって出力された、決定されたカメラポーズとに基づいて、ワールド座標系におけるカプラの高さＨ_ＣＰを決定してよい。車両カメラ４１０ａの高さＨ_Ｃａは既知であるので、距離推定器３１０は、カメラとトレーラカプラ２１２との間の垂直方向距離Ｈ_ＣＣに基づいて、トレーラカプラの高さＨ_ＣＰを決定してよい。

上述のように、距離推定器３１０は、繰り返し拡張カルマンフィルター３１２を活用して、カメラ画像データ４１３、４１３ａ、４１３ｂとＩＭＵセンサーデータ４２２とを融合して、車両カメラ４１０に対するトレーラカプラ２１２の位置を推定および決定する。カプラ特徴検出および追跡モジュール４１８は、カプラヒッチ２１２を検出および追跡する。次に、距離推定器３１０は、受け取ったデータ４１３ａ、４１３ｂ、４２２に基づいて、カメラ４１０ａの位置に対するカプラの長手方向距離Ｄ_Ｌｇと、横方向距離Ｄ_Ｌｔと、垂直方向距離Ｈ_ＣＣとを決定してよい。これは、密接結合融合技術を使用することによって高い精度を提供し、繰り返し拡張カルマンフィルター３１２において現在のフィルター状態３１４ｃを更新するためにカプラ特徴検出および追跡モジュール４１８を活用することによってロバスト性を高める。上述のように、距離推定器３１０は、低い計算リソースを利用し、低コストのハードウェアを使用してリアルタイムパフォーマンスを実現する。さらに、距離推定器３１０は、フィルター状態の更新に対して、カプラ特徴検出および追跡モジュール４１８による画像４１２の分析を信頼するため、カプラ位置モジュール３２０の決定のロバスト性を高める。

図４は、牽引車両１００がトレーラ２００に接近するときに、牽引車両１００の後部に配置されているカメラ４１０ａ（たとえば、単眼カメラ４１０ａ）と、牽引車両１００の後方に配置されているトレーラ２００によって支持されているトレーラカプラ２１２との間の長手方向距離Ｄ_Ｌｇと、横方向距離Ｄ_Ｌｔと、垂直方向距離Ｈ_ＣＣとを含んでいる距離を決定する方法４５０の動作の例示的な段取りを提供する。方法４５０は、図１Ａ〜図３Ｂの車両１００を使用する。ブロック４５２で、方法４５０は、データ処理ハードウェア３００によって、牽引車両１００の後方環境の１つまたは複数の画像４１２内のトレーラ２００のトレーラカプラ２１２を識別することを含んでいる。ブロック４５４で、方法４５０は、データ処理ハードウェア３００で、データ処理ハードウェア３００と通信し、かつ牽引車両１００によって支持されている慣性測定ユニット４２０からセンサーデータ４２２（たとえば、牽引車両１００の加速度および角速度）を受け取ることを含んでいる。ブロック４５６で、方法４５０は、データ処理ハードウェア３００によって、１つまたは複数の画像４１２のうちの、最も新たに受け取った画像４１２と、１つまたは複数の画像４１２のうちの、その前に受け取った画像４１２との間のピクセルごとの強度差３１６を決定することを含んでいる。ブロック４５８で、方法４５０は、データ処理ハードウェア３００によって、識別されたトレーラカプラ２１２と、センサーデータ４２２と、ピクセルごとの強度差３１６とに基づいて、距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣを決定することを含んでいる。

いくつかの実施形態では、方法４５０は、データ処理ハードウェア３００から、データ処理ハードウェア３００と通信するディスプレイ１４２に、距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣを表示するための指示を送ることを含んでいる。方法４５０は、データ処理ハードウェア３００から、データ処理ハードウェア３００と通信する駆動支援システム３３０に、距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣに基づいて牽引車両１００をトレーラ２００に向かって自律的に駆動するための指示を送ることを含んでいてよい。いくつかの例では、方法４５０は、データ処理ハードウェア３００で、カメラ４１０ａとトレーラカプラ２１２との間の垂直方向距離Ｈ_ＣＣに基づいて、地面１０からのトレーラカプラ２１２の高さＨ_ＣＰを決定することを含んでいる。

いくつかの実施形態では、距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣを決定することは、さらに以下のことを含んでいる。すなわち、センサーデータ４２２と識別されたトレーラカプラ２１２とに基づいて、１つまたは複数の現在のフィルター状態３１４、３１４ｃを決定すること、および現在のフィルター状態３１４、３１４ｃとピクセルごとの強度差３１６とに基づいて、１つまたは複数の更新されたフィルター状態３１４、３１４ｕを決定することを含んでいる。方法４５０は、更新されたフィルター状態３１４、３１４ｕに基づいて距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣを決定することも含んでいてよい。いくつかの例では、この方法は、更新されたフィルター状態３１４、３１４ｕに基づいて、ワールド座標系におけるカメラ位置を決定することを含んでいる。

図５は、牽引車両１００がトレーラ２００に接近するときに、牽引車両１００と牽引車両１００の後方に配置されているトレーラ２００との間の長手方向距離Ｄ_Ｌｇと、横方向距離Ｄ_Ｌｔと、垂直方向距離Ｈ_ＣＣとを含んでいる距離を決定する方法５００の動作の例示的な段取りを提供する。方法５００は、図１Ａ〜図３Ｂの車両１００を使用する。ブロック５０２で、方法５００は、データ処理ハードウェア３００で、牽引車両１００の後部に配置されているカメラ４１０ａ（たとえば、単眼カメラ４１０ａ）から１つまたは複数の画像４１２を受け取ることを含んでいる。カメラ４１０ａは、データ処理ハードウェアと通信する。ブロック５０４で、方法５００は、データ処理ハードウェア３００によって、１つまたは複数の画像４１２内のトレーラ２００のトレーラカプラ２１２を識別することを含んでいる。ブロック５０６で、方法５００は、データ処理ハードウェア３００によって、１つまたは複数のカプラ特徴点４１３、４１３ｂを、１つまたは複数の画像４１２内で識別されたトレーラカプラ２１２に関連付けることを含んでいる。ブロック５０８で、方法５００は、データ処理ハードウェア３００によって、１つまたは複数の画像４１２内の１つまたは複数の視覚的特徴を識別することを含んでいる。さらに、ブロック５１０で、方法５００は、データ処理ハードウェア３００によって、１つまたは複数の視覚的特徴点４１３、４１３ａを、１つまたは複数の画像４１２内で識別された１つまたは複数の視覚的特徴４１３、４１３ａに関連付けることを含んでいる。ブロック５１２で、方法５００は、データ処理ハードウェア３００によって、１つまたは複数のカプラ特徴点４１３、４１３ｂおよび１つまたは複数の視覚的特徴点４１３、４１３ａを追跡することを含んでいる。ブロック５１４で、方法５００は、データ処理ハードウェア３００で、データ処理ハードウェア３００と通信し、かつ牽引車両１００によって支持されている慣性測定ユニット４２０からセンサーデータ４２２を受け取ることを含んでいる。センサーデータは、牽引車両１００の加速度および角速度を含んでいてよい。さらに、ブロック５１６で、方法５００は、データ処理ハードウェア３００によって、１つまたは複数のカプラ特徴点４１３、４１３ｂと、１つまたは複数の視覚的特徴点４１３、４１３ａと、センサーデータ４２２とに基づいて距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣを決定することを含んでいる。

いくつかの実施形態では、方法５００は、データ処理ハードウェア３００から、データ処理ハードウェア３００と通信するディスプレイ１４２に、距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣを表示するための指示を送ることを含んでいる。方法５００は、データ処理ハードウェア３００から、データ処理ハードウェア３００と通信する駆動支援システム３３０に、距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣに基づいて牽引車両１００をトレーラ２００に向かって自律的に駆動するための指示を送ることも含んでいてよい。いくつかの例では、方法５００は、データ処理ハードウェア３００で、カメラ４１０ａとトレーラカプラ２１２との間の垂直方向距離Ｈ_ＣＣに基づいて、地面１０からのトレーラカプラ２１２の高さＨ_ＣＰを決定することを含んでいる。

いくつかの実施形態では、距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣの決定はさらに、繰り返し拡張カルマンフィルター３１２を実行することを含んでいる。繰り返し拡張カルマンフィルター３１２を実行することは、センサーデータ４２２、１つまたは複数の視覚的特徴点４１３、４１３ａおよび１つまたは複数のカプラ特徴点４１３、４１３ｂに基づいて１つまたは複数の現在のフィルター状態３１４、３１４ｃを決定することを含んでいる。いくつかの例では、繰り返し拡張カルマンフィルター３１２を実行することは、以下のことも含んでいる。すなわち、１つまたは複数の画像４１２のうちの、現在の画像４１２と、その前に受け取った画像４１２との間のピクセルごとの強度差３１６を決定すること、および現在のフィルター状態３１４、３１４ｃと、ピクセルごとの強度差３１６とに基づいて、１つまたは複数の更新されたフィルター状態３１４、３１４ｕを決定することを含んでいる。いくつかの例では、更新されたフィルター状態３１４、３１４ｕに基づいて、カメラ４１０ａとトレーラカプラ２１２との間の距離Ｄ_Ｌｇ、Ｄ_Ｌｔ、Ｈ_ＣＣが決定される。方法５００は、更新されたフィルター状態３１４、３１４ｕに基づいて、ワールド座標系におけるカメラ位置を決定することも含んでいてよい。

本明細書に記載したシステムおよび技術の様々な実施形態を、ディジタル電子回路、集積回路、特別設計のＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはこれらの組み合わせで実現することができる。これらの様々な実施形態は、プログラミング可能なシステム上で実行可能かつ／または解釈可能な１つまたは複数のコンピュータプログラムでの実施形態を含んでいてよい。プログラミング可能なシステムは、少なくとも１つのプログラミング可能なプロセッサを含んでおり、このプロセッサは特定の目的または汎用の目的のものであってよく、ストレージシステム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータおよび指示を受け取るように、かつそれらにデータおよび指示を伝送するように、結合されていてよい。

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている）は、プログラミング可能なプロセッサのための機械命令を含んでおり、高水準の手続き型プログラミング言語および／またはオブジェクト指向プログラミング言語および／またはアセンブリ言語／機械語として具現化することができる。本明細書で用いられる用語「機械可読媒体」および「コンピュータ可読媒体」とは、プログラミング可能なプロセッサへ、機械命令および／またはデータを供給するために用いられる任意のコンピュータプログラム製品、機器および／または装置（たとえば磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））のことを指し、これには機械命令を機械可読信号として受け取る機械可読媒体が含まれる。用語「機械可読信号」とは、プログラミング可能なプロセッサへ機械命令および／またはデータを供給するために用いられる任意の信号のことを指す。

本明細書に記載した保護対象および機能的動作の実施形態を、ディジタル電子回路として、あるいは本明細書で開示されている構造およびそれらの構造的等価物を含んでいる、コンピュータソフトウェア、ファームウェア、またはハードウェアとして、あるいはこれらのうちの１つまたは複数の組み合わせとして、具現化することができる。さらに、本明細書に記載した保護対象を、１つまたは複数のコンピュータプログラム製品として具現化することができ、つまりデータ処理機器によって実行するために、またはデータ処理機器の動作をコントロールするために、コンピュータ可読媒体にコーディングされているコンピュータプログラム命令の１つまたは複数のモジュールとして具現化することができる。コンピュータ可読媒体を、機械可読記憶装置、機械可読ストレージ基板、メモリ装置、機械可読伝播信号に作用する組成物、またはこれらのうちの１つまたは複数の組み合わせとすることができる。用語「データ処理機器」、「コンピューティングデバイス」および「コンピューティングプロセッサ」は、データを処理するためのあらゆる機器、装置および機械を包含し、例を挙げるとすればこれらには、プログラミング可能なプロセッサ、コンピュータ、またはマルチプロセッサまたはマルチコンピュータが含まれる。機器はハードウェアに加え、対象となるコンピュータプログラムのための実行環境を生成するコードを含んでいることができ、たとえばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらのうちの１つまたは複数の組み合わせを構成するコードを含んでいることができる。伝播信号は人工的に生成される信号であって、たとえば機械によって生成される電気的、光学的または電磁的な信号であり、この信号は適切な受け取り機器へ伝送する目的で情報をコーディングするために生成される。

同様に、図面には特定の順序で動作が描かれているが、このことを、図示された特定の順序または逐次的な順序でかかる動作を実施しなければならないと捉えるべきではなく、あるいは所望の結果を達成するためには図示されたすべての動作を実施しなければならないと捉えるべきではない。所定の周囲環境では、マルチタスキングおよび並列処理が有利となる可能性がある。しかも、上述の具現化態様における様々なシステム構成要素の分離を、すべての具現化態様においてかかる分離を行わなければならないと捉えるべきではなく、上述のプログラム構成要素およびシステムを通例、単一のソフトウェア製品にまとめて統合することができる、または複数のソフトウェア製品にパッケージングすることができる、と捉えるべきである。

これまで多数の実施形態について説明してきたが、自明のとおり本開示の着想および範囲を逸脱することなく、様々な変形を行うことができる。よって、その他の実施形態は以下の特許請求の範囲内に含まれる。

Claims (20)

1. 牽引車両がトレーラに接近するときに、前記牽引車両の後部に配置されているカメラと、前記牽引車両の後方に配置されているトレーラによって支持されているトレーラカプラとの間の距離を求める方法であって、
   データ処理ハードウェアによって、前記牽引車両の後方環境の１つまたは複数の画像内の前記トレーラの前記トレーラカプラを識別するステップと、
   前記データ処理ハードウェアで、前記データ処理ハードウェアと通信し、かつ前記牽引車両によって支持されている慣性測定ユニットからセンサーデータを受け取るステップと、
   前記データ処理ハードウェアによって、前記１つまたは複数の画像のうちの、最も新たに受け取った画像と、前記１つまたは複数の画像のうちの、従前に受け取った画像との間のピクセルごとの強度差を求めるステップと、
   前記データ処理ハードウェアによって、識別された前記トレーラカプラと、前記センサーデータと、前記ピクセルごとの強度差とに基づいて、前記カメラと前記トレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを含む前記距離を求めるステップと、
   を含む、方法。
2. さらに、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信するディスプレイに、前記距離を表示するための指示を送るステップを含む、請求項１記載の方法。
3. さらに、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信する駆動支援システムに、前記距離に基づいて前記牽引車両を前記トレーラに向けて自律的に駆動するための指示を送るステップを含む、請求項１記載の方法。
4. さらに、前記データ処理ハードウェアで、前記カメラと前記トレーラカプラとの間の前記垂直方向距離に基づいて、地面からの前記トレーラカプラの高さを求めるステップを含む、請求項１記載の方法。
5. 前記１つまたは複数の画像は単眼カメラによって捕捉される、請求項１記載の方法。
6. 前記慣性測定ユニットからの前記センサーデータは、前記牽引車両の加速度および角速度を含む、請求項１記載の方法。
7. 前記距離を求めるステップはさらに、
   前記センサーデータと前記識別されたトレーラカプラとに基づいて、１つまたは複数の現在のフィルター状態を決定するステップと、
   前記現在のフィルター状態と前記ピクセルごとの強度差とに基づいて、１つまたは複数の更新されたフィルター状態を決定するステップと
   を含む、請求項１記載の方法。
8. さらに、前記更新されたフィルター状態に基づいて前記距離を求めるステップを含む、請求項７記載の方法。
9. さらに、前記更新されたフィルター状態に基づいて、ワールド座標系におけるカメラ位置を求めるステップを含む、請求項８記載の方法。
10. 牽引車両がトレーラに接近するときに、前記牽引車両と、前記牽引車両の後方に配置されている前記トレーラとの間の距離を求める方法であって、
    データ処理ハードウェアで、データ処理ハードウェアと通信し、かつ前記牽引車両の後部に配置されているカメラから１つまたは複数の画像を受け取るステップと、
    前記データ処理ハードウェアによって、前記１つまたは複数の画像内の前記トレーラのトレーラカプラを識別するステップと、
    前記データ処理ハードウェアによって、１つまたは複数のカプラ特徴点を、前記１つまたは複数の画像内で識別された前記トレーラカプラに関連付けるステップと、
    前記データ処理ハードウェアによって、前記１つまたは複数の画像内の１つまたは複数の視覚的特徴を識別するステップと、
    前記データ処理ハードウェアによって、１つまたは複数の視覚的特徴点を、前記１つまたは複数の画像内で識別された前記１つまたは複数の視覚的特徴に関連付けるステップと、
    前記データ処理ハードウェアによって、前記１つまたは複数のカプラ特徴点および前記１つまたは複数の視覚的特徴点を追跡するステップと、
    前記データ処理ハードウェアで、前記データ処理ハードウェアと通信し、かつ前記牽引車両によって支持されている慣性測定ユニットからセンサーデータを受け取るステップと、
    前記データ処理ハードウェアによって、前記１つまたは複数のカプラ特徴点と、前記１つまたは複数の視覚的特徴点と、前記センサーデータとに基づいて、前記カメラと前記トレーラカプラとの間の長手方向距離と、横方向距離と、垂直方向距離とを含む前記距離を求めるステップと
    を含む、方法。
11. さらに、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信するディスプレイに、前記距離を表示するための指示を送るステップを含む、請求項１０記載の方法。
12. さらに、前記データ処理ハードウェアから、前記データ処理ハードウェアと通信する駆動支援システムに、前記距離に基づいて前記牽引車両を前記トレーラに向けて自律的に駆動するための指示を送るステップを含む、請求項１０記載の方法。
13. さらに、前記データ処理ハードウェアで、前記カメラと前記トレーラカプラとの間の前記垂直方向距離に基づいて、地面からの前記トレーラカプラの高さを求めるステップを含む、請求項１０記載の方法。
14. 前記カメラは単眼カメラを含む、請求項１０記載の方法。
15. 前記慣性測定ユニットからの前記センサーデータは、前記牽引車両の加速度および角速度を含む、請求項１０記載の方法。
16. 前記距離を求めるステップはさらに、繰り返し拡張カルマンフィルターを実行するステップを含む、請求項１０記載の方法。
17. 前記繰り返し拡張カルマンフィルターを実行するステップは、前記センサーデータと、前記１つまたは複数の視覚的特徴点と、前記１つまたは複数のカプラ特徴点とに基づいて１つまたは複数の現在のフィルター状態を決定するステップを含む、請求項１６記載の方法。
18. 前記繰り返し拡張カルマンフィルターを実行するステップは、
    前記１つまたは複数の画像のうちの、現在の画像と、従前に受け取った画像との間のピクセルごとの強度差を求めるステップと、
    前記現在のフィルター状態と、前記ピクセルごとの強度差とに基づいて、１つまたは複数の更新されたフィルター状態を決定するステップと
    を含む、請求項１７記載の方法。
19. さらに、前記更新されたフィルター状態に基づいて、前記カメラと前記トレーラカプラとの間の前記距離を求めるステップを含む、請求項１８記載の方法。
20. さらに、前記更新されたフィルター状態に基づいて、ワールド座標系におけるカメラ位置を求めるステップを含む、請求項１９記載の方法。

Images