JP2020535077A - 画像座標を使用した自動トレーラ連結 - Google Patents

画像座標を使用した自動トレーラ連結 Download PDF

Info

Publication number
JP2020535077A
JP2020535077A JP2020538767A JP2020538767A JP2020535077A JP 2020535077 A JP2020535077 A JP 2020535077A JP 2020538767 A JP2020538767 A JP 2020538767A JP 2020538767 A JP2020538767 A JP 2020538767A JP 2020535077 A JP2020535077 A JP 2020535077A
Authority
JP
Japan
Prior art keywords
vehicle
trailer
hitch
final position
towing vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020538767A
Other languages
English (en)
Other versions
JP6938793B2 (ja
Inventor
カーペンター カイル
カーペンター カイル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Systems Inc
Original Assignee
Continental Automotive Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Systems Inc filed Critical Continental Automotive Systems Inc
Publication of JP2020535077A publication Critical patent/JP2020535077A/ja
Application granted granted Critical
Publication of JP6938793B2 publication Critical patent/JP6938793B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/001—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits the torque NOT being among the input parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Vehicle Body Suspensions (AREA)

Abstract

トレーラへの取り付けのために車両をリバース操作する方法は、少なくとも１つの車両カメラからの１つ以上の画像内に示されたトレーラヒッチレシーバの画像位置を受信することを含む。方法はまた、牽引車両の前後軸とトレーラの前後軸との間の画像におけるピクセル角度差を求めることと、牽引車両ヒッチボールとヒッチレシーバとの間のピクセル距離を求めることと、初期位置からトレーラに隣接する最終位置までの車両経路を求めることとを含む。車両経路は、車両経路に沿って初期位置から最終位置まで車両を移動させるように構成された操作を含む。その後、計算装置と通信する運転システムにおいて、初期位置から最終位置までの車両経路に自律的な追従が行われる。

Description

本開示は、自動車に関し、より詳細には、車両をトレーラに連結することを支援する自動車用の運転者支援システムに関する。
背景
トレーラは通常、動力牽引車両に牽引される無動力車両である。トレーラは、特に、ユーティリティトレーラ、ポップアップキャンピングカー、旅行用トレーラ、家畜用トレーラ、フラットベッドトレーラ、密閉型自動車運搬車およびボートトレーラでありうる。牽引車両は、自動車、クロスオーバー、トラック、バン、スポーツユーティリティビークル（ＳＵＶ）、レクリエーショナルビークル（ＲＶ）、またはトレーラに取り付けてトレーラを牽引するように構成された他の任意の車両でありうる。トレーラは、トレーラヒッチを使用して動力車両に取り付けることができる。レシーバヒッチが牽引車両に取り付けられており、これがトレーラヒッチに接続されて、接続部を形成する。トレーラヒッチは、ボールおよびソケット、第５輪およびグースネック、またはトレーラジャックであってよい。その他の取り付け機構も使用可能である。トレーラと動力車両との間の機械的接続に加えて、幾つかの例では、トレーラは牽引車両に電気的に接続される。こうして、電気的接続により、トレーラは動力車両のリアライト回路から給電を受けることができ、トレーラが動力車両のライトと同期するテールライト、ウインカ、ブレーキライトを有することが可能となる。
牽引車両をトレーラに接続することは、複数の人間を必要とするため、牽引車両の運転者が直面する課題の一部となっている。例えば、１人の人員、例えば運転者が車両を運転し、別の１人以上の人員が、牽引車両とトレーラとを監視しながら、ヒッチとの整列のために牽引車両がたどるべき経路に関する方向を運転者に提供しなければならない。運転者に方向を提供する人員が牽引車両をトレーラに連結することに慣れていない場合、牽引車両の経路を方向づけるための効率的な指示の提供が困難となることがある。
センサ技術の最近の進歩により、車両の安全システムが改善されている。衝突を検出して回避するための構成および方法が利用可能となっている。このような運転者支援システムは、車両に配置されたセンサを使用して、発生しようとしている衝突を検出する。幾つかの実施例では、システムは、衝突を防止または最小化するために、１つ以上の運転状況を運転者に警告することができる。加えて、車両が前進方向に走行しているときに、センサおよびカメラを使用して障害物の可能性について運転者に警報を発出することもできる。したがって、牽引車両の運転者が直面する課題を克服するための、センサを含んだシステムを提供することが所望されている。
概要
１つの一般的な態様は、車両のニューラルネットワークによって、１つ以上の画像内の１つ以上のトレーラを検出することと、画像内のトレーラヒッチレシーバを検出することとを含む、トレーラへの取り付けのために車両をリバース操作する方法を含む。操作する方法はまた、ニューラルネットワークと通信する計算装置において、牽引車両の前後軸とトレーラの前後軸との間の画像におけるピクセル角度差を求めることと、牽引車両ヒッチボールとヒッチレシーバとの間のピクセル距離を求めることと、初期位置からトレーラに隣接する最終位置までの車両経路を求めることとを含む。車両経路は、車両経路に沿って初期位置から最終位置まで車両を移動させるように構成された操作を含む。また、車両経路に沿って初期位置から最終位置まで車両を移動させるように構成された操作を含む車両経路を求めることと、その後、計算装置と通信する運転システムにおいて、初期位置から最終位置までの車両経路に自律的に追従することとを含む。
１つの一般的な態様は、ユーザインタフェースを使用して、運転者が選択した、少なくとも１つの車両カメラからの１つ以上の画像内に示されているトレーラヒッチレシーバの画像位置を受信することを含む、トレーラへの取り付けのために車両をリバース操作する方法を含む。操作する方法はまた、計算装置において、牽引車両の前後軸とトレーラの前後軸との間の画像におけるピクセル角度差を求めることと、牽引車両ヒッチボールとヒッチレシーバとの間のピクセル距離を求めることと、初期位置からトレーラに隣接する最終位置までの車両経路を求めることとを含む。車両経路は、車両経路に沿って初期位置から最終位置まで車両を移動させるように構成された操作を含む。また、車両経路に沿って初期位置から最終位置まで車両を移動させるように構成された操作を含む車両経路を求めることと、その後、計算装置と通信する運転システムにおいて、初期位置から最終位置までの車両経路に自律的に追従することとを含む。
本発明の他の目的、特徴および特性、ならびに動作方法および構造の関連要素の機能、部品の組み合わせおよび製造の経済性は、添付の図面を参照しつつ、以下の詳細な説明および添付の特許請求の範囲を考察することにより明らかとなり、これらのすべてが本明細書の一部を形成する。詳細な説明および特定の実施例は本開示の好ましい実施形態を示しているが、例示を目的としているに過ぎず、本開示の範囲の限定を意図していないことを理解されたい。
本開示は、詳細な説明および添付の図面からより完全に理解される。
例示的な牽引車両および牽引車両の後方のトレーラの概略図である。 トレーラヒッチレシーバ位置を検出するための例示的なユーザインタフェースの概略図である。 例示的な牽引車両の斜視図である。 例示的な牽引車両の斜視図である。 例示的な牽引車両の斜視図である。 画像分析に基づいてトレーラヒッチレシーバ位置を検出するための制御ストラテジである。 計画経路に沿って自律的に操作を行う例示的な牽引車両の斜視図である。 計画経路に沿って自律的に操作を行う例示的な牽引車両の斜視図である。 初期位置における例示的な牽引車両の斜視図である。 中間位置における例示的な牽引車両の斜視図である。 最終位置における例示的な牽引車両の斜視図である。 トレーラヒッチに接続する例示的な車両ヒッチの斜視図である。 トレーラヒッチに接続する例示的な車両ヒッチの斜視図である。 トレーラヒッチに接続する例示的な車両ヒッチの斜視図である。 トレーラヒッチに接続する例示的な車両ヒッチの斜視図である。 トレーラに取り付けるために牽引車両をリバース動作させるための動作の例示的な構成のフローチャートである。
各図面における同様の参照記号は、同様の要素を示す。
詳細な説明
牽引車両は、以下に限定されるものではないが、例えば自動車、クロスオーバー、トラック、バン、スポーツユーティリティビークル（ＳＵＶ）およびレクリエーショナルビークル（ＲＶ）であり、トレーラを牽引するように構成可能である。牽引車両は、トレーラヒッチを介してトレーラに接続される。トレーラへ向かう操作を行ってトレーラを取り付けるためのより自動化されたシステムおよび方法を有し、これにより、運転者が牽引車両を後進方向に運転し、その間、別の１人以上の人員がトレーラひいてはトレーラのヒッチとの整列のために牽引車両がたどるべき経路に関する方向を運転手に提供する必要性を低減できる牽引車両を有することが望ましい。このように、後進運転用の支援装置を備えた牽引車両により、牽引車両をトレーラに連結するときに、運転者に安全かつより迅速な体験が提供される。
図１Ａ〜図２Ｃを参照すると、幾つかの実装形態では、牽引車両１００の運転者が、トレーラ２００を牽引することを望んでいる。牽引車両１００は、選択したトレーラ２００に向かう運転を行うために運転者にガイダンスを提供するための運転者支援システム３１０を備えるように構成可能である。牽引車両１００は、例えばｘ成分、ｙ成分およびｚ成分を有する運転コマンドに基づいて、路面を横断して牽引車両１００を操作する運転システム１１０を含むことができる。図示のように、運転システム１１０は、右前輪１１２、１１２ａ、左前輪１１２、１１２ｂ、右後輪１１２、１１２ｃおよび左後輪１１２、１１２ｄを含む。運転システム１１０は、同様に、他の車輪構成を有してもよい。運転システム１１０はまた、各車輪１１２、１１２ａ〜１１２ｄに関連するブレーキを含むブレーキシステム１２０と、牽引車両１００の速度および方向を調整するように構成された加速システム１３０とを含みうる。さらに、運転システム１１０は、各車輪１１２、１１２ａ〜１１２ｄに関連するタイヤ、タイヤ空気、ばね、ショックアブソーバ、および牽引車両１００をその車輪１１２、１１２ａ〜１１２ｄに接続して牽引車両１００と車輪１１２、１１２ａ〜１１２ｄとの間の相対運動を可能にするリンク機構を含むサスペンションシステム１３２を含みうる。サスペンションシステム１３２は、牽引車両１００の道路ハンドリングを改善し、ロードノイズ、バンプおよび振動を分離することにより、より良い乗り心地を提供する。さらに、サスペンションシステム１３２は、牽引車両１００の高さを調整して、牽引車両ヒッチ１６０がトレーラヒッチ２１０と整列することを可能にするように構成され、牽引車両１００とトレーラ２００との間の接続を支援する。
牽引車両１００は、牽引車両１００によって定義される３つの相互に垂直な軸（横軸Ｘ、前後軸Ｙ、および中央垂直軸Ｚ）に対する移動の様々な組み合わせによって路面を横断して移動することができる。横軸Ｘは、牽引車両１００の右側Ｒと左側との間に延在する。前後軸Ｙに沿った前進運転方向は、前進運動とも称され、Ｆとして示されている。加えて、前後方向Ｙに沿った後方運転方向または後進運転方向は、後進運動とも称され、Ｒとして示されている。サスペンションシステム１３２により牽引車両１００のサスペンションが調整されると、牽引車両１００は、Ｘ軸および／もしくはＹ軸を中心として傾斜可能となるかまたは中央垂直軸Ｚに沿って運動可能となる。
運転者支援システム３１０は、ユーザインタフェース１４０を含みうる。ユーザインタフェース１４０は、車両に組み込まれるディスプレイであってもよく、またはパーソナルワイヤレスデバイスなどの別個の装置上に提供されてもよい。ユーザインタフェース１４０は、１つ以上の入力機構またはタッチパネルディスプレイ１４２を介して運転者から１つ以上のユーザコマンドを受信し、かつ／または１つ以上の通知を運転者に表示する。ユーザインタフェース１４０は、車両コントローラ３００と通信し、車両コントローラ３００は次に、センサシステム４００および運転システム１１０と通信する。幾つかの実施例では、ユーザインタフェース１４０は、牽引車両１００の環境の画像を表示し、１つ以上の行動の実行を開始する（運転者からの）１つ以上のコマンドを導き、当該コマンドを受信する。車両コントローラ３００は、コンピューティングプロセッサ上で実行可能な命令を保存することができる非一時性メモリ３０４（例えば、ハードディスク、フラッシュメモリ、ランダムアクセスメモリ）と通信する計算装置（またはプロセッサ）３０２（例えば１つ以上のコンピューティングプロセッサを有する中央処理装置）を含む。
車両コントローラ３００は、ここでは経路追従サブシステム３２０を含む運転者支援システム３１０を実行する。経路追従サブシステム３２０は、経路計画システム５５０から計画経路５５２（図４Ａおよび図４Ｂ）を受信し、行動部３２２〜３３０を実行してコマンド３０１を運転システム１１０に送信させ、牽引車両１００が計画経路５５２に沿って後進方向Ｒに自律的に運転するように導く。
経路追従サブシステム３２０は、ブレーキ行動部３２２、速度行動部３２４、操舵行動部３２６、ヒッチ接続行動部３２８およびサスペンション調整行動部３３０を含む。各行動部３２２〜３３０は、牽引車両１００に、とりわけ、後方への運転、特定の角度での旋回、制動、加速、減速などのアクションを実行させる。車両コントローラ３００は、運転システム１１０を制御することにより、より具体的にはコマンド３０１を運転システム１１０に発出することにより、路面を横断する任意の方向に牽引車両１００を操作することができる。例えば、車両コントローラ３００は、牽引車両１００を（図４Ａに示すような）初期位置から（図５Ｃに示すような）最終位置まで操作することができる。最終位置では、牽引車両１００のヒッチボール１６２は、牽引車両１００と選択したトレーラ２００とを接続するトレーラ２００のヒッチカプラ２１２と整列する。
牽引車両１００は、信頼性が高く堅牢な自律運転を提供するためのセンサシステム４００を含むことができる。センサシステム４００は、牽引車両の環境の認識を形成するために別々にまたは互いに使用可能な種々のタイプのセンサを含むことができ、当該牽引車両の環境は、自律的な運転とセンサシステム４００が検出した対象物および障害物に基づいてインテリジェントな決定とを行うために、牽引車両１００によって使用される。センサは、以下に限定されるものではないが、１つ以上の撮像装置（例えばカメラ）４１０、およびセンサ４２０、例えば、以下に限定されるものではないが、レーダ、ソナー、ＬＩＤＡＲ（Light Detection and Ranging：遠隔の目標物の距離および／または他の情報を見出すべく散乱光の特性を測定する光学リモートセンシングを含んでよい）、ＬＡＤＡＲ（Laser Detection and Ranging）等を含むことができる。さらに、カメラ４１０およびセンサ４２０を使用して、牽引車両１００が前進方向Ｆまたは後進方向Ｒへ走行しているときに、ユーザインタフェース１４０を介した聴覚警報および／または視覚警報によって、起こりうる障害について運転者に警報を発出することができる。したがって、センサシステム４００は、半自律的条件または自律的条件のもとで動作する牽引車両１００の安全性を高めるために特に有用である。
幾つかの実装形態では、牽引車両１００は、牽引車両１００の後進運転経路のビューを提供するように取り付けられた後方カメラ４１０、４１０ａを含む。さらに、幾つかの実施例では、牽引車両１００は、牽引車両１００の前進運転経路のビューを提供する前方カメラ４１０、４１０ｂ、牽引車両１００の右側に配置された右カメラ４１０、４１０ｃ、および牽引車両１００の左側に配置された左カメラ４１０、４１０ｄを含む。左右のカメラ４１０、４１０ｃ、４１０ｄは牽引車両１００の付加的なサイドビューを提供する。この場合、牽引車両１００は、前進運転経路および後進運転経路に沿って検出された対象物および障害物に加えて、牽引車両１００の両側に位置する対象物および障害物を検出することができる。カメラ４１０、４１０ａ〜４１０ｄは、牽引車両１００の後進走行経路のビューを提供しうる単眼カメラ、双眼カメラ、または別のタイプの測定装置であってもよい。
幾つかの実装形態では、牽引車両１００は、牽引車両１００の自律運転を改善するために、１つ以上のニューラルネットワーク（ＮＮ）５００、例えばディープニューラルネットワーク（ＤＮＮ）を含む。ＤＮＮ５００は、他の分野の中でも特にコンピュータサイエンスで使用される計算アプローチであり、神経単位の大規模なコレクションに基づいており、軸索によって接続された生体ニューロンの大きなクラスタによって生体脳が問題を解決する方式をほぼ模倣するものである。ＤＮＮ５００は、プログラミングされるものではなく、自己学習しかつトレーニングされるものであり、ソリューション特徴の検出を従来のコンピュータプログラムで表現することが困難な分野において優れている。換言すれば、ＤＮＮ５００は、パターン認識するように設計された一連のアルゴリズムである。ＤＮＮ５００は、機械知覚、ラベリングまたはクラスタリングの生の入力を介して（例えば、センサシステム４００からの）センサシステムデータ４０２を解釈する。認識されるパターンは数値、ベクトルであり、画像、テキスト、音声、時系列などの全現実世界のデータが変換される。ＤＮＮ５００は、ＤＮＮ非一時性メモリ５０４と通信する非線形処理ユニット５０２の複数の層を含む。ＤＮＮ非一時性メモリ５０４は、非線形処理ユニット５０２で実行される際、ＤＮＮ５００に出力５０６、５０８を提供させる命令を保存している。各非線形処理ユニット５０２は、トレーニングを通じて学習されたパラメータを使用して、入力または信号（例えば、センサシステムデータ４０２）を変換するように構成される。入力（例えば、センサシステムデータ４０２）から出力５０６、５０８への一連の変換は、非線形処理ユニット５０２の複数の層で発生する。したがって、ＤＮＮ５００は、ＤＧＰＳまたはＧＰＳを有する必要なく、画像４１２またはセンサデータ４２２に基づいて位置を求めることができる。
ＤＮＮ５００は、センサシステムデータ４０２（画像４１２および／またはセンサデータ４２２を含む）を受信し、受信したデータ４２０に基づいて、画像出力５０６をユーザインタフェース１４０に、かつ／またはデータ出力５０８を車両コントローラ３００に、提供する。幾つかの実施例では、ＤＮＮ５００は、ＤＮＮ５００と通信するカメラ４１０から牽引車両１００のリアビューの画像４１２を受信する。ＤＮＮ５００は、画像４１２を分析し、受信画像４１２内のトレーラ２００およびトレーラヒッチレシーバ２１２を識別する。ＤＮＮ５００はまた、ＤＮＮ５００と通信するセンサ４２０からセンサデータ４２０を受信し、受信したセンサデータ４２０を分析することができる。分析画像４１２（または分析画像４１２およびセンサデータ４２２）に基づいて、ＤＮＮ５００は、以下でさらに詳細に説明するように、牽引車両ヒッチボール１６２に対するトレーラヒッチレシーバ２１２の位置を識別する。このように、ＤＮＮ５００は、牽引車両１００の後方の所定の距離に配置されたトレーラ２００の表現１４６を表示する受信画像４１２をユーザインタフェース１４０に表示する。幾つかの実施例では、ユーザインタフェースはタッチパネルディスプレイ１４２である。他の実施例では、ユーザインタフェース１４０はタッチパネルではなく、運転者は、入力デバイス、例えば、以下に限定されるものではないが、回転ノブまたはマウスを使用することができる。
少なくとも図１Ａ、図１Ｂおよび図３を参照すると、トレーラヒッチレシーバ２１２の位置は、ヒッチ位置特定システム５２０によって求められる。ヒッチ位置特定システム５２０は、ＤＮＮ５００またはコントローラ３００を使用して、トレーラヒッチレシーバ２１２の位置（ＸＴ，ＹＴ）の画像座標を計算し、画像１４４内の車両ヒッチボールの位置（ＸＶ，ＹＶ）を計算する。選択可能なトレーラを検出するための境界が概略的に示されている。境界は、カメラ４１０、４１０ａの視野によって、またはＤＮＮ５００が画像分析および計算を実行可能な車両１００とトレーラ２００との間の角度差によって、または経路追従サブシステム３２０が実行可能な車両１００とトレーラ２００との間の角度差によって、画定可能である。境界およびヒッチ位置特定システム５２０の計算は、画像１４４上に概略的に示されているが、完全に部分的であっても、実際には画像１４４に表示されなくてもよい。
ＤＮＮ５００またはコントローラ３００は、画像１４４内のヒッチレシーバ２１２、ならびに他のトレーラ情報、例えば少なくとも１つの水平トレーラエッジ２２０を認識するように教示されうる。検出されたトレーラ情報に基づいて、ＤＮＮ５００は、牽引車両の前後軸Ｙとトレーラの前後軸Ｔとの間の角度差Θを計算可能である。角度差Θは、画像１４４内の、識別された牽引車両の前後軸Ｙとトレーラの前後軸Ｔとの間のピクセル角度であり、
Figure 2020535077
 によって表され、ここで、Δｘ＝ＸＴ−ＸＶかつΔｙ＝ＹＴ−ＹＶである。
さらに、トレーラヒッチレシーバ２１２の位置（ＸＴ，ＹＴ）の画像座標と画像１４４の車両ヒッチボールの位置（ＸＶ，ＹＶ）との間のピクセル距離（λ）も、
Figure 2020535077
 によって計算される。
トレーラ２００の位置、具体的にはトレーラヒッチレシーバ２１２の位置が識別された後、経路計画システム５５０は、牽引車両１００の位置（例えば配向および距離）に対する選択したトレーラ２００の位置（ＤＮＮ５００またはコントローラ３００により、受信されたセンサシステムデータ４０２から求められる）に基づいて、牽引車両１００とトレーラ２００との間の経路５５２（図４Ａ、図４Ｂ）を計画する。これは、牽引車両１００が選択したトレーラ２００に向けて自律的に後退しているときに計画される。計画経路５５２は、牽引車両１００が自律的な運転を行ってトレーラ２００に接続することを可能にする。経路計画システム５５０は、牽引車両１００がトレーラ２００から所定の距離Ｄ内の中間位置にあり、トレーラ２００とほぼ平行に整列され、トレーラ２００とは反対側を向くように、牽引車両１００が自律的に操作を行う経路５５２を計画する。牽引車両１００のヒッチ１６０は、トレーラ２００のヒッチ２１０と実質的に整列している。
一実施形態では、牽引車両の前後軸Ｙとトレーラの前後軸Ｔとの間の角度差Θ、およびヒッチボール１６２とヒッチレシーバ２１２との間のピクセル距離（λ）は、操舵要求を提供するために示される制御ストラテジに入力される。経路計画システム５５０、５５０Ｂによる操舵要求の計算に関するさらなる詳細を以下に説明する。
幾つかの実施例では、経路計画システム５５０は、図２Ａに示すように車両コントローラ３００の一部である。他の実施例では、経路計画システム５５０は、図２Ｂに示すようにＤＮＮ５００の一部である。図２Ａを参照すると、ＤＮＮ５００は、ユーザ入力デバイス１４０から受信した、牽引車両１００に対する選択したトレーラ２００の位置を含むデータ出力５０８を、コントローラ３００に送信する。
また、図２Ｃは、牽引車両１００の例示的な実施形態を示す。経路計画システム５５０は、コントローラの一部であり、ＤＮＮ５００は利用されない。当該実施形態および場合によっては図２Ｂに示される実施形態では、牽引車両１００の運転者は、画像内のトレーラレシーバ位置２１２を選択する責任を負う。これは、ユーザインタフェース１４０用のノブ１４３およびボタン１４５でカーソルを操作することにより、ノブ１４３およびボタン１４５で画像上の所望の位置を選択することにより、タッチパネルディスプレイ１４２を介して選択することにより、またはトレーラヒッチレシーバ２１２の位置に対応する画像１４４内の関心地点を表す幾つかの他の画像（車両ヒッチカプラ１６２の経路、車輪１１２ｃ〜１１２ｄの経路等）を操作することにより、行うことができる。
一実施形態では、経路計画システム５５０ａは、牽引車両１００と選択したトレーラ２００との間の経路５５２を計画する。経路計画システム５５０ａは、経路５５２を求めるために幾つかの方法を使用することができる。図４Ａおよび図４Ｂは、経路計画のための方法を提供している。幾つかの実施例では、経路計画システム５５０ａはその前後軸Ｙを後進方向Ｒに延長し、一方、トレーラ２００はトレーラ２００の長さを中心とした前後軸を前進方向に延長する。経路計画システム５５０ａは、トレーラの前後軸に面するよう、牽引車両の前後軸Ｙに第１の接点５５５で接する第１の円５５４を描き、さらに、牽引車両の前後軸Ｙに面するよう、トレーラの前後軸に第２の接点５５７で接する第２の円５５６を描く。第１の円５５４および第２の円５５６は交点５５８で交差する。第１の円５５４および第２の円５５６のサイズは、牽引車両１００とトレーラ２００との間の距離、牽引車両１００とトレーラ２００との間に位置する障害物および対象物、ならびに他の考慮事項に基づいて調整可能および操作可能である。経路計画システム５５０ａは、牽引車両の前後軸Ｙに第１の接点５５５まで追従し、次に、交点５５８まで第１の円５５４の弧に沿って移動し、次に、第２の接点５５７まで第２の円５５６の弧に沿って移動し、次にトレーラの前後軸に追従することによって、経路５５２を求める。このように、計画経路５５２は、牽引車両１００のヒッチ１６０が実質的にトレーラ２００のヒッチ２１０と整列して、牽引車両１００をトレーラ２００とほぼ平行に整列させる配向で位置づける。換言すれば、牽引車両１００の前後軸Ｙはトレーラ２００の前後軸Ｔと実質的に整列する。図４Ａは、牽引車両１００の前後軸Ｙがトレーラ２００の前後軸Ｔと実質的に平行であるときの経路５５２の実施例を示す。一方、図４Ｂは、牽引車両１００の前後軸Ｙがトレーラ２００の前後軸Ｔと実質的に平行でないときの経路５５２の実施例を示す。
引き続き図２Ａ、図４Ａおよび図４Ｂを参照すると、幾つかの実施例では、牽引車両１００が計画経路５５２に沿って自律運転を行う場合、牽引車両１００が受信したセンサシステムデータ４０２すなわち画像４１２に基づいて計画経路５５２に沿って移動するときに、ＤＮＮ５００が、牽引車両１００に対する選択したトレーラ２００の位置を車両コントローラ３００に継続的に送信する。
幾つかの実施例では、ＤＮＮ５００は、計画経路５５２に沿った１つ以上の対象物を識別し、１つ以上の対象物の位置に関するデータを経路計画システム５５０ａに送信する。この場合、経路計画システム５５０ａは、計画経路５５２を再計算して１つ以上の対象物を回避することができる。幾つかの実施例では、経路計画システム５５０ａが衝突確率を求め、衝突確率が所定の閾値を超える場合、経路計画システム５５０ａが経路を調整し、これを経路追従サブシステム３２０に送信する。
再び図２Ａおよび図２Ｂを参照すると、経路計画システム５５０が経路５５２を計画したとき、経路追従サブシステム３２０は、運転システム１１０に計画経路５５２を自律的に追従させる行動を実行するように構成される。したがって、経路追従サブシステム３２０は、実行時に、計画経路５５２に沿って牽引車両１００の自律運転を可能にする１つ以上の行動部３２２〜３３０を含む。行動部３２２〜３３０は、以下に限定されるものではないが、ブレーキ行動部３２２、速度行動部３２４、操舵行動部３２６、ヒッチ接続行動部３２８およびサスペンション調整行動部３３０を含むことができる。
ブレーキ行動部３２２は、牽引車両１００を停止するため、または計画経路５５２に基づいて牽引車両を減速させるために実行可能である。ブレーキ行動部３２２は、信号またはコマンド３０１を、運転システム１１０、例えばブレーキシステム１２０に送信して、牽引車両１００を停止するか、または牽引車両１００の速度を低下させる。
速度行動部３２４は、計画経路５５２に基づいて加速または減速することによって牽引車両１００の速度を変化させるために実行可能である。速度行動部３２４は、信号またはコマンド３０１を、減速する場合はブレーキシステム１２０に、加速する場合は加速システム１３０に、送信する。
操舵行動部３２６は、計画経路に基づいて牽引車両１００の方向を変化させるために実行可能である。このように、操舵行動部３２６は、運転システム１１０に方向を変化させる操舵の角度を示す信号またはコマンド３０１を、加速システム１３０に送信する。
図５Ａ〜図５Ｃは、選択したトレーラ２００に対して、初期位置ＰＩ（図５Ａ）、中間位置ＰＭ（図５Ｂ）、および最終位置ＰＦ（図５Ｃ）または接続位置にある牽引車両１００を示す。図５Ａを参照すると、牽引車両１００は、選択したトレーラ２００に向かう自律操作を開始する前には、トレーラ２００に対して初期位置ＰＩにある。幾つかの実施例では、牽引車両１００と選択したトレーラ２００との間の初期距離ＤＩは、約１５メートルである。牽引車両１００は、図５Ｂに示すように、選択したトレーラ２００からの中間距離ＤＭである中間位置ＰＭに到達するまで、計画経路５５２に沿って自律的に操作を行う。中間位置ＰＭでは、牽引車両ヒッチ１６０は、選択したトレーラ２００とほぼ平行に整列した配向にあり、トレーラヒッチ２１０のヒッチ２１０と実質的に整列している。換言すれば、車両の前後軸Ｙは車両の垂直軸Ｚを中心として延在する平面を定義し、トレーラの前後軸Ｔはトレーラの垂直軸を中心として延在する平面を定義する。幾つかの実施例では、中間距離ＤＭは約１メートルである。
図６Ａ〜図６Ｄを参照すると、幾つかの実施例では、牽引車両１００が中間位置ＰＭにあるとき、ヒッチ接続行動部３２８が実行され、車両ヒッチ１６０がトレーラヒッチ２１０に接続される。ＤＮＮ５００は、牽引車両ヒッチボール１６２の上部とトレーラヒッチカプラ２１２の下部との間の相対高さＨＲを求める。牽引車両１００と選択したトレーラ２００とを接続するために、トレーラヒッチカプラ２１２は、牽引車両ヒッチボール１６２を解放可能に受容する。したがって、牽引車両ヒッチボール１６２をトレーラヒッチカプラ２１２に接続するには、牽引車両ヒッチボール１６２が下方に移動してトレーラヒッチカプラ２１２に挿入可能となるよう、相対高さＨＲがゼロに等しくなければならない。したがって、ヒッチ接続行動部３２８が牽引車両ヒッチボール１６２とトレーラヒッチカプラ２１２との間のゼロより大きい相対高さＨＲをＤＮＮ５００から受信すると、ヒッチ接続行動部３２８は、サスペンション調整行動部３３０にコマンドを送信して、サスペンションシステム１３２に対し、ＤＮＮ５００からの測定値に基づいて牽引車両１００の高さを調整して相対高さＨＲを下げるコマンド３０１を発出して実行させる。ヒッチ接続行動部３２８がゼロに等しい相対高さＨＲを受信すると、次いで、ヒッチ接続行動部３２８は、運転システム１１０にコマンド３０１を発出して経路５５２の残りの部分、すなわち中間位置ＰＭから最終位置ＰＦまで（図５Ｃ）に沿って操作させ、牽引車両１００を選択したトレーラ２００に接続する。
代替的に、図２Ｂ〜図２Ｃに示すように、上述のことは、ＤＮＮ５００ではなく、コントローラ３００によって実行することもできる。
図７は、選択したトレーラ２００に向かって（図１〜図５に示したような）牽引車両１００を自律的に操作させる方法７００のための動作の例示的な構成を示す。ブロック７０２で、方法７００は、運転者が牽引車両１００をトレーラ２００に自律的に連結させようとする指示を受信することを含む。当該指示は、牽引車両１００のユーザインタフェース１４０上での選択によるもの、牽引車両を（反転なしに）後退させるもの、または任意の他の指示によるものであってもよい。ブロック７０４で、コントローラ３００もしくはＤＮＮ５００は、トレーラを検出し、トレーラヒッチレシーバおよび少なくとも１つのトレーラエッジを含む他のトレーラデータを識別する。決定ブロック７０６で、方法７００は、牽引車両の前後軸Ｙとトレーラの前後軸Ｔとの間の角度差Θと、ヒッチ位置特定システム５２０を備えたヒッチボール１６２とヒッチレシーバ２１２との間のピクセル距離（λ）とを求める。ブロック７０８で、方法７００は、牽引車両１００の初期位置ＰＩから選択したトレーラ２００に対する最終位置ＰＦまでの経路５５２を計画することを含む。幾つかの実施例では、経路計画システムが経路５５２を計画する。経路計画システム５５０は、コントローラ３００の一部またはＤＮＮ５００の一部であってもよい。ブロック７１０において、方法７００は、経路追従サブシステム３２０を実行することを含む。決定ブロック７１２で、方法７００は、牽引車両１００が選択したトレーラ２００から所定の距離内にあるかどうかを判別する。すなわち、方法７００は、牽引車両１００が中間位置ＰＭに到達したかどうかを判別する。牽引車両１００が中間位置ＰＭに到達していれば、方法７００は、決定ブロック７１４で、牽引車両１００のヒッチボール１６２の上部と選択したトレーラ２００のヒッチカプラ２１２の下部との間の相対高さＨＲを求め、相対高さＨＲに基づいて、ヒッチカプラ２１２がヒッチボール１６２を解放可能に受容できるかどうかを判別する。換言すれば、方法７００は、相対高さＨＲがゼロに等しいかどうかを判別する。相対高さＨＲがゼロに等しくない場合、方法７００は、ブロック７１６で牽引車両１００のサスペンションを調整した後に相対高さＨＲを求め、さらにブロック７１４で相対高さＨＲがゼロに等しいかどうかを検査する。相対高さＨＲがゼロに等しい場合、方法７００は次に、ブロック７１８で中間位置ＰＭから最終位置ＰＦまでの経路５５２に関する操作を続行し、牽引車両１００のヒッチボール１６２を選択したトレーラ２００のヒッチカプラ２１２と接続する。
上記の実装形態は、以下の特徴の１つ以上を含みうる。最終位置では、牽引車両ヒッチカプラ１６２を、トレーラヒッチカプラ２１２のサイズ以下であるトレーラヒッチカプラ２１２の中心からの距離内に配置する。最終位置では、牽引車両ヒッチ１６２を、トレーラヒッチカプラ２１２のサイズの１／２以下であるトレーラヒッチカプラ２１２の中心からの距離内に配置する。あるいは最終位置では、牽引車両ヒッチ１６２を、牽引車両１００のさらなる操作なしに、牽引車両ヒッチ１６２とトレーラヒッチカプラ２１２とを互いに連結するのに十分に近いトレーラヒッチカプラ２１２の中心からの距離内に配置する。
本明細書において説明したシステムおよび技術の種々の実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェアおよび／またはこれらの組み合わせによって実現できる。当該種々の実装形態は、ストレージシステム、少なくとも１つの入力デバイスおよび少なくとも１つの出力デバイスからデータおよび命令を受信し、これらにデータおよび命令を送信するように結合された、特殊または汎用の目的でありうる、少なくとも１つのプログラミング可能なプロセッサを含むプログラミング可能なシステム上で実行可能および／または解釈可能な１つ以上のコンピュータプログラムでの実装形態を含みうる。
当該コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとも称される）は、プログラミング可能なプロセッサの機械命令を含み、かつ高水準の手順型および／またはオブジェクト指向プログラミング言語、および／またはアセンブリ／機械言語で実装可能である。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、プログラミング可能なプロセッサに機械命令および／またはデータを提供するために使用される任意のコンピュータプログラム製品、装置および／またはデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械可読信号として機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、プログラミング可能なプロセッサに機械命令および／またはデータを提供するために使用される任意の信号を指す。
本明細書で説明する主題および機能動作の実装形態は、本明細書に開示された構造およびその構造的等価物を含むデジタル電子回路、またはコンピュータソフトウェア、ファームウェアもしくはハードウェアもしくはこれらの１つ以上の組み合わせで実装することができる。さらに、本明細書で説明する主題は、１つ以上のコンピュータプログラム製品、すなわちデータ処理装置による実行のための、またはデータ処理装置の動作を制御するためのコンピュータ可読媒体に符号化されたコンピュータプログラム命令の１つ以上のモジュールとして実装可能である。コンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの１つ以上の組み合わせであってよい。「データ処理装置」、「計算装置」および「コンピューティングプロセッサ」なる用語は、例として、プログラミング可能なプロセッサ、コンピュータまたは複数のプロセッサもしくはコンピュータを含む、データを処理するための全ての装置、デバイスおよび機械を包含する。装置は、ハードウェアに加えて、問題のコンピュータプログラムの実行環境を作成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの１つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成された信号、例えば、適切なレシーバ装置への送信のための情報を符号化するために生成される機械生成の電気信号、光学信号または電磁信号である。
同様に、各動作は図面に特定の順序で示されているが、望ましい結果を達成するために、こうした動作の特定の順序でのまたは順次の実行が要求され、または例示の全ての動作の実行が要求されると理解されるべきではない。特定の状況では、マルチタスクおよび並列処理が有利な場合がある。さらに、上記の実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてこうした分離を必要とすると理解されるべきではなく、説明されているプログラムコンポーネントおよびシステムは、一般に、単一のソフトウェア製品に統合可能であり、または複数のソフトウェア製品にパッケージ化可能であることを理解されたい。
多数の実装形態を説明したが、本開示の思想および範囲から逸脱することなく、種々の修正を行いうることが理解されるであろう。したがって、他の実装形態も、以下の特許請求の範囲内にある。

Claims (16)

  1. トレーラへの取り付けのために牽引車両をリバース操作する方法であって、前記方法は、
    前記車両のニューラルネットワークによって、１つ以上の画像内の１つ以上のトレーラを検出するステップと、
    前記画像内のトレーラヒッチレシーバを検出するステップと、
    前記ニューラルネットワークと通信する計算装置において、牽引車両の前後軸とトレーラの前後軸との間の前記画像におけるピクセル角度差を求めるステップと、
    前記ニューラルネットワークと通信する計算装置において、牽引車両ヒッチとヒッチレシーバとの間のピクセル距離を求めるステップと、
    前記ニューラルネットワークと通信する計算装置において、初期位置から前記トレーラに隣接する最終位置までの車両経路を求めるステップであって、前記車両経路が、前記車両経路に沿って前記初期位置から前記最終位置まで前記車両を移動させるように構成された操作を含む、ステップと、
    前記ニューラルネットワークと通信する計算装置において、初期位置から前記トレーラに隣接する最終位置までの車両経路を求めるステップであって、前記車両経路が、前記車両経路に沿って前記初期位置から前記最終位置まで前記車両を移動させるように構成された操作を含む、ステップと、
    前記計算装置と通信する運転システムにおいて、前記初期位置から前記最終位置までの前記車両経路に自律的に追従するステップと、
    を含む、方法。
  2. 前記方法はさらに、
    前記運転システムにおいて、前記最終位置に到達する前に、前記初期位置よりも前記最終位置に近い中間位置で前記車両を停止または制止するステップと、
    車両ヒッチをトレーラヒッチに整列させるために、前記運転システムにおいて、前記車両に関連づけられた１つ以上の車両サスペンションを修正するステップと、
    前記運転システムにおいて、前記中間位置から前記最終位置までの前記車両経路に自律的に追従するステップと、
    前記運転システムにおいて、前記車両ヒッチを前記トレーラヒッチに接続するステップと、
    を含む、
    請求項１記載の方法。
  3. 前記車両ヒッチを前記トレーラヒッチレシーバに接続するステップは、車両ヒッチをトレーラヒッチに整列させるために、前記車両に関連づけられた１つ以上の車両サスペンションを修正するステップを含む、請求項１記載の方法。
  4. 前記操作は、操舵、制動および加速を含む、請求項１記載の方法。
  5. 前記方法はさらに、
    前記車両が前記車両経路に沿って移動しているときに、前記ニューラルネットワークにおいて、前記車両経路内の１つ以上の対象物を継続的に検出するステップと、
    対象物を検出した場合に、前記計算装置における前記車両経路を変更するステップと、
    を含む、請求項１記載の方法。
  6. 前記１つ以上のトレーラを検出するステップは、
    前記ニューラルネットワークと通信する１つ以上の撮像装置において、１つ以上の画像を捕捉するステップであって、前記１つ以上の撮像装置のうちの少なくとも１つが、後進方向に面する前記トレーラの背面に配置されている、ステップと、
    前記ニューラルネットワークにおいて、前記１つ以上の画像内の前記トレーラヒッチレシーバを求めるステップと、
    を含む、
    請求項１記載の方法。
  7. 前記最終位置では、前記牽引車両ヒッチを、トレーラヒッチカプラの直径以下である前記トレーラヒッチカプラの中心からの距離内に配置する、請求項１記載の方法。
  8. 前記最終位置では、前記牽引車両ヒッチを、前記トレーラヒッチカプラの前記直径の１／２以下である前記トレーラヒッチカプラの前記中心からの距離内に配置する、請求項７記載の方法。
  9. 前記最終位置では、前記牽引車両のさらなる操作なしに、前記牽引車両ヒッチを、前記牽引車両ヒッチとトレーラヒッチカプラとを連結するのに十分に近い前記トレーラヒッチカプラの中心からの距離内に配置する、請求項１記載の方法。
  10. トレーラへの取り付けのために牽引車両をリバース操作する方法であって、前記方法は、
    少なくとも１つの車両カメラからの１つ以上の画像内に示されており、かつユーザインタフェースを使用して運転者が選択したトレーラヒッチレシーバの画像位置を受信するステップと、
    前記ユーザインタフェースと通信する計算装置において、牽引車両の前後軸とトレーラの前後軸との間の前記画像におけるピクセル角度差を求めるステップと、
    通信する計算装置において、牽引車両ヒッチと前記トレーラヒッチレシーバとの間のピクセル距離を求めるステップと、
    前記計算装置において、初期位置から前記トレーラに隣接する最終位置までの車両経路を求めるステップであって、前記車両経路は、前記車両経路に沿って前記初期位置から前記最終位置まで前記車両を移動させるように構成された操作を含む、ステップと、
    通信する計算装置において、初期位置から前記トレーラに隣接する最終位置までの車両経路を求めるステップであって、前記車両経路は、前記車両経路に沿って前記初期位置から前記最終位置まで前記車両を移動させるように構成された操作を含む、ステップと、
    前記計算装置と通信する運転システムにおいて、前記初期位置からの前記車両経路に自律的に追従するステップと、
    を含む、方法。
  11. 前記方法はさらに、
    前記運転システムにおいて、前記最終位置に到達する前に、前記初期位置よりも前記最終位置に近い中間位置で前記車両を停止または制止するステップと、
    前記運転システムにおいて、前記車両に関連づけられた１つ以上の車両サスペンションを修正して、車両ヒッチをトレーラヒッチに整列させるステップと、
    前記運転システムにおいて、前記中間位置から前記最終位置までの前記車両経路に自律的に追従するステップと、
    前記運転システムにおいて、前記車両ヒッチを前記トレーラヒッチに接続するステップと、
    を含む、請求項１０記載の方法。
  12. 前記操作が、操舵、制動および加速を含む、請求項１０記載の方法。
  13. 前記車両ヒッチを前記トレーラヒッチレシーバに接続するステップは、車両ヒッチをトレーラヒッチに整列させるために、前記車両に関連づけられた１つ以上の車両サスペンションを修正するステップを含む、請求項１０記載の方法。
  14. 前記最終位置では、前記牽引車両ヒッチを、トレーラヒッチカプラの直径以下である前記トレーラヒッチカプラの中心からの距離内に配置する、請求項１０記載の方法。
  15. 前記最終位置では、前記牽引車両ヒッチを、前記トレーラヒッチカプラの前記直径の１／２以下である前記トレーラヒッチカプラの前記中心からの距離内に配置する、請求項１４記載の方法。
  16. 前記最終位置では、前記牽引車両のさらなる操作なしに、前記牽引車両ヒッチを、前記牽引車両ヒッチとトレーラヒッチカプラとを連結するのに十分に近い前記トレーラヒッチカプラの中心からの距離内に配置する、請求項１０記載の方法。
JP2020538767A 2017-09-25 2018-09-25 画像座標を使用した自動トレーラ連結 Active JP6938793B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762562751P 2017-09-25 2017-09-25
US62/562,751 2017-09-25
US16/139,531 2018-09-24
US16/139,531 US10987984B2 (en) 2017-09-25 2018-09-24 Automated trailer hitching using image coordinates
PCT/US2018/052661 WO2019060893A1 (en) 2017-09-25 2018-09-25 AUTOMATIC TRAILER HITCH USING IMAGE COORDINATES

Publications (2)

Publication Number Publication Date
JP2020535077A true JP2020535077A (ja) 2020-12-03
JP6938793B2 JP6938793B2 (ja) 2021-09-22

Family

ID=65807165

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538767A Active JP6938793B2 (ja) 2017-09-25 2018-09-25 画像座標を使用した自動トレーラ連結

Country Status (5)

Country Link
US (1) US10987984B2 (ja)
EP (1) EP3687839B1 (ja)
JP (1) JP6938793B2 (ja)
CN (1) CN111372795B (ja)
WO (1) WO2019060893A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10427716B2 (en) * 2017-09-12 2019-10-01 Ford Global Technologies, Llc Hitch assist system and method
US20190129429A1 (en) * 2017-10-26 2019-05-02 Uber Technologies, Inc. Systems and Methods for Determining Tractor-Trailer Angles and Distances
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US11385651B2 (en) * 2018-06-26 2022-07-12 Ford Global Technologies, Llc System and methods for detection and response to interference between trailer coupler and hitch ball
JP7169121B2 (ja) * 2018-08-23 2022-11-10 日立Astemo株式会社 車両連結支援装置、車両連結支援方法、及び車両連結支援システム
US20200097021A1 (en) * 2018-09-19 2020-03-26 Continental Automotive Systems, Inc. Autonomous Farm Equipment Hitching To A Tractor
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
US20200238912A1 (en) * 2019-01-30 2020-07-30 AISIN Technical Center of America, Inc. Backup camera system for a vehicle having a trailer hitch
US10933914B2 (en) * 2019-01-31 2021-03-02 Ford Global Technologies, Llc Trailer hitching aid
US11584177B2 (en) * 2019-09-13 2023-02-21 Ford Global Technologies, Llc Fixed offset method for hitch detection in hitch assist operation
US11347968B2 (en) * 2020-02-25 2022-05-31 Ford Global Technologies, Llc Image enhancement for realism
CN111854782A (zh) * 2020-06-22 2020-10-30 北京九曜智能科技有限公司 一种可实现自动脱挂钩脱挂的路径规划的方法
US11403767B2 (en) 2020-09-15 2022-08-02 Connaught Electronics, Ltd. Method and apparatus for detecting a trailer, tow-ball, and coupler for trailer hitch assistance and jackknife prevention
US11721108B2 (en) 2020-11-10 2023-08-08 Ford Global Technologies, Llc System and method for training trailer detection systems
US20220203786A1 (en) * 2020-12-30 2022-06-30 Continental Automotive Systems, Inc. Method and assembly for positioning a vehicle relative to a trailer
CN112904363B (zh) * 2021-01-19 2023-04-25 北京九曜智能科技有限公司 一种自动驾驶车辆对接拖车自动托挂钩的方法
CN113771561A (zh) * 2021-09-23 2021-12-10 广州小鹏汽车科技有限公司 车辆拖挂方法、电子设备、牵引车辆及存储介质
CN114211926B (zh) * 2021-12-31 2022-08-05 重庆工业职业技术学院 一种颠簸路面的汽车悬架控制系统
CN116945826B (zh) * 2023-08-17 2024-01-30 合肥马格勒斯汽车科技发展有限公司 一种供电拖车控制方法、系统、存储介质及智能终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090236825A1 (en) * 2008-03-20 2009-09-24 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
US20150158527A1 (en) * 2011-04-19 2015-06-11 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
JP2016203972A (ja) * 2015-04-14 2016-12-08 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 自動化されたヒッチアシストシステム
JP2017159884A (ja) * 2016-03-10 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 運転制御装置、運転制御方法及び運転制御プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012001380A1 (de) 2012-01-24 2012-08-02 Daimler Ag Assistenzverfahren und Fahrerassistenzsystem für ein Ankuppelmanöver eines Kraftfahrzeugs
US9731568B2 (en) * 2015-12-01 2017-08-15 GM Global Technology Operations LLC Guided tow hitch control system and method
WO2017118907A1 (en) * 2016-01-05 2017-07-13 Mobileye Vision Technologies Ltd. Systems and methods for estimating future paths
US10906583B2 (en) 2017-03-03 2021-02-02 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090236825A1 (en) * 2008-03-20 2009-09-24 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
US20150158527A1 (en) * 2011-04-19 2015-06-11 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
JP2016203972A (ja) * 2015-04-14 2016-12-08 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 自動化されたヒッチアシストシステム
JP2017159884A (ja) * 2016-03-10 2017-09-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 運転制御装置、運転制御方法及び運転制御プログラム

Also Published As

Publication number Publication date
EP3687839B1 (en) 2023-08-23
EP3687839A1 (en) 2020-08-05
US10987984B2 (en) 2021-04-27
CN111372795B (zh) 2023-07-04
JP6938793B2 (ja) 2021-09-22
WO2019060893A1 (en) 2019-03-28
US20190092109A1 (en) 2019-03-28
CN111372795A (zh) 2020-07-03

Similar Documents

Publication Publication Date Title
JP6938793B2 (ja) 画像座標を使用した自動トレーラ連結
US10906583B2 (en) Autonomous trailer hitching using neural network
US11151875B2 (en) Unmanned aerial vehicle assisted system for vehicle reverse and parking
US10884425B2 (en) Autonomous trailer hitching using neural network
JP7124116B2 (ja) トレーラの検出および自律的なヒッチング
US11198340B2 (en) Coupler and tow-bar detection for automated trailer hitching via cloud points
US20190086927A1 (en) Automated Trailer Hitching Using GPS
CN112004696B (zh) 牵引车辆和拖车的对准
US20200097021A1 (en) Autonomous Farm Equipment Hitching To A Tractor
US10899384B2 (en) Trailer reverse assist with follow-me system
US10829045B2 (en) System and method for calibrating a motion estimation algorithm using a vehicle camera
WO2019005976A1 (en) AUTONOMOUS MOORING OF A VEHICLE TO A LOADING DOCK
US11897469B2 (en) System and method for adjusting trailer reverse assist parameters based upon estimated trailer position
WO2022246477A1 (en) A trailer hitch assist system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210628

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210901

R150 Certificate of patent or registration of utility model

Ref document number: 6938793

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150