CN112236321A - 挂车检测和自主栓接 - Google Patents

挂车检测和自主栓接 Download PDF

Info

Publication number
CN112236321A
CN112236321A CN201980029644.4A CN201980029644A CN112236321A CN 112236321 A CN112236321 A CN 112236321A CN 201980029644 A CN201980029644 A CN 201980029644A CN 112236321 A CN112236321 A CN 112236321A
Authority
CN
China
Prior art keywords
trailer
vertical center
towing vehicle
data processing
processing hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980029644.4A
Other languages
English (en)
Inventor
于鑫
M·D·伯克梅尔
J·伊普
E·J·拉米雷斯拉诺斯
K·P·卡彭特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Systems Inc
Original Assignee
Continental Automotive Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Systems Inc filed Critical Continental Automotive Systems Inc
Publication of CN112236321A publication Critical patent/CN112236321A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/026—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation combined with automatic distance control, i.e. electronic tow bar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

提供了用于自主操纵牵引交通工具（100）朝向定位在牵引交通工具后方的挂车（200）的方法。方法包括从一个或多个摄像头（142）接收一个或多个图像（400），所述一个或多个摄像头（142）定位在牵引交通工具的后部部分上。方法还包括在一个或多个图像内识别挂车表示。挂车表示指示定位在牵引交通工具后方的挂车。方法还包括将挂车表示的竖直中心设置为目标。方法还包括确定第一方向盘角度，以使牵引交通工具（100）转向，使得交通工具在朝向目标的方向上自主操纵。方法还包括将指令传输到驾驶系统（110），所述指令导致牵引交通工具（100）基于第一方向盘角度而操纵。

Description

挂车检测和自主栓接
技术领域
本公开涉及用于确定定位在交通工具后方的挂车的位置并且自主操纵朝向挂车用于栓接的方法和装置。
背景技术
挂车通常是由动力牵引交通工具拉动的无动力交通工具。挂车可为通用挂车、弹出式露营车、旅行挂车、运畜挂车、平板挂车、封闭式调度绞车以及船用挂车等等。牵引交通工具可为汽车、跨界交通工具、卡车、货车、运动型多用途交通工具(SUV)、休闲交通工具(RV)或被配置成附接到挂车并且拉动挂车的任何其它交通工具。挂车可使用挂车栓钩而附接到动力交通工具。接收器栓钩安装在牵引交通工具上，并且连接到挂车栓钩，以形成连接。挂车栓钩可为球窝、备用轮和鹅颈件或挂车千斤顶。还可使用其它附接机构。在一些示例中，除了挂车与动力交通工具之间的机械连接以外，挂车还电气连接到牵引交通工具。如此，电气连接允许挂车获取来自动力交通工具的后灯电路的馈给，允许了挂车具有与动力交通工具的灯同步的尾灯、转向信号和制动灯。
传感器技术中的最新进展已导致对于交通工具的改善的安全系统。如此，期望的是，提供能够确定挂车相对于牵引交通工具的位置的系统，所述系统允许自主操纵牵引交通工具朝向挂车。
发明内容
本公开的一个方面提供了用于自主操纵牵引交通工具朝向定位在牵引交通工具后方的挂车的方法。方法包括在数据处理硬件处从一个或多个摄像头接收一个或多个图像，所述一个或多个摄像头定位在牵引交通工具的后部部分上，并且与数据处理硬件通信。方法还包括由数据处理硬件在一个或多个图像内识别挂车表示。挂车表示指示定位在牵引交通工具后方的挂车。方法还包括由数据处理硬件将挂车表示的竖直中心设置为目标。方法还包括由数据处理硬件确定第一方向盘角度，以使牵引交通工具转向，使得交通工具在朝向目标的方向上自主操纵。方法还包括将指令从数据处理硬件传输到与数据处理硬件通信的驾驶系统，所述指令导致牵引交通工具基于第一方向盘角度而操纵。
本公开的实施方案可包括以下可选特征中的一个或多个。在一些实施方案中，方法还包括由数据处理硬件确定挂车表示的竖直中心与一个或多个图像的竖直中心之间的像素距离。当挂车表示的竖直中心与一个或多个图像的竖直中心之间的像素距离小于阈值时，方法包括：由数据处理硬件将挂车表示的竖直中心设置为目标；以及由数据处理硬件确定第一方向盘角度，以使牵引交通工具转向，使得交通工具在朝向目标的方向上自主操纵。
在一些示例中，方法还包括：由数据处理硬件确定挂车表示的竖直中心与一个或多个图像的竖直中心之间的像素距离。当挂车表示的竖直中心与一个或多个图像的竖直中心之间的像素距离大于阈值时，方法还可包括：由数据处理硬件将从图像的竖直中心的预限定侧向偏移设置为目标；以及由数据处理硬件确定第二方向盘角度，以使牵引交通工具转向，使得交通工具在朝向目标的方向上自主操纵。
在一些实施方案中，阈值包括多个像素。用于使牵引交通工具转向使得交通工具在朝向目标的方向上自主操纵的第二方向盘角度可为防止牵引交通工具和挂车V形弯折的最大方向盘角度。
在一些示例中，方法还包括利用边界框而界定挂车表示。挂车表示的竖直中心包括将挂车表示竖直划分成两个相等部段的线。一个或多个图像的竖直中心可包括将一个或多个图像中的每个图像竖直划分成两个相等部段的线，每个部段具有相等数量的像素。在一些示例中，一个或多个摄像头包括单目摄像头和/或鱼眼摄像头。
本公开的另一方面提供了用于自主操纵牵引交通工具朝向定位在牵引交通工具后方的挂车的系统。系统包括数据处理硬件以及与数据处理硬件通信的存储器硬件。存储器硬件存储指令，当在数据处理硬件上执行时，所述指令导致数据处理硬件执行操作。所述操作包括从一个或多个摄像头接收一个或多个图像，所述一个或多个摄像头定位在牵引交通工具的后部部分上，并且与数据处理硬件通信。所述操作还包括在一个或多个图像内识别挂车表示。挂车表示指示定位在牵引交通工具后方的挂车。所述操作还包括将挂车表示的竖直中心设置为目标。所述操作还包括确定第一方向盘角度，以使牵引交通工具转向，使得交通工具在朝向目标的方向上自主操纵。所述操作还包括将指令传输到与数据处理硬件通信的驾驶系统，所述指令导致牵引交通工具基于第一方向盘角度而操纵。
本公开的此方面的实施方案可包括以下可选特征中的一个或多个。在一些实施方案中，所述操作还包括：确定挂车表示的竖直中心与一个或多个图像的竖直中心之间的像素距离。当挂车表示的竖直中心与一个或多个图像的竖直中心之间的像素距离小于阈值时，所述操作包括：将挂车表示的竖直中心设置为目标；以及由数据处理硬件确定第一方向盘角度，以使牵引交通工具转向，使得交通工具在朝向目标的方向上自主操纵。
在一些实施方案中，所述操作还包括：确定挂车表示的竖直中心与一个或多个图像的竖直中心之间的像素距离。当挂车表示的竖直中心与一个或多个图像的竖直中心之间的像素距离大于阈值时，所述操作包括：将从图像的竖直中心的预限定侧向偏移设置为目标；以及由数据处理硬件确定第二方向盘角度，以使牵引交通工具转向，使得交通工具在朝向目标的方向上自主操纵。
在一些示例中，阈值包括多个像素。用于使牵引交通工具转向使得交通工具在朝向目标的方向上自主操纵的第二方向盘角度可为防止牵引交通工具和挂车V形弯折的最大方向盘角度。
在一些示例中，所述操作还包括利用边界框而界定挂车表示，其中，挂车表示的竖直中心包括将挂车表示竖直划分成两个相等部段的线。一个或多个图像的竖直中心可包括将一个或多个图像中的每个图像竖直划分成两个相等部段的线，每个部段具有相等数量的像素。在系统中，一个或多个摄像头包括单目摄像头和/或鱼眼摄像头。
在所附附图和下文的描述中阐述了本公开的一个或多个实施方案的细节。根据描述和附图以及根据权利要求，其它方面、特征和优点将显而易见。
附图说明
图1是示例性牵引交通工具的示意性顶视图，其从定位在牵引交通工具后方的挂车隔开一定距离。
图2是具有用户界面和传感器系统的示例性牵引交通工具的示意性视图。
图3是用于自主操纵牵引交通工具朝向定位在牵引交通工具后方的挂车的操作的示例性布置的示意性视图。
图4A–图4G是在执行图3的操作时来自后置摄像头的图像的示意性视图。
图5是用于自主操纵牵引交通工具的交通工具栓钩球朝向定位在牵引交通工具后方的挂车的挂车栓钩联接件的操作的示例性布置的示意性视图。
图6A–图6D是在执行图5的操作时来自后置摄像头的图像的示意性视图。
图7是用于自主操纵牵引交通工具朝向目标的操作的示例性布置的示意性视图。
在各种附图中，类似的附图标记指示类似的元件。
具体实施方式
牵引交通工具（例如但不限于汽车、跨界交通工具、卡车、货车、运动型多用途交通工具(SUV)以及休闲交通工具(RV)）可被配置成牵引挂车。牵引交通工具通过挂车栓钩的方式连接到挂车。期望的是，使得牵引交通工具能够自主倒退朝向挂车，所述挂车从用户界面（例如，用户显示器）上显示的挂车的一个或多个挂车表示而被识别。此外，还期望的是，使得牵引交通工具能够基于从定位在牵引交通工具的后部部分上的摄像头接收的一个或多个图像而估测挂车位置，例如，相对于牵引交通工具的挂车角度和位置。此外，期望的是，使得牵引交通工具能够自主操纵朝向挂车，并且与挂车的挂车栓钩联接件对准，用于在牵引交通工具的交通工具栓钩球与挂车栓钩联接件之间栓接。
参考图1和图2，在一些实施方案中，牵引交通工具100的驾驶员希望牵引定位在牵引交通工具100后方的挂车200。牵引交通工具100可被配置成接收来自驾驶员的挂车选择134的指示，其与选定挂车200、200a–c相关联。在一些示例中，驾驶员操纵牵引交通工具100朝向选定挂车200、200a–c，而在其它示例中，牵引交通工具100自主驾驶朝向选定挂车200、200a–c。牵引交通工具100可包括驾驶系统110，例如，所述驾驶系统110基于具有x、y和z分量的驾驶命令而操纵牵引交通工具100跨越道路表面。如所显示的，驾驶系统110包括右前轮112、112a、左前轮112、112b、右后轮112、112c以及左后轮112、112d。驾驶系统110也可包括其它轮配置。驾驶系统110还可包括：制动系统114，包括与每个轮112、112a–d相关联的制动器；以及加速系统116，被配置成调节牵引交通工具100的速度和方向。此外，驾驶系统110可包括悬架系统118，所述悬架系统118包括与每个轮112、112a–d相关联的轮胎、轮胎空气、弹簧、减震器以及连杆，所述连杆将牵引交通工具100连接到其轮112、112a–d，并且允许牵引交通工具100与轮112、112a–d之间的相对运动。悬架系统118可被配置成调节牵引交通工具100的高度，允许了牵引交通工具栓钩120（例如，交通工具栓钩球122）与挂车栓钩210（例如，挂车栓钩联接件或挂车栓钩杯212）对准，这允许牵引交通工具100与挂车200之间的自主连接。
牵引交通工具100可通过相对于由牵引交通工具100限定的三个相互垂直的轴线（横向轴线X、前后轴线Y和中心竖直轴线Z）的移动的各种组合而移动跨越道路表面。横向轴线x在牵引交通工具100的右侧与左侧之间延伸。沿着前后轴线Y的向前驾驶方向被表示为F，也被称为向前运动。此外，沿着前后方向Y的后向或向后驾驶方向被表示为R，也被称为向后运动。当悬架系统118调节牵引交通工具100的悬架时，牵引交通工具100可围绕X轴线和/或Y轴线倾斜，或沿着中心竖直轴线Z移动。
牵引交通工具100可包括用户界面130，例如，显示器132。用户界面130经由一个或多个输入机构或触摸屏显示器132从驾驶员接收一个或多个用户命令，和/或向驾驶员显示一个或多个通知。用户界面130与交通工具控制器150通信，所述交通工具控制器150转而与传感器系统140通信。在一些示例中，用户界面130显示牵引交通工具100的环境的图像400，导致了由用户界面130（来自驾驶员）接收一个或多个命令，所述一个或多个命令发起一个或多个行为的执行。在一些示例中，用户显示器132显示定位在牵引交通工具100后方的挂车200的一个或多个挂车表示136、136a–c。在此情况下，驾驶员进行挂车200的挂车表示136、136a–c的挂车选择134。
牵引交通工具100可包括传感器系统140，以提供可靠和稳健驾驶。传感器系统140可包括不同类型的传感器，其可单独使用或与彼此一起使用，以形成牵引交通工具100的环境的感知，所述感知用于牵引交通工具100，以驾驶并且帮助驾驶员基于由传感器系统140检测的物体和障碍物而进行智能决策。传感器系统140可包括一个或多个摄像头142、142a–d。在一些实施方案中，牵引交通工具100包括后置摄像头142、142a，所述后置摄像头142、142a被安装，以提供牵引交通工具100的后部驾驶路径的视图。后置摄像头142a可包括鱼眼镜头，所述鱼眼镜头包括超广角镜头，所述超广角镜头产生强视觉失真，其旨在形成广全景或半球形图像。鱼眼摄像头捕获具有极其广角视图的图像。此外，由鱼眼镜头142a捕获的图像400具有典型的凸形非直线表示。其它类型的摄像头也可用于捕获牵引交通工具100后方的图像。
在一些实施方案中，传感器系统140还可包括被配置成输出IMU数据145的IMU（惯性测量单元）144，所述IMU数据145包括交通工具的线性加速度（使用一个或多个加速度计）和旋转速率（使用一个或多个陀螺仪）。在一些示例中，IMU 144还确定牵引交通工具100的航向参考。因此，IMU 144确定牵引交通工具100的俯仰、滚转和偏航。传感器系统140可包括其它传感器，例如但不限于雷达、声纳、LIDAR（光检测和测距，这可需要光学遥感，其测量散射光的性质，以获得远距离目标的距离和/或其它信息）、LADAR（激光检测和测距）等等。
交通工具控制器150包括与非暂时性存储器154（例如，硬盘、闪速存储器、随机存取存储器、存储器硬件）通信的运算装置（或处理器）152（例如，具有一个或多个运算处理器的中央处理单元），所述非暂时性存储器154能够存储可在（多个）运算处理器152上执行的指令。
交通工具控制器150执行驾驶辅助系统160。驾驶辅助系统160从摄像头142接收图像400，并且执行行为162–166，所述行为162–166向驾驶系统110发送命令170，导致了牵引交通工具100在向后方向R上自主驾驶朝向选定挂车200。
驾驶辅助系统160包括制动行为162、速度行为164和转向行为166。在一些示例中，驾驶辅助系统160还包括栓钩连接行为（允许交通工具栓钩球122连接到挂车栓钩杯212）以及悬架调节行为（导致调节交通工具悬架，以允许交通工具栓钩球122和挂车栓钩联接件212的栓接）。每个行为162–166导致牵引交通工具100采取行动，例如，向后驾驶、以具体角度转向、制动、加速、减速等等。交通工具控制器150可通过控制驾驶系统110（更具体地，通过向驾驶系统110发布命令170）而在任何方向上操纵牵引交通工具100跨越道路表面。此外，驾驶辅助系统160基于所接收的图像400而确定牵引交通工具100的方向盘角度和速度。
可执行制动行为162，以基于牵引交通工具100的所确定方向盘角度和所确定速度而使牵引交通工具100停止或使牵引交通工具100减速。制动行为162向驾驶系统110（例如，制动系统114）发送信号或命令170，以使牵引交通工具100停止，减小牵引交通工具100的速度，或停止施加制动。
可执行速度行为164，以基于牵引交通工具100的所确定方向盘角度和所确定速度通过加速或减速而改变牵引交通工具100的速度。速度行为164向制动系统114发送信号或命令170，用于减速，或向加速系统116发送信号或命令170，用于加速。
可执行转向行为166，以基于牵引交通工具100的所确定方向盘角度和所确定速度而改变牵引交通工具100的方向。如此，转向行为166向加速系统116发送信号或命令170，所述信号或命令170指示转向角度，而导致驾驶系统110改变方向。
在一些示例中，转向行为166包括比例积分微分控制器168（PID控制器）。PID控制器168是控制回路反馈机构，其广泛用于工业控制系统以及要求连续调制控制的各种其它应用中。PID控制器168连续计算误差值作为期望设定值与所测量过程变量之间的差，并且基于比例、积分和微分项而施加校正。PID控制器168基于图像中心402与目标416之间的水平像素距离D而确定方向盘角度。
图3以及图4A–图4G示出了由交通工具控制器150执行的方法300，用于确定挂车200在图像400内的位置PT，并且自主操纵牵引交通工具100朝向挂车200。方法300基于分析所接收图像400并且基于所分析图像400而确定挂车位置PT。换句话说，随着牵引交通工具100在向后方向R上驾驶朝向挂车200，方法300分析从后置摄像头142a接收的图像400。控制器150分析一个或多个图像400，并且指示驾驶系统110，以操纵牵引交通工具100，使得在每个图像400内，目标412（即，牵引交通工具100的挂车表示136）的中心与图像400的竖直中心402之间的像素距离D被最小化。在方法300（由控制器150）的执行期间，牵引交通工具100例如通过使用单弧或双弧操纵而以类似于人类驾驶员驾驶的方式自主接近挂车200。在一些示例中，每个图像400、400A–400G包括牵引交通工具100的后部部分的表示以及可由边界框或圆圈423界定的牵引栓钩球表示422。
在框301处，驾驶辅助系统160从后置摄像头142a接收一个或多个图像400。在一些示例中，在框302处，驾驶辅助系统160通过分析一个或多个图像400而确定挂车200在图像400内的位置。当图像400包括多于一个挂车200时，驾驶辅助系统160指示显示器132，以请求与挂车200中的一个相关联的挂车选择134。在其它示例中，驾驶员从图像400选择挂车200（即，挂车200的表示136）。在一些示例中，一旦选择或识别了挂车表示136，则驾驶辅助系统160由边界框（也被称为关注区域(ROI) 410）界定所识别的挂车表示136。而后，驾驶辅助系统160确定ROI 410的竖直延伸的中心线412。中心线412表示图像400中的挂车表示136的中心线。在框302处，驾驶辅助系统160确定图像400的竖直中心线402和图像400的水平中心线404。竖直中心线402和水平中心线404在图像中心C处相交。
在框304处，驾驶辅助系统160确定图像竖直中心402与ROI竖直中心412（即，挂车边界框中心）之间的水平像素距离D。在决策框306处，驾驶辅助系统160确定水平像素距离D是否小于阈值，所述阈值为多个像素。在一些示例中，阈值可为ROI 410的宽度的一半。如果驾驶辅助系统160确定水平距离D小于阈值，则在框308处，驾驶辅助系统160将ROI中心412（即，挂车竖直中心412）设置为目标418，如图4D–图4F中显示的。在驾驶辅助系统160将目标418设置为ROI 410的竖直中心412并且牵引交通工具100开始自主操纵朝向目标412之后，而后，在框310处，驾驶辅助系统160确定图像竖直中心402与目标418（即，竖直中心412）之间的距离D。之后，在框312处，PID控制器168分析图像中心402与目标418之间的水平距离D，并且在框314处，PID控制器168确定方向盘角度，以实时转向和操纵牵引交通工具100朝向目标中心412。在框316处，在驾驶辅助系统160向驾驶系统110发布命令170以基于所确定方向盘角度而操纵牵引交通工具100之后，驾驶辅助系统160更新ROI中心412。在决策框318处，驾驶辅助系统160确定图像竖直中心402是否已经过ROI竖直中心412。换句话说，在决策框318处，驾驶辅助系统160确定水平距离D是否等于或小于零。如果驾驶辅助系统160确定图像竖直中心402未经过ROI竖直中心412，则驾驶辅助系统160重复框308–318的步骤。水平距离D小于零指示了牵引交通工具100远离挂车200移动，因为水平距离D等于零指示了牵引交通工具100和挂车200对准。在决策框318处，如果驾驶辅助系统160确定图像竖直中心402已经过ROI竖直中心412，则驾驶辅助系统160停止其计算，因为牵引交通工具100已到达从图像400的水平中心404隔开的预确定像素距离。
再次参考决策框306，如果驾驶辅助系统160确定水平像素距离D不小于阈值（即，像素距离D大于阈值），则牵引交通工具100遵循两次转向操纵，以自主驾驶朝向挂车200。在第一次转向期间，牵引交通工具100以预限定侧向偏移416追踪ROI中心412，如图4A中显示的。而后，牵引交通工具100以最大方向盘角度自主转向，如图4B中显示的。而后，在第二次转向期间，牵引交通工具100追踪ROI中心412，如图4C–图4D中显示的。牵引交通工具100以相对于图像中心402与ROI中心412之间的水平像素距离D的方向盘角度转向。方向盘角度由PID控制器168基于水平像素距离D而计算。继续参考图3，在框320处，驾驶辅助系统160使用从ROI中心412的偏移416作为目标（图4A）。偏移416是图像400内的竖直线，其与挂车200在图像的相同侧上。如所显示的，挂车200在图像400的右侧上，因此，偏移416也在图像400的右侧上。在框322处，驾驶辅助系统160确定最大方向盘角度，以使牵引交通工具100转向朝向目标418，因为在决策框306处确定了水平距离D大于阈值。一旦牵引交通工具100已完成最大方向盘角度，则图4B中显示的所捕获图像400包括在图像中心402的与其初始位置相对侧处的挂车200。例如，在图4A中，牵引交通工具100和偏移416相对于竖直中心402在图像400的相同侧上；而在所述操纵之后，牵引交通工具100在左侧上，并且偏移416保持在右侧上。在框324处，由于框322中的牵引交通工具100的移动，因此驾驶辅助系统160在图像400内更新目标418。而后，在决策框326处，在牵引交通工具100在向后方向R上自主移动时，驾驶辅助系统160确定图像中心402是否已经过目标418。换句话说，在决策框326处，驾驶辅助系统160确定水平距离D是否等于或小于零。如果驾驶辅助系统160确定图像中心414未经过目标418，则驾驶辅助系统160重复框322、324和326的步骤。然而，如果驾驶辅助系统160确定图像中心414已经过目标418（如图4D中显示的），则在框308处，驾驶辅助系统160将ROI中心412设置为新目标418。
参考图5以及图6A–图6D，在一些实施方案中，控制器150执行类似于相对于图3描述的方法300的方法，以识别挂车200的挂车栓钩杯212，并且自主驾驶到挂车栓钩杯212，并且将交通工具栓钩球122连接到挂车栓钩杯212。
在一些实施方案中，在框502处，驾驶辅助系统160从后置摄像头142a接收一个或多个图像400。驾驶辅助系统160通过分析一个或多个图像400而确定挂车栓钩联接件212在图像400内的位置。在一些示例中，驾驶辅助系统160指示显示器132，以从驾驶员请求图像400内的与挂车200相关联的联接件表示选择。驾驶员从图像400选择挂车联接件212（即，挂车栓钩联接件212的表示136）。在一些示例中，一旦识别了联接件表示424，则驾驶辅助系统160由边界框或圆圈（如所显示的）（也被称为关注区域(ROI) 410）界定所识别的联接件表示424。而后，在框504处，驾驶辅助系统160确定ROI 410的竖直延伸的中心线412。中心线412表示图像400中的联接件表示424的中心线。而且，在框504处，驾驶辅助系统160确定图像400的竖直中心402。
在框506处，驾驶辅助系统160将ROI中心412（即，联接件竖直中心412）设置为目标418，如在图6A–图6C的后方图像600A–600C中分别显示的。在驾驶辅助系统160将目标418设置为ROI 410的竖直中心412并且牵引交通工具100开始自主操纵朝向目标412之后，而后，在框508处，驾驶辅助系统160确定图像竖直中心402与目标418（即，竖直中心412）之间的距离D。之后，在框510处，PID控制器168分析图像中心402与目标418之间的水平距离D，并且在框512处，PID控制器168确定方向盘角度，以实时转向和操纵牵引交通工具100朝向目标中心412。在框514处，在驾驶辅助系统160向驾驶系统110发布命令170以基于所确定方向盘角度而操纵牵引交通工具100之后，驾驶辅助系统160更新ROI中心412。在决策框516处，驾驶辅助系统160确定图像竖直中心402是否已经过ROI竖直中心412。换句话说，在决策框516处，驾驶辅助系统160确定水平距离D是否等于或小于零。如果驾驶辅助系统160确定图像竖直中心402未经过ROI竖直中心412，则驾驶辅助系统160重复框506–框516的步骤。水平距离D小于零指示了牵引交通工具100远离挂车200移动，因为水平距离D等于零指示了牵引交通工具100和挂车200对准。在决策框318处，如果驾驶辅助系统160确定图像竖直中心402已经过ROI竖直中心412，则驾驶辅助系统160停止其计算，因为牵引栓钩球122与挂车栓钩联接件212对准。
如先前讨论的，驾驶辅助系统160要求低运算资源，并且可在低成本硬件上实现实时性能。由于在挂车上不需要标记，因此降低了操作和运算的复杂性，并且因此还降低了系统的生产成本。
图7提供了方法700的操作的示例性布置，用于使用图1–图6C中描述的系统而自主操纵牵引交通工具100朝向定位在牵引交通工具100后方的挂车200。在框702处，方法700包括在（控制器150的）数据处理硬件152处从一个或多个摄像头142、142a–d 接收一个或多个图像400，所述一个或多个摄像头142、142a–d 定位在牵引交通工具100的后部部分上，并且与数据处理硬件152通信。
在框704处，方法700包括由数据处理硬件152在一个或多个图像400内识别挂车表示136，挂车表示136指示定位在牵引交通工具100后方的挂车200。
在框706处，方法700包括由数据处理硬件152将挂车表示136的竖直中心412设置为目标418。
在框708处，方法700包括由数据处理硬件152确定第一方向盘角度，以使牵引交通工具100转向，使得牵引交通工具100在朝向目标418（即，竖直中心412）的方向上自主操纵。
在框710处，方法700包括将指令170从数据处理硬件152传输到与数据处理硬件152通信的驾驶系统110，所述指令170导致牵引交通工具100基于第一方向盘角度而操纵。
在一些示例中，方法700包括由数据处理硬件152确定挂车表示136的竖直中心412与一个或多个图像400的竖直中心402之间的像素距离D。当挂车表示136的竖直中心412与一个或多个图像400的竖直中心402之间的像素距离D小于阈值时，方法包括：由数据处理硬件152将挂车表示136的竖直中心412设置为目标418；以及由数据处理硬件152确定第一方向盘角度，以使牵引交通工具100转向，使得交通工具在朝向目标418（即，挂车表示136的竖直中心412）的方向上自主操纵。
在一些实施方案中，方法700包括由数据处理硬件152确定挂车表示136的竖直中心412与一个或多个图像400的竖直中心402之间的像素距离D。当挂车表示136的竖直中心412与一个或多个图像400的竖直中心之间的像素距离D大于阈值时，方法700包括：由数据处理硬件152将从图像400的竖直中心402的预限定侧向偏移416设置为目标418；以及由数据处理硬件152确定第二方向盘角度，以使牵引交通工具100转向，使得交通工具在朝向目标418的方向上自主操纵。在一些示例中，阈值包括多个像素。用于使牵引交通工具100转向使得交通工具在朝向目标418的方向上自主操纵的第二方向盘角度是防止牵引交通工具100和挂车200V形弯折的最大方向盘角度。
在一些实施方案中，方法700还包括利用边界框410而界定挂车表示136。挂车表示136的竖直中心412包括将挂车表示136竖直划分成两个相等部段的线。在一些示例中，一个或多个图像400的竖直中心402包括将一个或多个图像400中的每个图像400竖直划分成两个相等部段的线，其中，每个部段具有相等数量的像素。一个或多个摄像头可为单目摄像头和/或鱼眼摄像头。
此处描述的系统和技术的各种实施方案可在数字电子电路系统、集成电路系统、专门设计的ASIC（专用集成电路）、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方案可包括在一个或多个计算机程序中的实施方案，所述一个或多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，所述至少一个可编程处理器可为专用或通用的，联接以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，以及向存储系统、至少一个输入装置和至少一个输出装置传输数据和指令。
这些计算机程序（也被已知为程序、软件、软件应用或代码）包括机器指令，用于可编程处理器，并且可以高级过程语言和/或面向对象的编程语言和/或以汇编/机器语言实施。如本文使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置（例如，磁盘、光盘、存储器和可编程逻辑装置(PLD)），包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
此说明书中描述的主题和功能操作的实施方案可在数字电子电路系统中或在计算机软件、固件或硬件中实施，包括在此说明书中公开的结构以及其结构等同物或其中的一个或多个的组合。此外，此说明书中描述的主题可被实施为一个或多个计算机程序产品，即，编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理设备执行，或以控制数据处理设备的操作。计算机可读介质可为机器可读存储装置、机器可读存储基板、存储器装置、影响机器可读传播信号的物质组成或其中的一个或多个的组合。术语“数据处理设备”、“运算装置”和“运算处理器”涵盖用于处理数据的所有设备、装置和机器，通过示例的方式包括可编程处理器、计算机或多个处理器或计算机。除了硬件以外，设备还可包括代码，所述代码为所涉及的计算机程序形成执行环境，例如，构成处理器固件、协议堆栈、数据库管理系统、操作系统或其中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电气、光学或电磁信号，其被生成以使信息编码，用于传输到合适的接收器设备。
类似地，虽然以特定次序在附图中描绘了操作，但是这不应被理解为要求以所显示的特定次序或以顺序次序执行此类操作，或要求执行所有所示出的操作，以实现期望结果。在某些情况下，多任务处理和并行处理可为有利的。此外，上文描述的实施例中的各种系统部件的分离不应被理解为在所有实施例中要求此类分离，并且应被理解的是，所描述的程序部件和系统总体上可在单个软件产品中集成在一起，或打包到多个软件产品中。
已描述了多个实施方案。然而，将理解的是，可进行各种修改，而不从本公开的精神和范围脱离。因此，其它实施方案在以下权利要求的范围内。

Claims (18)

1.用于自主操纵牵引交通工具朝向定位在所述牵引交通工具后方的挂车的方法，所述方法包括：
在数据处理硬件处从一个或多个摄像头接收一个或多个图像，所述一个或多个摄像头定位在所述牵引交通工具的后部部分上，并且与所述数据处理硬件通信；
由所述数据处理硬件在所述一个或多个图像内识别挂车表示，所述挂车表示指示定位在所述牵引交通工具后方的所述挂车；
由所述数据处理硬件将所述挂车表示的竖直中心设置为目标；以及
由所述数据处理硬件确定第一方向盘角度，以使所述牵引交通工具转向，使得所述交通工具在朝向所述目标的方向上自主操纵；以及
将指令从所述数据处理硬件传输到与所述数据处理硬件通信的驾驶系统，所述指令导致所述牵引交通工具基于所述第一方向盘角度而操纵。
2.根据权利要求1所述的方法，还包括：
由所述数据处理硬件确定所述挂车表示的所述竖直中心与所述一个或多个图像的竖直中心之间的像素距离；
当所述挂车表示的所述竖直中心与所述一个或多个图像的所述竖直中心之间的所述像素距离小于阈值时：
由所述数据处理硬件将所述挂车表示的所述竖直中心设置为所述目标；以及
由所述数据处理硬件确定所述第一方向盘角度，以使所述牵引交通工具转向，使得所述交通工具在朝向所述目标的方向上自主操纵。
3.根据权利要求1所述的方法，还包括：
由所述数据处理硬件确定所述挂车表示的所述竖直中心与所述一个或多个图像的竖直中心之间的像素距离；
当所述挂车表示的所述竖直中心与所述一个或多个图像的所述竖直中心之间的所述像素距离大于阈值时：
由所述数据处理硬件将从所述图像的所述竖直中心的预限定侧向偏移设置为所述目标；以及
由所述数据处理硬件确定第二方向盘角度，以使所述牵引交通工具转向，使得所述交通工具在朝向所述目标的方向上自主操纵。
4.根据权利要求3所述的方法，其中，所述阈值包括多个像素。
5.根据权利要求3所述的方法，其中，用于使所述牵引交通工具转向使得所述交通工具在朝向所述目标的方向上自主操纵的所述第二方向盘角度是防止所述牵引交通工具和所述挂车V形弯折的最大方向盘角度。
6.根据权利要求1所述的方法，还包括：利用边界框而界定所述挂车表示，其中，所述挂车表示的所述竖直中心包括将所述挂车表示竖直划分成两个相等部段的线。
7.根据权利要求1所述的方法，其中，所述一个或多个图像的所述竖直中心包括将所述一个或多个图像中的每个图像竖直划分成两个相等部段的线，每个部段具有相等数量的像素。
8.根据权利要求1所述的方法，其中，所述一个或多个摄像头包括单目摄像头。
9.根据权利要求1所述的方法，其中，所述一个或多个摄像头包括鱼眼摄像头。
10.用于自主操纵牵引交通工具朝向定位在所述牵引交通工具后方的挂车的系统，所述系统包括：
数据处理硬件；以及
存储器硬件，与所述数据处理硬件通信，所述存储器硬件存储指令，当在所述数据处理硬件上执行时，所述指令导致所述数据处理硬件执行操作，所述操作包括：
从一个或多个摄像头接收一个或多个图像，所述一个或多个摄像头定位在所述牵引交通工具的后部部分上，并且与所述数据处理硬件通信；
在所述一个或多个图像内识别挂车表示，所述挂车表示指示定位在所述牵引交通工具后方的所述挂车；
将所述挂车表示的竖直中心设置为目标；以及
确定第一方向盘角度，以使所述牵引交通工具转向，使得所述交通工具在朝向所述目标的方向上自主操纵；以及
将指令传输到与所述数据处理硬件通信的驾驶系统，所述指令导致所述牵引交通工具基于所述第一方向盘角度而操纵。
11.根据权利要求10所述的系统，其中，所述操作还包括：
确定所述挂车表示的所述竖直中心与所述一个或多个图像的竖直中心之间的像素距离；
当所述挂车表示的所述竖直中心与所述一个或多个图像的所述竖直中心之间的所述像素距离小于阈值时：
由所述数据处理硬件将所述挂车表示的所述竖直中心设置为所述目标；以及
由所述数据处理硬件确定所述第一方向盘角度，以使所述牵引交通工具转向，使得所述交通工具在朝向所述目标的方向上自主操纵。
12.根据权利要求10所述的系统，其中，所述指令还包括：
确定所述挂车表示的所述竖直中心与所述一个或多个图像的竖直中心之间的像素距离；
当所述挂车表示的所述竖直中心与所述一个或多个图像的所述竖直中心之间的所述像素距离大于阈值时：
由所述数据处理硬件将从所述图像的所述竖直中心的预限定侧向偏移设置为所述目标；以及
由所述数据处理硬件确定第二方向盘角度，以使所述牵引交通工具转向，使得所述交通工具在朝向所述目标的方向上自主操纵。
13.根据权利要求12所述的系统，其中，所述阈值包括多个像素。
14.根据权利要求12所述的系统，其中，用于使所述牵引交通工具转向使得所述交通工具在朝向所述目标的方向上自主操纵的所述第二方向盘角度是防止所述牵引交通工具和所述挂车V形弯折的最大方向盘角度。
15.根据权利要求10所述的系统，还包括：利用边界框而界定所述挂车表示，其中，所述挂车表示的所述竖直中心包括将所述挂车表示竖直划分成两个相等部段的线。
16.根据权利要求10所述的系统，其中，所述一个或多个图像的所述竖直中心包括将所述一个或多个图像中的每个图像竖直划分成两个相等部段的线，每个部段具有相等数量的像素。
17.根据权利要求10所述的系统，其中，所述一个或多个摄像头包括单目摄像头。
18.根据权利要求10所述的系统， 其中，所述一个或多个摄像头包括鱼眼摄像头。
CN201980029644.4A 2018-05-01 2019-04-25 挂车检测和自主栓接 Pending CN112236321A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862665247P 2018-05-01 2018-05-01
US62/665247 2018-05-01
US16/392977 2019-04-24
US16/392,977 US11518204B2 (en) 2018-05-01 2019-04-24 Trailer detection and autonomous hitching
PCT/US2019/029233 WO2019212868A1 (en) 2018-05-01 2019-04-25 Trailer detection and autonomous hitching

Publications (1)

Publication Number Publication Date
CN112236321A true CN112236321A (zh) 2021-01-15

Family

ID=66554480

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980029644.4A Pending CN112236321A (zh) 2018-05-01 2019-04-25 挂车检测和自主栓接
CN201980029803.0A Pending CN112313094A (zh) 2018-05-01 2019-05-01 挂车检测和自主栓接

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201980029803.0A Pending CN112313094A (zh) 2018-05-01 2019-05-01 挂车检测和自主栓接

Country Status (5)

Country Link
US (2) US11518204B2 (zh)
EP (2) EP3787913B1 (zh)
JP (2) JP7124116B2 (zh)
CN (2) CN112236321A (zh)
WO (2) WO2019212868A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113212079A (zh) * 2021-05-31 2021-08-06 驭势科技（北京）有限公司 一种牵引车与被牵引目标对接控制方法、设备和存储介质

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10086870B2 (en) * 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
JP6439233B2 (ja) * 2017-03-31 2018-12-19 マツダ株式会社 車両用画像表示装置及び画像処理方法
US11135881B2 (en) * 2018-01-08 2021-10-05 Hall Labs Llc Trailer and a tow vehicle path optimization
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US10870323B2 (en) * 2018-07-18 2020-12-22 Ford Global Technologies, Llc Compensation for trailer coupler geometry in automatic hitch operation
US10796402B2 (en) * 2018-10-19 2020-10-06 Tusimple, Inc. System and method for fisheye image processing
US10829152B2 (en) 2018-11-08 2020-11-10 Ford Global Technologies, Llc Automated hitching system with subject trailer selection from multiple identified trailers
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
US11214105B2 (en) * 2019-01-29 2022-01-04 Ford Global Technologies, Llc Saturated steering detection and operation for guided vehicle operation
US11491833B2 (en) * 2019-01-29 2022-11-08 Ford Global Technologies, Llc System and methods for vehicle alignment control
TWI720447B (zh) * 2019-03-28 2021-03-01 財團法人工業技術研究院 影像定位方法及其系統
US10744943B1 (en) * 2019-04-08 2020-08-18 Ford Global Technologies, Llc System and method for trailer alignment
US11417116B2 (en) * 2019-04-19 2022-08-16 Magna Electronics Inc. Vehicular trailer angle detection system
US11180146B2 (en) * 2019-05-14 2021-11-23 Ford Global Technologies, Llc Brake control technique to stop a vehicle for assisting automatic trailer hitching
US11427199B2 (en) * 2019-08-22 2022-08-30 Ford Global Technologies Llc System for aligning a vehicle hitch location identifier with a trailer coupler
US11851061B2 (en) * 2019-08-26 2023-12-26 Ford Global Technologies, Llc Prevention of trailer coupler tracking jump during hitch assist operation
US11479297B2 (en) * 2019-09-10 2022-10-25 Ford Global Technologies, Llc Overshoot protection in hitch assist operation
US11584177B2 (en) * 2019-09-13 2023-02-21 Ford Global Technologies, Llc Fixed offset method for hitch detection in hitch assist operation
US11390294B2 (en) * 2019-09-25 2022-07-19 Ford Global Technologies, Llc Differentiating between near trailer and connected trailer
SE543108C2 (en) * 2019-10-23 2020-10-06 Winteria Ab Method and device for inspection of a geometry, the device comprising image capturing and shape scanning means
US11433943B2 (en) * 2019-11-01 2022-09-06 Ford Global Technologies, Llc Hitch angle detection using automotive radar
CN110864667B (zh) * 2019-11-22 2021-03-02 三一重工股份有限公司 一种舵轮转角测量方法、装置、电子设备及可读存储介质
DE102020103597A1 (de) * 2020-02-12 2021-08-12 Saf-Holland Gmbh Verfahren und System zum Ermitteln einer Ausrichtung eines Anhängers gegenüber einem Zugfahrzeug
US11279187B2 (en) * 2020-03-05 2022-03-22 Ford Global Technologies, Llc Automatic alignment reattempt in automatic hitch operation
US11654965B2 (en) * 2020-06-24 2023-05-23 Robert Bosch Gmbh Method and system for steering control during reverse vehicle operation for maneuvering of a trailer
US11403767B2 (en) * 2020-09-15 2022-08-02 Connaught Electronics, Ltd. Method and apparatus for detecting a trailer, tow-ball, and coupler for trailer hitch assistance and jackknife prevention
US11676300B2 (en) * 2020-12-09 2023-06-13 Continental Autonomous Mobility US, LLC Method for real-time tow ball detection
US11980125B2 (en) * 2020-12-18 2024-05-14 Deere & Company Position detectors for steering systems of agricultural header transport systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150115571A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US20150367886A1 (en) * 2013-02-04 2015-12-24 Ford Global Technologies, Llc Control modes for a trailer backup assist system
US20160288601A1 (en) * 2015-04-01 2016-10-06 Robert Bosch Gmbh Trailer coupling assistance system with vehicle video camera
US20180081370A1 (en) * 2016-09-22 2018-03-22 Robert Bosch Gmbh Trailer hitch ball detection and location measurement using a rear view camera

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480104B1 (en) 2001-04-23 2002-11-12 Darby S. Wall Trailer alignment method and apparatus
JP3945467B2 (ja) 2003-10-02 2007-07-18 日産自動車株式会社 車両後退支援装置および方法
US10964209B2 (en) * 2003-12-24 2021-03-30 Mark W. Publicover Method and system for traffic and parking management
US7171769B2 (en) 2004-02-12 2007-02-06 Sno-Way International, Inc. Hitch system using a video camera to facilitate hitch alignment
US8164628B2 (en) * 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8888121B2 (en) 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US7777615B2 (en) * 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
US8191915B2 (en) 2008-10-17 2012-06-05 GM Global Technology Operations LLC Vehicle docking assistance system
US9108598B2 (en) 2011-01-13 2015-08-18 Continental Automotive Systems, Inc. System and method for maneuvering a vehicle-trailer unit in reverse travel
WO2012103193A1 (en) 2011-01-26 2012-08-02 Magna Electronics Inc. Rear vision system with trailer angle detection
US9506774B2 (en) * 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9102272B2 (en) * 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer target monitoring system and method
US11179981B2 (en) * 2012-07-05 2021-11-23 Uusi, Llc Vehicle trailer connect system
DE102012018914A1 (de) 2012-09-25 2014-03-27 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zur Schätzung einer Winkelabweichung
US20140151979A1 (en) 2012-12-03 2014-06-05 Fontaine Fifth Wheel Fifth Wheel Backup Camera System and Method
US9880560B2 (en) 2013-09-16 2018-01-30 Deere & Company Vehicle auto-motion control system
US9403413B2 (en) 2014-05-07 2016-08-02 GM Global Technology Operations LLC Systems and methods to assist in coupling a vehicle to a trailer
US10150505B2 (en) 2015-04-14 2018-12-11 Continental Automotive Systems, Inc. Automated hitching assist system
JP2017030549A (ja) 2015-07-31 2017-02-09 アイシン精機株式会社 駐車支援装置
US10017115B2 (en) * 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US9731568B2 (en) * 2015-12-01 2017-08-15 GM Global Technology Operations LLC Guided tow hitch control system and method
US9895945B2 (en) * 2015-12-08 2018-02-20 Ford Global Technologies, Llc Trailer backup assist system with hitch assist
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US9934572B2 (en) * 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
KR20180101717A (ko) 2016-01-08 2018-09-13 인텔리전트 테크놀로지스 인터내셔널 인코포레이티드 맵들을 사용하는 차량 컴포넌트 제어
US20170217372A1 (en) * 2016-02-02 2017-08-03 Magna Electronics Inc. Wireless camera system for vehicle and trailer
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
CN106225723B (zh) 2016-07-25 2019-03-29 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
US10864787B2 (en) 2016-07-28 2020-12-15 Robert Bosch Gmbh Systems and methods for a human machine interface for a trailer hitch system
US10391939B2 (en) 2016-09-01 2019-08-27 GM Global Technology Operations LLC Method and apparatus to determine trailer pose
JP6729282B2 (ja) * 2016-10-18 2020-07-22 株式会社デンソー 車両制御装置
US20190047346A1 (en) * 2017-08-08 2019-02-14 Continental Automotive Systems, Inc. Trailer pitch correction with air suspension
US11067993B2 (en) * 2017-08-25 2021-07-20 Magna Electronics Inc. Vehicle and trailer maneuver assist system
US10884425B2 (en) * 2017-09-25 2021-01-05 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
US10987984B2 (en) * 2017-09-25 2021-04-27 Continental Automotive Systems, Inc. Automated trailer hitching using image coordinates
US11633994B2 (en) * 2018-04-04 2023-04-25 Continental Autonomous Mobility Us, Llc. Vehicle-trailer distance detection device and method
US11050933B2 (en) * 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US11175677B2 (en) * 2018-05-01 2021-11-16 Continental Automotive Systems, Inc. Tow vehicle and trailer alignment
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US11198340B2 (en) * 2018-05-01 2021-12-14 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
US10984553B2 (en) * 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US11669104B2 (en) * 2018-05-08 2023-06-06 Continental Automotive Systems, Inc. User-adjustable trajectories for automated vehicle reversing
US11148667B2 (en) * 2018-08-03 2021-10-19 Continental Automotive Systems, Inc. Automated reversing by choice of target location

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150367886A1 (en) * 2013-02-04 2015-12-24 Ford Global Technologies, Llc Control modes for a trailer backup assist system
US20150115571A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US20160288601A1 (en) * 2015-04-01 2016-10-06 Robert Bosch Gmbh Trailer coupling assistance system with vehicle video camera
US20180081370A1 (en) * 2016-09-22 2018-03-22 Robert Bosch Gmbh Trailer hitch ball detection and location measurement using a rear view camera

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113212079A (zh) * 2021-05-31 2021-08-06 驭势科技（北京）有限公司 一种牵引车与被牵引目标对接控制方法、设备和存储介质
CN113212079B (zh) * 2021-05-31 2023-01-20 驭势科技（北京）有限公司 一种牵引车与被牵引目标对接控制方法、设备和存储介质

Also Published As

Publication number Publication date
JP2021519999A (ja) 2021-08-12
WO2019213287A1 (en) 2019-11-07
US11518204B2 (en) 2022-12-06
US20190337344A1 (en) 2019-11-07
CN112313094A (zh) 2021-02-02
JP7124117B2 (ja) 2022-08-23
US11198341B2 (en) 2021-12-14
EP3787913A1 (en) 2021-03-10
JP2021520000A (ja) 2021-08-12
JP7124116B2 (ja) 2022-08-23
EP3787911A1 (en) 2021-03-10
US20190339704A1 (en) 2019-11-07
WO2019212868A1 (en) 2019-11-07
EP3787913B1 (en) 2023-08-09

Similar Documents

Publication Publication Date Title
US11518204B2 (en) Trailer detection and autonomous hitching
US11148667B2 (en) Automated reversing by choice of target location
CN111372795B (zh) 使用图像坐标的自动化拖车挂接
US10906583B2 (en) Autonomous trailer hitching using neural network
US11198340B2 (en) Coupler and tow-bar detection for automated trailer hitching via cloud points
CN112004696B (zh) 牵引车辆和拖车的对准
CN112805207B (zh) 用于自动车辆倒车的用户可调轨迹
CN112424002A (zh) 视觉对象跟踪器
US11247610B2 (en) Trailer edge tracking
US10899384B2 (en) Trailer reverse assist with follow-me system
US20220343535A1 (en) System and method for estimating relative trailer angle
US20220332307A1 (en) Disturbance handling for trailer towing
US20230294767A1 (en) Vehicle Trailer Angle Estimation via Projective Geometry
WO2019005976A1 (en) AUTONOMOUS MOORING OF A VEHICLE TO A LOADING DOCK
EP4188775B1 (en) Long-term visual trailer tracker for vehicle-trailer angle estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination