CN112004696B - 牵引车辆和拖车的对准 - Google Patents

牵引车辆和拖车的对准 Download PDF

Info

Publication number
CN112004696B
CN112004696B CN201980029438.3A CN201980029438A CN112004696B CN 112004696 B CN112004696 B CN 112004696B CN 201980029438 A CN201980029438 A CN 201980029438A CN 112004696 B CN112004696 B CN 112004696B
Authority
CN
China
Prior art keywords
towing vehicle
trailer
camera
determining
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980029438.3A
Other languages
English (en)
Other versions
CN112004696A (zh
Inventor
E·J·拉米雷斯拉诺斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Systems Inc
Original Assignee
Continental Automotive Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Systems Inc filed Critical Continental Automotive Systems Inc
Publication of CN112004696A publication Critical patent/CN112004696A/zh
Application granted granted Critical
Publication of CN112004696B publication Critical patent/CN112004696B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18036—Reversing
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G01C11/28—Special adaptation for recording picture point data, e.g. for profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了一种使牵引车辆（100）与定位在牵引车辆后面的拖车（200）对准的方法。所述方法包括：确定牵引车辆（100）的后部环境的点云地图。后部环境包括拖车（200）。该方法还包括：基于点云地图确定拖车（200）的正面平面（P）。所述方法还包括：确定所述正面平面（P）的法线（N）。该方法还包括：确定从牵引车辆（100）到拖车（200）的路径，使得牵引车辆的前后轴线与正面平面（P）的法线（N）对准。

Description

牵引车辆和拖车的对准
技术领域
本公开涉及一种用于使牵引车辆与拖车对准的方法和装置。
背景技术
拖车通常是由动力牵引车辆牵引的无动力车辆。拖车可以是通用拖车、弹出野营车、旅行拖车、牲畜拖车、平板拖车、封闭式调度车和船拖车等。牵引车辆可以是轿车、跨界车、卡车、货车、运动型多功能车(SUV)、休闲车(RV)或被配置成附接到拖车并牵引拖车的任何其它车辆。拖车可以使用拖车挂接装置附接到动力车辆。接收器挂接装置安装在牵引车辆上并且连接到拖车挂接装置以形成连接。拖车挂接装置可以是球窝式连接器、备用轮和鹅颈管、或拖车千斤顶。也可以使用其它连接机构。除了拖车和动力车辆之间的机械连接之外，在一些示例中，拖车电连接到牵引车辆。这样，电连接允许拖车从动力车辆的尾灯电路获取供电，从而允许拖车具有与动力车辆的灯同步的尾灯、转弯信号和刹车灯。
传感器技术的最新进展已经导致改进的车辆安全系统，例如车辆-拖车连接过程。因此，期望提供一种能够在挂接过程期间使牵引车辆与拖车对准的系统。
发明内容
本公开的一个方面提供了一种将牵引车辆与定位在该牵引车辆后面的拖车对准的方法。该方法包括：通过数据处理硬件确定牵引车辆的后部环境的点云地图。后部环境包括拖车。该方法还包括：由数据处理硬件基于点云地图来确定拖车的正面平面；以及通过数据处理硬件确定正面平面的法线。该方法还包括：通过数据处理硬件确定从牵引车辆到拖车的路径，使得牵引车辆的前后轴线与正面平面的法线对准。
本公开的实现方式可以包括以下可选特征中的一个或多个。在一些实现方式中，该方法包括向与数据处理硬件通信的驱动系统发送指令。所述指令使所述牵引车辆沿所述路径在向后方向上自主驾驶。
在一些示例中，该方法还包括：从定位在牵引车辆后部上并与数据处理硬件通信的相机接收一个或多个图像。该方法还可以包括：识别包括一个或多个图像内的拖车图示的感兴趣区域(ROI)。所述拖车图示指示定位在所述牵引车辆后方的拖车。在一些示例中，确定牵引车辆的后部环境的点云地图包括：确定仅与ROI相关联的点云地图。
该方法还可以包括：从定位在所述牵引车辆的后部上并且与所述数据处理硬件通信的相机接收图像。该方法还可包括：在牵引车辆移动时从所接收的图像确定后置相机的至少三个三维位置。该方法还可以包括：基于至少三个三维位置确定相机平面。基于点云地图来确定拖车的正面可以包括：确定点云地图内的点的聚类。在一些示例中，该方法包括针对每个聚类确定该聚类的中心。该方法还可以包括：将聚类的中心投影在相机平面上。该方法还可以包括：确定与具有到相机的中心的最短距离的中心相关联的聚类。该方法还可以包括：基于具有到相机中心的最短距离的点的聚类中的点来确定正面平面。在一些示例中，该方法还包括：将与具有到相机的中心的最短距离的中心相关联的聚类的点投影在相机平面上。该方法还可以包括：确定与投影点相关联的线。该方法还可以包括：将投影点投影到线上以确定包含所有投影点的线段。沿着法线穿过所述线段的中点的线指示对准方向。确定点云地图包括：执行视觉测距(VO)算法、同时定位和地图绘制(SLAM)算法和运动恢复结构(SfM)算法中的一个。
本公开的另一方面提供了一种用于将牵引车辆与定位在该牵引车辆后面的拖车对准的系统。该系统包括：数据处理硬件；以及与数据处理硬件通信的存储器硬件。存储器硬件存储指令，当在数据处理硬件上执行所述指令时，所述指令使数据处理硬件执行包括上述方法的操作。
在附图和以下描述中阐述了本公开的一个或多个实现方式的细节。从说明书和附图以及从权利要求书中，其它方面、特征和优点将是显而易见的。
附图说明
图1A是与拖车相距一定距离的示例性牵引车辆的示意性俯视图。
图1B是与拖车对准的示例性牵引车辆的示意性俯视图。
图2是具有对准系统的示例性牵引车辆的示意图。
图3是图1A和图1B的拖车的透视图。
图4A-4C是基于捕获图像的相机的位置的不同示例性拖车图像的透视图。
图5是捕获拖车的图像以生成点云地图的示例性相机的示意图。
图6A和图6B是相机平面和道路平面的示意图。
图7是具有聚类算法的示例性点云地图的示意图。
图8是用于将牵引车辆与定位在牵引车辆后面的拖车对准的操作的示例性布置的示意图。
在各个附图中相同的附图标记表示相同的元件。
具体实施方式
诸如但不限于汽车、跨界车、卡车、货车、运动型多用途车(SUV)和休闲车(RV)的牵引车辆可以被配置成牵引拖车。牵引车辆通过拖车挂接装置连接到拖车。期望具有一种能够朝向拖车自主倒车的牵引车辆，该拖车从显示在用户界面(诸如用户显示器)上的拖车的一个或多个图示中被识别。此外，还期望具有一种对准系统，其能够在挂接过程期间将牵引车辆与拖车对准。对准系统对于牵引车辆或拖车的初始姿态是不变的。
参照图1-7，在一些实施方式中，牵引车辆100的驾驶员想要牵引定位在牵引车辆100后方的拖车200。牵引车辆100可以被配置为接收与选定的拖车200a-c的图示相关联的驾驶员选择134的指示。在一些示例中，驾驶员朝向选定拖车200a-c操纵牵引车辆100，而在其他示例中，牵引车辆100自主地朝向选定拖车200a-c驾驶。牵引车辆100可以包括驱动系统110，其基于例如具有x、y和z分量的驱动命令来操纵牵引车辆100越过道路表面。如图所示，驱动系统110包括右前轮112a、左前轮112b、右后轮112c和左后轮112d。驱动系统110也可以包括其它车轮配置。驱动系统110还可以包括制动系统114，其包括与每个车轮112相关联的制动器，以及加速系统116，其被配置为调节牵引车辆100的速度和方向。此外，驱动系统110可以包括：悬架系统118，该悬架系统包括与每个车轮112相关联的轮胎、轮胎空气、弹簧、减震器；以及将牵引车辆100连接到其车轮112并且允许牵引车辆100与车轮112之间的相对运动的连杆。悬架系统118可以被配置成调节牵引车辆100的高度，从而允许牵引车辆挂接装置120(例如，车辆挂接球122)与拖车挂接装置210(例如，拖车挂接装置联结器212)对准，这允许牵引车辆100与拖车200之间的自主连接。
牵引车辆100可以通过相对于由牵引车辆100限定的三个相互垂直的轴线的运动的各种组合而在道路表面上移动：横向轴线X、前后轴线Y和中心竖直轴线Z。横向轴线X在牵引车100的右侧和左侧之间延伸。沿前后轴线Y的向前驱动方向被表示为F，也称为向前运动。此外，沿前后方向Y的向后或向后驱动方向被指定为R，也称为向后运动。当悬架系统118调节牵引车辆100的悬架时，牵引车辆100可以绕X轴和或Y轴倾斜，或沿中心竖直轴线Z移动。
牵引车辆100可以包括用户界面130。用户界面130经由一个或多个输入机构或屏幕显示器132(例如，触摸屏显示器)从驾驶员接收一个或多个用户命令和/或向驾驶员显示一个或多个通知。用户界面130与车辆控制器150通信，该车辆控制器又与传感器系统140通信。在一些示例中，用户界面130显示牵引车辆100的环境的图像，导致由用户界面130(从驾驶员)接收发起一个或多个行为的执行的一个或多个命令。在一些示例中，用户的屏幕显示器132显示定位在牵引车辆100后面的拖车200a-c的一个或多个图示136a-c。在这种情况下，驾驶员选择拖车200a-c的图示136a-c，使车辆控制器150执行与选定的图示136a-c的拖车200a-c相关联的对准系统160。在一些示例中，在用户的屏幕显示器132显示定位在牵引车辆100后面的拖车200a-c的一个图示136a-c的情况下，车辆控制器150可自动地或在来自驾驶员的指示时执行与一个图示136a-c的一个拖车200a-c相关联的对准系统160，以自主地附接到拖车200a-c。车辆控制器150包括与非暂时性存储器154(例如，硬盘、闪存、随机存取存储器、存储器硬件)通信的计算装置(或处理器或数据处理硬件)152(例如，具有一个或多个计算处理器的中央处理单元)，所述非暂时性存储器能够存储在(一个或多个)计算处理器152上可执行的指令。
牵引车辆100可以包括传感器系统140以提供可靠且稳健的驾驶。传感器系统140可以包括不同类型的传感器，这些传感器可以单独使用或彼此一起使用，以产生对牵引车辆100的环境的感知。环境的感知用于帮助驾驶员基于由传感器系统140检测到的物体和障碍物或在牵引车辆100的自主驾驶期间做出智能决策。传感器系统140可以包括一个或多个相机142。在一些实施方式中，牵引车辆100包括相机142a，其被安装为提供具有牵引车辆100的后驾驶路径的视图的图像143。相机142a可以包括鱼眼镜头，该鱼眼镜头包括超广角镜头，该超广角镜头产生旨在形成宽全景或半球图像143的强视觉失真。鱼眼式相机捕获具有极宽视角的图像143。此外，由鱼眼式相机捕获的图像143具有特征性的凸起的非直线外观。也可使用其它类型的相机来捕获牵引车辆100的后驾驶路径的图像143。
传感器系统140可以包括其他传感器，诸如但不限于雷达、声纳、LIDAR(光检测和测距，其可能需要测量散射光的属性以找到远距离目标的距离和/或其他信息的光学遥感)、LADAR(激光检测和测距)、超声传感器、立体相机等。传感器144将传感器数据145输出到车辆控制器150，即对准系统160。
车辆控制器150执行对准系统160，其接收来自相机142a的图像143和来自传感器144的传感器数据145，并确定拖车的正面220在三维3D世界坐标中的法线方向N，以及拖车正面220的中间点222。在牵引车辆100与拖车200的对准过程期间，拖车正面220的中间点222被对准系统660用作参考点。因此，对准系统160使得牵引车辆100和拖车200在挂接过程期间对准。牵引车辆100或拖车200的初始姿态(即，位置和取向)不影响对准系统160的执行。
在一些实施方式中，对准系统160从相机142a接收图像143。对准系统160指示用户界面130在屏幕显示器132上显示所接收的图像143，并向驾驶员请求在所显示的图像143内选择感兴趣区域(ROI)400(图4A-4C)。ROI 400是包括拖车200的边界框。在其他示例中，联结器位置估计和跟踪系统可以包括拖车识别算法，其识别图像143内的拖车并且通过作为ROI 400的边界框来限制拖车200。
当牵引车辆100在向后方向R或向前方向上移动时，图像143中的视角和拖车200的尺寸改变。因此，视觉跟踪算法162基于在如图4A-4C所示的沿着前后轴线Y的向前F和向后R驱动运动期间从相机142a接收的新图像143来更新ROI 400。在一些示例中，对准系统160提取ROI 400内的特征点并跟踪特征点。特征点的示例可以包括但不限于拖车200、联结器212或牵引杆214上的边缘、拐角或斑点。
对准系统160包括点云生成模块164，其生成ROI 400内的对象(例如拖车200(图5))的半密集/密集点云500。点云是3D空间中的一组数据点，更具体地，点云包括对象的外表面上的多个点。参考图5，相机142a的姿态(即，位置和取向)相对于拖车200改变。因此，当在牵引车辆100移动时相机姿态改变时，相机142a在不同时间捕获拖车200的图像143以生成点云地图。例如，相机142a在时间t0捕获第一图像。第一图像包括ROI 400，其又包括拖车200和与拖车200相关联的特征点502(例如，二维特征点)。当牵引车辆100移动时，相机姿态改变。因此，在时间t1，相机捕获也包括ROI 400的第二图像，ROI又包括拖车200和与拖车200相关联的特征点502(例如，二维特征点)。如前所述，视觉跟踪算法162跟踪ROI 400中的特征点502，因此，第二图像中的特征点502与第二图像相比改变了它们的视角。相机142a继续捕获图像143，直到点云生成模块164具有足够的特征点502来生成点云500。
点云生成模块164可使用一种或多种技术来定位生成点云500。这些技术中的一些包括但不限于视觉测距(VO)、同时定位和地图绘制(SLAM)和运动恢复结构(structurefrom motion)(SfM)。VO、SLAM和SfM框架是沿用已久的理论，并且允许牵引车辆100在自生成的3D点云地图中实时定位。VO是通过分析从相机142a接收的图像143来确定拖车200、相机142a、联结器212或牵引杆214的位置和取向的方法。VO方法可以提取图像的特征点502并在图像序列中跟踪它们。特征点502的示例可以包括但不限于拖车200、联结器212或牵引杆214上的边缘、拐角或斑点。VO方法还可以直接使用图像序列中的像素强度作为视觉输入。SLAM方法在跟踪一个或多个目标的同时构建或更新未知环境的地图。换句话说，SLAM方法使用所接收的图像143作为外部信息的唯一源，以建立牵引车辆100和相机142a的位置和取向，同时构建ROI 400中的对象的图示。SfM方法基于接收到的图像143(即，2D图像)估计ROI400中的对象的3D结构。SfM方法可基于相机142捕获的图像143的序列来估计相机142a和牵引车辆100的姿态。因此，点云生成模块164生成点云500并且基于执行上述技术中的一个来确定相机姿态。
联结器位置估计和跟踪系统包括平面确定模块166，其被配置为确定相机平面610和道路平面620。参考图6A和6B，在一些实施方式中，平面确定模块166确定相机142a沿着其移动的相机平面610以及道路平面620。为了确定相机平面610，平面确定模块166使用从相机142a接收的相机142a的至少三个先前3D位置P0、P1、P2作为相机数据141，如图6A所示。相机数据141可以包括固有参数(例如，焦距、图像传感器格式和主点)和外在参数(例如，从3D世界坐标到3D相机坐标的坐标系变换，换言之，外在参数定义相机中心的位置和相机在世界坐标中的航向)。另外，相机数据141可以包括相机142a相对于地面的最小/最大/平均高度(例如，当车辆被装载和卸载时)，以及相机142a和车辆挂接球(hitch ball)122之间的纵向距离。平面确定模块166基于相机142a的至少三个先前3D位置P0、P1、P2的三个点的3D位置P0、P1、P2来确定相机平面610。在一些示例中，联结器位置估计和跟踪系统基于相机平面610确定道路平面620。在一些实施方式中，基于相机平面610和相机数据141，平面确定模块166确定道路平面620，因为道路平面620是相机平面610从地面(其在相机信息141中提供)偏移相机142a的高度。当用于确定相机平面610的三个3D点共线时，该过程是有帮助的，在这种情况下，存在与3D点P0、P1、P2所给出的线共面的无限数量的相机平面610。
为了确定道路平面620，平面确定模块166从与道路相关联的所捕获的2D图像143提取至少三个特征点。随后，联结器位置估计和跟踪系统确定点云500内的三个特征点的3D位置，然后联结器位置估计和跟踪系统基于这三个特征点计算道路平面620。在一些示例中，联结器位置估计和跟踪系统基于道路平面620确定相机平面610。在一些实施方式中，基于道路平面620和相机信息141，联结器位置估计和跟踪系统确定相机平面，因为相机平面610是道路平面620从地面(其由相机信息141提供)偏移相机142a的高度。
当牵引车辆100在向后R方向上自主地移动时，平面确定模块166可以实时地确定和更新相机平面610、道路平面620，或者如果平面确定模块166确定道路是平坦的，则联结器位置估计和跟踪系统可以仅确定相机平面610、道路平面620一次。上述方法使用三个点来确定相机平面610或道路平面620。然而，在一些示例中，平面确定模块166可以依赖于多于三个点来确定相机平面610、道路平面620。在这种情况下，平面确定模块166使用最小二乘法、随机采样一致性(RANSAC)法、支持向量机(SVM)法或这些算法的任何变型来确定相机平面610、道路平面620。通过使用多于三个点来确定相机平面610、620，平面确定模块166增加了对异常值的鲁棒性。
对准系统160包括用于过滤点云500的过滤模块168。过滤模块168计算具有L个聚类的聚类算法(其中L是整数)。聚类算法将数据点(例如，云点)分组为聚类。例如，聚类算法将由点云生成模块164生成的云点分类成组，其中每个点属于具有最接近均值的聚类。聚类算法识别每个聚类的中心或均值以及属于每个聚类的点。如果聚类的任何两个中心之间的距离小于D(D可以被选择为拖车的正面的宽度或其任何近似)，则过滤模块268对L-1个聚类执行聚类算法。当聚类的任何两个中心之间的所有距离都大于D时，或者当点云500中仅有1个聚类时，过滤模块168停止执行聚类算法。
对准系统160包括识别模块169，其识别拖车200的正面220，因为拖车200的正面220是最靠近牵引车辆100的拖车面并且支撑拖车挂接装置210以便挂接。识别模块169确定聚类的每个中心(由过滤模块168确定)在相机平面610或道路平面620上的投影。识别模块169确定更靠近相机142a的中心的投影点。如果聚类的中心被投影在相机平面610上，则识别模块169确定从每个投影中心到相机142a的中心的距离。然而，如果聚类的中心被投影在道路平面620上，则识别模块169确定从每个投影中心到相机142a的中心在道路平面620上的投影的距离。
一旦识别模块169确定了最接近相机142a(即，相机中心)的聚类504的中心，则识别模块169计算与具有最接近相机142a的距离的中心的聚类云点相关联的平面P。识别模块169可以使用以下算法RANSAC、最小二乘法、SVM或其任何变型中的一个，以基于与具有最接近相机142a的中心的聚类504相关联的云点来确定平面P。
接下来，识别模块169确定拖车200的宽度。识别模块169将与具有最接近相机142a的中心的聚类504相关联的云点投影到相机平面610(或者道路平面620)上，这些投影点由集合M表示。然后，识别模块169计算在相机平面610或者道路平面620中的拟合集合M的投影点的线。识别模块169执行RANSAC、最小二乘方、SVM或者其任何变型中的一个以确定拟合集合M的投影点的线。接下来，识别模块169将集合M中的点投影到线上以找到包括所有投影点的线段。该线段指示估计的拖车宽度。
在一些示例中，识别模块169基于表面平面P和相机平面610(或道路平面620)之间的相交来确定该线。然后，识别模块169将集合M的点投影到线上以找到包括所有投影点的线段。该线段指示估计的拖车宽度。
识别模块169确定该线段的中间点222，其是用于对准的参考点。识别模块169确定平面P的法线N，该法线N提供了对准所述牵引车辆100的方向。
返回参考图2，车辆控制器150执行路径规划系统170，其基于3D世界坐标中的拖车200的正面220的法线方向N和参考点来规划规划路径172。路径规划系统170可以包括在向后方向上操纵牵引车辆100。
当牵引车辆100沿着规划路径自主操纵时，路径规划系统170基于连续接收的传感器数据连续更新路径。在一些示例中，对象检测系统识别沿着规划路径172的一个或多个对象，并且向路径规划系统170发送与一个或多个对象的位置有关的数据。在这种情况下，路径规划系统170重新计算规划路径172以避开一个或多个物体，同时还执行预定操纵。在一些示例中，路径规划系统确定碰撞的概率，并且如果碰撞的概率超过预定阈值，则路径规划系统170调整路径并将其发送到驾驶辅助系统180。
驾驶辅助系统180包括路径跟随行为182。路径跟随行为182接收规划路径172并执行一个或多个行为182，所述行为发送命令190至驱动系统110，使得牵引车辆100沿规划路径自主驾驶，这使得牵引车辆100如图1B中所示的那样对准以便挂接。
路径跟随行为182、182a-b可包括一个或多个行为，例如但不限于制动行为182a、速度行为182b和转向行为182c。每个行为182、182a-b使牵引车辆100采取行动，诸如向后驾驶、以特定角度转弯、刹车、加速、减速等等。车辆控制器150可以通过控制驱动系统110、更具体地通过向驱动系统110发出命令190而在道路表面上沿任何方向操纵牵引车辆100。
制动行为182a可以被执行以基于规划路径停止牵引车辆100或使牵引车辆100减速。制动行为182a向驱动系统110(例如制动系统(未示出))发送信号或命令190，以停止牵引车辆100或降低牵引车辆100的速度。
可以执行速度行为182b以基于规划路径通过加速或减速来改变牵引车辆100的速度。速度行为182b向制动系统114发送信号或命令190以便减速或向加速系统116发送信号或命令以便加速。
可以执行转向行为182c以基于规划路径改变牵引车辆100的方向。这样，转向行为182c向加速系统130发送指示转向角度的信号或命令190，从而使驱动系统110改变方向。
如上所述，对准系统160确定具有平坦前部的拖车200的表面平面P。然而，对准系统160也可以用于不具有平坦前部的拖车200。在这种情况下，对准系统160请求来自驾驶员的输入以输入拖车前部的形状，例如，来自一组预定形状。或者在其它示例中，对准系统160包括形状确定模块，其确定拖车前部的形状。这样，识别模块169基于拖车前部的形状调整其计算。
对准系统160被设计成在使用或不使用GPU、图形加速器、训练或FPGA的情况下在标准CPU中实时工作。
图8提供了用于使用图1-7中描述的系统将牵引车辆100与定位在牵引车辆100后面的拖车200对准的方法800的操作的示例性布置。在框802处，方法800包括：通过数据处理硬件152确定牵引车辆的后部环境的点云地图。后部环境包括拖车200，即拖车200的图示136。在框804处，方法800包括：由数据处理硬件152基于点云地图来确定拖车200的正面平面P。在框806处，方法800包括：通过数据处理硬件152确定正面平面P的法线N(图2)。在框808处，方法800包括：通过数据处理硬件152确定从牵引车辆100到拖车200的规划路径172，使得牵引车辆100的前后轴线Y与正面平面P的法线N对准。
在一些实施方式中，该方法包括：从定位在牵引车辆100的后部上并且与数据处理硬件152通信的相机142a接收一个或多个图像143。方法800还可以包括：识别ROI 400，其包括一个或多个图像143内的拖车的图示136。拖车的图示136指示定位在牵引车辆100后部的拖车200。因此，确定牵引车辆100的后部环境的点云地图包括：确定仅与ROI 400相关联的点云地图。
在一些示例中，方法800包括：在牵引车辆100正在移动时从所接收的图像143确定相机142a的至少三个三维位置。该方法还可以包括：基于至少三个三维位置确定相机平面610。
基于点云地图来确定拖车的正面可以包括：确定点云地图内的点的聚类504；以及对于每个聚类504，确定聚类504的中心。方法800还可以包括：将聚类504的中心投影在相机平面610上。在一些示例中，方法800包括：确定与具有到相机142a的中心的最短距离的中心相关联的聚类504；以及基于具有到相机142a的中心的最短距离的聚类504的点来确定正面平面P。
在一些示例中，方法600包括：将与具有到相机142a的中心的最短距离的中心相关联的聚类504的点投影在相机平面610上，并且确定与投影点相关联的线。方法600可以包括：将投影点投影到线上以确定包括所有投影点的线段。沿着法线穿过所述线段的中间点222的线指示对准方向。
确定点云地图可包括执行视觉测距(VO)算法、同时定位和地图绘制(SLAM)算法和运动恢复结构(SfM)算法中的一个。
在一些示例中，方法800包括：向与数据处理硬件152通信的驱动系统110发送命令190。命令190使牵引车辆100沿向后方向R沿路径710自主地驾驶。
这里描述的系统和技术的各种实现方式可以在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实现方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现方式，所述可编程系统包括至少一个可编程处理器、至少一个输入装置和至少一个输出装置，所述可编程处理器可以是专用或通用的，被耦合以从存储系统接收数据和指令以及向存储系统发送数据和指令。
这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级过程和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的主题和功能操作的实现可以在数字电子电路中实现，或者在计算机软件、固件或硬件中实现，包括本说明书中公开的结构及其结构等效物，或者在它们中的一个或多个的组合中实现。此外，本说明书中描述的主题可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的计算机程序指令的一个或多个模块，用于由数据处理设备执行或控制数据处理设备的操作。计算机可读介质可以是机器可读存储装置、机器可读存储基底、存储器装置、实现机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理设备”、“计算装置”和“计算处理器”涵盖用于处理数据的所有设备、装置和机器，包括例如可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，该装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以便传输到合适的接收器装置。
类似地，虽然在附图中以特定顺序描绘了操作，但是这不应当被理解为要求以所示的特定顺序或以连续顺序执行这样的操作，或者要求执行所有示出的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统部件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或封装到多个软件产品中。
已经描述了许多实现方式。然而，将理解的是，在不脱离本公开的精神和范围的情况下，可以进行各种修改。因此，其它实现方式在所附权利要求的范围内。

Claims (14)

1.一种将牵引车辆与定位在所述牵引车辆后方的拖车对准的方法，所述方法包括：
通过数据处理硬件确定所述牵引车辆的后部环境的点云地图，所述后部环境包括所述拖车；
通过所述数据处理硬件基于所述点云地图来确定所述拖车的正面平面；
通过所述数据处理硬件确定所述正面平面的法线；以及
通过所述数据处理硬件确定从所述牵引车辆到所述拖车的路径，使得所述牵引车辆的前后轴线与所述正面平面的法线对准。
2.根据权利要求1所述的方法，还包括：
从定位在所述牵引车辆的后部上并且与所述数据处理硬件通信的相机接收一个或多个图像；以及
识别包括所述一个或多个图像内的拖车图示的感兴趣区域，所述拖车图示指示定位在所述牵引车辆后面的所述拖车；
其中，确定所述牵引车辆的所述后部环境的所述点云地图包括：确定仅与所述感兴趣区域相关联的所述点云地图。
3.根据权利要求1所述的方法，还包括：
从定位在所述牵引车辆的后部上并且与所述数据处理硬件通信的相机接收图像；
在所述牵引车辆移动时，从所接收的图像确定所述相机的至少三个三维位置；以及
基于所述至少三个三维位置确定相机平面。
4.根据权利要求3所述的方法，其中，基于所述点云地图来确定所述拖车的正面包括：
确定所述点云地图内的点的聚类；
对于每个聚类，确定所述聚类的中心；
将所述聚类的中心投影在所述相机平面上；
确定与具有到所述相机的中心的最短距离的中心相关联的所述聚类；以及
基于具有到所述相机的中心的最短距离的点的聚类中的点来确定所述正面平面。
5.根据权利要求4所述的方法，还包括：
将与具有到所述相机的中心的最短距离的中心相关联的所述聚类的点投影在所述相机平面上；
确定与投影点相关联的线；以及
将所述投影点投影到线上以确定包含所有所述投影点的线段，沿着所述法线穿过所述线段的中点的线指示对准方向。
6.根据权利要求1所述的方法，其中，确定所述点云地图包括：执行视觉测距算法、同时定位和地图绘制算法和运动恢复结构算法中的一者。
7.根据权利要求1所述的方法，还包括：
向与所述数据处理硬件通信的驱动系统发送指令，所述指令使所述牵引车辆沿所述路径在向后方向上自主地驾驶。
8.一种用于将牵引车辆与定位在所述牵引车辆后面的拖车对准的系统，所述系统包括：
数据处理硬件；以及
与所述数据处理硬件通信的存储器硬件，所述存储器硬件存储指令，所述指令当在所述数据处理硬件上被执行时使所述数据处理硬件执行操作，所述操作包括：
确定所述牵引车辆的后部环境的点云地图，所述后部环境包括所述拖车；
基于所述点云地图来确定所述拖车的正面平面；
确定所述正面平面的法线；以及
确定从所述牵引车辆到所述拖车的路径，使得所述牵引车辆的前后轴线与所述正面平面的法线对准。
9.根据权利要求8所述的系统，其中所述操作还包括：
从定位在所述牵引车辆的后部上并且与所述数据处理硬件通信的相机接收一个或多个图像；以及
识别包括所述一个或多个图像内的拖车图示的感兴趣区域，所述拖车图示指示定位在所述牵引车辆后面的所述拖车；
其中，确定所述牵引车辆的所述后部环境的所述点云地图包括：确定仅与所述感兴趣区域相关联的所述点云地图。
10.根据权利要求8所述的系统，其中所述操作还包括：
从定位在所述牵引车辆的后部上并且与所述数据处理硬件通信的相机接收图像；
在所述牵引车辆移动时，从所接收的图像确定所述相机的至少三个三维位置；以及
基于所述至少三个三维位置确定相机平面。
11.根据权利要求10所述的系统，其中基于所述点云地图来确定所述拖车的正面包括：
确定所述点云地图内的点的聚类；
对于每个聚类，确定所述聚类的中心；
将所述聚类的中心投影在所述相机平面上；
确定与具有到所述相机的中心的最短距离的所述中心相关联的聚类；以及
基于具有到所述相机的中心的最短距离的点的聚类中的点来确定所述正面平面。
12.根据权利要求11所述的系统，其中所述操作还包括：
将与具有到所述相机的中心的最短距离的中心相关联的所述聚类的点投影在所述相机平面上；
确定与投影点相关联的线；以及
将所述投影点投影到线上以确定包含所有所述投影点的线段，沿着所述法线穿过所述线段的中点的线指示对准方向。
13.根据权利要求8所述的系统，其中，确定所述点云地图包括：执行视觉测距算法、同时定位和地图绘制算法和运动恢复结构算法中的一者。
14.根据权利要求8所述的系统，其中所述操作还包括：
向与所述数据处理硬件通信的驱动系统发送指令，所述指令使所述牵引车辆沿所述路径在向后方向上自主地驾驶。
CN201980029438.3A 2018-05-01 2019-05-01 牵引车辆和拖车的对准 Active CN112004696B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862665308P 2018-05-01 2018-05-01
US62/665308 2018-05-01
PCT/US2019/030285 WO2019213323A1 (en) 2018-05-01 2019-05-01 Tow vehicle and trailer alignment

Publications (2)

Publication Number Publication Date
CN112004696A CN112004696A (zh) 2020-11-27
CN112004696B true CN112004696B (zh) 2024-04-12

Family

ID=66554482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980029438.3A Active CN112004696B (zh) 2018-05-01 2019-05-01 牵引车辆和拖车的对准

Country Status (5)

Country Link
US (1) US11175677B2 (zh)
EP (1) EP3787912B1 (zh)
JP (1) JP7326334B2 (zh)
CN (1) CN112004696B (zh)
WO (1) WO2019213323A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10086870B2 (en) * 2015-08-18 2018-10-02 Magna Electronics Inc. Trailer parking assist system for vehicle
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
US20230331160A1 (en) * 2020-09-11 2023-10-19 Continental Autonomous Mobility US, LLC Tow Ball Position Detection System
CN112904363B (zh) * 2021-01-19 2023-04-25 北京九曜智能科技有限公司 一种自动驾驶车辆对接拖车自动托挂钩的方法
CN113282091B (zh) * 2021-05-31 2024-02-13 驭势科技（北京）有限公司 一种牵引车与被牵引目标对接控制方法、设备和存储介质
CN113428155B (zh) * 2021-08-11 2022-08-19 浙江吉利控股集团有限公司 牵引车与牵引车厢的对接方法、设备及存储介质
US20230192122A1 (en) * 2021-12-22 2023-06-22 Eduardo Jose Ramirez Llanos Autonomous vehicle trailer hitch coupling system
US11995877B2 (en) * 2021-12-23 2024-05-28 Continental Autonomous Mobility US, LLC Visual tracking of target features
CN116443012B (zh) * 2023-06-13 2023-09-22 九曜智能科技(浙江)有限公司 牵引车和并排被牵引目标的对接方法和电子设备

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001334966A (ja) * 2000-03-24 2001-12-04 Isuzu Motors Ltd トレーラ連結角検出装置
DE502006001111D1 (de) * 2005-09-08 2008-08-28 Voith Turbo Scharfenberg Gmbh Automatische Mittelpufferkupplung mit einer Antenne zur drahtlosen Signalübertragung
US8038166B1 (en) * 2008-08-11 2011-10-18 Gregory Hubert Piesinger Trailer hitching and backing precision guidance system method and apparatus
CN102944224A (zh) * 2012-11-09 2013-02-27 大连理工大学 一种无人驾驶车的自动环境感知系统及其工作方法
DE102011113197A1 (de) * 2011-09-10 2013-03-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger
KR20130068224A (ko) * 2011-12-15 2013-06-26 여우순엽 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치 및 방법
DE102012006206A1 (de) * 2012-03-27 2013-10-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erfassung einer drohenden Kollision zwischen einem Zugfahrzeug und seinem Anhänger
EP2682329A1 (en) * 2012-07-05 2014-01-08 Uusi, LLC Vehicle trailer connect system
DE102014007898A1 (de) * 2014-05-27 2015-12-03 Man Truck & Bus Ag Verfahren und Fahrerassistenzsystem zur Unterstützung eines Nutzfahrzeug-Gespanns
CN106043281A (zh) * 2015-04-14 2016-10-26 大陆汽车系统公司 自动联结辅助系统
CN106225723A (zh) * 2016-07-25 2016-12-14 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
CN106715165A (zh) * 2014-09-17 2017-05-24 通用电气公司 用于涡轮拖车机械对接和对准系统的系统及方法
WO2017091066A1 (en) * 2015-11-23 2017-06-01 Daf Trucks N.V. Auto docking method for application in heavy trucks
CN107128366A (zh) * 2016-02-26 2017-09-05 通用汽车环球科技运作有限责任公司 用于对拖曳车辆通过弯道提供校正的车道跟随路径的系统和方法
JP2017528685A (ja) * 2014-05-30 2017-09-28 オックスフォード ユニバーシティ イノベーション リミテッドＯｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｉｎｎｏｖａｔｉｏｎ Ｌｉｍｉｔｅｄ 車両位置の推定
US9878587B1 (en) * 2016-10-31 2018-01-30 X Development Llc Movable base for a robotic system

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6480104B1 (en) * 2001-04-23 2002-11-12 Darby S. Wall Trailer alignment method and apparatus
US6900724B2 (en) * 2003-09-16 2005-05-31 Bandwidth Design, Inc. Virtual electronic back-up alignment apparatus
US6986544B2 (en) * 2003-08-21 2006-01-17 Wood Richard M Cross flow vortex trap device and method for reducing the aerodynamic drag of ground vehicles
US20060267310A1 (en) * 2005-05-26 2006-11-30 Richardson Kenneth P Hitch alignment method and apparatus
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US20130226390A1 (en) * 2012-02-29 2013-08-29 Robert Bosch Gmbh Hitch alignment assistance
US9488492B2 (en) * 2014-03-18 2016-11-08 Sri International Real-time system for multi-modal 3D geospatial mapping, object recognition, scene annotation and analytics
US20140151979A1 (en) 2012-12-03 2014-06-05 Fontaine Fifth Wheel Fifth Wheel Backup Camera System and Method
GB2513393B (en) 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US20150115571A1 (en) * 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US9403413B2 (en) 2014-05-07 2016-08-02 GM Global Technology Operations LLC Systems and methods to assist in coupling a vehicle to a trailer
US9938092B2 (en) * 2014-10-03 2018-04-10 Wynright Corporation Perception-based robotic manipulation system and method for automated truck unloader that unloads/unpacks product from trailers and containers
US9555736B2 (en) * 2015-04-03 2017-01-31 Magna Electronics Inc. Vehicle headlamp control using sensing and communication systems
US9836056B2 (en) * 2015-06-05 2017-12-05 Bao Tran Smart vehicle
US20160368336A1 (en) * 2015-06-19 2016-12-22 Paccar Inc Use of laser scanner for autonomous truck operation
JP6659317B2 (ja) 2015-11-17 2020-03-04 株式会社東芝 位置姿勢推定装置、位置姿勢推定プログラムおよび電気掃除機システム
DE102016214597B4 (de) 2016-08-05 2023-10-05 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung eines Ankuppelvorgangs eines Fahrzeugs sowie Unterstützungssystem
US10245994B2 (en) * 2016-08-17 2019-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Transportation system including autonomous detachable engine modules and passenger module
US10391939B2 (en) 2016-09-01 2019-08-27 GM Global Technology Operations LLC Method and apparatus to determine trailer pose
US20180081370A1 (en) 2016-09-22 2018-03-22 Robert Bosch Gmbh Trailer hitch ball detection and location measurement using a rear view camera
US10346705B2 (en) * 2017-06-20 2019-07-09 GM Global Technology Operations LLC Method and apparatus for estimating articulation angle
GB201806279D0 (en) * 2018-04-17 2018-05-30 Cambridge Entpr Ltd Method and system of articulation angle measurement

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001334966A (ja) * 2000-03-24 2001-12-04 Isuzu Motors Ltd トレーラ連結角検出装置
DE502006001111D1 (de) * 2005-09-08 2008-08-28 Voith Turbo Scharfenberg Gmbh Automatische Mittelpufferkupplung mit einer Antenne zur drahtlosen Signalübertragung
US8038166B1 (en) * 2008-08-11 2011-10-18 Gregory Hubert Piesinger Trailer hitching and backing precision guidance system method and apparatus
DE102011113197A1 (de) * 2011-09-10 2013-03-14 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines Winkels zwischen einem Zugfahrzeug und einem daran gekoppelten Anhänger
KR20130068224A (ko) * 2011-12-15 2013-06-26 여우순엽 지상라이다부·무타켓토탈스테이션부·사면지형 변위 제어모듈의 트레블측량제어를 통한 사면지형 변위 모니터링장치 및 방법
DE102012006206A1 (de) * 2012-03-27 2013-10-02 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erfassung einer drohenden Kollision zwischen einem Zugfahrzeug und seinem Anhänger
EP2682329A1 (en) * 2012-07-05 2014-01-08 Uusi, LLC Vehicle trailer connect system
CN102944224A (zh) * 2012-11-09 2013-02-27 大连理工大学 一种无人驾驶车的自动环境感知系统及其工作方法
DE102014007898A1 (de) * 2014-05-27 2015-12-03 Man Truck & Bus Ag Verfahren und Fahrerassistenzsystem zur Unterstützung eines Nutzfahrzeug-Gespanns
JP2017528685A (ja) * 2014-05-30 2017-09-28 オックスフォード ユニバーシティ イノベーション リミテッドＯｘｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ Ｉｎｎｏｖａｔｉｏｎ Ｌｉｍｉｔｅｄ 車両位置の推定
CN106715165A (zh) * 2014-09-17 2017-05-24 通用电气公司 用于涡轮拖车机械对接和对准系统的系统及方法
CN106043281A (zh) * 2015-04-14 2016-10-26 大陆汽车系统公司 自动联结辅助系统
JP2016203972A (ja) * 2015-04-14 2016-12-08 コンチネンタル オートモーティブ システムズ インコーポレイテッドＣｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｓｙｓｔｅｍｓ， Ｉｎｃ． 自動化されたヒッチアシストシステム
WO2017091066A1 (en) * 2015-11-23 2017-06-01 Daf Trucks N.V. Auto docking method for application in heavy trucks
CN107128366A (zh) * 2016-02-26 2017-09-05 通用汽车环球科技运作有限责任公司 用于对拖曳车辆通过弯道提供校正的车道跟随路径的系统和方法
CN106225723A (zh) * 2016-07-25 2016-12-14 浙江零跑科技有限公司 一种基于后视双目相机的多列车铰接角测量方法
US9878587B1 (en) * 2016-10-31 2018-01-30 X Development Llc Movable base for a robotic system

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
国标《道路车辆――牵引车与半挂车之间机械连接互换性》简介;金明新;交通标准化(第01期);第28-32页 *
拖车与挂车自主交会系统研发;周苏;秦颖;;农业装备与车辆工程(第11期);第27-30页 *
樊东臣 ; 刘玉浦 ; .F型车钩样板校准方法的探讨.铁道技术监督.2016,(第12期),第22-24页. *

Also Published As

Publication number Publication date
EP3787912A1 (en) 2021-03-10
CN112004696A (zh) 2020-11-27
US11175677B2 (en) 2021-11-16
US20190339708A1 (en) 2019-11-07
JP2021519998A (ja) 2021-08-12
EP3787912B1 (en) 2023-07-12
WO2019213323A1 (en) 2019-11-07
JP7326334B2 (ja) 2023-08-15

Similar Documents

Publication Publication Date Title
US11198340B2 (en) Coupler and tow-bar detection for automated trailer hitching via cloud points
US10984553B2 (en) Real-time trailer coupler localization and tracking
CN112004696B (zh) 牵引车辆和拖车的对准
US11198341B2 (en) Trailer detection and autonomous hitching
US11148667B2 (en) Automated reversing by choice of target location
CN112424002A (zh) 视觉对象跟踪器
US20220343535A1 (en) System and method for estimating relative trailer angle
US20230290001A1 (en) Long-Term Visual Trailer Tracker for Vehicle-Trailer Angle Estimation
US20230294767A1 (en) Vehicle Trailer Angle Estimation via Projective Geometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant