CN112313095A - 用于确定拖车牵引联接器的中心的设备和方法 - Google Patents

用于确定拖车牵引联接器的中心的设备和方法 Download PDF

Info

Publication number
CN112313095A
CN112313095A CN201980042563.8A CN201980042563A CN112313095A CN 112313095 A CN112313095 A CN 112313095A CN 201980042563 A CN201980042563 A CN 201980042563A CN 112313095 A CN112313095 A CN 112313095A
Authority
CN
China
Prior art keywords
trailer
target
image
data processing
processing hardware
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980042563.8A
Other languages
English (en)
Inventor
J·陈
于鑫
J·伊普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Automotive Systems Inc
Original Assignee
Continental Automotive Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Continental Automotive Systems Inc filed Critical Continental Automotive Systems Inc
Publication of CN112313095A publication Critical patent/CN112313095A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种用于确定定位在牵引车辆（100）后面的目标（212）的位置的方法。所述方法包括从定位在牵引车辆背部的相机（142）接收图像。所述图像包括所述目标。所述方法包括将一个或多个滤波器组应用于所述图像。所述方法还包括基于所应用的滤波器组来确定每个图像内的感兴趣的区（400）。所述感兴趣的区包括所述目标。所述方法还包括标识感兴趣的区内的所述目标，以及确定所述目标的目标位置，包括在真实世界坐标系中的位置。所述方法还包括向由车辆支持的驾驶系统（110）传输指令。所述指令使得牵引车辆自主操纵朝向真实世界坐标系中的位置移动。

Description

用于确定拖车牵引联接器的中心的设备和方法
技术领域
本公开涉及用于确定拖车牵引联接器的中心的设备和方法。
背景技术
拖车通常是由动力牵引车辆拉动的无动力车辆。除了其它之外，拖车还可以是多用途拖车、弹出式野营车、旅行拖车、牲畜拖车、平板拖车、封闭式汽车运输车和船只拖车。牵引车辆可以是汽车、跨界车、卡车、货车、运动型多用途车（SUV）、休闲车（RV）或被配置为附接于拖车并且拉动拖车的任何其它车辆。可以使用拖车挂接装置将拖车附接到动力车辆上。接收器挂接装置安装在牵引车辆上，并且连接至拖车挂接装置以形成连接。
在一些示例中，拖车包括联接器舌部（即，拖车挂接装置）、将联接器舌部连接到拖车的牵引杆、用于在连接到车辆之前支撑拖车的千斤顶支承件，该千斤顶支承件绕拖车车轮的轮轴中心枢转。拖车的连接和特征差异很大。例如，拖车-牵引杆-联接器特征包括不同的形状、颜色、牵引杆类型、联接器类型、千斤顶支承件类型、到拖车框架的舌部附接、千斤顶支承件的位置、拖车支承件的额外对象、拖车的大小和承重能力以及轴的数量。因此，上述特征的不同组合导致了许多不同的拖车模型，从而使得拖车类型非常多样。此外，在一些示例中，拖车所有者使他/她的拖车个性化，这进一步使得拖车更加不同。因此，具有被配置为标识定位在车辆后面的拖车的拖车检测系统的车辆，可能由于可用的拖车类型不同而难以标识拖车或拖车挂接装置。此外，车辆标识系统可能很难标识定位在车辆背面的拖车，因为拖车可能定位在除了维护良好的道路之外的、难以进行标识的各种表面上，诸如草地、泥土路、海滩等。在当前的拖车标识系统中，如果标识系统先前没有存储这样的环境，则标识系统不能标识拖车。此外，使用基于视觉的方法来检测拖车的当前拖车标识系统倾向于概括拖车特征的特征，即，牵引杆、联接器，这导致在不常见的环境（即，不同于维护良好的道路的环境）中无法检测具有不常见特征的拖车、自定义拖车或者个性化拖车。此外，由于需要大量的数据处理，用于检测不同拖车的拖车标识系统硬件的生产成本非常高。因此，当前的拖车检测系统不能在多个拖车场景中区分特定的拖车组合。
期望具有一种系统，其能够通过快速并且容易地标识拖车-牵引杆-联接器组合来解决上面提及的问题，而不管拖车定位在什么形状和表面上。
发明内容
本公开的一个方面提供了一种用于确定定位在牵引车辆后面的目标的位置的方法。该方法包括在数据处理硬件处从定位在牵引车辆背部并且与数据处理硬件通信的相机接收图像。所述图像包括目标。该方法还包括由数据处理硬件将一个或多个滤波器组应用于图像。该方法包括由数据处理硬件基于所应用的滤波器组来确定每个图像内感兴趣的区。感兴趣的区包括目标。该方法还包括由数据处理硬件标识感兴趣的区内的目标。该方法还包括由数据处理硬件确定目标的目标位置，包括在真实世界坐标系中的位置。该方法还包括从数据处理硬件向由车辆支持并且与数据处理硬件通信的驾驶系统传输指令。所述指令使得牵引车辆自主操纵朝向真实世界坐标系中的位置移动。
本公开的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，该方法进一步包括在牵引车辆自主操纵朝向所标识的目标移动时，由数据处理硬件跟踪目标。该方法还可以包括由数据处理硬件确定更新的目标位置。在一些示例中，该方法包括从数据处理硬件向驾驶系统传输更新的指令。更新的指令使得牵引车辆自主操纵朝向更新的目标位置移动。
在一些实施方式中，相机包括捕捉鱼眼图像的鱼眼相机。在一些示例中，该方法进一步包括在应用一个或多个滤波器组之前，由数据处理硬件校正鱼眼图像。
在一些实施方式中，该方法包括在数据处理硬件处接收存储在与数据处理硬件通信的硬件存储器中的训练图像，以及由数据处理硬件确定每个所接收图像内的感兴趣的训练区。感兴趣的训练区包括目标。该方法可以包括由数据处理硬件确定每个感兴趣的训练区内的一个或多个滤波器组。在一些示例中，该方法进一步包括：由数据处理硬件标识目标的中心，其中目标位置包括目标的中心的位置。
目标可以是由拖车支撑的牵引杆-联接器中的联接器。所述图像可以是牵引杆-联接器的自顶向下视图。在一些示例中，目标是定位在牵引车辆后面的拖车，并且目标位置是在牵引杆处的拖车底部中心的位置。所述图像是拖车的透视图。
本公开的另一方面提供了一种用于确定定位在牵引车辆后面的目标的位置的系统。该系统包括：数据处理硬件和与数据处理硬件通信的存储器硬件。存储器硬件存储指令，当所述指令在数据处理硬件上执行时，使得数据处理硬件执行操作。所述操作包括从定位在拖车背部并且与数据处理硬件通信的相机接收图像。所述图像包括目标。所述操作包括将一个或多个滤波器组应用于图像。所述操作包括基于所应用的滤波器组来确定每个图像内的感兴趣的区。所述感兴趣的区包括目标。所述操作包括标识感兴趣的区内的目标，以及确定目标的目标位置，包括在真实世界坐标系中的位置。所述操作包括向由车辆支持并且与数据处理硬件通信的驾驶系统传输指令。所述指令使得牵引车辆自主操纵朝向真实世界坐标系中的位置移动。
本公开的该方面的实施方式可以包括以下可选特征中的一个或多个。在一些实施方式中，所述操作进一步包括在牵引车辆自主操纵朝向所标识的目标移动时跟踪目标。所述操作可以包括确定更新的目标位置以及向驾驶系统传输更新的指令。所述更新的指令使得牵引车辆自主操纵朝向更新的目标位置移动。
在一些实施方式中，相机包括捕捉鱼眼图像的鱼眼相机。所述操作可以包括在应用一个或多个滤波器组之前校正鱼眼图像。
在一些示例中，所述操作进一步包括：接收存储在与数据处理硬件通信的硬件存储器中的训练图像；以及在每个所接收的图像内确定感兴趣的训练区。所述感兴趣的训练区包括目标。所述操作还可以包括确定每个感兴趣的训练区内的一个或多个滤波器组。所述操作进一步包括标识目标的中心，其中目标位置包括目标的中心的位置。
在一些示例中，目标是由拖车支撑的牵引杆-联接器中的联接器。所述图像可以是牵引杆-联接器的自顶向下视图。目标可以是定位在牵引车辆后面的拖车，并且目标位置是在牵引杆处的拖车底部中心的位置。所述图像是拖车的透视图。
在随附附图和以下描述中阐述了本公开的一个或多个实施方式的细节。从说明书和附图以及从权利要求书中，其它方面、特征和优点应当是显而易见的。
附图说明
图1是距拖车一定距离处的示例性牵引车辆的示意性顶视图；
图2是示例性车辆的示意图；
图3是训练阶段期间执行的操作的示例性布置的示意图；
图4A是包括牵引杆和联接器的示例性图像的示意图；
图4B和4C是包括距牵引车辆不同距离的拖车的示例性图像的示意图；
图5是用于确定感兴趣的区建议的示例性操作布置的示意图；
图5A是由后视车辆相机捕捉的拖车的示例性图像的示意图；
图6是示例性拖车联接器检测器和示例性跟踪器的示意图；
图7A-7C是定位在车辆后面不同距离处的拖车的示意性侧视图；
图7D是定位在车辆后面的拖车的示意性顶视图，其示出了视口的不同定位；
图8是用于确定联接器和拖车底部部分中心的位置的示例性操作布置的示意图；
图9是由自适应牵引球高度改变检测器执行的操作的示例性布置的示意图；
图10是用于确定目标并且使得牵引车辆朝向目标驾驶的示例性操作布置的示意图；
在不同附图中，相同的参考标号指示相同的元件。
具体实施方式
牵引车辆，诸如但不限于汽车、跨界车、卡车、货车、运动型多用途车（SUV）和休闲车（RV），可以被配置为对拖车进行牵引。牵引车辆通过拖车挂接联接器和由车辆支撑的拖车挂接球的方式连接到拖车。期望具有一种牵引车辆，其能够检测拖车的牵引杆，并且然后检测和定位被定位在拖车的牵引杆上的拖车挂接联接器的中心。此外，期望的是，当车辆反向朝向拖车移动时，牵引车辆检测牵引杆，并且检测和定位拖车联接器的中心。照此，具有检测模块的牵引车辆向驾驶员和/或车辆提供信息，所述信息有助于（驾驶员或自主地）将牵引车辆反向朝向拖车驾驶。检测模块被配置为学习如何检测具有拖车牵引杆和拖车联接器的拖车，并且检测模块可以基于所学习的数据从具有高畸变率的相机（例如鱼眼相机）接收图像，并且在牵引车辆接近拖车时确定牵引杆和联接器中心的位置。此外，包括检测模块的牵引车辆易于标识拖车-牵引杆-联接器组合，而不管拖车定位在什么形状和表面上。在学习阶段期间，检测模块学习检测任何形状的牵引杆和任何形状的联接器，在检测阶段期间，检测模块可以使用所学习的数据来准确定位联接器中心和/或拖车的（一个或多个）关键点。在一些示例中，学习阶段和检测阶段包括在拖车-牵引杆-联接器组合的刚性连接的组件（例如，诸如箱型、V鼻型（V-nose）、船等的拖车车身，用于将拖车车身螺栓连接于其上的、具有两个或更多个车轮的拖车框架，以及联接器舌部，联接器舌部有时是框架的一部分，有时属于被螺栓连接在牵引杆上的单独组件）上使用级联方法，使得可以通过这些组件之间的关系来提高联接器中心定位置信度。例如，级联方法实现了一种算法，该算法首先检测拖车车身，然后检测牵引杆-联接器组合，然后放大以近距离观察联接器中心及其周围特征，并且最后检测联接器舌部。只要存在足够的特征可以用来标识联接器中心LCCP，变焦比率可以在1.5-2.5之间的任何地方。检测模块还能够在并排停放在一个场景（诸如拖车场）中的多个类别的拖车-牵引杆-联接器组合之间进行区分。
参照图1A-4，在一些实施方式中，牵引车辆100的驾驶员想要牵引定位在牵引车辆100后面的拖车200。牵引车辆100可以被配置为接收与所选拖车200相关联的驾驶员选择的指示。在一些示例中，驾驶员操纵牵引车辆100朝向所选拖车200移动；而在其它示例中，牵引车辆100自主地朝向所选拖车200驾驶。牵引车辆100可以包括驾驶系统110，该驾驶系统110例如基于具有x、y和z分量的驾驶命令操纵牵引车辆100跨路面移动。如所示出的，驾驶系统110包括右前轮112，112a、左前轮112，112b、右后轮112，112c和左后轮112，112d。驾驶系统110也可以包括其它车轮配置。驾驶系统110还可以包括制动系统114和加速系统116，制动系统114包括与每个车轮112，112 a-d相关联的制动器，加速系统116被配置为调整牵引车辆100的速度和方向。此外，驾驶系统110可以包括悬架系统118，悬架系统118包括与每个车轮112，112 a-d相关联的轮胎、轮胎空气、弹簧、减震器以及将牵引车辆100连接到其车轮112，112 a-d并允许牵引车辆100与车轮112，112 a-d之间的相对运动的连杆。悬架系统118可以被配置为调整牵引车辆100的高度，从而允许牵引车辆挂接装置120（例如，牵引车辆挂接球122）与由拖车牵引杆214支撑的拖车挂接装置210（例如，联接器-牵引杆组合210）对准，这允许牵引车辆100与拖车200之间的连接。
牵引车辆100可以通过相对于由牵引车辆100定义的三个相互垂直的轴的移动的各种组合来跨路面移动，所述三个相互垂直的轴为：横轴Xv、前后轴Yv和中央垂直轴Zv。横轴x在牵引车辆100的右侧和左侧之间延伸。沿着前后轴Yv的向前驾驶方向被指定为Fv，也称为向前运动。此外，沿着前后方向Yv的向后或反向驾驶方向被指定为Rv，也称为向后或反向运动。当悬架系统118调整牵引车辆100的悬架时，牵引车辆100可以绕Xv轴和/或Yv轴倾斜，或者沿着中央垂直轴Zv移动。
牵引车辆100可以包括用户接口130，诸如显示器。用户接口130经由一个或多个输入机构或触摸屏显示器132从驾驶员接收一个或多个用户命令，和/或向驾驶员显示一个或多个通知。用户接口130与车辆控制器150通信，车辆控制器150转而与传感器系统140通信。在一些示例中，用户接口130显示牵引车辆100的环境的图像，导致用户接口130（从驾驶员）接收一个或多个命令，所述命令启动一个或多个行为的执行。在一些示例中，用户显示器132显示定位在牵引车辆100后面的拖车200的一个或多个表示136。在该情况下，驾驶员选择134控制器150应该标识、检测拖车200的哪个表示136，并且定位与所选拖车200相关联的联接器212的中心。在其它示例中，控制器150检测一个或多个拖车200，并检测和定位所述一个或多个拖车的拖车联接器212的中心。车辆控制器150包括计算设备（或处理器）152（例如，具有一个或多个计算处理器的中央处理单元），其与能够存储可在（一个或多个）计算处理器152上执行的指令的非暂时性存储器154（例如，硬盘、闪速存储器、随机存取存储器、存储器硬件）通信。
牵引车辆100可以包括传感器系统140，以提供可靠且鲁棒的驾驶。传感器系统140可包括不同类型的传感器，所述传感器可以单独使用或彼此一起使用，以创建对牵引车辆100的环境的感知，所述感知用于使牵引车辆100驾驶，并且帮助驾驶员基于由传感器系统140检测到的对象和障碍物做出智能决策，或者帮助驾驶系统110自主操纵牵引车辆100。传感器系统140可以包括但不限于雷达、声纳、LIDAR（光检测和测距，可能需要光学遥感来测量散射光的属性，以找到远处目标的范围和/或其它信息）、LADAR（激光检测和测距）、（一个或多个）超声波传感器等。
在一些实施方式中，传感器系统140包括由车辆支撑的一个或多个相机142，142a-n。在一些示例中，传感器系统140包括后视相机142a，其被安装成提供牵引车辆100的后驾驶路径的视图。后视相机410可以包括鱼眼镜头，鱼眼镜头包括超广角镜头，其产生强烈的视觉失真，旨在创建宽的全景或半球形图像。鱼眼相机142a捕捉具有极宽视角的图像。此外，由鱼眼相机142a捕捉的图像具有特征性的凸面非直线外观。
检测模块160
车辆控制器150包括检测模块160，检测模块160从后视相机410a接收图像144（即，鱼眼图像），并且在（一个或多个）图像144内和世界坐标中确定牵引杆214的位置和联接器212的位置，例如，联接器212中心的位置。在一些示例中，检测模块160在牵引车辆100与拖车200之间的远范围距离、中范围距离和近范围距离处确定牵引杆214和联接器212的中心。在一些实施方式中，检测模块310包括训练/学习阶段170，之后是检测阶段180。在训练/学习阶段170期间，检测模块160执行拖车和联接器训练模块172。此外，在检测阶段180期间，检测模块160执行以下各项：ROI建议确定器182、拖车和联接器检测器184、姿态和比例估计器186、卡尔曼多通道相关滤波器（MCCF）跟踪器188、置信度计算模块190、自适应牵引球高度改变检测器192和真实世界定位估计模块194。
训练/学习阶段170
图3和4A-4C图示了训练/学习阶段170。参考图3，检测模块310执行拖车和联接器训练器模块172，以用于教导卡尔曼MCCF跟踪器188如何检测联接器212和牵引杆214。参考图3，训练器模块172接收由后视相机410a（即，鱼眼相机）捕捉的输入图像144。输入图像144包括拖车200或联接器-牵引杆组合210（包括联接器212和牵引杆214）的感兴趣的区400。参考图4A，输入图像144包括图像144和联接器-牵引杆组合210内的联接器212中心的像素位置LCCP，因为在该情况下，拖车和联接器训练器模块172正在学习如何检测联接器-牵引杆组合210 ROI 400c内的联接器212。而图4B和4C示出了拖车200。在训练图像144中，联接器212中心的像素位置LCCP（图4A）或在牵引杆214处的拖车底部中心的像素位置LTCP是在训练/学习阶段170之前预先确定的，例如（100×100像素）训练图像144中的像素（64，42）。在一些示例中，ROI 400，400c、400t被重新缩放到固定的像素大小，针对训练和学习阶段170是例如（100×100像素）。对于特定的像素范围，训练器模块172维持训练图像144中的联接器212中心LCCP或拖车牵引杆214处的拖车底部中心LTCP保持在图像144内的相同位置。
图4A图示了基于由后视相机142a捕捉的图像144的自顶向下的经校正图像146。控制器150调整所接收的图像144，以移除由作为鱼眼相机的后视相机142a引起的失真。由于相机142a相对于路面定位在联接器-牵引杆组合210上方，因此由相机142a捕捉的联接器-牵引杆组合210的图像144通常是联接器-牵引杆组合210的自顶向下视图。此外，训练器模块172确定包括联接器-牵引杆组合210的经校正图像146内的感兴趣的区400，400c。
图4B和4C是包括拖车200的经校正图像146在不同距离处的透视图。图4B是与在距拖车200第一距离处捕捉的图像144相关联的经校正图像146b，而图4C是与在距拖车200第二距离处捕捉的另一图像144相关联的经校正图像146，其中第二距离大于第一距离。由于拖车200定位在牵引车辆100后面，因此相机142a可以捕捉拖车200的直行图像144。因此，基于直行图像144的经校正图像146b、146c也是直行视图。在一些示例中，训练器模块172确定包括拖车200的经校正图像146b、146c内的拖车ROI 400t。如所示出的，经校正图像146b、146c也是由训练模块172标识的ROI 400t。
如上所述，训练器模块172校正所捕捉的图像144。在一些示例中，在联接器-牵引杆组合210的图4A中示出的自顶向下视图中，联接器-牵引杆组合210的牵引杆-联接器的外观（即，形状的纵横比）不会改变。自顶向下的联接器-牵引杆组合210的比例改变指示联接器-牵引杆组合210高度的改变。在图4B和4C中示出的后视透视图中，给定固定的俯仰角，拖车200的外观不会改变；然而，如果俯仰角改变，则拖车200的外观改变。在一些示例中，给定具有固定俯仰角的参考图像路径，上述由于拖车俯仰角改变而导致的外观改变可以用于估计拖车俯仰角。图像路径在拖车周围。
此外，给定具有固定偏航角的参考补片（patch），上述外观改变可以用于估计拖车偏航角（即，定向）。当测试图像与训练图像匹配时，相关能量达到最大。返回参考图3，在步骤302处，训练器模块172对ROI 400，400c、400t执行归一化功能，以减少照明变化。然后，在步骤304处，训练器模块172例如通过确定ROI 400，400c、400t内在x和y方向这两者上的图像像素值差来执行梯度功能。训练器模块172根据以下公式确定幅度和定向：
幅度：（sqrt（Gx2+Gy2））； （1）
定向：（arctan2（Gy/Gx））。 （2）
训练器模块172可以根据x方向上的梯度（Gx）和y方向上的梯度（Gy）来确定公式（1）和（2），以确定所接收的图像ROI 400，400c、400t中强度或颜色的方向性改变，并且确定梯度的直方图。
梯度直方图（HOG）是计算机视觉和图像处理中用来表征图像内的一个或多个对象的特征描述子。HOG在图像的局部部分中确定梯度定向的多个区间（bin）（例如，5个区间）。每个区间表示一个特定的定向范围。
在步骤304处，基于HOG，训练器模块172确定与HOG相关联的多个区间。训练器模块172执行分单元（cell）归一化功能和分块（block）归一化功能。在分单元归一化功能期间，确定每个单元上梯度幅度和梯度定向的平均值，单元大小例如为（5×5像素）。训练器模块172基于ROI 400，400c、400t的大小（例如100×100像素）除以单元大小（例如（5x5））来确定单元的数量，例如（20×20像素）。如果训练器模块172确定特定单元中的平均梯度幅度低于零，则训练器模块172将该单元的值设置为0。如果训练器模块172确定特定单元中的平均梯度定向低于零，则训练器模块172将该单元的值设置为0。训练器模块172基于平均梯度定向来确定平均梯度定向区间，然后将平均梯度定向区间乘以平均梯度幅度加0.1的倒数。在分块归一化功能期间，由训练器模块172对所有分单元归一化梯度定向通道求平方并且相加，并在单元大小（例如，（5×5））上进行平均。当梯度平方区间总和（GSsum）小于零时，训练器模块172将GSsum设置为零。训练器模块172通过对GSsum求平方根来获得最终的梯度总和（Gsum）。训练器模块172通过Gsum对最终HOG区间进行归一化，其中单元归一化梯度区间再次除以Gsum加0.1。框304的步骤适应照明和环境变化。
在步骤306处，训练器模块172在目标位置周围应用高斯滤波器，该目标位置是联接器的中心LCCP（如下面等式中的“pos”）或在牵引杆214处的拖车底部中心的像素位置LTCP：
rsp(i,j) = exp( -((i-pos(1))2+(j-pos(2))2)/(2*S2) ) （3）
S是sigma，一个可调参数。由于这是一个学习步骤，因此训练器模块172知道联接器212在图像中的定位，并且因此在已知定位周围应用高斯滤波器。高斯响应，图像补片的大小（作为“rsp”）也被变换到频域，以用于快速的计算时间，从而获得频域中的高斯响应（作为“rsp_f”）（是频域中图像144的大小）。
在步骤308处，训练器模块172对ROI 400，400、400应用掩模，这提高了性能。训练器模块172应用掩模来掩盖拖车200或联接器-牵引杆组合210周围的区。在步骤310处，训练器模块172在单元/块归一化HoG通道上应用余弦窗口函数，以降低经校正图像146的图像边界的高频（即，ROI 400），并且将HoG通道变换到频域，以用于快速的计算时间，从而获得HoG_f （HOG频率）。在步骤312处，训练器模块172分别计算自相关能量xxF和互相关能量xyF。自相关能量xxF由HoG_f乘以HoG_f的转置来获得。互相关能量xyF由rsp_f乘以HoG_f的转置来获得。在步骤314处，训练器模块172跨多个ROI 400对相同范围内的自相关能量xxF和互相关能量xyF分别求和。在步骤316处，训练器模块172求解方程：
MCCF = lsqr（xxF+lambda，xyF） （4）
等式（4）求解滤波器组322（即，MCCF）并且在步骤318处从频域变换回图像域。滤波器组322是多通道相关滤波器组322，其提供拖车或联接器-牵引杆组合210的特征（即，拖车挂接装置201）。这样，滤波器组322随后被用于在检测阶段180期间确定所捕捉图像144内的拖车200或联接器212的位置，其中拖车200或联接器212的定位在图像144内是未知的。在步骤320处，训练器模块172存储与由存储器硬件154中的等式（4）确定的拖车200和联接器-牵引杆组合210相关联的滤波器组322（即，MCCF）。
在一些实施方式中，训练器模块172通过对在远范围、中范围和近范围内捕捉的图像144执行图3中的步骤来分别确定三个滤波器组322，以适应每个图像144内拖车200、联接器-牵引杆组合210的外观、分辨率和比例改变。
在一些实施方式中，可以诸如例如在动态驾驶场景中以有监督方式在距拖车200特定距离处沿着具有零定向角的车辆中心线Y在原始鱼眼图像144上执行训练/训练和学习阶段170。在一些示例中，可以通过使用单个图像帧或几个图像帧来进一步简化训练/训练和学习阶段170。在一些示例中，所捕捉的鱼眼图像144如图4A-4C中所解释的那样被校正。训练器172使用自顶向下视图来用于与联接器-牵引杆组合210相关联的滤波器学习，而拖车172使用前视透视图来用于拖车200的滤波器学习。在一些示例中，学习图像144存储在存储器154中。学习图像144可以包括处于挂接定位的拖车200和牵引车辆，其中卡车牵引球122的位置是已知的。在训练和学习阶段170期间基于经校正图像146来学习的滤波器组322可以应用于校正图像146，以用于在实时操作期间确定拖车200的中心位置LCCP和在牵引杆214处的拖车底部中心的像素位置LTCP。在一些示例中，拖车200的中心位置LCCP通过捕捉前视透视图中的图像144来确定（图4B和4C）。联接器中心可以通过在近范围的自顶向下视图中捕捉图像144来确定（图4A）。在一些实施方式中，训练和学习阶段170还可以包括处于未挂接定位的拖车200和牵引车辆100的图像。在一些示例中，可以在距离牵引车辆100 三至四米处捕捉拖车200的图像144。图像144可以包括拖车200面向牵引车辆100的一侧。
在一些示例中，在训练和学习阶段170期间，经校正图像146中的拖车200和联接器-牵引杆组合210不是随机定向的，而是具有已知的定向角度，诸如例如0°或90°。此外，拖车200和联接器-牵引杆组合210在前视透视图（图4B和4C）以及自顶向下视图（图4A）的所捕捉的图像144内彼此正交连接，与它们在现实生活中的连接类似。
在一些实施方式中，训练器模块172校正牵引杆-联接器ROI 400c的所捕捉的自顶向下视图图像146a，使得当牵引车辆100挂接到拖车200上时，牵引杆-联接器ROI 400c相对于牵引车辆100——即，牵引车辆100的纵轴Y——处于零定向。此外，训练器校正拖车200的透视图像146b、146c，使得当牵引车辆100挂接到拖车200上时，拖车ROI 400b相对于牵引车辆100——即，牵引车辆100的纵轴Y——处于零定向。
在一些示例中，在学习处理170期间学习到的滤波器组322用于估计拖车200的拖车俯仰。训练器模块172可以掩盖图像144内不是联接器-牵引杆组合210或拖车200的区。因此，训练器模块172仅使用图像144的ROI 400内联接器-牵引杆组合210或拖车200的区，并且周围区在训练期间被掩盖，使得所训练的ROI 400可以在不同的环境条件下使用，具有一致的结果。该方法减少了存储在存储器154中的训练数据的量。
在一些实施方式中，训练器模块172分析除了联接器212中心LCCP或在牵引杆214处的拖车底部中心LTCP之外的附加图像关键点。因此，在检测阶段180期间，控制器150可以在实时操作期间使用来自附加关键点的相关能量来确定置信度值。因此，可以将训练ROI 400内的关键点与实时捕捉的图像中所标识的关键点相匹配，以增加检测阶段180的置信度。
在一些实施方式中，训练器模块172可以在训练和学习阶段170期间生成拖车200、牵引杆214和联接器212的三维（3D）视图。此外，训练器模块172可以以比例尺生成3D视图，因此训练器模块172可以确定物理拖车组件和归一化ROI 400之间的比例。在一些示例中，训练器模块172确定并学习拖车200和联接器-牵引杆组合210的形状特性。
在一些示例中，在牵引车辆100的驾驶员第一次使用牵引车辆100时执行训练器模块172。因此，训练器模块172基于在驾驶员第一次使用牵引车辆期间接收的一个或多个图像144来确定滤波器组322。在一些示例中，滤波器组322也可以用于在线自适应学习处理，或者牵引车辆100可以从在线系统接收附加的滤波器组322。
在一些示例中，训练和学习阶段170在与牵引车辆100分离的云计算硬件设备上执行。例如，牵引车辆100的后视相机142a捕捉车辆后部环境的图像144，并且经由无线互联网连接将所捕捉的图像144传输到云计算硬件设备。所述云计算硬件设备执行训练器模块172，并且一旦滤波器组322被确定，云计算硬件设备就通过无线互联网连接的方式将滤波器组322传输回牵引车辆100。牵引车辆100接收滤波器组322并将滤波器组322存储在存储器硬件154中。
检测阶段180
一旦执行和完成了训练和学习阶段170，就可以执行检测阶段180。检测模块160执行以下操作：ROI建议确定器182、拖车和联接器检测器184、姿态和比例估计器186、卡尔曼多通道相关滤波器（MCCF）跟踪器188、置信度计算模块190、自适应牵引球高度改变检测器192和真实世界定位估计模块194。ROI建议确定器182（其可以可选地实现）分析所捕捉的图像144，并输出包括联接器-牵引杆组合210或拖车200的ROI建议400p。然后，拖车和联接器检测器184分析ROI建议400p，并且使用来自图4A–4C的ROI 400c、400t来定位拖车（如果远的话）和牵引杆-联接器（如果接近的话）。姿态和比例估计器186整体分析图像，并且确定拖车200的姿态。当牵引车辆100正在朝向拖车200移动时，在卡尔曼MCCF跟踪器188之后的是所定位的拖车或牵引杆联接器（由拖车和联接器检测器184定位）。置信度计算器190计算置信度以确定联接器的定位。在一些示例中，自适应车辆牵引球高度改变检测器192基于当前拖车挂接装置210的定位来检查车辆牵引球高度改变。自适应车辆牵引球高度改变检测器192可以在拖车200和牵引车辆100处于挂接定位时执行，因此，自适应车辆牵引球高度改变检测器检查牵引球高度改变，并验证存储在存储器硬件152中的训练/学习信息与从当前牵引球高度学习的特征相匹配，从而可以在下一次挂接尝试中避免潜在的碰撞。最后，真实世界定位估计模块194基于真实世界坐标中的上述模块182-192来确定联接器212的定位。
ROI建议确定器182
图5示出了方法500，该方法500由ROI建议确定器182执行，以基于所接收的图像144确定一个或多个ROI建议400p，并且通过在联接器-牵引杆组合210或拖车200周围应用紧密配合包围盒（ROI）的方式来自动检测所接收的图像144内的联接器-牵引杆组合210或拖车200。在框502处，ROI建议确定器182接收一个或多个图像144。在框504处，ROI建议确定器182分析所接收的图像144，并确定用于分析的有效区域。例如，参考图5A，对于联接器212检测，ROI建议确定器182基于相机校准来确定有效区530，以排除视平线上方的区域和包括牵引车辆100的车身的区域。类似地，对于拖车检测，ROI建议确定器182基于相机校准来确定有效区530，以排除拖车200上方的区域和拖车200下方的区域。
接下来，ROI建议确定器182可以执行三种方法之一来确定ROI建议400p（即，ROI建议400p可以包括联接器ROI 400c或拖车ROI 400t）。方法1：在框506处，ROI建议确定器182在覆盖图像区530的一系列扫描窗口上迭代地应用学习到的滤波器组322（即，MCCF ），直到发现最大峰值。该第一方法被称为粗暴的强制搜索方法，并且可以在运行时间不是问题时使用）。
方法2：ROI建议确定器182可以执行方法2来用于确定ROI建议520。在框508处，ROI建议确定器182首先使用SLIC（简单线性迭代聚类）对图像144的所接收的区530进行分割以找到超像素，然后构建RAG（区邻接图）以合并具有相似性的区。像素相似性可以基于强度、距离、颜色、边缘和纹理。在框510处，ROI建议确定器182基于框508的分割来构造区邻接图。RAG是一种用于分割算法的数据结构，并且提供表示区的顶点和表示邻接区之间的连接的边。
在框512处，ROI建议确定器182合并图像144的所确定的区530内的区。例如，如果两个邻接的像素相似，则ROI建议确定器182将它们合并成单个区。如果两个邻接的区集体上足够相似，则ROI建议确定器182将它们类似地合并。所合并的区被称为超像素。该集体相似性通常基于对每个区的统计数据进行比较。
在框514处，ROI建议确定器182标识可能的拖车超像素。如果超像素具有最小和最大大小约束，并且排除了基于预定拖车类型的不规则形状，则超像素有资格作为感兴趣的拖车区。在框516处，检测模块310基于特定图像位置处所估计的拖车形状和大小来标识并且合并可能的拖车超像素，以获得ROI建议400p。ROI建议确定器182将这些ROI建议400p与经训练的MCCF滤波器322相关联，以找到用于联接器212中心LCCP或在牵引杆214处的拖车底部中心的像素位置LTCP的自动像素定位的峰值能量。
方法3：ROI建议确定器182可以执行方法3来用于确定ROI建议520。在框518处，ROI建议确定器182可以使用任何其它对象检测和分类方法，所述方法可以概括多个联接器-牵引杆组合210或拖车200的检测，但是不能标识拖车停车场中的特定优选拖车。在一些示例中，深度神经网络（DNN）或其它概括方法可以被使用，但是不能标识特定的拖车类型。ROI建议520可以由其它基于视觉的对象检测和分类方法提供。ROI建议400p也可以由其它传感器确定，诸如雷达或激光雷达（如果可用的话）。可以组合多种ROI建议方法，以减少假阳性ROI建议400p。
拖车和联接器探测器184
图6示出了当牵引车辆100接近拖车200时，拖车和联接器检测器184的流程图。在框602处，牵引车辆100的起始定位通常在距拖车200距离D（以米为单位）内。在框604处，拖车和联接器检测器184从存储器硬件152接收参数和经训练的MCCF滤波器322（由通过训练阶段存储）。所述参数可以包括但不限于，如相机固有和外在校准信息，牵引车辆配置，诸如牵引球122和牵引车辆前轴之间的距离、牵引车辆的车轮基座和牵引球初始高度，以及拖车配置，诸如拖车200的宽度、联接器212和拖车车轮中心之间的距离。相机固有参数可以包括焦距、图像传感器格式和主点，而相机外在参数可以包括从3D世界坐标到3D相机坐标的坐标系变换，换句话说，外在参数定义了相机中心的定位和相机在世界坐标中的航向。在框606处，拖车和联接器检测器184可以从其它模块接收拖车200或联接器-牵引杆组合210的姿态估计，或者姿态和比例估计器186可以基于MCCF 322迭代地估计拖车200或联接器-牵引杆组合210的姿态和比例，以在特定视口姿态和视口中心处发现经训练的滤波器与感兴趣的拖车和联接器区之间的最大相关能量。
然后在框608处，拖车和联接器检测器184通过调整视口的中心和视口的旋转角度（俯仰、偏航、横滚）来确定动态视口，使得经校正图像146看起来类似于具有已知定向的经训练模式（即，图4A–C中所示的ROI 400c、400t）。参照图7A–7D，通过改变视口中心距相机的距离和视角（诸如俯仰和偏航），拖车的外观将发生改变，直到它与经训练模式（即，图4A–C中所示的ROI 400c、400t）相匹配，在此处达到最大相关能量。在真实世界中，拖车200和牵引车辆100之间的定向角并非与零完美对准，拖车200与牵引车辆100之间的距离也是变化的。利用世界坐标系中以毫米为单位的（x，y，z）处的中心来定义自顶向下视图和前视图的视口700。视口700的大小以（宽度_mm × 高度_mm）以及（宽度_px × 高度_px）来定义，具有相对于autosar（自动开放式系统架构）车辆坐标系的俯仰、偏航和横滚旋转角。可以计算图像的每像素毫米和每毫米像素。如果校正视口700中心是固定的，则需要进行比例估计。校正视口中心可以以如下方式进行自适应：使得经校正图像中的拖车大小与经学习滤波器的单通道的大小相同。可以通过改变视口中心来避免估计比例。如果卡车和拖车在真实世界中没有完全对准，则校正视口偏航角可以自适应，以便使拖车在前视图中的外观维持与训练补片相同的定向和外观。可以通过利用经训练的滤波器找到峰值相关能量来迭代地确定视口偏航角。在拖车关键点定位期间，为了在经校正图像内维持拖车大小与单通道经学习滤波器相同，在每个帧的视口中心放置一系列虚拟相机。
动态视口700被配置为调整视距和视角，视距是视口中心距相机142a的纵向距离，视角是视口旋转角度（也被称为视口姿态），诸如俯仰、偏航和横滚。因此，拖车200的外观基于具有不同中心位置和姿态配置的视口700而改变。因此，在框608处，检测器184调整当前图像144的视口，使得它与经训练的ROI 400相匹配。图7A示出视口处于牵引车辆100和拖车200之间的中间距离。图7B示出视口相对于中间距离处于更近的距离。另外，图7C示出视口捕捉牵引车辆100和所附接的拖车200。图7D示出了视口700的不同视图中心和视角的顶视图示（“眼睛”位置是视口中心，“眼睛”的方向是视口姿态。“眼睛”位置可以是指示性的，例如，指示站在相机142a和拖车200之间并且注视着拖车200或者环顾四周的人）。
在框610处，拖车和联接器检测器184确定它正在检测联接器-牵引杆组合210还是拖车200。因此，当拖车和联接器检测器184确定它正在检测联接器-牵引杆组合210时，则在框612处，所捕捉的图像144包括如先前在图4A中所示的联接器-牵引杆组合210的自顶向下视图。然而，如果拖车和联接器检测器184确定它正在检测拖车200，则在框614处，所捕捉的图像144包括如先前在图4B和4C中所示的拖车200的透视图。
接下来，在框616处，拖车和联接器检测器184指示ROI建议确定器182基于框610的决策来确定拖车ROI建议400p或牵引杆-联接器ROI建议400p。拖车和联接器检测器184还分别为联接器-牵引杆组合210和拖车200中的每一个生成查找表（LUT），其中查找表LUT包括来自动态视口（在框608处确定）的对应于鱼眼图像144中的像素位置的条目。
在框618处，拖车和联接器检测器184确定联接器中心LCCP或在牵引杆214处的拖车底部中心的像素位置LTCP在框608处确定的动态视口图像的ROI建议400p内的峰值相关能量的位置。相关能量指代两个图像的特征之间（诸如在ROI建议400p图像补片与预先训练的拖车补片400之间——拖车补片400的关键点在拖车底部中心（LTCP）处，并且也在高斯曲线的峰值处——或者与在联接器中心处高斯加权的牵引杆-联接器补片之间）的相似性的度量，作为一个相对于另一个的像素位置的函数。ROI建议400p中的峰值相关能量对应于训练图像补片400中的高斯加权关键点。在一些示例中，检测器184执行图8中所示的方法800，以确定联接器-牵引杆组合210处的联接器中心LCCP或拖车底部中心的像素位置LTCP的峰值相关能量。在框802处，检测器184从存储器硬件154中检索由确定器182确定的ROI建议400p，并将其重新缩放至与在训练阶段期间使用的图像补片相同的大小。在框802处，检测器184对ROI建议400p执行归一化功能，以减少照明变化。在框804处，检测器184计算多通道归一化HOG特征，类似于在图3的框304中执行的方法。在框806处，检测器184将余弦窗口应用于HOG通道，并将它们变换到频域，类似于图3的框310的方法。在框808处，检测器184确定作为ROI建议补片400p与频域中经训练滤波器322之间的像素位置的函数的相关能量图，并且变换回图像域。在框810处，检测器184通过在相关能量图中找到峰值能量的像素位置来确定联接器-牵引杆组合210处的联接器中心LCCP或拖车底部中心的像素位置LTCP。
返回参考图6，在框620处，拖车和联接器检测器184依靠查找表来将在动态视口的ROI建议400p内确定的联接器中心LCCP或在牵引杆214处的拖车底部中心的像素位置LTCP映射到原始鱼眼图像144。
卡尔曼MCCF跟踪器188
在框622处，在一些示例中，跟踪器188基于在框620处映射的联接器中心LCCP或在牵引杆214处的拖车底部中心的像素位置LTCP，跟踪鱼眼图像144内的联接器-牵引杆组合210处的联接器中心LCCP或拖车底部中心的像素位置LTCP。跟踪器188可以包括卡尔曼MCCF跟踪器，其被配置为跟踪视口700和关键点。在框622处，跟踪器188跟踪原始图像中的视口中心和视口姿态以及拖车底部中心LTCP和联接器中心LCCP。在框624处，跟踪器188预测视口中心和视口姿态，并且根据原始图像中的预测关键点来预测新的视口中联接器-牵引杆组合210处的更新的联接器中心LCCP或拖车底部中心像素位置LTCP。可以在框186中使用所预测的视口700作为用以确定下一视口姿态和视口中心的参考。
置信度计算190
在一些实施方式中，置信度计算模块190确定与联接器-牵引杆组合210处所跟踪的联接器中心LCCP或所跟踪的拖车底部中心的像素位置LTCP相关联的置信度值。置信度计算模块190可以使用联接器-牵引杆组合210处的联接器中心LCCP或拖车底部中心的位置LTCP来确定拖车200和联接器-牵引杆组合210在顶视图或3D视图中的定向，以检查拖车姿态置信度。
另外，置信度计算模块190应用级联方法来确定关键点定位置信度。首先，置信度计算模块190检测拖车车体，然后置信度计算模块190检测联接器-牵引杆组合210，置信度计算模块190检查两个关键点之间的约束。然后，置信度计算模块190放大以近距离查看联接器中心LCCP及其周围特征。只要存在足够的特征可以用于标识联接器中心LCCP，变焦比率可以是1.5-2.5。置信度计算模块190根据级联方法检查联接器中心LCCP的相关能量和位置。最后，置信度计算模块190确定联接器本身的高分辨率补片，并且置信度计算模块190分析其边缘以查明联接器中心的定位准确度。置信度计算模块190使用几种方法来估计一个度量，以增加定位准确度的置信度。置信度计算模块190试图确定的一个度量是联接器中心位置LCCP。因此，置信度计算模块190分析拖车-牵引杆-联接器组合内的物理约束和关系，以及具有不同大小的纹理的关键点，并且置信度计算模块190还分析联接器的高分辨率边缘特征。一旦置信度计算模块190完成其分析，置信度计算模块190就确定联接器中心位置LCCP的置信度。如果置信度低于阈值，则可以停止挂接操作，或者可以重置算法以执行更广泛的搜索。置信度计算模块190可以分析先前确定的置信度的历史，以确定经训练的滤波器322与实际拖车和牵引杆-联接器之间的不匹配。
自适应牵引球高度改变检测器192
参照图9，在一些实施方式中，在牵引车辆100被挂接到拖车200之后，自适应牵引球高度改变检测器192确定所附接的联接器-牵引杆组合210的特征的比例（基于一个或多个所捕捉的图像144）是否与先前所学习的联接器-牵引杆组合210相关联的比例相同。
在框902处，自适应牵引球高度改变检测器192从附接到拖车200的牵引车辆100的后视相机142a接收图像144。由于牵引车辆100被附接到拖车200，所以联接器中心LCCP与车辆牵引球122的中心重叠。由于图像144与联接器-牵引杆组合210相关联，因此该图像是如图4A中示出的自顶向下图像。在框904处，自适应牵引球高度改变检测器192从存储器硬件154加载所学习的滤波器组322和牵引杆的参数。接下来，在框906处，自适应牵引球高度改变检测器192生成图像144的经校正的自顶向下视图146。在框908处，自适应牵引球高度改变检测器192通过执行如图8中所示的方法800找到联接器中心。在框910处，自适应牵引球高度改变检测器192裁剪具有不同比例因子的多个图像补片。可以在其中发现较大相关能量的方向上以迭代方式搜索比例因子。这些图像补片被调整到在训练和学习阶段170期间使用的补片（ROI 400）的大小，并且然后应用与经训练的滤波器322的相关性。将选择具有最大峰值相关能量的图像补片的比例因子。在框912处，自适应牵引球高度改变检测器192确定具有最大峰值能量的所捕捉图像144内的特征的比例是否不同于与经训练的ROI 400c相关联的特征的比例，以及最大峰值能量是否大于预定阈值。如果不满足一个或两个条件，则自适应牵引球高度改变检测器192确定图像144不包括联接器-牵引杆组合210或者联接器-牵引杆组合210的比例没有改变。然而，如果两个条件都满足，则在框914处，自适应牵引球高度改变检测器192设置指示标志，以通知驾驶员牵引球高度已经改变，并且因此，训练数据可以被更新。在框916处，自适应牵引球高度改变检测器192更新在学习阶段（图3）期间学习的滤波器组322（即，MCCF）。 在框918处，自适应牵引球高度改变检测器192更新与在训练和学习阶段170期间使用的图像补片相关联的比例，其中训练补片具有固定的尺寸。在框920处，自适应牵引球高度改变检测器192将更新的滤波器组322存储在存储器硬件154中。因此，自适应牵引球高度改变检测器192是为了安全特征而将牵引杆-联接器补片的比例与当前牵引球高度同步的程序，以防止牵引球122和联接器212在挂接期间相互碰撞。一旦同步，当联接器212和牵引球122彼此分开例如一米之内时，就可以执行具有安全特征的类似程序，以确定联接器212是高于还是低于牵引球122，从而防止联接器212和牵引球122在挂接处理期间彼此碰撞。该处理也被称为相对高度确定。
真实世界定位估计模块194
真实世界定位估计模块194确定在世界坐标系中由跟踪器188确定的拖车联接器212的定位。视口中心是三维坐标。如果在操作期间在每个图像帧中维持相同的比例，并且拖车200的3D物理宽度是已知的，则可以确定拖车200的3D坐标与视口中心之间的关系。该依赖于纹理宽度以及真实世界拖车宽度的拖车3D距离估计方法对于其中存在不平坦表面（诸如海滩、泥土路、草地）的情况而言是鲁棒的。更进一步地，在真实世界中，LTCP联接器中心与在牵引杆处的拖车底部中心之间的固定距离是优化联接器中心和联接器高度的3D距离估计的另一个有用的约束。
因此，一旦真实世界定位估计模块194确定拖车联接器212的真实世界定位，那么真实世界定位估计模块194就发送到驾驶辅助系统196。基于所接收的真实世界位置，驾驶辅助系统196确定牵引车辆100和拖车200之间的路径，引导牵引车辆100与拖车200对准以用于挂接。此外，驾驶辅助系统196向驾驶系统110发送一个或多个命令198，使得驾驶系统110自主操纵牵引车辆100以向后方向Rv朝向拖车200移动。在一些示例中，驾驶辅助系统196指示驾驶系统110定位牵引车辆100，使得牵引车辆100的前后轴YV与拖车200的前后轴YT重合。
图10提供了用于使用图1-9中描述的系统来确定定位在牵引车辆100后面的目标200、210、212、214（例如，拖车200、联接器-牵引杆组合210、联接器212和牵引杆214）的位置的方法1000。在框1002处，方法1000包括在数据处理硬件152处从定位在牵引车辆100背部的相机142a接收图像144。相机142a可以包括鱼眼相机。图像144包括目标200、210、212、214。在框1004处，方法1000包括由数据处理硬件152将一个或多个滤波器组322应用于图像144。存储在存储器硬件154中的滤波器组322与数据处理硬件152通信。在框1006处，方法1000包括由数据处理硬件152基于所应用的滤波器组322来确定每个图像144内的感兴趣的区（ROI） 400，400c、400t。ROI 400，400c、400t包括目标200、210、212、214。在框1008处，方法1000包括由数据处理硬件152标识ROI 400，400c、400t内的目标200、210、212、214。在框1010处，方法1000包括由数据处理硬件152确定目标200、210、212、214的目标位置LCCP、LTCP，包括真实世界坐标系中的位置。在框1012处，方法1000包括从数据处理硬件152向由牵引车辆100支持并且与数据处理硬件152通信的驾驶系统110传输指令195、198。指令195、198使得牵引车辆100自主操纵朝向目标200、212、214在真实世界坐标系中的位置移动。
在一些实施方式中，方法1000包括：在牵引车辆100自主操纵朝向所标识的目标200、210、212、214移动时，由数据处理硬件152跟踪目标200、210、212、214；以及由数据处理硬件152确定更新的目标位置LTCP、LCCP。方法1000还可以包括从数据处理硬件152向驾驶系统110传输更新的指令195、198。所述更新的指令195、198使得牵引车辆100自主操纵朝向更新的目标位置LTCP、LCCP移动。在一些示例中，在相机142a是鱼眼相机的情况下，方法1000进一步包括在应用一个或多个滤波器组322之前，由数据处理硬件152校正鱼眼图像144。
在一些实施方式中，方法1000包括在数据处理硬件152处接收存储在与数据处理硬件152通信的硬件存储器154中的训练图像144。方法1000还可以包括由数据处理硬件152确定每个所接收图像内的训练ROI 400，400c、400t，训练ROI 400，400c、400t包括目标200、210、212、214。方法1000可以包括由数据处理硬件152确定每个训练ROI 400，400c、400t内的一个或多个滤波器组322。在一些示例中，方法1000进一步包括由数据处理硬件152标识目标的中心，其中目标位置LTCP、LCCP包括目标中心的位置。
在一些实施方式中，目标200、210、212、214是由拖车200支撑的联接器-牵引杆组合210的联接器212。因此，图像144是如图4A中所示的联接器-牵引杆组合210的自顶向下视图。
在一些实施方式中，目标200、210、212、214是定位在牵引车辆100后面的拖车200，目标位置LTCP是在牵引杆214处的拖车底部中心的位置。因此，图像144是拖车200的透视图。
这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的ASIC（专用集成电路）、计算机硬件、固件、软件和/或它们的组合中实现。这些各种实施方式可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实施方式，所述可编程系统包括至少一个可编程处理器，该可编程处理器可以是专用或通用的，被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令，以及向存储系统、至少一个输入设备和至少一个输出设备传输数据和指令。
这些计算机程序（也被称为程序、软件、软件应用或代码）包括用于可编程处理器的机器指令，并且可以以高级面向过程和/或面向对象的编程语言和/或以汇编/机器语言来实现。如本文中所使用的，术语“机器可读介质”和“计算机可读介质”指代用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备（例如，磁盘、光盘、存储器、可编程逻辑器件（PLD）），包括接收机器指令作为机器可读信号的机器可读介质。术语“机器可读信号”指代用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的主题和功能操作的实施方式可以在数字电子电路中实现，或者在计算机软件、固件或硬件（包括本说明书中公开的结构及其结构等同物）中实现，或者在它们中的一个或多个的组合中实现。此外，本说明书中描述的主题可以实现为一个或多个计算机程序产品，即，编码在计算机可读介质上的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、实现机器可读传播信号的物质组成、或者它们中的一个或多个的组合。术语“数据处理装置”、“计算设备”和“计算处理器”涵盖用于处理数据的所有装置、设备和机器，作为示例，包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，生成所述信号是为了对信息进行编码，以用于传输到合适的接收器设备。
类似地，虽然在附图中以特定顺序描述了操作，但是这不应当被理解为要求以所示出的特定顺序或以序列顺序执行这样的操作或者要求执行所有图示的操作，以实现期望的结果。在某些情形下，多任务和并行处理可以是有利的。此外，上述实施例中的各种系统组件的分离不应当被理解为在所有实施例中都需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或者封装到多个软件产品中。
已经描述了许多实施方式。然而，应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种修改。因此，其它实施方式在以下权利要求的范围内。

Claims (20)

1.一种用于确定定位在牵引车辆后面的目标的位置的方法，所述方法包括：
在数据处理硬件处从定位在牵引车辆背部并且与所述数据处理硬件通信的相机接收图像，所述图像包括所述目标；
由所述数据处理硬件将一个或多个滤波器组应用于所述图像；
由所述数据处理硬件基于所应用的滤波器组确定每个图像内的感兴趣的区，所述感兴趣的区包括所述目标；
由所述数据处理硬件标识所述感兴趣的区内的所述目标；
由所述数据处理硬件确定所述目标的目标位置，包括真实世界坐标系中的位置；以及
从所述数据处理硬件向由所述车辆支持并且与所述数据处理硬件通信的驾驶系统发送指令，所述指令使得所述牵引车辆自主操纵朝向真实世界坐标系中的位置移动。
2.根据权利要求1所述的方法，进一步包括：
在牵引车辆自主操纵朝向所标识的目标移动时，由数据处理硬件跟踪目标；
由所述数据处理硬件确定更新的目标位置；以及
从所述数据处理硬件向驾驶系统发送更新的指令，所述更新的指令使得所述牵引车辆自主操纵朝向所述更新的目标位置移动。
3.根据权利要求1所述的方法，其中所述相机包括捕捉鱼眼图像的鱼眼相机。
4.根据权利要求3所述的方法，进一步包括在应用所述一个或多个滤波器组之前，由所述数据处理硬件校正所述鱼眼图像。
5.根据权利要求1所述的方法，进一步包括：
在数据处理硬件处接收存储在与所述数据处理硬件通信的硬件存储器中的训练图像；
由所述数据处理硬件确定每个所接收图像内的感兴趣的训练区，所述感兴趣的训练区包括目标；以及
由所述数据处理硬件确定每个感兴趣的训练区内的一个或多个滤波器组。
6.根据权利要求5所述的方法，进一步包括：由所述数据处理硬件标识所述目标的中心，其中所述目标位置包括所述目标的中心的位置。
7.根据权利要求1所述的方法，其中所述目标是由拖车支撑的牵引杆-联接器中的联接器。
8.根据权利要求7所述的方法，其中所述图像是牵引杆-联接器的自顶向下视图。
9.根据权利要求1所述的方法，其中所述目标是定位在牵引车辆后面的拖车，并且所述目标位置是在牵引杆处的拖车底部中心的位置。
10.根据权利要求9所述的方法，其中所述图像是拖车的透视图。
11.一种用于确定定位在牵引车辆后面的目标的位置的系统，所述系统包括：
数据处理硬件；和
与所述数据处理硬件通信的存储器硬件，所述存储器硬件存储指令，当在所述数据处理硬件上执行所述指令时，所述指令使得所述数据处理硬件执行操作，所述操作包括：
从定位在牵引车辆背部并且与所述数据处理硬件通信的相机接收图像，所述图像包括目标；
将一个或多个滤波器组应用于所述图像；
基于所应用的滤波器组确定每个图像内的感兴趣的区，所述感兴趣的区包括所述目标；
标识所述感兴趣的区内的所述目标；
确定所述目标的目标位置，包括在真实世界坐标系中的位置；和
向由车辆支持并且与所述数据处理硬件通信的驾驶系统发送指令，该指令使得所述牵引车辆自主操纵朝向真实世界坐标系中的位置移动。
12.根据权利要求11所述的系统，其中所述操作进一步包括：
当牵引车辆自主操纵朝向所标识的目标移动时跟踪所述目标；
确定更新的目标位置；以及
向所述驾驶系统传输更新的指令，所述更新的指令使得所述牵引车辆自主操纵朝向所述更新的目标位置移动。
13.根据权利要求11所述的系统，其中所述相机包括捕捉鱼眼图像的鱼眼相机。
14.根据权利要求13所述的系统，其中所述操作进一步包括在应用所述一个或多个滤波器组之前校正所述鱼眼图像。
15.根据权利要求11所述的系统，其中所述操作进一步包括：
接收存储在与数据处理硬件通信的硬件存储器中的训练图像；
在每个所接收的图像内确定感兴趣的训练区，所述感兴趣的训练区包括目标；以及
确定每个感兴趣的训练区内的一个或多个滤波器组。
16.根据权利要求15所述的系统，其中所述操作进一步包括标识所述目标的中心，其中所述目标位置包括所述目标的中心的位置。
17.根据权利要求11所述的系统，其中所述目标是由拖车支撑的牵引杆-联接器中的联接器。
18.根据权利要求17所述的系统，其中所述图像是所述牵引杆-联接器的自顶向下视图。
19.根据权利要求11所述的系统，其中所述目标是定位在牵引车辆后面的拖车，并且所述目标位置是在牵引杆处的拖车底部中心的位置。
20.根据权利要求19所述的系统，其中所述图像是拖车的透视图。
CN201980042563.8A 2018-04-27 2019-04-26 用于确定拖车牵引联接器的中心的设备和方法 Pending CN112313095A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862663354P 2018-04-27 2018-04-27
US62/663354 2018-04-27
US16/395,190 US11050933B2 (en) 2018-04-27 2019-04-25 Device and method for determining a center of a trailer tow coupler
US16/395190 2019-04-25
PCT/US2019/029310 WO2019210142A1 (en) 2018-04-27 2019-04-26 Device and method for determining a center of a trailer tow coupler

Publications (1)

Publication Number Publication Date
CN112313095A true CN112313095A (zh) 2021-02-02

Family

ID=68292977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980042563.8A Pending CN112313095A (zh) 2018-04-27 2019-04-26 用于确定拖车牵引联接器的中心的设备和方法

Country Status (5)

Country Link
US (1) US11050933B2 (zh)
EP (1) EP3784505B1 (zh)
JP (1) JP7124114B2 (zh)
CN (1) CN112313095A (zh)
WO (1) WO2019210142A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113251993A (zh) * 2021-04-08 2021-08-13 杭州飞步科技有限公司 偏转角的检测方法、装置、计算机设备和可读存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10043101B2 (en) * 2014-11-07 2018-08-07 Adobe Systems Incorporated Local feature representation for image recognition
US10906583B2 (en) * 2017-03-03 2021-02-02 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
US10955540B2 (en) 2017-12-01 2021-03-23 Aptiv Technologies Limited Detection system
US10984553B2 (en) * 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
JP7169121B2 (ja) * 2018-08-23 2022-11-10 日立Astemo株式会社 車両連結支援装置、車両連結支援方法、及び車両連結支援システム
US10845478B2 (en) * 2018-09-07 2020-11-24 GM Global Technology Operations LLC Micro-doppler apparatus and method for trailer detection and tracking
US10832062B1 (en) * 2018-09-28 2020-11-10 Zoox, Inc. Image embedding for object tracking
US10838054B2 (en) 2018-10-08 2020-11-17 Aptiv Technologies Limited Detection system and method
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
US11092668B2 (en) 2019-02-07 2021-08-17 Aptiv Technologies Limited Trailer detection system and method
US11070721B2 (en) * 2019-09-27 2021-07-20 Gm Cruise Holdings Llc Intent-based dynamic change of compute resources of vehicle perception system
US11037000B2 (en) 2019-09-27 2021-06-15 Gm Cruise Holdings Llc Intent-based dynamic change of resolution and region of interest of vehicle perception system
US11770991B2 (en) * 2019-10-31 2023-10-03 Deere & Company Vehicle connection guidance
US11408995B2 (en) 2020-02-24 2022-08-09 Aptiv Technologies Limited Lateral-bin monitoring for radar target detection
CN111985556A (zh) * 2020-08-19 2020-11-24 南京地平线机器人技术有限公司 关键点识别模型的生成方法和关键点识别方法
US11676300B2 (en) 2020-12-09 2023-06-13 Continental Autonomous Mobility US, LLC Method for real-time tow ball detection
US11338732B1 (en) 2021-04-30 2022-05-24 Toyota Motor Engineering & Manufacturing North America, Inc. Hitch cross path alert systems
US11941843B2 (en) 2021-07-13 2024-03-26 Continental Autonomous Mobility US, LLC Method and device for detecting a trailer
US20230194290A1 (en) * 2021-12-20 2023-06-22 Rujiao Yan Systems and methods for determining trailer pose and coupler position for automated hitching
US11995877B2 (en) * 2021-12-23 2024-05-28 Continental Autonomous Mobility US, LLC Visual tracking of target features
US20230245453A1 (en) * 2022-02-02 2023-08-03 Ford Global Technologies, Llc Systems and methods for a step and scan detection network for hitchball location estimation

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20010470U1 (de) * 2000-06-10 2000-10-26 Teibtner Rolf Anhängerkupplung
CN1604645A (zh) * 2003-10-02 2005-04-06 日产自动车株式会社 车辆倒车辅助装置以及车辆倒车辅助方法
JP2007108159A (ja) * 2005-09-15 2007-04-26 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
DE102007024108A1 (de) * 2006-05-22 2008-05-29 Continental Teves Ag & Co. Ohg Hydraulische Anhängerbremsanlage
US20090268946A1 (en) * 2008-04-24 2009-10-29 Gm Global Technology Operations, Inc. Vehicle clear path detection
US20100265048A1 (en) * 2007-09-11 2010-10-21 Yuesheng Lu Imaging System for Vehicle
US20110206275A1 (en) * 2008-11-06 2011-08-25 Nec Corporation Image orientation determination device, image orientation determination method, and image orientation determination program
DE102011101990B3 (de) * 2011-05-19 2012-10-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines relativen Deichselwinkels
CN104460361A (zh) * 2013-09-16 2015-03-25 迪尔公司 车辆自动运动控制系统
WO2015074016A1 (en) * 2013-11-18 2015-05-21 Robert Bosch Gmbh Overhead view for hitch connection
US20150321666A1 (en) * 2014-05-07 2015-11-12 GM Global Technology Operations LLC Systems and methods to assist in coupling a vehicle to a trailer
CN106043281A (zh) * 2015-04-14 2016-10-26 大陆汽车系统公司 自动联结辅助系统
US20160375831A1 (en) * 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view
CN106274685A (zh) * 2015-06-23 2017-01-04 通用汽车环球科技运作有限责任公司 采用hmi辅助可视伺服的智能拖车联接控制
CN107533630A (zh) * 2015-01-20 2018-01-02 索菲斯研究股份有限公司 用于远程感测和车辆控制的实时机器视觉和点云分析
DE102017211395A1 (de) * 2016-08-05 2018-02-08 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung eines Ankuppelvorgangs sowie Unterstützungssystem
US20180081370A1 (en) * 2016-09-22 2018-03-22 Robert Bosch Gmbh Trailer hitch ball detection and location measurement using a rear view camera

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4739569B2 (ja) * 2001-04-09 2011-08-03 パナソニック株式会社 運転支援装置
JP3483143B2 (ja) * 2001-04-09 2004-01-06 松下電器産業株式会社 運転支援装置
EP3190546A3 (en) * 2003-06-12 2017-10-04 Honda Motor Co., Ltd. Target orientation estimation using depth sensing
US7212651B2 (en) * 2003-06-17 2007-05-01 Mitsubishi Electric Research Laboratories, Inc. Detecting pedestrians using patterns of motion and appearance in videos
US7590275B2 (en) * 2004-08-26 2009-09-15 Seiko Epson Corporation Method and system for recognizing a candidate character in a captured image
US7813561B2 (en) * 2006-08-14 2010-10-12 Microsoft Corporation Automatic classification of objects within images
US8803966B2 (en) * 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
EP2817959B1 (en) * 2012-02-22 2019-12-11 Signify Holding B.V. Vision system comprising an image sensor and means for analysis and reducing loss of illumination towards periphery of the field of view using multiple frames
DE102012018914A1 (de) 2012-09-25 2014-03-27 Volkswagen Aktiengesellschaft Vorrichtung, Verfahren und Computerprogramm zur Schätzung einer Winkelabweichung
US9516229B2 (en) * 2012-11-27 2016-12-06 Qualcomm Incorporated System and method for adjusting orientation of captured video
JP2017076833A (ja) * 2015-10-13 2017-04-20 アルパイン株式会社 運転支援装置及びコンピュータプログラム
WO2017112444A1 (en) 2015-12-22 2017-06-29 Continental Automotive Systems, Inc. Wireless capability and display for collision warning of a vehicle-trailer unit
US10259390B2 (en) 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
US10139827B2 (en) 2016-06-28 2018-11-27 Ford Global Technologies, Llc Detecting physical threats approaching a vehicle
US11062482B2 (en) * 2016-10-12 2021-07-13 Arris Enterprises Llc Coding schemes for virtual reality (VR) sequences
US10475103B2 (en) * 2016-10-31 2019-11-12 Adobe Inc. Method, medium, and system for product recommendations based on augmented reality viewpoints

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20010470U1 (de) * 2000-06-10 2000-10-26 Teibtner Rolf Anhängerkupplung
CN1604645A (zh) * 2003-10-02 2005-04-06 日产自动车株式会社 车辆倒车辅助装置以及车辆倒车辅助方法
JP2007108159A (ja) * 2005-09-15 2007-04-26 Auto Network Gijutsu Kenkyusho:Kk 運転支援装置
DE102007024108A1 (de) * 2006-05-22 2008-05-29 Continental Teves Ag & Co. Ohg Hydraulische Anhängerbremsanlage
US20100265048A1 (en) * 2007-09-11 2010-10-21 Yuesheng Lu Imaging System for Vehicle
US20090268946A1 (en) * 2008-04-24 2009-10-29 Gm Global Technology Operations, Inc. Vehicle clear path detection
US20110206275A1 (en) * 2008-11-06 2011-08-25 Nec Corporation Image orientation determination device, image orientation determination method, and image orientation determination program
DE102011101990B3 (de) * 2011-05-19 2012-10-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Bestimmung eines relativen Deichselwinkels
CN104460361A (zh) * 2013-09-16 2015-03-25 迪尔公司 车辆自动运动控制系统
WO2015074016A1 (en) * 2013-11-18 2015-05-21 Robert Bosch Gmbh Overhead view for hitch connection
US20150321666A1 (en) * 2014-05-07 2015-11-12 GM Global Technology Operations LLC Systems and methods to assist in coupling a vehicle to a trailer
CN107533630A (zh) * 2015-01-20 2018-01-02 索菲斯研究股份有限公司 用于远程感测和车辆控制的实时机器视觉和点云分析
CN106043281A (zh) * 2015-04-14 2016-10-26 大陆汽车系统公司 自动联结辅助系统
US20160375831A1 (en) * 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view
CN106274685A (zh) * 2015-06-23 2017-01-04 通用汽车环球科技运作有限责任公司 采用hmi辅助可视伺服的智能拖车联接控制
DE102017211395A1 (de) * 2016-08-05 2018-02-08 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung eines Ankuppelvorgangs sowie Unterstützungssystem
US20180081370A1 (en) * 2016-09-22 2018-03-22 Robert Bosch Gmbh Trailer hitch ball detection and location measurement using a rear view camera

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
彭思;杨硕;宋爱国;秦鸿云;: "一种组合式远程康复训练机器人的研制:适用性及其安全性", 中国组织工程研究与临床康复, no. 04 *
金立生;程蕾;成波;: "基于毫米波雷达和机器视觉的夜间前方车辆检测", 汽车安全与节能学报, no. 02 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113251993A (zh) * 2021-04-08 2021-08-13 杭州飞步科技有限公司 偏转角的检测方法、装置、计算机设备和可读存储介质
CN113251993B (zh) * 2021-04-08 2022-11-08 杭州飞步科技有限公司 偏转角的检测方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
WO2019210142A1 (en) 2019-10-31
EP3784505A1 (en) 2021-03-03
JP2021522592A (ja) 2021-08-30
US20190335100A1 (en) 2019-10-31
EP3784505B1 (en) 2023-06-14
US11050933B2 (en) 2021-06-29
JP7124114B2 (ja) 2022-08-23

Similar Documents

Publication Publication Date Title
US11050933B2 (en) Device and method for determining a center of a trailer tow coupler
US11198340B2 (en) Coupler and tow-bar detection for automated trailer hitching via cloud points
JP7124117B2 (ja) トレーラの検出および自律的なヒッチング
US10984553B2 (en) Real-time trailer coupler localization and tracking
US11633994B2 (en) Vehicle-trailer distance detection device and method
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
CN112004696B (zh) 牵引车辆和拖车的对准
US20200079165A1 (en) Hitch assist system
US10744943B1 (en) System and method for trailer alignment
EP4188775B1 (en) Long-term visual trailer tracker for vehicle-trailer angle estimation
US20230331160A1 (en) Tow Ball Position Detection System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination