CN111791654A - 用于拖车对准的系统和方法 - Google Patents

用于拖车对准的系统和方法 Download PDF

Info

Publication number
CN111791654A
CN111791654A CN202010253982.0A CN202010253982A CN111791654A CN 111791654 A CN111791654 A CN 111791654A CN 202010253982 A CN202010253982 A CN 202010253982A CN 111791654 A CN111791654 A CN 111791654A
Authority
CN
China
Prior art keywords
trailer
coupler
vehicle
image data
hitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010253982.0A
Other languages
English (en)
Inventor
布鲁诺·西利·贾尔斯科斯塔
尼基尔·纳格拉拉奥
维迪亚·纳里亚曼特穆拉里
卢克·尼维亚多姆斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111791654A publication Critical patent/CN111791654A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/01—Traction couplings or hitches characterised by their type
    • B60D1/06—Ball-and-socket hitches, e.g. constructional details, auxiliary devices, their arrangement on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/01—Traction couplings or hitches characterised by their type
    • B60D1/06—Ball-and-socket hitches, e.g. constructional details, auxiliary devices, their arrangement on the vehicle
    • B60D1/065—Ball-and-socket hitches, e.g. constructional details, auxiliary devices, their arrangement on the vehicle characterised by the hitch mechanism
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B60D1/363—Hitch guiding or catching elements, e.g. V-shaped plates partially surrounding a coupling member for guiding the other coupling member
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/28—Purposes or special features of road vehicle drive control systems related to towing or towed situations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本公开提供了“用于拖车对准的系统和方法”。一种车辆操纵系统包括：至少一个图像装置，所述至少一个图像装置被配置为捕获图像数据；以及控制器。所述控制器被配置为识别所述图像数据中的拖车的联接器位置，以及控制车辆的运动以将所述车辆的挂接球朝向所述联接器位置导航。所述控制器还被配置为监测从所述联接器位置和所述挂接球延伸的联接器距离。响应于所述联接器距离小于或等于距离阈值，所述控制器被配置为将所述图像数据的多个部分分类为拖车部分和非拖车部分，以及通过经由特征提取操作处理图像来识别所述联接器位置。

Description

用于拖车对准的系统和方法
技术领域
本公开总体上涉及一种用于辅助车辆-拖车挂接操作的系统。具体地，本公开涉及一种用于控制车辆与拖车的联接器之间的对准的系统。
背景技术
将拖车挂接到车辆可能是一种困难且耗时的体验。具体地，根据拖车相对于车辆的初始位置，将车辆挂接球与期望的拖车挂接件对准可需要与多个转向操纵配合的重复的前向和倒退行驶来将车辆适当地定位。此外，贯穿适当的挂接球对准所需的大部分行驶，无法看到拖车挂接件，并且在普通情况下，驾驶员实际上永远无法看到挂接球。这种视线缺乏需要基于关于特定车辆和拖车的经验推断挂接球和挂接件的定位，并且可能仍然需要多次停车和走出车辆的情况以确认对准或记录适用于一组后续操纵的校正。更进一步地，挂接球与车辆后保险杠的接近意味着任何过冲都可能导致车辆与拖车的碰撞。因此，可能需要进一步的改进。
发明内容
根据本公开的一方面，公开了一种车辆操纵控制系统。所述系统包括：至少一个图像装置，所述至少一个图像装置被配置为捕获图像数据；以及控制器。所述控制器被配置为识别所述图像数据中的拖车的联接器位置，以及控制车辆的运动以将所述车辆的挂接球朝向所述联接器位置导航。所述控制器还被配置为监测从所述联接器位置和所述挂接球延伸的联接器距离。响应于所述联接器距离小于或等于距离阈值，所述控制器被配置为将所述图像数据的多个部分分类为拖车部分和非拖车部分并且基于所述拖车部分来识别拖车航向方向。所述控制器还被配置为通过经由特征提取操作处理图像来识别所述联接器位置。响应于所述特征提取操作以预定置信度水平检测到所述联接器位置，所述控制器被配置为控制所述车辆向基于所述特征提取操作识别的所述联接器位置的导航。
本公开的第一方面的实施例可以包括以下特征中的任一个或其组合：
·所述控制器还被配置为：响应于所述特征提取操作未能达到所述预定置信度水平，基于所述航向方向和最接近所述车辆的所述拖车部分来检测所述联接器位置；
·在超出所述距离阈值时通过经由拖车图案处理方法处理所述图像数据来近似所述联接器位置；
·响应于所述联接器位置在所述距离阈值内，经由呈以霍夫变换的形式的所述特征提取操作检测所述联接器位置；
·所述控制器还被配置为基于所述拖车部分与挂接件的距离来对所述图像数据的多个所述拖车部分进行滤波以确定多个最近拖车部分；
·通过卡尔曼滤波器对所述最近拖车部分进行滤波；
·所述特征提取操作处理所述最近拖车部分以识别所述联接器位置；
·所述非拖车部分被进一步分类为地面部分和对象部分；
·相对于基于所述地面部分识别的地平面跟踪所述对象部分；
·所述拖车部分被分类为拖车舌杆部分，并且其中所述控制器还被配置为经由至少一个运动传感器接收所述车辆的运动数据并且基于所述运动数据来相对于所述地平面跟踪所述舌杆部分；和/或
·通过比较图像数据中的像素值以识别对应于对象的多个边缘来处理所述图像数据的所述多个部分的所述分类。
根据本公开的另一方面，公开了一种用于控制车辆的挂接件与拖车的联接器之间的对准的方法。所述方法包括：识别图像数据中的所述联接器的联接器位置；以及控制所述车辆的运动以将所述车辆的挂接件朝向所述联接器位置导航。所述方法还包括相对于距离阈值监测所述联接器位置与所述挂接件之间的联接器距离。响应于所述联接器距离小于或等于所述距离阈值，将所述图像数据的多个像素分类为拖车像素和非拖车像素。基于所述拖车像素来识别拖车航向方向。响应于所述联接器距离小于或等于所述距离阈值，所述方法还包括经由特征提取操作识别所述联接器的所述联接器位置。响应于所述特征提取操作以预定置信度水平检测到所述联接器位置，导航到基于所述特征提取操作识别的所述联接器位置。
本公开的下一方面的实施例可以包括以下特征或步骤中的任一个或其组合：
·响应于所述特征提取操作未能达到所述预定置信度水平，基于所述航向方向和最接近所述车辆的所述拖车像素来检测所述联接器位置；
·首先通过经由拖车图案处理方法处理所述图像数据来近似所述联接器位置；
·经由呈以霍夫变换的形式的所述特征提取操作检测所述联接器位置；
·基于所述图像数据中的拖车部分与所述挂接件的距离来对所述图像数据的所述拖车像素进行滤波以确定多个最近拖车部分；
·通过卡尔曼滤波器对所述最近拖车部分进行滤波；和/或
·所述特征提取操作处理所述最近拖车部分以识别所述联接器位置。
根据本公开的又一方面，公开了一种用于车辆导航的控制系统。所述系统包括控制器，所述控制器与被配置为捕获图像数据的至少一个成像装置通信。所述控制器被配置为监测车辆的挂接件与拖车的联接器的第一联接器距离之间的联接器距离。响应于所述联接器距离小于或等于距离阈值，所述控制器被配置为将所述图像数据的多个部分分类为拖车部分和非拖车部分并且基于所述拖车部分来识别拖车航向方向。所述控制器还被配置为经由卡尔曼滤波器处理所述图像数据以识别所述拖车部分中的多个最近拖车部分，以及在所述车辆在所述距离阈值内时经由霍夫变换识别所述联接器位置。响应于经由所述霍夫变换以预定置信度水平检测到所述联接器位置，所述控制器被配置为控制向经由所述霍夫变换识别的所述联接器位置的导航。响应于特征提取操作未能达到所述预定置信度水平，所述控制器被配置为基于所述航向方向和最接近所述车辆的所述拖车部分来检测所述联接器位置。在所述车辆在预定联接器距离之外时可以首先通过经由拖车图案处理方法处理所述图像数据来近似所述联接器位置。
在研究以下说明书、权利要求和附图之后，本领域技术人员将理解和了解本公开的这些和其他方面、目的和特征。
附图说明
在附图中：
图1是相对于拖车处于未挂接位置的车辆的透视图；
图2是根据本公开的一方面的用于辅助将车辆与拖车在用于将拖车挂接到车辆的位置对准的系统的图；
图3是车辆在与拖车的对准序列的步骤期间的平面图；
图4是车辆控制与拖车的对准序列的平面图；
图5是展示与拖车的对准序列的图像数据的投影图；
图6A是展示由车辆的成像系统捕获的示例性图像数据的样本图像，展示了场景的多个分类部分；
图6B是展示由车辆的成像系统捕获的示例性图像数据的样本图像，展示了场景的多个分类部分；
图6C是展示由车辆的成像系统捕获的示例性图像数据的样本图像，展示了场景的多个分类部分；
图6D是展示由车辆的成像系统捕获的示例性图像数据的样本图像，展示了场景的多个分类部分；
图7是展示拖车的图像数据的投影图；以及
图8是展示根据本公开的用于检测图像数据中的拖车的方法的流程图。
具体实施方式
出于在本文中进行描述的目的，术语“上”、“下”、“右”、“左”、“后”、“前”、“竖直”、“水平”、“内部”、“外部”和其衍生和其衍生词应按照图1所取向的那样来与装置联系起来。然而，应当理解，除非明确地相反指出，否则所述装置可以采用各种替代取向。还应当理解，附图中示出以及以下说明书中描述的具体装置和过程仅仅是所附权利要求中限定的发明概念的示例性实施例。因此，除非权利要求另外明确指出，否则与本文公开的实施例相关的具体尺寸和其他物理特性不应当被视为是限制性的。另外，除非另有指明，否则应当理解，对在给定方向等上或沿着给定方向等延伸的特定部件或特征的论述并不意味着所述特征或所述部件在此方向上延循笔直的线或轴线，或者并仅在此方向上或在此平面上延伸而没有其他方向分量或偏差，除非另有说明。
总体上参考图1至图4，附图标记10表示用于车辆12的挂接辅助系统(也被称为“挂接辅助”系统)。在各种实施例中，挂接辅助系统10包括控制器14，该控制器被配置为获取拖车18的联接器16的位置数据。控制器14可以被配置为导出将车辆12的挂接球22与联接器16对准的车辆路径20。导出车辆路径20可以包括多个步骤，该多个步骤包括检测并补偿联接器位置24的变化，以便控制车辆12来定位与联接器16对准的挂接位置26。车辆路径20可以包括多个区段28，该多个区段可以对应于车辆12的操作方向或转向方向的变化。在各种实施例中，导出车辆路径20可以包括：围绕介入的对象或结构进行导航、在不平坦地形上操作、遵循由操作员或用户U指示的期望的路径20等。因此，本公开可以提供挂接辅助系统10以改进车辆12的导航和/或与联接器16的交互，使得拖车18可以有效地连接到车辆12而不会复杂化。
在操作中，在沿着路径20操纵车辆12时，系统10可以在由车辆12捕获的图像数据或各种传感数据中跟踪拖车18的位置和联接器位置24。为了成功地操作，对拖车18的跟踪应足够地准确以确保联接器位置24保持在车辆12的操纵范围内。可以通过处理经由成像系统捕获的图像数据来实现对拖车18和/或联接器16的这种跟踪。稍后参考图2和图4讨论成像系统的示例。
在一些实施方式中，系统10可以被配置为经由点跟踪方法来处理由成像系统捕获的图像数据或传感数据。点跟踪方法可以被配置为在操纵车辆12时通过处理由成像系统在车辆12的整个操纵操作中捕获的图像数据的时间序列(例如，图像帧)来跟踪图像数据的部分(例如，边缘、对象、均匀部分等)。在由成像系统捕获的场景中识别的图像数据的部分可以被配置为处理图像数据以优化相对于地平面30对联接器16的检测。因此，系统10可以被配置为识别图像数据中的联接器的联接器位置24，以在可能产生挑战的多种多样的情况下提供对位置的稳健的近似。进一步参考图6A至图6D讨论具有挑战性的场景和情况的示例，并且这些示例可以包括但不限于各种因素，诸如多种多样的拖车类型、瞬态或静态阴影、地面特征(即，裂缝)、照明的变化等。参考图5至图8讨论点跟踪方法的进一步详细讨论。
关于挂接辅助系统10的总体操作，如在图2至图4的系统图中示出，系统10包括获得或以其他方式提供车辆状态相关信息的各种传感器和装置。此信息包括来自定位系统32的定位信息，该定位系统可以包括航迹推算装置34(或者另外地或作为替代方案，全球定位系统(GPS))，以基于定位系统32内的装置的一个或多个位置来确定车辆12的坐标位置。具体地，航迹推算装置34可以至少基于车辆速度和转向角δ来在局部坐标系36内建立并跟踪车辆12的坐标位置，如图3所示。由挂接辅助系统10接收的其他车辆信息可以包括来自速度传感器38的车辆12的速度和来自横摆率传感器40的车辆12的横摆率。预期在另外的实施例中，接近传感器42或其阵列以及其他车辆传感器和装置可以提供传感器信号或其他信息，诸如拖车18(包括检测到的联接器16)的序列图像，挂接辅助系统10的控制器14可以用各种例程来处理该传感器信号或其他信息以确定联接器16的高度Hc和位置(例如，基于距离Dc和角度αc)。
如图2进一步示出，挂接辅助系统10的一个实施例与车辆12的转向系统50通信。转向系统50可以是动力助力转向系统50，该动力助力转向系统包括转向马达52以用于操作车辆12的转向轮54(图1)来使车辆12以车辆横摆随车辆速度和转向角δ变化的方式移动。在所示的实施例中，动力助力转向系统50是电动助力转向(“EPAS”)系统，该EPAS系统包括电动转向马达52以用于基于转向命令来将转向轮54转动到转向角δ，由此转向角δ可以被动力助力转向系统50的转向角传感器56感测到。转向命令可以由挂接辅助系统10提供以用于在拖车挂接对准操纵期间自主地转向，并且可以替代地经由车辆12的方向盘的旋转位置(例如，方向盘角度)手动地提供。
在所示实施例中，车辆12的方向盘与车辆12的转向轮54机械地联接，使得方向盘与转向轮54一致地移动，从而防止在自主转向期间通过方向盘进行手动干预。更具体地，扭矩传感器58提供在动力助力转向系统50上，该扭矩传感器感测方向盘上的扭矩，该扭矩预计并非来自方向盘的自主控制并且因此指示手动干预。在这种配置中，挂接辅助系统10可以警告驾驶员停止用方向盘来进行手动干预和/或停止自主转向。在替代的实施例中，一些车辆具有动力助力转向系统50，该动力助力转向系统允许方向盘与这种车辆的转向轮54的移动部分地脱离。
继续参考图2，动力助力转向系统50向挂接辅助系统10的控制器14提供与车辆12的转向轮54的旋转位置相关的信息，包括转向角δ。除了各种车辆12状况之外，所示的实施例中的控制器14还处理当前转向角，以沿着期望的路径20(图3)引导车辆12。可设想的是，在另外的实施例中，挂接辅助系统10可以是动力助力转向系统50的集成部件。例如，动力助力转向系统50可以包括挂接辅助算法，该挂接辅助算法用于根据从以下项接收的信息的全部或一部分来生成车辆转向信息和命令：成像系统60、动力助力转向系统50、车辆制动控制系统62、动力传动系统控制系统64和其他车辆传感器和装置以及人机界面(“HMI”)66，如下面进一步讨论的。
还如图2所示，车辆制动控制系统62还可以与控制器14通信以向挂接辅助系统10提供制动信息(诸如车轮速度)以及从控制器14接收制动命令。制动控制系统62可以被配置为控制行车制动器62a和驻车制动器62b。驻车制动器62b可以对应于可以与控制器14通信的电子驻车制动系统。因此，在操作中，控制器14可以被配置为控制制动器62a和62b以及检测车辆速度信息，该车辆速度信息可以根据由制动控制系统62监测的单独的车轮速度传感器来确定。还可以根据动力传动系统控制系统64、速度传感器38和/或定位系统32以及其他可设想到的装置来确定车辆速度。在一些实施例中，在替代方案中或除了车辆横摆率传感器40，还可以使用单独的车轮速度来确定车辆横摆率，该车辆横摆率可以被提供给挂接辅助系统10。
挂接辅助系统10还可以向制动控制系统62提供车辆制动信息，以用于允许挂接辅助系统10在拖车18的倒退期间控制车辆12的制动。例如，在一些实施例中，挂接辅助系统10可以在车辆12与拖车18的联接器16对准期间调节车辆12的速度，这可以减少与拖车18碰撞的可能性，并且可以使车辆12完全地停止在路径20的确定的端点70处。本文中公开了挂接辅助系统10可以另外地或替代地发出警报信号，该警报信号对应于与拖车18的一部分的实际的、即将发生的和/或预期的碰撞的通知。如图2所示的实施例中所示，动力传动系统控制系统64还可以与挂接辅助系统10交互，以在与拖车18的部分或自主对准期间调节车辆12的速度和加速度。如上所述，车辆12的速度的调节可以有利于防止与拖车18碰撞。
如先前所讨论的，挂接辅助系统10可以与车辆12的人机界面(“HMI”)66通信。HMI66可以包括车辆显示器72，诸如安装于中控台的导航或娱乐显示器(图1)。HMI 66还包括输入装置，该输入装置可以通过将显示器72配置为具有电路76的触摸屏74的一部分以接收对应于显示器72上的位置的输入来实施。代替触摸屏74或除了该触摸屏之外，可以使用其他形式的输入，包括一个或多个操纵杆、数字输入盘等。此外，挂接辅助系统10可以经由无线通信与HMI 66的另一个实施例(诸如与一个或多个手持式或便携式装置80(图1)，包括一个或多个智能电话)通信。便携式装置80还可以包括显示器72以用于向用户U显示一个或多个图像和其他信息。例如，便携式装置80可以在显示器72上显示拖车18的一个或多个图像并且还可以被配置为经由触摸屏电路76接收远程用户输入。此外，便携式装置80可以提供反馈信息，诸如视觉、听觉和触觉警报。
在一些实施例中，挂接辅助系统10还可以与一个或多个指示器装置78通信。指示器装置78可以对应于常规的车辆指示器，诸如车辆喇叭78a、灯78b、扬声器系统78c、车辆附件78d等。在一些实施例中，指示器装置78还可以包括一个或多个附件78d，该一个或多个附件可以对应于通信装置、遥控器以及可以在用户U与车辆12之间提供状态和操作反馈的多种装置。例如，在一些实施例中，HMI 66、显示器72和触摸屏74可以由控制器14控制，以提供标识操作或接收用于控制挂接辅助系统10的指令或反馈的状态更新。另外地，在一些实施例中，便携式装置80可以与控制器14通信，并且被配置为显示或以其他方式指示与挂接辅助系统10的操作相关的一个或多个警报或消息。
仍然参考图2中所示的实施例，控制器14被配置有微处理器82以用于处理存储在存储器84中的逻辑和例程，所述逻辑和例程接收来自上述传感器和车辆系统(包括成像系统60、动力助力转向系统50、车辆制动控制系统62、动力传动系统控制系统64和其他车辆传感器和装置)的信息。控制器14可以根据接收到的信息的全部或一部分来生成车辆转向信息和命令。此后，可以将车辆转向信息和命令提供给动力助力转向系统50以用于影响车辆12的转向来实现行驶的命令路径20(图3)，以便与拖车18的联接器16对准。控制器14可以包括微处理器82和/或用于处理一个或多个例程的其他模拟和/或数字电路。此外，控制器14可以包括存储器84以用于存储一个或多个例程，包括图像处理例程86和/或挂接检测例程、路径导出例程88和操作例程90。
应当理解，控制器14可以是独立专用控制器，或者可以是与其他控制功能集成(诸如与车辆传感器系统、动力助力转向系统50以及其他可设想到的车载或车外车辆控制系统集成)的共享控制器。还应当理解，图像处理例程86可以由例如车辆12的独立成像系统内的专用处理器实施，该专用处理器可以将其图像处理的结果输出到车辆12的其他部件和系统，包括微处理器82。此外，完成图像处理功能(诸如本文所述的功能)的任何系统、计算机、处理器等在本文中都可以被称为“图像处理器”，而不管其还可以实施(包括与执行图像处理例程86同时地实施)的其他功能如何。
系统10还可以结合成像系统60，该成像系统包括一个或多个外部摄像头。外部摄像头的示例在图4中示出并且包括后视摄像头60a、中央高位刹车灯(CHMSL)摄像头60b和侧视摄像头60c和60d，但是包括另外或替代的摄像头的其他布置是可能的。在一个示例中，成像系统60可以仅包括后视摄像头60a，或者可以被配置为使得系统10仅将车辆中的后视摄像头60a与多个外部摄像头一起使用。在另一个示例中，成像系统60中包括的各种摄像头60a至60d可以定位成在它们相应的视野中大致重叠，在所描绘的布置中，所述相应的视野包括视野92a、92b、92c和92d以分别与后视摄像头60a、中央高位刹车灯(CHMSL)摄像头60b和侧视摄像头60c和60d相对应。以此方式，来自摄像头中的两个或更多个的图像数据可以在图像处理例程86中或在成像系统60内的另一个专用图像处理器中组合成单个图像。
作为组合来自多个摄像头的图像数据的示例，图像数据可以用于导出立体图像数据，该立体图像数据可以用于重建各种视野92a、92b、92c和92d的重叠区域内的一个或多个区域(包括其中的任何对象(例如障碍物或联接器16))的三维场景。在一个实施例中，鉴于图像源之间的已知空间关系，对包括同一对象的两个图像的使用可以用于确定对象相对于两个图像源的位置。在这方面，图像处理例程86可以使用已知的编程和/或功能以识别来自成像系统60内的各种摄像头60a、60b、60c和60d的图像数据内的对象。在任一示例中，图像处理例程86可以包括与存在于车辆12上或由系统10利用的任何摄像头60a、60b、60c和60d的定位(包括相对于例如车辆12的中心96(图1)的定位)相关的信息，使得摄像头60a、60b、60c和60d相对于中心96和/或彼此的位置可以用于对象定位计算并产生相对于例如车辆12的中心96或车辆12的其他特征(诸如挂接球22(图1))的对象位置数据，所述其他特征相对于车辆12的中心96的位置是已知的。
图像处理例程86可以具体地被编程为或以其他方式配置为定位图像数据内的联接器16。在一个示例中，图像处理例程86可以总体上基于联接器16或挂接件的存储的或以其他方式已知的视觉特性来识别图像数据内的联接器16。在另一个实施例中，呈以贴纸等形式的标记可以以与共同转让的美国专利号9,102,271中描述的类似的方式在相对于联接器16的指定位置与拖车18附连在一起，该美国专利的公开内容全文以引用方式并入本文。在此类实施例中，图像处理例程86可以被编程为识别用于图像数据中的位置的标记的特性，以及联接器16相对于此类标记的定位，使得联接器16的位置24可以基于标记位置来确定。
另外地或替代地，控制器14可以经由触摸屏74上的提示来寻求对确定的联接器16的确认。如果未确认联接器16确定，则可以提供另外的图像处理，或者可以使用触摸屏74或允许用户U移动触摸屏74上的联接器16的所描绘的位置24的另一个输入来促进对联接器16的位置24的用户调整，控制器14使用该图像处理或用户调整以基于图像数据的上述使用来调整联接器16相对于车辆12的位置24的确定。替代地，用户U可以视觉上确定HMI 66上呈现的图像内的联接器16的位置24，并且可以以与共同未决的共同转让的美国专利申请公布号2018/0312022A1中描述的类似的方式提供触摸输入，该专利申请的公开内容全文以引用方式并入本文。然后，图像处理例程86可以将触摸输入的位置与应用到显示器72上显示的图像数据的坐标系36相关联，这可以描绘为如图3所示的那样。
如图3所示，图像处理例程86和操作例程90可以彼此结合地用于确定路径20，挂接辅助系统10可以沿着该路径引导车辆12以将挂接球22与拖车18的联接器16对准。在所示的示例中，车辆12相对于拖车18的初始位置可以使得联接器16仅位于侧视摄像头60c的视野92c中，其中车辆12定位在拖车18的侧向上，但是联接器16与挂接球22几乎纵向地对准。以此方式，在诸如通过触摸屏74上的用户输入发起挂接辅助系统10后，例如，图像处理例程86可以识别摄像头60c的图像数据内的联接器16并且估计联接器16相对于挂接球22的位置24。可以由系统10使用图像数据相应地通过接收图像数据内的焦距信息以确定距联接器16的距离Dc和联接器16与车辆12的纵向轴线之间的偏移角αc来识别联接器16的位置24。还可以依据在图像数据的视野92内的联接器16的位置24来使用该信息，以确定或估计联接器16的高度Hc。一旦已经确定并且任选地由用户U确认联接器16的定位Dc、αc，控制器14就可以至少控制车辆转向系统50来控制车辆12沿着期望的路径20移动，以将车辆挂接球22的挂接球位置26与联接器16对准。
继续参考图3和图4并且另外参考图2，在一个示例中，在如上所讨论的那样估计出联接器16的定位Dc、αc之后，控制器14可以执行路径导出例程88以确定将车辆挂接球22与联接器16对准的车辆路径20。具体地，控制器14可以将车辆12的各种特性存储在存储器84中，所述各种特性包括轴距W、从后车桥到挂接球22的距离(在本文中称为牵引杆长度L)，以及转向轮54可以转动的最大角δ最大。如图所示，轴距W和当前转向角δ可以用于根据以下等式来确定车辆12的对应转弯半径ρ：
Figure BDA0002436559360000131
其中轴距W是固定的，并且转向角δ可以由控制器14通过与转向系统50的通信来进行控制，如上文所讨论的。以此方式，当最大转向角δ最大已知时，转弯半径的最小可能值ρ最小被确定为：
Figure BDA0002436559360000132
路径导出例程88可以被编程为导出将车辆挂接球22的已知位置与联接器16的估计位置24对准的车辆路径20，这考虑到确定的最小转弯半径ρ最小以允许路径20使用最小量的空间和操纵。以此方式，路径导出例程88可以使用车辆12的位置(其可以基于车辆12的中心96、沿着后车桥的位置、航迹推算装置34的位置或坐标系36上的另一个已知位置)来确定距联接器16的侧向距离和距联接器16的前向或后向距离两者并导出在转向系统50的限制内实现车辆12所需的侧向和前向-后向移动的路径20。路径20的导出进一步考虑到基于长度L的挂接球22相对于车辆12的被跟踪位置(其可以对应于车辆12的质量中心96、GPS接收器的位置或另一个指定的已知区域)的定位，以确定将挂接球22与联接器16对准所需的车辆12的定位。
如上所讨论的，挂接辅助系统10可以向图像处理例程86提供图像数据，该图像数据可以由图像处理例程86使用(通过上述过程或通过其他可用过程)，以确定挂接球22的高度Hb(即，包括联接器16的位置24的数据的垂直分量)。图像数据可以由成像系统60的摄像头60a至60d中的一个或多个捕获。此外，挂接辅助系统10可能已经将挂接球22的高度Hb存储在存储器84中或者可以以其他方式确定该高度。在一个示例中，在挂接辅助系统10的初始设置例程期间，可以提示用户U通过将包括挂接球22的球支架与定位在车辆12的后部的接收器组装在一起来安装挂接球22。然后可以要求用户U测量挂接球22的高度Hb(诸如到挂接球的顶部或中心)，并且例如通过HMI 66将该测量值输入存储器84中。以此方式，与特定车辆12结合使用的多个挂接球的多个不同的高度测量值可以存储在存储器84中并且可以由用户U选择。在一些实施例中，挂接球22可以在后视摄像头60a的视野92a内，使得可以处理图像数据以实时地或基于需求来确定挂接球22的高度Hb。
参考图5，如先前所讨论的，挂接系统10可以被配置为通过监测图像数据或由车辆12捕获的各种感测数据中的拖车18和联接器位置24来控制或引导用户U。在控制器14沿着路径20操纵车辆12时，可以经由点或图像部分跟踪方法将联接器位置24和拖车18作为图像数据的识别的部分进行监测。点跟踪方法可以被配置为在通过处理由成像系统60在车辆12的整个操纵操作中捕获的图像数据的时间序列(例如，图像帧)来操纵车辆12时跟踪图像数据的部分(例如，边缘、对象、均匀部分等)。在由成像系统60捕获的场景中识别的图像数据的部分可以被配置为处理图像数据以优化相对于地平面30对联接器16的检测。因此，系统10可以被配置为识别图像数据中的联接器的联接器位置24，以在可能产生挑战的多种多样的情况下提供对位置的稳健的近似。
如图5所示，拖车18表示在无他物的(sterile)环境中，该环境包括可以被分类成多个数据类别100的图像数据点。数据类别100可以被识别为拖车部分100a和非拖车部分100b。如图所示，由成像系统60捕获的图像数据中的非拖车部分100b可以包括地平线102。地平线102可以由控制器14识别以限定地面部分104和天空部分106。另外地，控制器14可以被配置为区分图像数据的与拖车部分100a和非拖车部分100b相对应的部分。
拖车部分100a和非拖车部分100b中的每一个可以进一步由控制器14分类成附加的类别(例如，拖车部分100a的联接器部分112)。如本文所讨论的，数据类别100(例如，102、104、106等)可以对应于图像数据的像素和/或像素组，所述像素和/或像素组可以基于各种图像处理滤波器(例如，Sobel掩模、Poewitz掩模)和/或特征提取技术(例如，特征提取、边缘连接、霍夫变换)来进行识别和分类。以此方式，控制器14可以被配置为识别图像数据的各种部分并且将这些部分分类成多种类别，这可以提供对联接器位置24的稳健的检测以将挂接件22准确地导航到联接器16。
参考图6A、图6B、图6C和图6D，示出了展示多个拖车类型110的样本图像数据的附图，示出了可以影响系统10的操作的多个噪声因素。类似于参考图5的示例，图6A-6D中展示的图像样本可以包括图像数据，该图像数据包括拖车数据100a和非拖车数据100b。例如，非拖车数据100b可以在图像样本中的一个或多个中表示为地平线102、一个或多个地面部分104和/或天空部分106。另外地，拖车数据100a可以包括联接器部分112、舌杆部分114、车身或车架部分116和/或车轮部分118中的一个或多个。因此，通过将图像数分类成图像数据类别100，系统10可以提供以高准确性水平检测联接器位置24。
可以通过将图像数据分类为由成像系统60捕获的图像帧序列中的参考点并进行跟踪来实现跟踪与数据类别100相关联的部分或被跟踪点的准确性。还可以基于车辆12的运动来跟踪参考点以验证由成像系统60捕获的场景的变化。例如，通过经由速度传感器38、横摆率传感器40和/或接近传感器42来监测车辆12的运动，控制器14能够将图像数据中的被跟踪点的移动与车辆12的运动相关。以此方式，系统10可以保持以高准确性水平识别和检测联接器位置24以及图像数据的其他部分，甚至在面对可能在现实世界情况下遇到的多种干扰或噪声因素时也是如此。
系统10可能面对的噪声因素中的一些可以包括目标在于连接到挂接件22的拖车类型110的变化。如图所示，图6A、图6B、图6C和图6D中的每一个分别展示了第一拖车类型110a、第二拖车类型110b、第三拖车类型110c和第四拖车类型110d。拖车类型110中的每一种可以包括以下的一个或多个变化：车身样式(例如，休闲车、多功能拖车、拖船、马拖车等)、舌杆样式(例如，iChannel(I通道型)、A形框架、定制的等)，和/或各种拖车联接器类型(例如，直道平式安装、套圈锁、制动致动器、A形框架、可调高度、联接器锁等)。另外地，拖车类型110中的每一种和所描绘的拖车的下面部分可以包括多种颜色和/或表面处理，这可以产生由成像系统60捕获的图像数据中描绘的颜色和光反射的大范围变化。通过将图像数据分类成各种拖车部分100a和非拖车部分100b，控制器14可以通过始终跟踪由成像系统60捕获的图像帧序列上的各种类别来提高检测联接器位置24的准确性。图像数据的分类可以允许控制器14监测图像帧中的每一个中的图像数据的组成部分并且将分类部分进行比较以限制对联接器16的错误检测。例如，可以通过对没有随图像数据中的识别出的图像数据类别100以及车辆12的运动一致地改变的瞬态变化进行滤波来限制错误识别。
可能会影响跟踪图像数据中的联接器位置24的准确性的附加的噪声因素可以包括以下的变化：照明、基于天气的能见度条件、瞬态和/或静态阴影、表面类型、表面特征，以及在图像数据中捕获的各种附加的环境性质。例如，如图6A所描绘，所描绘的环境照明条件对应于夜晚或黄昏条件；而图6B中所示的照明条件展示了明亮阳光条件。另外地，如图6C所描绘，潮湿路面条件可能会造成各种反射120，如果没有结合附加的拖车部分100a进行监测，则这可能会造成对联接器位置24的错误识别。因此，通过按图像数据类别100来跟踪图像数据的各种部分，系统10可以被配置为限制对联接器位置24的检测的变化，以促进挂接球22与联接器16之间的高度准确的对准。
仍参考图6A至图6D，图像数据还可以包括拖车18的相对航向角的变化和/或成像系统的摄像头60a至60d中的一个或多个相对于拖车18的视角的变化。如通过比较图6B和图6D所展示的，拖车18中的每一个的航向角122可以在图像数据中显著地改变。如图6B所展示，拖车18的航向方向122被描绘为与车辆12的航向方向对准；然而，图6D中描绘的拖车18的航向方向122被描绘为具有相对于车辆12的航向方向显著地偏斜或几乎垂直的航向角。因此，系统10还可以被配置为基于拖车数据100a来识别拖车18的航向方向122，以便改进对联接器位置24的识别。
附加的因素也可能会影响检测或识别图像数据中的联接器位置24的准确性，如本文所讨论的。例如，成像系统60的摄像头60a至60d的行驶高度或其变化可能在联接器16的检测中产生挑战。类似地，车辆12和/或拖车18的倾斜角可能造成图像数据偏斜，使得联接器16与挂接球22的关系可能在图像数据中类似地偏斜。最后，附近对象、行人(不论瞬态还是静态)以及相邻的拖车124也可以对应于可能影响图像数据中的联接器16的检测的噪声因素。因此，通过将图像数据分类成类别100，系统10可以操作来跟踪在图像数据类别100中识别的数据点中的每一个的相对关系，以考虑到以各种对象的形式的关系、表面特征、角度和/或中断的变化，所述各种对象可以通过对图像数据的可以对应于拖车18并更具体地是联接器16(例如，拖车部分100a)的潜在部分的检测来进行识别和/或滤波。
现在参考图7，示出了在包括如本文所讨论的多个噪声因素的场景中的拖车18的示例性描绘。在操作中，控制器14可以接收图像数据，该图像数据包括由成像系统60的摄像头60a至60d中的一个或多个捕获的多个连续图像帧。如图7所描绘，示出了图像帧的示例性序列的示例性图像帧130，展示了如由成像处理例程86分类的拖车数据100a和非拖车数据100b。例如，控制器14可以被配置为跟踪如在由成像系统60捕获的多个图像帧上的图像帧130中所描绘的地平线102、地面部分104和/或天空部分106。类似地，系统10可以被配置为跟踪联接器部分112、舌杆部分114、车身或车架部分116、车轮部分118和/或拖车18的各种部分，它们可以在由成像系统60捕获的图像序列上被分类成拖车数据100a。基于跟踪图像数据中的图像类别，系统10可以被配置为准确地检测拖车18的各种部分的位置，以确保可以准确地识别联接器16和航向方向122以用于车辆12的导航。
在一个示例性实施方式中，控制器14可以响应于联接器距离Dc小于或等于联接器16的预定距离而将图像数据的部分分类成各种图像数据类别100。因此，在车辆12朝向联接器16的初始导航期间，系统10可以经由图案辨识方法(例如，拖车图案检测滤波器)来近似联接器位置24的定位，这一般可以从超过预定距离的距离来定位图像数据内的联接器16。一旦联接器距离Dc在预定距离内，系统10就可以将图像数据分类成图像数据类别100，如本文所讨论的。预定距离可以根据成像系统60的应用、分辨率和性能而改变。然而，预定距离可以对应于从联接器位置24到挂接位置26的距离，该距离范围为大约1米至5米。
如先前所讨论的，系统10可以将图像数据分类成地面部分104、联接器部分112和舌杆部分114。基于地面部分104和地平线102，控制器14可以识别地面部分104的地平面30并且将地平面30与拖车18的联接器部分112和舌杆部分114的高度进行比较。基于地平面30与联接器部分112和舌杆部分114的比较，控制器14可以识别图像数据中的联接器16的高度Hc。类似地，基于与舌杆部分114连接的联接器部分112，控制器14可以识别拖车18的航向方向122。在一个示例性实施例中，控制器14还可以应用一个或多个特征提取操作或图像滤波操作(例如，霍夫变换和/或卡尔曼滤波器)，以确定图像数据中的联接器位置24的中心点。以此方式，系统10可以利用由成像系统60捕获的图像数据，以准确地识别联接器位置24和/或拖车18的航向方向122。
现在参考图8，示出了展示用于操纵车辆12以使得挂接球22与联接器16对准的方法140的流程图。方法140可以以用控制器14发起挂接连接例程(142)来开始。挂接连接例程可以通过扫描来自车辆12的各种传感器(例如，成像系统60的摄像头60a至60d)的数据(144)来开始。在步骤146中，控制器14可以基于第一图像处理方法来识别图像数据中的联接器位置24。第一图像处理方法可以对应于可以近似图像数据中的联接器位置24的图案辨识或拖车图案辨识处理方法。与处理方法相关联的图案辨识算法可以将图像数据与对应于在相对于车辆12的航向角的范围内的各种拖车类型110的多种形状进行比较。以此方式，控制器14最初可以从超过预定距离的距离(例如，大于1米至5米的距离)来近似图像数据中的联接器位置24。
方法140可以在步骤148中继续以确定在步骤146中是否识别出联接器位置24。如果未识别出联接器位置，则控制器14可以继续在步骤146中扫描图像数据以识别联接器位置24。如果识别出联接器位置24，则方法140可以继续到步骤150。在步骤150中，控制器14可以经由路径导出例程88基于联接器位置24和车辆动态来估计车辆路径20。
一旦路径导出例程88识别出车辆路径20，控制器14就可以通过将车辆12朝向联接器位置24导航(152)来继续。在将车辆12导航到联接器16时，控制器14可以监测联接器距离Dc以确定联接器16是否在预定距离阈值内(154)。如果联接器距离Dc在预定距离阈值内，则方法140可以继续到步骤156。在步骤156中，控制器14可以识别图像数据的各种部分并且将图像数据的各种被跟踪部分分类成图像数据类别100，如本文所讨论的。
为了在步骤156中成功地监测数据类别100中的图像数据的被跟踪点或部分，控制器14还可以监测车辆动态数据以确定图像数据中的每个部分或点随时间的相对运动(158)。例如，在操作中，系统10可以监测速度传感器38、横摆率传感器40和/或接近传感器42以基于车辆12的运动来投影图像数据中的被跟踪数据点的移动。以此方式，系统10可以将图像数据在图像数据类别100中的部分或被跟踪点随时间的相对运动进行比较。具体地，控制器14可以将步骤158中的动态数据中指示的运动量与图像数据类别100中的被跟踪部分或点的坐标的变化进行比较。基于车辆12的运动，控制器14可以确定描绘数据类别100的像素空间中的部分或被跟踪点中的每一个的位置的对应变化。
最后，在一些实施方式中，控制器14可以监测车辆12的运动数据以识别由摄像头系统60捕获的图像数据中的像素的比例。基于像素的相对运动，控制器14可以进一步确定被跟踪点或部分(例如，联接器部分112和/或舌杆部分114)相对于地面部分104的高度，以识别联接器部分112和/或舌杆部分114的高度。以此方式，系统10可以基于车辆12的相对运动来准确地检测多个图像帧上的图像数据中的被跟踪点中的每一个的相对运动。另外地，可以利用对应于像素数据的移动的车辆12的运动来提高准确性或确定联接器部分112和舌杆部分114的高度。
如先前所讨论的，图像数据类别100可以包括拖车数据100a和非拖车数据100b。在步骤160中，方法140可以继续相对于地平面30或地面部分104来跟踪联接器部分112、舌杆部分114以及拖车18的各种其他部分(例如，车架部分116、车轮部分118)。另外地，控制器14可以跟踪图像数据的可能在像素数据中的拖车18附近的多种未分类部分。控制器14可以将相对于地面部分104分类为拖车部分100a的多个数据点中的每一个分类为拖车舌杆部分114。未分类部分可能不对应于或满足本文所讨论的部分的任一标准。因此，未分类部分可能不被包括在用于确定联接器位置24的分析中并且可以忽视。
一旦控制器14识别出可以包括联接器部分112的舌杆部分114，就可以以图像数据的像素点云的形式来识别拖车舌杆点的数据集。这些拖车舌杆点可以由控制器14评估以确定沿着拖车18的航向方向122的取向的航向矢量(162)。然后可以将拖车18的航向方向122与车辆12的航向方向进行比较以识别这两者之间的相对拖车航向角。此外，可以在步骤164中对舌杆部分114的拖车舌杆点进行滤波，以确定最靠近车辆12或造成最小联接器距离Dc的拖车舌杆点。基于航向方向122和最小联接器距离Dc，系统10可以基于图像数据来识别联接器位置24的准确近似。
在步骤166中，控制器14可以基于在步骤164中识别出的最近拖车舌杆点来继续应用特征提取操作(例如，霍夫变换)(166)。如果步骤166中的霍夫变换成功，则控制器14可以基于霍夫变换来估计图像数据中的联接器位置24(168)。可以基于确定与计算相关联的确定性程度或置信度水平来确定霍夫变换的成功。也就是说，如果以超过最低置信度水平的确定性程度完成霍夫变换，则在步骤168中可以确定计算成功。如果在步骤166中霍夫变换不成功，则控制器14可以继续基于拖车的航向方向122或拖车航向矢量(如基于最小联接器距离Dc所讨论的)来估计联接器位置的目标位置(170)。一旦在步骤168或170中识别出联接器位置，该方法就可以继续到步骤152以控制车辆12朝向联接器位置24的导航。
除了图8中所示的步骤外，方法140还可以被配置为应用附加的识别例程以识别图像数据中的联接器位置24。例如，响应于联接器距离Dc小于第二预定阈值(例如，Dc<1m)，控制器14可以应用又一个识别算法来确定联接器位置24。如本文所讨论的，第二预定距离可以小于参考步骤154所讨论的第一预定距离。一旦在第二预定距离内，控制器14就可以基于像素跟踪技术来识别联接器位置24，该像素跟踪技术可以识别图像数据中与联接器16相对应的特定像素，以便识别联接器位置24。以此方式，系统10可以在不同距离时利用多种图像处理算法，以基于图像数据来优化联接器位置24的确定的执行和准确性。
应当理解，可在不脱离本公开的概念的情况下对前述结构做出变化和修改，并且应当进一步理解，此类概念意图被所附权利要求涵盖，除非这些权利要求通过它们的语言另外明确地说明。
出于本公开的目的，术语“联接”(以其所有形式，联接、联接的、被联接的等)一般表示两个部件彼此(电气或机械)直接地或间接地联结。这种联结可以本质上是固定的或本质上是可移动的。这种联结可以用两个部件(电气或机械)实现，并且任何附加的中间构件可以彼此或与两个部件一体地形成为单个整体。除非另有说明，否则这种联结可以本质上是永久性的，或可以本质上是可移除或可释放的。
同样重要的是要注意，如示例性实施例中所示的本公开的元件的构造和布置仅是说明性的。虽然在本公开中已经详细描述了本创新的仅若干实施例，但是审查本公开的本领域技术人员将容易理解，在实质上不脱离所叙述的主题的新颖教导和优点的情况下，许多修改是可能的(例如，各种元件的大小、尺寸、结构、形状和比例、参数的值、安装布置、使用材料、颜色、取向等的变化)。例如，示出为一体地形成的元件可以由多个零件构成，或者示出为多个零件的元件可以一体地形成，接口的操作可以颠倒或以其他方式变化，结构和/或构件的长度或宽度或连接器或者系统的其他元件可以改变，并且可以改变元件之间提供的调整位置的性质或数量。应当注意，系统的元件和/或总成可以由提供足够强度或耐用性的多种材料中的任何一种以各种颜色、纹理和组合中的任何一种构成。因此，所有此类修改旨在被包括在本创新的范围内。在不脱离本创新的精神的情况下，可以在期望的和其他示例性实施例的设计、工况和布置方面进行其他替换、修改、改变和省略。
应当理解，任何描述的过程或所描述的过程中的步骤可以与其他公开的过程或步骤组合以形成在本公开的范围内的结构。本文公开的示例性结构和过程是出于说明性目的，而不应解释为限制性的。
根据本发明，提供了一种车辆操纵控制系统，所述车辆操纵控制系统具有：至少一个图像装置，所述至少一个图像装置被配置为捕获图像数据；以及控制器，所述控制器被配置为：识别所述图像数据中的拖车的联接器位置；控制车辆的运动以将所述车辆的挂接球朝向所述联接器位置导航；监测从所述联接器位置和所述挂接球延伸的联接器距离；以及响应于所述联接器距离小于或等于距离阈值：将所述图像数据的多个部分分类为拖车部分和非拖车部分；基于所述拖车部分来识别拖车航向方向；通过经由特征提取操作处理图像来识别所述联接器位置；以及响应于所述特征提取操作以预定置信度水平检测到所述联接器位置，控制所述车辆向基于所述特征提取操作识别的所述联接器位置的导航。
根据一个实施例，所述控制器还被配置为：响应于所述特征提取操作未能达到所述预定置信度水平，基于所述航向方向和最接近所述车辆的所述拖车部分来检测所述联接器位置。
根据一个实施例，在超出所述距离阈值时通过经由拖车图案处理方法处理所述图像数据来近似所述联接器位置。
根据一个实施例，响应于所述联接器位置在所述距离阈值内，经由呈以霍夫变换的形式的所述特征提取操作检测所述联接器位置。
根据一个实施例，所述控制器还被配置为：基于所述拖车部分与挂接件的距离来对所述图像数据的多个所述拖车部分进行滤波以确定多个最近拖车部分。
根据一个实施例，通过卡尔曼滤波器对所述最近拖车部分进行滤波。
根据一个实施例，所述特征提取操作处理所述最近拖车部分以识别所述联接器位置。
根据一个实施例，所述非拖车部分被进一步分类为地面部分和对象部分。
根据一个实施例，相对于基于所述地面部分识别的地平面跟踪所述对象部分。
根据一个实施例，所述拖车部分被分类为拖车舌杆部分，并且其中所述控制器还被配置为：经由至少一个运动传感器接收所述车辆的运动数据；以及基于所述运动数据来相对于所述地平面跟踪所述舌杆部分。
根据一个实施例，通过比较图像数据中的像素值以识别对应于对象的多个边缘来处理所述图像数据的所述多个部分的所述分类。
根据本发明，一种用于控制车辆的挂接件与拖车的联接器之间的对准的方法包括：识别图像数据中的所述联接器的联接器位置；控制所述车辆的运动以将所述车辆的挂接件朝向所述联接器位置导航；相对于距离阈值监测所述联接器位置与所述挂接件之间的联接器距离；以及响应于所述联接器距离小于或等于所述距离阈值：将所述图像数据的多个像素分类为拖车像素和非拖车像素；基于所述拖车像素来识别拖车航向方向；经由特征提取操作识别所述联接器的所述联接器位置；以及响应于所述特征提取操作以预定置信度水平检测到所述联接器位置，导航到基于所述特征提取操作识别的所述联接器位置。
根据一个实施例，响应于所述特征提取操作未能达到所述预定置信度水平，基于所述航向方向和最接近所述车辆的所述拖车像素来检测所述联接器位置。
根据一个实施例，首先通过经由拖车图案处理方法处理所述图像数据来近似所述联接器位置。
根据一个实施例，经由呈以霍夫变换的形式的所述特征提取操作检测所述联接器位置。
根据一个实施例，本发明的特征还在于：基于在所述图像数据中拖车部分与所述挂接件的距离来对所述图像数据的所述拖车像素进行滤波以确定多个最近拖车部分。
根据一个实施例，通过卡尔曼滤波器对所述最近拖车部分进行滤波。
根据一个实施例，所述特征提取操作处理所述最近拖车部分以识别所述联接器位置。
根据本发明，提供了一种用于车辆导航的控制系统，所述控制系统具有：控制器，所述控制器与被配置为捕获图像数据的至少一个成像装置通信，其中所述控制器被配置为：监测车辆的挂接件与拖车的联接器的第一联接器距离之间的联接器距离；以及响应于所述联接器距离小于或等于距离阈值：将所述图像数据的多个部分分类为拖车部分和非拖车部分；基于所述拖车部分来识别拖车航向方向；经由卡尔曼滤波器处理所述图像数据以识别所述拖车部分中的多个最近拖车部分；经由霍夫变换识别所述联接器位置；响应于经由所述霍夫变换以预定置信度水平检测到所述联接器位置，控制向经由所述霍夫变换识别的所述联接器位置的导航；以及响应于特征提取操作未能达到所述预定置信度水平，基于所述航向方向和最接近所述车辆的所述拖车部分来检测所述联接器位置。
根据一个实施例，在所述车辆在预定联接器距离之外时首先通过经由拖车图案处理方法处理所述图像数据来近似所述联接器位置。

Claims (15)

1.一种车辆操纵控制系统，所述车辆操纵控制系统包括：
至少一个图像装置，所述至少一个图像装置被配置为捕获图像数据；以及
控制器，所述控制器被配置为：
识别所述图像数据中的拖车的联接器位置；
控制车辆的运动以将所述车辆的挂接球朝向所述联接器位置导航；
监测从所述联接器位置和所述挂接球延伸的联接器距离；以及
响应于所述联接器距离小于或等于距离阈值：
将所述图像数据的多个部分分类为拖车部分和非拖车部分；
基于所述拖车部分来识别拖车航向方向；
通过经由特征提取操作处理图像来识别所述联接器位置；以及
响应于所述特征提取操作以预定置信度水平检测到所述联接器位置，控制所述车辆向基于所述特征提取操作识别的所述联接器位置的导航。
2.根据权利要求1所述的系统，其中所述控制器还被配置为：
响应于所述特征提取操作未能达到所述预定置信度水平，基于所述航向方向和最接近所述车辆的所述拖车部分来检测所述联接器位置。
3.根据权利要求1所述的系统，其中在超出所述距离阈值时通过经由拖车图案处理方法处理所述图像数据来近似所述联接器位置。
4.根据权利要求1所述的系统，其中响应于所述联接器位置在所述距离阈值内，经由呈以霍夫变换的形式的所述特征提取操作检测所述联接器位置。
5.根据权利要求1所述的系统，其中所述控制器还被配置为：
基于所述拖车部分与挂接件的距离来对所述图像数据的多个所述拖车部分进行滤波以确定多个最近拖车部分。
6.根据权利要求5所述的系统，其中通过卡尔曼滤波器对所述最近拖车部分进行滤波。
7.根据权利要求6所述的系统，其中所述特征提取操作处理所述最近拖车部分以识别所述联接器位置。
8.根据权利要求5所述的系统，其中所述非拖车部分被进一步分类为地面部分和对象部分。
9.根据权利要求7所述的系统，其中相对于基于所述地面部分识别的地平面跟踪所述对象部分。
10.根据权利要求8所述的系统，其中所述拖车部分被分类为拖车舌杆部分，并且其中所述控制器还被配置为：
经由至少一个运动传感器接收所述车辆的运动数据；以及
基于所述运动数据来相对于所述地平面跟踪所述舌杆部分。
11.根据权利要求1至10中任一项所述的系统，其中通过比较图像数据中的像素值以识别对应于对象的多个边缘来处理所述图像数据的所述多个部分的所述分类。
12.一种用于控制车辆的挂接件与拖车的联接器之间的对准的方法，所述方法包括：
识别图像数据中的所述联接器的联接器位置；
控制所述车辆的运动以将所述车辆的挂接件朝向所述联接器位置导航；
相对于距离阈值监测所述联接器位置与所述挂接件之间的联接器距离；以及
响应于所述联接器距离小于或等于所述距离阈值：
将所述图像数据的多个像素分类为拖车像素和非拖车像素；
基于所述拖车像素来识别拖车航向方向；
经由特征提取操作识别所述联接器的所述联接器位置；以及
响应于所述特征提取操作以预定置信度水平检测到所述联接器位置，导航到基于所述特征提取操作识别的所述联接器位置。
13.根据权利要求12所述的方法，其中响应于所述特征提取操作未能达到所述预定置信度水平，基于所述航向方向和最接近所述车辆的所述拖车像素来检测所述联接器位置。
14.根据权利要求12所述的方法，其中首先通过经由拖车图案处理方法处理所述图像数据来近似所述联接器位置。
15.根据权利要求12至14中任一项所述的方法，其中经由呈以霍夫变换的形式的所述特征提取操作检测所述联接器位置。
CN202010253982.0A 2019-04-08 2020-04-02 用于拖车对准的系统和方法 Pending CN111791654A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/377,388 US10744943B1 (en) 2019-04-08 2019-04-08 System and method for trailer alignment
US16/377,388 2019-04-08

Publications (1)

Publication Number Publication Date
CN111791654A true CN111791654A (zh) 2020-10-20

Family

ID=72045962

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010253982.0A Pending CN111791654A (zh) 2019-04-08 2020-04-02 用于拖车对准的系统和方法

Country Status (3)

Country Link
US (1) US10744943B1 (zh)
CN (1) CN111791654A (zh)
DE (1) DE102020109279A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11892818B2 (en) 2018-10-17 2024-02-06 Niagara Bottling, Llc Dock door automation systems and methods
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
US11820290B2 (en) * 2021-04-14 2023-11-21 Niagara Bottling, Llc Trailer alignment detection for dock automation using vision system and dynamic depth filtering
US20230192122A1 (en) * 2021-12-22 2023-06-22 Eduardo Jose Ramirez Llanos Autonomous vehicle trailer hitch coupling system
US20230331050A1 (en) * 2022-04-18 2023-10-19 Pebble Mobility, Inc. Systems and methods for tethering an autonomous electric-powered trailer to a towing nexus

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001064481A2 (en) * 2000-03-02 2001-09-07 Donnelly Corporation Video mirror systems incorporating an accessory module
JP3945467B2 (ja) 2003-10-02 2007-07-18 日産自動車株式会社 車両後退支援装置および方法
US7568716B2 (en) 2005-05-13 2009-08-04 Dietz Dan L Method and apparatus for alignment of trailer hitch
US8451107B2 (en) 2007-09-11 2013-05-28 Magna Electronics, Inc. Imaging system for vehicle
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
US9102271B2 (en) 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method
US9683848B2 (en) * 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
AU2013235751A1 (en) * 2012-02-10 2014-08-21 Deere & Company System and method of material handling using one or more imaging devices on the transferring vehicle and on the receiving vehicle to control the material distribution into the storage portion of the receiving vehicle
US20130226390A1 (en) 2012-02-29 2013-08-29 Robert Bosch Gmbh Hitch alignment assistance
US9446713B2 (en) * 2012-09-26 2016-09-20 Magna Electronics Inc. Trailer angle detection system
US9326444B2 (en) * 2013-02-08 2016-05-03 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
GB2513393B (en) 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US9563951B2 (en) 2013-05-21 2017-02-07 Magna Electronics Inc. Vehicle vision system with targetless camera calibration
US20150002669A1 (en) 2013-06-27 2015-01-01 Ford Global Technologies, Llc Trailer identification
WO2016026870A1 (en) * 2014-08-18 2016-02-25 Jaguar Land Rover Limited Display system and method
US10017115B2 (en) * 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
GB2553809B (en) * 2016-09-15 2020-06-24 Jaguar Land Rover Ltd Apparatus and method for determining tow hitch location
US11014561B2 (en) * 2017-02-01 2021-05-25 Magna Electronics Inc. Vehicle trailer hitch assist system
US10266023B2 (en) * 2017-05-01 2019-04-23 Ford Global Technologies, Llc System to automate hitching a trailer
US11633994B2 (en) * 2018-04-04 2023-04-25 Continental Autonomous Mobility Us, Llc. Vehicle-trailer distance detection device and method
US10984553B2 (en) * 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position

Also Published As

Publication number Publication date
US10744943B1 (en) 2020-08-18
DE102020109279A1 (de) 2020-10-08

Similar Documents

Publication Publication Date Title
JP7124117B2 (ja) トレーラの検出および自律的なヒッチング
EP3787909B1 (en) Coupler and tow-bar detection for automated trailer hitching via cloud points
US10744943B1 (en) System and method for trailer alignment
US9854209B2 (en) Display system utilizing vehicle and trailer dynamics
US20200079165A1 (en) Hitch assist system
CN112313095A (zh) 用于确定拖车牵引联接器的中心的设备和方法
US10780752B1 (en) Vehicle hitch ball detection system
US11427199B2 (en) System for aligning a vehicle hitch location identifier with a trailer coupler
US10430672B2 (en) Hitch assist system with trailer height estimation and hitch coupler identification
US10962980B2 (en) System and methods for reverse braking during automated hitch alignment
US10870323B2 (en) Compensation for trailer coupler geometry in automatic hitch operation
US11433944B2 (en) Automated hitching system with variable backing paths
CN110641236A (zh) 对挂车耦接器与挂接球之间的干涉的检测和响应
US11505247B2 (en) System and method for trailer height adjustment
US11505124B2 (en) Alignment position adaptation for fifth wheel trailers in hitch assist operation
US10363874B2 (en) Hitch assist system with hitch coupler identification feature and hitch coupler height estimation
US11390294B2 (en) Differentiating between near trailer and connected trailer
US11180148B2 (en) Detection and response to confined trailer in system-assisted hitch operation
US11097579B2 (en) Compensation for trailer coupler height in automatic hitch operation
CN111114219A (zh) 辅助照明在自动挂接操作中的应用
US11247520B2 (en) System and method for trailer alignment
CN111497817A (zh) 用于车辆对准控制的系统和方法
CN111516669A (zh) 用于车辆对准控制的系统和方法
CN110641453A (zh) 用于检测和响应于挂车倒退的系统
CN110641455A (zh) 用于拖车高度调整的系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201020