CN111152839A - 从多辆已识别挂车中选择主挂车的自动挂接系统 - Google Patents

从多辆已识别挂车中选择主挂车的自动挂接系统 Download PDF

Info

Publication number
CN111152839A
CN111152839A CN201911067040.7A CN201911067040A CN111152839A CN 111152839 A CN111152839 A CN 111152839A CN 201911067040 A CN201911067040 A CN 201911067040A CN 111152839 A CN111152839 A CN 111152839A
Authority
CN
China
Prior art keywords
vehicle
trailer
image data
controller
trailers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911067040.7A
Other languages
English (en)
Inventor
肯尼士·迈克尔·梅耶
赛义德·阿明·雷伊斯侯赛尼
包博
卢克·尼维亚多姆斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111152839A publication Critical patent/CN111152839A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/001—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits the torque NOT being among the input parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本公开提供了“从多辆已识别挂车中选择主挂车的自动挂接系统”。一种车辆挂接辅助系统包括控制器，所述控制器从所述车辆获取图像数据，识别所述图像数据内的多辆挂车，接收对所述多辆挂车中的主挂车的选择，识别所述主挂车的联接器，并向所述车辆输出转向信号以使所述车辆转向以将所述车辆的挂接球与所述主挂车的所述联接器对准。

Description

从多辆已识别挂车中选择主挂车的自动挂接系统
技术领域
本发明总体上涉及一种车辆挂接辅助系统。具体地，所述系统向用户提供多个已识别挂车的指示以及选择已识别挂车中的一者作为自动挂接操作的主挂车的能力。
背景技术
将挂车挂接到车辆可能是困难且耗时的体验。具体地，根据挂车相对于车辆的初始位置，将车辆挂接球与所需挂车挂接件对准可能需要与多个转向操纵协调的重复前进和倒车行驶以适当地定位车辆。此外，在适当的挂接球对准所需要的大部分行驶期间，无法看到挂车挂接件，并且在通常情况下，挂接球可能实际上从不能被驾驶员看到。这种缺乏视线需要基于特定车辆和挂车的经验来推断挂接球和挂接件的定位，并且可能仍然需要多次停车和走出车辆的情形以确认对准或记录适用于一组后续操纵的校正。更进一步地，挂接球与车辆的后保险杠的紧密性意味着任何过冲都可能导致车辆与挂车碰撞。因此，可能需要进一步改进。
发明内容
根据本公开的一方面，一种车辆挂接辅助系统包括控制器，所述控制器从所述车辆获取图像数据，识别所述图像数据内的多辆挂车，接收对所述多辆挂车中的主挂车的选择，识别所述主挂车的联接器，并向所述车辆输出转向信号以使所述车辆转向以将所述车辆的挂接球与所述主挂车的所述联接器对准。
本公开的第一方面的实施例可以包括以下特征或方面中的任何一者或组合：
·所述控制器还可以输出可显示在所述车辆内的人机界面上的视频图像，所述视频图像包括：所述图像数据；以及多个图形挂车识别图像，其覆盖在与所述多辆挂车中的每一者相邻的相应位置中的所述图像数据上；
·所述视频图像还可以包括多个图形挂车选择按钮，所述多个图形挂车选择按钮覆盖在与所述多个图形挂车识别图像的每一者相邻的相应位置中的所述图像数据上；
·所述控制器可以从所述人机界面接收与和所述多个挂车选择按钮中的一者相关联的用户输入相对应的输入，此输入被接收为对所述主挂车的选择；
·所述控制器可以从所述人机界面接收与和所述多个挂车识别图像中的一者相关联的用户输入相对应的输入，此输入被接收为对所述主挂车的选择；
·所述控制器可以识别所述图像数据的指定区域中的所述多辆挂车，所述指定区域小于所述图像数据的总区域；
·所述控制器可以从所述车辆所包括的成像系统获取图像数据，所述成像系统具有至少一个相机，所述图像数据的总区域与所述至少一个相机的总视野相对应；
·所述图像数据的所述指定区域可以是设置在所述图像数据的中央部分内的目标区域；
·所述控制器还可以输出可显示在所述车辆内的人机界面上的视频图像，所述视频图像包括：所述图像数据；以及所述指定区域的图形覆盖物，其以比例相关方式在所述图像数据上；
·所述控制器可以从所述人机界面接收与所述图像数据的在所述指定区域之外的一部分以及对所述主挂车的选择相对应的输入；并且可以在所述图形覆盖物中包括用于重新定位所述车辆使得指示的挂车在所述指定区域内的指令；以及
·所述控制器可以将所述转向信号输出到所述车辆所包括的转向系统，并且可以基于所述转向系统的至少最大转向角来推导所述转向信号。
根据本公开的另一方面，一种车辆包括转向系统、位于所述车辆外部的至少一个相机以及控制器。所述控制器从所述至少一个相机获取图像数据，识别所述图像数据中的多辆挂车，接收对所述多辆挂车中的主挂车的选择，并将转向信号输出到所述车辆转向系统以将所述车辆的挂接球与所述主挂车的联接器对准。
根据本公开的另一方面，一种用于辅助车辆与挂车挂接的方法包括：获取远离所述车辆后部的视野的图像数据，识别所述图像数据内的多辆挂车，接收对所述多辆挂车中的主挂车的选择，并将转向信号输出到车辆转向系统以使所述车辆的挂接球与所述主挂车的联接器对准。
在研究以下说明书、权利要求和附图之后，所属领域技术人员将理解和明白本发明的这些和其他方面、目标和特征。
附图说明
在附图中：
图1是车辆相对于挂车处于未挂接位置的透视图；
图2是根据本公开的一方面的系统的图，所述系统用于辅助将车辆与挂车在某个位置对准以将挂车挂接到车辆；
图3是在与挂车的对准序列的步骤期间车辆的俯视示意图；
图4是在目标覆盖在从车辆相机接收的图像上的对准序列步骤期间所述图像的描绘；
图5是位于车辆附近的多辆挂车的俯视示意图，其中这些挂车中的多辆挂车在与车辆相关联的相机的视野中；
图6是在包括以覆盖在从车辆相机接收的图像上的目标识别主挂车的序列步骤期间所述图像的描绘；
图7是在目标和附加信息覆盖在从车辆相机接收的图像上的后一识别步骤期间所述图像的进一步描绘；
图8是基于与包括根据图2的系统的车辆的对准而用于挂车识别的有效区的示意描绘；
图9是在备选目标覆盖在从车辆相机接收到的图像上的备选识别步骤期间所述图像的描绘；
图10是在目标和附加信息覆盖在从车辆相机接收的后一图像上的后一识别序列步骤期间所述后一图像的进一步描绘；
图11是在与多个可识别挂车中的主挂车的对准序列的后一步骤期间所述车辆的俯视示意图；
图12是在图11的对准序列步骤期间从车辆相机接收的图像的描绘；
图13是在与挂车的对准序列的后一步骤期间所述车辆的俯视示意图；
图14是在与挂车的对准序列的后一步骤期间所述车辆的俯视示意图，并且示出了车辆的挂接球在推导的对准路径结束时的位置；并且
图15是描绘对准序列中的步骤的流程图。
具体实施方式
出于本文描述的目的，术语“上部”、“下部”、“右”、“左”、“后”、“前”、“竖直”、“水平”、“内部”、“外部”及其衍生词将如图1中的定向与装置相关联。然而，应当理解，除非明确地相反指出，否则所述装置可以采用各种可选定向。还应当理解，附图中所示的以及以下说明书中描述的具体装置和过程仅仅是所附权利要求中限定的创造性概念的示例性实施例。因此，除非权利要求另有明确说明，否则与本文公开的实施例相关的具体尺寸和其他物理特性不应被视为限制。另外，除非另外规定，否则应当理解，对在给定方向上或沿着给定方向延伸的部件的特定特征等的讨论并不意味着所述特征或部件在此方向上遵循直线或轴线，或者除非另外规定，否则其仅沿此方向或在此平面上延伸而没有其他方向分量或偏差。
总体上参考图1和图2，附图标记10表示用于车辆12的挂接辅助系统(也被称为“挂接辅助”系统)。具体地，挂接辅助系统10包括控制器26，控制器从车辆12获取图像数据55并识别图像数据55的指定区域45内的挂车16，然后识别挂车16的联接器14，所述指定区域45小于图像数据55的总区域53。控制器26进一步将转向信号输出到车辆12以使车辆12转向以使车辆12的挂接球34与联接器14对准。
关于如图2的系统图中所示的挂接辅助系统10的总体操作，系统10包括获得车辆状态相关信息或以其他方式提供车辆状态相关信息的各种传感器和装置。该信息包括来自定位系统22的定位信息，所述定位系统可以包括航迹推算装置24，或者另外或作为备选方案，包括全球定位系统(GPS)，以基于定位系统22内的装置的一个或多个位置来确定车辆12的坐标位置。具体地，航迹推算装置24可以至少基于车速和转向角δ在局部坐标系82内建立和跟踪车辆12的坐标位置。由挂接辅助系统10接收的车辆其他信息可以包括来自速度传感器56的车辆12的速度和来自横摆率传感器58的车辆12的横摆率。可以设想，在另外的实施例中，接近传感器54或其阵列以及车辆其他传感器和装置可以提供传感器信号或其他信息，诸如挂车16(包括检测到的联接器14)的连续图像，挂接辅助系统10的控制器26可以用各种程序处理所述传感器信号或其他信息以(基于距离Dh和角度αh)确定联接器14的高度H和位置。
如图2中进一步所示，挂接辅助系统10的一个实施例与车辆12的转向系统20进行通信，所述转向系统20可以是动力助力转向系统20，所述动力助力转向系统20包括电动转向马达74以操作车辆12的转向轮76(图1)以按照车辆横摆随车速和转向角δ变化的方式移动车辆12。在所示实施例中，动力助力转向系统20是电动助力转向(“EPAS”)系统，所述电动助力转向系统包括电动转向马达74以基于转向命令将转向轮76转动到转向角δ，籍此转向角δ可以由动力助力转向系统20的转向角传感器78感测到。转向命令可以由挂接辅助系统10针对挂车挂接对准操纵期间的自主转向而提供，并且可以可选地经由车辆12的方向盘的旋转位置(例如，方向盘转角)手动提供。然而，在所示实施例中，车辆12的方向盘与车辆12的转向轮76机械地联接，使得方向盘与转向轮76一致地移动，从而防止在自主转向期间手动干预方向盘。更具体地，扭矩传感器80设置在动力助力转向系统20上，所述扭矩传感器80感测方向盘上的扭矩，所述扭矩不是方向盘的自主控制所预期的并且因此指示手动干预，籍此挂接辅助系统10可以警告驾驶员停止手动干预方向盘和/或停止自主转向。在备选实施例中，一些车辆具有动力助力转向系统20，所述动力助力转向系统20允许方向盘与此车辆的转向轮76的移动部分地脱离。
继续参考图2，动力助力转向系统20向挂接辅助系统10的控制器26提供与车辆12的转向轮76的旋转位置相关的信息，所述信息包括转向角δ。除了车辆12其他状况之外，所示实施例中的控制器26还处理当前转向角以沿着所需路径32引导车辆12(图3)。可以设想，在另外的实施例中，挂接辅助系统10可以是动力助力转向系统20的集成部件。例如，动力助力转向系统20可以包括用于根据从成像系统18、动力助力转向系统20、车辆制动控制系统70、动力传动系统控制系统72和车辆其他传感器和装置以及人机界面40接收的全部或部分信息来产生车辆转向信息和命令的挂接辅助算法，如下面进一步讨论的。
图2中还示出，车辆制动控制系统70还可以与控制器26通信以向挂接辅助系统10提供诸如车辆轮速的制动信息并从控制器26接收制动命令。例如，车速信息可以根据如由制动控制系统70监控的单个轮速来确定。除其他可设想手段之外，车速还可以根据动力传动系统控制系统72、速度传感器56和定位装置22来确定。在一些实施例中，单独的轮速也可以作为车辆横摆率传感器58的备选方案或补充来用于确定车辆横摆率
Figure BDA0002259700430000071
所述车辆横摆率可以被提供给挂接辅助系统10。挂接辅助系统10还可以向制动控制系统70提供车辆制动信息以允许挂接辅助系统10在挂车16的后退期间控制车辆12的制动。例如，在一些实施例中，挂接辅助系统10可以在车辆12与挂车16的联接器14对准期间调节车辆12的速度，这可以减少与挂车16碰撞的可能性，并且可以使得车辆12在路径32的确定端点35处完全停止。在本文中公开的是，挂接辅助系统10可以另外或可选地发出警报信号，所述警报信号对应于与挂车16的一部分的实际、即将发生和/或预期的碰撞的通知。如图2中所示的实施例中所示，动力传动系统控制系统72还可以与挂接辅助系统10交互以在与挂车16部分或自主对准期间调节车辆12的速度和加速度。如上文所提及的，调节车辆12的速度可以有利于防止与挂车16碰撞。
另外，挂接辅助系统10可以与车辆12的人机界面(“HMI”)40通信。HMI 40可以包括车辆显示器44，诸如安装在中控台上的导航或娱乐显示器(图1)。HMI 40还包括输入装置，所述输入装置可以通过将显示器44配置为具有电路46的触摸屏42的一部分来实施以接收与显示器44上的位置相对应的输入。其他形式的输入(包括一个或多个操纵杆、数字输入垫等)可以代替触摸屏42使用或作为其补充。此外，挂接辅助系统10可以经由无线通信与HMI40的另一个实施例通信，诸如与包括一个或多个智能电话的一个或多个手持或便携式装置96(图1)通信。便携式装置96还可以包括显示器44以向用户显示一个或多个图像和其他信息。例如，便携式装置96可以在显示器44上显示挂车16的一个或多个图像，并且还能够经由触摸屏电路46接收远程用户输入。另外，便携式装置96可以提供反馈信息，诸如视觉、可听和触觉警报。
仍然参考图2中所示的实施例，控制器26被配置有微处理器60以处理存储在存储器62中的逻辑和程序，所述逻辑和程序从上述传感器和车辆系统接收信息，所述上述传感器和车辆系统包括成像系统18、动力助力转向系统20、车辆制动控制系统70、动力传动系统控制系统72以及车辆其他传感器和装置。控制器26可以根据所接收的全部或一部分信息来产生车辆转向信息和命令。此后，可以将车辆转向信息和命令提供给动力助力转向系统20以用于影响车辆12的转向以实现与挂车16的联接器14对准的命令行驶路径32(图3)。控制器26可以包括微处理器60和/或用于处理一个或多个程序的其他模拟和/或数字电路。而且，控制器26可以包括用于存储一个或多个程序的存储器62，所述一个或多个程序包括图像处理程序64和/或挂接检测程序、路径推导程序66和操作程序68。应当明白，控制器26可以是独立的专用控制器，或者可以是与其他控制功能集成(诸如与车辆传感器系统、动力助力转向系统20以及其他可设想到的车载或车外车辆控制系统集成)的共享控制器。还应当明白，图像处理程序64可以由例如在车辆12的独立成像系统内的专用处理器执行，所述独立成像系统可以将其图像处理的结果输出到车辆12的其他部件和系统(包括微处理器60)。此外，完成诸如本文所述的图像处理功能性的任何系统、计算机、处理器等可以在本文中被称为“图像处理器”，而不管其还可以实施的其他功能性(包括与执行图像处理程序64同时实施的功能性)为何。
系统10还可以包括成像系统18，所述成像系统18包括一个或多个外部相机，在所示示例中，所述一个或多个外部相机包括后相机48、中央高位刹车灯(CMHSL)相机50以及侧视相机52a和52b，尽管包括另外的或备选相机的其他布置也是可能的。在一个示例中，成像系统18可以仅包括后相机48，或者可以被配置为使得系统10仅利用具有多个外部相机的车辆中的后相机48。在另一个示例中，包括在成像系统18中的各种相机48、50、52a、52b可以被定位成在它们相应的视野方面大致重叠，在所描绘的布置中，所述视野包括视野49、51、53a和53b以分别对应于后相机48、中央高位刹车灯(CMHSL)相机50以及侧视相机52a和52b。通过此方式，来自两个或更多个相机的图像数据55可以在图像处理程序64中或在成像系统18内的另一个专用图像处理器中组合成单个图像。在此示例的扩展中，图像数据55可以用于推导立体图像数据，所述立体图像数据可以用于重构相机48以及其他可用相机48、50、52a，52b的各个视野的重叠区域内的一个或多个区域的三维场景，包括其中的任何对象(障碍物，例如可以包括如下面进一步讨论的附加挂车16或联接器14)。在一个实施例中，给定图像源之间的已知空间关系，包括同一对象的两个图像的使用可以用于确定对象相对于两个图像源的位置。在这方面，图像处理程序64可以使用已知的编程和/或功能性来识别来自成像系统18内的各种相机48、50、52a和52b的图像数据55内的对象。在任一示例中，图像处理程序64可以包括与存在于车辆12上或由系统10利用的任何相机48、50、52a和52b的定位(包括相对于车辆12的中心36(图1)的定位)有关的信息，例如使得相机48、50、52a和52b相对于中心36和/或彼此的位置可以用于对象定位计算并产生相对于例如车辆12的中心36或车辆12的其他特征(诸如挂接球34(图1))的对象位置数据，所述其他特征相对于中心36的位置是已知的。
如图5中所示，图像处理程序64和操作程序68可以彼此结合使用以确定路径32，挂接辅助系统10可以沿着所述路径引导车辆12 以将挂接球34与挂车16的联接器14对准。在诸如通过在例如触摸屏42上的用户输入发起挂接辅助系统10时，图像处理程序64可以识别图像数据55内的联接器14，并且至少尝试使用图像数据55根据上文讨论的一个示例确定到联接器14的距离Dc和联接器14与车辆12的纵向轴线之间的偏移角度αc来估计联接器14相对于挂接球34的位置28。图像处理程序64还可以被配置为总体上识别挂车16，并且可以单独或结合联接器14的图像数据使用挂车16的图像数据来确定挂车16的定向或航向33。通过此方式，可以进一步推导路径32以使车辆12相对于挂车16与车辆12的纵向轴线13在挂车12的航向33的预定角度范围内对准。明显地，此对准可以不要求车辆12的纵向轴线13与挂车16的航向33平行或共线，而是可以仅仅要求纵向轴线在通常允许挂接球34与联接器14连接而车辆12与挂车16之间没有碰撞的范围内，并且还可以允许使用车辆12立即控制挂车16的后退。通过此方式，角度范围可为使得在操作程序68结束时车辆12与挂车16对准使得纵向轴线13与航向33之间的角度小于在联接时车辆12与挂车16之间的折叠角(jackknife angle)或所述折叠角的合理估计值。在一个示例中，角度范围可为使得纵向轴线13在任一方向上与航向33共线偏离在约30°以内。在各种示例中，诸如当挂车16的长度L已知时，取决于系统10的所需公差，角度范围在允许时可以更大或者可以更小。
当被收集时，然后可以根据联接器14在图像数据55的视野内的位置28使用所述位置信息来确定或估计联接器14的高度Hc。一旦用户确定并可选地确认了联接器14的定位Dc、αc，控制器26就可以控制至少车辆转向系统20以控制车辆12沿着所需路径32的移动以将车辆挂接球34与联接器14对准，如下文进一步讨论的那样。
继续参考图3并另外参考图2，如上面所讨论的，控制器26在已经估计了联接器14的定位Dc、αc之后在一个示例中可以执行路径推导程序66以确定车辆路径32以将车辆挂接球34与联接器14对准。具体地，控制器26可以在存储器62中存储车辆12的各种特性，包括轴距W、从后桥到挂接球34的距离(在本文中被称为牵引杆长度L)，以及转向轮76可以转动的最大角度δmax。如所示，轴距W和当前转向角δ可以用于根据以下等式确定车辆12的对应转弯半径ρ：
Figure BDA0002259700430000111
其中轴距W是固定的，并且转向角δ可以通过控制器26与转向系统20通信来控制，如上面所讨论。通过此方式，当已知最大转向角δmax时，转弯半径的最小可能值ρmin被确定为：
Figure BDA0002259700430000112
路径推导程序66可以被编程为推导车辆路径32以将车辆挂接球34的已知位置与联接器14的估计位置28对准，所述估计位置28考虑所确定的最小转弯半径ρmin以允许路径32使用最小空间和操纵量。通过此方式，路径推导程序66可以使用车辆12的位置(所述位置可以基于车辆12的中心36、沿着后桥的位置、航迹推算装置24的位置，或在坐标系统82上的另一个已知位置)来确定到联接器14的横向距离和到联接器14的向前或向后距离，并推导路径32，所述路径32在转向系统20的限制内实现车辆12所需的横向和前后移动。对路径32的推导还考虑基于长度L的挂接球34相对于车辆12的被跟踪位置的定位(所述定位可以对应于车辆12的质心36、GPS接收器的位置，或另一个指定的已知区域)以确定用于将挂接球34与联接器14对准的车辆12的所需定位。应注意，挂接辅助系统10可以通过确定联接器14在竖直方向上的移动Δy(将需要所述移动Δy来将挂接球34接收在联接器14内)来补偿联接器14在行驶方向上远离其车桥的水平移动Δx。这样的功能性在共同待决、共同转让的美国专利申请第14/736,391号和第16/038,462号中进一步讨论，所述两个美国专利的全部公开内容通过引用并入本文。
如上文所讨论的，一旦已经使用上文讨论的任一偏移确定方案确定了包括端点35的所需路径32，然后就会允许控制器26利用控制车辆12的速度(向前或向后)的动力传动系统控制系统72和制动控制系统70(无论是由驾驶员控制还是由控制器26控制，如下文所讨论的)来至少控制车辆12的转向系统20。通过此方式，控制器26可以从定位系统22接收关于车辆12在其移动期间的位置的数据，同时根据需要控制转向系统20以保持车辆12沿着路径32。具体地，已经基于车辆12和转向系统20的几何形状确定的路径32可以根据车辆12沿着所述路径32的位置来调整由路径32决定的转向角δ。另外应注意，在一个实施例中，路径32可以包括取决于被跟踪的车辆位置的转向角δ调整的进展。
如图3中所示，可以确定车辆路径32以在最小可能区域内和/或以最少操纵次数实现所需的横向和向后移动。在图3的所示示例中，路径32可以包括由车轮76在不同方向上的转向限定的两个部分以共同地横穿车辆12的所需横向移动以使挂接球34与联接器14成上述偏移对准关系。应注意，可以使用所描绘的路径32中的变化。还应注意，对联接器14的定位的估计值Dc、αc可以在车辆12横穿路径32时(包括将车辆12定位在挂车16的前面)以及在车辆12接近联接器14时变得更准确。因此，这些估计值可以被连续地推导并且用于在确定路径32的经调整端点35时根据需要更新路径推导程序66，如上文所讨论的。还应注意，在可以做出此确定之前，航迹推算装置24可以用于跟踪车辆12在其沿着路径32朝向初始推导的端点35的移动时的位置。
图像处理程序64可以被具体地编程为或以其他方式被配置为在图像数据55内定位主挂车16a的特定联接器14，所述图像数据可以包括多辆挂车(诸如图5中的挂车16b-16f)。在图4至图7的示例中，图像处理程序64可以首先尝试识别图像数据55内的任何挂车16，这可以基于存储的或以其他方式已知的挂车16的视觉特性、与系统10兼容的多种不同类型、尺寸或配置的挂车或一般挂车的视觉特性来完成。当识别了单辆挂车(诸如图4中的挂车16)时，系统10可以使此识别的指示经由车辆HMI(包括图4中所示的框17)呈现给用户，所述框可以通过或基于来自控制器26的输出叠加在呈现于HMI 40上的图像上。结合挂车16的此识别和指示17，控制器26可以向用户寻求确认挂车16的识别是准确的并且是要针对其完成自动挂接操作的正确挂车，如下面进一步描述的。在所示示例中，可以在HMI 40上在挂车指示框17附近呈现图形按钮90，并且可以请求用户在控制器26继续进行自动挂接操作之前确认挂车识别。
在图5至图7中所示的类似示例中，控制器26能够识别图像数据55或其一部分内的多辆挂车16a和16b，如下面进一步讨论的，其中对应的识别框17a、17b和选择按钮90a、90b被呈现以供用户选择主挂车16a或16b进行挂接。具体地，如图5中所示，多辆不同的挂车16a-16f可以定位在车辆12的一般区域中，包括相对于车辆12定位，使得多辆挂车16a-16f中的至少一些挂车(例如，挂车16a-16e)在相机48的视野49内，且因此在图像数据55内，所述视野和图像数据都作为图像55如图6中所示的那样呈现在屏幕42上并且由控制器26在图像处理程序64中用于挂车和联接器识别和定位。通过此方式，系统10实施用于将图像数据55中的至少一些挂车16a-16e的识别传达给用户并允许用户选择/确认这些已识别挂车中作为“主”挂车的特定挂车以便用于联接器14检测和以便于相关联的已识别联接器用于挂接操作的过程，所述挂接操作的示例在本文进行了讨论。
如图7中所示，当系统10成功地识别图像数据55中的多辆挂车16a、16b和/或相关联的联接器14a、14b时，其可以通过与上文关于图5所讨论的方式类似的方式来呈现此识别的指示。如图7中所示，所述指示可以经由包括相应的框17a、17b的车辆HMI呈现给用户，所述框可以通过或基于控制器26的输出叠加在呈现于HMI 40上的图像上。结合挂车16a、16b的指示17a、17b，控制器26可以允许用户选择已识别的挂车16a、16b中的哪一辆挂车是要针对其完成自动挂接操作的所需挂车。在所示示例中，可以在HMI 40上在挂车指示框17a、17b附近呈现相应的图形按钮90a、90b，并且可以请求用户在控制器26继续进行自动挂接操作之前选择主挂车。在本示例中，可以经由用户在与所需主挂车16a或16b的指示17a或17b相对应的按钮90a或90b的区域内的屏幕42上的触摸输入来进行此选择。在其他示例中，用户可以使用与HMI 40相关联的物理控制件(例如，图1中所示的可旋转旋钮94)通过输入对所需挂车16a或16b的选择的另一输入来滚动所述选择。一旦用户输入了对所需主挂车16a或16b的选择，系统10就可以例如通过移除选择按钮90a、90b和非主挂车的指示17a或17b来指示所述选择(在所示示例中为16b和17b)，同时使主挂车16a的指示17a保持存在于视频图像53中。在另一示例中，一旦系统10已经从用户接收到选择，主挂车16a的指示17a就可以改变颜色(例如，从绿色变为蓝色)。如下面更详细讨论的，根据本文讨论的附加示例，系统10可能能够识别存在于图像数据55中的附加的或更少的挂车16a-16e，并且可以呈现这些已识别挂车的附加指示。
在识别挂车16之后，控制器26然后可以类似地基于存储的或以其他方式已知的联接器14或一般的联接器的视觉特性来在图像数据55中识别该挂车16的联接器14。另外或可选地，控制器26可以经由触摸屏42上的提示(类似于用于提示确认挂车16的框17)来寻求对所确定联接器14的确认。如果未确认联接器14的确定，则可以提供进一步的图像处理，或者可以使用触摸屏42或另一个输入以允许用户在触摸屏42上移动所描绘的联接器14的位置28来促进联接器14的位置28的用户调整，控制器26使用所述位置28来基于上述图像数据55的使用来调整对联接器14相对于车辆12的位置28的确定。在各种示例中，控制器26最初可以依赖于挂车16的识别来进行自动挂接操作的初始阶段，其中推导路径32以使挂接球34相对于挂车16朝向中心对准位置移动，一旦识别出联接器14，就改进路径32。当确定挂车16与车辆12的距离足够远到在不知道路径32的精确端点35的情况下开始后退时，可以实施此操作方案，并且当挂车16处于其中图像数据55的分辨率使得可以准确地识别挂车16但是不能精确地识别联接器14的距离时，此操作方案可能是有用的。通过此方式，车辆12的初始向后移动可以允许校准各种系统12输入或测量值，例如这可以提高距离测量的准确性，从而可以有助于使得联接器14的识别更加准确。类似地，车辆12的移动导致改变数据55内的特定图像，这可以提高分辨率或相对于挂车16的其余部分移动联接器14使得可以更容易地识别挂车16。
如图8的示意性示例中所示，可能需要任何潜在的主挂车16a-16f的位置28的初始确定达到可接受准确度水平以执行路径推导程序66和随后车辆12沿着路径32自动倒车。在某些条件下或在某些设置中，系统10的各种特性或局限性可能会影响系统10识别从成像系统18接收的数据55中的挂车16a-16f(以及联接器14，无论何时执行这样的识别)的能力。更进一步地，各种车辆12或其他系统10的特性可能会影响系统10导航到达主挂车16a-16f的能力，尽管如此，所述主挂车仍然存在于图像数据55中。取决于系统10的特定配置，这些特性可以由系统10所使用的成像系统18部分地驱动。成像系统18在其识别图像数据55的整个区域内的任何或所有挂车16a-16f和/或相关联的联接器14a-14f的能力方面可能受到限制。在一个示例中，至少为了说明简单起见，可以假设系统10仅使用后相机48进行挂车16和联接器14检测，后相机48具有视野49，所述视野49整体包括在图像数据55的“总区域”中(明显地，如果使用附加的相机50、52a、52b，则图像数据55的总区域将包括来自所有这些利用的相机的整个组合图像)。成像系统18的局限性可能将整个系统10的功能性限制为仅在挂车联接器14与车辆12之间的有限距离，因为当挂车16和车辆12靠得太近或太远时，不同的因素可能会限制控制器26识别挂车16或其联接器14时的能力。例如，成像系统18中的各种相机48、50、52a、52b的分辨率可能影响识别距车辆12的最大距离R1以外的任何挂车16a-16f或联接器14a-14f的能力，其中R1的特定值受周围环境条件(包括可用的光照和/或天气条件(例如，雨或雪))的影响。
另外，因为系统10的某些实施方式可能依赖于动态读数(诸如车辆12后面的地面或联接器14周围可见的其他特征)来校准系统10和/或跟踪车辆12在倒车时的速度并在系统10操作期间跟踪联接器14的位置，所以可以实现用于挂车16或联接器14检测的最小距离R2。具体地，在系统10仅使用后相机48的上述示例中，可能必须检测视野49内的运动以识别距主联接器14的距离并提供准确的跟踪和边界分辨率(图像处理程序64的一方面)。此外，操作程序68可以包括纵向控制算法，所述纵向控制算法依赖于车辆12的精确控制，并且在一个示例中，需要与R2相对应的最小行驶距离量来校准某些制动和动力传动系统变量以实现此车辆控制。更进一步地，如果挂车16太靠近车辆12，则挂车16的各种特征可能作为挂车本身出现在图像处理程序64中，这意味着为了辅助系统10，挂车16应超出最小距离R2使得针对图像处理程序64的功能性优化特征(包括相对于图像数据55的总区域的挂车16本身以及挂车16)的比例。
另外，系统10功能性的其他局限性可能会增加对可接受操作区的约束。在这方面，系统10可能无法朝后相机48的初始视野中的所有位置操纵车辆12(即，在挂车16或联接器14识别期间)。具体地，由于但不限于横向跨度，系统10在其到达潜在的目标位置的能力方面受到限制，所述横向跨度是车辆12的距离范围和转向角δ限制的函数。一方面，车辆12的最大转向角δmax作为离联接器14的距离Dc的函数确定横向范围，如下文进一步讨论的。通常，系统10的实施方式可以将车辆14的操纵限制为单个倒车运动，所述单个倒车运动尽管潜在地包括左右方向上的转向，但是在倒车驾驶的连续实例之间不包括车辆12的向前驾驶。通过此方式，在自动挂接操作中车辆12可以横穿的最大横向距离受到最大转向角δmax的限制。当车辆12通过转动转向轮76和倒车而横向行驶时，系统10可操作性的横向极限基本上被确定为理论挂接球34路径，所述路径在车辆后方延伸，与车辆12在车辆倒车期间以最大转向角转向到任一侧相对应。通过此方式，系统10的横向极限可以从车辆12向外延伸，并且距车辆12的距离增大。在另一方面，转向角δ可以被限制为角度δa，所述角度小于基于对车辆12的前端的允许摆动的预定约束的最大转向角δmax。通过此方式，可以进一步限制系统10功能性的横向极限。
由于这些局限性，本系统10可以被配置为仅与相对于车辆12定位在“有效”空间区域内的挂车16a-16f和相关联的联接器14a-14f共同起作用。所述区域由上面列出的因素以及潜在地影响系统10功能的任何其他因素来确定。为了确保车辆12相对于多辆挂车16a-16f中的主挂车(诸如挂车16a)的此定位，系统10通常可以被配置为引导用户相对于至少所需主挂车16a定位车辆12，使得挂车16a在所利用的相机的视野(诸如后相机48的视野49)的此有效区域和相对应的图像数据55内。如图6中所示，可以通过将目标45呈现为来自成像系统18中的相机48、50、52a、52b中的一者或多者的呈现在屏幕44上的图像数据55的实时视频图像53上的图形覆盖物来给出该引导。目标45可以根据上述系统10的各种特性来推导和/或呈现在屏幕44上，并且可以平衡这些特性和系统要求以总体上提供系统10的广泛可用功能性。通过此方式，目标45位于图像53内的被确定为与相对于车辆14的相对于车辆12所处(并且被假设上面存在挂车16a-16f，而不管实际的地面特性如何)的地平面30的实际位置相对应的位置中，所述位置在用于挂车16和联接器14检测以及车辆12导航的有效区内以便与之对齐。在所示示例中，目标45可能不直接与可以进行此检测和导航的整个区域相对应，而是可能是可靠地在可接受区内并且需要将联接器14a-14f和/或挂车16a-16f放置在距车辆12一定距离内(包括距车辆12的最大和最小距离内以及距车辆12的预定最大横向偏移量内)的一般区域。如所示，这可以导致目标45在水平和竖直方向上都大致位于图像53内的中心，并且可以表示例如图像53的总面积的约5％-15％。在一些情况下，目标45可能至少在竖直方向上未精确地居中在图像53内，其中目标45可能在图像54的竖直距离的约30％至50％之间居中。在各种示例中，一个或多个特定相机(诸如相机48)在车辆12上的定位以及一个或多个相机的特性(焦距等)。
用户与系统10之间通过上述目标45引导的特定交互可以基于用于识别和选择(例如)多辆挂车16a-16e中的主挂车(例如，挂车16a)的所需过程而改变。在一个示例中，在发起时，系统10可以自动尝试识别目标45的区域内的挂车16a-16e中的任一者，所述任一挂车可以包括完全在目标区域内或部分地在目标区域45内的任何挂车16a-16e，这取决于目标尺寸45和其他系统参数或挂车特性(包括例如相关联的联接器14是否在目标45内)。同时，系统10可以经由HMI40提示驾驶员定位车辆12使得所需主挂车16a-16e的联接器14a-14e(或者仅仅是所需主挂车16a-16e)在目标45的区域内。如上文所讨论的，当检测到可见挂车16a-16e中的任一者时(通常与其在目标45的区域内的定位一致)，系统10可以指示此识别。在所示示例中，挂车16a和16b都在目标区域45内达到可接受量，使得它们由系统10识别。如上面所讨论的，通过用框17a、17b突出显示挂车16a、16b(图7)同时指示驾驶员选择所需主挂车(例如，通过按下对应按钮90a或90b)来指示此识别。另外，系统10可以指示驾驶员重新定位车辆12以将另一辆挂车16c-16d移动到目标区域45中以选择另一辆这样的挂车。当做出选择时，车辆12可以根据各种潜在的交互方案获取来自用户的对车辆12的控制，并且可以控制车辆12将挂接球34与联接器14对准以将车辆12与挂车16挂接。
转向图9和图10，描述了在初始可接受区中执行用户的上述引导以使初始车辆12与多辆挂车16a-16e中的所需主挂车16对准的另一个示例。如所示，目标45可以与用于相对于车辆12的挂车16和联接器14定位的实际可接受区更直接对应的形状来显示，这与图6和图7的一般目标相比可以为用户提供更大的灵活性并更好地理解系统10的要求。如上文所讨论的，操作程序64、66、68的可见性要求可以规定所需主挂车16(或至少联接器14)位于与离车辆12的距离相对应的极限R1和R2之间的纵向范围之间，如图8中所示。同样如图8中所示，可接受区的横向范围在横向极限L1与L2之间延伸，如上文所讨论的，所述横向极限从挂接球34沿着与左右方向上的最大转向角δmax或最大允许转向角δa相对应的“最大可转向”路径向外延伸。通过此方式，可接受区110是沿着地平面30的在纵向范围和横向范围内的区域，且因此是由纵向极限R1、R2和横向极限L1、L2的相应部分界定的区域。
如图9和图10中所示，在一个示例中，目标45可以作为在使用图像数据55显示的视频图像53上的覆盖物而呈现在屏幕42上，所述图像数据55邻近图像53上的可接受区110。通过此方式，范围R1、R2、L1、L2的界定可接受区110的相应部分可以通过基于例如相机48的性质和相机到达可接受区的透视投影的位置使实际地平面30上的可接受区110与屏幕42上的视图相关的方式在屏幕42上以图形表示，所述透视投影至少合理地表现为屏幕42上可见的地面区域。通过此方式，用户可以将车辆12定位成使得至少所需主挂车16a在与可接受区110相对应的目标45内。在图10中所示的示例中，一旦实现了此定位并且系统10检测到例如在可接受区110内或与目标45对准的挂车16a和16b，挂车16a和16b的指示17a和17b就可以与其相关地覆盖在图像53中，并且可以显示按钮90a和90b以供用户确认所需挂车16。在另一变型中，目标45图像可以颠倒使得图形覆盖物与“无效”区相对应以便挂车定位，如在以代理人案号84020869提交的共同待决、共同转让的美国专利申请中进一步详细讨论的那样，所述美国专利申请的全部公开内容通过引用并入本文。
在图6和图7以及图9和图10的任一所示目标45描绘中，根据各种备选方案，系统10可以提供指示并允许从多辆挂车16中选择主挂车16。在一个示例中，系统10在激活时可以经由屏幕42上的触摸输入等待对主挂车16a的用户指示(即，没有在屏幕42上呈现目标45)。如果可能的话，系统10可以例如使用图像处理程序64结合触摸输入来识别主挂车16a。如果识别出挂车16a，则系统10可以分析挂车16a位置并且可以确定挂车16a是否在有效区110中。如果挂车16a不在有效区110中(诸如超出任一横向极限L1、L2)，或者根本无法识别(潜在地指示挂车在纵向范围之外)，则系统10可以在屏幕42上呈现目标45并相应地指示驾驶员重新定位车辆12，同时保持对挂车16a的跟踪(如果检测到挂车)直到挂车16a在有效区110中为止。在另一变型中，诸如当挂车16被系统10识别出但超出任一纵向极限R1、R2时或者当可靠识别的挂车16超出可接受区110的横向极限L1、L2时，系统10可以在可以识别的所有挂车上(包括在可能不适合引导的阈值内)放置指示17。通过此方式，已识别的挂车(例如，图10中的挂车16c-16e)可以具有颜色不同于与可接受区110内的挂车16a、16b相关联的指示器17a、17b的相关联指示器，或者可以其他方式指示挂车当前无法选择(例如，通过划掉(crossed或x-ed out)或没有与其相关联的图形按钮)。在另一变型中，如果用户试图选择此挂车16c-16e(例如，通过在挂车16c-16e中的一者的区域中的屏幕42上的触摸输入)，则系统10可以在屏幕42上呈现以下指示：无法选择挂车，并且车辆12可以被重新定位以将挂车放置在目标45区域内以供选择。在此变型中，系统10可以随着车辆12在地平面30上移动而跟踪已识别的挂车16a-16e，并且可以随着已识别的挂车16a-16e相对于车辆12移动进出可接受区110而改变与它们相关联的任何指示。
现在转向图11至图14，一旦已经识别了主挂车16a和相关联的联接器14a，并且系统10确定路径32以将挂接球34与联接器14a对准，操作程序68就可以继续引导车辆12直到在联接器14下降成与挂接球水平对准时挂接球34相对于联接器14a处于使联接器14与挂接球34接合的所需位置38d。在上面讨论的示例中，图像处理程序64在操作程序68的执行期间继续不断地或者一旦可用便监控联接器14a的定位Dc、αc，包括当联接器14a如图12中所示进入后相机48的更清晰视野中时，车辆12如图11中所示沿着路径32继续移动。如上面所讨论的，车辆12的位置也可以由航迹推算装置24监控，其中如果包括由于如图13中所示车辆移动靠近挂车16a时路径32和/或端点35可以被改进或应当被更新(例如，由于归因于更接近的分辨率或附加图像数据55而改善了高度Hc、距离Dc或偏移角度αc信息)，则联接器14a的位置28被连续更新并被馈送到路径推导程序66中。更进一步地，可以假设联接器14a是静态的使得可以通过继续跟踪联接器14来跟踪车辆12的位置，以消除使用航迹推算装置24的需要。通过类似方式，操作程序68的修正变型可以通过预定操纵序列进行，所述预定操纵序列涉及车辆12以最大转向角δmax或低于最大转向角转向，同时跟踪联接器14a的位置Dc、αc以使挂接球34的已知相对位置收敛到所述挂接球34相对于联接器14a的被跟踪位置28的所需位置38d，如上文所讨论的并且图14中所示的。
现在转向图15，示出了图示使用挂接辅助系统10以将车辆挂接球34与主挂车16a的联接器14a对准的步骤的流程图。具体地，在步骤210中，发起挂接辅助系统10。一旦发起210挂接辅助系统10，控制器26就可以使用成像系统18来使用任何或所有可用相机48、50、52a、52b扫描可见场景(步骤212)。然后可以使用场景扫描(步骤212)来识别214例如在图像数据55中的任何挂车16a-16e。如果没有识别出挂车，则系统10可以指示216驾驶员重新定位车辆12，使得所需挂车16a在目标区域45内(根据上述各种示例中的任一者)。可选地，例如，如果识别出一辆或多辆挂车16a、16b，则系统10可以指示218所识别的挂车16a、16b，并且可以指示用户选择多辆挂车中的一者或确认单辆挂车的识别。一旦主挂车16a被选择或确认，系统10就可以识别220与主挂车16a相关联的联接器14a(其也可以由用户确认)。
如果可以在图像数据55中识别出联接器14，则可以如上面所讨论的那样使用可用图像数据55(包括使用图像处理程序64)来确定如在步骤214中识别的联接器14的高度Hc距离Dc和偏移角度αc(步骤222)。如上面所讨论的，图像处理程序64可以被编程或者以其他方式被配置为识别图像数据55内的挂车16的联接器14(步骤214)。通过此方式，在分析初始场景扫描的结果(步骤212)之后，控制器26可以确定用户是否已经(诸如通过HMI 40)确认了联接器14。如果尚未确认联接器14或者如果已经拒绝所确定的联接器14，则可以继续场景扫描(步骤212)，包括同时指示驾驶员移动车辆12以便与挂车16 更好地对准(包括通过将挂车16和/或联接器14定位在上述任何目标45内，直到识别出联接器14)。
当已经识别并确认了联接器14时，路径推导程序66可以用于在步骤222中确定车辆路径32以将挂接球34与联接器14对准。通过此方式，从图像数据55中提取联接器14的定位Dh、αh并将其用于将联接器14放置在使图像坐标与车辆12周围区域的实物坐标相关的所存储数据内。在这样做之后，控制器26使用路径推导程序66以确定路径32以将挂接球34与联接器14的预测位置28对准到挂接球34上方的接合位置，如上文关于图11至图14所描述的。
一旦已经推导出路径32，挂接辅助系统10就可以要求用户U放弃控制车辆12的至少方向盘(以及可选地，在上述挂接辅助系统10的实施方式中放弃控制节气门73和制动器，其中控制器26假设在操作程序68的执行期间控制动力传动系统控制系统72和制动控制系统70)。当(例如，使用如上文所讨论的扭矩传感器80)已经确认用户U并未试图控制转向系统20时，控制器26开始使车辆12沿着确定的路径32移动。挂接辅助系统10然后控制转向系统20(步骤224)以随着用户U或控制器26使用动力传动系统控制系统72和制动控制系统70控制车辆12的速度而保持车辆12沿着路径32。如上文所讨论的，控制器26或用户可以控制至少转向系统20，同时跟踪联接器14的位置Dc、αc直到车辆12到达端点35为止(步骤226)，其中车辆12的挂接球34到达所需位置38d以便与联接器14进行所需对准，此时，操作程序68可以通过控制制动系统70以使车辆12停止(这可以随着车辆12接近这一点而逐步完成)或者通过在停用挂接辅助系统10之前向用户发出使车辆12停止的命令(这也可以随着车辆12接近所需位置而逐步完成或者通过倒计时完成)(步骤230)而结束(步骤228)。然后，在系统10保持怠速时车辆12可以正常行驶，直到接收到重新激活输入232为止，此时上述方法在扫描步骤212处重新开始。
应当理解，可以在不脱离本发明的概念的情况下对前述结构做出变动和修改，并且还应当理解，除非随附权利要求用其语言明确表明另外的情况，否则这些概念意图由这些权利要求涵盖。
根据本发明，提供了一种用于车辆的挂接辅助系统，所述系统具有控制器，所述控制器：从所述车辆获取图像数据；识别所述图像数据内的多辆挂车；接收对所述多辆挂车中的主挂车的选择；识别所述主挂车的联接器；并向所述车辆输出转向信号以使所述车辆转向以将所述车辆的挂接球与所述主挂车的所述联接器对准。
根据一个实施例，所述控制器还输出可显示在所述车辆内的人机界面上的视频图像，所述视频图像包括：所述图像数据；以及多个图形挂车识别图像，其覆盖在与所述多辆挂车中的每一者相邻的相应位置中的所述图像数据上。
根据一个实施例，所述视频图像还包括多个图形挂车选择按钮，所述多个图形挂车选择按钮覆盖在与所述多个图形挂车识别图像的每一者相邻的相应位置中的所述图像数据上。
根据一个实施例，所述控制器从所述人机界面接收与和所述多个挂车选择按钮中的一者相关联的用户输入相对应的输入，此输入被接收为对所述主挂车的选择。
根据一个实施例，所述控制器从所述人机界面接收与所述多个挂车识别图像中的一者相对应的输入，此输入被接收为对所述主挂车的选择。
根据一个实施例，所述控制器识别所述图像数据的指定区域中的所述多辆挂车，所述指定区域小于所述图像数据的总区域。
根据一个实施例，所述图像数据的所述总区域与所述相机的总视野相对应。
根据一个实施例，所述图像数据的所述指定区域是设置在所述图像数据的中央部分内的目标区域。
根据一个实施例，所述控制器还输出可显示在所述车辆内的人机界面上的视频图像，所述视频图像包括：所述图像数据；以及所述指定区域的图形覆盖物，其以比例相关方式在所述图像数据上。
根据一个实施例，所述控制器：从所述人机界面接收与所述图像数据的在所述指定区域之外的一部分以及对所述主挂车的选择相对应的输入；并且在所述图形覆盖物中包括用于重新定位所述车辆使得指示的挂车在所述指定区域内的指令。
根据一个实施例：所述控制器将所述转向信号输出到所述车辆所包括的转向系统；并且所述控制器基于所述转向系统的至少最大转向角来推导所述转向信号。
根据本发明，提供了一种车辆，其具有：转向系统；相机，其位于所述车辆外部；以及控制器：从所述相机获取图像数据；识别所述图像数据内的多辆挂车；接收对所述多辆挂车中的主挂车的选择；并将转向信号输出到车辆转向系统以使所述车辆的挂接球与所述主挂车的联接器对准。
根据一个实施例，在接收到对所述主挂车的选择之后，所述控制器还识别所述主挂车的所述联接器。
根据一个实施例，上述发明的特征还在于所述车辆内的人机界面，其中：所述控制器还输出可显示在所述人机界面上的视频图像，所述视频图像包括：所述图像数据；以及多个图形挂车识别图像，其覆盖在与所述多辆挂车中的每一者相邻的相应位置中的所述图像数据上。
根据一个实施例，所述视频图像还包括多个图形挂车选择按钮，所述多个图形挂车选择按钮覆盖在与所述多个图形挂车识别图像的每一者相邻的相应位置中的所述图像数据上。
根据一个实施例，所述控制器从所述人机界面接收与所述多个挂车选择按钮中的一者相对应的输入，此输入被接收为对所述主挂车的选择。
根据一个实施例，所述控制器从所述人机界面接收与和所述多个挂车识别图像中的一者相关联的用户输入相对应的输入，此输入被接收为对所述主挂车的选择。
根据一个实施例，所述控制器识别所述图像数据的指定区域中的所述多辆挂车，所述指定区域小于所述图像数据的总区域。
根据一个实施例，所述图像数据的总区域与所述至少一个相机的总视野相对应。
根据本发明，提供了一种用于辅助车辆与挂车挂接的方法，所述方法具有：获取远离所述车辆后部的视野的图像数据；识别所述图像数据内的多辆挂车；接收对所述多辆挂车中的主挂车的选择；并将转向信号输出到车辆转向系统以使所述车辆的挂接球与所述主挂车的联接器对准。

Claims (14)

1.一种用于车辆的挂接辅助系统，包括：
控制器，其：
从所述车辆获取图像数据；
识别所述图像数据内的多辆挂车；
接收对所述多辆挂车中的主挂车的选择；
识别所述主挂车的联接器；
向所述车辆输出转向信号以使所述车辆转向以将所述车辆的挂接球与所述主挂车的所述联接器对准。
2.如权利要求1所述的系统，其中所述控制器还输出可显示在所述车辆内的人机界面上的视频图像，所述视频图像包括：
所述图像数据；以及
多个图形挂车识别图像，其覆盖在与所述多辆挂车中的每一者相邻的相应位置中的所述图像数据上。
3.如权利要求2所述的系统，其中所述视频图像还包括多个图形挂车选择按钮，所述多个图形挂车选择按钮覆盖在与所述多个图形挂车识别图像的每一者相邻的相应位置中的所述图像数据上。
4.如权利要求3所述的系统，其中所述控制器从所述人机界面接收与和所述多个挂车选择按钮中的一者相关联的用户输入相对应的输入，此输入被接收为对所述主挂车的选择。
5.如权利要求2所述的系统，其中所述控制器从所述人机界面接收与所述多个挂车识别图像中的一者相对应的输入，此输入被接收为对所述主挂车的选择。
6.如权利要求1所述的系统，其中所述控制器识别所述图像数据的指定区域中的所述多辆挂车，所述指定区域小于所述图像数据的总区域。
7.如权利要求6所述的系统，其中所述图像数据的所述总区域与所述相机的总视野相对应。
8.如权利要求6所述的系统，其中所述图像数据的所述指定区域是设置在所述图像数据的中央部分内的目标区域。
9.如权利要求6所述的系统，其中所述控制器还输出可显示在所述车辆内的人机界面上的视频图像，所述视频图像包括：
所述图像数据；以及
所述指定区域的图形覆盖物，其以比例相关方式在所述图像数据上。
10.如权利要求9所述的系统，其中所述控制器从所述人机界面接收与所述图像数据的在所述指定区域之外的一部分以及对所述主挂车的选择相对应的输入。
11.如权利要求10所述的系统，其中所述控制器在所述图形覆盖物中包括用于重新定位所述车辆使得指示的挂车在所述指定区域内的指令。
12.如权利要求1所述的系统，其中所述控制器将所述转向信号输出到所述车辆所包括的转向系统。
13.如权利要求12所述的系统，其中所述控制器基于所述转向系统的至少最大转向角来推导所述转向信号。
14.一种车辆，包括：
转向系统；
相机，其位于所述车辆外部；以及
如前述权利要求中任一项所述的系统，其中所述控制器：
从所述相机获取图像数据；以及
将所述转向信号输出到所述车辆转向系统。
CN201911067040.7A 2018-11-08 2019-11-04 从多辆已识别挂车中选择主挂车的自动挂接系统 Pending CN111152839A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/184,437 2018-11-08
US16/184,437 US10829152B2 (en) 2018-11-08 2018-11-08 Automated hitching system with subject trailer selection from multiple identified trailers

Publications (1)

Publication Number Publication Date
CN111152839A true CN111152839A (zh) 2020-05-15

Family

ID=70469464

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911067040.7A Pending CN111152839A (zh) 2018-11-08 2019-11-04 从多辆已识别挂车中选择主挂车的自动挂接系统

Country Status (3)

Country Link
US (2) US10829152B2 (zh)
CN (1) CN111152839A (zh)
DE (1) DE102019129831A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10829152B2 (en) 2018-11-08 2020-11-10 Ford Global Technologies, Llc Automated hitching system with subject trailer selection from multiple identified trailers
US11090991B2 (en) * 2018-12-04 2021-08-17 Ford Global Technologies, Llc Human machine interface for vehicle alignment in an acceptable hitch zone
WO2024086909A1 (pt) * 2022-10-28 2024-05-02 Instituto Hercílio Randon Sistema e método de identificação de informações de veículo de transporte de carga, e implemento rodoviário

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2513393B (en) 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US20150115571A1 (en) 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US9834140B2 (en) 2014-07-22 2017-12-05 Fca Us Llc Trailer hitch guidance method
US20160375831A1 (en) * 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view
US9696723B2 (en) 2015-06-23 2017-07-04 GM Global Technology Operations LLC Smart trailer hitch control using HMI assisted visual servoing
US10864787B2 (en) 2016-07-28 2020-12-15 Robert Bosch Gmbh Systems and methods for a human machine interface for a trailer hitch system
US11518204B2 (en) * 2018-05-01 2022-12-06 Continental Autonomous Mobility US, LLC Trailer detection and autonomous hitching
US10984553B2 (en) * 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US11148667B2 (en) * 2018-08-03 2021-10-19 Continental Automotive Systems, Inc. Automated reversing by choice of target location
US10829152B2 (en) 2018-11-08 2020-11-10 Ford Global Technologies, Llc Automated hitching system with subject trailer selection from multiple identified trailers

Also Published As

Publication number Publication date
DE102019129831A1 (de) 2020-05-14
US20200148258A1 (en) 2020-05-14
US10829152B2 (en) 2020-11-10
US20210009205A1 (en) 2021-01-14
US11753076B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
US11084345B2 (en) System to automate hitching a trailer
US11964692B2 (en) Application of auxiliary lighting in automatic hitch operation
US11208146B2 (en) Acceptable zone for automated hitching with system performance considerations
US10479152B2 (en) Compensation for trailer coupler height in automatic hitch operation
US11433944B2 (en) Automated hitching system with variable backing paths
US11772557B2 (en) Guided coaching for vehicle positioning to operate an automated hitching feature
US11753076B2 (en) Automated hitching system with subject trailer selection from multiple identified trailers
US11505247B2 (en) System and method for trailer height adjustment
CN110871652A (zh) 用于在自动挂接对准期间进行倒车制动的系统和方法
US11090990B2 (en) Trailer position, heading angle, and level measurement with smart device
US20230158845A1 (en) Hitch assistance system with interface presenting simplified path image
US20210347410A1 (en) Trailer gps location storage and recall for hitch assist operation
CN111497817A (zh) 用于车辆对准控制的系统和方法
US11155133B2 (en) System and methods for vehicle alignment control
CN111717116A (zh) 用于拖车对准的系统和方法
CN110641454A (zh) 用于以变化减少定位车辆的系统及方法
CN111267826A (zh) 用于可接受挂接区中的车辆对准的人机界面
US11279187B2 (en) Automatic alignment reattempt in automatic hitch operation
US11214105B2 (en) Saturated steering detection and operation for guided vehicle operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200515