CN111204325A - 带有呈现简化路径图像的界面的挂接辅助系统 - Google Patents

带有呈现简化路径图像的界面的挂接辅助系统 Download PDF

Info

Publication number
CN111204325A
CN111204325A CN201911126636.XA CN201911126636A CN111204325A CN 111204325 A CN111204325 A CN 111204325A CN 201911126636 A CN201911126636 A CN 201911126636A CN 111204325 A CN111204325 A CN 111204325A
Authority
CN
China
Prior art keywords
path
vehicle
simplified
hitch
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911126636.XA
Other languages
English (en)
Inventor
徐立
凯尔·西蒙斯
莎伦·布鲁克斯-莱纳特
凯瑟琳·鲁恩
罗杰·阿诺德·特朗布利
包博
赛义德·阿明·雷伊斯侯赛尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN111204325A publication Critical patent/CN111204325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B60D1/363—Hitch guiding or catching elements, e.g. V-shaped plates partially surrounding a coupling member for guiding the other coupling member
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D6/00—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits
    • B62D6/001—Arrangements for automatically controlling steering depending on driving conditions sensed and responded to, e.g. control circuits the torque NOT being among the input parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/01—Traction couplings or hitches characterised by their type
    • B60D1/06—Ball-and-socket hitches, e.g. constructional details, auxiliary devices, their arrangement on the vehicle
    • B60D1/065—Ball-and-socket hitches, e.g. constructional details, auxiliary devices, their arrangement on the vehicle characterised by the hitch mechanism
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B60D1/64—Couplings or joints therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本公开提供了“带有呈现简化路径图像的界面的挂接辅助系统”。一种车辆挂接辅助系统，包括控制器，所述控制器从车辆获取图像数据并推导车辆路径以使所述车辆的挂接球的中心与所述图像数据内的拖车联接器的中心线对准。所述控制器还输出视频图像并输出转向信号以使所述车辆沿着所述车辆路径转向，所述视频图像包括从所述挂接球到所述联接器的简化路径的表示。

Description

带有呈现简化路径图像的界面的挂接辅助系统
技术领域
本发明总体上涉及一种车辆挂接辅助系统。具体地，所述系统将简化行驶路径作为静态图像呈现给用户，其中这种图像根据预定参数进行更新。
背景技术
将拖车挂接到车辆可能是困难又耗时的体验。具体地，根据拖车相对于车辆的初始位置，将车辆挂接球与所需拖车挂接件对准可能需要与多个转向操纵协调的重复前进和倒车行驶以适当地定位车辆。此外，在适当的挂接球对准所需要的大部分行驶期间，无法看到拖车挂接件，并且在通常情况下，挂接球实际上从未被驾驶员看到。这种缺乏视线需要基于对特定车辆和拖车的经验来推断挂接球和挂接件的定位，并且可能仍然需要多次停车和走出车辆来确认对准或注意对随后的一组操纵进行适当校正的实例。更进一步地，挂接球与车辆的后保险杠的紧密性意味着任何超越都可能导致车辆与拖车的碰撞。因此，可能需要进一步的改进。
发明内容
根据本公开的一方面，一种车辆挂接辅助系统包括控制器，所述控制器从车辆获取图像数据并推导车辆路径以使所述车辆的挂接球的中心与所述图像数据内的拖车联接器的中心线对准。所述控制器还输出视频图像并输出转向信号以使所述车辆沿着所述车辆路径转向，所述视频图像包括从所述挂接球到所述联接器的简化路径的表示。
本公开的第一方面的实施例可以包括以下特征或方面中的任何一者或组合：
·所述车辆路径包括路径段集合，所述路径段定义相反方向上的相应曲率，并且所述简化路径仅包括在单个方向上具有曲率的一段；基于所述挂接球处的理论转弯半径从所述路径段集合中选择所述简化路径；
·所述简化路径被推导为当前挂接球位置与当前联接器位置之间的弧形路径；
·所述弧形路径由所述挂接球的后退轨迹定义，对于理论恒定半径，所述弧形路径以所述车辆的理论转弯中心为中心；
·所述简化路径被推导为当前挂接球位置与当前联接器位置之间的直线路径；
·由所述控制器输出的所述视频图像还包括所述图像数据的至少一部分，所述简化路径的所述表示覆盖在所述图像数据上，并且所述视频图像输出到所述车辆内的人机界面以在其上显示；
·所述控制器进一步在初始状态下推导所述简化路径，并且在至少一个后续状态下更新所述简化路径，其中所述视频图像中包括的所述简化路径的所述表示对应于最新状态；
·在所述初始状态下推导的所述简化路径是弧形路径，并且在所述至少一个后续状态下推导的所述简化路径是直线路径；
·其中所述控制器从所述车辆包括的成像系统获取所述图像数据，所述成像系统具有至少一个摄像机；并且
·所述控制器将所述转向信号输出到所述车辆包括的转向系统，并且所述控制器基于所述转向系统的至少最大转向角来推导所述转向信号。
根据本公开的另一方面，一种车辆包括转向系统和控制器。所述控制器从所述车辆获取图像数据并推导车辆路径以使所述车辆的挂接球的中心与所述图像数据内的拖车联接器的中心线对准。所述控制器还输出视频图像并输出转向信号以使所述转向系统沿着所述车辆路径转向，所述视频图像包括从所述挂接球到所述联接器的简化路径的表示。
根据本公开的另一方面，一种用于辅助车辆与拖车挂接的方法包括：从所述车辆获取图像数据；推导车辆路径以使所述车辆的挂接球的中心与所述图像数据内的拖车联接器的中心线对准；呈现视频图像，所述视频图像包括从所述挂接球到所述联接器的简化路径的表示；以及使所述车辆沿着所述车辆路径转向。
在研究以下说明书、权利要求和附图之后，本领域技术人员将理解和明白本发明的这些和其他方面、目标和特征。
附图说明
在附图中：
图1是车辆相对于拖车处于脱开位置的透视图；
图2是根据本公开的一方面的系统的示意图，所述系统用于辅助将车辆通过沿着路径移动与拖车对准在用于将拖车挂接到车辆的位置，其中向用户呈现简化路径的示意图；
图3是在与拖车的对准序列的步骤期间车辆的俯视示意图；
图4是在对准序列步骤期间从车辆摄像机接收的图像的描绘，其中简化的车辆路径覆盖在所述图像上；
图5是描绘用于确定简化路径半径的几何形状的俯视示意图；
图6是描绘简化的车辆路径的确定的俯视示意图；
图7是在与拖车的对准序列的后一步骤期间所述车辆的俯视示意图；
图8是在图6的对准序列步骤期间从车辆摄像机接收的图像的描绘；
图9是在与拖车的对准序列的后一步骤期间所述车辆的俯视示意图；
图10是在与拖车的对准序列的后一步骤期间所述车辆的俯视示意图，并且示出了车辆的挂接球在推导的对准路径结束时的位置；
图11是替代简化路径的俯视示意图；
图12是替代的多部分简化路径的俯视示意图；
图13是在对准序列步骤期间从车辆摄像机接收的图像的描绘，其中简化的车辆路径的第一部分覆盖在所述图像上；
图14是在另一对准序列步骤期间从车辆摄像机接收的后续图像的描绘，其中简化的车辆路径的第二部分覆盖在所述后续图像上；并且
图15是描绘对准序列中的步骤的流程图。
具体实施方式
出于本文描述的目的，术语“上部”、“下部”、“右”、“左”、“后”、“前”、“垂直”、“水平”、“内部”、“外部”及其衍生词将涉及图1中定向的装置。然而，应理解，除非明确地相反指出，否则所述装置可以采用各种替代定向。还应理解，附图中所示的及以下说明书中描述的具体装置和过程仅仅是所附权利要求中定义的创造性概念的示例性实施例。因此，除非权利要求另有明确说明，否则与本文公开的实施例相关的具体尺寸和其他物理特性不应被视为限制。另外，除非另外指出，否则应理解，对在给定方向上或沿着给定方向等延伸的特定特征或部件的讨论并不意味着所述特征或部件在此类方向上遵循直线或轴线，或者除非另外指出，否则它仅沿此类方向或在此类平面上延伸而没有其他方向分量或偏差。
总体上参考图1至图10，附图标记10表示用于车辆12的挂接辅助系统(也被称为“挂接辅助”系统)。系统10包括控制器26，所述控制器从车辆12获取图像数据55并且推导车辆路径32以将车辆12的挂接球34与图像数据55内的拖车联接器14对准。控制器26还输出视频图像43并输出转向信号以使车辆12沿着车辆路径32转向，所述视频图像包括从挂接球34到联接器14的简化路径86的表示。
关于如图2的系统图中所示的挂接辅助系统10的总体操作，系统10包括获得或以其他方式提供车辆状态相关信息的各种传感器和装置。该信息包括来自定位系统22的定位信息，所述定位系统可以包括航迹推算装置24，或者另外或作为替代方案，包括全球定位系统(GPS)，以基于装置在定位系统22内的一个或多个位置来确定车辆12的坐标位置。具体地，航迹推算装置24可以基于至少车速和转向角δ在局部坐标系82内建立和跟踪车辆12的坐标位置。由挂接辅助系统10接收的其他车辆信息可以包括来自速度传感器56的车辆12的速度和来自横摆率传感器58的车辆12的横摆率。可以预期，在另外的实施例中，接近传感器54或其阵列以及其他车辆传感器和装置可以提供传感器信号或其他信息，诸如拖车16(包括检测到的联接器14)的连续图像，挂接辅助系统10的控制器26可以用各种程序处理所述传感器信号或其他信息以确定联接器14的高度H和位置。
如图2中进一步所示，挂接辅助系统10的一个实施例与车辆12的转向系统20进行通信，所述转向系统可以是包括电动转向马达74的动力助力转向系统20以操作车辆12的转向轮76(图1)以使车辆12以车辆横摆随车速和转向角δ而变化的方式移动。在所示实施例中，动力助力转向系统20是电动助力转向(“EPAS”)系统，所述EPAS系统包括用于基于转向命令将转向轮76转动到转向角δ的电动转向马达74，由此转向角δ可以由动力助力转向系统20的转向角传感器78感测到。转向命令可以由挂接辅助系统10针对拖车挂接对准操纵期间的自主转向而提供，并且可以替代地经由车辆12的方向盘的旋转位置(例如，方向盘转角)手动提供。然而，在所示实施例中，车辆12的方向盘与车辆12的转向轮76机械地联接，使得方向盘与转向轮76一致地移动，从而防止在自主转向期间手动干预方向盘。更具体地，扭矩传感器80设置在动力助力转向系统20上，所述扭矩传感器感测方向盘上的扭矩，所述扭矩不是方向盘的自主控制所预期的并且因此指示手动干预，由此挂接辅助系统10可以警告驾驶员停止手动干预方向盘和/或停止自主转向。在替代实施例中，一些车辆具有动力助力转向系统20，所述动力助力转向系统允许方向盘与这种车辆的转向轮76的移动部分地脱离。
继续参考图2，动力助力转向系统20向挂接辅助系统10的控制器26提供与车辆12的转向轮76的旋转位置有关的信息，包括转向角δ。除了其他车辆12状况以外，所示实施例中的控制器26还处理当前转向角以沿着所需路径32(图3)引导车辆12。可以想到，在另外的实施例中，挂接辅助系统10可以是动力助力转向系统20的集成部件。例如，动力助力转向系统20可以包括用于根据从成像系统18、动力助力转向系统20、车辆制动器控制系统70、动力传动系统控制系统72(包括节气门73和具有挡位选择器94的变速器系统92)和其他车辆传感器和装置以及人机界面40接收的全部或部分信息来产生车辆转向信息和命令的挂接辅助算法，如下面进一步讨论的。
如图2中还示出，车辆制动器控制系统70还可以与控制器26进行通信以向挂接辅助系统10提供诸如车辆轮速的制动信息并从控制器26接收制动命令。例如，车速信息可以根据由制动控制系统70监测的单个轮速来确定。除其他可想到的手段之外，车速还可以根据动力传动系统控制系统72、速度传感器56和定位装置22来确定。在一些实施例中，单独的轮速也可以作为车辆横摆率传感器58的替代方案或补充来确定车辆横摆率
Figure BDA0002277044240000071
所述车辆横摆率可以被提供给挂接辅助系统10。挂接辅助系统10还可以向制动器控制系统70提供车辆制动信息以允许挂接辅助系统10在拖车16的后退期间控制车辆12的制动。例如，在一些实施例中，挂接辅助系统10可以在车辆12与拖车16的联接器14对准期间调节车辆12的速度，这可以减少与拖车16碰撞的可能性，并且可以使得车辆12在路径32的确定端点35处完全停止。在本文中公开的是，挂接辅助系统10可以另外或替代地发出警报信号，所述警报信号对应于与拖车16的一部分的实际、即将发生和/或预期的碰撞的通知。如图2中所示的实施例中所示，动力传动系统控制系统72还可以与挂接辅助系统10交互以在与拖车16部分或自主对准期间调节车辆12的速度和加速度。如上文所提及的，调节车辆12的速度可以有利于防止与拖车16碰撞。
另外，挂接辅助系统10可以与车辆12的人机界面(“HMI”)40进行通信。HMI 40可以包括车辆显示器44，诸如安装在中控面板上的导航或娱乐显示器(图1)。HMI 40还包括输入装置，所述输入装置可以通过将显示器44配置为具有电路46的触摸屏42的一部分来实施以接收与显示器44上的位置相对应的输入。其他形式的输入(包括一个或多个操纵杆、数字输入垫等)可以代替触摸屏42使用或作为其补充。此外，挂接辅助系统10可以经由无线通信与HMI 40的另一个实施例进行通信，诸如与包括一个或多个智能电话的一个或多个手持或便携式装置96(图1)进行通信。便携式装置96还可以包括显示器44以向用户显示一个或多个图像和其他信息。例如，便携式装置96可以在显示器44上显示拖车16的一个或多个图像，并且还能够经由触摸屏电路46接收远程用户输入。另外，便携式装置96可以提供反馈信息，诸如视觉、可听和触觉警报。
仍然参考图2中所示的实施例，控制器26被配置有微处理器60以处理存储在存储器62中的逻辑和程序，所述逻辑和程序从上述传感器和车辆系统接收信息，所述上述传感器和车辆系统包括成像系统18、动力助力转向系统20、车辆制动器控制系统70、动力传动系统控制系统72以及其他车辆传感器和装置。控制器26可以根据所接收的全部或一部分信息来产生车辆转向信息和命令。此后，可以将车辆转向信息和命令提供给动力助力转向系统20以用于影响车辆12的转向以实现与拖车16的联接器14对准的命令行驶路径32(图3)。控制器26可以包括微处理器60和/或用于处理一个或多个程序的其他模拟和/或数字电路。而且，控制器26可以包括用于存储一个或多个程序的存储器62，所述一个或多个程序包括图像处理64程序和/或挂接检测程序、路径推导程序66和操作程序68。应明白，控制器26可以是独立专用控制器，或者可以是与其他控制功能集成、诸如与车辆传感器系统、动力助力转向系统20以及其他可想到的车载或车外车辆控制系统集成的共享控制器。还应明白，图像处理程序64可以由例如在车辆12的独立成像系统内的专用处理器执行，所述独立成像系统可以将其图像处理的结果输出到车辆12的其他部件和系统(包括微处理器60)。此外，完成诸如本文所述的图像处理功能性的任何系统、计算机、处理器等可以在本文中被称为“图像处理器”，而不管它还可以实施的其他功能性(包括与执行图像处理程序64同时实施的功能性)为何。
系统10还可以包括成像系统18，所述成像系统包括一个或多个外部摄像机，在所示示例中，所述外部摄像机包括后视摄像机48、中央高位刹车灯(center high-mount stoplight，CMHSL)摄像机50以及侧视摄像机52a和52b，但是包括另外的或替代摄像机的其他布置是可能的。在一个示例中，成像系统18可以单独包括后视摄像机48，或者可以被配置为使得系统10仅利用具有多个外部摄像机的车辆中的后视摄像机48。在另一个示例中，包括在成像系统18中的各种摄像机48、50、52a、52b可以被定位成在它们相应的视野方面大致重叠，所述视野可以分别对应于后视摄像机48、中央高位刹车灯(CMHSL)摄像机50以及侧视摄像机52a和52b。通过这种方式，来自两个或更多个摄像机的图像数据55可以在图像处理程序64中或在成像系统18内的另一个专用图像处理器中组合成单个图像。在这种示例的扩展中，图像数据55可以用于推导立体图像数据，所述立体图像数据可以用于重建各个摄像机的各个视野的重叠区域内的一个或多个区域的三维场景，包括其中的任何物体(例如，障碍物或联接器14)。在一个实施例中，根据图像源之间的已知空间关系，包括同一对象的两个图像的使用可以用于确定对象相对于两个图像源的位置。在这方面，图像处理程序64可以使用已知的编程和/或功能性来识别来自成像系统18内的各种摄像机48、50、52a和52b的图像数据55内的对象。在任一示例中，图像处理程序64可以包括与存在于车辆12上或由系统10利用的任何摄像机48、50、52a和52b的定位(包括相对于车辆12的中心36(图1)的定位)有关的信息，例如使得摄像机48、50、52a和52b相对于中心36和/或彼此的位置可以用于对象定位计算并产生相对于例如车辆12的中心36或车辆12的其他特征(诸如挂接球34(图1))的对象位置数据，所述其他特征相对于中心36的位置是已知的。
图像处理程序64可以被具体编程或以其他方式配置为在图像数据55内定位联接器14。在一个示例中，图像处理程序64可以首先尝试识别图像数据55内的任何拖车16，这可以基于与系统10兼容的多种不同拖车类型、尺寸或配置的拖车中的拖车16以及一般拖车的存储的或其他已知的视觉特性来完成。当识别拖车16时，系统10可以向用户寻求确认：拖车16的识别是准确的并且是要针对其完成自动挂接操作的正确拖车。在识别拖车16之后，控制器26然后可以类似地基于联接器14或一般的联接器的存储的或以其他方式已知的视觉特性来在图像数据55中识别该拖车16的联接器14。在另一个实施例中，贴纸等形式的标记可以按照与共同转让的美国专利号9,102,271中所述的方式类似的方式在相对于联接器14的指定位置中贴附在拖车16上，所述美国专利的全部公开内容通过引用并入本文中。在这种实施例中，图像处理程序64可以被编程为识别用于图像数据55中的位置的标记的特性以及相对于这种标记定位联接器14，使得联接器14的位置28可以基于标记位置来确定。另外或替代地，控制器26可以寻求对所确定的联接器14的确认。如果未确认联接器14的确定，则可以提供进一步的图像处理，或者可以使用触摸屏42或另一个输入以允许用户在触摸屏42上移动所描绘的联接器14的位置28来促进联接器14的位置28的用户调整，控制器26使用所述位置来基于上述图像数据55的使用来调整对联接器14相对于车辆12的位置28的确定。
如图3中所示，图像处理程序64和操作程序68可以彼此结合使用以确定路径32，挂接辅助系统10可以沿着所述路径引导车辆12以将挂接球34与拖车16的联接器14对准。在诸如通过在例如触摸屏42上的用户输入发起挂接辅助系统10时，图像处理程序64可以识别图像数据55内的联接器14，并且至少尝试使用图像数据55根据上文讨论的一个示例确定到联接器14的距离Dc以及连接挂接球34和联接器14的线与车辆12的纵向轴线之间的偏移角度αc来估计联接器14相对于挂接球34的位置28。图像处理程序64还可以被配置为总体上识别拖车16，并且可以单独或结合联接器14的图像数据使用拖车16的图像数据来确定拖车16的定向或航向17。通过这种方式，可以进一步推导路径32以使车辆12相对于拖车16对准，车辆12的纵向轴线13在拖车16的航向17的预定角度范围内。显而易见的是，这种对准可能不要求车辆12的纵向轴线13与拖车16的航向17平行或共线，而是可以仅仅要求在通常允许挂接球34与联接器14连接而车辆12与拖车16之间没有碰撞的范围内，并且还可以允许使用车辆12立即控制拖车16的后退。通过这种方式，角度范围可以使得在操作程序68结束时车辆12与拖车16对准使得纵向轴线13与航向17之间的角度小于在联接时车辆12与拖车16之间的弯折角(jackknife angle)或所述弯折角的合理估计值。在一个示例中，角度范围可以使得纵向轴线13在任一方向上与航向17共线偏离在约30°以内。在收集位置信息时，然后可以根据联接器14在图像数据55的视野内的位置28使用所述位置信息以确定或估计联接器14的高度Hc。一旦用户确定并替代地确认了联接器14的定位Dc、αc，控制器26就可以控制至少车辆转向系统20以控制车辆12沿着所需路径32的移动以如下文进一步讨论的那样将车辆挂接球34与联接器14对准。
继续参考图3并另外参考图2，如上面所讨论的，控制器26在已经估计了联接器14的定位Dc、αc之后可以在一个示例中执行路径推导程序66以确定车辆路径32以将车辆挂接球34与联接器14对准。具体地，控制器26可以在存储器62中存储车辆12的各种特性，包括轴距W、从后车轴到挂接球34的距离(在本文中被称为L)，以及转向轮76可以转动的最大角度δ最大。如所示，轴距W和当前转向角δ可以用于根据以下方程确定车辆12的对应转弯半径ρ：
Figure BDA0002277044240000111
其中轴距W是固定的，并且转向角δ可以如上面所讨论通过控制器26与转向系统20进行通信来控制。通过这种方式，当已知最大转向角δ最大时，转弯半径ρ最小的最小可能值被确定为：
Figure BDA0002277044240000112
路径推导程序66可以被编程为推导车辆路径32以将车辆挂接球34的已知位置与联接器14的估计位置28对准，所述估计位置可以考虑所确定的最小转弯半径ρ最小以允许路径32使用最小空间和操纵量。通过这种方式，路径推导程序66可以确定到联接器14的横向距离和到联接器14的向后距离两者，并且推导路径32，所述路径在转向系统20的限制内实现车辆挂接球34所需的横向和向前-向后移动。对路径32的推导进一步考虑了基于长度L的挂接球34相对于车辆12的被跟踪位置的定位(所述定位可以对应于车辆12的质心36、GPS接收器的位置，或另一个指定的已知区域)以确定车辆12的所需定位以将挂接球34与联接器14对准并且近似定位参考系以便进行上文讨论的计算。应注意，挂接辅助系统10可以通过确定联接器14在垂直方向上的移动Δy(将需要所述移动Δy来将挂接球34接收在联接器14内)来补偿联接器14在行驶方向上远离车轴84的水平移动Δx。这样的功能性在共同待决的共同转让的美国专利申请号14/736,391和16/038,462中进一步讨论，所述美国专利的全部公开内容通过引用并入本文。在其他方面，路径推导程序66可以操作以在预定范围内(如上文所讨论的)实现车辆轴线13与拖车航向17的对准和/或避开由图像处理程序64检测到的任何障碍。更进一步地，由路径推导程序66推导的路径32可以通过首先包括车辆12在由转向轮76的初始位置规定的方向上的移动并且一旦发起车辆12的向后移动(如下文所讨论的)就会仅根据需要改变转向角δ来考虑转向轮76的初始位置(即，初始转向角δ)。根据该方案或类似方案的操作可以通过消除最初调整转向角δ的需要来充分利用系统以减少对驾驶员的警报。
如上文所讨论的，一旦已经确定所需路径32，就会允许控制器26利用动力传动系统控制系统72和控制车辆12的速度(向前或向后速度)的制动控制系统70(无论是由驾驶员控制还是由控制器26控制，如下文所讨论的)来至少控制车辆12的转向系统20。通过这种方式，控制器26可以从定位系统22接收关于车辆12在其移动期间的位置的数据，同时根据需要控制转向系统20以保持车辆12沿着路径32。具体地，已经基于车辆12和转向系统20的几何形状确定的路径32可以根据车辆12沿着所述路径32的位置来调整由所述路径轨道的转向角δ。另外应注意，在一个实施例中，路径32可以包括取决于被跟踪的车辆位置的转向角δ调整的进展。
如图3中所示，可以确定车辆路径32以在最小可能区域内和/或以最少操纵次数实现所需的横向和向后移动，同时替代地避开障碍物或实现车辆轴线13与拖车航向17之间的所需对准。在图3的所示示例中，路径32可以包括由车轮76在不同方向上的转向定义的三个部分33以共同地横穿车辆12的所需横向移动以使挂接球34与联接器14对准。应注意，可以使用所描绘的路径32中的变化。应进一步注意，对联接器14的定位Dc、αc的估计值可以在车辆12横穿路径32时(包括将车辆12定位在拖车16的前面)以及在车辆12接近联接器14时变得更准确。因此，此类估计值可以被连续地推导并且用于在确定路径32的调整后端点35时根据需要更新路径推导程序66，如上文所讨论的。通过类似方式，一旦图像处理程序64可以识别图像数据55中的联接器14，就可以对使用从智能电话96获取的位置和定向数据推导的路径32进行微调，其中对路径32的持续更新随着图像数据55在接近拖车16期间变得越来越清晰而类似地推导。应进一步注意，在可以做出这种确定之前，航迹推算装置24可以用于跟踪车辆12在其沿着路径32朝向初始推导的端点35的移动时的位置。
在一方面，可能期望与驾驶员进行如下通信：系统10已经识别拖车16的联接器14，并且路径推导程序66已经成功完成，在推导路径结束时包括对路径的大致方向和挂接球34的最终位置的指示。如下面进一步讨论的，当车辆12横穿路径32时，也可能期望为用户提供某种水平的视觉跟踪。如图3中所示，可以使用与车辆12内的车辆人机界面(“HMI”)40相关联的显示器44进行这种通信。在一方面，系统10可以被编程或以其他方式配置为输出路径的图形表示作为在HMI 40上呈现的视频图像43上的覆盖物，所述视频图像包括图像数据55，其中路径图像与摄像机48的已知视野和图像特性相关以例如基于图像数据55以视频图像43的一部分的角度放置路径图像，使得路径图像表现为从挂接球34的后方延伸到联接器14的位置。通过这种方式，系统10以动态方式投影反映实际路径32(包括具有不同特性的多个部分33的路径32)的路径图像的能力可以取决于系统10的配置和处理能力。具体地，动态显示复杂路径32并将车辆12沿着实际路径32的移动与显示的路径准确相关的能力可能要求系统10包括专用图形处理单元(“GPU”)或系统10原本可能未包括或无需结合所述系统的其他处理能力。此外，这种能力和相关硬件可能会增加系统10的总体功耗，这可能对本车辆12的燃料消耗产生非所需的负面影响。包括这种硬件或其他系统功能和/或由于这样的路径显示功能而导致的效率降低可能超过在HMI 40上显示复杂动态路径所带来的好处。通过这种方式，系统10可以替代地被配置为以静态图像的形式在HMI上显示简化路径86，所述简化路径可以可接受间隔进行更新。
如图3和图4中所示，简化路径86可以是从挂接球35延伸到联接器14的单个弧形段。在一方面，简化路径86可以表示将挂接球35与联接器14对准的可能实际路径，因为简化路径86可以将挂接球35的已知位置与联接器14的检测位置连接。参考图5，可以如下确定弧形段的理论半径r路径：
Figure BDA0002277044240000141
其中：
Figure BDA0002277044240000142
(xcp,ycp)表示联接器14的检测位置。
通过这种方式，如果系统10要使车辆12沿着与简化路径86相对应的路径32导航，则简化路径86可以呈现在显示器40上并且随着其位置随车辆12的移动变化而仅在长度上进行调整以跟踪图像43内的联接器14。然而，在这样的实施方式中，有益的是不动态地(即，实时地)更新对简化路径86的描绘，而是在一定的时间间隔内维持对简化路径86的静态描述并且仅周期性地更新对简化路径86的描绘，这样做可以节省计算能力并降低系统10的要求和/或系统10和相关车辆12的功耗。
当呈现对简化路径86的静态覆盖描绘时，系统10可以被编程或以其他方式配置为基于挂接球联接器关系的状态变化来确定应何时更新所述描绘。在一方面，可以通过相对于当前描绘的路径的半径监测路径的理论半径来规定这种更新。在另一方面，可以在系统10的控制下在车辆12后退期间以规则的时间间隔进行这种更新。在另一方面，可以通过监测联接器14在所描绘的图像43中相对于当前所描绘的简化路径86的端点87的位置来指示对简化路径86的描绘的更新。如图4中所示，当特定描绘被确定和显示并且可以被描绘为围绕检测到的联接器14的圆圈时，端点35可以对应于联接器14的初始位置。如所示，端点87处的圆圈可以比联接器14稍大使得建立一定水平的视觉公差。在这方面，当确定联接器14已经移出端点87处的圆圈之外(或在围绕远端的附加缓冲区域之外)时，可以更新对简化路径86的描述。在一些方面，这样的公差可以对应于车辆12沿着地平面30行进1至3英尺之间，并且取决于车辆的速度，这可以花费一秒钟至三秒钟。可以调整端点87处所描绘圆圈的大小及其周围的任何公差区或缓冲区，以相应地调整近似时间间隔以更新简化路径86的静态覆盖。
在一种实施方式中，简化路径86可以由存储在可由微处理器60访问的存储器62中的算法来确定。所述算法可以操作以根据可调标准来确定何时需要简化路径86的静态覆盖描绘，并且可以在确定要显示或更新静态覆盖描绘时产生此类描绘。所述算法可以基于用于自主操纵的实际规划的车辆路径32来确定何时显示每个覆盖物，包括在执行操作程序68期间车辆12沿着路径32后退时提前或实时地显示。覆盖物可以基于在数学上推导的简化路径86，所述简化路径通常将车辆12的规划路径32的各方面传达给用户。
如图5和图6中所示，简化路径86的弧形路径可以由以下方程定义，其中x和y是归一化路径上的点：
x＝-xccos(-α)+ycsin(-α)+xc (5)
y＝-xcsin(-α)-yccos(-α)+yc， (6)
其中：
xc,yc是表示针对联接器14的给定位置的转弯中心的坐标；
ρ表示后车桥的中心与检测到的联接器14的位置(xcp,ycp)的转弯中心之间的距离(如上文关于图3所讨论的)；
L表示后车轴的中心与沿着车辆的中心线定义并且与挂接球34坐标(0,0)重合的点(POn)之间的距离；并且
α表示挂接球34(POn)与简化路径86上的任何点(POn+1)之间关于转弯中心(xc,yc)的角度。
因此，通过将α以预定间隔(即，2°)从0°增加到预定角度(即，60°)，可以使用方程(5)和(6)来产生多个点以表示简化路径86。
通过这种方式，使用以挂接球34为中心且其x轴与车辆12的纵向轴线13对准的参考系，左转的转弯中心可以被描述为xc＝-L且yc＝-ρ，而右转的转弯中心可以被描述为xc＝-L且yc＝ρ。如图5和图6中进一步所示，简化路径86表示车辆12的挂接球34所要横穿的路径。显而易见的是，影响转弯中心针对所确定的转向角的定位的长度L以及轴距W可基于各种车辆参数来配置，并且可以存储在存储器62中。使用方程(5)和(6)，具有不同转弯半径因此具有不同转弯中心(xc,yc)的弧线集合被存储在存储器中。在挂接操纵期间，依据拖车联接器位置(xcp,ycp)和使用方程(3)计算的转弯半径r路径，半径最接近r路径的所存储的弧线将作为简化路径86被检索。
返回到图3的示例，在描绘代替包括沿不同方向的多段33(包括未直接朝向联接器14延伸的此类段33)的实际路径32的简化路径86时使用上述方案可能导致在车辆12沿着路径32后退期间以特定位置中的联接器14确定的简化路径86变得与联接器14不对准。如上文所讨论的，在这种后退期间，所描绘的简化路径86的端圆87将会远离图像43中与联接器14相对应的位置移动。另外，在与图3中描绘的情况下类似的情况下，简化路径86也将横向移动远离与联接器14对准的位置。通过这种方式，确定简化路径86的几何形状的算法的部分的后续迭代可能会导致根据联接器14与车辆12的相对位置的变化以及在随后确定用于确定后续静态简化路径86的转弯中心(xc,yc)时使用的理论转弯半径而产生不同的弧线。
图6的示意图示出了例如在自主操纵期间车辆的位置n+1和n+2的不同简化路径投影，例如，所述位置对应于车辆12相对于联接器14的位置，其比在n+1处更远离联接器使得与n+1相对应的简化路径86可以被呈现为视频图像43的覆盖物，直到系统10确定简化路径86不再是针对给定定位的足够准确简化(例如，ROn+2与ROn+1之间的差值超过某个余量)，于是与n+2相对应的简化路径86可以代替先前的简化路径图像86。可以根据需要进行这种简化路径86呈现和刷新，直到挂接球34与联接器14对准。如图4中可以看出，例如，可以使用来自摄像机48的图像数据55，将根据上述算法推导的简化路径86呈现为静止图像，所述静止图像覆盖在呈现于HMI 40上的图像43上。通过这种方式，简化路径86的几何形状可以被转换成其图像，所述图像与特定图像43相对应或者在视觉上表现为在特定图像内就位。通过这种方式，系统10内的算法可以将简化路径86的弧形路径几何形状映射到二维图像43中呈现的三维空间中。即，来自图5和图6的坐标系(简化路径86位于所述坐标系中)被映射到图像43的透视图中，这可以基于摄像机48的已知特性以及应用于图像数据55以在屏幕42上呈现它的任何操纵。此类特性可以包括摄像机48的焦距和视野，其中在将图像呈现在屏幕42上时执行任何透视校正和/或裁剪。此外，可以将映射的坐标放置在图像43中，使得所描绘的平面在视觉上与挂接球34的高度重合，并且使得原点POn在视觉上与挂接球34对准。通过这种方式，简化路径86的视觉覆盖物描绘将以在适当视角下延伸到联接器14的大致位置的弧度从图像43内的挂接球34的描绘向后延伸，所述联接器可以定位在端点圆圈87之内或附近。
现在转向图7至图10，一旦已经识别了拖车16和联接器14，并且系统10确定路径32以将挂接球34与联接器14对准(其中初始简化路径86被确定并呈现在屏幕42的图像43中)，操作程序68就可以继续引导车辆12将挂接球34相对于联接器14朝向所需位置38d移动，以在联接器14下降成与挂接球34成水平对准时使联接器14与挂接球接合。在上面讨论的示例中，图像处理程序64在操作程序68的执行期间继续不断地或者一旦获得便监测联接器14的定位Dc、αc，其中车辆12如图7中所示沿着路径32继续移动。如上文所讨论的，随着系统10延迟预定时间或距离间隔，或者在另一个示例中，确定车辆12的移动已将联接器14(包括相对于所描绘的端点圆圈87)放置在简化路径86的视觉可接受接近度之外，可以更新或者以其他方式重新计算简化路径86。如图7和图8中所示，这样的更新可能导致以不同特性(包括半径、弧长等)推导不同的简化路径86，所述特性可以用简化路径86的新图像代替先前图像(例如，来自图4的图像)，所述新图像类似地从挂接球34延伸到呈现在屏幕42上的图像43中的联接器14的可接受范围内，如图8中所示。如系统10根据用于简化路径86重新计算的标准所要求的，该过程可以随着车辆12如图9中所示更靠近拖车16时进行重复，例如直到车辆12到达所需位置，在所述所需位置中，挂接球34与联接器14对准，如图10中所示。
如图11至图14中所示，根据上述原理的简化路径86可以被确定并以替代形式来表示。在图11中所示的一方面，简化路径86可以被描绘为从挂接球34延伸到联接器14的直线，其中系统10以与图4和图8中所示的方式类似的方式在HMI 40上提供直线简化路径86的覆盖物。通过这种方式，可以通过与挂接球34在图像43内的定位和来自摄像机(例如，后视摄像机48)的视野(从中获得图像数据55)相关的方式预先产生或以其他方式预先创建多个直线简化路径86图像。所存储的简化路径86图像可以通过一系列这样的位置与车辆12相对于联接器14和/或拖车16的增量位置相对应。例如，如上文所讨论的，车辆12在接近拖车16时的实际路径32受到最小转弯半径ρ最小的限制，因为它通过上面的方程(2)与车辆12的最大转向角δ最大有关。通过这种方式，车辆12的纵向轴线13与联接器14之间的可能联接器角度αc的范围的极限由以下方程定义：
Figure BDA0002277044240000191
通常，可能联接器角度αc的范围可以距车辆12的纵向轴线13在约15°(沿任一方向)的范围内。因此，在方程(7)确定的整个范围内，可以针对每个度数(即，以1°的增量)存储相关直线图像集合。另外，可以针对可接受联接器距离Dc的给定增量(例如，从1'到5')存储多个这样的集合，系统10可以针对所述可接受联接器距离Dc定位联接器14和并使车辆12后退以使挂接球34与联接器14对准。利用存储在存储器82中的图形直线简化路径86的此类集合/子集，系统10可以导致呈现此类图像中的一个适当图像，以覆盖在HMI 40上针对检测到的联接器14位置Dc、αc所呈现的图像43上，并且在操作程序68的操作期间跟踪联接器14及其位置Dc、αc时可以根据需要改变覆盖图像。
转向图12至图14，示出了可以在图像43上以图形方式呈现的替代后退路径86的另一个示例。在图11的示例中，当给定转向角δ处于给定车辆12的最大转向角δ最大时，后退路径86最初以围绕转弯中心xc,yc定义的弧线86a的形式呈现，所述转弯中心对应于使用上文讨论的方程(5)和(6)确定的转弯中心。对于这样的转向角δ最大，使用方程(2)确定的半径ρ将再次是车辆12的最小半径ρ最小，并且导致简化路径86具有由以下方程定义的半径r路径：
Figure BDA0002277044240000192
如所示，用于简化后退路径86的最初呈现的弧线并未延伸挂接球35与联接器14之间的整个距离Dc，而是延伸了角度α最大，所述角度对应于沿着弧形简化路径86的距离，车辆12必须横穿所述距离以使车辆12对准以便朝向联接器14直线后退。如图12中所示，该角度α最大由以下方程定义：
Figure BDA0002277044240000201
其中在联接器14位置定义了坐标(xcp,ycp)。
如图14中所示，弧形简化路径86a可以基于联接器14相对于车辆12的初始位置Dc、αc来确定，并且以与上述方式类似的方式被呈现为HMI 40上的弧形简化路径86的相关图形覆盖物。类似于关于图11所讨论的路径86的变型，可以在存储器62中存储与车辆12的最大转向角δ最大相对应的具有不同长度的弧形路径86以便根据需要呈现在HMI 42上，所述长度在此类弧形路径86的可用距离Dc范围内。在一个示例中，在最初被确定或选择为与确定的角度α最大相对应并在点87a处结束之后，路径86a的长度可以根据与HMI 40上呈现的图像43的相关性以例如每0.2米等的增量来减小，直到车辆12已经旋转(无论是否直接旋转，因为实际路径32可能与简化路径86a不同)角度α最大或者横穿的距离大致等于如最初确定的弧形简化路径86a的长度。因此，可以在存储器62中存储与在上文确定的半径r路径处的此类长度增量相对应的路径图像以便呈现在HMI 40上。
同样如图11中所示，一旦车辆12'处于车辆12的纵向轴线13对准在相对于联接器14的倾斜位置的预定阈值(例如，约5°以内)的位置中，简化路径86就可以过渡到直线简化路径部分86b，所述直线简化路径部分可以从挂接球34'向后延伸到联接器14的大致区域。以与弧形简化路径部分86a类似的方式，直线简化路径部分86b可以如图13中所示通过与图像43相关的方式呈现在HMI 40上，并且可以例如以车辆12朝向联接器14每横穿0.2米便减小所描绘的长度一次。在一个示例中，当挂接球34在距联接器14为1米等以内时，可以从图像43中删除简化路径图像86b。
现在转向图15，示出了示出使用挂接辅助系统10以将车辆挂接球34与拖车联接器14对准的一种操作方案200中的步骤的流程图。具体地，在步骤202中，发起挂接辅助系统10。一旦发起202挂接辅助系统10，控制器26就可以使用成像系统18来使用任何或所有摄像机48、50、52a、52b扫描可见场景(步骤204)。场景扫描(步骤204)可以用于随后识别206拖车16和联接器14，这可以由用户确认。如果可以在图像数据55中识别联接器14(步骤208)，则可以如上面所讨论的那样使用可用图像数据55(包括使用图像处理程序64)来确定在步骤206中识别的联接器14的高度Hc距离、Dc和偏移角度αc(步骤206)。如上面所讨论的，图像处理程序64可以被编程或者以其他方式配置为识别图像数据55内的拖车16的联接器14(步骤206)。通过这种方式，在分析初始场景扫描(步骤204)的结果之后，控制器26可以确定用户是否(诸如通过HMI 40)确认了联接器14。如果未识别联接器14或者如果已经拒绝所确定的联接器14，则可以继续场景扫描(步骤204)，包括同时指示驾驶员移动车辆12以便与拖车16更好地对准(包括通过定位拖车16和/或联接器14直到识别出联接器14)。
当已经识别并确认了联接器14时，路径推导程序66可以用于在步骤210中确定车辆路径32以将挂接球34与联接器14对准。通过这种方式，从图像数据55中提取联接器14的定位Dh、αh并将其用于将联接器14放置在将图像坐标与车辆12周围区域的实物坐标相关的所存储数据内。在这样做之后，控制器26使用路径推导程序66以确定路径32以将挂接球34与联接器14的投影位置28对准到挂接球34上方的接合位置，如上文关于图1至图9所描述的。一旦已经推导了实际规划路径32，路径推导程序66也可以推导简化路径86(步骤212)，并将简化路径呈现在显示器42上(步骤214)，如上面关于图3至图6、图13和图14所讨论的，或者基于以上描述将以其他方式所理解的。
一旦已经推导出路径32和简化路径86，挂接辅助系统10就可以要求用户U放弃控制车辆12的至少方向盘(以及替代地，在上述挂接辅助系统10的实施方式中放弃控制节气门73和制动器，其中控制器26在操作程序68的执行期间控制动力传动系统控制系统72和制动控制系统70)。当(例如，使用如上文所讨论的扭矩传感器80)已经确认用户U并未试图控制转向系统20时，控制器26开始使车辆12沿着确定的路径32移动。然后，挂接辅助系统10控制转向系统20(步骤216)以随着用户U或控制器26使用动力传动系统控制系统72和制动控制系统70控制车辆12的速度而保持车辆12沿着路径32。如上文所讨论的，控制器26可以至少控制转向系统20同时跟踪联接器14的位置Dc、αc以使车辆12后退，并且可以继续进行这种后退直到确定已经到达所需位置(步骤218)。当车辆12在系统10的控制下倒车时，可以将联接器14的被跟踪位置与在步骤212中推导的简化路径86进行比较，以确定联接器14是否在简化路径86的可接受范围(包括其端圆87)内(步骤220)。如果联接器14仍在简化路径86的所需范围内，则系统10继续沿着路径32导航车辆12(步骤216)。如果联接器14不在简化路径86的所需范围内，则可以产生新的简化路径(步骤212)并将其呈现在屏幕42上的图像43上(步骤214)。如上文所讨论的，可以通过类似方法使用时间或距离间隔代替所描述的范围监测。
当车辆12到达某个位置(如步骤220中所确定的)时，车辆12的挂接球34到达所需位置38d以便与联接器14进行所需对准，此时，操作程序68可以通过控制制动系统70以使车辆12停止(这可以随着车辆12接近这一点而逐步完成)或者通过在停用挂接辅助系统10(步骤222)之前向用户发出车辆12停止的命令(这也可以随着车辆12接近所需位置而逐步完成或者通过倒计时完成)而结束(步骤222)。然后，在系统10保持怠速时车辆12可以正常行驶，直到接收到重新激活输入(步骤224)，此时上述方法在扫描步骤204处重新开始。
应理解，可以在不脱离本发明的概念的情况下对前述结构做出变动和修改，并且还应理解，除非随附权利要求用其语言明确表明另外的情况，否则这些概念意图由这些权利要求涵盖。
根据本发明，提供了一种车辆挂接辅助系统，所述系统具有控制器，所述控制器：从所述车辆获取图像数据；推导车辆路径以使所述车辆的挂接球与所述图像数据内的拖车联接器对准；输出视频图像，所述视频图像包括从所述挂接球到所述联接器的简化路径的表示；并且输出转向信号以使所述车辆沿着所述车辆路径转向。
根据一个实施例，所述车辆路径包括路径段集合，所述路径段定义相反方向上的相应曲率；并且所述简化路径仅包括在单个方向上具有曲率的一段；从所述路径段集合中选择所述简化路径，所述简化路径接近所述挂接球处的理论转弯半径。
根据一个实施例，所述简化路径被推导为当前挂接球位置与当前联接器位置之间的弧形路径。
根据一个实施例，所述弧形路径由所述挂接球在理论恒定半径转弯处的后退轨迹定义；并且对于所述理论恒定半径，以所述车辆的理论转弯中心为中心。
根据一个实施例，所述简化路径被推导为当前挂接球位置与当前联接器位置之间的直线路径。
根据一个实施例，由所述控制器输出的所述视频图像还包括所述图像数据的至少一部分，所述简化路径的所述表示覆盖在所述图像数据上；并且所述视频图像输出到所述车辆内的人机界面以在其上显示。
根据一个实施例，所述控制器进一步在初始状态下推导所述简化路径；并且在至少一个后续状态下更新所述简化路径；并且所述视频图像中包括的所述简化路径的所述表示对应于最新状态。
根据一个实施例，在所述初始状态下推导的所述简化路径是弧形路径；并且在所述至少一个后续状态下推导的所述简化路径是直线路径。
根据一个实施例，所述控制器从所述车辆包括的成像系统获取所述图像数据，所述成像系统具有至少一个摄像机。
根据一个实施例，所述控制器将所述转向信号输出到所述车辆包括的转向系统；并且所述控制器基于所述转向系统的至少最大转向角来推导所述转向信号。
根据本发明，提供了一种车辆，所述车辆具有转向系统；以及控制器挂，所述控制器：从所述车辆获取图像数据；推导车辆路径以使所述车辆的挂接球与所述图像数据内的拖车联接器对准；输出视频图像，所述视频图像包括从所述挂接球到所述联接器的简化路径的表示；并且输出转向信号以使所述转向系统沿着所述车辆路径转向。
根据一个实施例，所述车辆路径包括路径段集合，所述路径段定义相反方向上的相应曲率；并且所述简化路径仅包括在单个方向上具有曲率的一段；从所述路径段集合中选择所述简化路径，所述简化路径接近所述挂接球处的理论转弯半径。
根据一个实施例，所述简化路径被推导为当前挂接球位置与当前联接器位置之间的弧形路径；并且所述弧形路径：由所述挂接球在理论恒定半径转弯处的后退轨迹定义；并且对于所述理论恒定半径，以所述车辆的理论转弯中心为中心。
根据一个实施例，上述发明的特征还在于人机界面，其中由所述控制器输出的所述视频图像还包括所述图像数据的至少一部分，所述简化路径的所述表示覆盖在所述图像数据上；并且所述视频图像输出到所述车辆内的所述人机界面以在其上显示。
根据一个实施例，上述发明的特征还在于在初始状态下推导所述简化路径；并且在至少一个后续状态下更新所述简化路径，其中所述视频图像中包括的所述简化路径的所述表示对应于最新状态。
根据一个实施例，上述发明的特征还在于包括至少一个外部摄像机的成像系统，其中所述控制器从所述车辆包括的成像系统获取所述图像数据，所述成像系统具有至少一个摄像机。
根据本发明，一种用于辅助车辆与拖车挂接的方法包括：从所述车辆获取图像数据；推导车辆路径以使所述车辆的挂接球与所述图像数据内的拖车联接器对准；呈现视频图像，所述视频图像包括从所述挂接球到所述联接器的简化路径的表示；以及使所述车辆沿着所述车辆路径转向。
根据一个实施例，所述车辆路径包括路径段集合，所述路径段定义相反方向上的相应曲率；并且所述简化路径仅包括在单个方向上具有曲率的一段；从所述路径段集合中选择所述简化路径，所述简化路径接近所述挂接球处的理论转弯半径。
根据一个实施例，所述简化路径被推导为当前挂接球位置与当前联接器位置之间的弧形路径；并且所述弧形路径：由所述挂接球在理论恒定半径转弯处的后退轨迹定义；并且对于所述理论恒定半径，以所述车辆的理论转弯中心为中心。
根据一个实施例，上述发明的特征还在于在初始状态下推导所述简化路径；并且在至少一个后续状态下更新所述简化路径，其中所述视频图像中包括的所述简化路径的所述表示对应于最新状态。

Claims (15)

1.一种车辆挂接辅助系统，其包括：
控制器，所述控制器：
从所述车辆获取图像数据；
推导车辆路径以使所述车辆的挂接球与所述图像数据内的拖车联接器对准；
输出视频图像，所述视频图像包括从所述挂接球到所述联接器的简化路径的表示；并且
输出转向信号以使所述车辆沿着所述车辆路径转向。
2.如权利要求1所述的系统，其中所述车辆路径包括路径段集合，所述路径段定义相反方向上的相应曲率。
3.如权利要求2所述的系统，其中所述简化路径仅包括在单个方向上具有曲率的一段。
4.如权利要求3所述的系统，其中从所述路径段集合中选择所述简化路径，所述简化路径接近所述挂接球处的理论转弯半径。
5.如权利要求1所述的系统，其中所述简化路径被推导为当前挂接球位置与当前联接器位置之间的弧形路径。
6.如权利要求5所述的系统，其中所述弧形路径由所述挂接球在理论恒定半径转弯处的后退轨迹定义。
7.如权利要求6所述的系统，其中对于所述理论恒定半径，所述弧形路径以所述车辆的理论转弯中心为中心。
8.如权利要求1所述的系统，其中所述简化路径被推导为当前挂接球位置与当前联接器位置之间的直线路径。
9.如权利要求1所述的系统，其中：
由所述控制器输出的所述视频图像还包括所述图像数据的至少一部分，所述简化路径的所述表示覆盖在所述图像数据上；并且
所述视频图像输出到所述车辆内的人机界面以在其上显示。
10.如权利要求1所述的系统，其中：
所述控制器进一步：
在初始状态下推导所述简化路径；并且
在至少一个后续状态下更新所述简化路径；并且
所述视频图像中包括的所述简化路径的所述表示对应于最新状态。
11.如权利要求10所述的系统，其中在所述初始状态下推导的所述简化路径是弧形路径。
12.如权利要求11所述的系统，其中在所述至少一个后续状态下推导的所述简化路径是直线路径。
13.如权利要求1所述的系统，其中所述控制器从所述车辆包括的成像系统获取所述图像数据，所述成像系统具有至少一个摄像机。
14.如权利要求1所述的系统，其中：
所述控制器将所述转向信号输出到所述车辆包括的转向系统；并且
所述控制器基于所述转向系统的至少最大转向角来推导所述转向信号。
15.一种车辆，其包括：
转向系统；以及
如前述权利要求中任一项所述的系统，其中：
所述控制器将所述转向信号输出到所述转向系统以沿着所述车辆路径转向。
CN201911126636.XA 2018-11-20 2019-11-18 带有呈现简化路径图像的界面的挂接辅助系统 Pending CN111204325A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/196,487 2018-11-20
US16/196,487 US11590815B2 (en) 2018-11-20 2018-11-20 Hitch assistance system with interface presenting simplified path image

Publications (1)

Publication Number Publication Date
CN111204325A true CN111204325A (zh) 2020-05-29

Family

ID=70471203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911126636.XA Pending CN111204325A (zh) 2018-11-20 2019-11-18 带有呈现简化路径图像的界面的挂接辅助系统

Country Status (3)

Country Link
US (2) US11590815B2 (zh)
CN (1) CN111204325A (zh)
DE (1) DE102019131259A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112356626A (zh) * 2020-12-04 2021-02-12 顺为智能科技(常州)有限公司 用于自动驾驶牵引车与拖斗自动对接的方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11090991B2 (en) * 2018-12-04 2021-08-17 Ford Global Technologies, Llc Human machine interface for vehicle alignment in an acceptable hitch zone

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5471393A (en) 1994-01-26 1995-11-28 Bolger; Joe Driver's associate: a system for vehicle navigation and driving assistance
DE102004043761A1 (de) 2004-09-10 2006-03-16 Daimlerchrysler Ag Verfahren und Vorrichtung zum Überwachen einer Anhängerkupplung
US8126642B2 (en) 2008-10-24 2012-02-28 Gray & Company, Inc. Control and systems for autonomously driven vehicles
US9102271B2 (en) 2011-04-19 2015-08-11 Ford Global Technologies, Llc Trailer monitoring system and method
DE102012001380A1 (de) 2012-01-24 2012-08-02 Daimler Ag Assistenzverfahren und Fahrerassistenzsystem für ein Ankuppelmanöver eines Kraftfahrzeugs
US11179981B2 (en) * 2012-07-05 2021-11-23 Uusi, Llc Vehicle trailer connect system
US20150115571A1 (en) 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US20180208241A1 (en) * 2014-07-03 2018-07-26 Daniel Robert Shepard Portable Trailer Guidance System
US9834140B2 (en) * 2014-07-22 2017-12-05 Fca Us Llc Trailer hitch guidance method
US10150506B2 (en) * 2016-04-28 2018-12-11 Ford Global Technologies, Llc Trailer backup assist input with two-stage spring rate
JP7000822B2 (ja) * 2017-12-06 2022-01-19 株式会社アイシン 周辺監視装置
US10479404B2 (en) * 2018-03-13 2019-11-19 Toyota Motor Engineering & Manufacturing North America, Inc. Backup system for a vehicle with a trailer hitch

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112356626A (zh) * 2020-12-04 2021-02-12 顺为智能科技(常州)有限公司 用于自动驾驶牵引车与拖斗自动对接的方法

Also Published As

Publication number Publication date
US20230158845A1 (en) 2023-05-25
US20200156425A1 (en) 2020-05-21
US11590815B2 (en) 2023-02-28
DE102019131259A1 (de) 2020-05-20

Similar Documents

Publication Publication Date Title
US10384609B2 (en) Vehicle rear object proximity system using multiple cameras
US11208146B2 (en) Acceptable zone for automated hitching with system performance considerations
US11964692B2 (en) Application of auxiliary lighting in automatic hitch operation
US11427199B2 (en) System for aligning a vehicle hitch location identifier with a trailer coupler
US10962980B2 (en) System and methods for reverse braking during automated hitch alignment
US11772557B2 (en) Guided coaching for vehicle positioning to operate an automated hitching feature
US10479152B2 (en) Compensation for trailer coupler height in automatic hitch operation
US11180148B2 (en) Detection and response to confined trailer in system-assisted hitch operation
US20230158845A1 (en) Hitch assistance system with interface presenting simplified path image
US20210347410A1 (en) Trailer gps location storage and recall for hitch assist operation
US11505247B2 (en) System and method for trailer height adjustment
US11090990B2 (en) Trailer position, heading angle, and level measurement with smart device
US11753076B2 (en) Automated hitching system with subject trailer selection from multiple identified trailers
CN111055832A (zh) 挂接辅助系统
CN111605373A (zh) 具有转向获取和切换的自动挂接系统
US11155133B2 (en) System and methods for vehicle alignment control
CN110871837A (zh) 用于在辅助车辆操作中进行转向控制的系统和方法
CN110641454A (zh) 用于以变化减少定位车辆的系统及方法
US11279187B2 (en) Automatic alignment reattempt in automatic hitch operation
CN111267826A (zh) 用于可接受挂接区中的车辆对准的人机界面
CN113386508A (zh) 利用接触减少措施的挂车挂接辅助系统
CN110641455A (zh) 用于拖车高度调整的系统及方法
US11214105B2 (en) Saturated steering detection and operation for guided vehicle operation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200529

WD01 Invention patent application deemed withdrawn after publication