CN106274685B - 牵引车辆联接牵引球与拖车挂钩自主对准方法 - Google Patents

牵引车辆联接牵引球与拖车挂钩自主对准方法 Download PDF

Info

Publication number
CN106274685B
CN106274685B CN201610423323.0A CN201610423323A CN106274685B CN 106274685 B CN106274685 B CN 106274685B CN 201610423323 A CN201610423323 A CN 201610423323A CN 106274685 B CN106274685 B CN 106274685B
Authority
CN
China
Prior art keywords
vehicle
target
image
ball
hitch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610423323.0A
Other languages
English (en)
Other versions
CN106274685A (zh
Inventor
S·曾
W·佟
J·王
W·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN106274685A publication Critical patent/CN106274685A/zh
Application granted granted Critical
Publication of CN106274685B publication Critical patent/CN106274685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/26—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for remote control, e.g. for releasing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/14—Trailers, e.g. full trailers, caravans
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/18—Steering angle

Abstract

一种通过人机界面(HMI)辅助可视伺服过程将牵引车辆上的牵引联接球和拖车上的拖车挂钩自主地对准的方法。该方法包括后视相机提供后视图像。该方法包括触摸显示器上的牵引球以在图像中登记该牵引球的位置，以及触摸显示器上的挂钩以登记牵引球将与该挂钩适当对准的目标位置。该方法提供了围绕图像上的目标的模板图案并且自主地移动车辆，使得牵引球朝向目标移动。该方法预测当车辆移动时目标的新位置且通过将先前的模板图案与围绕预测位置的图像块进行比较来识别当车辆移动时在新图像中的目标。

Description

牵引车辆联接牵引球与拖车挂钩自主对准方法
发明背景
技术领域
本发明总体上涉及一种用于对准牵引联接球和拖车挂钩的系统和方法，更具体地说，涉及一种通过人机界面(HMI)辅助的可视伺服过程来对牵引车辆上的牵引联接球与拖车上的拖车挂钩进行自主对准的系统和方法。
相关技术讨论
一些车辆配备有牵引联接装置，所述牵引联接装置允许拖车或其它拖曳车与车辆连接，使得牵引车辆能够牵引拖车。通常，拖车联接装置安装在临近车辆的后保险杠的牵引车辆的后部支承结构，包括具有特定直径的牵引联接球。拖曳车通常包括拖车挂钩，所述拖车挂钩从拖曳车的前端伸出。拖车挂钩一般包括放置联接球的杯子以将联接装置连接到拖车挂钩上。杯内的紧固机构，例如金属薄板，当其被插入杯内以将挂钩牢固地保持在联接装置上时，选择性地置于联接球周围。
当拖曳车脱离牵引车辆时，拖车挂钩通常支撑在高度可调的支撑架上，从而杯位于地面上比联接装置的球更高的位置上。当牵引车辆的操作员将挂钩附接到联接装置时，他将牵引车辆倒退到联接球刚好位于杯的下方的位置。一旦在这个位置，通过降低支撑架，挂钩被下放到联接球上。
一般，当倒退牵引车辆以将拖曳车连接到牵引车辆时，车辆操作员需要大量的经验和技能以将联接球精准地置于挂钩杯下。不考虑操作员的技能和经验，精准地将联接球置于适当位置几乎是不可能的。因此，操作员一般必须使用拖车挂钩手动移动拖曳车向右、向左、向前或向后，以提供精准校准。由于拖曳车可能很大、很沉，移动起来十分笨重，所以这有时是难以处理的工作。
现代车辆通常包括一个或多个相机提供倒车辅助，提供车辆正在行驶时道路的图像以避免碰撞，提供结构识别，例如道路标志等。辅助车辆倒车的相机系统通常使用叠加或重叠在相机图像上的可视覆盖图形以提供车辆倒车转向导航。对于图形在相机图像上重叠的那些应用，精准地校准相机相对于车辆的位置和方向是很关键的。相机校准一般包括确定一组参数，所述参数使相机图像坐标与车辆坐标相关，反之亦然。一些相机参数，例如相机焦距、光心等是稳定的，而同时其它参数，例如相机方向和位置是不稳定的。例如，相机高度取决于车辆的荷载，其会时常变化。这种改变可能导致相机图像上的车辆轨迹的重叠图形不精准。
2014年9月3日提交的、标题为智能牵引的、转让给本申请的受让人并在此被引入作为参考的美国专利申请序列号14/476，345，公开了一种通过叠加在倒车相机图像上的图形重叠提供可视辅助，以帮助车辆操作员在倒车时校准牵引联接球和拖车挂钩的系统和方法。所述方法包括提供相机模型，以将车辆坐标的相机图像与世界坐标相关联，其中所述相机模型提供图形重叠以将具有高度的拖曳线包括在相机图像中，所述拖曳线的高度由拖车挂钩的估算高度确定。该方法也包括提供车辆动态模型，以当车辆围绕旋转中心移动时识别车辆运动。所述方法预测车辆转向时的路径，包括计算旋转中心。
当车辆操作员对准牵引球和拖车挂钩时，‘345号申请中的上述系统在提供可视辅助方面是有效的。然后，所述系统要求车辆操作员实际控制与可视辅助相关联的车辆的制动、方向盘和节流器以提供牵引球和挂钩之间的校准。因此，由于操作员技能水平问题，该系统仍有一些缺陷，其中牵引联接球和拖车挂钩的对准能力可通过全自动过程来改进。
发明内容
本发明描述了用于通过人机界面(HMI)辅助的可视伺服过程来对牵引车辆上的牵引联接球与拖车上的拖车挂钩进行自主对准的系统和方法。所述方法包括车辆上的后视相机提供显示出牵引球和挂钩的后视图像，其中在触摸屏显示器上显示图像。该方法包括：触摸显示器上的牵引球以登记所述图像中的所述牵引球的位置；以及触摸显示器上的挂钩以登记牵引球将与挂钩适当对准的目标位置。所述方法提供了围绕图像中目标的模板图案并且自主移动车辆，使得牵引球朝向目标移动。所述方法包括当所述车辆移动时预测目标的新位置且通过将先前的模板图案与围绕在预测目标周围的图像块进行比较来识别当车辆移动时新图像中的目标，当联接球至目标的距离小于某一最小阈值时，该方法使车辆停止。
根据下面的描述和所附权利要求，结合附图，本发明的另外的特征将变得明显。
附图说明
图1是示出了定位相对于包括有牵引挂钩的拖车的包括有牵引联接装置的车辆的相机图像的图示；
图2是用于自主定位车辆以将牵引联接球与牵引挂钩对准的系统的示意性框图；
图3是示出了图像坐标至世界坐标转换的变量的转向路径移动的车辆的顶视图的图示；
图4是示出了用于通过HMI辅助的可视伺服过程来自主定位牵引球的过程的流程图；以及
图5是用于在自主定位牵引球的过程中提供用于对挂钩的位置进行估计的卡尔曼-布西滤波的系统的示意性框图。
具体实施方式
本发明的实施例的以下讨论的涉及用于自主定位车辆使得车辆上的牵引联接球与拖车挂钩对准的系统和方法在本质上仅是示例性的，并且决不旨在限制本发明或者其应用或用途。例如，如所讨论的，所述系统和方法具有用于自主定位车辆使得牵引联接球与拖车挂钩对准的特定应用。然而，本领域技术人员将理解，所述系统和方法可以具有用于其他移动平台 (例如，在火车、机器、拖拉机、船、休闲车等上)的应用。
本发明提出了用于自主定位车辆使得通过HMI辅助的可视伺服过程来将车辆上的牵引联接球与拖车挂钩对准的系统和方法。下面将详细讨论，操作员将使车辆定位成接近拖车使得来自车辆后部处的相机的后视图像显示拖车和拖车挂钩。然后操作员将通过示出图像的触摸屏来识别图像中联接球的位置、识别挂钩上的目标，然后启动指令，其中车辆将自主移动车辆使得联接球与目标对准。
图1是由安装至车辆12后部的相机提供的后视相机图像10的图示，其中车辆12包括具有从其延伸的牵引联接球16的牵引联接件14。后备控制系统18通常示出为在车辆12上，并且包括对于如下面所讨论的本发明的操作来说需要的所有的相机、相机图像处理器、算法、自主车辆控制器等。框20是车辆12上的触摸屏显示器，图像10可以在所述触摸屏显示器上显示以允许车辆操作员看见图像10并且提供如本文中所讨论的触摸屏输入。图像10示出了在车辆12后面的拖车22，拖车22包括具有位于在地面上方一定距离处并且高于牵引球16的挂钩杯26的拖车挂钩24。
一旦车辆操作员已将车辆12定位在拖车22前方且相机图像10显示拖车22，则车辆操作员将通过触摸显示屏20上的牵引球16的图像来登记牵引球16以便登记图像10中的牵引球16的位置。将登记图像10中的联接球16的位置的过程可能在先前已经执行，其中图像10中的牵引球16 的位置应当总是在相同位置。接来下，操作员将通过触摸显示器20上的杯26来识别目标位置，其中本文的杯26被称为目标。本领域技术人员将容易认识到，通过触摸屏操作识别图像中元件的位置的适合的算法和过程。然后车辆操作员将车辆12转换成反向，或者提供一些其他合适的命令，该命令为系统18的指示以接管驱动车辆12以将牵引球16定位于目标位置处，而无需车辆操作员的任何其他干预。如将在下文详细讨论，当车辆12移动且图像10中的目标的位置改变时，目标被跟踪和锁定以识别目标的新位置。每次提供新图像时，计算联接球16和目标之间的距离，且一旦联接球16和目标之间的距离在某个最小阈值范围内，比如一英寸，则车辆12停止，且自主对准过程结束，其中然后车辆操作员必须降低挂钩 24使得联接球16定位于杯26内。在对准操纵期间，车辆操作员将监控周围对象，比如人或动物，如果碰撞路径通过触摸制动器或通过提供车辆转向而存在，则其允许车辆操作员中止自主联接对准操纵。
图2是系统40的高级示意性框图，该系统40在如上所述的后备和联接对准操纵期间自主地定位车辆12。系统40包括后视相机42，该后视相机42以预定采样速率将图像提供到可视伺服控制器44，该可视伺服控制器44在操作期间使用反馈分析来控制车辆12的位置。此外，人机接口(HMI) 输入在框46处通过如上所述的触摸屏显示器20提供给控制器44。尽管将触摸屏显示器20的用途应用于本文所讨论的实施例中，但其他技术也可以用于识别图像10中的联接球16和目标的位置。一旦牵引球16和目标已经识别并通过HMI输入来登记，车辆操作员便初始化对准操作，控制器 44将向发动机控制模块(ECM)48提供节流和制动命令信号以便以所需速度朝拖车22移动车辆12，以及向具有转矩叠加的电动助力转向(EPS)控制模块50提供转向角命令信号以为操纵提供车辆转向。当车辆12移动时，图像10中的目标的位置也移动，其中控制器44重新计算来自与本文所讨论一致的新图像的目标的新位置。当车辆12继续朝目标移动且图像 10中的目标的位置持续更新时，控制器44试图最小化牵引球16和目标之间的距离使得当他们处于相同位置时该过程停止，其应该将牵引球16直接定位在杯26之下。
当初始登记目标时，系统40识别图像坐标(u，v)中的目标位置并提供由例如像素阵列或特征描述符限定的目标图案或围绕目标的模板T，如图1中的模板30所示，该像素阵列或特征描述符为包括目标的图像10 的一些部分。一旦已经识别目标位置且已经接合系统40，则当车辆12移动以对准联接球16和目标时目标被跟踪并锁定。基于车辆12的速度和转向角，算法预测在每个样本点处的目标的图像坐标中的新位置(u'，v')。当从相机42获取新图像时，算法使用如下公式(1)和(2)围绕预定义窗口W内的预测位置(u'，v')搜索新图像，该预定义窗口W定义为图像块I(u，v)，并表示为图1中的虚线框块32：
minu,v||T-I(u,v)||2，(1)
其中：
min(|u-u′|,|v-v′|)<W.(2)
当在窗口32中发现与模板30匹配的图像时，算法将由T表示的当前模板30替换为新匹配模板，其中目标的新位置(u'，v')变为目标的当前位置(u，v)。当获取新图像时，算法重复该过程。可以舍弃旧模板T，或者可以应用平均过程，其中当车辆12移动时保留一定数量的旧模板T。
如上所述，控制器44控制车辆12的转向角，其转换为路面车轮角度θ。在一个实施例中，该算法提供开环控制以计算转向角来使得牵引球16 的位置和目标之间的距离最小。为此，该算法需要将图像10中的图像坐标(u，v)转换成世界坐标(x，y)。图3是具有轴距b的车辆62的俯视图60，其中车辆62相对于拐点66沿着弯道64转向，并且圆68表示牵引球16的位置而加号70表示目标位置。联接球16在世界坐标中的位置被识别为q＝(xH，yH)T，而目标在世界坐标中的位置被识别为r＝(x，y)T。算法将图像10中的每个像素位置(u，v)映射到x-y世界坐标中的俯视图上。具体地说，单应矩阵H如下所述在与牵引球16相同的高度处将作为 u＝(u，v，1)T的像素映射到x-y平面上，其平行于地面。
p＝(p1，p2，p3)T， (3)
p＝Hu， (4)
x＝p1/p3， (5)
y＝p2/p3， (6)
其中，单应矩阵H如下定义：
Figure BDA0001017218280000061
并且其中Kc是内在矩阵，Rot是相机旋转矩阵，t是相机中心，d是牵引球16的高度，以及：
nTX＝d， (8)
是平面等式。一旦已经校准好相机42，内在矩阵Kc、相机旋转矩阵 Rot以及相机中心t就是已知的数值。
如果联接球位置q和挂钩位置r之间的距离在预定阈值内，由于连接器16处于目标位置处因而该算法停止并保持车辆12。如果联接球位置q 和挂钩位置r之间的距离并不在预定阈值内，则算法计算期望的方向盘角度以将车辆12转向至目标位置，例如：
Figure BDA0001017218280000071
Figure BDA0001017218280000072
对于初始步骤，算法将车辆12保持在全制动，并且将方向盘移动至期望的方向盘角度，否则其在伺服方向盘角度的同时释放制动并控制车速 v。
图4是示出用于使得车辆12自主地转向以使得牵引球16与如上所述的目标对准的过程的流程图80。该算法在框块82处启动，并且在判决菱形块84处确定牵引球16是否被登记。如果在判决菱形块84处牵引球16 未被登记，则如上所述，该算法在框块86处促使车辆操作员通过触碰显示器26来识别牵引球16在图像10中的位置，然后该算法在框块88处将牵引球16在图像坐标中的位置进行登记并存储。一旦该算法在框块88处已登记牵引球16的位置或者在判决菱形块84处已事先登记该牵引球16 的位置，该算法就在判决菱形块90处确定图像10中的目标是否已被识别。如果这是用于使得牵引球16与目标对准的操作的开始，则目标将不会已在判决菱形块90处被识别，且过程将移至框块92，在此车辆操作员将如上所述识别目标在图像10上的位置。该算法也在框块92处定义围绕目标的模板30。
如果在判决菱形块90处该目标已被识别或者在框块92处新的目标已被识别，算法就在判决菱形块94处确定是否已从相机42获得新的图像。在对准操纵开始时，该新的图像可以是在算法已经将车辆12移向目标之前的原始图像，或者可以是在车辆12处于联动对准操纵时获得的新的图像。如果在判决菱形块94已获得了新的图像，该算法就在框块96处评估车辆12的速度、车辆12的转向角、车辆12的横摆率、联接轨迹等等以使得车辆移向目标。该算法在框块98处提供图像校正，从而以本领域技术人员所良好理解的方式去除最新图像中的失真。然后，该算法在框块100 处缩放或重新定位图像块32并且使用评估的车辆12的速度、车辆12的转向角、车辆12的横摆率、联接轨迹等等来预测新图像中的目标位置(u'，v')。然后，该算法在框块102处执行图像块32内的图案匹配操作以识别新窗口中的模板30。然后，该算法在判决菱形块104处确定当前模板T和图像块32中的模板之间的匹配是否已被发现，并且如果未被发现的话，通过停止车辆12而在框块106处中止该过程，并且返回至框块92来使得车辆操作员再次输入目标位置。如果在判决菱形块104处已在缩放图像块 32中发现了与当前模板T的匹配，则算法例如在框块108处使用 Kalman-Bucy滤波过程来评估在新图像中的目标位置。
图5是示出了使用卡尔曼-布西(Kalman-Bucy)滤波过程来确定新图像中的目标位置的一种过程的实例的系统110的方框图。系统110具有四种输入，即线路112上的路面车轮角度θ、线路114上的车辆速度v、线路 116上的图像平面中的挂钩定位p的位置的测量值(x0，y0)以及线路118 上的卡尔曼滤波器增益K。目标的估计位置设置为线路120上的输出。使用来自前述计算的路面车轮角度θ、车辆速度v和估计的目标位置
Figure BDA0001017218280000082
在框122处将目标的位置
Figure BDA0001017218280000083
的时间导数确定为：
Figure BDA0001017218280000084
Figure BDA0001017218280000085
其中：
Figure BDA0001017218280000086
在框124处目标的位置的时间导数被积分以生成世界坐标(x，y) 中的目标定位。在减法器126中，目标定位(x，y)从挂钩定位p的位置的测量值(x0，y0)减去，以产生革新误差e，在乘法器128中将该革新误差e乘以卡尔曼增益K。然后在加法器130中增益调整后的误差信号Ke 加上目标定位(x，y)以提供线路120上的目标的估计位置
返回到流程图80，一旦在如上所述的框108处获得目标的位置，则在框块132处算法计算从联接球16到目标的距离，并在判断方块134处确定该距离是否小于一些预定值。如果在判断方块134处该距离小于阈值，则算法知道牵引球16与目标对齐，且在框块136处制动器被应用于停止车辆。如果在判断方块134处该距离小于阈值，则在框块138处算法计算所需转向角度以及车辆速度，并在框块140处将这些信号提供给控制模块 48和50以移动车辆12以减小牵引球16和目标之间的距离。然后算法返回至判断方块94以确定新图像是否已经到达。
本领域技术人员将完全理解，已经在本文讨论以描述本发明的几种以及各种步骤和过程可以参考通过计算机、处理器或者使用电现象处理和/ 或转换数据的其他电子计算设备执行的操作。这些计算机和电子设备可以采用各种易失性和/或非易失性存储器，包括具有存储在其上的可执行程序的非易失性计算机可读介质，该可执行程序包括能够通过计算机或处理器执行的各种代码或可执行指令，其中该存储器和/或计算机可读介质可包括所有形式和类型的存储器和其他计算机可读介质。
上文的讨论仅仅公开和描述了本发明的示例性实施例。本领域技术人员将很容易认识到，根据这一讨论并根据所附附图和权利要求，在不背离以下权利要求限定的本发明的精神和范围的前提下，可作出各种改变、修饰和变化。

Claims (9)

1.一种将附接到牵引车辆后部的联接牵引球与附接到拖车的挂钩自主地对准的方法，所述方法包括：
所述车辆上的后视相机提供后视图像，所述后视图像显示出了所述牵引球和所述挂钩；
将所述后视图像显示在触摸屏显示器上；
触摸所述显示器上的牵引球以登记所述后视图像中的所述牵引球的位置；
触摸所述显示器上的挂钩以登记所述牵引球将与所述挂钩对准的目标的位置；
通过包括处理器和存储器的控制器提供围绕所述后视图像中的所述登记目标的模板图案；
通过所述控制器自主地移动所述车辆使得所述牵引球朝所述目标移动；
当所述车辆移动时通过所述控制器使用车辆速度、车辆转向角度和联接轨迹预测新图像中的所述目标的位置；
当所述车辆移动时借助所述控制器通过将所述模板图案与围绕所述目标的所述预测位置设置的图像块窗口进行比较来估计所述新图像中的所述目标的新位置；
通过所述控制器确定所述牵引球与所述目标的所述新位置之间的距离；以及
当所述牵引球与所述目标的所述新位置之间的所述距离小于预定阈值时通过控制器停止所述车辆。
2.根据权利要求1所述的方法，其中自主地移动所述车辆包括自主地提供车辆制动、减速以及转向命令。
3.根据权利要求1所述的方法，其中自主地移动所述车辆包括基于所述目标的所述新位置重新计算车辆速度和转向。
4.根据权利要求1所述的方法，其中自主地移动所述车辆包括自主地转向所述车辆，且其中转向所述车辆包括将所述牵引球和所述目标的所述位置的图像坐标转换成世界坐标。
5.根据权利要求4所述的方法，其中将所述牵引球和所述目标的所述位置的图像坐标转换成世界坐标包括使用单应矩阵。
6.根据权利要求1所述的方法，其中估计所述新图像中的所述目标的新位置包括将所述模板图案与所述窗口中的相同图案进行匹配。
7.根据权利要求1所述的方法，其中估计所述目标的新位置包括应用卡尔曼-布西滤波过程。
8.根据权利要求7所述的方法，其中所述卡尔曼-布西滤波过程使用路面车轮角度输入、车辆速度输入、卡尔曼增益值和所述目标的所述位置的测量值。
9.根据权利要求1所述的方法，所述方法进一步包括当获得新图像时提供其图像校准。
CN201610423323.0A 2015-06-23 2016-06-15 牵引车辆联接牵引球与拖车挂钩自主对准方法 Active CN106274685B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/747,888 2015-06-23
US14/747,888 US9696723B2 (en) 2015-06-23 2015-06-23 Smart trailer hitch control using HMI assisted visual servoing

Publications (2)

Publication Number Publication Date
CN106274685A CN106274685A (zh) 2017-01-04
CN106274685B true CN106274685B (zh) 2020-01-07

Family

ID=57537528

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610423323.0A Active CN106274685B (zh) 2015-06-23 2016-06-15 牵引车辆联接牵引球与拖车挂钩自主对准方法

Country Status (3)

Country Link
US (1) US9696723B2 (zh)
CN (1) CN106274685B (zh)
DE (1) DE102016210376B4 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10150505B2 (en) * 2015-04-14 2018-12-11 Continental Automotive Systems, Inc. Automated hitching assist system
US20170049202A1 (en) * 2015-08-21 2017-02-23 Edinaldo Nascimento Automatic Following Luggage System
EP3391339A2 (en) * 2015-12-18 2018-10-24 Iris Automation, Inc. Real-time visual situational awareness system
DE102016214597B4 (de) * 2016-08-05 2023-10-05 Volkswagen Aktiengesellschaft Verfahren zur Unterstützung eines Ankuppelvorgangs eines Fahrzeugs sowie Unterstützungssystem
GB2553809B (en) * 2016-09-15 2020-06-24 Jaguar Land Rover Ltd Apparatus and method for determining tow hitch location
JP7069548B2 (ja) * 2017-03-01 2022-05-18 株式会社アイシン 周辺監視装置
US10906583B2 (en) * 2017-03-03 2021-02-02 Continental Automotive Systems, Inc. Autonomous trailer hitching using neural network
US10457205B2 (en) * 2017-03-16 2019-10-29 Robotzone, Llc Assisted trailer alignment system
EP3379222B1 (en) 2017-03-22 2020-12-30 Methode Electronics Malta Ltd. Magnetoelastic based sensor assembly
US10168708B2 (en) * 2017-03-30 2019-01-01 GM Global Technology Operations LLC Wireless vehicle-trailer interface system
US11279282B2 (en) * 2017-04-19 2022-03-22 Robert Bosch Gmbh Methods and systems for aligning a vehicle with a trailer
US10266023B2 (en) 2017-05-01 2019-04-23 Ford Global Technologies, Llc System to automate hitching a trailer
US10363874B2 (en) * 2017-09-19 2019-07-30 Ford Global Technologies, Llc Hitch assist system with hitch coupler identification feature and hitch coupler height estimation
US10414437B2 (en) * 2017-10-04 2019-09-17 Ford Global Technologies, Llc Hitch assist system for correcting misalignment between a tow hitch of a vehicle and a hitch coupler of a trailer
US10802478B2 (en) * 2017-10-19 2020-10-13 Ford Global Technologies, Llc Hitch assist system and method for autonomously maneuvering a vehicle in a user-specified target travel direction
US10160274B1 (en) * 2017-10-23 2018-12-25 GM Global Technology Operations LLC Method and apparatus that generate position indicators for towable object
US10479152B2 (en) * 2017-11-03 2019-11-19 Ford Global Technologies, Llc Compensation for trailer coupler height in automatic hitch operation
DE102017220459B4 (de) * 2017-11-16 2023-10-19 Volkswagen Aktiengesellschaft Verfahren und Anhängerankuppelassistent zum Unterstützen eines Ankuppelvorgangs eines rückwärts an einen Anhänger heranfahrenden Kraftfahrzeugs, sowie Kraftfahrzeug
JP7000822B2 (ja) * 2017-12-06 2022-01-19 株式会社アイシン 周辺監視装置
US10144417B1 (en) * 2017-12-12 2018-12-04 Ford Global Technologies, Llc Hitch assist system and method featuring a specified angle between a vehicle heading and a trailer heading at a final position
US11084342B2 (en) 2018-02-27 2021-08-10 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11014417B2 (en) 2018-02-27 2021-05-25 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US10670479B2 (en) 2018-02-27 2020-06-02 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11221262B2 (en) 2018-02-27 2022-01-11 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11135882B2 (en) 2018-02-27 2021-10-05 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
US11491832B2 (en) 2018-02-27 2022-11-08 Methode Electronics, Inc. Towing systems and methods using magnetic field sensing
DE102018204442B4 (de) * 2018-03-22 2021-05-27 Zf Friedrichshafen Ag Anhänger und Verfahren und Steuergerät zum Bestimmen einer Orientierung eines Anhängers
US11050933B2 (en) * 2018-04-27 2021-06-29 Continenal Automotive Systems, Inc. Device and method for determining a center of a trailer tow coupler
US10984553B2 (en) * 2018-05-01 2021-04-20 Continental Automotive Systems, Inc. Real-time trailer coupler localization and tracking
US11198340B2 (en) * 2018-05-01 2021-12-14 Continental Automotive Systems, Inc. Coupler and tow-bar detection for automated trailer hitching via cloud points
WO2019217586A1 (en) * 2018-05-08 2019-11-14 Continental Automotive Systems, Inc. Visual object tracker
CN112805207B (zh) * 2018-05-08 2023-03-21 大陆汽车系统公司 用于自动车辆倒车的用户可调轨迹
DE102018209382A1 (de) * 2018-06-13 2019-12-19 Zf Friedrichshafen Ag Kamera-basiertes Andocken von Fahrzeugen mittels künstlicher Intelligenz
US10960721B2 (en) * 2018-06-26 2021-03-30 Ford Global Technologies, Llc System for detection and response to retreating trailer
DE102018116922A1 (de) * 2018-07-12 2020-01-16 Connaught Electronics Ltd. Verfahren zum Bestimmen einer realen Position eines Anhängerkugelkopfs einer Anhängerkupplung eines Kraftfahrzeugs mittels eines Assistenzsystems des Kraftfahrzeugs, Assistenzsystem sowie Kraftfahrzeug
US10768633B2 (en) 2018-07-16 2020-09-08 Ford Global Technologies, Llc Hitch assist system
US10870323B2 (en) 2018-07-18 2020-12-22 Ford Global Technologies, Llc Compensation for trailer coupler geometry in automatic hitch operation
US11603100B2 (en) 2018-08-03 2023-03-14 Continental Autonomous Mobility US, LLC Automated reversing by following user-selected trajectories and estimating vehicle motion
US11148667B2 (en) * 2018-08-03 2021-10-19 Continental Automotive Systems, Inc. Automated reversing by choice of target location
CN109145797B (zh) * 2018-08-13 2021-06-25 东南大学 基于车底阴影定位车牌的道路救援装备正方位诱导方法
CN109376733B (zh) * 2018-08-13 2021-06-25 东南大学 一种基于车牌定位的道路救援装备正方位拖牵诱导方法
CN109376734B (zh) * 2018-08-13 2020-07-31 东南大学 一种基于车牌角点特征的道路救援装备正方位拖牵诱导方法
CN109159632A (zh) * 2018-08-21 2019-01-08 许彦领 牵引连接器
DE102018122055A1 (de) * 2018-09-10 2020-03-12 Wabco Gmbh Querlenkverfahren und Querlenkvorrichtung für das Bewegen eines Fahrzeugs in eine Zielposition, und Fahrzeug dafür
DE102018215982A1 (de) * 2018-09-19 2020-03-19 Zf Friedrichshafen Ag Vorrichtung und -verfahren zur Steuerung eines Fahrzeugs für eine Wechselbrücke
US11433812B2 (en) 2018-10-29 2022-09-06 Ford Global Technologies, Llc Hitching maneuver
US11485413B2 (en) 2018-10-30 2022-11-01 Ford Global Technologies, Llc Application of auxiliary lighting in automatic hitch operation
US10829152B2 (en) 2018-11-08 2020-11-10 Ford Global Technologies, Llc Automated hitching system with subject trailer selection from multiple identified trailers
US11030476B2 (en) * 2018-11-29 2021-06-08 Element Ai Inc. System and method for detecting and tracking objects
US11090991B2 (en) * 2018-12-04 2021-08-17 Ford Global Technologies, Llc Human machine interface for vehicle alignment in an acceptable hitch zone
US11077730B2 (en) * 2018-12-27 2021-08-03 Continental Automotive Systems, Inc. Sensor mounting height estimation using load sensors
US11214105B2 (en) * 2019-01-29 2022-01-04 Ford Global Technologies, Llc Saturated steering detection and operation for guided vehicle operation
EP3715993B1 (en) 2019-03-25 2022-09-14 Hiab AB A vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
SE1950427A1 (en) 2019-04-05 2020-10-06 Cargotec Patenter Ab A vehicle comprising a working equipment, and a working equipment, and a method in relation thereto
US11208146B2 (en) 2019-05-21 2021-12-28 Ford Global Technologies, Llc Acceptable zone for automated hitching with system performance considerations
US11192552B2 (en) * 2019-06-13 2021-12-07 Ford Global Technologies, Llc Vehicle motion control for trailer alignment
US11427199B2 (en) * 2019-08-22 2022-08-30 Ford Global Technologies Llc System for aligning a vehicle hitch location identifier with a trailer coupler
USD955404S1 (en) 2019-09-11 2022-06-21 Ford Global Technologies, Llc Display screen with graphical user interface
USD987666S1 (en) 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen or portion thereof with transitional graphical user interface
USD987652S1 (en) 2019-09-11 2023-05-30 Ford Global Technologies, Llc Display screen with graphical user interface
US20210347410A1 (en) * 2020-05-08 2021-11-11 Ford Global Technologies, Llc Trailer gps location storage and recall for hitch assist operation
US20220203786A1 (en) * 2020-12-30 2022-06-30 Continental Automotive Systems, Inc. Method and assembly for positioning a vehicle relative to a trailer
US11787336B2 (en) 2021-06-29 2023-10-17 Ford Global Technologies , Llc Trailer hitching assistance system including trailer type identification and adaptive interface
CN113537331B (zh) * 2021-07-09 2024-02-02 广东科研世智能科技有限公司 列车轮对的定位方法、装置及存储介质
US20230206582A1 (en) * 2021-12-23 2023-06-29 Eduardo Jose Ramirez Llanos Visual tracking of target features
CN114394051B (zh) * 2022-02-28 2023-11-10 东风商用车有限公司 一种车辆间接视野的提供方法及系统

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2695202B1 (fr) * 1992-09-03 1994-11-10 Aerospatiale Système embarqué de navigation pour un engin aérien comportant un radar à visée latérale et à synthèse d'ouverture.
US6612603B2 (en) * 2001-09-07 2003-09-02 Michael D. Alger Trailer hitch alignment system
US8888121B2 (en) * 2007-01-25 2014-11-18 Target Hitch Llc Towing vehicle guidance for trailer hitch connection
GB2447672B (en) * 2007-03-21 2011-12-14 Ford Global Tech Llc Vehicle manoeuvring aids
US20090016571A1 (en) * 2007-03-30 2009-01-15 Louis Tijerina Blur display for automotive night vision systems with enhanced form perception from low-resolution camera images
US20090091617A1 (en) * 2007-10-05 2009-04-09 Anderson Leroy E Electronic baby remote viewer
US7777615B2 (en) * 2008-03-20 2010-08-17 Toyota Motor Engineering & Manufacturing North America, Inc. System for assisting the attachment of a trailer to a vehicle
US8191915B2 (en) * 2008-10-17 2012-06-05 GM Global Technology Operations LLC Vehicle docking assistance system
US8396653B2 (en) * 2010-02-12 2013-03-12 Robert Bosch Gmbh Dynamic range display for automotive rear-view and parking systems
US10089537B2 (en) * 2012-05-18 2018-10-02 Magna Electronics Inc. Vehicle vision system with front and rear camera integration
GB2513393B (en) * 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
US9037312B2 (en) * 2013-08-26 2015-05-19 Ford Global Technologies Trailer heading angle using vehicle wheel speed sensors
DE102013015738A1 (de) 2013-09-20 2014-04-10 Daimler Ag System und Verfahren zum Ankuppeln eines Fahrzeugs an einen Anhänger
US20150115571A1 (en) 2013-10-24 2015-04-30 GM Global Technology Operations LLC Smart tow
US9988047B2 (en) * 2013-12-12 2018-06-05 Magna Electronics Inc. Vehicle control system with traffic driving control

Also Published As

Publication number Publication date
DE102016210376A1 (de) 2016-12-29
US20160378118A1 (en) 2016-12-29
DE102016210376B4 (de) 2022-11-24
DE102016210376A9 (de) 2017-03-02
CN106274685A (zh) 2017-01-04
US9696723B2 (en) 2017-07-04

Similar Documents

Publication Publication Date Title
CN106274685B (zh) 牵引车辆联接牵引球与拖车挂钩自主对准方法
US11400977B2 (en) Vehicle guidance system
EP2988973B1 (en) Vehicle hitch assistance system
US7204504B2 (en) Process for coupling a trailer to a motor vehicle
EP3787909B1 (en) Coupler and tow-bar detection for automated trailer hitching via cloud points
US9971943B2 (en) Vehicle trailer angle detection system and method
EP3016835B1 (en) Vehicle control system
EP3016836B1 (en) Vehicle control system
US10065676B2 (en) System for a towing vehicle
US20140232871A1 (en) Method for manually calibrating a camera mounted on vehicle
CN110733302A (zh) 在自动挂接操作中对拖车联接器高度进行补偿
US20210061280A1 (en) Prevention of trailer coupler tracking jump during hitch assist operation
CN112721915A (zh) 辅助停车方法、辅助停车装置、车辆和存储介质
US11941847B2 (en) Controller for a vehicle
CN111717116A (zh) 用于拖车对准的系统和方法
US20230096655A1 (en) Method for reversing an articulated vehicle combination

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant