CN110576863A - 基于拖车位置来控制车辆 - Google Patents

基于拖车位置来控制车辆 Download PDF

Info

Publication number
CN110576863A
CN110576863A CN201910397251.0A CN201910397251A CN110576863A CN 110576863 A CN110576863 A CN 110576863A CN 201910397251 A CN201910397251 A CN 201910397251A CN 110576863 A CN110576863 A CN 110576863A
Authority
CN
China
Prior art keywords
vehicle
trailer
feature point
processing device
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910397251.0A
Other languages
English (en)
Other versions
CN110576863B (zh
Inventor
S·卡萨扎德玛哈拜迪
王劲松
K·辛格尔
B·B·利特高希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN110576863A publication Critical patent/CN110576863A/zh
Application granted granted Critical
Publication of CN110576863B publication Critical patent/CN110576863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2300/00—Indexing codes relating to the type of vehicle
    • B60W2300/14—Trailers, e.g. full trailers, caravans
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk

Abstract

公开了用于基于拖车位置来控制车辆的技术的示例。在根据本公开的方面的一个示例性实施方案中，一种计算机实现的方法包括通过处理设备从由与车辆相关联的摄像机捕获的图像中提取联接到拖车上的特征点。该方法还包括通过处理设备确定拖车上的特征点与虚拟边界之间的距离。该方法还包括，响应于确定拖车上的特征点与虚拟边界之间的距离小于阈值，通过处理设备控制车辆，使得拖车上的特征点与虚拟边界之间的距离增加。

Description

基于拖车位置来控制车辆
引言
本公开涉及控制车辆，且更具体而言涉及基于拖车位置来控制车辆。
现代车辆(例如汽车、摩托车、船或任何其他类型的车辆)通常包括一个或多个摄像机，该等摄像机提供备用辅助，拍摄车辆驾驶员的图像以确定驾驶员睡意或注意力，在车辆行驶时提供道路图像以避免碰撞，提供结构识别，诸如道路标志等。例如，车辆可以配备有多个摄像机，且来自多个摄像机(称为“环绕视图摄像机”)的图像可以用于创建车辆的“环绕”或“鸟瞰”视图。一些摄像机(称为“远程摄像机”)可用于捕获远程图像(例如，用于物体检测以避免碰撞、结构识别等)。
这些车辆还可以配备有车载显示器(例如触摸屏)，其用于向车辆的驾驶员显示摄像机图像和/或其他图像。例如，传统的后视镜和/或侧视镜可以用显示器代替，显示器显示来自位于车辆后部的摄像机的摄像机图像，以代替传统的后视镜向驾驶员显示“后视图”。
发明内容
在一个示例性实施例中，提供了一种用于基于拖车位置来控制车辆的计算机实现的方法。该方法包括通过处理设备从由与车辆相关联的摄像机捕获的图像中提取联接到车辆的拖车上的特征点。该方法还包括通过处理设备确定拖车上的特征点与虚拟边界之间的距离。该方法还包括，响应于确定拖车上的特征点与虚拟边界之间的距离小于阈值，通过处理设备控制车辆，使得拖车上的特征点与虚拟边界之间的距离增加。
除了这里描述的一个或多个特征之外，该方法可以进一步包括由处理设备至少部分地基于检测到的道路特征来生成虚拟边界。在一些实例中，控制车辆包括使车辆相对于与车辆相关联的中心线移位。除了这里描述的一个或多个特征之外，该方法可以进一步包括，在提取特征点之前，使用摄像机捕获多个图像，其中该图像是该多个图像之一。在一些实例中，特征点是第一特征点，图像是第一图像，且摄像机是第一摄像机，并且该方法进一步包括通过处理设备从由与车辆相关联的第二摄像机捕获的第二图像中提取拖车上的第二特征点。在一些实例中，拖车上的第一特征点与虚拟边界之间的距离至少部分地基于三角测量法来确定。在一些实例中，阈值至少部分地基于道路特性和车辆速度。
在另一示例性实施例中，提供了一种系统，其包括：存储器，其包括计算机可读指令；以及处理设备，其用于执行该计算机可读指令，以实行用于基于拖车位置来控制车辆的方法。该方法包括通过处理设备从由与车辆相关联的摄像机捕获的图像中提取联接到车辆的拖车上的特征点。该方法还包括通过处理设备确定拖车上的特征点与虚拟边界之间的距离。该方法还包括，响应于确定拖车上的特征点与虚拟边界之间的距离小于阈值，通过处理设备控制车辆，使得拖车上的特征点与虚拟边界之间的距离增加。
除了这里描述的一个或多个特征之外，该方法可以进一步包括由处理设备至少部分地基于检测到的道路特征来生成虚拟边界。在一些实例中，控制车辆包括使车辆相对于与车辆相关联的中心线移位。除了这里描述的一个或多个特征之外，该方法可以进一步包括，在提取特征点之前，使用摄像机捕获多个图像，其中该图像是该多个图像之一。在一些实例中，特征点是第一特征点，图像是第一图像，且摄像机是第一摄像机，并且该方法进一步包括通过处理设备从由与车辆相关联的第二摄像机捕获的第二图像中提取拖车上的第二特征点。在一些实例中，拖车上的第一特征点与虚拟边界之间的距离至少部分地基于三角测量法来确定。在一些实例中，阈值至少部分地基于道路特性和车辆速度。
在又一示例性实施例中，提供了一种计算机程序产品，该计算机程序产品包括计算机可读存储介质，该计算机可读存储介质具有包含在其中的程序指令，该程序指令可由处理设备执行以使得该处理设备实行用于基于拖车位置来控制车辆的方法。该方法包括通过处理设备从由与车辆相关联的摄像机捕获的图像中提取联接到车辆的拖车上的特征点。该方法还包括通过处理设备确定拖车上的特征点与虚拟边界之间的距离。该方法还包括，响应于确定拖车上的特征点与虚拟边界之间的距离小于阈值，通过处理设备控制车辆，使得拖车上的特征点与虚拟边界之间的距离增加。
除了这里描述的一个或多个特征之外，该方法可以进一步包括由处理设备至少部分地基于检测到的道路特征来生成虚拟边界。在一些实例中，控制车辆包括使车辆相对于与车辆相关联的中心线移位。除了这里描述的一个或多个特征之外，该方法可以进一步包括，在提取特征点之前，使用摄像机捕获多个图像，其中该图像是该多个图像之一。在一些实例中，特征点是第一特征点，图像是第一图像，且摄像机是第一摄像机，并且该方法进一步包括通过处理设备从由与车辆相关联的第二摄像机捕获的第二图像中提取拖车上的第二特征点。在一些实例中，拖车上的第一特征点与虚拟边界之间的距离至少部分地基于三角测量法来确定。
通过以下结合附图的详细描述，本发明的以上特征和优点以及其它特征和优点是显而易见的。
附图说明
其他特征、优点和细节仅作为示例出现在以下详细描述中，该详细描述参考附图，在附图中：
图1描绘了根据一个或多个实施例的包括摄像机和用于至少部分地基于拖车位置来控制车辆的处理系统的车辆；
图2描绘了根据一个或多个实施例的具有附接至其上的拖车的图1的车辆；
图3描绘了根据一个或多个实施例的图2的车辆和拖车；
图4描绘了根据一个或多个实施例的用于至少部分地基于拖车位置来控制车辆的方法的流程图；
图5描绘了根据一个或多个实施例的用于至少部分地基于拖车位置来控制车辆的方法的流程图；以及
图6描绘根据本发明的方面用于实现本文所描述的技术的处理系统的框图。
具体实施方式
以下描述本质上仅仅是示例性的，并不旨在限制本公开、其应用或使用。应当理解，在所有附图中，相应的参考标记表示相同或相应的部分和特征。如本文所使用的，术语模块涉及处理电路，该处理电路系统可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或组群)和存储器、组合逻辑电路、和/或提供所描述的功能的其它适当组件。
本文描述的技术方案提供了基于拖车的位置来控制其上附接有拖车的车辆。本技术通过(从图像)提取拖车上的特征点，确定特征点与边界之间的距离，以及控制车辆保持在拖车上的特征点与边界之间的间隔，来防止(附接到车辆上的)拖车越过车道/道路/路缘边界。这对于自动驾驶是有益的，其中实时监控拖车和车辆位置对于防止越过车道和/或碰撞很重要。现有的方法可能是不准确的，诸如基于GPS的定位误差，挂接角估计不准，以及拖车长宽比计算容易出错并且可能导致越过车道。本技术在监控拖车相对于边界(例如车道标记)的位置不受到挂接角度、拖车长度、宽度以及重量估计和定位的不准确性的影响方面提供了改进。
图1描绘了车辆100，其包括处理系统110，用于至少部分地基于拖车位置来控制车辆100。车辆100可以是汽车、卡车、厢式车、公共汽车、摩托车、或可附接拖车的其它合适的车辆。拖车可以通过合适的连接装置附接到车辆100上，诸如拖挂装置、牵引座联接件或其它合适的连接装置。
当车辆100和拖车(诸如图2的拖车201)穿过道路(诸如图2的道路202)时，拖车可能倾向于越过车道标记、路缘和/或道路边界(例如图2的边界203)，诸如当车辆100处于弯道或转弯时。与车辆100相关联的处理系统110有助于至少部分地基于拖车的位置来控制车辆100。例如，可以控制车辆100以使车辆100与拖车201保持在一定的边界内。为此，车辆100的处理系统110利用特征提取引擎112、位置确定引擎114和车辆控制引擎116。
特征提取引擎112使用一个或多个摄像机确定拖车上的特征点。具体而言，车辆100可以包括摄像机120、121、122、123和摄像机130、131、132、133。摄像机120-123是捕获车辆100的外部或附近的图像的环视摄像机。由摄像机120-123捕获到的图像一起形成车辆100的环绕视图(有时称为“俯视图”或“鸟瞰图”)。这些图像可用于操作车辆(例如停车、倒车等)。摄像机130-133是远程摄像机，其捕获车辆外部以及比摄像机120-123距离车辆100更远处的图像。这些图像例如可以用于检测和避免物体。应明白，尽管示出了八个摄像机120-123和130-133，但是在各种实施例中可以实施更多或更少的摄像机。
捕获的图像可以显示在显示器(未示出)上，以向车辆100的驾驶员/操作者提供车辆100的外部视图。捕获的图像可以显示为实况图像、静态图像或其某种组合。在一些实例中，图像可以组合以形成复合视图，诸如环绕视图。
特征提取引擎112使用从摄像机120-123、130-133中的一个或多个捕获的图像。例如，摄像机121、133各自可以从车辆100捕获拖车的图像。特征提取引擎112可以使用图像识别技术从图像中识别特征点，诸如拖车的前角、拖车的后角等。
位置确定引擎114可以使用由特征提取引擎112提取的特征点来确定特征点与虚拟边界之间的距离“c”(图2)。虚拟边界可以表示实际车道边界或其它边界，且虚拟边界可以由检测到的道路特征生成。例如，虚拟边界可以基于检测到的路缘、车道线等，对由摄像机120-123、130-133中的一个或多个捕获的图像使用图像处理技术。如果特征点与虚拟边界之间的距离“c”低于可接受距离，则车辆控制引擎116可以控制车辆以使车辆(且相应地使拖车)移动，使得特征点与虚拟边界之间的距离增加到可接受距离。应明白，可接受的距离(即阈值)可以基于诸如车辆100的速度、相邻车道中的车辆、道路特性(诸如车道宽度，道路弯曲度等)等因素而变化。例如，随着车辆100的速度增加，可接受距离增加。
关于图1描述的各种组件、模块、引擎等可以实现为：存储在计算机可读存储介质上的指令、硬件模块，专用硬件(例如，应用专用硬件、专用集成电路(ASIC)、专用特殊处理器(ASSP)、现场可编程门阵列(FPGA))、嵌入式控制器、硬连电路等)，或作为上述这些的某一或某一些组合。根据本发明的方面，本文所述的引擎可以是硬件和编程的组合。该编程可以是存储在有形存储器上的处理器可执行指令，且该硬件可以包括处理设备(例如图6的CPU 621)以用于执行这些指令。因此，系统存储器(例如图6的RAM 624)可以存储程序指令，该程序指令在由处理设备执行时实现本文所述的引擎。也可以利用其它引擎从而包括本文其它实例中描述的其它特征和功能。
图2描绘了根据一个或多个实施例的具有附接至其上的拖车201的车辆100。车辆100沿着如图所示弯曲的道路202行驶。当车辆100导航弯道时，拖车201可能倾向于越过边界(例如车道边界203)。使用本技术，可以控制车辆100以防止和/或修正这种倾向。
图2包括如下定义的变量：Rf表示车辆100的转弯半径(相对于车辆的前部)；Rt表示拖车201的转弯半径(相对于拖车的端部)；Ψ表示车辆100的中心线204与拖车201的中心线205之间的铰接角；“a1”表示车辆100的前部与车辆100的前轴之间的距离；“1”表示车辆100的轴距；“b1”表示车辆100的后轴与车辆100的后部之间的距离；“b2”表示拖车的长度；“w”表示拖车201在其后部的宽度；并且“c”表示交叉参数，其是拖车的特征点与边界203之间的距离。本技术的目的是保持大于零的“c”值，从而保持边界203与拖车201之间的间隔。
图3描绘了根据一个或多个实施例的车辆100和拖车201。在该实例中，通过特征提取引擎112提取两个特征点：拖车201的前端特征点340和拖车201的后端特征点341。前端特征点340是拖车340上的位置，并且当车辆100上的两个不同摄像机能够看见该位置时被确定(例如摄像机121、123；摄像机121、133；摄像机132、133等)。从两个不同摄像机至前端特征点的可见性由线350a、350b描绘。
使用车辆100上的单个摄像机(例如摄像机121、摄像机131、摄像机122、摄像机132等)确定后端特征点341。从摄像机至后端特征点341的可见性由线351描绘。
侧摄像机位置(例如摄像机121)“Ps”和后摄像机位置(例如摄像机123)“Pr”基于车辆100的规格是已知的。特征点340、341表示拖车拐角，并且可以使用三角测量技术来确定或估计特征点340、341P1/rf的位置。侧摄像机(例如摄像机121)可用于估计拖车的后端特征点。对于给定的与水平线的角度偏差(即俯仰角)φth，其中φ大于俯仰角阈值φth，后端特征点341的位置可以用有界误差来估计，如边界线360a、360b所描绘。有界误差可以基于拖车长度、俯仰角和特征点341P1/rf的位置。
图4描绘了根据一个或多个实施例的用于至少部分地基于拖车位置来控制车辆的方法400的流程图。方法400可由任何合适的处理系统和/或处理设备实行，诸如图1的处理系统110、图6的处理系统600或另一合适的处理设备和/或处理系统。
在框402处，特征提取引擎112从与车辆(例如车辆100)相关联的摄像机(例如，摄像机120-123、130-133中的一个或多个)捕获的图像中，提取联接到该车辆的拖车(例如拖车201)上的特征点(例如特征点341)。
在框404处，位置确定引擎114确定拖车上的特征点与虚拟边界之间的距离。
在框406处，当确定拖车上的特征点与虚拟边界之间的距离小于阈值时，车辆控制引擎116控制车辆以使拖车上的特征点与虚拟边界之间的距离增加。
还可包括其它过程，且应明白，图4中所描绘的过程代表一个示例，且可添加其它过程或可移除、修改或重新布置现有过程，而不脱离本发明的范围和精神。
图5描绘了根据一个或多个实施例的用于至少部分地基于拖车位置来控制车辆的方法500的流程图。方法500可由任何合适的处理系统和/或处理设备实行，例如图1的处理系统110、图6的处理系统600或另一合适的处理设备和/或处理系统。
在框502处，方法500开始并接收信息，诸如车辆和拖车尺寸、摄像机位置、俯仰角阈值φth等信息。在判定框504处，确定是否存在两个不同摄像机(例如，摄像机121和摄像机123)都可获得的特征点。这确定是使用基于两个摄像机的估计505还是使用基于一个摄像机的估计513。
当在判定框504处确定存在两个不同摄像机都可获得的特征点时，利用基于双摄像机的估计505。在框506处，特征提取引擎112使用利用两个不同摄像机的三角测量技术来估计拖车前端的前端特征点。在框508处，特征提取引擎112通过比较由摄像机产生的图像(即帧)来验证该估计。在框510处，特征提取引擎112基于前端拐角、拖车长度和俯仰角阈值φth来估计拖车后端拐角的可接受范围。接着在判定框512处，确定后端特征点是否在可接受范围内。如果否，则方法500返回到框502。然而，如果后端特征点在可接受范围内，则方法进行到框518，并且完成基于双摄像机的估计505。
当在判定框504处确定不存在对于两个不同摄像机都可获得的特征点时，利用基于一个摄像机的估计513。在框514处，特征点引擎112使用单个摄像机(例如摄像机121)来估计后特征点。在框516处，特征点引擎112通过比较由摄像机产生的图像(即帧)来验证估计。该方法进行至框518，并且完成基于单摄像机的估计513。
在框518处，位置确定引擎114确定特征点(来自基于两个摄像机的估计505或基于一个摄像机的估计513)与虚拟边界之间的距离“c”。接着在判定框520处，确定特征点是否距虚拟边界可接收的距离(即可接受的距离“c”是否大于阈值)。如果在判定框520处确定距离“c”是可接受的，则方法500结束或返回到框502。如果在判定框520处确定距离“c”不可接受，则该方法进行至框522，并且车辆控制引擎116发送命令以使车辆移动，从而使得车辆相对于其中心线(例如中心线204)移位，以使距离“c”是可接受的(即大于阈值)。然后方法500返回至框502并重新启动。
还可包括其它过程，且应了解，图5中所描绘的过程表示一个示例，且可添加其它过程或可移除、修改或重新布置现有工艺，而不脱离本发明的范围和精神。
应当理解，本公开能够结合现在已知或以后开发的任何类型的计算环境来实现。例如，图6描绘用于实现本文所述技术的处理系统600的框图。在示例中，处理系统600具有一个或多个中央处理单元(处理器)621a、621b、621c等(统称或通称为处理器621和/或处理设备)。在本发明的方面中，每一处理器621可包括精简指令集计算机(RISC)微处理器。处理器621通过系统总线633耦合到系统存储器(例如随机存取存储器(RAM)624)和各种其它组件。只读存储器(ROM)622耦合到系统总线633，且可以包括基本输入/输出系统(BIOS)，其控制处理系统600的某些基本功能。
进一步描绘的是耦合到系统总线633的输入/输出(I/O)适配器627和网络适配器626。I/O适配器627可以是小型计算机系统接口(SCSI)适配器，其与硬盘623和/或另一存储驱动器625或任何其它类似组件通信。I/O适配器627、硬盘623和存储设备625在这里统称为大容量存储器634。用于在处理系统600上执行的操作系统640可以存储在大容量存储器634中。网络适配器626将系统总线633与外部网络636互连，使得处理系统600能够与其它这样的系统通信。
显示器(例如显示监视器)635通过显示适配器632连接到系统总线633，显示适配器632可以包括图形适配器以改善图形密集型应用和视频控制器的性能。在本发明的一个方面中，适配器626、627和/或232可经由中间总线桥(未图示)连接到与系统总线633连接的一个或多个I/O总线。用于连接诸如硬盘器控制器、网络适配器和图形适配器的外围设备的适当I/O总线通常包括诸如外围组件互连(PCI)的通用协议。附加的输入/输出设备显示经由用户接口适配器628和显示适配器632连接到系统总线633。键盘629、鼠标630和扬声器631(举例而言)可以经由用户接口适配器628互连到系统总线633，用户接口适配器628可以包括例如超级I/O芯片，其将多个设备适配器集成到单个集成电路中。
在本公开的一些方面中，处理系统600包括图形处理单元637。图形处理单元637是专用电子电路，其设计成操纵和改变存储器以加速帧缓冲器中用于输出到显示器的图像的创建。一般来说，图形处理单元637在操纵计算机图形和图像处理方面非常有效，且具有高度并行结构，这使得其对于并行完成大数据块处理的算法比通用CPU更有效。
因此，如本文所配置，处理系统600包括：处理器621形式的处理能力，包括系统存储器(例如RAM 624)的存储能力，大容量存储器634，诸如键盘629和鼠标630的输入装置，以及包括扬声器631和显示器635的输出能力。在本公开的一些方面中，系统存储器(例如RAM624)的一部分和大容量存储器634共同存储操作系统以协调处理系统600中所示的各种组件的功能。
虽然已经参考示例性实施例描述了以上公开，但是本领域技术人员将理解的是，在不脱离其范围的情况下，可以进行各种改变并且等效物可以被替换用于其元件。此外，在不脱离其基本范围的情况下，可以进行许多修改以使特定情况或材料适应本公开的教导。因此，本公开并不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种计算机实现的方法，包括：
通过处理设备从由与车辆相关联的摄像机捕获的图像中提取拖车上的特征点，所述拖车联接到所述车辆；
通过所述处理设备确定所述拖车上的所述特征点与虚拟边界之间的距离；以及
响应于确定所述拖车上的所述特征点与所述虚拟边界之间的所述距离小于阈值，通过所述处理设备控制所述车辆，使得所述拖车上的所述特征点与所述虚拟边界之间的所述距离增加。
2.根据权利要求1所述的计算机实现的方法，进一步包括通过所述处理设备至少部分地基于检测到的道路特征来生成所述虚拟边界。
3.根据权利要求1所述的计算机实现的方法，其中，控制所述车辆包括使所述车辆经历相对于与所述车辆相关联的中心线的移位。
4.根据权利要求1所述的计算机实现的方法，进一步包括在提取所述特征点之前，使用所述摄像机捕获多个图像，其中所述图像是所述多个图像中的一个。
5.根据权利要求1所述的计算机实现的方法，其中，所述特征点是第一特征点，所述图像是第一图像，并且所述摄像机是第一摄像机，所述方法还包括通过所述处理设备从由与所述车辆相关联的第二摄像机捕获的第二图像中提取所述拖车上的第二特征点。
6.根据权利要求5所述的计算机实现的方法，其中，所述拖车上的所述第一特征点与所述虚拟边界之间的距离至少部分地基于三角测量法来确定。
7.根据权利要求1所述的计算机实现的方法，其中，所述阈值至少部分地基于道路特性和车辆速度。
8.一种系统，包括：
存储器，其包括计算机可读指令；以及
处理设备，其用于执行用于实行包括如下方法的计算机可读指令：
通过所述处理设备从由与车辆相关联的摄像机捕获的图像中提取拖车上的特征点，所述拖车联接到所述车辆；
通过所述处理设备确定所述拖车上的所述特征点与虚拟边界之间的距离；以及
响应于确定所述拖车上的所述特征点与所述虚拟边界之间的所述距离小于阈值，通过所述处理设备控制所述车辆，使得所述拖车上的所述特征点与所述虚拟边界之间的所述距离增加。
9.根据权利要求8所述的系统，其中，所述方法进一步包括通过所述处理设备至少部分地基于检测到的道路特征来生成所述虚拟边界。
10.根据权利要求8所述的系统，其中，控制所述车辆包括使所述车辆经历相对于与所述车辆相关联的中心线的移位。
CN201910397251.0A 2018-06-07 2019-05-13 基于拖车位置来控制车辆 Active CN110576863B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/002,460 US10926759B2 (en) 2018-06-07 2018-06-07 Controlling a vehicle based on trailer position
US16/002460 2018-06-07

Publications (2)

Publication Number Publication Date
CN110576863A true CN110576863A (zh) 2019-12-17
CN110576863B CN110576863B (zh) 2022-07-05

Family

ID=68651849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910397251.0A Active CN110576863B (zh) 2018-06-07 2019-05-13 基于拖车位置来控制车辆

Country Status (3)

Country Link
US (1) US10926759B2 (zh)
CN (1) CN110576863B (zh)
DE (1) DE102019112494A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
US10744943B1 (en) * 2019-04-08 2020-08-18 Ford Global Technologies, Llc System and method for trailer alignment
JP7156218B2 (ja) * 2019-09-06 2022-10-19 トヨタ自動車株式会社 運転支援装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007060135A1 (de) * 2005-11-22 2007-05-31 Continental Teves Ag & Co. Ohg Verfahren und fahrdynamikregelsystem zum stabilisieren eines fahrzeuggespanns
US9656606B1 (en) * 2014-05-30 2017-05-23 State Farm Mutual Automobile Insurance Company Systems and methods for alerting a driver to vehicle collision risks
CN107624155A (zh) * 2014-12-05 2018-01-23 苹果公司 自主导航系统
CN107804226A (zh) * 2016-09-08 2018-03-16 德尔福技术有限公司 拖车车道偏离警告和摇摆警报

Family Cites Families (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606027B1 (en) * 1998-09-14 2003-08-12 Michael J. Reeves Vehicle safety sensor system
US20040046647A1 (en) * 2000-11-21 2004-03-11 Reeves Michael J. Vehicle safety sensor system
JP3915785B2 (ja) * 2004-02-09 2007-05-16 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP3900162B2 (ja) * 2004-02-09 2007-04-04 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
EP1717757A1 (de) * 2005-04-28 2006-11-02 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur grafischen Darstellung der Umgebung eines Kraftfahrzeugs
JP3885818B2 (ja) * 2005-05-27 2007-02-28 トヨタ自動車株式会社 車両逸脱判定装置
US7509199B2 (en) * 2006-06-30 2009-03-24 Deere & Company System and method for calculating instantaneous placement corrections to achieve towed implement placement on curved paths
JP2009060499A (ja) * 2007-09-03 2009-03-19 Sanyo Electric Co Ltd 運転支援システム及び連結車両
US8010252B2 (en) * 2007-10-05 2011-08-30 Ford Global Technologies Trailer oscillation detection and compensation method for a vehicle and trailer combination
US8308182B2 (en) * 2008-07-16 2012-11-13 Ford Global Technologies, Llc Trailer connection assist system
US8401744B2 (en) * 2008-07-22 2013-03-19 Trimble Navigation Limited System and method for configuring a guidance controller
US8112201B2 (en) * 2008-10-02 2012-02-07 Trimble Navigation Limited Automatic control of passive, towed implements
JP5007840B2 (ja) * 2009-05-22 2012-08-22 トヨタ自動車株式会社 運転支援装置
US8838353B2 (en) * 2009-07-24 2014-09-16 Robert Bosch Gmbh Trailer sway mitigation using measured distance between a trailer and a tow vehicle
US8655536B2 (en) * 2009-11-16 2014-02-18 Trimble Navigation Limited Method and system for augmenting a guidance system with a path sensor
FI124208B (fi) * 2010-02-24 2014-05-15 Sandvik Mining & Constr Oy Louhitun kallioaineksen kuljetukseen soveltuva kuljetuslaite ja sen perävaunu
JP5080602B2 (ja) * 2010-03-19 2012-11-21 日立オートモティブシステムズ株式会社 車両制御装置
US9085261B2 (en) * 2011-01-26 2015-07-21 Magna Electronics Inc. Rear vision system with trailer angle detection
EP2683164B1 (en) * 2011-03-02 2017-04-12 Panasonic Intellectual Property Management Co., Ltd. Driving assistance device and towing vehicle
US9238483B2 (en) * 2011-04-19 2016-01-19 Ford Global Technologies, Llc Trailer backup assist system with trajectory planner for multiple waypoints
US9926008B2 (en) * 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9854209B2 (en) * 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9708000B2 (en) * 2011-04-19 2017-07-18 Ford Global Technologies, Llc Trajectory planner for a trailer backup assist system
US10520581B2 (en) * 2011-07-06 2019-12-31 Peloton Technology, Inc. Sensor fusion for autonomous or partially autonomous vehicle control
US8700282B2 (en) * 2011-07-28 2014-04-15 Advics Co., Ltd. Method and apparatus for vehicle sway detection and reduction
FI123746B (fi) * 2011-11-22 2013-10-15 Cargotec Finland Oy Järjestelmä konttipaikan osoittamiseksi ja mittaamiseksi konteilla kuormattavassa ajoneuvossa ja/tai sen perävaunussa
US9861040B2 (en) * 2012-02-10 2018-01-09 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
US9269263B2 (en) * 2012-02-24 2016-02-23 Magna Electronics Inc. Vehicle top clearance alert system
US20140057237A1 (en) * 2012-08-27 2014-02-27 Stephen Chen Method for parking a vehicle by using a parking assistant system
US9558409B2 (en) * 2012-09-26 2017-01-31 Magna Electronics Inc. Vehicle vision system with trailer angle detection
US9026311B1 (en) * 2013-03-13 2015-05-05 Tuson Rv Brakes, Llc Trailer sway detection and method for reducing trailer sway utilizing trailer brakes
GB2513393B (en) * 2013-04-26 2016-02-03 Jaguar Land Rover Ltd Vehicle hitch assistance system
DE102013104256A1 (de) * 2013-04-26 2014-10-30 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Schätzung der Anzahl von Fahrspuren
US10755110B2 (en) * 2013-06-28 2020-08-25 Magna Electronics Inc. Trailering assist system for vehicle
GB2520474B (en) * 2013-07-04 2017-10-25 Jaguar Land Rover Ltd Vehicle Control System
WO2015087395A1 (ja) * 2013-12-10 2015-06-18 三菱電機株式会社 走行制御装置
US9120359B2 (en) * 2013-12-13 2015-09-01 Honda Motor Co., Ltd. Method and system for stability control
WO2015134886A1 (en) * 2014-03-06 2015-09-11 Raven Industries, Inc. System and method for sensing an edge
JP5798658B1 (ja) * 2014-03-28 2015-10-21 富士重工業株式会社 車両の車線逸脱防止制御装置
JP5936281B2 (ja) * 2014-03-31 2016-06-22 富士重工業株式会社 車両の車線逸脱防止制御装置
US9342747B2 (en) * 2014-04-14 2016-05-17 Bendix Commercial Vehicle Systems Llc Vehicle driver assistance apparatus for assisting a vehicle driver in maneuvering the vehicle relative to an object
US9454155B2 (en) * 2014-06-02 2016-09-27 Trimble Navigation Limited Implement guidance
US9437055B2 (en) * 2014-08-13 2016-09-06 Bendix Commercial Vehicle Systems Llc Cabin and trailer body movement determination with camera at the back of the cabin
WO2016027351A1 (ja) * 2014-08-21 2016-02-25 日産自動車株式会社 運転支援装置及び運転支援方法
JP5947849B2 (ja) * 2014-09-17 2016-07-06 富士重工業株式会社 車両の車線逸脱防止制御装置
KR20160041445A (ko) * 2014-10-07 2016-04-18 현대모비스 주식회사 영상인식을 통한 트레일러 궤적 추정 시스템 및 방법
US9821847B2 (en) * 2015-11-24 2017-11-21 Deere & Company Method for guiding an off-road vehicle along a curved path
US9849911B2 (en) * 2016-02-26 2017-12-26 GM Global Technology Operations LLC Enhanced vehicle lateral control (lane following/lane keeping/lane changing control) for trailering vehicles
US9849878B2 (en) * 2016-02-26 2017-12-26 GM Global Technology Operations LLC System and method for providing a corrected lane following path through a curve for trailering vehicles
US9738125B1 (en) * 2016-05-17 2017-08-22 Horizon Global Americas Inc. Communication device, system, and method for active control of external vehicle components
US10259390B2 (en) * 2016-05-27 2019-04-16 GM Global Technology Operations LLC Systems and methods for towing vehicle and trailer with surround view imaging devices
DE102016114060A1 (de) * 2016-07-29 2018-02-01 Connaught Electronics Ltd. Verfahren zum Bestimmen eines geometrischen Parameters eines Anhängers eines Gespanns mit einem Kraftfahrzeug und dem Anhänger, Detektionssystem, Fahrerassistenzsystem und Kraftfahrzeug
US10207643B2 (en) * 2016-09-06 2019-02-19 Aptiv Technologies Limited Camera based trailer detection and tracking
EP3355293A1 (en) * 2017-01-27 2018-08-01 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH A sensor arrangement and a method for detecting an object around a trailer of a vehicle
US20180237012A1 (en) * 2017-02-22 2018-08-23 Ford Global Technologies, Llc Autonomous vehicle towing
US10358089B2 (en) * 2017-03-28 2019-07-23 GM Global Technology Operations LLC Method and apparatus for triggering hitch view
DE102017106952A1 (de) * 2017-03-31 2018-10-04 Connaught Electronics Ltd. Abstandssteuerung für ein fahrzeug mit anhänger
DE102017004651A1 (de) * 2017-05-16 2018-11-22 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Trajektorienplanung
US20180372875A1 (en) * 2017-06-27 2018-12-27 Uber Technologies, Inc. Sensor configuration for an autonomous semi-truck
US10532698B2 (en) * 2017-07-14 2020-01-14 Magna Electronics Inc. Trailer angle detection using rear backup camera
US10684625B2 (en) * 2017-08-30 2020-06-16 Robert Bosch Gmbh Automated parking for virtual parking spot
US10455755B2 (en) * 2017-08-31 2019-10-29 Cnh Industrial America Llc System and method for strip till implement guidance monitoring and adjustment
US10710585B2 (en) * 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
US11052913B2 (en) * 2017-10-23 2021-07-06 Uatc, Llc Cargo trailer sensor assembly
US10761534B2 (en) * 2018-01-30 2020-09-01 Uatc, Llc Fused sensor view for self-driving truck
CA3090668C (en) * 2018-02-26 2022-09-13 Fedex Corporate Services, Inc. Systems and methods for enhanced collision avoidance on logistics ground support equipment using multi-sensor detection fusion
US20190276078A1 (en) * 2018-03-08 2019-09-12 GM Global Technology Operations LLC Trailer reverse guidance graphics
EP3787912B1 (en) * 2018-05-01 2023-07-12 Continental Autonomous Mobility US, LLC Tow vehicle and trailer alignment
US10628690B2 (en) * 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
US11454970B2 (en) * 2018-05-21 2022-09-27 Cummins Inc. Adjustment of autonomous vehicle control authority
US10919572B2 (en) * 2018-06-07 2021-02-16 GM Global Technology Operations LLC Controlling a vehicle based on trailer sway
US10926759B2 (en) * 2018-06-07 2021-02-23 GM Global Technology Operations LLC Controlling a vehicle based on trailer position
US10632919B2 (en) * 2018-06-27 2020-04-28 Ford Global Technologies, Llc Vehicle hitch assist system
EP3911547A4 (en) * 2018-07-07 2022-10-26 Peloton Technology, Inc. AUTOMATIC FOLLOWING CONTROL IN VEHICLE CONVOYS
US11247610B2 (en) * 2018-09-20 2022-02-15 Continental Automotive Systems, Inc. Trailer edge tracking
US11077795B2 (en) * 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007060135A1 (de) * 2005-11-22 2007-05-31 Continental Teves Ag & Co. Ohg Verfahren und fahrdynamikregelsystem zum stabilisieren eines fahrzeuggespanns
US9656606B1 (en) * 2014-05-30 2017-05-23 State Farm Mutual Automobile Insurance Company Systems and methods for alerting a driver to vehicle collision risks
CN107624155A (zh) * 2014-12-05 2018-01-23 苹果公司 自主导航系统
CN107804226A (zh) * 2016-09-08 2018-03-16 德尔福技术有限公司 拖车车道偏离警告和摇摆警报

Also Published As

Publication number Publication date
DE102019112494A1 (de) 2019-12-12
US20190375399A1 (en) 2019-12-12
US10926759B2 (en) 2021-02-23
CN110576863B (zh) 2022-07-05

Similar Documents

Publication Publication Date Title
CN110576863B (zh) 基于拖车位置来控制车辆
US9211889B1 (en) Enhanced blind spot detection for vehicle with trailer
US9619719B2 (en) Systems and methods for detecting traffic signs
US10325171B2 (en) Object detection device, driving assistance device, object detection method, and object detection program
CN112349144B (zh) 一种基于单目视觉的车辆碰撞预警方法及系统
US9120486B1 (en) Vehicle lane keeping techniques
CN110576862B (zh) 基于拖车摇摆控制车辆
JP2018142309A (ja) 仮想車路生成装置及び方法
JP6246014B2 (ja) 外界認識システム、車両、及びカメラの汚れ検出方法
US10795370B2 (en) Travel assist apparatus
CN109977776B (zh) 一种车道线检测方法、装置及车载设备
US11288833B2 (en) Distance estimation apparatus and operating method thereof
KR101968349B1 (ko) 영상 정보를 이용한 차선 경계 검출 방법
JP6139465B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
US20190389455A1 (en) Blended autonomous driving system
US10997431B2 (en) Controlling a vehicle using an alternate anchor line
JP7107931B2 (ja) 移動オブジェクトのレンジを推定する方法および装置
US20160314359A1 (en) Lane detection device and method thereof, and lane display device and method thereof
CN112977465A (zh) 用于确定机动车辆中的拖车挂钩铰接角度的方法和设备
US20210208588A1 (en) Sensor coverage analysis for automated driving scenarios involving intersections
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
CN114644014A (zh) 一种基于车道线的智能驾驶方法及相关设备
Tseng et al. A DSP-based lane recognition method for the lane departure warning system of smart vehicles
CN113963066A (zh) 基于车道线的车载全景摄像头标定方法、装置及存储介质
CN114475780A (zh) 一种自动泊车方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant