CN113247009A - 用于确定机动车辆中拖车尺寸的方法和设备 - Google Patents

Abstract

提供了用于确定拖车尺寸的方法和装置，包括用于生成深度图的雷达，其中深度图包括第一拖车表面的检测、用于生成第一拖车表面的图像的摄像头、可操作为响应于深度图确定第一拖车表面的第一尺寸以及响应于第一尺寸和所述图像确定第一拖车表面的第二尺寸的处理器、以及响应于第一尺寸和第二尺寸控制车辆的车辆控制器。

Description

用于确定机动车辆中拖车尺寸的方法和设备

技术领域

本公开总体上涉及一种使用摄像头和车辆雷达来确定三维拖车测量值的系统，以在机动车辆的拖车应用中使用。更具体地，本公开的一些方面涉及系统、方法和设备，以用于通过安装在牵引车后壳板后方的一个或多个车辆雷达获得拖车长度和宽度，并使用雷达和摄像头融合方法确定拖车高度。

背景技术

对于许多驾驶员和自动驾驶系统来说，用牵引车拉动拖车一直是并且仍然是一项复杂的工作。球形挂钩通常用作拖车连接件，并在牵引车和拖车之间提供接头。对准拖车包括将拖车的后部转向拖车所需方向的相反方向。此外，驾驶员视线经常被拖车遮挡，从而需要车辆外部的第二个人在倒车操作期间获得视觉确认并向驾驶员提供反馈。对于配备自动和高级驾驶员辅助系统(automated and advanced driver assistance system：ADAS)的车辆，可靠地确定拖车尺寸是执行ADAS功能的关键组成部分，例如带有拖车的自动车辆操作、杰克刀检测和全自动拖车驻车。不同的拖车有不同的尺寸，从而使ADAS的车辆操作复杂化。希望在克服上述问题的同时，通过ADAS提供改进的拖车测量检测。

在这个背景部分中公开的上述信息仅仅是为了增强对本发明背景的理解，因此它可能包含不构成本国对于本领域普通技术人员已经公知的现有技术的信息。

发明内容

本文公开了车辆制动方法和系统以及用于设置车辆系统的相关控制逻辑，制造这种系统的方法和操作这种系统的方法，以及装备有车载控制系统的机动车辆。作为示例而非限制，呈现了用于机动车辆中进行拖车操作的拖车尺寸自动估计的各种实施例，并且在此公开了用于执行机动车辆中拖车操作的拖车尺寸自动估计的方法。

根据本发明的一个方面，提供了一种设备，具有：雷达，其用于生成深度图，其中深度图包括第一拖车表面的检测；摄像头，其用于生成第一拖车表面的图像；处理器，其可操作为响应于深度图确定第一拖车表面的第一尺寸以及响应于第一尺寸和所述图像确定第一拖车表面的第二尺寸的；以及车辆控制器，其响应于第一尺寸和第二尺寸控制车辆。

根据本发明的另一方面，处理器可操作为响应于深度图确定第二拖车表面的第二尺寸，其中第一尺寸和第二尺寸是水平尺寸。

根据本发明的另一方面，其中响应于图像内的像素比和第一尺寸来确定第二尺寸。

根据本发明的另一方面，其中第一拖车表面是拖车的前表面。

根据本发明的另一方面，其中响应于车辆倒车操作来捕捉图像。

根据本发明的另一方面，其中车辆控制器还可操作为在深度图的生成期间沿着一路径控制车辆，其中该路径不平行于第一拖车表面。

根据本发明的另一方面，其中响应于用户输入来生成雷达图。

根据本发明的另一方面，其中雷达图是响应于来自高级驾驶辅助系统的控制信号而生成的。

根据本发明的另一方面，一种方法，用于通过雷达捕捉雷达图，其中雷达图指示出第一拖车表面的位置，通过摄像头捕捉图像，其中图像包括第一拖车表面，使用处理器响应于雷达图估计第一拖车表面的第一尺寸，使用处理器并响应于第一尺寸和所述图像估计第一拖车表面的第二尺寸，将第一尺寸和第二尺寸传输到车辆控制器，响应于第一尺寸和第二尺寸，使用车辆控制器控制执行拖车操作的车辆。

根据本发明的另一方面，还可操作为响应于雷达图确定第二拖车表面的第三尺寸，其中第一尺寸和第三尺寸是拖车的宽度和长度。

根据本发明的另一方面，其中雷达图是在车辆行驶在靠近拖车的路径上时生成的，其中该路径不平行于第一拖车表面或第二拖车表面。

根据本发明的另一方面，其中控制车辆包括在牵引操作期间执行自动驾驶辅助算法。

根据本发明的另一方面，其中由后视摄像头捕捉图像。

根据本发明的另一方面，其中响应于车辆倒车操作捕捉图像。

根据本发明的另一方面，其中响应于通过用户界面接收的用户命令生成雷达图。

根据本发明的另一方面，其中响应于图像内的像素比和第一尺寸来确定第二尺寸。

根据本发明的另一方面，一种高级驾驶员辅助系统，具有用于生成深度图的雷达，其中深度图指示出拖车的第一表面和拖车的第二表面；用于捕捉第一表面的图像的摄像头；处理器，其被配置为响应于第一表面和第二表面确定拖车的宽度和长度，该处理器还可操作为响应于拖车的宽度和所述图像来确定拖车的高度；以及车辆控制器，其被配置以响应于拖车的宽度、长度和高度来执行辅助驾驶操作。

根据本发明的另一方面，其中响应于在用户界面接收的用户输入来生成深度图。

根据本发明的另一方面，其中高级驾驶员辅助系统在深度图的生成过程中可操作以横穿接近拖车的路径。

根据本发明的另一方面，其中车辆控制器还可操作为控制包括高级驾驶员辅助程序的车辆，使得第一表面和第二表面在深度图生成期间暴露于雷达的视野。

附图说明

下文将结合以下附图描述示例性实施例，其中相同的附图标记表示相同的元件，并且其中:

图1示出了根据本公开的示例性实施例的用于确定机动车辆中拖车挂接装置铰接角度的方法和设备的应用。

图2示出了根据本公开的示例性实施例的用于确定机动车辆中拖车挂接装置铰接角度的系统的示例性实施例的示例性图像。

图3示出了根据本公开的示例性实施例的用于确定机动车辆中拖车挂接装置铰接角度的示例性系统框图。

图4示出了说明根据本公开的示例性实施例的用于确定机动车辆中拖车挂接装置铰接角度的方法流程图。

图5示出了根据本公开的另一示例性实施例的用于确定机动车辆中拖车挂接装置铰接角度的系统框图；和

图6示出了说明根据本公开的另一示例性实施例的用于确定机动车辆中拖车挂接装置铰接角度的方法流程图。

这里阐述的例子说明了本发明的优选实施例，并且这些例子不应被解释为以任何方式限制本发明的范围。

具体实施方式

以下详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，不打算受前面的技术领域、背景、简要概述或下面的详细描述中提出的任何明示或暗示的理论的约束。如这里所使用的，术语模块指的是专用集成电路(ASIC)、电子电路、处理器(共享的、专用的或成组的)和执行一个或多个软件或固件程序的存储器、组合逻辑电路和/或提供所述功能的其他合适的组件。

当执行ADAS拖车操作时，精确的拖车尺寸是算法安全可靠运行的必要输入。每辆拖车可能具有不同的尺寸和操作特点，从而使关于拖车参数的一般假设效率低下。该示例性算法和启用该算法的系统可操作为使用安装在车辆后壳板(vehicle rear fascia)后方的两个短程雷达来获得拖车长度和宽度。此外，可以使用雷达和摄像头融合方法来确定拖车高度。该系统可操作为用于通过所配备的车辆对拖车执行经过(pass)来确定拖车的长度和宽度。该系统可以使用来自雷达系统的检测响应来确定拖车的长度和宽度。此外，可以响应于雷达信号接收功率幅值来确定车辆相对于拖车的经过角度(pass angle)。

现在转向图1，示出了根据本公开的示例性实施例的用于确定拖车尺寸的方法和设备的示例性环境100。示例性环境100以自上而下的透视图描绘，示出了具有车辆中心线120的牵引车110和具有拖车中心线150的拖车140。示例性牵引车110配备有具有雷达视场(FOV)130的车辆雷达系统。

在该示例性实施例中，牵引车110通过沿车辆中心线120的方向向前行驶经过拖车140并通过拖车140的操纵，来执行一次经过。距离测量(range measurement)和所接收的功率都可用于精确确定拖车长度和宽度。牵引车110以一定角度而不是平行于拖车而经过拖车140，以改善信噪比并提高拖车长度和宽度检测的准确性。在该示例性实施例中，当牵引车110沿平行于车辆中心线120的方向行驶并且雷达FOV 130经过拖车140时，该系统可操作为检测来自拖车的雷达信号反射以及从沿着拖车的点反射的雷达信号幅值。响应于这些反射和幅值，该系统可操作为估计拖车尺寸。

在示例性实施例中，反射雷达信号的幅值也可用于确定车辆中心线120和拖车中心线150之间的角度。车辆中心线120和拖车中心线150之间的角度可以通过使用距离测量和使用通过检查接收功率获得的有效车辆行驶距离来估计。因此，拖车长度或宽度，特别是带有圆角的拖车，可以通过仅使用距离数据的方法进行比较来准确确定。

现在转到图2，示出了用于确定机动车辆中拖车高度的示例性环境200。示例性环境200示出了拖车230和摄像头220。摄像头220可以安装在车辆后壳板等中，并且可以安装在参考图1描述的一个或多个车辆雷达附近。例如，摄像头220可以是强制后视摄像头，其通常用于在支持操作(backing up operation)期间减轻后方盲点。在该示例性实施例中，拖车高度可以使用车辆雷达输出与由车辆摄像头220捕捉的图像的融合来确定。通常，由于雷达的FOV有限，仅使用雷达信号可能难以获得拖车高度。典型地，车载雷达在水平FOV中进行扫描，并且不能区分视场内物体的高度。同时，摄像头220具有可行的宽视角，但是由于在同一图像帧中缺乏参考测量，因此在推断绝对物体尺寸方面有其自身的困难。使用雷达和摄像头220融合技术，可以通过处理拖车图像来精确估计拖车高度，其中已经使用雷达信号确定了拖车宽度或长度。

在一个示例性实施例中，牵引车首先可操作为执行拖车230的雷达扫描道次，如参照图1所述。该系统可操作为，响应于雷达扫描道次，确定拖车的宽度(从M1到M2)。该系统接下来可操作为使用摄像头220来捕捉拖车230的前方的图像。在一个示例性实施例中，可以在倒车操作以将拖车230连接到牵引车挂接装置等的过程中捕捉图像。在一个示例性实施例中，可以使用边缘检测图像处理技术来确定拖车的高度(从M1到M3)，其中检测到的拖车230和拖车230的高度之间的图像像素比被用于估计拖车230的高度(已经预先确定了拖车230的宽度)。

现在转到图3，示出了根据本公开的示例性实施例的用于确定机动车辆300中的拖车尺寸的示例性系统的框图。系统300可以包括处理器330、车辆控制器345、用户接口模块350、视频控制器315、摄像头310、雷达320和雷达控制器325。

摄像头310可以是安装在车辆后部的后视摄像头，使得拖车挂接装置组件在摄像头捕捉的图像内可见。可选地，或者另外，摄像头310可以是安装在车辆周围的分开位置处的多个摄像头中的一个，然后在全景或俯视图中对准在一起。摄像头310可以将图像或一系列图像传输到处理器330或视频控制器315，用于处理图像并将该信号耦合到处理器330。

雷达320用于发射电磁信号，例如电磁脉冲，并从雷达320FOV内的物体或表面接收电磁脉冲的反射。雷达320可以是形成雷达阵列的多个雷达中的一个，其中多个雷达中的每一个都具有单独的FOV，从而可以生成合成雷达图来绘制主车辆周围的物体和表面。在一个示例性实施例中，雷达可操作为在雷达FOV内以离散的角度增量纵向发射脉冲，以生成FOV的二维深度图。在一个示例性实施例中，深度可以由雷达控制器325响应于从雷达320接收的数据来生成。在另一个示例性实施例中，雷达可操作为以纵向和仰角增量发送脉冲，并且可操作为生成FOV的三维深度图。此外，雷达发射器和接收器可以用激光雷达发射器和检测器代替，用于生成激光雷达FOV的二维或三维深度图。

用户界面模块350可以是按钮、触摸屏、拨号盘、车辆操作设定(例如拖车操作模式)、拖车界面或其他用户输入设备。用户界面模块350可用于接收指示执行拖车测量算法的请求的用户输入。例如，车辆操作者可以使用用户界面模块350来启动用于牵引车的拖车操作模式。

处理器330首先可操作地从雷达320或雷达控制器325接收雷达数据，该雷达数据给出在雷达FOV内距检测到的物体的距离和方向。接收到的雷达数据可以是雷达深度图等的形式，并且可以使用标准几何运算来估计拖车的一个或多个纵向尺寸。处理器330然后可操作为从摄像头310接收拖车的图像。处理器330然后可以使用响应于雷达数据计算的估计纵向尺寸和高度的比来估计拖车的高度。

在示例性实施例中，处理器330可以首先响应于从雷达接收的第一组雷达数据或者响应于图像和诸如边缘检测等图像处理技术来估计拖车中心线。然后，处理器330可操作为产生控制信号，以耦合到车辆控制器345或线路，以便沿着不平行于拖车中心线的路径控制车辆推进。处理器330可以产生控制信号，直到雷达320已经完成对拖车的完整扫描。在一个示例性实施例中，处理器330可以生成车辆控制信号，以耦合到车辆控制器345，使得拖车的两侧被具有不同视场的一个或多个雷达320扫描。

在一个示例性实施例中，处理器330然后可操作为将估计的拖车尺寸传输到车辆控制器345等。车辆控制器345可操作为响应于拖车尺寸而执行自动驾驶系统操作，例如拖车倒车操作或自动驾驶操作。

在示例性实施例中，处理器330是ADAS控制器，并且测量算法由ADAS车辆控制器执行。ADAS控制器可用于沿所述路径控制车辆的推进，以完成雷达扫描。ADAS车辆控制器然后可以定位车辆，使得拖车在摄像头310FOV内，并且使得可以捕捉图像来估计拖车的高度。

现在转到图4，示出了根据本公开的示例性实施例的用于确定机动车辆400中拖车尺寸的示例性方法流程图。在该示例性实施例中，该方法首先操作为接收测量请求的指示405。测量请求可以响应于在用户界面处接收的用户输入而产生，例如车辆牵引操作模式的启动，或者可以响应于由ADAS产生的请求而产生。可以响应于车辆驾驶员按人机界面产生的提示(例如扬声器或视觉提示)控制车辆，从而执行该方法。可选地，在测量操作期间，车辆可以由ADAS自动控制，或者可以在牵引模式启动后，在车辆的独立操作期间尝试执行该方法。例如，如果驾驶员启动车辆的牵引模式，在试图将牵引车与拖车挂接装置对准的同时驶过拖车并在拖车前方倒车，则该方法可以试图定位拖车并执行测量操作，而无需驾驶员干预或得知该操作。如果测量不成功，系统可能会提示驾驶员或ADAS执行车辆操作以完成测量，或者可以估计拖车尺寸，并在牵引操作期间继续尝试测量拖车。

响应于测量系统的启动，该方法接下来执行(410)FOV的雷达扫描。雷达扫描是通过用雷达发射器以已知的仰角和方位角发射电磁脉冲来完成的。电磁脉冲的反射可以由雷达接收器接收。响应于电磁脉冲的传播时间，确定在仰角和方位角下与物体或表面相距的距离。该测量以规则的角度方位增量重复进行，以生成雷达视场的雷达图。希望沿着不平行于拖车中心线的车辆中心线进行雷达扫描。在一个示例性实施例中，非平行中心线有助于两侧(例如拖车的侧面和前面)被雷达辐射，并在拖车的单次车辆经过时进行测量。

对响应于车辆经过而生成的雷达图做出响应，该示例性方法接下来可操作为估计(415)拖车宽度和长度。在一个示例性实施例中，可以根据在雷达图中检测到的矩形物体的最长边来估计长度。或者，可以通过最接近拖车最大允许宽度的一侧来估计拖车的宽度，该最大允许宽度通常为8.5英尺。或者，宽度可以被估计为两侧中较短的一个。可选地，可以响应于拖车挂接装置、拖车接口模块接合或拖车的牵引操作来确定宽度。

该方法接下来可操作为捕捉(420)拖车的图像。雷达图可用于确定拖车的方向，以确保拖车在摄像头的FOV内。当拖车挂接装置与牵引车对准时，可以响应于倒车操作来捕捉图像。可以响应于由ADAS生成的命令来捕捉图像。

该方法接下来操作以响应于捕捉的图像和估计的拖车宽度或高度之一来估计(435)拖车高度。例如，拖车尺寸的纵向估计之间的图像像素比可用于估计拖车高度。在一个示例性实施例中，响应于拖车侧面相对于摄像头FOV的角度来调整图像内的纵向估计。可以响应于对捕捉的图像所执行的边缘检测操作来估计拖车侧面角度。

该方法接下来可操作为将估计的拖车尺寸传输(440)到车辆控制系统等，以用于ADAS拖车操作等。在一个示例性实施例中，该方法接下来可操作为响应于估计的拖车尺寸来对执行辅助驾驶操作的车辆控制系统进行控制(455)。例如，该方法可操作为生成导航路线等，避开具有小于估计拖车高度的高度限制的道路。

现在转到图5，示出了根据本公开的另一示例性实施例的用于确定拖车尺寸的系统500的框图。该示例性系统包括雷达510、摄像头520、处理器530和车辆控制器540。

在该示例性嵌入中，装备有用于确定拖车尺寸的系统的车辆包括用于生成深度图的雷达510，其中深度图包括对第一拖车表面的检测。雷达510可以包括雷达发射器和接收器、雷达收发器，或者可以是具有多个雷达发射器和接收器的雷达阵列。在示例性实施例中，雷达510具有车辆附近区域的FOV，该区域受到雷达510的扫描能力的限制。雷达510操作为以规则的方位角增量发射电磁脉冲，并且如果发射的电磁脉冲从FOV内的物体反射，则接收所发射电磁脉冲的经反射的电磁脉冲反射。然后，雷达510和相关的电路和处理器可操作为生成雷达深度图，该深度图指示方位角和在该方位角下距离反射点的距离。雷达510和/或相关硬件还可用于将方位角和距离转换成x，y坐标系图。在示例性应用中，可以响应于用户输入或响应于来自ADAS的控制信号来生成雷达图。

该示例性系统可以进一步包括用于生成第一拖车表面的图像的摄像头520。摄像头520可以是安装在车辆上的多个摄像头中的一个，并且可以为捕捉摄像头的FOV图像。多个摄像头FOV的多个图像可以组合在全景图像等中，以生成第一拖车表面的图像。可以响应于车辆倒车操作、来自雷达510或处理器530表明拖车表面在摄像头520的FOV内的指示或车辆中拖车模式的启动来捕捉图像。

该示例性系统还可以包括处理器530，该处理器530可操作为响应于深度图确定第一拖车表面的第一尺寸，以及响应于第一尺寸和图像确定第一拖车表面的第二尺寸。处理器530可以是数字信号处理器、微处理器等，并且可以用于执行数学和几何运算。处理器530还可操作为响应深度图确定第二拖车表面的第二尺寸，其中第一尺寸和第二尺寸是水平尺寸。在示例性实施例中，可以响应于图像内的像素比和第一尺寸来确定第二尺寸。在示例性实施例中，第一拖车表面是拖车的前表面，第二拖车表面可以是拖车的侧表面。

该系统还可以包括车辆控制器540，用于响应于第一尺寸和第二尺寸来控制车辆。在另外的示例性实施例中，车辆控制器540还可操作用为在深度图的生成期间沿着一路径控制车辆，其中该路径不平行于第一拖车表面。

现在转到图6，示出了根据本公开的另一示例性实施例的用于确定拖车尺寸的方法600的流程图。示例性方法600首先用于生成(610)雷达图，其中雷达图指示第一拖车表面的位置。可以响应于由雷达发射器和接收器产生的数据而产生雷达图，其中该数据表示以一方位角发射的经反射电磁脉冲。第一拖车表面可以是拖车的一侧，例如拖车的前部、侧部或后部。

在第一示例性实施例中，雷达图是表示以方位角的规则增量接收的多个雷达反射的图，并且是代表雷达接收器的视场的二维表示。在另外的示例性实施例中，可以在车辆行驶在靠近拖车的路径上时生成雷达图，其中该路径不平行于第一拖车表面或第二拖车表面。雷达图的生成和方法的启动可以响应于用户而启动

该示例性方法接下来操作为捕捉(620)图像，其中该图像包括第一拖车表面。该图像可以由车载摄像头捕捉，例如通常安装在车辆后壳板中的后视摄像头，并且可以响应于牵引车中的倒车操作或牵引模式的接合中的一个或多个而被捕捉。

该示例性方法然后可操作为响应于雷达图来估计(630)第一拖车表面的第一尺寸。例如，第一尺寸可以是拖车长度，并且可以响应于雷达图由处理器来执行该估计。在另一个示例性实施例中，该方法还可操作为响应于雷达图确定第二拖车表面的第三尺寸，其中第一尺寸和第三尺寸是拖车的宽度和长度。

该示例性方法接下来可操作为使用处理器响应于第一尺寸和图像来估计(640)第一拖车表面的第二尺寸。在示例性实施例中，响应于图像内的像素比和第一尺寸来确定第二尺寸。

该示例性方法接下来可操作为将第一尺寸和第二尺寸传输(650)到车辆控制器。第一尺寸和第二尺寸可以通过CAN总线、内部车辆网络或其他局域网通信网络传输。在示例性实施例中，拖车的雷达图、摄像头图像、长度、宽度和高度可被传输到车辆控制器或ADAS控制器等。

该示例性方法接下来可操作为使用车辆控制器来控制(660)车辆，以响应于第一尺寸和第二尺寸执行牵引操作。在示例性应用中，控制车辆可以包括在牵引操作期间执行自动驾驶辅助算法。

虽然在前面的详细描述中已经给出了至少一个示例性实施例，但是应当理解，存在大量的变化。还应当理解，一个或多个示例性实施例仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供实现一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其合法等同物中阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

应当理解，在不脱离所附权利要求及其合法等同物中阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种装置，包括:

雷达，用于生成深度图，其中深度图包括对第一拖车表面的检测；

摄像头，用于生成第一拖车表面的图像；

处理器，用于响应于深度图确定第一拖车表面的第一尺寸，以及响应于第一尺寸和所述图像来确定第一拖车表面的第二尺寸；和

车辆控制器，响应于第一尺寸和第二尺寸来控制车辆。

2.根据权利要求1所述的设备，其中所述处理器还可操作为，响应于所述深度图来确定第二拖车表面的第二尺寸，其中所述第一尺寸和所述第二尺寸是水平尺寸。

3.根据权利要求1所述的设备，其中所述第二尺寸是响应于所述图像内的像素比和所述第一尺寸来确定的。

4.根据权利要求1所述的设备，其中所述第一拖车表面是拖车的前表面。

5.根据权利要求1所述的设备，其中响应于车辆倒车操作来捕捉所述图像。

6.根据权利要求1所述的设备，其中，所述车辆控制器还可操作为在深度图的生成期间沿着一路径控制车辆，其中，所述路径不平行于所述第一拖车表面。

7.根据权利要求1所述的设备，其中所述雷达图是响应于用户输入而生成的。

8.根据权利要求1所述的设备，其中响应于来自高级驾驶辅助系统的控制信号生成所述雷达图。

9.一种方法，包括:

通过雷达捕捉雷达图，其中所述雷达图指示出第一拖车表面的位置；

通过摄像头捕捉图像，其中该图像包括第一拖车表面；

响应于雷达图，使用处理器估计第一拖车表面的第一尺寸；

响应于第一尺寸和所述图像，使用处理器估计第一拖车表面的第二尺寸；

将第一尺寸和第二尺寸传输到车辆控制器；

响应于第一尺寸和第二尺寸，使用车辆控制器来控制车辆，该车辆执行牵引操作。

10.根据权利要求9所述的方法，还可操作为响应于所述雷达图确定第二拖车表面的第三尺寸，其中所述第一尺寸和第三尺寸是拖车的宽度和长度。

Images