CN112805207B - 用于自动车辆倒车的用户可调轨迹 - Google Patents

Abstract

提供了一种用于在向后方向上朝向兴趣点自主地操纵车辆的方法。方法包括从位于车辆后部的摄像机接收一个或多个图像。方法包括在一个或多个图像上叠加路径。另外，方法包括通过用户界面的方式接收命令。该命令包括调整路径的指令。方法包括基于所接收的命令来调整路径。方法还包括将驾驶命令发送到由车辆支持的驾驶系统。驾驶命令使车辆沿经调整的路径在向后方向上自主地操纵。

Description

用于自动车辆倒车的用户可调轨迹

技术领域

本公开涉及用于自动车辆倒车的用户可调轨迹的方法和设备。

背景技术

拖车通常是由动力牵引车牵引的无动力车辆。除其它外，拖车还可以是多用途拖车、折叠式拖车（popup camper）、旅行拖车、牲畜拖车、平板拖车、封闭式调度车和船拖车。牵引车可以是汽车、跨界车、卡车、货车、运动型多用途车(SUV)、休闲车(RV)或被配置成附接到拖车并牵引拖车的任何其它车辆。拖车可以使用拖车挂钩附接到动力车辆。接收者挂钩安装在牵引车上并且连接到拖车挂钩以形成连接。拖车挂钩可以是球窝、备用轮和鹅颈管、或拖车千斤顶。也可以使用其它附接机构。

计算和传感器技术的最新进展已经得到改进的车辆自主驾驶。因此，希望提供一种自动车辆倒车系统，其能够规划从牵引车到拖车的路径，从而允许车辆自主地操纵朝向拖车。

发明内容

本公开的一个方面提供了一种用于在向后方向上朝向兴趣点自主地操纵车辆的方法。方法包括在数据处理硬件处从位于车辆的后部上并且与数据处理硬件通信的摄像机接收一个或多个图像。方法还包括在数据处理硬件处将一个路径叠加在一个或多个图像上。该方法还包括在数据处理硬件处通过与数据处理硬件通信的用户界面的方式接收命令。该命令包括调整该路径的指令。方法还包括在数据处理硬件处基于所接收的命令来调整该路径。方法还包括将驾驶命令从数据处理硬件发送到与数据处理硬件通信的驾驶系统，该驾驶命令使车辆沿着调整的路径自主地操纵。

本公开的实施方案可以包括以下可选特征中的一个或多个。在一些实施方案中，命令包括用以调整所述路径的距离的指令、用以调整所述路径的角度的指令及/或用以调整所述路径的末端部分的角度的指令。在一些示例中，兴趣点是拖车。调整路径的末端部分的角度使得车辆的前后轴线与拖车的前后轴线对准。

在一些实施方案中，在发送驾驶命令之前，方法包括从驾驶员接收使得数据处理硬件发送驾驶命令的动作。方法还可以包括指示用户界面在车辆沿向后方向的自主操纵期间显示车辆相对于路径的位置。

本公开的另一方面提供了一种用于在向后方向上朝向兴趣点自主地操纵车辆的系统。系统包括：数据处理硬件；以及与数据处理硬件通信的存储器硬件。存储器硬件存储指令，当在数据处理硬件上执行时，所述指令使数据处理硬件施行包括上述方法的操作。

在附图和以下描述中阐述了本公开的一个或多个实施方案的细节。从说明书和附图以及从权利要求书中，其它方面、特征和优点将是显而易见的。

附图说明

图1是与拖车相距一定距离的示例性牵引车的示意性俯视图。

图2是具有挂钩辅助系统的示例性牵引车的示意图。

图3A和3B是系统的示例性状态图的示意图。

图4A和4B是示例性角度模式的示意图。

图5A和5B是示例性距离模式的示意图。

图6A和6B是示例性双弧模式的示意图。

图7是示例性轨迹规划系统的示意图。

图8是用于确定从拖车到驾驶员指定位置的路径的示例性方法的示意图。

在各个附图中相同的附图标记表示相同的元素。

具体实施方案

牵引车（诸如但不限于汽车、跨界车、卡车、货车、运动型多用途车(SUV)和休闲车(RV)）可以被配置成牵引拖车。牵引车通过拖车挂钩的方式连接到拖车上。希望具有一种能够自主地朝向驾驶员指定位置(例如拖车)倒车的牵引车，所述驾驶员指定位置是从车辆的向后环境的图像中识别的并显示在用户界面(诸如用户显示器)上。

参照图1-7，在一些实施方案中，牵引车100的驾驶员想要指定牵引车100后方的位置或拖车200，使得牵引车100能够自主地朝向该位置或拖车200操纵。当牵引车100和拖车200对准时，牵引车100可以(例如，通过驾驶员的方式或自主地)与拖车200联结。在一些示例中，牵引车100包括具有牵引球122的牵引挂钩120。拖车200包括拖车挂钩210，其包括拖车联接器212和牵引杆214。因此，牵引球122与拖车联接器212联接。

牵引车100可以包括驾驶系统110，其基于例如具有x、y和z分量的驾驶命令来操纵牵引车100越过道路表面。如图所示，驾驶系统110包括右前轮112、112a、左前轮112、112b、右后轮112、112c和左后轮112、112d。驾驶系统110也可以包括其它车轮配置。驾驶系统110还可以包括制动系统114，其包括与每个车轮112、112a-d相关联的制动器，以及加速系统116，其被配置为调整牵引车100的速度和方向。此外，驾驶系统110可以包括悬挂系统118，该悬挂系统包括与每个车轮112、112a-d相关联的轮胎、轮胎空气、弹簧、减震器以及将牵引车100连接到其车轮112、112a-d并且允许牵引车100与车轮112、112a-d之间的相对运动的连杆。悬挂系统132可以被配置成调整牵引车100的高度，从而允许牵引车挂钩120(例如，牵引车挂钩球122)与拖车挂钩210(例如，拖车挂钩联接器212)对准，这允许牵引车100可与拖车200之间自主连接。

牵引车100可以通过相对于由牵引车100限定的三个相互垂直的轴线的移动的各种组合而跨道路表面移动，所述轴线为：横向轴线X、前后轴线Y和中心竖直轴线Z。横向轴线X在牵引车100的右侧和左侧之间延伸。沿前后轴线Y的向前驾驶方向被表示为F，也称为向前运动。此外，沿前后方向Y的后向或向后驾驶方向被指定为R，也称为向后运动。当悬挂系统118调整牵引车100的悬挂时，牵引车100可围绕X轴和或Y轴倾斜，或沿中心竖直轴线Z移动。

牵引车100可以包括用户界面130。用户界面130可以包括显示器132、旋钮134和按钮136，它们被用作输入机构。在一些示例中，显示器132可以示出旋钮134和按钮136。而在其它示例中，旋钮134和按钮136是旋钮按钮的组合。在一些示例中，用户界面130经由一个或多个输入机构或触摸屏显示器132从驾驶员接收一个或多个驾驶员命令和/或向驾驶员显示一个或多个通知。用户界面130与车辆控制器150通信，该车辆控制器继而与传感器系统140通信。在一些示例中，显示器132显示牵引车100的环境的图像，导致由用户界面130(从驾驶员)接收发起一个或多个行为的执行的一个或多个命令。在一些示例中，用户显示器132显示车辆100的向后环境的图像。在这种情况下，驾驶员可以选择图像内驾驶员希望车辆自主地朝向操纵的位置。在一些示例中，用户显示器132显示位于车辆100后面的拖车200的一个或多个表示。在这种情况下，驾驶员选择拖车200的一个表示以用于车辆100自主地朝向其操纵。

显示器132显示叠加在车辆100的向后环境的摄像机图像143上的车辆100的规划路径182。驾驶员可以使用用户界面130改变规划路径182。例如，驾驶员可以转动模拟虚拟方向盘的旋钮134。当驾驶员转动旋钮134时，显示器132上示出的规划路径182被更新。驾驶员调整显示的路径182，直到显示在显示器132上的更新的规划路径182与拖车表示138或驾驶员希望车辆100朝向其行驶的其他物体相交。一旦驾驶员对所显示的规划路径182满意，则驾驶员执行指示最终确定路径182的动作，该动作使车辆100自主地遵循规划路径182。

牵引车100可以包括传感器系统140以提供可靠且稳健的驾驶。传感器系统140可以包括不同类型的传感器，其可以单独地或彼此一起使用以产生对牵引车100的环境的感知，该感知用于牵引车100驾驶和帮助驾驶员基于由传感器系统140检测到的物体和障碍物做出智能决策。传感器系统140可以包括一个或多个摄像机142。在一些实施方案中，牵引车100包括后摄像机142，其被安装为提供牵引车100的后驾驶路径的视图。后摄像机142可以包括鱼眼镜头，该鱼眼镜头包括超广角镜头，该超广角镜头产生旨在创建宽全景或半球图像的强视觉失真。鱼眼摄像机高清捕获具有极宽视角的图像。此外，由鱼眼摄像机捕获的图像具有特征性的凸起的非直线外观。其它类型的摄像机也可用于捕获车辆100后部的图像。

传感器系统140可以包括其他传感器，诸如但不限于惯性测量单元(IMU)雷达、声纳、LIDAR(光检测和测距，其可以需要测量散射光的属性以找到远距离目标的距离和/或其他信息的光学遥感）、LADAR(激光检测和测距)、超声传感器等。

车辆控制器150包括与非暂时性存储器154(例如，硬盘、闪速存储器、随机存取存储器、存储器硬件)通信的计算设备(或处理器)152 (例如，具有一个或多个计算处理器的中央处理单元)，其能够存储在(一个或多个)计算处理器152上可执行的指令。

车辆控制器150执行挂钩辅助系统160，其从摄像机142接收图像143并且将车辆路径182叠加在所接收的图像143上。在一些实施方案中，驾驶员可以基于一个或多个路径模式170来调整路径182的选择。在一些示例中，路径模式170包括具有角度子模式174和距离子模式176的弧形模式172。在一些示例中，路径模式170可以包括双弧模式178。因此，驾驶员可以在角度子模式174、距离子模式和/或双弧模式178之间选择，以确定和调整到拖车200或物体的路径182。

在一些示例中，角度子模式174和距离子模式176是弧形模式172(图3A)的一部分，因此，驾驶员首先选择模式172、178，然后在所选择的模式172、178内选择子模式。这样，例如，显示器132可以显示驾驶员可以从中选择的弧形模式按钮136和双弧模式按钮136。图3B示出了一个示例，其中每个子模式/模式174、176、178是独立的。因此，按钮136的按压或推动将在三个模式174、176、178之间轮转。

角度子模式174被配置成调整路径182的曲率角度，如图4A和4B所示。因此，驾驶员可以向右转动旋钮134，使得显示的路径182具有向右的曲率，如图4A所示。此外，驾驶员可以向左转动旋钮134，使得显示的路径182具有向左的曲率，如图4B所示。距离子模式176被配置成调整预期路径182的长度，如图5A和5B所示。例如，参考图5A，驾驶员可以旋转旋钮134以在图像143中将路径182的目的地定位在拖车表示138附近。参考图5B，图像143示出了具有比图5A中所示的路径更短的长度的路径182。因此，在这种情况下，驾驶员可能希望牵引车100在向后方向R上自主地移动几米。双弧模式178被配置成调整接近角，该接近角指示车辆100将如何在路径182的末端处相对于拖车200(或其他物体)定向，如图6A和6B所示。例如，双弧模式178帮助驾驶员将牵引车100与拖车200对准，使得车辆100的前后轴线Y与拖车200的前后轴线Y对准，这在牵引车100与拖车200之间的挂接过程期间对驾驶员有帮助。

在其中双弧模式178是可选的一些实施方案中，如果驾驶员基于弧形模式172选择而对路径182满意，则驾驶员可以通过按压按钮136来最终确定路径182。否则，驾驶员第三次调整旋钮134以改变双弧或其它合适路径182的形状。这允许调整对拖车200或其它物体的最终接近角。一旦驾驶员对接近角的选择满意，他/她就按压按钮136以最终确定路径选择。

在一些实施方案中，驾驶员将牵引车100停在拖车200或其他对象或兴趣点在车辆100的后方摄像机142的视野内的位置。牵引车100的发动机可以是空转的，并且变速器处于驻车位置。驾驶员可以通过按压按钮136和/或在显示器132上做出选择来启动挂钩辅助系统160。在一些示例中，显示器132示出了允许驾驶员启动弧形模式172的可选选项或按钮136。挂钩辅助系统160通过执行弧形模式172的角度子模式174开始，如图3A和3B所示。驾驶员切换到距离子模式176，以通过例如按压按钮136来调整路径182的距离。在一些示例中，驾驶员可以通过在角度子模式174和距离子模式176之间切换并且调整路径182直到期望的路径182被示出在显示器上来调整路径182。驾驶员调整路径182，使得路径182的外边界184关注拖车200(即，图像143内的拖车表示138)或其他兴趣点。

在一些实施方案中，到拖车200或兴趣点的最终接近角是重要的，例如，对于将车辆前后轴线Y与拖车前后轴线Y对准，驾驶员可以选择或按压“弧形/双弧模式”按钮136(显示在显示器132上)并切换到双弧模式178。在双弧模式178中，路径182的先前设定的端点保持恒定，并且驾驶员用旋钮134调整最终接近角。当驾驶员对最终接近角和完整轨迹或路径182满意时，驾驶员可以通过执行动作确认所选择的路径182。在一些示例中，驾驶员将变速器切换到倒车，这表明驾驶员对显示的路径182满意。在一些示例中，驾驶员在制动器打开的情况下将变速器切换到倒车，然后释放制动器，并且车辆100跟随所选择的路径182。在一些示例中，当车辆沿路径182在向后方向R上自主操纵时，驾驶员可通过例如踩下制动器来停止牵引车100。这使得控制器150退出挂钩辅助系统160。

在一些实施方案中，挂钩辅助系统160将路径距离设定为默认，这允许驾驶员仅调整转向角直到其与拖车200或其它兴趣点相交。

在一些实施方案中，最终接近角不被调整。相反，最终接近角总是与初始车辆离去角相同。因此，最终车辆前后轴线Y平行于初始车辆前后轴线Y。在这种情况下，驾驶员调整路径182的最终位置以对拖车感兴趣。

在一些示例中，当牵引车100在沿着路径182在向后方向R上操纵时，显示器132可以示出车辆100沿着路径182的前进。例如，显示器132可以示出投影在地面上的原始轨迹，但是其通过车辆的改变位置来更新。显示器132还可以示出车辆如何良好地跟随该轨迹的指示。

参考图7，在一些示例中，轨迹规划系统180从其他车辆系统接收数据以生成路径182。在一些示例中，轨迹规划系统180接收由(x，y，θ)限定的车辆姿态数据162，其中x是在X-Y平面中沿着横向轴线X的牵引车100的中心的位置，y是在X-Y平面中沿着前后轴线Y的车辆的中心的位置，并且θ是牵引车100的航向。另外，轨迹规划系统180可以从旋钮134接收旋钮134的位置135，例如旋钮角度。轨迹规划系统180还可以接收模式按钮状态137a(即，弧形模式172或双弧模式178)和子模式按钮状态137b(即，角度子模式174或距离子模式176)。基于所接收的数据，轨迹规划系统180调整路径182，并指示显示器132显示路径182。在一些示例中，路径182包括外边界184和作为牵引球122的估计路径的牵引球路径186。轨迹规划系统180还可以指示显示器132示出当前模式或子模式状态133，其指示驾驶已经选择调整路径182的模式/子模式。

一旦轨迹规划系统180确定规划路径182，车辆控制器150就执行驾驶辅助系统190，其继而包括路径跟随行为192。路径跟随行为192接收规划路径182且执行将命令191发送到驾驶系统110的一个或多个行为192a-b，从而致使车辆100在向后方向R上沿着规划路径182自主地行驶。

路径跟随行为192a-b可以包括一个或多个行为，例如但不限于制动行为192a、速度行为192b和转向行为192c。每个行为192a-b使得车辆100采取动作，除其它外诸如向后行驶、以特定角度转弯、制动、加速、减速。车辆控制器150可以通过控制驾驶系统110，更具体地通过向驾驶系统110发出命令191，跨道路表面沿任何方向操纵车辆100。

制动行为192a可以被执行以基于规划路径使车辆100停止或使车辆100减慢。制动行为192a发送信号或命令191到驾驶系统110，例如制动系统(未示出)，以使车辆100停止或降低车辆100的速度。

可以执行速度行为192b以基于规划路径182通过加速或减速来改变车辆100的速度。速度行为192b向制动系统114发送信号或命令191以便减速或向加速系统116发送信号或命令以便加速。

可以执行转向行为192c以基于规划路径182改变车辆100的方向。这样，转向行为192c向加速系统130发送指示使驾驶系统110改变方向的转向角度的信号或命令191。

图8提供了用于使用图1-7中描述的系统在向后方向R上朝向诸如拖车200的兴趣点自主操纵车辆100(例如，牵引车)的方法800的操作的示例性布置。在框802处，方法800包括在数据处理硬件152处从定位在车辆100的后部上并且与数据处理硬件152通信的摄像机142接收一个或多个图像143。在框804处，方法800包括在数据处理硬件152处将路径182叠加在一个或多个图像143上。在框806处，方法800还包括在数据处理硬件152处通过与数据处理硬件152通信的用户界面130的方式接收命令，该命令包括调整路径182的指令。在框808处，方法800包括在数据处理硬件152处基于所接收的命令来调整路径182。在一些示例中，方法800包括将驾驶命令191从数据处理硬件152发送到与数据处理硬件152通信的驾驶系统110，所述驾驶命令使得车辆100沿着经调整的路径182自主地操纵。

在一些示例中，命令包括调整路径的距离的指令、调整路径的角度的指令和调整路径的端部的角度的指令中的至少一个。在一些示例中，在兴趣点是拖车200的情况下，调整路径的端部的角度使得车辆100的前后轴线Y与拖车200的前后轴线Y对准。

在一些示例中，在发送驾驶命令之前，方法800包括从驾驶员接收使得数据处理硬件152发送驾驶命令的动作191。方法800还可以包括，在车辆100沿向后方向R的自主操纵期间，指示用户界面130显示车辆相对于路径182的位置。

这里描述的系统和技术的各种实施方案可以以数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或其组合来实现。这些各种实施方案可以以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序的实施方案，所述可编程系统包括至少一个可编程处理器、至少一个输入设备和至少一个输出设备，所述可编程处理器可以是专用或通用的，被耦合以从存储系统接收数据和指令以及向存储系统发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以以高级面向过程和/或面向对象的编程语言和/或汇编/机器语言来实现。如本文所使用的，术语“机器可读介质”和“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。

本说明书中描述的主题和功能操作的实施方案可以以数字电子电路来实现，或者以计算机软件、固件或硬件来实现，包括本说明书中公开的结构及其结构等效物，或者以它们中的一个或多个的组合来实现。此外，本说明书中描述的主题可以被实现为一个或多个计算机程序产品，即，在计算机可读介质上编码的计算机程序指令的一个或多个模块，用于由数据处理装置执行或控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、实现机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理装置”、“计算设备”和“计算处理器”涵盖用于处理数据的所有装置、设备和机器，作为示例包括可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，装置可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如，机器生成的电、光或电磁信号，其被生成以编码信息以便发送到合适的接收器装置。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应当被理解为要求以所示的特定顺序或以连续顺序执行这样的操作，或者要求执行所有示出的操作以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统组件的分离不应被理解为在所有实施例中都需要这种分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中或封装到多个软件产品中。

已经描述了许多实施方案。然而，应当理解，在不脱离本公开的精神和范围的情况下，可以进行各种修改。因此，其它实施方案也在所附权利要求的范围内。

Claims (8)

1.一种用于在向后方向上朝向兴趣点自主地操纵车辆的方法，所述方法包括：

在数据处理硬件处从位于所述车辆的后部上并且与所述数据处理硬件通信的摄像机接收一个或多个图像；

在所述数据处理硬件处将路径叠加在所述一个或多个图像上；

在所述数据处理硬件处通过与所述数据处理硬件通信的用户界面的方式接收命令，所述命令包括调整所述路径的指令；

在所述数据处理硬件处基于所接收的命令来调整所述路径；以及

将使所述车辆沿着经调整的路径自主地操纵的驾驶命令从所述数据处理硬件发送到与所述数据处理硬件通信的驾驶系统，其特征在于，

所述命令包括由驾驶员通过所述用户界面选择三个独立路径模式中的一个或多个，其中所述路径模式包括角度子模式、距离子模式和双弧模式，所述角度子模式被配置成调整所述路径的曲率角度，所述距离子模式被配置成调整所述路径的长度，所述双弧模式被配置成调整接近角，该接近角指示车辆将如何在所述路径的末端处相对于所述兴趣点定向，并且其中基于所选择的路径模式，所述命令包括调整所述路径的角度的指令、调整所述路径的距离的指令和/或调整所述路径的末端部分的角度的指令。

2.根据权利要求1所述的方法，其中，所述兴趣点是拖车，并且其中，调整所述路径的末端部分的角度致使所述车辆的前后轴线与所述拖车的前后轴线对准。

3.根据权利要求1所述的方法，其中，在发送驾驶命令之前，所述方法包括从驾驶员接收使所述数据处理硬件发送驾驶命令的动作。

4.根据权利要求1所述的方法，还包括：

在所述车辆在所述向后方向上的自主操纵期间，指示所述用户界面显示所述车辆相对于所述路径的位置。

5.一种用于在向后方向上朝向兴趣点自主地操纵车辆的系统，所述系统包括：

数据处理硬件；以及

与所述数据处理硬件通信的存储器硬件，所述存储器硬件存储指令，所述指令当在所述数据处理硬件上执行时使所述数据处理硬件执行包括以下各项的操作：

从位于所述车辆的后部上并且与所述数据处理硬件通信的摄像机接收一个或多个图像；

在所述一个或多个图像上叠加路径；

通过与所述数据处理硬件通信的用户界面的方式接收命令，所述命令包括调整所述路径的指令；

基于所接收的命令来调整所述路径；以及

将驾驶命令发送到与所述数据处理硬件通信的驾驶系统，所述驾驶命令使所述车辆沿着经调整的路径自主地操纵，其特征在于，

所述命令包括由驾驶员通过所述用户界面选择三个独立路径模式中的一个或多个，其中所述路径模式包括角度子模式、距离子模式和双弧模式，所述角度子模式被配置成调整所述路径的曲率角度，所述距离子模式被配置成调整所述路径的长度，所述双弧模式被配置成调整接近角，该接近角指示车辆将如何在所述路径的末端处相对于所述兴趣点定向，并且其中基于所选择的路径模式，所述命令包括调整所述路径的角度的指令、调整所述路径的距离的指令和/或调整所述路径的末端部分的角度的指令。

6.根据权利要求5所述的系统，其中，所述兴趣点是拖车，并且其中，调整所述路径的末端部分的角度致使所述车辆的前后轴线与所述拖车的前后轴线对准。

7.根据权利要求5所述的系统，其中，在发送驾驶命令之前，所述操作还包括从驾驶员接收使所述数据处理硬件发送所述驾驶命令的动作。

8.根据权利要求5所述的系统，其中，所述操作还包括：

在所述车辆在所述向后方向上的自主操纵期间，指示所述用户界面显示所述车辆相对于所述路径的位置。

Images