CN112752700B - 通过目标位置的选择进行自动倒车 - Google Patents

Abstract

提供了一种朝向位于牵引车辆(100)后面的拖车(200)自主地操纵牵引车辆的方法。该方法包括接收来自位于牵引车辆后部上的相机(152)的一个或多个图像。该方法还包括在数据处理硬件(160)处接收在一个或多个图像内的拖车表示的第一用户选择。该方法包括向驾驶系统(190)发送第一指令，引起牵引车辆朝向与拖车表示的第一用户选择相关联的拖车自主地操纵。该方法还包括接收在一个或多个图像内的耦接器表示的第二用户选择。耦接器表示与拖车的拖车耦接器(212)相关联。该方法还包括向驾驶系统发送第二指令，引起牵引车辆(100)朝向与第二用户选择相关联的拖车耦接器(212)自主地操纵。

Description

通过目标位置的选择进行自动倒车

技术领域

本公开涉及用于使牵引车辆自动地朝向所选择的目标位置倒车的方法和装置。

背景技术

拖车通常是由动力牵引车辆拖动的无动力车辆。除其它之外，拖车还可以是多用途拖车、弹出式露营车、旅行拖车、牲畜拖车、平板拖车、封闭式调度车和船拖车。牵引车辆可以是汽车、跨界车(crossover)、卡车、货车、运动型多功能车辆(SUV)、休闲车辆(RV)或者被配置为附接到拖车并且拖动拖车的任何其它车辆。可以使用拖车联结器将拖车附接到动力车辆。受方联结器安装在牵引车辆上并且连接到拖车联结器以形成连接。拖车联结器可以是球窝式联结器、第五轮鹅颈联结器、或拖车顶。也可以使用其它附接机制。除了拖车和动力车辆之间的机械连接之外，在一些示例中，拖车被电连接到牵引车辆。像这样，该电连接允许拖车从动力车辆的后灯电路取得回馈，允许拖车具有与动力车辆的灯同步的尾灯、转向信号和刹车灯。

近来在传感器技术上的进步已经导致改进的车辆自主驾驶。像这样，合期望的是提供一种自动车辆倒车系统，其能够朝向拖车进行操纵以用于将车辆联结到拖车。

发明内容

本公开的一个方面提供了一种朝向位于牵引车辆后面的拖车自主地操纵牵引车辆的方法。方法包括在数据处理硬件处接收来自位于牵引车辆的后部上并且与数据处理硬件通信的相机的一个或多个图像。方法包括在数据处理硬件处接收在一个或多个图像内的拖车表示的第一用户选择。第一用户选择可以包括围绕拖车表示的拖车边界框。方法还包括将第一指令从数据处理硬件发送到与数据处理硬件通信的驾驶系统，第一指令引起牵引车辆在朝向与拖车表示的第一用户选择相关联的拖车的向后方向上自主地进行操纵。方法还包括在数据处理硬件处接收在一个或多个图像内的耦接器表示的第二用户选择，耦接器表示与拖车的拖车耦接器相关联。第二用户选择可以包括围绕耦接器表示的耦接器边界框。附加地，方法包括将第二指令从数据处理硬件发送到驾驶系统，第二指令引起牵引车辆在朝向与耦接器表示的第二用户选择相关联的拖车耦接器的向后方向上自主地进行操纵。

本公开的实现可以包括以下可选特征中的一个或多个。在一些实现中，方法包括当牵引车辆在朝向与拖车表示的第一用户选择相关联的拖车的向后方向上自主地操纵时，跟踪一个或多个图像内的拖车边界框。方法还可以包括当牵引车辆在朝向与耦接器表示的第二用户选择相关联的拖车耦接器的向后方向上自主地操纵时，跟踪一个或多个图像内的耦接器边界框。在一些示例中，方法包括接收来自与数据处理硬件通信的传感器系统的车轮记数(wheel tick)和方向盘角度数据。方法包括基于车轮记数传感器数据和方向盘角度数据确定车辆位置，并且分别基于相对于拖车和耦接器的牵引车辆位置来调节第一指令和/或第二指令。

在一些实现中，方法包括确定牵引车辆的牵引球的牵引球位置。在牵引车辆的在向后方向上的自主操纵期间，方法包括确定在牵引球位置和拖车边界框或耦接器边界框的中心之间的纵向距离和横向距离，其中所述中心是拖车边界框或耦接器边界框的底部的中心。第一指令和第二指令引起纵向距离和横向距离减小。

本公开的另一方面提供了一种用于朝向位于牵引车辆后面的拖车自主地操纵牵引车辆的系统。系统包括：数据处理硬件；以及与数据处理硬件通信的存储器硬件。存储器硬件存储指令，当在数据处理硬件上执行所述指令时，所述指令引起数据处理硬件执行包括上面描述的方法的操作。

在随附附图和以下的描述中阐述了本公开的一个或多个实现的细节。根据描述和附图以及根据权利要求书，其它的方面、特征和优点将是显而易见的。

附图说明

图1是在距位于牵引车辆后面的拖车一定距离处的示例性牵引车辆的示意性顶视图。

图2是图1的示例性牵引车辆的示意性视图。

图3是用于在朝向驾驶员选择的拖车的向后方向上操纵车辆的方法的示例性流程图的示意性视图。

图4是在图像内的拖车边界框的示意性视图。

图5A和图5B是在图像内的耦接器边界框的示意性视图。

图6是用于朝向位于牵引车辆后面的拖车自主地操纵牵引车辆的操作的示例性布置的示意性视图。

在各个附图中的同样的参考符号指示同样的要素。

具体实施方式

一种牵引车辆，诸如但是不限制于汽车、跨界车、卡车、货车、运动型多功能车辆(SUV)和休闲车辆(RV)，其可以被配置为牵引拖车。牵引车辆通过拖车联结器连接到拖车。手动地倒退到拖车处可能需要来自驾驶员的许多努力。驾驶员必须不断地监视后方车辆相机并且使车辆转向，以使车辆的牵引球处于拖车的耦接器下方。因此，合期望的是具有一种能够朝向驾驶员指定的位置(例如拖车)自主地倒退的牵引车辆，驾驶员指定的位置是从车辆的向后环境的图像标识的并且被显示在用户界面(诸如用户显示器)上。

参照图1至图6，在一些实现中，牵引车辆100的驾驶员想要牵引位于牵引车辆100后面的拖车200。牵引车辆100可以被配置为接收与所选择的拖车200、200a-c相关联的驾驶员选择142的指示。驾驶员选择142可以是围绕拖车表示146或耦接器表示502的边界框144a。在一些示例中，驾驶员对牵引车辆100进行定位以使得拖车200在牵引车辆100的后面，这允许牵引车辆100朝向所选择的拖车200自主地进行操纵。在一些示例中，牵引车辆100朝向所选择的拖车200自主地操纵并且在距离拖车200的第一预定距离处停止，使得拖车耦接器212的表示502足够接近以在用户显示器140上(例如在线400处)清楚地可见。驾驶员于是可以选择在显示器140上的耦接器表示的位置，可以通过变焦特征(例如放大/缩小)来促进这种选择，使得能够在耦接器表示的选择中有更高的准确度水平。一旦驾驶员确认了耦接器表示502的选择，牵引车辆100就在朝向耦接器212的向后方向R上自主地操纵。牵引车辆100可以在例如在距耦接器212几英寸或几厘米内的第二预先限定的距离处停止，允许驾驶员手动地完成牵引车辆100与拖车200的联结。在其它示例中，牵引车辆100自动地联结到拖车200。

牵引车辆100可以包括驾驶系统110，其基于例如具有x、y和z分量的驾驶命令来操纵牵引车辆100跨过道路表面。如所示出的那样，驾驶系统110包括右前轮112、112a、左前轮112、112b、右后轮112、112c和左后轮112、112d。驾驶系统110也可以包括其它车轮配置。驾驶系统110还可以包括：制动系统114，其包括与每个车轮112、112a-d相关联的制动器；以及加速系统116，其被配置为调节牵引车辆100的速度和方向。此外，驾驶系统110可以包括悬架系统118，悬架系统118包括与每个车轮112、112-d相关联的轮胎、轮胎空气、弹簧、减震器、以及连杆，其将牵引车辆100连接到其车轮112、112-d并且允许在牵引车辆100和车轮112、112-d之间的相对移动。悬架系统118可以被配置为调节牵引车辆100的高度，允许牵引车辆联结器120(例如，牵引车辆牵引球122)与拖车联结器210(例如，拖车联结器耦接器212和拖车联结器杆214)对准，这允许牵引车辆100和拖车200之间的自主连接。

牵引车辆100可以通过相对于由牵引车辆100限定的三个相互垂直的轴——横向轴X、前后轴Y和中心竖向轴Z——的运动的各种组合而跨道路表面10运动。横向轴x在牵引车辆100的右侧和左侧之间延伸。沿着前后轴Y的向前驾驶方向被指定为F，还被称为向前移动。此外，沿着前后方向Y的后向的或向后驾驶方向被指定为R，还被称为向后移动。当悬架系统118调节牵引车辆100的悬架时，牵引车辆100可以围绕X轴和或Y轴倾斜，或者沿着中心竖向轴Z运动。

牵引车辆100可以包括用户界面130。用户界面130可以包括显示器140、旋钮132和按钮134，它们被用作为输入机制。在一些示例中，显示器140可以示出旋钮132和按钮134。而在其它示例中，旋钮132和按钮134是旋钮按钮组合。在一些示例中，用户界面130经由一个或多个输入机制或触摸屏显示器140接收来自驾驶员的一个或多个驾驶员命令和/或向驾驶员显示一个或多个通知。用户界面130与车辆控制器160通信，车辆控制器160进而与传感器系统150通信。在一些示例中，显示器140显示牵引车辆100的环境的图像151，导致通过用户界面130(从驾驶员)接收发起一个或多个行为的执行的一个或多个命令。在一些示例中，用户显示器140显示牵引车辆100的向后环境的图像151。在这种情况下，驾驶员可以选择图像151内的指示驾驶员想要车辆朝向其自主地操纵的环境(即拖车200)的位置。在一些示例中，用户显示器140显示位于牵引车辆100后面的拖车200的一个或多个表示146，并且驾驶员选择驾驶员想要牵引车辆100朝向其操纵的拖车200的表示146。

牵引车辆100可以包括传感器系统150以提供可靠的并且鲁棒的驾驶。传感器系统150可以包括不同类型的传感器，这些传感器可以被分离地使用或彼此一起使用以创建对牵引车辆100的环境的感知，其被用于牵引车辆100进行驾驶并且帮助驾驶员基于由传感器系统150检测到的物体和障碍物做出智能决策。

传感器系统150可以包括由牵引车辆100支承的一个或多个相机152。在一些实现中，牵引车辆100包括后方相机152，其被安装以提供针对牵引车辆100的后方驾驶路径的视图。后方相机152可以包括鱼眼镜头，该鱼眼镜头包括超广角镜头，其产生意图创建宽全景或半球图像的强的视觉失真。鱼眼相机捕捉具有极宽视角的图像。此外，由鱼眼相机捕捉的图像具有特征凸起的非直线外观。其它类型的相机也可以被用于捕捉牵引车辆100的后方的图像。如先前描述的那样，由后方相机152捕捉的图像151被显示在显示器140上，并且示出牵引车辆100的后方环境，该后方环境包括位于牵引车辆100后面的一个或多个拖车200、200a-c的一个或多个拖车表示146、146a-c。

在一些示例中，传感器系统150还包括与牵引车辆100的一个或多个车轮112、112a-d相关联的一个或多个车轮编码器154。车轮编码器154是将车轮的角度位置或移动转换成模拟或数字输出信号的机电装置。因此，车轮编码器154确定车轮112、112a-d行进的速度和距离。传感器系统150还可以包括方向盘角度传感器156，其测量方向盘数据157，诸如方向盘的位置角度和转向速率。

传感器系统150还可以包括检测车辆移动(即速度、角速度、位置等)的其它传感器158。其它传感器158可以包括惯性测量单元(IMU)，其被配置为测量车辆的线性加速度(使用一个或多个加速度计)和转动速率(使用一个或多个陀螺仪)。在一些示例中，IMU还确定牵引车辆100的首向基准。因此，IMU确定牵引车辆100的俯仰、翻滚和偏摆。在一些示例中，其它传感器158可以包括被配置为确定物体(例如拖车200)的距离、角度或速度的雷达传感器。雷达传感器158发射无线电信号并且测量发射的信号的反射返回所花费的时间。雷达传感器将到物体的距离确定为往返时间的一半乘以信号的速度。雷达传感器还可以确定牵引车辆100的速度。该速度可以基于在第一时间时从雷达传感器158到物体的距离，以及在第二时间时从雷达传感器158到物体的距离。因此，雷达传感器158可以基于在第一时间时的距离和在第二时间时的距离之间的差除以第一时间和第二时间之间的差来确定速度。其它传感器158可以包括但是不限制于声纳、LIDAR(光检测和测距，其能够承担光学远程感测，光学远程感测对散射的光的性质进行测量以找出远距离目标的距离和/或其它信息)、LADAR(激光检测和测距)、超声波等。

车辆控制器160包括与能够存储在(多个)计算处理器162上可执行的指令的非暂态存储器164(例如，硬盘、闪速存储器、随机存取存储器)通信的计算装置(或处理器)162(例如，具有一个或多个计算处理器的中央处理单元)。在一些示例中，车辆控制器160执行联结辅助系统170和驾驶辅助系统190。

在一些示例中，联结辅助系统170确定对于牵引车辆100而言要自主地朝着驾驶的目的地(例如所选择的拖车200)。联结辅助系统170接收来自相机152的图像151和/或来自一个或多个传感器154-158的传感器数据153，并且确定由驾驶员经由用户界面130标识的拖车200相对于牵引车辆100的位置，例如纵向距离D_Lg、横向距离D_Lt、竖向距离H_Ca和/或相机152与拖车200的前面或拖车耦接器212之间的角度。此外，在一些示例中，联结辅助系统170还确定牵引车辆100和拖车200之间的角度(未示出)，即车辆联结器160与拖车联结器210或拖车200的前面之间的角度。纵向距离D_Lg、横向距离D_Lt和竖向距离H_Ca可以由驾驶员在使牵引车辆100朝向拖车200倒退时或者在牵引车辆100正朝向拖车200自主地操纵时使用。

参照图2和图3，在一些实现中，联结辅助系统170包括具有拖车跟踪器172a和耦接器跟踪器172b的跟踪器172。拖车跟踪器172a被配置为跟踪拖车200，例如拖车200的前面202，并且耦接器跟踪器172b被配置为在牵引车辆100在向后R方向上朝向拖车200自主地操纵时跟踪拖车耦接器212。

图3图示用于由控制器160执行的引起牵引车辆100朝向驾驶员选择的拖车200自主地操纵的步骤的流程图300。在框302处，驾驶员通过用户界面130发起执行联结辅助系统170。显示器140显示从后方相机152接收的包括牵引车辆100的向后视图的图像151。驾驶员可以手动地输入或绘制围绕与来自位于牵引车辆100后面的一个或多个拖车200、200a-c的拖车200相关联的所选择的拖车表示146a的拖车边界框144a。在框304处，联结辅助系统170确定车辆牵引球122在真实世界坐标中的或者相对于相机152的位置。在其它示例中，联结辅助系统170可以从存储器硬件164提取车辆牵引球122的位置。在框306处，拖车跟踪器172a基于所选择的拖车边界框144a来标识在图像151内的拖车表示146a的位置，并且在牵引车辆100向后运动时跟踪拖车200(即拖车200的面202)。在框308处，驾驶员通过用户界面130指示他对拖车表示的选择完成，或者驾驶员将牵引车辆100置于倒档，引起牵引车辆100开始其朝向与在拖车边界框144a内的拖车表示146a相关联的拖车200的自主操纵。在自主操纵期间，移动校正系统180基于由拖车跟踪器172a提供的数据来确定并且实现校正转向角度，该校正转向角度维持车辆100朝向拖车边界框144a进行操纵。在一些示例中，拖车跟踪器172a考虑牵引车辆100的前后轴Y以及边界框中心145作为拖车边界框144a的底部边缘的中心点。拖车跟踪器172a和移动校正系统180将牵引车辆100的前后轴Y与包括拖车200的边界框中心145对准。在一些实现中，如在图4中示出那样，拖车跟踪器172a确定位于距拖车200预先限定的距离处的边界框抵达线400。因此，在框312处，当牵引车辆100在朝向拖车200的向后方向R上自主地操纵时，拖车跟踪器172a检查牵引车辆100是否已经到达边界框抵达线400。如果拖车跟踪器172a确定牵引车辆100已经到达边界框抵达线400，则那么拖车跟踪器172a指令驾驶辅助系统190和/或驾驶系统110使牵引车辆100停止，如在框314中示出那样。随后，在框316处，用户界面130通过显示器140从驾驶员处请求输入如在图5A和图5B中示出那样的图像151内的围绕拖车耦接器212的耦接器表示502的耦接器边界框144b。在一些示例中，在框316处，由于牵引车辆100的位置在边界框抵达线400处，图像151捕捉拖车200和耦接器212的更近的视图。附加地，驾驶员可以在输入围绕拖车耦接器212的边界框144b之前在图像151中进行变焦，以提供围绕耦接器表示502的更精确的耦接器边界框144b。

在框318处，耦接器跟踪器172b基于所选择的耦接器边界框144b标识在图像151内的耦接器表示502的位置。在框320处，驾驶员通过用户界面130指示他对耦接器表示502的选择完成，或者驾驶员将牵引车辆100置于倒档，引起牵引车辆100继续其朝向与在边界框144b内的耦接器表示502相关联的耦接器212的自主操纵(在框322处)。在自主操纵期间，移动校正系统180确定并且实现校正转向角度，该校正转向角度维持车辆100朝向与所选择的耦接器边界框144b相关联的耦接器212进行操纵。耦接器跟踪器172b和移动校正系统180将牵引车辆100的前后轴Y与包括耦接器212的耦接器边界框144b底部边缘的框中心145对准。在一些示例中，控制器160进一步处理包括耦接器212的图像151以增加对于阴影——更准确地，当耦接器212在日光下并且在操纵期间进入阴影时——的鲁棒性。例如，围绕耦接器边界框144b执行变换(例如，拜耳(Bayer)变换、CLAHE或仿射变换)以改进特征，并且然后将变换引入回到初始图像中。所得到的图像然后被由耦接器跟踪器172b使用以跟踪耦接器212。在一些实现中，如在图5B中示出那样，耦接器跟踪器172b标识在图像151内的车辆牵引球122并且生成围绕车辆牵引球122的牵引球边界圆504。在框324处，耦接器跟踪器172b确定边界框144b是否到达边界圆504或重叠于边界圆504。一旦耦接器跟踪器172b确定边界框144b到达边界圆504或重叠于边界圆504，拖车跟踪器172a于是就指令驾驶辅助系统190和/或驾驶系统110使牵引车辆100停止，如在框326中示出那样。

在一些实现中，除了跟踪器172之外，联结辅助系统170还执行车辆移动估计器174，以在向后方向R上操纵牵引车辆100时改进跟踪器172的精度并且因此改进移动校正系统180的精度。车辆移动估计器174接收来自车轮编码器154的车轮记数155并且接收来自方向盘角度传感器156的方向盘角度数据157，并且确定车辆位置、车辆首向、车辆速度、以及车辆角速度。当牵引车辆100在向后方向R上自主地操纵时，跟踪器172(即拖车跟踪器172和耦接器跟踪器172b)可以使用来自车辆移动估计器174的数据以改进其对拖车200或者对拖车耦接器212的跟踪。在一些示例中，跟踪器输出数据和车辆移动估计输出数据被融合在一起并且移动校正系统180依赖于融合的数据来确定车辆朝向拖车200或耦接器212进行操纵。

返回参照图2，车辆控制器160执行移动校正系统180，移动校正系统180确定并且实现校正转向角度，该校正转向角度引起车辆100保持朝向边界框144、144a、144b自主地操纵。当牵引车辆100朝向边界框144自主地操纵时，移动校正系统180基于连续地接收传感器数据和跟踪的数据来调节车辆自主操纵。在一些示例中，物体检测系统标识车辆100和拖车200之间的一个或多个物体，并且向移动校正系统180发送与一个或多个物体的位置有关的数据。在这种情况下，移动校正系统180调节车辆自主操纵以避开一个或多个物体。在一些示例中，移动校正系统180确定碰撞的概率，并且如果碰撞的概率超过预定阈值，则移动校正系统180调节车辆自主移动操纵并且将其发送到驾驶辅助系统190。

一旦移动校正系统180确定了车辆自主移动操纵，车辆控制器160于是就执行驾驶辅助系统190，其进而包括自主行为192。自主行为192接收车辆自主移动操纵并且执行向驾驶系统110发送命令/指令191的一个或多个行为192a-b，引起车辆100基于车辆自主移动操纵而自主地驾驶，这引起车辆100朝向边界框144、144a、144b自主地驾驶。

自主行为192a-b可以包括一个或多个行为，诸如但是不限制于制动行为192a、速度行为192b和转向行为192c。每个行为192a-b引起牵引车辆100采取动作，所述动作除了其它之外还诸如为向后驾驶、以特定角度转弯、刹车、加速、减速。车辆控制器160可以通过控制驾驶系统110——更具体地，通过向驾驶系统110发出信号、命令或指令191——来在跨道路表面的任何方向上操纵牵引车辆100。

可以执行制动行为192a以基于车辆自主操纵来使车辆100停止或减慢车辆100。制动行为192a向驾驶系统110(例如制动系统(未示出))发送信号、命令或指令191，以使牵引车辆100停止或降低牵引车辆100的速度。

可以执行速度行为192b以基于车辆自主操纵来通过加速或减速改变牵引车辆100的速度。速度行为192b向制动系统114发送信号、命令或指令191以用于减速或者向加速系统116发送信号、命令或指令191以用于加速。

可以执行转向行为192c以基于车辆自主操纵改变牵引车辆100的方向。像这样，转向行为192c向加速系统116发送指示转向角度的信号、命令或指令191，引起驾驶系统110改变方向。

如先前讨论的那样，控制器160实时地执行联结辅助系统170、移动校正系统180和驾驶辅助系统190。因此，所描述的系统提供了需要有限的驾驶员输入的自动化方法。

图6提供用于使用在图1至图5B中描述的系统在朝向所选择的拖车200的向后方向R上自主地操纵车辆100(例如牵引车辆)的方法600的操作的示例布置。在框602处，方法600包括在数据处理硬件162处接收来自位于牵引车辆100的后部上并且与数据处理硬件162通信的相机152的一个或多个图像151。在框604处，方法600包括在数据处理硬件162处接收在一个或多个图像151内的拖车表示146的第一用户选择(例如拖车边界框144、144a)。在框606处，方法600包括将第一指令191从数据处理硬件162发送到与数据处理硬件162通信的驾驶系统110，第一指令191引起牵引车辆100在朝向与拖车表示146的第一用户选择144a相关联的拖车200的向后方向R上自主地操纵。在框608处，方法600包括在数据处理硬件162处接收在一个或多个图像151内的耦接器表示502的第二用户选择(例如耦接器边界框144、144b)。耦接器表示502与拖车200的拖车耦接器212相关联。在框610处，方法600包括将第二指令191从数据处理硬件162发送到驾驶系统110，第二指令191引起牵引车辆100在朝向与耦接器表示502的第二用户选择144b相关联的拖车耦接器212的向后方向R上自主地操纵。

在一些实现中，方法600包括当牵引车辆在朝向与拖车表示的第一用户选择相关联的拖车的向后方向上自主地操纵时，跟踪在一个或多个图像内的拖车边界框144a。方法600还包括当牵引车辆100在朝向与耦接器表示502的第二用户选择144b相关联的拖车耦接器212的向后方向R上自主地操纵时，跟踪在一个或多个图像151内的耦接器边界框144b。方法600还可以包括接收来自一个或多个车轮编码器154的车轮记数传感器数据155以及接收来自方向盘角度传感器156的方向盘角度数据157。方法600包括基于车轮记数传感器数据155和方向盘角度数据157确定车辆位置，分别基于相对于拖车和耦接器的牵引车辆位置来调节第一指令和/或第二指令191。

在一些实现中，方法600包括确定牵引车辆100的牵引球122的牵引球位置。在牵引车辆100在向后方向R上的自主操纵期间，方法600包括确定牵引球与拖车边界框144a或耦接器边界框144b的中心之间的纵向距离D_Lg和横向距离D_Lt，其中中心145是拖车边界框144a或耦接器边界框144b的底部的中心。在一些示例中，第一指令和第二指令引起纵向距离D_Lg和横向距离D_Lt减小。

在此描述的系统和技术的各种实现可以被实现在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或它们组合中。这些各种实现可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现，所述可编程系统包括至少一个可编程处理器、至少一个输入装置和至少一个输出装置，所述至少一个可编程处理器可以是专用或通用的，被耦合以从存储系统接收数据和指令以及向存储系统传输数据和指令。

这些计算机程序(还已知为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令，并且可以是以高级过程和/或面向对象编程语言和/或以汇编/机器语言实现的。如在此使用的那样，术语“机器可读介质”和“计算机可读介质”指代被用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、设备和/或装置(例如磁盘、光盘、存储器、可编程逻辑器件(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指代被用于向可编程处理器提供机器指令和/或数据的任何信号。

本说明书中描述的主题和功能操作的实现可以被实现在数字电子电路中，或者被实现在计算机软件、固件或硬件中，包括在本说明书中公开的结构及其结构等同物，或者被实现在它们中的一个或多个的组合中。此外，在本说明书中描述的主题可以被实现为一个或多个计算机程序产品(即编码在计算机可读介质上的计算机程序指令的一个或多个模块)以用于由数据处理设备执行或者控制数据处理设备的操作。计算机可读介质可以是机器可读存储装置、机器可读存储基板、存储器装置、实现机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理设备”、“计算装置”和“计算处理器”涵盖用于处理数据的所有设备、装置和机器，通过示例的方式包括可编程处理器、计算机、或多个处理器或计算机。除了硬件之外，设备还可以包括创建用于所讨论的计算机程序的执行环境的代码，例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号，例如机器生成的电信号、光信号或电磁信号，其被生成以对用于传输到合适的接收器设备的信息进行编码。

类似地，虽然在附图中以特定的顺序描绘了操作，但是这不应当被理解为要求以所示出的特定的顺序或以相继的顺序执行这样的操作或者要求执行所有所图示的操作以实现合期望的结果。在某些情形下，多任务和并行处理可能是有利的。此外，在上面描述的实施例中的各种系统组件的分离不应当被理解为在所有的实施例中要求这样的分离，并且应当理解所描述的程序组件和系统可以被一般地一起集成在单个软件产品中或者被封装到多个软件产品中。

已经描述了许多实现。然而，将理解可以在不脱离本公开的精神和范围的情况下作出各种修改。因此，其它的实现在随后的权利要求的范围内。

Claims (8)

1.一种朝向位于牵引车辆后面的拖车自主地操纵牵引车辆的方法，所述方法包括：

在数据处理硬件处接收来自位于牵引车辆的后部上并且与数据处理硬件通信的相机的一个或多个图像；

在数据处理硬件处接收在所述一个或多个图像内的拖车表示的第一用户选择，其中第一用户选择包括围绕拖车表示的拖车边界框；

将第一指令从数据处理硬件发送到与数据处理硬件通信的驾驶系统，第一指令引起牵引车辆在朝向与拖车表示的第一用户选择相关联的拖车的向后方向上自主地操纵；

在数据处理硬件处接收在所述一个或多个图像内的耦接器表示的第二用户选择，其中第二用户选择包括围绕耦接器表示的耦接器边界框并且其中耦接器表示与拖车的拖车耦接器相关联；以及

将第二指令从数据处理硬件发送到驾驶系统，第二指令引起牵引车辆在朝向与耦接器表示的第二用户选择相关联的拖车耦接器的向后方向上自主地操纵，

所述方法进一步包括：

确定牵引车辆的牵引球的牵引球位置；

在牵引车辆的在向后方向上的自主操纵期间，确定牵引球位置与拖车边界框或耦接器边界框的中心之间的纵向距离和横向距离，其中该中心是拖车边界框或耦接器边界框的底部边缘的中心；

通过数据处理硬件在所述一个或多个图像中生成围绕牵引车辆的牵引球的牵引球边界圆；

通过数据处理硬件确定在所述一个或多个图像中耦接器边界框是否重叠于边界圆；以及

当确定为耦接器边界框重叠于牵引球边界圆时，指令驾驶系统使牵引车辆停止。

2.根据权利要求1所述的方法，进一步包括：

当牵引车辆在朝向与拖车表示的第一用户选择相关联的拖车的向后方向上自主地操纵时，跟踪在所述一个或多个图像内的第一用户选择；以及

当牵引车辆在朝向与耦接器表示的第二用户选择相关联的拖车耦接器的向后方向上自主地操纵时，跟踪在所述一个或多个图像内的第二用户选择。

3.根据权利要求2所述的方法，进一步包括：

接收来自与数据处理硬件通信的传感器系统的车轮记数传感器数据和方向盘角度数据；以及

基于车轮记数传感器数据和方向盘角度数据确定车辆位置；以及

分别基于相对于拖车和拖车耦接器的牵引车辆位置来调节第一指令和/或第二指令。

4.根据权利要求1所述的方法，其中第一指令和第二指令引起纵向距离和横向距离减小。

5.一种用于朝向位于牵引车辆后面的拖车自主地操纵牵引车辆的系统，所述系统包括：

通信中的数据处理硬件；以及

与数据处理硬件通信的存储器硬件，存储器硬件存储指令，当在数据处理硬件上执行该指令时，该指令引起数据处理硬件执行包括如下的操作：

接收来自位于牵引车辆的后部上并且与数据处理硬件通信的相机的一个或多个图像；

接收在所述一个或多个图像内的拖车表示的第一用户选择，其中第一用户选择包括围绕拖车表示的拖车边界框；

向驾驶系统发送第一指令，第一指令引起牵引车辆在朝向与拖车表示的第一用户选择相关联的拖车的向后方向上自主地操纵；

接收在所述一个或多个图像内的耦接器表示的第二用户选择，其中第二用户选择包括围绕耦接器表示的耦接器边界框，并且其中耦接器表示与拖车的拖车耦接器相关联；以及

向驾驶系统发送第二指令，第二指令引起牵引车辆在朝向与耦接器表示的第二用户选择相关联的拖车耦接器的向后方向上自主地操纵，

其中操作进一步包括：

确定牵引车辆的牵引球的牵引球位置；

在牵引车辆的在向后方向上的自主操纵期间，确定牵引球位置与拖车边界框或耦接器边界框的中心之间的纵向距离和横向距离，其中该中心是拖车边界框或耦接器边界框的底部边缘的中心；

在所述一个或多个图像中生成围绕牵引车辆的牵引球的牵引球边界圆；

确定在所述一个或多个图像中耦接器边界框是否重叠于边界圆；以及

当确定为耦接器边界框重叠于牵引球边界圆时，指令驾驶系统使牵引车辆停止。

6.根据权利要求5所述的系统，其中操作进一步包括：

当牵引车辆在朝向与拖车表示的第一用户选择相关联的拖车的向后方向上自主地操纵时，跟踪在所述一个或多个图像内的第一用户选择；以及

当牵引车辆在朝向与耦接器表示的第二用户选择相关联的拖车耦接器的向后方向上自主地操纵时，跟踪在所述一个或多个图像内的第二用户选择。

7.根据权利要求6所述的系统，其中操作进一步包括：

接收来自与数据处理硬件通信的传感器系统的车轮记数传感器数据和方向盘角度数据；以及

基于车轮记数传感器数据和方向盘角度数据确定车辆位置；以及

分别基于相对于拖车和拖车耦接器的牵引车辆位置来调节第一指令和/或第二指令。

8.根据权利要求5所述的系统，其中第一指令和第二指令引起纵向距离和横向距离减小。