CN104590158A - 挂车标记放置辅助系统和方法 - Google Patents

Abstract

一种车辆挂车倒车辅助系统和方法，包括牵引角检测装置和标记监控控制器。标记监控控制器处理从由牵引车牵引的挂车获得的图像以辅助标记在挂车上的放置。标记监控控制器也监控标记并提供关于标记在挂车上的适当安置的反馈至用户。标记移动检测程序通过处理图像的像素检测标记的移动，以确定是否已连接新的挂车。进一步地，挂车连接监控程序根据在预定的时间段内牵引角或标记的消失监控到改变的挂车。

Description

挂车标记放置辅助系统和方法

技术领域

本发明所做出的公开内容大体涉及车辆中的驾驶辅助和主动安全技术，更具体地涉及挂车倒车辅助系统。

背景技术

当牵引挂车时倒车对于许多驾驶员来说是非常具有挑战性的。这对于不熟练于倒连着挂车的车辆的驾驶员来说更是如此，他们包括那些不经常驾驶挂车的人(如租用挂车、不经常使用私人挂车等)。这种困难的一个理由是倒连着挂车的车辆需要与当倒没有连着挂车的车辆时的正常转向相反的转向输入和/或在折叠(jackknife)状况发生之前需要制动以使车辆挂车组合稳定。这种困难的另一个理由是当倒连着挂车的车辆时转向的小错误被放大从而引起挂车偏离期望路线。

为了辅助驾驶员转向连着挂车的车辆，挂车倒车辅助系统需要知道驾驶员的意图。已知挂车倒车辅助系统的一个通常的假设是连着挂车的车辆驾驶员想要直线倒车且系统要么隐含地要么明确地为车辆挂车组合采取零曲率路线。不幸地是，大多数现实生活中倒挂车的使用案例包含弧形路线，因此采取零曲率路线会显著限制该系统的实用性。一些已知的系统采取从地图或路线规划者处已知路线。为此，一些已知的挂车倒车辅助系统在挂车开始倒车之前需要已知挂车倒车路线(例如从地图或路径规划算法)的要求下操作。令人不快的是，已知这种挂车倒车辅助系统的实施方式具有相对复杂的人机界面(HMI)设备来指定路线、障碍和/或倒车机动的目标。此外，这种系统也要求以某种方式使用例如照相机、惯性导航或高精度全球定位系统(GPS)等手段确定期望的路线被遵循得如何并知道什么时候到达期望目标或停靠站和方向。这些要求导致该系统相对复杂且昂贵。

发明内容

根据本发明的一个方面，提供了一种辅助在挂车上放置标记的方法。该方法包括用牵引车上的照相机产生挂车图像并处理图像以确定标记放置区域的步骤。该方法也包括在图像上产生表示标记放置区域的标记叠加以及为了呈现给用户以辅助在挂车上放置标记而在显示器上显示该图像和标记叠加的步骤。

根据本发明的另一个方面，提供了一种挂车标记放置辅助系统。挂车标记放置辅助系统包括照相机，其安装在牵引车上且设置为产生挂车图像。该系统也包括图像处理器，用于处理图像以确定标记放置区域并在图像上产生表示标记放置区域的标记叠加。该系统进一步包括显示器，用于显示图像和标记的叠加以辅助标记在挂车上放置。

本领域的技术人员通过对下列说明书、权利要求以及附图的学习可以理解和领会本发明的这些以及其他方面、目标、以及特性。

附图说明

在附图中：

图1示出了车辆挂车组合，车辆配置用于依据实施例执行挂车倒车辅助功能；

图2示出了与挂车倒车辅助相关的人机界面(HMI)设备；

图3示出了与挂车倒车辅助相关的流程图；

图4示出了根据一个实施例的设置模块的流程图；

图5示出了依据一个实施例在HMI设备显示的图像的示例；

图6是根据一个实施例说明使用标记监控控制器的车辆挂车倒车辅助系统的框图；

图7是说明用户在被车辆牵引的挂车上标记的放置的示意图；

图8是进一步说明涉及标记贴纸的标记放置区域的挂车的前部放大图；

图9是具有显示器的便携式设备的前视图，说明了标记在挂车上标记放置区域的叠加；

图10是说明辅助用户在挂车上放置标记的方法的流程图；

图11是说明监控在挂车上标记的放置和产生反馈警告的方法的流程图；

图12是根据一个实施例具有装配于其上的标记安装系统的挂车的前部示意图；

图13是图12所示的标记安装系统和挂车的部件分解图；

图14是说明用于针对标记变化监控挂车连接和重新设置挂车选择的初始设置程序的流程图；

图15是说明用于监控挂车变化存在和重新设置挂车选择的移动标记检测程序的流程图；

图16A是显示标记在第一位置的挂车图像；

图16B是根据一个例子显示标记移动至第二位置的挂车图像；以及

图17是说明用于监控挂车断开连接的挂车连接监控程序的流程图。

具体实施方式

虽然本发明主旨的各个方面参考特定的说明性实施例进行了描述，但是本发明主旨不限于这些实施例，并且在不脱离本发明主旨的前提下可以实施额外的修改、应用和实施例。在附图中，相同的附图标记将被用于说明同一部件。本领域技术人员可以认识到本发明中所阐述的各个部件在不脱离本发明主旨的范围的情况下可以改变。

挂车倒车辅助系统

参考图1，示出了配置用于执行挂车倒车辅助功能的车辆100的实施例。车辆100的挂车倒车辅助系统105控制连接到车辆100的挂车110行驶路线的曲率。这种控制通过车辆100的动力辅助转向系统115和挂车倒车辅助系统105的交互来实现。在挂车倒车辅助系统105的操作期间当车辆100倒车时，车辆100的驾驶员有时受限于他/或她能够通过车辆100的方向盘进行转向输入的方式。这是因为在某些车辆中挂车倒车辅助系统105是由动力辅助转向系统115控制的且动力辅助转向系统115是直接耦接到方向盘的(即车辆100的方向盘与车辆100的转向轮一致移动)。如以下更详细的讨论，倒车辅助系统105的人机界面(HMI)设备用于控制挂车110的路线曲率的变化，例如旋钮，从而解耦这种在车辆100的方向盘进行的控制。然而，依据本发明的主旨，一些配置用于提供挂车倒车辅助功能的车辆将具有选择性地从车辆的转向轮的运动解耦转向运动的性能，从而允许方向盘在这种挂车倒车辅助期间用于控制挂车的路线曲率的变化。

挂车倒车辅助系统105包括挂车倒车辅助控制模块120、挂车倒车转向输入装置125、以及牵引角(hitch angle)检测装置130。挂车倒车辅助控制模块120被连接到挂车倒车转向输入装置125和牵引角检测装置130，用于允许他们之间的通信。在此公开了挂车倒车转向输入装置能够以有线或无线的方式被耦接到挂车倒车辅助控制模块120。挂车倒车辅助系统控制模块120被连接到动力转向辅助系统115的动力转向辅助控制模块135，用于允许在他们之间传送信息。动力转向辅助系统115的转向角检测装置140被连接到动力转向辅助控制模块135，用于向其提供信息。挂车倒车辅助系统也被连接到制动系统控制模块145和动力系统控制模块150，用于允许他们之间的信息沟通。连带地，挂车倒车辅助系统105、动力转向辅助系统115、制动系统控制模块145、动力系统控制模块150和档位选择设备(PRNDL)定义了依据实施例配置的挂车倒车辅助架构。

挂车倒车辅助控制模块120配置用于执行用于从挂车倒车转向输入装置125,、牵引角检测装置130、动力转向辅助控制模块135、制动系统控制模块145和动力系统控制模块150接收信息的逻辑(即指令)。挂车倒车辅助控制模块120(如其中的挂车曲率算法)根据从挂车倒车转向输入装置125,、牵引角检测装置130、动力转向辅助控制模块135、制动系统控制模块145和动力系统控制模块150接收到的全部或部分信息产生车辆转向信息。此后，提供车辆转向信息至动力转向辅助控制模块135，用于通过动力转向辅助系统115影响车辆100的转向以实现控制的挂车110的行驶路线。

挂车倒车转向输入装置125为挂车倒车辅助控制模块120提供限定控制的挂车110行驶路线的、至挂车倒车辅助控制模块120的信息(即挂车转向信息)。挂车转向信息可以包括与控制的行驶路线的变化(如路线曲率半径的变化)有关的信息和与表示挂车沿着由挂车的纵向中心线轴定义的路线行驶(即沿着大体直线路径行驶)有关的信息。如以下详细地讨论，挂车倒车转向输入装置125优选包括旋转控制输入设备，用于允许车辆100的驾驶员与挂车倒车转向输入装置125配合控制期望的挂车转向行为(如控制挂车的行驶路线半径期望的变化和/或控制挂车沿着如由挂车的纵向中心线轴定义的大体直线路径行驶)。在优选实施例中，旋转控制输入设备是围绕延伸通过旋钮的上表面/上面的旋转轴可旋转的旋钮。在另一个实施例中，旋转控制输入设备是围绕大体平行于旋钮的上表面/上面延伸的旋转轴可旋转的旋钮。

一些车辆(如那些具有主动前轮转向的车辆)具有动力转向辅助系统配置，其允许方向盘部分地从这样的车辆的转向轮的运动解耦。因此，能够以独立于车辆的动力转向辅助系统控制转向轮的方式旋转方向盘(如由来自依据一个实施例配置的挂车倒车辅助系统控制模块的动力转向辅助系统控制模块提供的车辆转向信息控制)。因此，在这些类型的车辆中，方向盘能够选择性地与转向轮解耦以允许它的独立操作，依据本发明主旨配置的挂车倒车辅助系统的挂车转向信息可以通过方向盘的旋转提供。因此，在此公开了在本发明主旨的情况下，在某些实施例中，方向盘是旋转控制输入设备的体现。在这些实施例中，方向盘会被偏置(如通过可选择性地接合/激活的装置)至相对转动活动范围之间的静止位置。

牵引角检测装置130，其连同挂车110的牵引角检测部件155一起操作，为挂车倒车辅助控制模块120提供与车辆100和挂车110之间的角度有关的信息(即牵引角信息)。在优选实施例中，牵引角检测装置130是基于照相机的装置，例如现存的车辆100的后视照相机，当挂车110被车辆100倒车时其反映(即可视监控)连接到挂车110的标记(即牵引角检测部件155)。优选地，但也不必然，牵引角检测部件155是专用部件(如为了被牵引角检测装置130识别的特定目的连接到挂车110表面或与挂车110表面成一体的物件)。作为选择，牵引角检测装置130可以是物理地安装在车辆100的挂接装置部件上的设备和/或挂车110的配合挂接装置部件上的设备，用于确定车辆100和挂车110的中心线纵轴之间的角度。牵引角检测装置130可以配置用于检测折叠诱发条件和/或相关信息(如当已满足牵引角临界值)。

动力转向辅助控制模块135为挂车倒车辅助控制模块120提供与方向盘角度的旋转位置(如角度)和/或车辆100的转向轮的旋转位置(如转向角)有关的信息。在某些实施例中，挂车倒车辅助控制模块120可以是动力转向辅助系统115的集成部件。例如，动力转向辅助控制模块135可以包括挂车倒车辅助算法，用于根据从挂车倒车转向输入装置125,、牵引角检测装置130、动力转向辅助控制模块135、制动系统控制模块145和动力系统控制模块150接收到的全部或部分信息产生车辆转向信息。

制动系统控制模块145为挂车倒车辅助控制模块120提供与车辆速度有关的信息。这种车辆速度信息可以从由制动系统控制模块145监控的单个车轮速度确定或可以由具有信号可信度的发动机控制模块提供。车辆速度也可以从发动机控制模块确定。在某些情况下，单个车轮速度也可以用于确定车辆偏航率且为了确定车辆转向信息可以提供这种偏航率至挂车倒车辅助控制模块120。在某些实施例中，挂车倒车辅助控制模块120可以提供车辆制动信息至制动系统控制模块145，用于允许在挂车110倒车期间挂车倒车辅助控制模块120控制车辆100的制动。例如，在挂车110倒车期间使用挂车倒车辅助控制模块120控制车辆100的速度可以减小不可接受的挂车倒车条件的可能性。不可接受的挂车倒车条件的例子包括但不限于车辆超速条件、高牵引角率、挂车角动态不稳定性、计算出的理论挂车折叠条件(由最大车辆转向角、牵引杆长度、牵引车辆轴距和有效挂车长度定义)、或物理接触折叠限制(由相对车辆100和挂车110的角位移限制定义)以及诸如此类。在此公开了倒车辅助控制模块120可以发出对应于真实的、即将发生的和/或预期的不可接受的挂车倒车条件的通知(如警告)的信号。

动力系统控制模块150与挂车倒车辅助控制模块120相互作用，用于在挂车110倒车期间控制车辆100的速度和加速度。如上所提到的，车辆100的速度的控制对于限制不可接受的挂车倒车条件(例如折叠和挂车角动态不稳定性)可能性来说是必要的。与涉及不可接受的挂车倒车条件的关于高速的考虑类似，高加速度和高动态驱动曲率要求也可以导致这种不可接受的挂车倒车条件。

人机界面

为了实施控制特性，驾驶员可以与挂车倒车辅助系统105交互以配置系统105。如图2所示，车辆100也配备有人机界面(HMI)设备102以通过驾驶员与HMI设备102交互实施挂车倒车辅助功能。

图2示出了在车辆中驾驶员用于与挂车倒车辅助系统105交互的HMI设备102的示例。呈现给驾驶员多个经由HMI 102显示的菜单104(在图2中只示出了一个示例菜单)。HMI菜单104通过设置600、校准700和激活800挂车倒车辅助系统105的模块(如图3和4所示)辅助驾驶员，以便可以实施控制方法以辅助驾驶员如图3和4的流程图中总体所示的挂车的倒车，本发明中之后更详细地讨论。每个模块是针对特定的元件或特征，其用于配置挂车倒车辅助系统以准确实施控制方法。虽然每个模块参考本发明主旨的特定特征进行了描述，但是应当指出的是每个模块不一定限于本发明示例中描述的特定特征。在不脱离本发明主旨范围的前提下，重排模块或替换模块中的元件或特征是可能的。

挂车倒车辅助系统105将通过必要的连接挂车和连接标记的步骤引导驾驶员。驾驶员可以经由倒车转向输入装置125激活设置，例如通过旋转或推动旋钮，或仅仅从在HMI设备102上的菜单做出挂车倒车辅助系统的选择。参考图3，驾驶员通过挂车倒车辅助转向输入装置启动挂车倒车辅助系统。在旋钮的情况下，驾驶员按压或旋转旋钮以启动挂车倒车辅助系统。该系统将通过连接580兼容挂车的步骤引导驾驶员。兼容挂车是绕相对于车辆在车辆的后桥后面单点旋转的挂车。

一旦要么由挂车倒车转向输入装置125要么由HMI设备105选定系统，该系统将引导驾驶员准备车辆和必要时车辆挂车组合。车辆100应该被“运行”且车辆100应该在“停车”590。如果车辆100正在行驶但是正在以大于预定限制的速度行驶，例如每小时五英里，挂车倒车辅助系统105将暂停且驾驶员不可用。挂车倒车辅助系统105设置模块600将不会开始或将退出585。如果由驾驶员选定的挂车110的类型是不与挂车倒车辅助系统105相配的挂车110，设置模块600将退出585或不开始。如果，挂车110与挂车倒车辅助系统105相配，设置模块600证实车辆100换挡机制处于“停车”。再次，如果车辆不“运行”且换挡机制不是“停车”，设置模块将不开始585。

在兼容挂车110的连接580，车辆100“运行”590和车辆100“停车”590基础之上，HMI 102将呈现具有由驾驶员选择的“牵引”模式选项的菜单104。驾驶员选定“牵引”模式且呈现提供“挂车选项”选择的菜单104。然后，驾驶员从“牵引”菜单中选定“挂车选项”模式。从呈现在HMI设备上的菜单104提示驾驶员要么“增加挂车”或“选择挂车”，本发明主旨的“设置”模块600开始。对于某些基于照相机的挂车角检测系统，执行操作602，其中可以经由HMI呈现警告菜单至驾驶员，通知驾驶员挂车必须在一条直线上，意味着在车辆和挂车之间没有牵引角。警告表明驾驶员需要采取校正措施，例如，牵引车辆向前以便根据设置600的需要使挂车和车辆成直线。可以经由HMI 102呈现通用类或静态图像以辅助驾驶员可视识别必要的挂车110和车辆100之间的对齐，以便适当地设置和校准挂车倒车辅助系统105。驾驶员应用任何校正603，其中，驾驶员做出他已被警告的任何必要的调整，并且通过确认校正措施已被应用603表明挂车与车辆在一条直线上。其他挂车角检测系统在设置模式期间不需要驾驶员拉直挂车。

为了在设置过程帮助驾驶员，在604点亮在车辆上可用的倒车灯或任何其他附加的照明设备。如果挂车是新的挂车，其之前没有被连接到车辆上或之前没有存储在挂车倒车辅助系统中，606呈现给驾驶员要么是命名挂车要么选择以前存储的挂车配置的选项。命名挂车608允许挂车下次被连接到车辆上时容易地识别以便驾驶员不必重复设置过程。驾驶员要么输入独特的名字以识别被存储在挂车倒车辅助系统中的挂车要么选择之前存储的与连着的挂车相关的挂车配置。挂车倒车辅助系统将不允许多于一个挂车具有相同的名称。因此，如果驾驶员试图使用已经被应用于之前存储的挂车配置的名称命名挂车，HMI将显示信息至驾驶员表明该问题且要求驾驶员为挂车配置输入不同的名称。如果之前存储的挂车配置可用且由驾驶员选定610，可以跳过设置过程的某些步骤。

以下讨论针对用于基于照相机的挂车角检测系统第一次挂车配置。612指示驾驶员在挂车上放置牵引角标记，其用于校准目的。通用静态图像可以显示在HMI上，其为驾驶员提供关于在挂车上用于牵引角检测的标记的放置方向的指导。标记放置由被牵引的挂车的类型而定，因此可以呈现给驾驶员选项以帮助驾驶员选择适当的挂车类型。静态图像可以表明标记放置可接受的区域以及标记放置不可接受的区域。表明连接标记适当的区域的静态图像可以是挂车挂接装置的后视图上的叠加。一旦驾驶员连接标记至挂车并经由HMI表明标记已被连接到挂车，614设置模块提供可视反馈至驾驶员识别标记已被定位或捕获。616驾驶员经由HMI确认标记已被挂车倒车辅助系统正确地识别。同样地，对于之前存储的挂车配置，挂车将已经具有在其上放置的标记。挂车倒车辅助系统将获得标记并在614提供可视反馈至驾驶员确定标记的获得。

如果在预定时间量流逝之后614没有获得标记，618通知驾驶员需要重新定位标记且呈现可能采取的校正措施。可以呈现可能的校正措施给驾驶员，例如清洁照相机境头、清洁标记、如果标记已被损坏或褪色更换标记、牵引车辆挂车组合向前以改善照相机和/或标记周围的光线条件，以及移动标记至可接受的位置。603驾驶员应用必要的校正。如上所提及的，一些挂车角检测系统在设置模式期间不需要驾驶员连接标记至挂车。标记和标记的获得是针对基于照相机的挂车角检测系统。

当614由挂车倒车辅助系统获得标记且616驾驶员已确认获得，那么，620通过一系列菜单提示驾驶员输入挂车测量信息，其可以存储在挂车倒车辅助系统用于与命名的挂车相关的挂车配置中。下次同样的挂车被连接到车辆时，它的独特的挂车配置将已被存储且通过设置模块的进展将会更快，或在某些情况下，可以完全跳过设置模块。为了辅助驾驶员测量信息，可以在HMI屏幕上显示通用静态图像。可以提供可视化示例(见图5)帮助驾驶员识别提示驾驶员输入的车辆、挂车或车辆和挂车之间的位置。此外，驾驶员输入的测量的数值范围可以在挂车倒车辅助系统内设置且可以显示给驾驶员。可以警告驾驶员关于输入的测量超过数值范围。此外，提示驾驶员输入的测量信息要求可以呈现给驾驶员，以便应该输入测量到挂车倒车辅助系统。

应当指出的是，虽然上述讨论的测量信息是由驾驶员输入的，但是在不脱离本发明主旨范围的前提下也可以使用各种输入测量信息的方法。例如，使用现存的车辆和挂车数据自动检测测量的系统，包括但不限于车辆速度、轮转速、方向盘转角、车辆与挂车相对角，以及车辆与挂车角度变化率。

测量信息的例子可以包括从车辆后部到挂接球头中心的水平距离、从车辆后部到标记中心的水平距离、从标记到地面的垂直距离，以及标记从挂接球头的中心线的水平偏移。如果在不同于挂接球头的中心线处连接标记，那么挂车倒车辅助系统必须已知标记连接在车辆的哪一侧，乘客侧或驾驶员侧。在HMI上的菜单可以呈现给驾驶员以表明标记的放置在乘客侧或驾驶员侧。挂车倒车辅助系统也需要已知从车辆后部到挂车的一个或多个桥的中心的水平距离。可以用要么英制单位要么公制单位输入测量。

在继续进行设置过程之前，622呈现修改任何测量的选项给驾驶员。如果不需要修改，624设置模块600完成且校准模块700开始。

设计校准模块700用于用适当的挂车测量校准曲率控制算法和校准挂车倒车辅助系统任何可能存在的牵引角偏移。在完成设置模块600之后，校准模块700开始且702指示驾驶员牵引车辆挂车组合直线向前直到完成牵引角传感器校准。HMI可以经由弹出式显示器或屏幕显示器通知704驾驶员车辆挂车组合需要向前牵引直到完成校准。当校准完成时，HMI可以通知704驾驶员。任何牵引角偏移值被存储706在存储器中，必要时由曲率控制算法访问，在704校准模块700结束。

应当指出的是，虽然上述牵引角校准被描述为可以请求驾驶员向前牵引信息，但是在不脱离实施例的范围的前提下也可以使用牵引角校准的各种其他方法。

在完成设置模块600和校准模块700之后，激活模块800可以开始。参考图4描述了激活模块800。设计激活模块800用于在挂车倒车辅助操作期间激活车辆的自动转向。802指示驾驶员将车辆置于倒档。在激活挂车倒车辅助系统之后，转向系统将不接受除了挂车倒车辅助系统804之外的来自任何来源的任何转向角命令。挂车设置600和校准700模块必须完成且当前牵引角必须在挂车倒车辅助系统806的预定操作范围内。车辆速度也必须小于预定激活速度808。如果这些条件804、806、808中的任何一个或全部没有满足，提示驾驶员应用校正措施810。驾驶员必须确认814已采取校正措施以便开始控制模块。如果采取了校正措施，但是激活模块认为它不可接受，将指示驾驶员810尝试另一种校正措施。

对于方向盘直接耦接到车辆的转向轮的转向系统，在挂车倒车辅助期间驾驶员不能与方向盘接合。如果任何方向盘运动被驾驶员或以其他方式阻断，挂车倒车辅助系统将呈现指令810至驾驶员以将他们的手从方向盘上移开。激活800将暂停或中断直到移除障碍。如果车辆速度超过临界速度或如果车辆牵引角不可接受，将提示驾驶员810采取校正措施。激活800和控制200、500模块将中断直到采取、接受并确认校正措施。

当驾驶员移动换挡从“停车”到“倒车”802并按压或转动挂车倒车转向输入装置125时，后视照相机图像会出现在HMI的显示器上。如果在倒车过程期间的任何时候牵引角太大，系统不能控制挂车的曲率，TBA(拖车倒车辅助)将提供警告至驾驶员向前牵引以减小牵引角。如果在倒车过程期间的任何时候系统不能追踪牵引角标记，呈现给驾驶员指令以改正问题。如果在任何时候车辆速度超过预定激活速度，可视和可听地警告驾驶员停车或减速。当激活模块的所有条件都满足和保持时，控制模块可以开始。

挂车标记放置和监控

车辆挂车倒车辅助系统可以利用在挂车上放置的标记起牵引角检测部件155的作用。根据一个实施例，在这种情况下，挂车倒车辅助系统可以使用通过标记的图像获取和处理获得的信息以便在牵引角检测装置130中使用。根据另一个实施例，标记可以用于识别连接的挂车是否改变，挂车连接或断开以及其他挂车相关的信息。标记是可识别的可见标记，其能够在图像中由视频图像照相机捕获以及通过图像处理检测和处理。根据一个实施例，标记可以包括带粘性的标记、也被称为贴纸，其可以通过一侧的粘合剂粘附在挂车上，优选在标记放置区域内，以便照相机和图像处理装置可以检测标记和它在挂车上的位置以确定挂车相关的信息，例如在挂车和牵引车之间的牵引角。挂车倒车辅助系统可以提供给用户一个或多个适当放置标记的挂车标记区域的图像以辅助在挂车上标记的放置。此外，车辆挂车倒车辅助系统可以监控标记以确定挂车是否已正确地放置在期望的标记放置区域并提供反馈警告至用户。进一步地，挂车倒车辅助系统可以通过监控标记监控挂车连接以确定标记是否已移动，从而确定是否相同的挂车依然连接到牵引车，且可以开始对此的响应措施。进一步地，挂车倒车辅助系统可以监控牵引角或标记以确定挂车是否已替换(即断开且更换为另一辆挂车)，以及可以开始对此的响应措施。

参考图6，示出的车辆挂车倒车辅助系统105包括牵引角检测装置130和标记监控控制器10，用于监控标记，辅助标记的放置，监控挂车的连接，确定挂车是否已移动，以及开始某些措施。标记监控控制器10可以包括微处理器12和/或其他模拟和/或数字电路，用于处理一个或多个程序。此外，标记监控控制器10可以包括存储器14，用于存储一个或多个程序，包括图像处理程序16、标记放置辅助程序900、标记监控程序920、移动标记检测程序的初始设置940、移动标记检测程序960以及挂车连接监控程序990。应当领会的是，标记监控控制器10可以是单独的专用控制器或可以是与其他控制功能结合的共用控制器，例如与牵引角检测装置130结合，以处理挂车和标记的图像并执行相关的功能。在一个实施例中，牵引角检测装置130处理从标记监控控制器10获得的标记图像和其他信息(例如挂车长度)以便用于确定挂车与牵引车之间的牵引角。

照相机20被示为用于提供视频图像至车辆挂车倒车辅助系统105的标记监控控制器10的输入。照相机20可以是后视照相机，其安装在牵引车辆上一定的位置和方向以获得车辆后部由车辆牵引的挂车的图像。照相机20可以包括图像照相机，其产生一个或多个挂车的照相机图像，包括标记放置区域在挂车上期望位于的区域。照相机20可以包括视频图像照相机，其反复拍摄由标记监控控制器10处理的连续的挂车图像。标记监控控制器10用一个或多个图像处理程序16处理一个或多个来自照相机20的图像以识别标记和它在挂车上的位置。标记监控控制器14进一步处理与一个或多个程序900、920、940、960、990有关的处理图像。

挂车监控控制器10可以与一个或多个包括车辆外部警报器24的设备通信，其可以包括用于提供可视警告的车辆制动灯和车辆紧急灯和用于提供可听警告的车辆喇叭。此外，挂车监控控制器可以与一个或多个包括车辆显示器的车辆人机界面(HMI)25通信，例如中控面板上安装的导航/娱乐显示器。进一步地，挂车监控控制器10可以通过无线通讯22与一个或多个手持型或便携式设备26通信，例如一个或多个智能手机。便携式设备26可以包括显示器28，用于显示一个或多个图像和其他信息至用户。便携式设备26可以在显示器28上显示一个或多个挂车和在期望的标记放置区域内的标记位置的图像。此外，便携式设备26可以提供有关车辆标记连接的、包括可可视和可听警告的反馈信息。

参考图7-10，根据一个示例性实施例，说明了使用处理标记放置辅助程序900的标记监控控制器10在挂车110上放置标记30。在图7和8中，示出了牵引车100牵引挂车110。挂车110具有以联接器组件114形式的挂车挂接装置连接器，其连接到以接收器挂接装置和球头15形式的车辆挂接装置连接器。联接器组件114卡扣住挂接球头15以提供旋转球接头。示出的挂车110具有包括纵向延伸杆或挂车牵引舌112的结构。示出的挂车牵引舌112的上水平面为接收标记30提供期望的标记放置区域32。应当领会的是，挂车110可以配置为各种形状和尺寸且可以提供一个或多个接收标记30的其他适当的标记放置区域32。标记放置区域32定义期望的标记30放置的位置。

车辆100配备有视频图像照相机20，所示的位于车辆100的后部车辆后挡板的上部。视频图像照相机20相对于标记放置区域被抬高且具有图像视野且定位和取向为拍摄一个或多个挂车110的图像，包括包含一个或多个期望的标记放置区域的区域。应当领会的是，一个或多个照相机可以位于在车辆100上的其他位置以获得挂车110和标记放置区域32的图像。

为了利用在当前没有配备有合适的已有的标记的挂车上的标记，可以指示或指挥用户2在挂车110上期望的标记放置区域32内放置标记30，以便照相机20可以拍摄一个或多个标记30的图像以确定用于挂车倒车辅助系统的挂车相关信息，例如用于牵引角检测装置130的牵引角信息。这种情况下，可以通过可听的或在HMI(例如车辆HMI 25或便携式设备26)上可视的信息提示用户2在挂车110上放置标记30。车辆HMI 25可以包括可视的和/或可听的产生用于适当放置标记的指令的输出。

为了允许有效且适当在挂车110上放置标记30，挂车倒车辅助系统使用图10所示的标记放置辅助方法或程序900，其由标记监控控制器10处理。标记放置辅助方法900包括步骤902，在此步骤中用户可以连接具有图像显示器的便携式设备以与车辆通信。根据一个实施例，用户可以以电子方式连接设备至车辆，其可以经由无线协议实现。设备可以是可以通过Wi-Fi、或其他无线协议通信的无线设备。作为选择，设备可以通过有线连接进行连接。下一步，在步骤904中，用户开始牵引角检测系统设置，其要求开始牵引角检测系统的设置程序。作为该程序的一部分，将要求用户在车辆的挂车上的标记放置区域内放置标记。在步骤906，系统用照相机产生一个或多个被牵引的挂车的图像，其包括期望的标记放置区域期望位于的区域。有多于一个标记放置区域且一个区域可以优于另一个区域。在步骤908，系统处理产生的图像并确定在挂车上的期望的标记放置区域。期望的标记放置区域可以根据照相机位置和方向、标记距挂接装置连接部的期望距离和挂车的物理结构确定。在步骤910，系统在一个或多个产生的图像上产生标记叠加。标记叠加是在标记放置区域内的标记的期望位置的可见指示，根据其指示用户放置标记。标记叠加可以包括标记标记放置区域的边界线或其他标识。标记叠加可以由闪烁的彩色(如红色)线在显示的图像上示出。可以产生和示出多个标记放置区域的标记叠加。在步骤912，系统传达一个或多个图像以及标记叠加至车辆的显示器且如果在步骤902中通过利用无线或有线连接连接了在便携式设备上的用户的显示器。下一步，在步骤914，在便携式设备上的用户的显示器显示由标记叠加表明的标记放置区域的图像。然后，在步骤916，通过HMI提示用户在来自在车辆的显示器上和/或便携式显示器上的显示图像和标记叠加的帮助下在挂车上标记放置区域内放置标记。

图9说明了在便携式设备26的显示器28上显示的图像的一个例子，图像示出了在挂车上放置的标记的标记位置的叠加。显示在显示器28上的图像包括如由照相机拍摄的挂车110的图像以及进一步包括期望的标记放置区域32的叠加。用户2可以查看便携式设备26的显示器28上的图像以确定相对于挂车110放置标记的位置。在这个例子中，用户可以将标记30放置在由标记叠加表明的标记放置区域32上。标记的放置可以通过在挂车的表面上粘附标记贴纸来实现。因此，用户可以使用具有显示器的便携式设备，例如电话、平板电脑、或计算机以在挂车上施加标记之前或期间查看在挂车上放置标记的合适位置。

因此，标记放置辅助方法900有利地辅助用户以简单实用、准确和有效的方式在挂车110上放置标记30。用户2可以在标记放置过程之前或期间容易地携带具有显示器的便携式设备以与车辆通信和查看正确的标记放置位置，不必返回至车辆或以其他方式提示标记放置。

挂车倒车辅助系统105进一步包括标记监控方法或程序，用于监控标记在挂车上放置并提供关于标记是否已被放置在适当的标记放置区域内的反馈至用户。用户可以以不同的方式在挂车上放置标记。在某些情况下，可以通过车辆HMI由TBA系统提示用户在挂车上放置标记且可以给予用户关于位置的指令。用户可以使用标记放置辅助方法900辅助标记在挂车上放置。在其他情况下，用户可以使用他们的最佳判断或遵循印刷在标记上或随其提供的包装上的指令在挂车上放置标记。在任何情况下，一旦标记被放置在挂车上，标记监控方法920将监控标记相对挂车的位置并提供关于标记在挂车上正确的或不正确放置的反馈至用户。

根据一个实施例，图11说明了标记监控方法920。在步骤922，方法920要求如果挂车尚未连接就在球头和连接装置上连接挂车至车辆。下一步。在步骤924，牵引角检测设置开始。在步骤926，通过界面提示用户在挂车上放置标记。根据一个实施例，用户可以根据预定标准或用户的最佳判断或知识在挂车上放置标记。根据其他实施例，可以通过利用用户指南、说明书或其他可视的或可听的指令传达来指示用户在挂车上放置标记的位置。通常，标记应该被放置在照相机的视野没有障碍的区域且其允许图像的获得和期望的挂车相关信息的确定，例如牵引角。根据挂车配置和照相机方向和高度，可以要求标记放置在挂车的某些区域内、在距挂车挂接装置连接部具有距挂接装置连接最小距离的距离范围内(例如7英寸(17.78cm))、在距牵引车保险杠的一定范围内、以及在距地面高度的一定范围内。标记放置可以要求在距挂车的纵轴的中心线一定距离内的位置，以及可以要求垂直或水平角度或在垂直和水平位置之间的某些角度。根据另一个实施例，用户可以利用标记放置辅助方法900在挂车上放置标记。

在步骤928，系统产生一个或多个在被牵引的挂车上的标记放置区域的图像。然后在步骤930，系统处理一个或多个图像以确定在期望的标记放置区域内标记的存在。期望的标记放置区域可以由一定标准确定，例如距挂车挂接装置连接部114的距离，距挂车的纵轴的中心线的距离、照相机相对于挂车的高度、以及照相机距挂车的距离。在判定步骤932，方法900确定标记是否已被处理的图像检测到，如果没有，返回至步骤926以通过HMI提示用户在挂车上放置标记。

如果标记已被处理的图像检测到，在步骤934，车辆挂车倒车辅助系统提供反馈警告至用户。反馈警告可以包括一个或多个车辆外部警告，包括可视警告(例如使车辆制动灯闪光和/或使车辆紧急灯闪光)和/或可听的警告(例如使车辆喇叭发出声音)。此外，反馈警告可以包括通过便携式设备26提供信息，通过便携式设备26提供可听音或通过便携式设备26的可视灯光指示。进一步地，反馈警告可以包括通过便携式设备(例如电话或计算机)发送文本信息或可听指令至用户。应当领会的是，其他车辆外部和可选的反馈警告可以被传送给用户以表明在挂车已检测到正确放置的标记。作为选择，反馈警告可以用于表明在挂车上不正确放置的标记。一旦挂车在适当的位置适当地配备有标记，挂车倒车辅助系统可以通过监控标记处理信息以确定牵引角和其他挂车牵引相关的功能。

标记30可以包括贴纸，其在底部表面具有粘合剂和在上表面提供有用于由摄影机拍摄和由图像处理装置识别的某些尺寸和形状的预定的图像式样。根据一个实施例，标记30形状可以是矩形，且可以具有照相机图像可识别的式样，例如所示的棋盘格式样。图像处理装置可以包括已知的用于识别标记式样和它在挂车上的位置的图像式样识别程序。然而，应当领会的是，可以使用其他标记形状、尺寸和式样。进一步应当领会的是，标记可以使用连接器以其他方式被连接到挂车，连接器例如紧固件，其可以连接至挂车或至至挂车的连接物。进一步应当领会的是，标记可以通过磁力、粘合、喷涂或许多其他合适的方法连接。

应当领会的是，不是所有的挂车必须配置用于提供适当的在挂车上标记贴纸的放置位置。因此，根据一个实施例，通过利用如图12和13所示的标记安装系统40可以为给定的挂车增加标记位置。所示的标记安装系统40安装在挂车110上以呈现在期望的标记放置区域内照相机可视的标记30。标记安装系统40包括立式安装立柱或支架44，其具有多个垂直延伸以允许期望的垂直高度调整的螺栓接收孔46。支架44可以通过孔54使用螺栓48、垫圈52和螺母50装配到挂车上。根据哪个孔46与挂车孔54对准，可以调整支架44的高度。安装到支架44的上部是具有用于安置标记30的上部标记放置区域32的标记板42。同样地，板42也具有多个孔46，其水平地匹配在支架44上的孔，且可以通过螺栓48、垫圈52和螺母50装配到其上。因此，可以垂直和水平调整板42至期望的位置，只要可调整地在期望的位置内放置标记30以便容易地由照相机获得标记且由图像处理装置处理。应当领会的是，标记安装系统40的辅助安装连同标记30和标记安装系统40和标记30的适当的位置的确认可以通过利用上述讨论的标记放置辅助方法900和标记监控方法920来实现。

移动标记检测方法包括移动标记检测初始设置程序940和随后的处理程序960，用于提示挂车信息的录入时使用。移动标记检测方法确定在挂车(例如挂车牵引舌)上牵引角标记的位置是否已移动，且也可以确定距离是否改变。比较在之前存储的图像和刚刚获得的图像中的标记图像以确定位置和/或距标记的距离是否已改变。比较可以包括比较图像的照相机图像像素大小。如果或者是位置或者是距离改变，那么通过HMI提示用户为随后挂车倒车辅助系统的处理重新输入新的挂车信息。

图14说明了初始设置程序940。首先，在步骤942挂车必须连接到车辆。在步骤944，为连着的挂车设置牵引角追踪。对于基于视觉的系统，这可以包括将标记贴纸应用在挂车上，例如在挂车的牵引舌的附近，以便车辆的照相机可以在挂车机动和围绕曲线回转时检测标记的运动。此外，可以输入许多与标记的位置有关的参数，其用于根据视野处理正确计算牵引角。这些参数可以包括标记距地面的距离和从标记到车辆的保险杠的距离。在步骤946，指挥车辆和挂车直线驾驶，其可以通过在前进的方向驾驶车辆和牵引的挂车来实现。这确保在挂车和车辆成直线的情况下车辆和挂车之间牵引角大约为零且将在相同的方向拍摄在随后步骤产生的图像且对于图像比较是有效的。在步骤948，当车辆和挂车在直线上牵引角大约为零度时借助于照相机获得标记和挂车的照片(图像)。在步骤950，图像处理装置在图像上执行视觉处理。视觉处理可以首先检测标记然后根据处理图像的像素计算标记的尺寸和位置。在步骤952，在步骤948获得的图像被存储在存储器中且在步骤950计算的信息被存储在存储器中。然后，图像和计算出的信息随后用于确定标记是否移动。如果标记已移动，系统可以假设挂车可能已经改变或替换为不同的挂车，并因此通过HMI提示用户输入挂车信息。

参考图15，示出的移动标记检测程序960开始于步骤962，在步骤962中指示驾驶员重新给车辆连接之前设置的且在初始设置程序940使用的挂车。在步骤964，由牵引角检测系统提示用户选择之前设置和存储的挂车而不是选择新的挂车。在步骤966，提示用户驾驶挂车和车辆组合直线向前以实现牵引角大约为零度。下一步，在步骤968，由照相机获得新的标记和挂车的图像。在步骤970，在图像上执行视觉处理以检测标记并通过处理图像的像素计算标记的尺寸和位置。在步骤972，上述计算出的标记位置和尺寸与在之前初始设置拍摄的图像中的标记的位置和尺寸比较。在步骤974，做出确定以确定新的标记信息是否匹配或是否在原始标记信息的公差内。如果新获得的标记与之前的初始设置的图像相比仍然是同样的尺寸且在图像上同样的位置，那么如果在步骤980中做出这种确定，标记很可能在相同的位置且将允许适当的牵引角检测。如果标记具有不同的位置或具有不同的尺寸，那么意味着标记已移动且程序960转到步骤976。当挂车与用户最终选定的挂车相比是不同的挂车时，检测到标记的移动可能发生。之前选定的挂车配置的使用可能为牵引角标记追踪提供错误的结果。因此，方法960转到步骤978以提示用户(如驾驶员)用新的挂车和挂车信息重新选择或重新设置挂车配置。因此，移动标记检测程序960有利地检测标记的移动，其可以表明新挂车与车辆的潜在连接，以便通过HMI提示用户选择新挂车配置信息。此外，由于安装了比当初始设置挂车时安装的牵引杆不同尺寸的牵引杆，移动标记程序也可以检测到标记已移动。

图16A和图16B说明了挂车和移动到不同的位置的标记的图像的例子。如图16A所示，示出了挂车和标记30在挂车上对准于第一位置的图像，与随后图16B的图像相比，图16B示出了标记30移动到新的第二更近的位置。标记的位置的改变可以指示挂车已替换为新的挂车或否则在挂车上的标记已移动。当此发生时，标记移动监测程序960要求用户重新输入挂车配置信息以便错误的信息不用于提供错误的牵引角数据。此外，正确的(恰当的)挂车已被选定且标记仍然在挂车上相同的位置，但是系统仍然表明标记已移动也是可能的。在车辆上的牵引杆长度改变时，这种情况可能发生。

标记监控控制器10进一步处理挂车连接监控程序990以确定挂车是否连接到车辆且新的挂车是否已连接。当挂车与车辆断开时，标记信息和牵引角信息在一段时间内不可用。因此，挂车连接监控方法990监控牵引角数据和/或标记检测的可用性以确定牵引角数据或标记数据在相当一段时间是否丢失。如果这种情况发生，那么通过HMI提示驾驶员重新选择连接的挂车或重新输入挂车配置数据以确保错误的挂车信息不被使用。

图17说明了挂车连接监控程序990。在步骤992，挂车被连接到车辆。在步骤994，为挂车设置牵引角检测和监控。如果使用基于视觉的系统，这可以包括在挂车上放置供基于视觉的系统检测的标记以及输入相关参数。作为选择，如果挂车之前已被设置牵引角监控，为那个挂车选择之前存储的设置配置是可能的。在步骤996，一旦挂车已被设置牵引角检测，牵引角检测系统将不断监控牵引角或标记。在判定步骤998，程序990确定牵引角或标记是否已丢失大于X秒的时间段。

根据牵引角系统的类型，牵引角信号可能由于不同的原因丢失或变得不可用，但是一个潜在原因是挂车已从车辆断开。断开的挂车也可以导致标记检测不可用。因此，做出检查以查看自从检测到的牵引角信号或标记丢失已过去多长时间。如果牵引角或标记检测已丢失小于X秒的时间段，那么在步骤996程序990返回以追踪牵引角或标记。如果牵引角或标记检测已丢失大于X秒的时间段，那么在步骤1000通过HMI提示用户重新选择或重新设置挂车配置。设置时间段X代表交换或替换挂车需要的合理时间量。例如，对于非常小的轻量级挂车，在小于六十(60)秒交换挂车是可能的，因此这可以是合理的时间段。根据一个实施例，设置时间段X为三十(30)秒。

虽然监控牵引角以确定挂车从车辆断开，但是应当领会的是，作为选择，挂车连接监控程序990可以监控标记的检测，以便如果X秒不再检测到标记，那么可以提示车辆驾驶员重新选择或重新配置挂车。

应当理解的是，在不脱离本发明的概念的情况下，上述结构可以做出变化和修改，且进一步应当理解的是，这些概念旨在被以下的权利要求覆盖，除非这些权利要求由他们的文字另行明确规定。

Claims (7)

1.一种辅助在挂车上放置标记的方法，其特征在于，包含：

用在牵引车上的照相机产生挂车的图像；

处理图像以确定标记放置区域；

在表示标记放置区域的图像上产生标记叠加；以及

在呈现给用户的显示器上显示图像和标记叠加，以辅助标记在挂车上的放置。

2.根据权利要求1所述的方法，其特征在于，显示器是便携式的。

3.根据权利要求1所述的方法，其特征在于，进一步包含传送图像和标记叠加至包含显示器的便携式设备的步骤。

4.根据权利要求1所述的方法，其特征在于，产生图像的步骤包含用安装在牵引车后部的照相机产生图像。

5.根据权利要求1所述的方法，其特征在于，产生图像的步骤包含用摄影机产生多个图像，其中多个视频图像被处理。

6.根据权利要求1所述的方法，其特征在于，所述方法用于在挂车倒车辅助系统上使用，以辅助连接到车辆的挂车的倒车。

7.根据权利要求1所述的方法，其特征在于，进一步包含产生使用户在挂车上放置标记的指令和传送指令至便携式设备的步骤。