CN113173202A - 远程挂车操纵辅助系统 - Google Patents

远程挂车操纵辅助系统 Download PDF

Info

Publication number
CN113173202A
CN113173202A CN202110081084.6A CN202110081084A CN113173202A CN 113173202 A CN113173202 A CN 113173202A CN 202110081084 A CN202110081084 A CN 202110081084A CN 113173202 A CN113173202 A CN 113173202A
Authority
CN
China
Prior art keywords
trailer
vehicle
obstacle
target location
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110081084.6A
Other languages
English (en)
Inventor
赛义德·阿明·雷伊斯侯赛尼
埃里克·迈克尔·拉瓦伊
马思原
包博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN113173202A publication Critical patent/CN113173202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/26—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for remote control, e.g. for releasing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D1/00—Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/24—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted
    • B62D1/28—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers
    • B62D1/283—Steering controls, i.e. means for initiating a change of direction of the vehicle not vehicle-mounted non-mechanical, e.g. following a line or other known markers for unmanned vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
    • B60D1/245—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating push back or parking of trailers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60D—VEHICLE CONNECTIONS
    • B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
    • B60D1/58—Auxiliary devices
    • B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60P—VEHICLES ADAPTED FOR LOAD TRANSPORTATION OR TO TRANSPORT, TO CARRY, OR TO COMPRISE SPECIAL LOADS OR OBJECTS
    • B60P3/00—Vehicles adapted to transport, to carry or to comprise special loads or objects
    • B60P3/06—Vehicles adapted to transport, to carry or to comprise special loads or objects for carrying vehicles
    • B60P3/10—Vehicles adapted to transport, to carry or to comprise special loads or objects for carrying vehicles for carrying boats
    • B60P3/1033—Vehicles adapted to transport, to carry or to comprise special loads or objects for carrying vehicles for carrying boats on a loading frame, e.g. the vehicle being a trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Traffic Control Systems (AREA)

Abstract

本公开提供“远程挂车操纵辅助系统”。一种远程挂车操纵(RTM)系统包括移动装置app，所述移动装置app识别并处理来自照片的环境信息，以识别诸如墙壁、周围对象等障碍物。当RTM系统检测到船、挂车和船坡道时，其计算将挂车驱动到水中以卸载船的行驶距离。所述RTM系统识别障碍，输出信息和警告，并提示信息和用户控制反馈。一旦照片被处理，所述RTM系统就向车辆上的RTM控制器发送控制指令。所述车辆可以向移动装置发送指示所述RTM系统准备好继续进行操纵功能的响应消息。所述RTM控制器使用自主车辆控制器、使用所述控制指令将所述挂车操纵到所述目标位置。

Description

远程挂车操纵辅助系统
技术领域
本公开涉及一种用于自主车辆的车辆接口系统，并且更具体地，涉及一种接口系统和远程挂车车辆操纵系统。
背景技术
在拖曳挂车的情况下操作车辆与对于许多驾驶员来说是非常具有挑战性的。这对于对附接挂车的车辆进行倒退不熟练的驾驶员来说尤为如此，所述驾驶员包括不常在有挂车的情况下进行驾驶(例如，租用挂车、不常使用个人挂车等)的那些驾驶员。用于车辆的挂车倒退辅助系统可以包括车载用户接口，所述车载用户接口允许用户通过自动转向控制器来使由车辆拖曳的挂车转向，所述自动转向控制器提供使挂车沿着用户定义的路径曲率移动的转向运动。
在转让给福特全球技术有限责任公司(Ford Global Technologies,LLC)的美国专利第9,352,777号中公开了一种用于配置用于挂车操纵的挂车模型的系统(下文称为“'777公布”)。在'777公布中描述的系统包括用于捕获3D挂车数据以创建挂车配置文件以传送到挂车操纵系统的移动装置。移动装置还可以用于捕获尺寸数据，诸如车辆和挂车上的第一参考点与第二参考点之间的距离。还可以由移动装置提供拍摄挂车本身的照片的请求。可能有利的是，进一步提供自主车辆(AV)控制集成和其他直观特征，所述特征利用移动装置的感测能力来评估环境、测量停车空间的边界并提供用于输入车辆和挂车的目标位置和取向的用户接口。
关于这些和其他考虑因素，提出了本文进行的公开。
发明内容
本文公开的系统和方法被配置为通过使用移动装置应用或“app”来改进远程挂车操纵(RTM)系统。RTM app提示用户拍摄目标位置的照片用于定位挂车。移动装置通过识别和表征可能的障碍物(诸如墙壁、周围对象等)的环境信息来处理照片。RTM app可以用若干步骤来处理照片，所述步骤包括使用增强现实(AR)控制器来将挂车的表示叠加在期望位置。当检测到船为挂车有效载荷时，并且RTM系统进一步识别船坡道时，系统计算将挂车驱动到水中以将船卸载的行驶距离。
RTM系统可以使用各种方法来确定距离，包括确定水的盐度水平、测量车辆、挂车/挂车内容物、水、附近的障碍物之间的相对距离以及使用其他测量值。RTM系统可以识别被预测为阻止完成使挂车在目标位置处终止的操作的任何障碍，并向用户输出信息和警告，提示信息和用户控制反馈，并且提供对完成挂车操纵操作有用的其他信息。
一旦照片被处理，移动装置上的RTM系统就向车辆上的RTM控制器发送控制指令以进行验证和执行。所述车辆可以向移动装置发送指示所述RTM系统准备好继续进行操纵功能的响应消息。
本公开中描述的实施例可以允许用户发起自动挂车操纵操作并指示挂车的期望目的地，而无需连续提供繁琐的控制输入。
在本文中更详细地提供了本公开的这些和其他优点。
附图说明
参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了在附图中示出的元件和/或部件之外的元件和/或部件，并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。贯穿本公开，根据背景，单数术语和复数术语可以可互换地使用。
图1描绘了其中可以实施用于提供本文所公开的系统和方法的技术和结构的示例性计算环境。
图2示出了根据本公开的被配置为远程挂车操纵(RTM)系统的一部分的控制系统的示例性功能示意图，所述远程挂车操纵(RTM)系统可以被配置为用于图1的车辆中。
图3描绘了根据本公开的被配置为RTM系统的一部分的示例性移动装置。
图4描绘了根据本公开的在系统已经识别用户希望定位挂车的目标位置之后使用图像呈现挂车停放环境的视图的app的另一个视图。
图5描绘了根据本公开的执行经由挂车停放环境的图像确定目标位置的步骤的app的另一个视图。
图6描绘了根据本公开的车辆使用RTM系统将挂车操纵到水中。
图7是根据本公开的用于使RTM系统将挂车操纵到目标位置的示例性方法的流程图。
具体实施方式
下文将参考附图更全面地描述本公开，附图中示出了本公开的示例性实施例，并且所述实施例不意图为限制性的。
图1描绘了示例性计算环境100(本文中也称为挂车停放环境100)，所述示例性计算环境100可以包括一个或多个车辆105，所述一个或多个车辆105包括汽车计算机145以及车辆控制单元(VCU)165，所述车辆控制单元(VCU)165包括设置成与汽车计算机145和远程挂车操纵(RTM)系统107进行通信的多个电子控制单元(ECU)117。移动装置120(其可以与用户140和车辆105相关联)可以使用有线和/或无线通信协议和收发器来与汽车计算机145连接。移动装置120可以经由一个或多个网络125来与车辆105通信地耦合，该一个或多个网络125可以经由一个或多个无线信道130进行通信，和/或移动装置120可以使用近场通信(NFC)协议、
Figure BDA0002909141360000041
协议、Wi-Fi、超宽带(UWB)以及其他可能的数据连接和共享技术来与车辆105直接地连接。车辆105还可以接收全球定位系统(GPS)175和/或与其进行通信。
汽车计算机145可以是或包括具有一个或多个处理器150和存储器155的电子车辆控制器。在一些示例性实施例中，汽车计算机145可以设置成与移动装置120以及一个或多个服务器170进行通信。服务器170可以是基于云的计算基础设施的一部分，并且可以与远程信息处理服务递送网络(SDN)相关联和/或包括所述SDN，所述SDN向车辆105和可能是车辆车队的一部分的其他车辆(图1中未示出)提供数字数据服务。
尽管被示出为轿车，但是车辆105可以采取另一种乘用或商用汽车的形式，诸如，例如轿车、卡车、运动型多功能车、跨界车、厢式货车、小型货车、出租车、公共汽车等，并且可以被配置为包括各种类型的汽车驱动系统。示例性驱动系统可以包括具有汽油、柴油或天然气动力燃烧发动机的各种类型的内燃发动机(ICE)动力传动系统，其具有常规的驱动部件，诸如变速器、驱动轴、差速器等。在另一种配置中，车辆105可以被配置为电动车辆(EV)。更具体地，车辆105可以包括电池EV(BEV)驱动系统，或者被配置为具有独立车载动力装置的混合动力EV(HEV)、包括可连接到外部动力源的HEV动力传动系统的插电式HEV(PHEV)，并且包括具有燃烧发动机动力装置和一个或多个EV驱动系统的并联或串联混合动力动力传动系统。HEV可以包括用于蓄电的电池和/或超级电容器组、飞轮蓄电系统或其他发电和蓄电基础设施。车辆105还可以被配置为使用燃料电池(例如，氢燃料电池车辆(HFCV)动力传动系统等)和/或这些驱动系统和部件的任何组合将液体或固体燃料转换为可用动力的燃料电池车辆(FCV)。
此外，车辆105可以是手动地驾驶的车辆，和/或被配置为在完全自主(例如，无人驾驶)模式(例如，5级自主)下或在一个或多个部分自主模式下操作。部分自主模式的示例在本领域中被广泛地理解为1级至5级自主。具有1级自主的自主车辆(AV)通常可以包括单个自动化驾驶员辅助特征，诸如转向或加速辅助。自适应巡航控制是1级自主系统的这样一个示例，其包括加速和转向两个方面。车辆中的2级自主可以提供转向和加速功能的部分自动化，其中自动化系统由执行非自动化操作(诸如制动和其他控制)的人类驾驶员监督。车辆中的3级自主通常可以提供对驾驶特征的条件自动化和控制。例如，3级车辆自主典型地包括“环境检测”能力，其中车辆可以独立于当前的驾驶员而做出明智的决策，诸如加速驶过缓慢移动的车辆，而如果系统无法执行任务，则当前的驾驶员仍准备好重新取得对车辆的控制。4级自主包括具有高级自主的车辆，其可以独立于人类驾驶员操作，但是仍包括用于超驰操作的人类控制。4级自动化还可以使自驾驶模式能够响应于预定义的条件触发(诸如道路危险或系统故障)进行干预。5级自主与无需人类输入进行操作并且通常不包括人类操作的驾驶控制的自主车辆系统相关联。
根据本公开的实施例，RTM系统107可以被配置为与具有2级或3级自主车辆控制器的车辆一起操作。关于图2更详细地描述示例性AV控制器235。因此，当车辆被配置为AV时，RTM系统107可以向车辆105提供人类控制的一些方面。
移动装置120通常包括用于存储与应用135相关联的程序指令的存储器123，其在被移动装置处理器121执行时执行所公开的实施例的各方面。应用(或“app”)135可以是RTM系统107的一部分，或者可以向RTM系统107提供信息和/或从RTM系统107接收信息。
在一些方面，移动装置120可以通过一个或多个无线信道130与车辆105进行通信，该一个或多个无线信道130可以在移动装置120与远程信息处理控制单元(TCU)160之间加密并建立。移动装置120可以使用与车辆105上的TCU 160相关联的无线发射器与TCU 160进行通信。发射器可以使用诸如例如一个或多个网络125的无线通信网络来与移动装置120进行通信。图1中将无线信道130描绘为经由一个或多个网络125进行通信，并且还经由与车辆105的直接通信进行通信。
网络125示出了示例性通信基础设施的示例，其中本公开的各种实施例中讨论的连接的装置可以进行通信。网络125可以为和/或可以包括互联网、专用网络、公共网络或使用任一种或多种已知的通信协议操作的其他配置，所述已知的通信协议是诸如例如传输控制协议/互联网协议(TCP/IP)、
Figure BDA0002909141360000061
基于电气和电子工程师协会(IEEE)标准802.11的Wi-Fi、超宽带(UWB)以及蜂窝技术，诸如时分多址(TDMA)、码分多址(CDMA)、高速分组接入(HSPDA)、长期演进(LTE)、全球移动通信系统(GSM)和第五代(5G)，这里举几个示例。
根据本公开，汽车计算机145可以安装在车辆105的发动机舱中(或车辆105中的其他地方)并且可以作为RTM系统107的功能部分操作。汽车计算机145可以包括一个或多个处理器150和计算机可读存储器155。
一个或多个处理器150可以设置成与一个或多个存储器装置(例如，存储器155和/或图1中未示出的一个或多个外部数据库)进行通信，所述一个或多个存储器装置被设置成与相应的计算系统进行通信。处理器150可以利用存储器155来以代码存储程序和/或存储数据以执行根据本公开的各方面。存储器155可以是存储程序代码的非暂时性计算机可读存储器。存储器155可以包括易失性存储器元件(例如，动态随机存取存储器(DRAM)、同步动态随机存取存储器(SDRAM)等)中的任一者或组合，并且可以包括任何一个或多个非易失性存储器元件(例如，可擦除可编程只读存储器(EPROM)、快闪存储器、电子可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)等)。
VCU 165可以在车辆105系统、连接的服务器(例如，服务器170)与作为车辆车队的一部分操作的其他车辆(图1中未示出)之间协调数据。VCU 165可以包括ECU 117(诸如例如车身控制模块(BCM)193、发动机控制模块(ECM)185、变速器控制模块(TCM)190、TCU 160、约束控制模块(RCM)187等)的任何组合或与其通信。在一些方面，VCU 165可以控制车辆105的各方面，并且实施从在移动装置120上操作的应用135接收的一个或多个指令集，和/或从自主车辆(AV)控制器(诸如关于图2讨论的AV控制器235)接收的指令。
TCU 160可以被配置为向车辆105上和外的无线计算系统提供车辆连接性，并且可以包括用于接收和处理来自GPS 175的GPS信号的导航(NAV)接收器188、
Figure BDA0002909141360000071
低功耗模块(BLEM)195、Wi-Fi收发器、超宽带(UWB)收发器和/或可以配置为用于车辆105与其他系统、计算机和模块之间的无线通信的其他无线收发器(图1中未示出)。TCU 160可以设置成通过控制器局域网(CAN)总线180与ECU117进行通信。在一些方面，TCU 160可以作为CAN总线180节点检索数据并发送数据。
BLEM 195可使用
Figure BDA0002909141360000072
和Bluetooth
Figure BDA0002909141360000073
通信协议通过广播和/或监听小广告包的广播并且与根据本文所述的实施例配置的响应装置建立连接来建立无线通信。例如，BLEM 195可以包括响应或发起GATT命令和请求的客户端装置的通用属性配置文件(GATT)装置连接性，并且与移动装置120直接地连接。
CAN总线180可以被配置为多主控串行总线标准以使用基于消息的协议将ECU 117中的两个或更多个连接为节点，所述基于消息的协议可以被配置和/或编程为允许ECU 117彼此通信。CAN总线180可以是或包括高速CAN(其可以具有在CAN上高达1Mb/s、在CAN灵活数据速率(CAN FD)上高达5Mb/s的位速度)，并且可以包括低速或容错CAN(高达125Kbps)，在一些配置中，其可以使用线性总线配置。在一些方面，ECU 117可以与主机计算机(例如，汽车计算机145、RTM系统107和/或服务器170等)通信，并且还可以彼此通信而不必需主机计算机。CAN总线180可以将ECU 117与汽车计算机145连接，使得汽车计算机145可以从ECU117检索信息、向ECU 117发送信息以及以其他方式与ECU 117交互，以执行根据本公开的实施例所述的步骤。CAN总线180可以通过两线式总线将CAN总线节点(例如，ECU 117)彼此连接，所述两线式总线可以是具有标称特性阻抗的双绞线。CAN总线180也可以使用其他通信协议解决方案(诸如面向媒体的系统传输(MOST)或以太网)来实现。在其他方面，CAN总线180可以是无线车内CAN总线。
VCU 165可以经由CAN总线180通信来直接地控制各种负载或者结合BCM 193实现这种控制。关于VCU 165所述的ECU 117仅出于示例性目的而提供，并且不意图是限制性的或排他性的。用图1中未示出的其他控制模块进行的控制和/或与其的通信是可能的，并且可考虑这种控制。
在示例性实施例中，ECU 117可以使用来自人类驾驶员的输入、来自自主车辆控制器的输入、RTM系统107和/或经由通过无线信道133从其他连接的装置(诸如移动装置120等)接收的无线信号输入来控制车辆操作和通信的各方面。当被配置为CAN总线180中的节点时，ECU 117可以各自包括中央处理单元(CPU)、CAN控制器和/或收发器(图1中未示出)。例如，尽管图1中将移动装置120描绘为经由BLEM 195连接到车辆105，但是也可以设想，可以另外或可选地经由与模块相关联的相应的收发器在移动装置120与ECU 117中的一个或多个之间建立无线连接133。
BCM 193通常包括传感器、车辆性能指示器以及与车辆系统相关联的可变反应器的集成，并且可以包括基于处理器的配电电路，所述配电电路可以控制与车身(诸如灯、窗、安全装置、门锁和访问控制)相关联的功能以及各种舒适性控制。BCM 193还可以作为总线和网络接口的网关操作，以与远程ECU(图1中未示出)进行交互。
BCM 193可以协调各种车辆功能性中的任一种或多种功能，包括能量管理系统、警报、车辆防盗器、驾驶员和乘坐者进入授权系统、电话即钥匙(PaaK)系统、驾驶员辅助系统、自主车辆(AV)控制系统、电动窗、门、致动器以及其他功能性等。BCM 193可以被配置为用于车辆能量管理、外部照明控制、雨刮器功能性、电动窗和门功能性、供暖通风和空调系统以及驾驶员集成系统。在其他方面，BCM 193可以控制辅助设备功能性，和/或负责集成这种功能性。在一个方面，具有挂车控制系统的车辆可以至少部分地使用BCM 193来集成所述系统。
汽车计算机145、VCU 165和/或RTM系统107的计算系统架构可以省略某些计算模块。应当容易理解，图1中描绘的计算环境是根据本公开的可能的实现方式的一个示例，并且因此它不应被视为限制性的或排他性的。
图2示出了可以被配置为在车辆105中使用的控制系统200的示例性功能示意图。控制系统200可以包括：RTM系统控制器210；用户接口装置215；包括NAV系统188、BLEM 195和其他收发器(图2中未示出)的TCU 160；通信接口220；多个自主驾驶传感器230。
用户接口装置215可以被配置或编程为在车辆105的操作期间向用户(例如，关于图1描绘的用户140)呈现信息。此外，用户接口装置215可以被配置或编程为接收用户输入，并且因此，所述用户接口装置可以设置在车辆105中或上，使得其对于乘客或操作员而言是可见的，并且可以与乘客或操作员交互。例如，在其中车辆105是乘用车的一个实施例中，用户接口装置215可以位于乘客舱中。在另一个可能的实施例中，用户接口装置215可以包括触敏显示屏(图2中未示出)。
在本公开的一些方面，用户接口装置215可以是和/或包括如关于图1所讨论的移动装置120。例如，用户接口装置215可以是经由BLEM 195、通过网络125(如图1所示)和/或以某种其他方式连接到车辆105的智能电话，并且代表RTM系统107获得传感器数据。在示例性实施例中，用户接口装置215可以接收挂车停放环境的图像，使得RTM系统107可以使用图像数据来确定用于停放挂车110的目标位置109。RTM系统控制器210可以从移动装置接收配置消息，并且基于所确定的操纵路径并且进一步基于由自主驾驶传感器230接收的感测到的环境状况来将挂车110操纵到目标位置109。AV控制器235还可以并入有来自NAV系统188的数据以确定车辆105的相对位置，并且进而确定挂车110相对于目标位置109的当前位置，以及可能在挂车110与到达目标位置109之间介入的任何障碍物。
NAV系统188可以被配置和/或编程为确定车辆105和挂车110的位置。NAV系统188可以包括全球定位系统(GPS)接收器，所述GPS接收器被配置或编程为对车辆105相对于卫星或与GPS系统175(如图1所示)相关联的陆基发射塔的位置进行三角测量。因此，NAV系统188可以被配置或编程为用于无线通信。NAV系统188还可以被配置或编程为开发从当前位置到选定目的地(例如，目标位置109)的路线，以及经由例如用户接口装置215显示地图(图2中未示出)并呈现去往选定目的地的驾驶方向。在一些情况下，NAV系统188可以根据用户偏好来开发路线。用户偏好的示例可以包括使燃料效率最大化、减少行驶时间、行驶最短距离等。
TCU 160通常包括无线传输和通信硬件，所述无线传输和通信硬件可以被设置为与和电信塔和其他无线电信基础设施(图2中未示出)相关联的一个或多个收发器进行通信。例如，BLEM 195可以被配置和/或编程为从与电信提供商相关联的一个或多个蜂窝塔和/或与车辆105相关联的远程信息处理服务交付网络(SDN)接收消息并向其传输消息以用于协调车辆车队(图2中未示出)信息，从RTM系统控制器210接收挂车配置文件信息，以及在经认证的RTM系统107请求时向RTM系统控制器210发送挂车配置文件。例如，RTM系统107可以识别与挂车110相关联的地理参考点，并且接收对应于挂车110和挂车有效载荷的运动模型的挂车尺寸数据。此类方法在2016年5月31日公布的美国专利第9,352,777号(转让给福特全球技术有限责任公司(Ford Global Technologies,LLC))中有更详细的描述，该专利以引用方式并入本文。用户接口装置215可以提供输入数据、尺寸数据和其他输入信息，RTM系统107可以根据所述数据和信息创建包含挂车尺寸的挂车配置文件信息、更新所述挂车配置文件信息并将所述数据和信息用作挂车配置文件信息。
在其他方面，自主驾驶传感器230可以结合来自挂车配置文件信息的挂车和挂车有效载荷尺寸数据利用来自用户接口装置(被配置为移动装置或智能电话)的传感器数据来确定与在操作环境中识别的障碍物相关联的尺寸信息。关于以下附图更详细地描述了这种识别的示例。
自主驾驶传感器230可以包括被配置或编程为生成在车辆105以自主(例如，无人驾驶)模式操作时帮助对车辆105进行导航的信号的任何数量的装置。自主驾驶传感器230的示例可以包括被配置为用于使用无线电波检测和定位对象的无线电检测和测距(RADAR或“雷达”)传感器、光检测和测距(LiDAR或“激光雷达”)传感器、视觉传感器系统(具有轨迹、障碍物检测、对象分类、增强现实和/或其他能力)等。当车辆在其执行挂车操纵辅助操作时是在以自主模式操作时，自主驾驶传感器230可以向车辆105提供仪器数据以“看到”道路和车辆周围环境，和/或绕过各种障碍物。
自主车辆控制器235可以被配置或编程为在车辆在以自主模式操作时控制一个或多个车辆子系统。可以由自主车辆控制器235控制的子系统的示例可以包括用于控制制动、点火、转向、加速、变速器控制和/或其他控制机构的一个或多个系统。自主车辆控制器235可以至少部分地基于由自主驾驶传感器230和RTM系统107生成的信号来控制子系统。
常规的挂车倒退辅助(PTBA)系统(诸如美国专利第9,352,777号中描述的系统)可以提供直观的接口，所述接口允许用户通过提供自动转向控制器来使挂车转向。在此类系统中，PTBA系统可以提供正确的转向运动，所述正确的转向运动使挂车沿着期望的路径曲率移动，所述期望的路径曲率可以由装置的用户指示。在没有PTBA控制器的情况下，客户手动地使车辆转向以便在方向盘处提供正确的输入以沿着期望的路径曲率引导挂车可能是违反直觉的。在一些方面，RTM系统107可以通过为用户140提供指定车辆和挂车要被操纵到的目标位置的方式来改进当前系统。用户140可以向RTM系统107提供信息，所述系统利用所述信息来识别挂车110的目标停车位(例如，目标位置109)，并且形成指示挂车停放环境100的总体布局的数字模型(如图1中所描绘的，根据由移动装置120获得的输入数据)。
图3描绘了根据本公开的被配置为RTM系统107的一部分的示例性移动装置120。移动装置120被示出为具有接口345，所述接口345在照片模式下输出从中捕获照片的示例性挂车停放环境100(从图1中示出)的图像。在图3的示例性实施例中，用户140可以通过执行app 135的实例化来启动RTM系统107，所述app 135可以存储在移动装置120上，和/或可以是从服务器170(在图1中描绘)递送的软件即服务。
一旦用户140启动了app 135，并且被认证进入安全地识别移动装置120和/或app135与车辆105(图3中未示出)的账户中，RTM app135就可以启动照片模式，其中指令用于使用具有指令310的对话框来引导用户140拍摄挂车停放环境100的图像305。具有指令310的对话框可以指示用户140自定位到移动装置120具有目标位置109(如图1和图2所示)的清晰视图的观察点，用户希望将车辆105停放和/或将挂车110及其有效载荷定位在所述目标位置处。尽管图像305描绘了船码头处的停放环境，但是应当理解，挂车停放环境100可以是任何位置。例如，挂车停放环境100可以是车库空间或开放空间，或某个其他未示出的位置。
App 135还可以包括使用一个或多个后续对话框(诸如后续指令对话框315)的指导指令。因此，用户140可以基于指令310、315来定位移动装置120，并且当后续提示(图3中未示出)指示视图适于确定目标位置时使用图像触发器320来捕捉图像305。RTM系统107可以使用图像305来表征可以从图像305识别的障碍物(例如，木栈桥325)，识别用于停放挂车110(图1中所示)的目标位置，并且执行本文所述的其他方面和步骤。
图4描绘了在RTM系统107已经识别用户140希望定位挂车110的目标位置109之后使用图像305呈现挂车停放环境100的视图的app 135的另一个视图。在一个方面，RTM系统107可以使用目标选择指令330来提示用户，从而请求来自用户140的输入。例如，目标输入指令330可以包括其中用户140希望RTM系统107定位挂车110的目标位置109的触摸和拖曳输入。在示例性实施例中，app 135可以请求触摸输入335和拖动输入340来选择/定义目标位置109。在另一方面，app 135可以自选择目标位置109，并且请求用户140提供对选定的目标位置109的准许(这种请求在图4中未示出)。
App 135可以使用各种尺寸取向技术来确定目标位置109，所述各种尺寸取向技术将车辆105和挂车110的数字表示放置在3维(3D)空间中，使得RTM系统107可以识别车辆105和挂车110采取的适当路径，并确定避开潜在障碍物(例如，木栈桥325)的控制指令。为了避开障碍物，RTM系统107必须使用图像识别将栈桥的来自尺寸取向数据的视觉表示表征为障碍物，将来自图像305的识别的对象识别为障碍物，并且限定障碍物、车辆105、挂车110和目标位置109相对于车辆和挂车尺寸的相对边界，并且绘制一个或多个可行路径(图4中未示出)以实现将挂车110定位在目标位置109中而不损坏车辆105、障碍物、挂车110、挂车有效载荷等的最终目标。
图5描绘了根据实施例的执行经由挂车停放环境的图像305确定目标位置109的步骤的app 135的另一个视图。这种分析中的一个重要步骤可以包括使用挂车停放环境100的图像305来确定边界。如图5所示，RTM系统107可以首先使用各种已知技术来确定挂车尺寸。美国专利第9,352,777号描述了用于使用移动装置120确定挂车尺寸的一个示例性操作。作为概述，777专利描述了若干技术，所述技术可以包括接收与挂车110的运动模型相对应的挂车尺寸数据，识别挂车停放环境的图像中的第一参考点和第二参考点以计算运动模型(图5中未示出)的尺寸，使用第一参考点和第二参考点确定挂车尺寸，并用挂车尺寸更新挂车配置文件。在一个实施例中，挂车配置文件可以包括本地保存在车辆105的计算机存储器上和/或服务器170上的数据结构，所述数据结构包括车辆ID、BLEM 195ID、用户140ID、挂车110ID、挂车和有效载荷的相对尺寸信息等。
在一个示例性实施例中，RTM系统107可以确定参考点以确定车辆、挂车/挂车有效载荷和障碍物边界。例如，移动装置120可以确定尺寸B，所述尺寸B表示车辆105的边缘与挂车110的边缘之间的相对尺寸。RTM系统107可以至少部分地基于挂车尺寸、车辆尺寸、障碍物尺寸和其他已知信息来确定指示挂车当前所在的位置(第一挂车位置)与目标位置109(例如，用户140意欲使RTM系统107定位挂车110的位置)之间的距离的环境尺寸。例如，如果车辆尺寸和挂车尺寸是已知值，则RTM系统107可以利用自主驾驶传感器230(例如，LiDAR传感器505)来评估传感器505(并且进而车辆部分)与讨论中的对象之间的相对距离。在本示例中，木栈桥325包括表示栈桥的右侧物理边缘的边界510，加上从照片的角度来看的缓冲区，所述缓冲区可以是车辆105在不损坏其自身或木栈桥325的情况下可以操作的极限。LiDAR传感器505可以确定车辆105与栈桥的边界边缘510之间的距离(A)。由于车辆105、挂车110的已知尺寸515以及这两个尺寸之间的差值(B)，RTM系统107还可以知道挂车110的边缘边界520的相对尺寸。在一个方面，RTM系统107可以通过已知尺寸及其差值的优点来确定最外面的挂车边缘520与木栈桥(障碍物)325的边界510之间的距离(表示为(C)的尺寸)。例如，可以从LiDAR传感器505接收的传感器数据(图5中未示出)观察到尺寸(A)。作为两个已知值的差值的尺寸(B)和尺寸(A)可以彼此结合地向RTM系统107提供指示边界510的远端或极限与由已知尺寸A和B表示的车辆或挂车部分之间的距离的信息。
图6描绘了根据实施例的车辆105使用RTM系统107将挂车110操纵到水610中。在一些方面，RTM系统107可以使用图像分析技术来检测附接到车辆105的挂车110，并且进一步检测通向水610中的船坡道605的存在。RTM系统107可以计算将挂车110倒退到水中多远以装载或卸载船(或其他海上交通工具)。所述系统可以使用船的身份和水的盐度来确定从挂车110部署船615所需的水610的深度。如果不能自动确定船615的身份，则app 135可以要求用户140提供船的身份或使船615下水所需的水深。RTM系统107可以存储该信息以供将来用作挂车配置文件(图6中未示出)的一部分。
RTM系统107可以警告用户是否存在环境状况，诸如在挂车操纵路径640中或在挂车操纵路径640附近的无法避开以完成操纵的障碍。在另一方面，如果目标位置109处于比车辆105和挂车110需要配合的更紧密的空间中，则RTM系统107可以提供警告。然后，RTM系统107可以提供情境适当的反馈，诸如生成并输出用户140从挂车操纵路径640移除障碍或者选择不同定位目标位置的请求。RTM系统107可以要求用户140通过在校正状况之后捕获具有新目标位置109的位置的另一个图像来确认何时已经校正了该状况。在用户向应用135提供图像数据之后，车辆105上的RTM系统107可以验证图像以确定图像包括足够的信息来绘制挂车操纵路径。在一个示例性实施例中，RTM系统107可以向远程装置120发送信息132，所述信息132包括例如当特征已经完成时的期望的车辆和挂车方向、从当前位置到目标位置的估计距离、指示障碍物及其位置(例如，与潜在障碍物(诸如树、灌木丛等)相关联的尺寸和位置特性)的图形信息、移动装置120相对于车辆105的位置、车辆105和挂车110的位置以及其他可能的信息。
RTM系统107可以识别障碍物(例如，木栈桥325和第二障碍物625)，识别与障碍物相关联的边界，并且对挂车110进行导航以避开障碍物。例如，第二障碍物625可能不在挂车操纵路径640的直接路径中，但是足够接近以在对挂车110进行导航时被识别和避开。在另一方面，传感器数据630可以连续地寻找和识别障碍物和挂车110、水610、水的边缘635之间的相对距离以及完成挂车操纵操作所需的其他视觉上可获得的信息。
响应于生成挂车操纵路径640，基于图像305和可能的其他信息，诸如从服务器170(如图1所描绘的)接收的挂车配置文件和海上交通工具配置文件，RTM系统107可以经由BLEM 195或其他收发器向车辆105发送配置消息645。配置消息645可以包括指令集(图6中未示出)，所述指令集指示AV控制器235(如图2所示)基于挂车操纵路径640将挂车110操纵到目标位置109。例如，车辆105可以将挂车110定位到期望位置(目标位置109)的边界650的远侧极限。RTM系统107可以基于指示使船615下水的期望或所需深度的信息来选择目标位置109的边界650。在一个方面，RTM系统107可以使用水610的相对盐度的测量来确定该信息。这种测量可以向RTM系统107通知船615的相对浮力，并且因此通知成功地使船615下水离开定位在船坡道605上的挂车110所需的深度。
根据示例性实施例，应用135可以请求用户输入以准许开始车辆运动。在其他方面，RTM系统107可能需要持久的用户交互以提供维持车辆运动的车辆运动命令。运动命令可以采用各种形式，其可以包括例如对用户输入的请求，所述用户输入使用触摸屏、按住一个或多个按钮、和/或使用触摸输入和按钮输入的某种组合向移动装置120提供输入序列等来跟踪移动装置120上的复杂几何形状。
图7是根据本公开的用于使RTM系统107将挂车110操纵到目标位置109的示例性方法700的流程图。以下过程是示例性的，并且不限于下文描述的步骤。此外，替代实施例可以包括本文示出或描述的更多或更少的步骤，并且可以与以下示例性实施例中描述的顺序不同的顺序包括这些步骤。
首先参考图7，在步骤705处，方法700可以开始于经由移动装置响应于第一触摸输入呈现接合接口部分。在步骤710处，方法700还可以包括经由移动装置从用户接收挂车停放环境的图像。
在步骤715处，所述方法还可以包括经由挂车停放环境的图像来确定用于停放挂车的目标位置。该步骤可以包括：确定挂车尺寸；确定指示挂车第一位置与目标位置之间的距离的环境尺寸；使用挂车停放环境的图像确定边界；以及将目标位置定位在边界的远端，其中目标位置被表示为具有靠近边界的远端的远侧目标边缘的矩形形状。
在一些方面，所述方法还可以包括若干步骤，所述步骤包括：接收与挂车/海上交通工具的运动模型相对应的挂车/海上交通工具的尺寸数据；识别挂车停放环境的图像中的第一参考点和第二参考点以计算运动模型的尺寸；使用第一参考点和第二参考点来确定挂车尺寸；以及用挂车/有效载荷尺寸更新挂车配置文件。
在步骤720处，所述方法还可以包括基于图像生成从第一挂车位置到目标位置的挂车操纵路径。该步骤可以包括基于图像识别沿着挂车操纵路径的障碍物；通过修改挂车操纵路径以避开障碍物来生成修改后的挂车操纵路径；确定障碍介入第一挂车位置和目标位置；确定到目标位置的挂车操纵路径没有替代路线；以及在移动装置上生成指示移除障碍物的指令的消息。
识别路径中的障碍物可以包括以下步骤，诸如接收包括挂车尺寸的挂车配置文件；基于挂车尺寸来确定障碍物的尺寸；确定从障碍物到挂车的第一距离；确定从障碍物到车辆的第二距离；以及基于第一距离和第二距离来生成修改后的挂车操纵路径。
生成挂车操纵路径可以替代地包括允许用户确定障碍物是真实的危险还是可以忽略的东西。因此，所述方法可以包括基于图像识别沿着到目标位置的挂车操纵路径的障碍物，然后显示用户可选选项以忽略障碍物。所述方法还可以包括接收用户对用户可选选项的选择以忽略障碍物，以及基于用户可选选项来生成到目标位置的修改后的挂车操纵路径。
在另一个示例性实施例中，生成步骤可以包括基于图像来识别沿着到目标位置的挂车操纵路径的障碍物，以及经由移动装置显示指示用户动作以移除障碍物的用户动作消息。一旦用户已经移除了障碍物，用户就可以使用移动装置提供移除了障碍物的指示并且可以继续该程序。
在步骤725处，所述方法还可以包括向车辆发送配置消息的步骤，所述配置消息包括用于使自主车辆控制器基于挂车操纵路径将挂车操纵到目标位置的指令。向车辆发送配置消息可以包括发送用于使自主车辆控制器基于修改后的挂车操纵路径将挂车操纵到目标位置的指令集。在一些方面，可以使用包括例如障碍物的尺寸和/或第一距离和/或第二距离的信息来执行改变挂车操纵路径。
在以上公开中，已经参考了形成以上公开的一部分的附图，附图示出了其中可以实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式，并且可以进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例性实施例”等的引用指示所描述的实施例可包括特定特征、结构或特性，但每个实施例可不一定包括所述特定特征、结构或特性。此外，这样的短语不一定指相同的实施例。另外，当结合实施例描述特征、结构或特性时，无论是否明确描述，本领域的技术人员都将认识到结合其他实施例的此类特征、结构或特性。
还应理解，如本文中所使用的词语“示例”意在在本质上是非排他的和非限制性的。更具体地，如本文所用的词语“示例性”指示若干示例中的一者，并且应当理解，对所描述的特定示例并没有过分的强调或偏好。
计算机可读介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性(例如，有形)介质。此种介质可采取许多形式，包括但不限于非易失性介质和易失性介质。计算装置可以包括计算机可执行指令，其中所述指令可以由一个或多个计算装置(诸如以上列出的那些)执行并且存储在计算机可读介质上。
关于本文所描述的过程、系统、方法、启发法等，应当理解，虽然已经将此类过程等的步骤描述为根据某个有序顺序发生，但是此类过程可用以与本文所描述的次序不同的次序执行的所描述的步骤来实践。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文中对过程的描述是出于说明各种实施例的目的而提供的，并且绝不应被解释为限制权利要求。
因此，应理解，以上描述旨在是说明性的而非限制性的。在阅读以上描述时，除所提供的示例之外的许多实施例和应用将为明显的。所述范围不应参考以上描述来确定，而是应参考所附权利要求以及享有此类权利要求的权利的等效物的整个范围来确定。预计并预期本文所讨论的技术未来将有所发展，并且所公开的系统和方法将并入到此类未来实施例中。总而言之，应当理解，本申请能够进行修改和变化。
权利要求中所使用的所有术语意在被赋予其如本文所描述的领域中的技术人员所理解的普通含义，除非在本文中做出明确的相反指示。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。除非另有特别说明或在使用时在上下文内以其他方式理解，否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可包括某些特征、元件和/或步骤，而其他实施例可不包括某些特征、元件和/或步骤。因此，此类条件语言通常并不意图暗示一个或多个实施例无论如何都需要所述特征、元件和/或步骤。
根据实施例，处理器还被配置为执行指令以：基于图像来识别沿着挂车操纵路径的障碍物；以及通过修改挂车操纵路径来避开障碍物来生成修改后的挂车操纵路径。
根据实施例，处理器还被配置为执行指令以：确定障碍介入第一挂车位置与目标位置之间；确定到目标位置的挂车操纵路径不具有替代路线；以及在移动装置上生成消息，所述消息指示移除障碍物的指令。
根据实施例，处理器还被配置为执行指令以：接收包括挂车尺寸的挂车配置文件；基于挂车尺寸来确定障碍物的尺寸；确定从障碍物到挂车的第一距离；确定从障碍物到车辆的第二距离；以及基于第一距离和第二距离来生成修改后的挂车操纵路径。
根据实施例，处理器还被配置为执行指令以：向车辆发送配置消息，所述配置消息包括用于使自主车辆控制器基于修改后的挂车操纵路径将挂车操纵到目标位置的指令集。
根据本发明，提供了一种移动装置中的非暂时性计算机可读存储介质，所述计算机可读存储介质具有存储在其上的指令，所述指令在由处理器执行时使处理器：响应于第一触摸输入而呈现应用接合接口部分；经由移动装置接收包括车辆和挂车的挂车停放环境的图像；经由挂车停放环境的图像确定用于停放挂车的目标位置；基于图像来生成从挂车的第一位置到目标位置的挂车操纵路径；以及向车辆发送配置消息，所述配置消息包括用于使自主车辆控制器基于挂车操纵路径将挂车操纵到目标位置的指令。

Claims (15)

1.一种用于控制车辆以将挂车定位在目标位置的方法，所述方法包括：
经由移动装置响应于第一触摸输入而呈现应用接合接口部分；
经由所述应用接合接口部分接收挂车停放环境的图像；
经由所述挂车停放环境的所述图像确定用于停放所述挂车的目标位置；
基于所述图像生成所述车辆和所述挂车从第一挂车位置到所述目标位置的挂车操纵路径；以及
向所述车辆发送配置消息，所述配置消息包括用于使自主车辆控制器基于所述挂车操纵路径将所述挂车操纵到所述目标位置的指令。
2.根据权利要求1所述的方法，其中经由所述挂车停放环境的所述图像确定所述目标位置包括：
确定挂车尺寸；
确定指示所述挂车的所述第一挂车位置与所述目标位置之间的距离的环境尺寸；
使用所述挂车停放环境的所述图像来确定边界；以及
将所述目标位置定位在所述边界的远端处，其中所述目标位置被表示为具有靠近所述边界的所述远端的远侧目标边缘的矩形形状。
3.根据权利要求1所述的方法，其还包括：
接收对应于所述挂车的运动模型的挂车尺寸数据；
识别所述挂车停放环境的所述图像中的第一参考点和第二参考点以计算所述运动模型的尺寸；
使用所述第一参考点和所述第二参考点来确定挂车尺寸；以及
用所述挂车尺寸更新挂车配置文件。
4.根据权利要求1所述的方法，其还包括：
基于所述图像识别沿着到所述目标位置的所述挂车操纵路径的障碍物；以及
经由所述移动装置显示用户动作消息，所述用户动作消息指示用户移除所述障碍物的动作。
5.根据权利要求1所述的方法，其还包括：
基于所述图像来识别沿着到所述目标位置的所述挂车操纵路径的障碍物；
经由所述移动装置显示用户可选选项以忽略所述障碍物；
接收用户对所述用户可选选项的选择以忽略所述障碍物；以及
基于所述用户可选选项来生成到所述目标位置的修改后的挂车操纵路径。
6.根据权利要求1所述的方法，其还包括：
基于所述图像识别沿着到所述目标位置的所述挂车操纵路径的障碍物；以及
通过修改所述挂车操纵路径以避开所述障碍物来生成到所述目标位置的修改后的挂车操纵路径。
7.根据权利要求6所述的方法，其还包括：
确定障碍介入所述第一挂车位置与所述目标位置之间；
确定到所述目标位置的所述挂车操纵路径不具有替代路线；以及
在所述移动装置上生成指示移除所述障碍物的指令的消息。
8.根据权利要求6所述的方法，其中识别沿着所述挂车操纵路径的所述障碍物包括：
接收包括挂车尺寸的挂车配置文件；
基于所述挂车尺寸来确定所述障碍物的尺寸；
确定从所述障碍物到所述挂车的第一距离；
确定从所述障碍物到所述车辆的第二距离；以及
基于所述第一距离和所述第二距离来生成所述修改后的挂车操纵路径。
9.根据权利要求8所述的方法，其还包括：
向所述车辆发送所述配置消息，所述配置消息包括用于使所述自主车辆控制器基于所述修改后的挂车操纵路径将所述挂车操纵到所述目标位置的指令集。
10.根据权利要求9所述的方法，其中所述修改包括基于所述障碍物的所述尺寸、所述第一距离和所述第二距离来改变所述挂车操纵路径。
11.一种系统，其包括：
处理器；以及
存储器，其用于存储可执行指令，所述处理器被配置为执行所述指令以：
经由移动装置上的应用响应于第一触摸输入而呈现接合接口部分；
经由所述移动装置接收挂车停放环境的图像，其中所述挂车停放环境包括车辆和挂车；
经由所述挂车停放环境的所述图像来确定用于停放所述挂车的目标位置；
基于所述图像生成从第一挂车位置到所述目标位置的挂车操纵路径；以及
向所述车辆发送配置消息，所述配置消息包括用于使自主车辆控制器基于所述挂车操纵路径将所述挂车操纵到所述目标位置的指令。
12.根据权利要求11所述的系统，其中所述处理器还被配置为执行所述指令以：
确定挂车尺寸；
确定指示所述第一挂车位置与所述目标位置之间的距离的环境尺寸；
使用所述挂车停放环境的所述图像来确定边界；以及
将所述目标位置定位在所述边界的远端处，其中所述目标位置被表示为具有靠近所述边界的所述远端的远侧目标边缘的矩形形状。
13.根据权利要求11所述的系统，其中所述处理器还被配置为执行所述指令以：
接收对应于所述挂车的运动模型的挂车尺寸数据；
识别所述挂车停放环境的所述图像中的第一参考点和第二参考点以计算所述运动模型的尺寸；
使用所述第一参考点和所述第二参考点来确定挂车尺寸；以及
用所述挂车尺寸更新挂车配置文件。
14.根据权利要求11所述的系统，其中所述处理器还被配置为执行所述指令以：
基于所述图像来识别沿着到所述目标位置的所述挂车操纵路径的障碍物；以及
经由所述移动装置显示用户动作消息，所述用户动作消息指示用户移除所述障碍物的动作。
15.根据权利要求11所述的系统，其中所述处理器还被配置为执行所述指令以：
基于所述图像来识别沿着到所述目标位置的所述挂车操纵路径的障碍物；
显示用户可选选项以忽略所述障碍物；
接收用户对所述用户可选选项的选择以忽略所述障碍物；以及
基于所述用户可选选项来生成到所述目标位置的修改后的挂车操纵路径。
CN202110081084.6A 2020-01-24 2021-01-21 远程挂车操纵辅助系统 Pending CN113173202A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/752,123 2020-01-24
US16/752,123 US11511576B2 (en) 2020-01-24 2020-01-24 Remote trailer maneuver assist system

Publications (1)

Publication Number Publication Date
CN113173202A true CN113173202A (zh) 2021-07-27

Family

ID=76753720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110081084.6A Pending CN113173202A (zh) 2020-01-24 2021-01-21 远程挂车操纵辅助系统

Country Status (3)

Country Link
US (1) US11511576B2 (zh)
CN (1) CN113173202A (zh)
DE (1) DE102021101380A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019556A (zh) * 2022-05-31 2022-09-06 重庆长安汽车股份有限公司 车辆碰撞预警方法、系统、电子设备及可读存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210403032A1 (en) * 2020-06-25 2021-12-30 Tusimple, Inc. Two-level path planning for autonomous vehicles
JP2023005105A (ja) * 2021-06-28 2023-01-18 トヨタ自動車株式会社 リモート駐車装置
US11845424B2 (en) 2022-02-22 2023-12-19 Ford Global Technologies, Llc Remote trailer backup assist multiple user engagement

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
DE102004057296A1 (de) * 2004-11-26 2006-06-08 Daimlerchrysler Ag Lane-Departure-Warning mit Unterscheidung zwischen Fahrbahnrandmarkierung und baulicher Begrenzung des Fahrbahnrandes
US8532862B2 (en) * 2006-11-29 2013-09-10 Ryan A. Neff Driverless vehicle
EP2195688B1 (en) * 2007-08-30 2018-10-03 Valeo Schalter und Sensoren GmbH Method and system for weather condition detection with image-based road characterization
JP5325765B2 (ja) * 2009-12-28 2013-10-23 日立オートモティブシステムズ株式会社 路肩検出装置及び路肩検出装置を用いた車両
US9708000B2 (en) * 2011-04-19 2017-07-18 Ford Global Technologies, Llc Trajectory planner for a trailer backup assist system
US9506774B2 (en) * 2011-04-19 2016-11-29 Ford Global Technologies, Llc Method of inputting a path for a vehicle and trailer
US9969428B2 (en) * 2011-04-19 2018-05-15 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9500497B2 (en) * 2011-04-19 2016-11-22 Ford Global Technologies, Llc System and method of inputting an intended backing path
US9937953B2 (en) * 2011-04-19 2018-04-10 Ford Global Technologies, Llc Trailer backup offset determination
US9771070B2 (en) * 2011-12-09 2017-09-26 GM Global Technology Operations LLC Method and system for controlling a host vehicle
CN103177236B (zh) * 2011-12-22 2016-06-01 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
US8849515B2 (en) * 2012-07-24 2014-09-30 GM Global Technology Operations LLC Steering assist in driver initiated collision avoidance maneuver
US9129528B2 (en) * 2013-02-04 2015-09-08 Ford Global Technologies Trailer active back-up assist with lane width HMI
US9352777B2 (en) * 2013-10-31 2016-05-31 Ford Global Technologies, Llc Methods and systems for configuring of a trailer maneuvering system
JP5874756B2 (ja) * 2014-02-07 2016-03-02 トヨタ自動車株式会社 区画線検出システム及び区画線検出方法
EP3181420B1 (en) * 2014-08-11 2018-12-19 Nissan Motor Co., Ltd Travel control device and method for vehicle
US10286950B2 (en) * 2015-02-10 2019-05-14 Ford Global Technologies, Llc Speed optimized trajectory control for motor vehicles
US10214241B2 (en) * 2015-09-13 2019-02-26 Daniel Robert Shepard Trailer backing up system accessories
US9981662B2 (en) * 2015-10-15 2018-05-29 Ford Global Technologies, Llc Speed limiting comfort enhancement
US10144419B2 (en) * 2015-11-23 2018-12-04 Magna Electronics Inc. Vehicle dynamic control system for emergency handling
US20170329332A1 (en) * 2016-05-10 2017-11-16 Uber Technologies, Inc. Control system to adjust operation of an autonomous vehicle based on a probability of interference by a dynamic object
JP2018045482A (ja) * 2016-09-15 2018-03-22 ソニー株式会社 撮像装置、信号処理装置、及び、車両制御システム
US9829883B1 (en) * 2016-10-17 2017-11-28 Ford Global Technologies, Llc Trailer backup assist system having remote control and user sight management
US10773721B2 (en) * 2016-10-21 2020-09-15 Ford Global Technologies, Llc Control method using trailer yaw rate measurements for trailer backup assist
RU2660977C2 (ru) * 2016-11-30 2018-07-11 Общество С Ограниченной Ответственностью "Инновационный Центр Самоцвет" (Ооо "Иц Самоцвет") Способ обеспечения курсовой устойчивости и безопасности автомобиля и устройство для его осуществления
DE102016224528B4 (de) 2016-12-08 2021-05-27 Volkswagen Aktiengesellschaft Fernbedientes assistiertes Rangieren eines Gespanns
JP6938903B2 (ja) * 2016-12-14 2021-09-22 株式会社デンソー 車両における衝突回避装置および衝突回避方法
JP6794243B2 (ja) * 2016-12-19 2020-12-02 日立オートモティブシステムズ株式会社 物体検出装置
JP6822197B2 (ja) * 2017-02-16 2021-01-27 トヨタ自動車株式会社 車両認識装置
WO2018170074A1 (en) * 2017-03-14 2018-09-20 Starsky Robotics, Inc. Vehicle sensor system and method of use
JP6897340B2 (ja) * 2017-06-02 2021-06-30 株式会社アイシン 周辺監視装置
US10800454B2 (en) * 2017-06-05 2020-10-13 Ford Global Technologies, Llc Trailer backup assist input with gesture interface for multiple control modes
US10126755B1 (en) * 2017-07-20 2018-11-13 GM Global Technology Operations LLC Method, apparatus and system for wireless automotive trailer assist in various maneuvers
US10730553B2 (en) * 2017-09-27 2020-08-04 Ford Global Technologies, Llc Adaptive steering control for robustness to errors in estimated or user-supplied trailer parameters
US10160274B1 (en) * 2017-10-23 2018-12-25 GM Global Technology Operations LLC Method and apparatus that generate position indicators for towable object
GB201718176D0 (en) * 2017-11-02 2017-12-20 Jaguar Land Rover Ltd Display method and apparatus
KR20190050633A (ko) * 2017-11-03 2019-05-13 주식회사 만도 운전자 상태 기반 차량 제어 시스템 및 방법
US10684773B2 (en) * 2018-01-03 2020-06-16 Ford Global Technologies, Llc Mobile device interface for trailer backup-assist
US10919350B2 (en) * 2018-01-04 2021-02-16 Hall Labs Llc System for optimizing a trailer path
US11135881B2 (en) * 2018-01-08 2021-10-05 Hall Labs Llc Trailer and a tow vehicle path optimization
US10902165B2 (en) * 2018-01-09 2021-01-26 The Charles Stark Draper Laboratory, Inc. Deployable development platform for autonomous vehicle (DDPAV)
US10345822B1 (en) * 2018-01-26 2019-07-09 Ford Global Technologies, Llc Cognitive mapping for vehicles
KR102553730B1 (ko) * 2018-03-08 2023-07-11 주식회사 에이치엘클레무브 차량의 충돌 회피 제어 장치 및 방법
US20210082220A1 (en) * 2018-03-09 2021-03-18 Rite-Hite Holding Corporation Methods and apparatus to monitor and manage loading docks and facility operations
US11243541B2 (en) * 2018-03-23 2022-02-08 Uatc, Llc Motion-plan validator for autonomous vehicle
US10628690B2 (en) * 2018-05-09 2020-04-21 Ford Global Technologies, Llc Systems and methods for automated detection of trailer properties
WO2019237147A1 (en) * 2018-06-12 2019-12-19 The Trailer Buddy Pty Ltd A vehicle camera telemetry system
RU2760986C1 (ru) * 2018-08-13 2021-12-02 Ниссан Мотор Ко., Лтд. Способ управления движением транспортного средства и устройство управления движением
EP3614223B1 (en) * 2018-08-24 2020-06-17 The Boeing Company Method, system and emergency control device for traffic management of autonomous vehicles in emergency situations
KR102595897B1 (ko) * 2018-08-27 2023-10-30 삼성전자 주식회사 차선 결정 방법 및 장치
FR3085761B1 (fr) * 2018-09-11 2021-01-15 Continental Automotive France Systeme et procede de localisation de la position d'un objet routier par apprentissage automatique non supervise
US10976733B2 (en) * 2018-09-26 2021-04-13 Ford Global Technologies, Llc Interfaces for remote trailer maneuver assist
US10908603B2 (en) * 2018-10-08 2021-02-02 Ford Global Technologies, Llc Methods and apparatus to facilitate remote-controlled maneuvers
US11137754B2 (en) * 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US10852726B2 (en) * 2018-11-13 2020-12-01 Toyota Research Institute, Inc. Systems and methods for transitioning a vehicle from an autonomous driving mode to a manual driving mode
US10814912B2 (en) * 2018-11-28 2020-10-27 Ford Global Technologies, Llc Trailer backup assist system having advanced user mode with selectable hitch angle limits
WO2020163390A1 (en) * 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
US11119492B2 (en) * 2019-02-12 2021-09-14 Sf Motors, Inc. Automatically responding to emergency service vehicles by an autonomous vehicle
WO2020165824A1 (en) * 2019-02-17 2020-08-20 Swoppz, LLC Method and system for controlling a convoy including a pilot vehicle and a driverless vehicle
DE102019202591A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
JP7259437B2 (ja) * 2019-03-19 2023-04-18 株式会社デンソー 車両における運転支援制御装置、運転支援システムおよび運転支援方法
US11249184B2 (en) * 2019-05-07 2022-02-15 The Charles Stark Draper Laboratory, Inc. Autonomous collision avoidance through physical layer tracking
US11608059B2 (en) * 2019-08-26 2023-03-21 GM Global Technology Operations LLC Method and apparatus for method for real time lateral control and steering actuation assessment
US11685440B2 (en) * 2019-10-10 2023-06-27 Steering Solutions Ip Holding Corporation System and method for shared control for emergency steering
KR20210053800A (ko) * 2019-11-04 2021-05-12 성균관대학교산학협력단 안전운전을 위한 컨텍스트 인식 네비게이션 프로토콜
US20210171136A1 (en) * 2019-12-08 2021-06-10 Dennis Kaiser Device for moving trailers
EP3855121A3 (en) * 2019-12-30 2021-10-27 Waymo LLC Kinematic model for autonomous truck routing
WO2021141142A1 (ko) * 2020-01-06 2021-07-15 엘지전자 주식회사 경로 제공 장치 및 그것의 경로 제공 방법
US11351907B2 (en) * 2020-01-24 2022-06-07 Toyota Motor Engineering & Manufacturing North America, Inc. Boat trailer water level detection system
US11753074B2 (en) * 2020-02-28 2023-09-12 Ford Global Technologies, Llc User engagement switch for remote trailer maneuvering
US11794775B2 (en) * 2020-03-03 2023-10-24 Motional Ad Llc Control architectures for autonomous vehicles
KR20210124602A (ko) * 2020-04-06 2021-10-15 현대자동차주식회사 차량의 자율 주행 제어 장치, 그를 포함한 시스템 및 그 방법
CA3181067A1 (en) * 2020-06-05 2021-12-09 Gautam Narang Method and system for context-aware decision making of an autonomous agent
US11597408B2 (en) * 2020-07-09 2023-03-07 Aptiv Technologies Limited Vehicle control system
JP7443177B2 (ja) * 2020-07-16 2024-03-05 トヨタ自動車株式会社 衝突回避支援装置
JP7470588B2 (ja) * 2020-07-16 2024-04-18 トヨタ自動車株式会社 衝突回避支援装置
KR102440255B1 (ko) * 2020-08-14 2022-09-07 주식회사 에이치엘클레무브 운전자 보조 시스템 및 그 제어 방법
US11708088B2 (en) * 2020-08-27 2023-07-25 Beijing Voyager Technology Co., Ltd. Dynamically modifying collision avoidance response procedure in autonomous vehicles
US11597395B2 (en) * 2020-09-16 2023-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods to manage vehicles under anomalous driving behavior
JP2022060074A (ja) * 2020-10-02 2022-04-14 株式会社Subaru 車両の運転支援装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019556A (zh) * 2022-05-31 2022-09-06 重庆长安汽车股份有限公司 车辆碰撞预警方法、系统、电子设备及可读存储介质
CN115019556B (zh) * 2022-05-31 2023-09-08 重庆长安汽车股份有限公司 车辆碰撞预警方法、系统、电子设备及可读存储介质

Also Published As

Publication number Publication date
US11511576B2 (en) 2022-11-29
US20210229509A1 (en) 2021-07-29
DE102021101380A1 (de) 2021-07-29

Similar Documents

Publication Publication Date Title
US11511576B2 (en) Remote trailer maneuver assist system
US10796572B2 (en) Automated map anomaly detection and update
CN105486318B (zh) 车辆及电动自行车充电监测接口
US10274961B2 (en) Path planning for autonomous driving
US11733690B2 (en) Remote control system for a vehicle and trailer
US11609563B2 (en) Remote control system for a vehicle and trailer
CN113071492B (zh) 建立车道变换操纵的系统方法
US9758052B2 (en) Power spike mitigation
US20230087202A1 (en) Augmented Reality And Touch-Based User Engagement Parking Assist
US20220334578A1 (en) Remote Control System For A Vehicle And Trailer
CN113103956A (zh) 360度挂车摄像机视图系统
US20220229432A1 (en) Autonomous vehicle camera interface for wireless tethering
CN113844450A (zh) 调整超车触发器以阻止被围堵驾驶情形的系统和方法
US20200387161A1 (en) Systems and methods for training an autonomous vehicle
US11648976B2 (en) Remote control system for a vehicle and trailer
US11845424B2 (en) Remote trailer backup assist multiple user engagement
US20230076816A1 (en) Systems And Methods For Assisting A Battery Electric Vehicle Execute A Charging Operation At A Battery Charging Lot
CN115009268A (zh) 车辆控制系统和方法以及光学系连技术
US20230159019A1 (en) Remote park assist augmented reality user engagement with cameraless detection
US20220390942A1 (en) Remote control system for a vehicle and trailer
US20240149873A1 (en) Automated Control Of Vehicle Longitudinal Movement
US11794765B2 (en) Systems and methods to compute a vehicle dynamic pose for augmented reality tracking
US20230360446A1 (en) Vehicle assistance device
CN114954436A (zh) 车辆控制系统和方法
CN117087701A (zh) 一种自动驾驶方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination