CN113386783A - 用于机动车辆中的自动拖车倒车系统的方法和设备 - Google Patents

用于机动车辆中的自动拖车倒车系统的方法和设备 Download PDF

Info

Publication number
CN113386783A
CN113386783A CN202110256198.XA CN202110256198A CN113386783A CN 113386783 A CN113386783 A CN 113386783A CN 202110256198 A CN202110256198 A CN 202110256198A CN 113386783 A CN113386783 A CN 113386783A
Authority
CN
China
Prior art keywords
trailer
response
user interface
mobility
projected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110256198.XA
Other languages
English (en)
Other versions
CN113386783B (zh
Inventor
A.古达齐
S.P.林登塔尔
A.M.阿布德尔-拉曼
U.萨尼
J.汉利
N.J.威格特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN113386783A publication Critical patent/CN113386783A/zh
Application granted granted Critical
Publication of CN113386783B publication Critical patent/CN113386783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/005—Steering specially adapted for trailers operated from tractor steering system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D13/00—Steering specially adapted for trailers
    • B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0275—Parking aids, e.g. instruction means by overlaying a vehicle path based on present steering angle over an image without processing that image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60R1/003—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like for viewing trailer hitches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/201—Dimensions of vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/203—Presence of trailer
    • B60W2530/205—Dimensions of trailer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

提供了用于执行辅助的驾驶拖车倒车操作的方法和设备，该设备包括：相机，用于捕获图像；交互式用户界面，用于显示图形用户界面并接收用户输入；处理器，用于响应于用户输入而生成图形用户界面，用户输入指示拖车目的地，响应于拖车尺寸和挂钩角度而生成左机动性余量和右机动性余量，以及响应于拖车目的地而生成投影拖车路径，其中，所述图形用户界面包括所述图像和指示所述左机动性余量、右机动性余量、投影拖车路径和拖车目的地的覆盖在该图像上的多个图形；以及车辆控制器，用于响应于控制信号而执行拖车倒车操作。

Description

用于机动车辆中的自动拖车倒车系统的方法和设备
技术领域
本公开总体上涉及一种在机动车辆中提供自动拖车倒车系统的系统。更具体地，本公开的各方面涉及用于向机动车辆提供在拖车应用中具有带有主动引导层和车辆控制输入的增强的后拖车视图的用户界面的系统、方法和装置。
背景技术
对于许多驾驶员和自动驾驶系统来说，用牵引车辆拖曳拖车一直存在并且仍是一项复杂的工作。球形挂钩通常用作拖车连接并在牵引车辆和拖车之间提供接头。瞄准拖车涉及使牵引车辆的后部沿与拖车的期望方向相反的方向转动。使拖车倒车和使拖车在所需位置完成的几何形状对于许多驾驶员而言可能是艰巨的任务。另外，驾驶员视线经常被拖车遮挡，从而要求车辆外部的第二个人获得视觉确认并在倒车操作期间向驾驶员提供反馈。此外，当前采用的系统需要附加的硬件，比如旋钮，并且增加了车辆的成本和视觉复杂性。期望在反向拖车操作期间为车辆操作者提供改进的拖车控制，同时克服上述问题。
在该背景技术部分中公开的以上信息仅用于增强对本发明背景技术的理解，因此，其可能包含不构成在该国对本领域普通技术人员已知的现有技术的信息。
发明内容
本文公开了用于供应车辆系统的车辆控制方法和系统以及相关的控制逻辑、制造这种系统的方法和用于操作这种系统的方法以及配备有车载控制系统的机动车辆。通过示例而非限制的方式，提出了用于机动车辆中的自动拖车倒车系统的系统的各种实施例，并且本文公开了用于控制机动车辆中的拖车操作的自动拖车倒车的方法。
根据本发明的一方面，一种设备具有：相机，用于捕获拖车视场的图像；交互式用户界面，用于显示图形用户界面，其中，所述图形用户界面包括虚拟滑块按钮，并响应于虚拟滑块按钮的用户定位而接收用户输入；处理器，用于响应于用户输入而生成图形用户界面，用户输入指示拖车目的地，处理器进一步用于响应于拖车尺寸和挂钩角度而生成左机动性余量和右机动性余量，以及响应于拖车目的地而生成投影拖车路径，其中，所述图形用户界面包括所述图像和指示所述左机动性余量、右机动性余量、投影拖车路径和拖车目的地的覆盖在该图像上的多个图形；以及车辆控制器，用于响应于控制信号而执行拖车倒车操作。
根据本发明的另一方面，虚拟滑块按钮显示在图形用户界面上，并且其中，交互式用户界面是触敏显示屏。
根据本发明的另一方面，投影拖车路径是响应于挂钩角度、拖车目的地和拖车尺寸而确定的。
根据本发明的另一方面，车辆控制器用于响应于指示拖车目的地和投影拖车路径的用户确认的用户确认来执行拖车倒车操作。
根据本发明的另一方面，处理器还用于响应于接收到指示拖车目的地的用户输入来生成用于用户确认的请求，并且其中，在交互式用户界面上显示用于用户确认的请求的指示。
根据本发明的另一方面，车辆控制器还用于响应于控制信号而沿着投影拖车路径控制拖车。
根据本发明的另一方面，还包括深度传感器，用于确定拖车视场内的深度信息，并且其中，响应于该深度信息来确定投影拖车路径。
根据本发明的另一方面，响应于挂钩角度、拖车长度和挂钩长度来生成右机动性余量和左机动性余量。
根据本发明的另一方面，一种方法包括：通过相机捕获图像，其中，所述图像包括来自拖车的后视场；由处理器响应于挂钩角度和拖车尺寸而生成左机动性余量和右机动性余量；在触敏用户界面上显示所述图像、左机动性余量和右机动性余量；接收指示在左机动性余量和右机动性余量之间的拖车目的地的用户输入；由处理器响应于拖车目的地而生成投影拖车路径；使用车辆控制器沿着投影拖车路径至拖车目的地控制拖车倒车操作。
根据本发明的另一方面，用于响应于生成投影拖车路径而在触敏用户界面上显示投影拖车路径。
根据本发明的另一方面，用于响应于生成投影拖车路径来显示用户确认请求，并且其中，响应于对用户确认请求的肯定用户响应而启动拖车倒车操作。
根据本发明的另一方面，响应于虚拟滑块条的位置来接收拖车目的地。
根据本发明的另一方面，用于响应于左机动性余量和右机动性余量而生成默认拖车目的地和默认投影拖车路径。
根据本发明的另一方面，相机安装在拖车的后部，并且图像通过拖车接口模块接收。
根据本发明的另一方面，触敏用户界面是车厢内的中心堆叠车辆显示器。
根据本发明的另一方面，响应于挂钩角度、拖车长度和挂钩长度来生成右机动性余量和左机动性余量。
根据本发明的另一方面，一种高级驾驶员辅助系统包括：相机，用于捕获拖车后部的视场；用户界面，用于显示图形用户界面并用于接收指示最终拖车目的地的用户输入；处理器，用于响应于挂钩角度、拖车长度和挂钩长度来估计左机动性余量和右机动性余量，处理器进一步用于响应于默认拖车目的地生成默认拖车路径并且生成图形用户界面，其包括图像、左机动性余量、右机动性余量、默认拖车目的地和默认投影拖车目的地。处理器进一步用于响应于指示最终拖车目的地的用户输入而生成最终投影拖车路径；以及车辆控制器，其配置为响应于最终投影拖车路径而执行辅助驾驶操作。
根据权利要求17所述的高级驾驶员辅助系统还包括激光雷达，用于检测拖车的视场内的深度信息，并且其中，响应于该深度信息来确定最终投影拖车路径。
根据本发明的另一方面，用户界面是安装在牵引车厢内的触敏显示器。
根据本发明的另一方面，图形界面还包括虚拟滑块条，并且其中，响应于虚拟滑块在虚拟滑块条上的位置来确定最终拖车目的地。
附图说明
在下文中，将结合以下附图描述示例性实施例，其中，相同的标号表示相同的元件，并且其中：
图1示出了根据本公开的示例性实施例的用于机动车辆中的自动拖车倒车系统的方法和设备的应用。
图2示出了根据本公开的示例性实施例的用于机动车辆中的自动拖车倒车系统中的示例性用户界面的图像。
图3示出了根据本公开的示例性实施例的用于机动车辆中的自动拖车倒车系统的示例性系统的框图。
图4示出了表示根据本公开的示例性实施例的用于机动车辆中的自动拖车倒车系统的方法的流程图。
图5示出了表示根据本公开的另一示例性实施例的用于机动车辆中的自动拖车倒车系统的系统的框图；以及
图6示出了表示根据本公开的另一示例性实施例的用于机动车辆中的自动拖车倒车系统的方法的流程图。
这里阐述的示例示出了本发明的优选实施例，并且这些示例不应被解释为以任何方式限制本发明的范围。
具体实施方式
以下详细描述本质上仅是示例性的，并不旨在限制应用和使用。此外，无意于受到在先前技术领域、背景技术、发明内容或以下详细描述中提出的任何明示或暗示的理论的约束。如本文所用，术语模块是指专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供上述功能的其他合适部件。
现在转向图1，示出了用于机动车辆中的自动拖车倒车系统的方法和设备的示例性环境100。示例性环境100示出了配备有示例性系统的牵引车辆110和拖车120。示例性环境100还示出了：成对机动性余量，其指示拖车120的可能路径的范围；目标线140，其指示拖车120的当前期望的导航中心线和目的地；以及投影路径150，其指示考虑到拖车120的物理尺寸的由拖车120导航的路径。
期望提供一种用于帮助驾驶员用牵引车辆使拖车倒车的系统。甚至经验丰富的拖车操作者有时可能难以判断拖车倒车操作的尺寸和几何形状，并且可能必须在拖车最终到达期望位置之前重复多次该操作。由于驾驶员视线通常被拖车挡住，因此该操作还可能需要第二个人的帮助才能提供有关拖车位置的反馈。所提出用于帮助这些拖车操作的先前系统需要附加的硬件，比如旋钮等，以允许驾驶员常规地使拖车120“转向”，而车辆控制系统补偿挂钩和挂钩组件的枢轴点。当前公开的方法和设备可与任何类型的挂钩一起使用，并将与第五轮类型的拖车等配合使用。期望提供一种将允许驾驶员指示期望的拖车目的地并向驾驶员提供拖车的最终投影路径150的视觉反馈的系统。
在示例性实施例中，增强显示可以示出可被显示为指示两种类型的路径指示符的线。如果用户保持方向/将手指保持在当前滑块位置，则拖车倒车路径可以是拖车将到达的预测路径。机动性余量或显示器的外围上引导可说明“无折叠的左右机动性余量”。在由这些“无折叠的机动性余量”所包围的区域内，使拖车倒车不会导致折叠。如果用户选择将预测路径引导到这些余量之外，则拖车最终将折叠。因此，这些线标记了可以安全倒车的区域。
现在转向图2，示出了用于机动车辆中的自动拖车倒车系统的方法和设备的示例性环境200。示例性环境200示出了显示在车辆中心堆叠屏幕220上的用户界面210。示例性用户界面210帮助驾驶员使用触摸控制滑块230通过中心堆叠屏幕220选择拖车目的地，同时具有拖车后视图，其通过指示目标点260、机动性余量240、投影拖车路径250和传感器检测范围270的主动引导指示符而得到增强。使用示例性用户界面210，驾驶员可以使用触摸控制滑块230来确定目标点260在机动性余量240内的位置。在使用触摸控制滑块230调节目标点260时，投影拖车路径250被更新，向驾驶员指示拖车在到达目标点260的途中要行驶的导航路线，从而驾驶员可以在确定目标点260的同时预测潜在的障碍物。在另一示例性实施例中，触摸界面可进一步用于增加目标点260与拖车后部的距离。作为响应，将相应地调节用户界面210和投影拖车路径250内的图像的视场。
当使用示例性用户界面220时，在驾驶员确定目标点260的同时向驾驶员显示机动性余量240、目标点260和投影路径250。然后，高级驾驶辅助系统(ADAS)可以自动地使车辆转向至选择的目标点260。示例性系统有利地消除了拖车手动倒车所遇到的困难，并且消除了对倒车辅助系统进行额外物理控制的需要。
在一示例性实施例中，利用具有方便且人机界面的中心堆叠显示器的用于在拖车模式下自动倒车操作的系统利用拖车倒车相机捕获的图像，该图像显示为车辆中心堆叠屏幕210上的用户界面220的一部分。然后，车辆操作者通过使用滑块条230在用户界面中的限定半径上指示目标点260。车辆操作得益于包括比如机动性余量240和投影拖车路径250的引导线的后视图的增强显示。在另一示例性实施例中，滑块条230可以由旋钮或任何其他适用类型的触摸屏控制器、按钮或用户输入界面代替。
在示例性实施例中，ADAS可以响应于车辆操作者目标点选择而执行各种算法，比如挂钩角度估计、目的地点坐标估计、转向控制、投影路径计算和机动性余量计算。
现在转到图3，示出了用于机动车辆中的自动拖车倒车系统的示例性系统300的框图。系统300可以包括处理器330、车辆控制器345、用户界面模块320、拖车界面350、激光雷达312和相机310。
在示例性实施例中，相机310可以安装到拖车的后部，并且捕获的图像可以经由拖车接口模块350而耦合到处理器。可替代地，相机310可以是安装到牵引车辆的多个相机中的一个或多个，用于捕获单独相机视场(FOV)的图像。单独FOV的个体可以组合以生成显示安装在车辆后部的相机的后视图的复合FOV，从而在由相机捕获的图像内可见拖车挂钩组件。可替代地或另外，相机310可以是安装在车辆周围的分开位置处的多个相机之一，然后在全景或俯视图中一起对准。相机310可以将一个图像或一系列图像传输到处理器330或视频控制器，以处理图像并将该信号耦合到处理器330。在另一示例性实施例中，可以用来自激光雷达312或雷达的数据来增强图像，以提供深度信息以及关于图像的被遮盖或部分遮盖的区域或者图像的光线不足区域或过饱和区域的信息。示例性系统还可包括激光雷达312，用于捕获到相机FOV内的物体和表面的深度信息。激光雷达312可以安装在拖车的后部，或者可以与牵引车辆成一体。在另一替代实施例中，还可以使用其他深度感测或成像技术，比如激光雷达、一组立体相机或高分辨率超声。
用户界面320可以包括触摸屏显示器，用于显示包括后拖车视图图像的增强用户界面并在比如触摸屏滑块条的显示用户输入装置上接收用户输入。用户界面350可用于接收指示启动拖车模式或启动与之相关的方法的请求的用户输入。例如，车辆操作者可使用用户界面模块350启动用于牵引车辆的拖车操作模式。
处理器330可以是ADAS处理器，并且可以响应于车辆操作者目标点选择而执行各种算法，比如挂钩角度估计、目的地点坐标估计、转向控制、投影路径计算和机动性余量计算。响应于车辆操作者目标点选择，处理器可用于生成图形用户界面，以显示机动性余量、默认目标点、投影车辆路径等，作为在从相机接收的图像上的增强显示。因此，响应于图形用户界面，车辆操作者可以在倒车操作期间识别出投影目的地的投影拖车路径和拖车可以定位在其内的机动性余量。
在示例性实施例中，处理器330然后可用于响应于投影拖车路径而生成控制信号，并将这些控制信号耦合至车辆控制器345。处理器可以执行ADAS算法等以生成控制信号来沿着投影拖车路径引导拖车。在示例性实施例中，处理器330是ADAS控制器，并且拖车路线计算由ADAS控制器执行。ADAS控制器可用于控制车辆沿着响应于由车辆操作者指示的目标点而计算出的路径的推进。在另一示例性实施例中，处理器330可以包括车辆控制器345，其可以直接与节气门控制器、制动控制器和/或转向控制器直接通信。
车辆控制器345可用于从处理器330接收控制信号并响应于该控制信号来控制车辆。控制信号可以包括特定的导航路线信息，可以包括目的地位置，或者可以包括特定的转向控制、节气门控制和制动控制指令。
现在转到图4，示出了表示根据本公开的示例性实施例的用于机动车辆400中的自动拖车倒车系统的示例性方法的流程图。在该示例性实施例中，该方法首先用于接收启动自动拖车倒车系统的请求410。该请求可以响应于牵引车辆处于拖车模式且牵引车辆变速器被切换到倒车位置而生成。在一示例性实施例中，可以响应于拖车连接到车辆拖车挂钩或拖车接口模块而启动拖车模式。在另一示例性实施例中，可以通过车辆操作者经由车辆用户界面选择拖车模式或请求启动自动拖车倒车系统和/或用户界面来启动拖车模式。
该方法接下来用于从后视相机等接收420具有来自拖车后部视角的视场的图像。该图像可以由安装在拖车后部的相机捕获，或者可以响应于由各自具有不同FOV的多个相机捕获的多个图像来生成。可以使用图像处理技术来组合多个图像，以生成拖车后部的FOV的合成图像。
该方法接下来用于确定430车辆挂钩角度作为转向控制算法的输入。可以响应于由安装在牵引车辆后部的相机捕获的图像来确定车辆挂钩。系统然后可用于确定利用图像处理技术(比如边缘检测)来估计牵引车辆的中心线和拖车之间的挂钩角度。可替代地，可以响应于牵引车辆、拖车或挂钩组件中的动力学传感器来确定挂钩角度。例如，可以响应于在车辆运动期间在拖车挂钩组件处施加和检测到的侧向力来估计挂钩角度。
该方法接下来用于确定440拖车的机动性余量。可以响应于拖车和车辆组合的最大挂钩角度并在倒车距离上确定机动性余量。机动性余量代表倒车操作期间拖车的最大横向位置。在示例性实施例中，车辆操作者可以仅在机动性余量内选择目标点。机动性余量之外的任何目标点都将要求牵引车辆向前移动，以回移倒车操作的起点。
该方法接下来用于确定450默认投影路径。在一示例性实施例中，可以响应于在相机范围极限处或距拖车后部的默认距离处的机动性余量之间居中的目标点来建立默认投影路径。默认投影路径可以是初始确定的投影路径，车辆操作者可以从其调节目的地点以建立更新的投影路径。
该方法接下来用于生成455用户界面覆盖，以显示在牵引车辆中心堆叠屏幕上。用户界面可以包括具有机动性余量、默认投影路径和覆盖在捕获图像上的默认目标点的增强图像。另外，用户界面可以包括具有虚拟滑块按钮的触摸控制滑块条。虚拟滑块按钮的默认位置将与默认目标点的位置相对应。例如，如果默认目标点位于机动性余量之间的一半，则虚拟滑块按钮的默认位置将位于触摸控制滑块条的中心。
该方法接下来用于接收460指示拖车的最终目的地的目标点的用户输入。可以响应于虚拟滑块按钮在触摸控制滑块条上的用户定位来建立目标点的用户输入。例如，用户可以沿着触摸控制滑块条滑动虚拟滑块按钮，并且作为响应，投影目标点将沿着机动性余量之间的路径相应地移动。在一示例性实施例中，在经过一段持续时间之后，虚拟滑块按钮的位置将用于响应于用户输入来确定更新的目标点。在另一示例性实施例中，用户可以在车辆移动时调节拖车路径，从而进行到目的地的增量方向改变。
该方法接下来用于响应于更新的目标点来确定470更新的投影路径。然后该方法用于用更新的投影路径来更新图形用户界面。该方法接下来用于接收480用户确认，即更新的目标路径和更新的目标点是期望的最终目标点和对应的投影路径。可以响应于系统提示、虚拟按钮按下或其他肯定的用户输入来接收用户确认。
该方法接下来用于响应于投影路径和目标点控制490车辆。可以响应于由ADAS处理器执行辅助驾驶倒车操作等而生成的一个或多个控制信号来控制车辆。在一示例性实施例中，车辆可以响应于车辆操作者的制动按压或指示停止倒车操作的请求的其他用户输入而停止倒车操作。
现在转向图5，示出了表示根据本公开的另一示例性实施例的用于机动车辆中的自动拖车倒车系统的系统500的框图。该示例性系统包括相机510、交互式用户界面520、处理器530和车辆控制器540。
在示例性实施例中，相机510可用于捕获拖车视场的图像。相机510可以安装在拖车的后部，或者可以是安装在牵引车辆上的一个或多个相机，其中它们的组合FOV可用于捕获拖车后部区域的视场。在另一示例性实施例中，相机510可以包括用于确定拖车FOV内的深度信息的深度传感器，比如激光雷达或雷达。可以响应于深度信息来确定投影拖车路径。
示例性系统可以进一步包括用户界面520，比如交互式用户界面，其用于显示图形用户界面，其中该图形用户界面包括虚拟滑块按钮，并响应于虚拟滑块按钮的用户定位来接收用户输入。在一示例性实施例中，虚拟滑块按钮显示在图形用户界面上，并且其中该交互式用户界面是触敏显示屏。在另一示例性实施例中，用户界面520可以是触摸板或其他触敏用户界面520。触摸板可以与显示器结合使用。
示例性系统可以进一步包括用于响应于用户输入而生成图形用户界面的处理器530，用户输入指示拖车目的地，处理器进一步用于响应于拖车尺寸和挂钩角度而生成左机动性余量和右机动性余量，以及响应于拖车目的地而生成投影拖车路径，其中图形用户界面包括图像和指示左机动性余量、右机动性余量、投影拖车路径和拖车目的地的覆盖在图像上的多个图形。在一示例性实施例中，可以响应于挂钩角度、拖车目的地和拖车尺寸来确定投影拖车路径。在另一示例性实施例中，处理器530用于响应于接收到指示拖车目的地的用户输入来生成用于用户确认的请求，并且其中在交互式用户界面上显示用于用户确认的请求的指示。在另一示例性实施例中，可以响应于挂钩角度、拖车长度和挂钩长度来生成右机动性余量和左机动性余量。
示例性系统还可包括车辆控制器540，其用于响应于控制信号而执行拖车倒车操作。车辆控制器用于响应于指示拖车目的地和投影拖车路径的用户确认的用户确认来执行拖车倒车操作。车辆控制器还用于响应于控制信号来沿着投影拖车路径控制拖车。
在另一实施例中，示例性系统500可以是高级驾驶员辅助系统，包括：相机510，用于捕获拖车后部的视场；用户界面520，用于显示图形用户界面并接收指示最终拖车目的地的用户输入；处理器530，用于响应于挂钩角度、拖车长度和挂钩长度来估计左机动性余量和右机动性余量，处理器进一步用于响应于默认拖车目的地生成默认拖车路径并且生成图形用户界面，其包括图像、左机动性余量、右机动性余量、默认拖车目的地和默认投影拖车目的地。处理器进一步用于响应于指示最终拖车目的地的用户输入而生成最终投影拖车路径；以及车辆控制器540，其配置为响应于最终投影拖车路径来执行辅助驾驶操作。
先进的驾驶员辅助系统500还可以包括用于检测拖车的视场内的深度信息的深度传感器，比如激光雷达，并且其中响应于该深度信息来确定最终投影拖车路径。用户界面520可以是安装在牵引车厢内的触敏显示器，其用于显示包括虚拟滑块条的图形界面，并且其中最终拖车目的地是响应于虚拟滑块条在虚拟滑块上的位置而确定的。
现在转向图6，示出了表示根据本公开的另一示例性实施例的用于机动车辆中的自动拖车倒车系统的方法600的流程图。示例性方法600首先用于通过相机捕获610图像，其中该图像包括来自拖车的后视场。在一示例性实施例中，可以将相机安装在拖车的后部，并且通过拖车接口模块接收图像。
该方法接下来用于响应于挂钩角度和拖车尺寸由处理器生成620左机动性余量和右机动性余量。
然后，该方法可以在触敏用户界面上显示630图像、左机动性余量和右机动性余量。在示例性实施例中，该方法可以响应于左机动性余量和右机动性余量来生成默认拖车目的地和默认投影拖车路径。在另一示例性实施例中，可以响应于挂钩角度、拖车长度和挂钩长度来生成右机动性余量和左机动性余量。
该方法接下来配置为用于接收640指示左机动性余量和右机动性余量之间的拖车目的地的用户输入。在一示例性实施例中，响应于虚拟滑块条的位置来接收拖车目的地。在一示例性实施例中，触敏用户界面可以是车厢内的中心堆叠车辆显示器。
该方法接下来用于响应于拖车目的地由处理器生成650投影拖车路径。然后，该方法可以响应于生成投影拖车路径而在触敏用户界面上显示投影拖车路径。
然后，该方法用于使用车辆控制器来控制660沿着投影拖车路径到拖车目的地的拖车倒车操作。
在一示例性实施例中，该方法可以进一步用于响应于生成投影拖车路径而显示用户确认请求，比如弹出屏幕、音频提示，或者虚拟用户输入，比如在用户界面上显示的按钮，并且其中响应于对用户确认请求的肯定用户响应而启动拖车倒车操作。
尽管在前面的详细描述中已经提出了至少一个示例性实施例，但应当理解，存在大量的变型。还应当理解，一个或多个示例性实施例仅是示例，并且无意以任何方式限制本公开的范围、适用性或配置。相反，前述详细描述将为本领域技术人员提供用于实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离如所附权利要求及其合法等同物所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种设备，包括：
相机，用于捕获拖车视场的图像；
交互式用户界面，用于显示图形用户界面，其中，所述图形用户界面包括滑块按钮，并响应于滑块按钮的用户定位而接收用户输入；
处理器，用于响应于用户输入而生成图形用户界面，用户输入指示拖车目的地，处理器进一步用于响应于拖车目的地而生成投影拖车路径，其中，所述图形用户界面包括所述图像和指示所述投影拖车路径和拖车目的地的覆盖在该图像上的多个图形；以及
车辆控制器，用于响应于控制信号而执行拖车倒车操作。
2.根据权利要求1所述的设备，其中，所述滑块按钮显示在所述图形用户界面上，并且其中，所述交互式用户界面是触敏显示屏。
3.根据权利要求1所述的设备，其中，所述投影拖车路径是响应于挂钩角度、拖车目的地和拖车尺寸而确定的。
4.根据权利要求1所述的设备，其中，所述车辆控制器用于响应于指示所述拖车目的地和投影拖车路径的用户确认的用户确认来执行所述拖车倒车操作。
5.根据权利要求1所述的设备，进一步用于响应于拖车尺寸和挂钩角度而生成左机动性余量和右机动性余量，并且其中，覆盖在所述图像上的多个图形包括所述左机动性余量和右机动性余量的图形。
6.根据权利要求5所述的设备，其中，所述右机动性余量和左机动性余量是响应于所述挂钩角度、拖车长度和挂钩长度而生成的。
7.根据权利要求1所述的设备，其中，所述车辆控制器还用于响应于所述控制信号来沿着所述投影拖车路径控制拖车。
8.根据权利要求1所述的设备，进一步包括深度传感器，用于确定所述拖车视场内的深度信息，并且其中，所述投影拖车路径是响应于所述深度信息而确定的。
9.一种方法，包括：
-通过相机捕获图像，其中，所述图像包括来自拖车的后视场；
-由处理器响应于挂钩角度和拖车尺寸而生成左机动性余量和右机动性余量；
-在触敏用户界面上显示所述图像、左机动性余量和右机动性余量；
-接收指示在左机动性余量和右机动性余量之间的拖车目的地的用户输入；
-由处理器响应于拖车目的地而生成投影拖车路径；
-使用车辆控制器沿着投影拖车路径至拖车目的地控制拖车倒车操作。
10.根据权利要求9所述的方法，进一步用于响应于生成所述投影拖车路径而在所述触敏用户界面上显示所述投影拖车路径。
CN202110256198.XA 2020-03-10 2021-03-09 用于机动车辆中的自动拖车倒车系统的方法和设备 Active CN113386783B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/813,814 2020-03-10
US16/813,814 US11577782B2 (en) 2020-03-10 2020-03-10 Method and apparatus for an automated trailer backup system in a motor vehicle

Publications (2)

Publication Number Publication Date
CN113386783A true CN113386783A (zh) 2021-09-14
CN113386783B CN113386783B (zh) 2024-06-07

Family

ID=

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210107561A1 (en) * 2015-08-18 2021-04-15 Magna Electronics Inc. Vehicular driving assist system

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030156045A1 (en) * 2002-01-23 2003-08-21 Yuu Tanaka Parking assist device and method for assisting parking
US20080211779A1 (en) * 1994-08-15 2008-09-04 Pryor Timothy R Control systems employing novel physical controls and touch screens
CN102745193A (zh) * 2011-04-19 2012-10-24 福特全球技术公司 用于拖车倒车辅助的拖车路径曲率控制
CN104602991A (zh) * 2012-08-03 2015-05-06 大众汽车有限公司 用于对挂车进行移库的方法和设备
US20190061816A1 (en) * 2017-08-23 2019-02-28 Continental Automotive Systems, Inc. Vehicle-trailer backing system with jacknife protection
CN110239567A (zh) * 2018-03-08 2019-09-17 通用汽车环球科技运作有限责任公司 拖车反向引导图形

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080211779A1 (en) * 1994-08-15 2008-09-04 Pryor Timothy R Control systems employing novel physical controls and touch screens
US20030156045A1 (en) * 2002-01-23 2003-08-21 Yuu Tanaka Parking assist device and method for assisting parking
CN102745193A (zh) * 2011-04-19 2012-10-24 福特全球技术公司 用于拖车倒车辅助的拖车路径曲率控制
CN104602991A (zh) * 2012-08-03 2015-05-06 大众汽车有限公司 用于对挂车进行移库的方法和设备
US20190061816A1 (en) * 2017-08-23 2019-02-28 Continental Automotive Systems, Inc. Vehicle-trailer backing system with jacknife protection
CN110239567A (zh) * 2018-03-08 2019-09-17 通用汽车环球科技运作有限责任公司 拖车反向引导图形

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210107561A1 (en) * 2015-08-18 2021-04-15 Magna Electronics Inc. Vehicular driving assist system
US11673605B2 (en) * 2015-08-18 2023-06-13 Magna Electronics Inc. Vehicular driving assist system

Also Published As

Publication number Publication date
US20210284240A1 (en) 2021-09-16
DE102021103021A1 (de) 2021-09-16
US11577782B2 (en) 2023-02-14

Similar Documents

Publication Publication Date Title
EP3275704B1 (en) Systems and methods for a human machine interface for a trailer hitch system
US8138899B2 (en) Rear camera backup assistance with touchscreen display using two points of interest
EP1950097B1 (en) Parking support device
JP5212748B2 (ja) 駐車支援装置
US20180201191A1 (en) Surroundings-monitoring device and computer program product
EP2683164B1 (en) Driving assistance device and towing vehicle
US11479238B2 (en) Parking assist system
JP2019509204A (ja) 標的物を必要としないヒッチ角度検出およびトレーラ形状学習を有する車両−トレーラ後退システム
JP2009292457A (ja) 車両周辺表示装置
JP2021160535A (ja) 駐車支援システム
US11964692B2 (en) Application of auxiliary lighting in automatic hitch operation
JP2018144526A (ja) 周辺監視装置
US11584297B2 (en) Display device for vehicle and parking assist system
JP2016060235A (ja) 運転支援装置及び運転支援システム
US20180061241A1 (en) Parking exit assist device
US10793069B2 (en) Method for assisting the driver of a motor vehicle in maneuvering the motor vehicle with a trailer, driver assistance system as well as vehicle/trailer combination
CN112977428B (zh) 驻车辅助系统
CN112124092B (zh) 驻车辅助系统
JP5013205B2 (ja) 駐車支援装置
JP5445852B2 (ja) 駐車支援装置
US11577782B2 (en) Method and apparatus for an automated trailer backup system in a motor vehicle
CN112124090A (zh) 驻车辅助系统
CN113386783B (zh) 用于机动车辆中的自动拖车倒车系统的方法和设备
CN107791979B (zh) 出库辅助装置
JP2020011668A (ja) 駐車支援装置、及び駐車支援装置の制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant