CN112638668A - 用于使用车辆相机校准运动估计算法的系统和方法 - Google Patents
用于使用车辆相机校准运动估计算法的系统和方法 Download PDFInfo
- Publication number
- CN112638668A CN112638668A CN201980059340.2A CN201980059340A CN112638668A CN 112638668 A CN112638668 A CN 112638668A CN 201980059340 A CN201980059340 A CN 201980059340A CN 112638668 A CN112638668 A CN 112638668A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- orientation
- image
- feature
- driver assistance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000033001 locomotion Effects 0.000 title claims abstract description 61
- 230000007246 mechanism Effects 0.000 claims description 24
- 230000000737 periodic effect Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 11
- 230000008878 coupling Effects 0.000 description 10
- 238000010168 coupling process Methods 0.000 description 10
- 238000005859 coupling reaction Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 8
- 239000000725 suspension Substances 0.000 description 8
- 238000004590 computer program Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 244000261422 Lysimachia clethroides Species 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000028838 turning behavior Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/24—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions
- B60D1/36—Traction couplings; Hitches; Draw-gear; Towing devices characterised by arrangements for particular functions for facilitating connection, e.g. hitch catchers, visual guide means, signalling aids
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/01—Traction couplings or hitches characterised by their type
- B60D1/06—Ball-and-socket hitches, e.g. constructional details, auxiliary devices, their arrangement on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60D—VEHICLE CONNECTIONS
- B60D1/00—Traction couplings; Hitches; Draw-gear; Towing devices
- B60D1/58—Auxiliary devices
- B60D1/62—Auxiliary devices involving supply lines, electric circuits, or the like
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D13/00—Steering specially adapted for trailers
- B62D13/06—Steering specially adapted for trailers for backing a normally drawn trailer
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
- B62D—MOTOR VEHICLES; TRAILERS
- B62D15/00—Steering not otherwise provided for
- B62D15/02—Steering position indicators ; Steering position determination; Steering aids
- B62D15/025—Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/808—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for facilitating docking to a trailer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Multimedia (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
一种校准驾驶员辅助系统的方法,包括:进入针对驾驶员辅助系统的校准模式;确在第一位置处车辆的第一估计位置和朝向;捕获来自于相机的图像;以及在图像中选择至少一个特征。校准方法还包括使车辆移动到第二位置和朝向并且确定车辆的第二估计位置和朝向,捕获来自于相机的第二图像并且在第二图像中选择至少一个特征,其中第二图像中的所选择的特征是与第一图像中的所选择的特征相同的特征。方法还包括基于第一估计位置和朝向、第二估计位置和朝向、第一被记录的至少一个特征数据和第二被记录的至少一个特征数据计算新的车辆运动参数值。
Description
技术领域
本公开涉及机动车辆,并且更特别地涉及用于机动车辆的用以协助将车辆联结到拖车的驾驶员辅助系统。
背景技术
拖车通常是由动力牵引车辆拖动的无动力车辆。除其它之外,拖车还可以是多用途拖车、弹出式露营车、旅行拖车、牲畜拖车、平板拖车、封闭式调度车和船拖车。牵引车辆可以是汽车、跨界车(crossover)、卡车、货车、运动型多功能车辆(SUV)、休闲车辆(RV)或者被配置为附接到拖车并且拖动拖车的任何其它车辆。可以使用拖车联结器将拖车附接到动力车辆。受方联结器安装在牵引车辆上并且连接到拖车联结器以形成连接。拖车联结器可以是球窝式联结器、第五轮鹅颈联结器、或拖车顶。也可以使用其它附接机制。除了拖车和动力车辆之间的机械连接之外,在一些示例中,拖车被电连接到牵引车辆。像这样,该电连接允许拖车从动力车辆的后灯电路取得回馈,允许拖车具有与动力车辆的灯同步的尾灯、转向信号和刹车灯。
牵引车辆驾驶员所面临的一些挑战是将牵引车辆连接到拖车,因为需要多于一个人。例如,一个人(例如驾驶员)驾驶车辆,并且另外一个或多个人需要查看牵引车辆和拖车,并且为驾驶员提供关于牵引车辆必须采取以与联结器对准的路径的方向。如果向驾驶员提供方向的人不习惯于将牵引车辆联结到拖车,则那么他们可能难以提供用于引导牵引车辆的路径的高效指令。不同于此的其它方法涉及驾驶员反复地离开车辆以检查联结器和耦接器的相对位置然后回到车辆中并且重复直到联结器在耦接器下方或者使用车辆后视相机。
近来在传感器技术上的进步已经导致针对车辆的改进的安全系统。用于检测和避免碰撞的布置和方法正变得可用。这样的驾驶员辅助系统使用位于车辆上的传感器来检测正在发生的碰撞。在一些示例中,系统可以向驾驶员予告一种或多种驾驶情形以防止碰撞或使碰撞最小化。附加地,当车辆正在向前方向上行进时,传感器和相机也可以被用于向驾驶员警告可能的障碍物。因此,合期望的是提供一种包括传感器的系统以克服牵引车辆的驾驶员所面临的挑战。
附加地,具有驾驶员辅助功能的车辆有时利用运动估计算法。这样的运动估计算法利用车辆模型和传感器输入(诸如车轮编码器值和方向盘角度)来估计车辆的随时间经过的相对位置和速度。术语“测程法”和“航位推测法”经常被用于这样的方案。
例如,用于使卡车倒退至拖车的自动化功能可能要求精确的运动估计算法,从而卡车能够依照用户选择的路径到达拖车。这样的运动估计算法将利用若干个车辆运动学参数,诸如转向比、转向偏移、轮胎直径、轴距、轮距等。虽然可以精确地知道诸如轴距的一些参数,但是对于良好的运动估计而言可能不会以足够的精度/准确度知道轮胎直径、转向比和转向偏移。对于使卡车倒退至拖车耦接器的情况而言,需要几米的运动上的在厘米量级上的精度。这要求对卡车运动学参数的非常好的知识。
确定参数的一种方法涉及对所有未知参数的仔细的直接测量。然而,这经常是不方便的并且不准确的。
另一种方法涉及在监控车辆传感器输入的同时执行一些测试操纵。例如,可以通过在一定的校准距离(例如20米)内笔直地驾驶车辆并且监控车轮编码器值来确定轮胎直径。类似地,可以通过将方向盘固定在特定的角度(其可以是从方向盘角度传感器读取的)而向前或向后地驾驶车辆并且测量所得到的实际的车辆路径的半径来确定转向比。
确定参数的另一种方法是类似的,但是利用参考差分GPS系统来测量车辆运动而不是标记出校准距离(诸如上面提到的20米)或者测量车辆路径半径。
发明内容
一个一般的方面包括校准驾驶员辅助系统的方法,方法包括:进入针对驾驶员辅助系统的校准模式。校准方法还包括使车辆移动到第一位置和朝向。校准方法还包括利用针对驾驶员辅助系统的控制器来记录在第一位置处车辆的当前估计位置和朝向。校准方法还包括显示来自于从车辆面向外的至少一个相机的第一图像。校准方法还包括通过使用输入机制选择第一图像中的至少一个特征以及利用针对驾驶员辅助系统的控制器记录在第一位置和朝向的至少一个所选择的特征数据。校准方法还包括使车辆移动到至少第二位置和朝向。校准方法还包括利用针对驾驶员辅助系统的控制器确定在至少第二位置处车辆的当前估计位置和朝向。校准方法还包括显示来自至少一个相机的第二图像。校准方法还包括通过使用输入机制选择第二图像中的至少一个特征并且利用针对驾驶员辅助系统的控制器记录在第二位置和朝向的至少一个所选择的特征数据,其中该至少一个所选择的特征是与先前的至少一个所选择的特征相同的特征。校准方法还包括利用控制器基于第一估计位置和朝向、第二估计位置和朝向、第一被记录的至少一个特征数据和第二被记录的至少一个特征数据来计算新的车辆运动参数值。
实现可以包括以下特征中的一个或多个。在方法中,车辆运动参数值包括如下中的至少之一:轴距、轮距、轮胎直径、转向偏移和转向比,使车辆移动包括转向、制动和加速。
在方法中,驾驶员辅助系统是联结辅助系统,并且至少一个特征是拖车上的至少联结器受方。
在方法中,运动校准方法是在第一次使用驾驶员辅助系统时完成的。
在方法中,运动校准方法是以周期性的间隔更新的或者是由用户斟酌而更新的。
在方法中,输入机制是如下中的至少之一:触摸屏、旋钮控制、鼠标、操纵杆、滑动条。
方法进一步包括使用新的车辆运动参数值来执行驾驶员辅助系统的至少一个驾驶员辅助功能。
在方法中确定在第二位置处车辆的当前估计位置和朝向进一步包括根据在车辆从第一位置移动到第二位置时由传感器系统检测的随时间经过的车轮行进传感器数据和转向角度传感器数据来计算位置和朝向。
一个一般的方面包括校准驾驶员辅助系统的方法,方法包括:进入针对驾驶员辅助系统的校准模式。校准方法还包括利用针对驾驶员辅助系统的控制器确定在第一位置处车辆的第一估计位置和朝向。校准方法还包括捕获来自于从车辆面向外的至少一个相机的图像并且在图像中选择至少一个特征。校准方法还包括使车辆移动到至少第二位置和朝向并且确定车辆的第二估计位置和朝向。校准方法还包括捕获来自于从车辆面向外的至少一个相机的第二图像并且在第二图像中选择至少一个特征,其中第二图像中的至少一个所选择的特征是与第一图像中的至少一个所选择的特征相同的特征。校准方法还包括利用控制器基于第一估计位置和朝向、第二估计位置和朝向、第一被记录的至少一个特征数据和第二被记录的至少一个特征数据来计算新的车辆运动参数值。
实现可以包括以下特征中的一个或多个。在方法中,车辆运动参数值包括如下中的至少之一:轴距、轮距、轮胎直径、转向偏移和转向比,使车辆移动包括转向、制动和加速。
在方法中,驾驶员辅助系统是联结辅助系统,并且至少一个特征是拖车上的至少联结器受方。
在方法中,运动校准方法是在第一次使用驾驶员辅助系统时完成的。
在方法中,运动校准方法是以周期性的间隔更新的或者是由用户斟酌而更新的。
方法进一步包括利用输入机制选择至少一个特征。
在方法中,输入机制是如下中的至少之一:触摸屏、旋钮控制、鼠标、操纵杆、滑动条。
方法进一步包括使用新的车辆运动参数值来执行驾驶员辅助系统的至少一个驾驶员辅助功能。
在方法中确定在第二位置处车辆的当前估计位置和朝向进一步包括根据在车辆从第一位置移动到第二位置时由传感器系统检测的随时间经过的车轮行进传感器数据和转向角度传感器数据来计算位置和朝向。
一个一般的方面包括驾驶员辅助系统,包括:控制器,其具有用于校准针对驾驶员辅助系统的车辆运动参数值的指令,指令包括:利用针对驾驶员辅助系统的控制器确定在第一位置处车辆的第一估计位置和朝向;捕获来自于从车辆面向外的至少一个相机的图像并且在图像中选择至少一个特征;在已经使车辆移动到第二位置之后确定车辆的第二估计位置和朝向;捕获来自于从车辆面向外的至少一个相机的第二图像并且在第二图像中选择至少一个特征,其中第二图像中的至少一个所选择的特征是与第一图像中的至少一个所选择的特征相同的特征;以及利用控制器基于第一估计位置和朝向、第二估计位置和朝向、第一被记录的至少一个特征数据和第二被记录的至少一个特征数据来计算新的车辆运动参数值。
实现可以包括以下特征中一个或多个。在系统中,车辆运动参数值包括如下中的至少之一:轴距、轮距、轮胎直径、转向偏移和转向比,使车辆移动包括转向、制动和加速。
在系统中,驾驶员辅助系统是联结辅助系统,并且至少一个特征是拖车上的至少联结器受方。
在系统中,控制器对车辆运动参数值进行校准是在第一次使用驾驶员辅助系统时完成的,并且运动校准方法是以周期性的间隔更新的或者是由用户斟酌而更新的。
系统进一步包括输入机制以选择至少一个特征,其中输入机制是如下中的至少之一:触摸屏、旋钮控制、鼠标、操纵杆、滑动条。
在系统中,通过根据在车辆从第一位置移动到第二位置时由传感器系统检测到的随时间经过的车轮行进传感器数据和转向角度传感器数据计算位置和朝向,来确定在第二位置处车辆的当前估计位置和朝向。
当参照随附附图——其全体形成本说明书的一部分——考虑以下的详细描述和所附权利要求时,本发明的其它目的、特征和特性以及操作方法和结构的相关元素的功能、部件的组合以及制造经济性将变得更加明显。应当理解,详述的描述和具体的示例——虽然其指示本公开的优选的实施例——仅意图用于说明的目的并且不意图限制本公开的范围。
附图说明
根据详述的描述和随附附图,本公开将变得被更完全地理解,在附图中:
图1A是示例性的牵引车辆和在牵引车辆后的拖车的示意图;
图1B是用于检测针对在第一位置的车辆的拖车联结器受方位置的示例性的用户界面的示意图。
图1C是用于检测针对在第二位置的车辆的拖车联结器受方位置的示例性的用户界面的示意图。
图2是示例性的牵引车辆的透视图。
图3是用于附接到拖车的示例性的车辆运动校准的流程图。
在各个附图中同样的参考符号指示同样的元素。
具体实施方式
诸如但是不限制于汽车、跨界车、卡车、货车、运动型多功能车辆(SUV)和休闲车辆(RV)的牵引车辆可以被配置为牵引拖车。牵引车辆通过拖车联结器连接到拖车。合期望的是具有如下的牵引车辆:其能够具有更自动化的系统和方法以用于朝着拖车进行操纵并且附接到拖车,因此减少对于驾驶员而言在向后方向上驾驶牵引车辆同时另外一个或多个人向驾驶员提供关于牵引车辆不得不采取以与拖车对准并且最终与拖车的联结器对准的路径的引导的需要。像这样,具有用于向后驾驶的辅助设备的牵引车辆在将牵引车辆联结到拖车时为驾驶员提供更安全和更快速的体验。
参照图1A至图2,在一些实现中,牵引车辆100的驾驶员想要牵引拖车200。牵引车辆100可以被配置有驾驶员辅助系统300,以向驾驶员提供指引以朝着所选择的拖车200驾驶。牵引车辆100可以包括驾驶系统110,其基于具有最终的x、y位置以及还有最终朝向的驾驶命令来操纵牵引车辆100跨过道路表面。替换地,驾驶命令可以具有例如半径分量、速度分量和方向分量。如所示出那样,驾驶系统110包括右前轮112、112a、左前轮112、112b、右后轮112、112c和左后轮112、112d。驾驶系统110也可以包括其它车轮配置。驾驶系统110还可以包括:制动系统120,其包括与每个车轮112、112-d相关联的制动器;以及加速系统130,其被配置为调节牵引车辆100的速度和方向。此外,驾驶系统110可以包括悬架系统132,悬架系统132包括与每个车轮112、112-d相关联的轮胎、轮胎空气、弹簧、减震器、以及连杆,所述轮胎、轮胎空气、弹簧、减震器、以及连杆将牵引车辆100连接到其车轮112、112-d并且允许在牵引车辆100和车轮112、112-d之间的相对运动。悬架系统132改进了牵引车辆100的道路操控,并且通过隔离道路噪声、颠簸和振动来提供更好的乘坐质量。此外,悬架系统132被配置为调节牵引车辆100的高度而允许牵引车辆联结器160与拖车联结器210对准,这有助于牵引车辆100和拖车200之间的连接。
牵引车辆100可以通过相对于由牵引车辆100限定的三个相互垂直的轴(横向轴X、前后轴Y和中心竖向轴Z)的运动的各种组合而跨道路表面移动。横向轴x在牵引车辆100的右侧R和左侧之间延伸。沿着前后轴Y的向前驾驶方向被指定为F,其还被称为向前运动。此外,沿着前后方向Y朝后或向后的驾驶方向被指定为R,其还被称为向后运动。当悬架系统132调节牵引车辆100的悬架时,牵引车辆100可以绕X轴和或Y轴倾斜,或者沿着中心竖向轴Z移动。
驾驶员辅助系统310可以包括用户界面140。用户界面140可以是合并到车辆中的显示器,或者可以被提供在诸如个人无线设备的分离的设备上。用户界面140经由诸如控制旋钮或触摸屏显示器的一个或多个输入机制142从驾驶员接收一个或多个用户命令和/或向驾驶员显示一个或多个通知。用户界面140与车辆控制器300通信,车辆控制器300进而与传感器系统400和驾驶系统110通信。在一些示例中,用户界面140显示牵引车辆100的环境的图像,导致由用户界面140(从驾驶员)接收发起一个或多个行为的执行的一个或多个命令。车辆控制器300包括与能够存储在(一个或多个)计算处理器上可执行的指令的非暂态存储器304(例如,硬盘、闪速存储器、随机存取存储器)通信的计算设备(或处理器)302(例如具有一个或多个计算处理器的中央处理单元)。
车辆控制器300执行驾驶员辅助系统310,驾驶员辅助系统310进而包括路径跟随子系统320。路径跟随子系统320从路径规划系统550接收规划路径552(图3A和图3B)并且执行向驾驶系统110发送命令301的行为322-330,导致牵引车辆100关于在向后方向R上的规划路径552自主地驾驶。
路径跟随子系统320包括如制动行为322、速度行为324、转向行为326和可能的附加的行为,诸如联结器连接行为和悬架调节行为。每个行为322-326引起牵引车辆100采取动作,所述动作除了其它之外还诸如为向后驾驶、以特定角度转弯、加速、减速。车辆控制器300可以通过控制驾驶系统110更具体地通过向驾驶系统110发出命令301来在任何方向上操纵牵引车辆100跨过道路表面。例如,车辆控制器300可以将牵引车辆100从初始位置操纵到最终位置。在最终位置,牵引车辆100的联结球162与拖车200的联结耦接器212对准而将牵引车辆100和所选择的拖车200进行连接。
牵引车辆100可以包括传感器系统400以提供可靠的并且鲁棒的自主驾驶。传感器系统400可以包括不同类型的传感器,所述传感器可以被分离地使用或者被与彼此一起使用以创建对牵引车辆的环境的感知,该感知被用于牵引车辆100基于由传感器系统400检测到的对象和障碍物来自主地驾驶以及做出智能决策。传感器可以包括但是不限制于一个或多个成像设备(诸如相机)410和诸如但是不限制于雷达、声纳、LIDAR(光检测和测距,其可能牵涉测量散射光的性质以找出远处目标的距离和/或其它信息的光学远程感测)、LADAR(激光检测和测距)等的传感器420。此外,(一个或多个)相机410和(一个或多个)传感器420可以被用于当牵引车辆100在向前方向F或向后方向R上行进时经由用户界面140通过可听到的警告和/或可看到的警告向驾驶员警告可能的障碍物。因此,传感器系统400对于增加在半自主或自主条件下操作的牵引车辆100中的安全而言是尤其有用的。
传感器系统400将传感器系统数据402发送到驾驶员辅助系统310。传感器系统数据402包括来自相机410、410a-d的图像412和来自传感器420、420a-d的传感器数据422。
在一些实现中,牵引车辆100包括后方相机410、410a,其被安装以提供用于牵引车辆100的向后驾驶路径的视图。附加地,在一些示例中,牵引车辆100包括用以提供用于牵引车辆100的前方驾驶路径的视图的前方相机410、410b、被定位在牵引车辆100的右侧上的右方相机410、410c、以及被定位在牵引车辆100的左侧上的左方相机410、410d。左方相机410、410d和右方相机410c、410d提供牵引车辆100的附加的侧视图。在这种情况下,除了沿着前方驾驶路径和向后驾驶路径检测到的对象和障碍物之外,牵引车辆100还可以检测位于牵引车辆100的任一侧上的对象和障碍物。(一个或多个)相机410、410a-d可以是单目相机、双目相机或能够提供牵引车辆100的向后行进路径的视图的另外的类型的感测设备。同样地,传感器420a-d可以位于在车辆100的外部的周围的各种位置处。
返回参照图1A至图2,一旦路径规划系统550规划了路径552,路径跟随子系统320就被配置为执行引起驾驶系统110自主地跟随规划的路径552的行为。因此,路径跟随子系统320包括一旦被执行就允许沿着规划路径552自主地驾驶牵引车辆100的一个或多个行为322-330。行为322-330可以包括但是不限制于制动行为322、速度行为324、转向行为326、联结器连接行为328和悬架调节行为330。
在该实施例中,路径规划系统550经由用户界面140和用户输入机制142接收信息。例如,用户界面140和输入机制可以是屏幕、触摸屏、个人设备、控制旋钮、操纵杆、滑块旋钮或其它输入机制中的一个或组合。在所示出的示例中,用户界面140是触摸屏并且输入机制142是控制旋钮。
车辆联结球162的规划路径552可以在用户界面140上被显示为覆盖(在图1B中由虚设线示出)。初始规划的摇动路径552覆盖可以基于车辆100当前的转向行为326。使用输入机制142,用户可以调节规划路径552的规划长度和轨迹,直到规划路径552与拖车联结器受方位置212对准。一旦用户已经选择了合期望的规划路径552长度和轨迹(在图1B中由虚设线示出),路径规划系统550就可以确定跟随规划路径552所必需的制动行为322、速度行为324和转向行为326。该信息可以被发送到路径跟随子系统320以被执行。
替换地,用户界面140和输入机制142可以被用于输入车辆轨迹,并且系统用户可以控制车辆100的速度和制动。
可以执行制动行为322以基于规划路径552来使牵引车辆100停止或者使牵引车辆减速。制动行为322向驾驶系统110(例如制动系统120)发送信号或命令301,以使牵引车辆100停止或者降低牵引车辆100的速度。
可以执行速度行为324以基于规划路径552来通过加速或减速改变牵引车辆100的速度。速度行为324向用于减速的制动系统120或者向用于加速的加速系统130发送信号或命令301。
可以执行转向行为326以基于规划路径来改变牵引车辆100的方向。像这样,转向行为326向加速系统130发送指示引起驾驶系统110改变方向的转向角度的信号或命令301。
除了用户界面140和输入机制142之外,路径规划系统550还使用来自传感器系统44的信息,以将来自用户的输入选择与由传感器420和相机410记录的车辆100和拖车200的物理位置对准。也就是,路径规划系统550必须基于相机410、410a-d图像以及由传感器系统400测量的车辆100和拖车220的物理位置而根据用户输入确定路径。因此,可以使用运动校准系统600来校准传感器系统400和路径跟随子系统320之间的对准。
参照图1A和图2至图3,运动校准系统600利用精确地输出相对车辆位置和速度的运动估计算法。该运动估计算法将是若干个车辆参数(诸如转向比、转向偏移、轴距、轮距等)。对于标准车辆驾驶函数而言,这些参数对于提供自动联结辅助的驾驶员辅助系统320所必需的良好运动估计而言可能不是足够精确地已知的。运动校准系统600提供用于更精确地确定这些值的算法和方法610。在示例应用(拖车联结辅助)中,除了已经在车辆100上的装备之外,该方法不要求任何特殊的装备。
方法610使用显示来自相机410、410a-d的图像的用户界面140和“指点到”特征的输入机制142来为用户提供从不同的视点“指点到”相同的固定特征。也就是,用户使用输入机制选择显示在用户界面140上的至少一个静态对象或特征以标识所选择的特征或对象。特征或对象可以是联结球受方,并且可以包括有关拖车的附加的对象或特征,诸如拖车角部、印贴、标识标记、车轮等。
然后车辆被驾驶到新的位置,在该位置处相机410、410a仍然具有拖车200的视图并且用户使用用户界面140重新选择(一个或多个)特征位置。优化例程(例如,准牛顿)调节车辆运动学参数以实现针对由用户选择的点的最小误差。
存在针对用以将运动估计算法输出与之比较的绝对基准的需要。因此,我们提出一种替换的绝对基准,其利用车辆相机410、410a-d和用户界面142上的一些输入机制。在该实施例中,输入机制可以是触摸屏或者相同的控制旋钮或者它们的某种组合,其允许用户选择在所显示的图像412上的一个或多个特征。
运动校准系统600的一个实施例提供了在驾驶员辅助系统被激活时激活运动估计算法。可以在第一次使用系统时选择性地进入或自动地进入运动“校准模式”,这在602处示出。替换地,另一实施例提供了用户(例如终端用户或工厂生产线末端校准技术员)激活特殊的校准模式。记录车辆100的第一位置和朝向。第一位置可以被设置为(X,Y)=(0,0)并且Heading(朝向)=0。
为了记录在第二位置处的当前估计位置和朝向,可能需要发生一些明显的车辆运动,这在604处示出。用户可以将车辆驾驶出一定的距离(比如说10米)同时还转动方向盘,从而车辆运动不是完美笔直的。在该运动期间,传感器系统400至少检测车轮传感器数据和方向盘角度传感器数据。在该移动之后,可以确定车辆的当前估计位置和朝向,这在606处示出。也就是,控制器300可以在从一个位置移动到另一个位置期间使用车轮记数(wheeltick)和方向盘角度作为时间的函数来计算第二位置和朝向。替换地,可以对比于在图1B中示出的第一相机图像使用根据在图1C中示出的第二相机图像的图像分析来计算新的位置和朝向。
在这之后,用户将通过用户界面140查看车辆的向后相机监控器(或者前方相机监控器或者侧面相机监控器),并且使用诸如指点设备(触摸屏、旋钮、鼠标等)的输入设备142来挑选出在图像412上显示的特定的静态世界特征,这在608处示出。该特征可以是拖车耦接器(例如对于卡车联结辅助系统的情况而言),但是其也可以是对于用户而言利用相机监控器140而使用指点设备142容易标识和指点的任何其它固定的点。然后,该过程可以在有新的操纵并且用户在新的位置处指点到同一特征的情况下被附加地重复一次或多次,这在614处示出。
替换地,所捕获的图像可以被由控制器300分析以选择第一图像中的特征和第二图像中的特征并且使用特征识别。特征识别可以包括限定与第一特征相关联的多个特征识别点以及与第一特征相关联的多个特征识别点。当来自第一图像和第二图像的特征具有足够数目的匹配识别点时,确定第一特征和第二特征是同一对象。
继续,在从多个车辆位置和作为时间的函数的车轮运动以及方向盘角度采集了估计的位置和朝向信息以及对应的拖车特征之后,运动校准系统可以基于所采集的数据计算新的运动参数集合并且存储该信息,这在616处示出。这些步骤提供了一组等式,其可以被模拟即积分而(以数值形式)涉及未准确地已知的车辆参数。积分等式中的误差可以被(在数值上)最小化以改进现有参数并且获得更精确的参数。该问题可以是利用非线性最小二乘求解方法解决的,例如可以使用准牛顿方法(例如BFGS)。新的运动校准数据可以被用于更精确地确定和预测车辆100。运动100基于传感器系统数据401和路径规划系统550。因此,车辆100可以退出校准模式,这在618处示出。
更具体地,我们提出了优化如下的函数:该函数的输入是并非完美已知的参数集合(轴距、轮距、轮胎直径、转向比/转向偏移等)以及作为时间的函数的车轮运动和方向盘角度,并且该函数的输出是(从不同的视点)对图像中的固定点的误差的某种度量。
如先前提到的那样,取决于要被估计的参数的数目,该过程需要被重复多次。每次迭代提供两个等式(与两个图像点坐标相关联),并且存在3+N个未知数,其中N是要被确定的参数的数目。“3+N”中的“3”来自固定点的未知世界坐标。因此,我们有2M个等式和3+N个未知数,并且因此2M必须至少为3+N(以具有与未知参数一样多的等式)。因此迭代的数目由以下的不等式中的M给出:
M≥(3+N)/2。
对于优化一个未知参数(比如转向偏移)的情况而言,我们必须进行至少两次迭代:(3+1)/2。对于五个未知参数(比如轴距、轮距、轮胎直径、转向比、转向偏移)而言,我们必须进行至少四次迭代:(3+5)/2。
运动校准系统可以是在第一次使用驾驶员辅助系统310时使用的,并且还可以是以如由驾驶员辅助系统310建议的周期性间隔(例如每使用50次或100次)更新的。替换地,可能合期望的是由用户斟酌来进行校准,例如在联结辅助的情况下使用新的拖车时或者在驾驶员注意到由车辆100进行的性能精度上的改变时。
在此描述的系统和技术的各种实现可以被实现在数字电子电路、集成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软件和/或它们组合中。这些各种实现可以包括在可编程系统上可执行和/或可解释的一个或多个计算机程序中的实现,所述可编程系统包括至少一个可编程处理器、至少一个输入设备和至少一个输出设备,所述至少一个可编程处理器可以是专用或通用的,被耦合以从存储系统接收数据和指令以及向存储系统传输数据和指令。
这些计算机程序(还已知为程序、软件、软件应用或代码)包括用于可编程处理器的机器指令,并且可以是以高级过程和/或面向对象编程语言和/或以汇编/机器语言实现的。如在此使用的那样,术语“机器可读介质”和“计算机可读介质”指代被用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如磁盘、光盘、存储器、可编程逻辑器件(PLD)),包括接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指代被用于向可编程处理器提供机器指令和/或数据的任何信号。
本说明书中描述的主题和功能操作的实现可以被实现在数字电子电路中,或者被实现在计算机软件、固件或硬件中,包括在本说明书中公开的结构及其结构等同物,或者被实现在它们中的一个或多个的组合中。此外,在本说明书中描述的主题可以被实现为一个或多个计算机程序产品(即编码在计算机可读介质上的计算机程序指令的一个或多个模块)以用于由数据处理装置执行或者控制数据处理装置的操作。计算机可读介质可以是机器可读存储设备、机器可读存储基板、存储器设备、实现机器可读传播信号的物质的组合、或者它们中的一个或多个的组合。术语“数据处理装置”、“计算设备”和“计算处理器”涵盖用于处理数据的所有装置、设备和机器,通过示例的方式包括可编程处理器、计算机、或多个处理器或计算机。除了硬件之外,装置还可以包括创建用于所讨论的计算机程序的执行环境的代码,例如构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。传播信号是人工生成的信号,例如机器生成的电信号、光信号或电磁信号,其被生成以对用于传输到合适的接收器装置的信息进行编码。
类似地,虽然在附图中以特定的顺序描绘了操作,但是这不应当被理解为要求以所示出的特定的顺序或以相继的顺序执行这样的操作或者要求执行所有所图示的操作以实现合期望的结果。在某些情形下,多任务和并行处理可能是有利的。此外,在上面描述的实施例中的各种系统组件的分离不应当被理解为在所有的实施例中要求这样的分离,并且应当理解所描述的程序组件和系统可以被一般地一起集成在单个软件产品中或者被封装到多个软件产品中。
已经描述了许多实现。然而,将理解可以在不脱离本公开的精神和范围的情况下作出各种修改。因此,其它的实现在随后的权利要求的范围内。
Claims (14)
1.一种校准驾驶员辅助系统的方法,所述方法包括:
进入针对驾驶员辅助系统的校准模式;
利用针对驾驶员辅助系统的控制器来确定在第一位置处车辆的第一估计位置和朝向;
捕获来自于从车辆面向外的至少一个相机的图像并且在图像中选择至少一个特征;
使车辆移动到至少第二位置和朝向并且确定车辆的第二估计位置和朝向;
捕获来自于从车辆面向外的至少一个相机的第二图像并且在第二图像中选择至少一个特征,其中第二图像中的至少一个所选择的特征是与第一图像中的至少一个所选择的特征相同的特征;以及
利用控制器基于第一估计位置和朝向、第二估计位置和朝向、第一被记录的至少一个特征数据以及第二被记录的至少一个特征数据来计算新的车辆运动参数值。
2.根据权利要求1所述的方法,其中车辆运动参数值包括如下中的至少之一:轴距、轮距、轮胎直径、转向偏移和转向比,使车辆移动包括转向、制动和加速。
3.根据权利要求1所述的方法,其中驾驶员辅助系统是联结辅助系统,并且所述至少一个特征是拖车上的至少联结器受方。
4.根据权利要求1所述的方法,其中运动校准方法是在第一次使用驾驶员辅助系统时完成的。
5.根据权利要求4所述的方法,其中运动校准方法是以周期性的间隔更新的或者是由用户斟酌更新的。
6.根据权利要求1所述的方法,进一步包括利用输入机制选择所述至少一个特征,并且其中输入机制是如下中的至少之一:触摸屏、旋钮控制、鼠标、操纵杆、滑动条。
7.根据权利要求1所述的方法,进一步包括使用新的车辆运动参数值来执行驾驶员辅助系统的至少一个驾驶员辅助功能。
8.根据权利要求1所述的方法,其中确定在第二位置处车辆的当前估计位置和朝向进一步包括根据在车辆从第一位置移动到第二位置时由传感器系统检测的随时间经过的车轮行进传感器数据和转向角度传感器数据来计算位置和朝向。
9.一种驾驶员辅助系统,包括:
控制器,其具有用于校准针对驾驶员辅助系统的车辆运动参数值的指令,指令包括;
利用针对驾驶员辅助系统的控制器来确定在第一位置处车辆的第一估计位置和朝向;
捕获来自于从车辆面向外的至少一个相机的图像并且在图像中选择至少一个特征;
在已经使车辆移动到第二位置之后确定车辆的第二估计位置和朝向;
捕获来自于从车辆面向外的至少一个相机的第二图像并且在第二图像中选择至少一个特征,其中第二图像中的至少一个所选择的特征是与第一图像中的至少一个所选择的特征相同的特征;以及
利用控制器基于第一估计位置和朝向、第二估计位置和朝向、第一被记录的至少一个特征数据以及第二被记录的至少一个特征数据来计算新的车辆运动参数值。
10.根据权利要求9所述的系统,其中车辆运动参数值包括如下中的至少之一:轴距、轮距、轮胎直径、转向偏移和转向比,使车辆移动包括转向、制动和加速。
11.根据权利要求9所述的系统,其中驾驶员辅助系统是联结辅助系统,并且所述至少一个特征是拖车上的至少联结器受方。
12.根据权利要求9所述的系统,其中控制器对车辆运动参数值进行校准是在第一次使用驾驶员辅助系统时完成的,并且运动校准方法是以周期性的间隔更新的或者是由用户斟酌而更新的。
13.根据权利要求9所述的系统,进一步包括输入机制以选择所述至少一个特征,其中输入机制是如下中的至少之一:触摸屏、旋钮控制、鼠标、操纵杆、滑动条。
14.根据权利要求9所述的系统,其中根据在车辆从第一位置移动到第二位置时由传感器系统检测到的随时间经过的车轮行进传感器数据和转向角度传感器数据计算位置和朝向,而确定在第二位置处车辆的当前估计位置和朝向。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862696478P | 2018-07-11 | 2018-07-11 | |
US62/696478 | 2018-07-11 | ||
US16/507,749 US10829045B2 (en) | 2018-07-11 | 2019-07-10 | System and method for calibrating a motion estimation algorithm using a vehicle camera |
US16/507749 | 2019-07-10 | ||
PCT/US2019/041357 WO2020014450A1 (en) | 2018-07-11 | 2019-07-11 | System and method for calibrating a motion estimation algorithm using a vehicle camera |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112638668A true CN112638668A (zh) | 2021-04-09 |
Family
ID=69138936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980059340.2A Pending CN112638668A (zh) | 2018-07-11 | 2019-07-11 | 用于使用车辆相机校准运动估计算法的系统和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10829045B2 (zh) |
EP (1) | EP3820723A1 (zh) |
JP (1) | JP7379457B2 (zh) |
CN (1) | CN112638668A (zh) |
WO (1) | WO2020014450A1 (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11603100B2 (en) | 2018-08-03 | 2023-03-14 | Continental Autonomous Mobility US, LLC | Automated reversing by following user-selected trajectories and estimating vehicle motion |
WO2020068960A1 (en) * | 2018-09-26 | 2020-04-02 | Coherent Logix, Inc. | Any world view generation |
US11390294B2 (en) * | 2019-09-25 | 2022-07-19 | Ford Global Technologies, Llc | Differentiating between near trailer and connected trailer |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050074143A1 (en) * | 2003-10-02 | 2005-04-07 | Nissan Motor Co., Ltd. | Vehicle backing assist apparatus and vehicle backing assist method |
GB0705336D0 (en) * | 2007-03-21 | 2007-04-25 | Ford Global Tech Llc | Vehicle manoeuvring aids |
US20140267688A1 (en) * | 2011-04-19 | 2014-09-18 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
WO2016164118A2 (en) * | 2015-04-10 | 2016-10-13 | Robert Bosch Gmbh | Object position measurement with automotive camera using vehicle motion data |
EP3081405A2 (en) * | 2015-04-14 | 2016-10-19 | Continental Automotive Systems, Inc. | Automated hitch assist system |
GB201616361D0 (en) * | 2016-09-27 | 2016-11-09 | Continental Automotive Gmbh | Method and device for detecting a trailer |
US20170178328A1 (en) * | 2015-12-17 | 2017-06-22 | Ford Global Technologies, Llc | Drawbar scan solution for locating trailer hitch point |
US20180001928A1 (en) * | 2016-07-01 | 2018-01-04 | Ford Global Technologies, Llc | Enhanced yaw rate trailer angle detection initialization |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9290202B2 (en) * | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | System and method of calibrating a trailer backup assist system |
JP2017078692A (ja) * | 2015-10-22 | 2017-04-27 | アルパイン株式会社 | 運転支援情報出力装置および運転支援情報出力方法 |
US20180350108A1 (en) * | 2017-05-30 | 2018-12-06 | Denso International America, Inc. | Smart Hitch Assistant System |
-
2019
- 2019-07-10 US US16/507,749 patent/US10829045B2/en active Active
- 2019-07-11 CN CN201980059340.2A patent/CN112638668A/zh active Pending
- 2019-07-11 WO PCT/US2019/041357 patent/WO2020014450A1/en unknown
- 2019-07-11 JP JP2021500943A patent/JP7379457B2/ja active Active
- 2019-07-11 EP EP19746255.9A patent/EP3820723A1/en active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050074143A1 (en) * | 2003-10-02 | 2005-04-07 | Nissan Motor Co., Ltd. | Vehicle backing assist apparatus and vehicle backing assist method |
GB0705336D0 (en) * | 2007-03-21 | 2007-04-25 | Ford Global Tech Llc | Vehicle manoeuvring aids |
US20140267688A1 (en) * | 2011-04-19 | 2014-09-18 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
WO2016164118A2 (en) * | 2015-04-10 | 2016-10-13 | Robert Bosch Gmbh | Object position measurement with automotive camera using vehicle motion data |
EP3081405A2 (en) * | 2015-04-14 | 2016-10-19 | Continental Automotive Systems, Inc. | Automated hitch assist system |
US20170178328A1 (en) * | 2015-12-17 | 2017-06-22 | Ford Global Technologies, Llc | Drawbar scan solution for locating trailer hitch point |
US20180001928A1 (en) * | 2016-07-01 | 2018-01-04 | Ford Global Technologies, Llc | Enhanced yaw rate trailer angle detection initialization |
GB201616361D0 (en) * | 2016-09-27 | 2016-11-09 | Continental Automotive Gmbh | Method and device for detecting a trailer |
Also Published As
Publication number | Publication date |
---|---|
JP7379457B2 (ja) | 2023-11-14 |
EP3820723A1 (en) | 2021-05-19 |
US20200017025A1 (en) | 2020-01-16 |
US10829045B2 (en) | 2020-11-10 |
JP2021531198A (ja) | 2021-11-18 |
WO2020014450A1 (en) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7124117B2 (ja) | トレーラの検出および自律的なヒッチング | |
EP3790745B1 (en) | Visual object tracker | |
CN111372795B (zh) | 使用图像坐标的自动化拖车挂接 | |
EP3787909B1 (en) | Coupler and tow-bar detection for automated trailer hitching via cloud points | |
US11148667B2 (en) | Automated reversing by choice of target location | |
CN111344165B (zh) | 挂车长度检测系统 | |
CN112424001A (zh) | 车辆-拖车距离检测设备和方法 | |
JP7379457B2 (ja) | 車両カメラを使用して動作推定アルゴリズムを較正するためのシステムおよび方法 | |
US20220358677A1 (en) | Automatic trailer camera calibration | |
WO2021108802A1 (en) | 3d position estimation system for trailer coupler | |
US20230294767A1 (en) | Vehicle Trailer Angle Estimation via Projective Geometry | |
WO2019005976A1 (en) | AUTONOMOUS MOORING OF A VEHICLE TO A LOADING DOCK | |
US20230249673A1 (en) | Trailer levelling system | |
WO2023129858A1 (en) | System and method for estimating tow ball position |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |