CN112824194A - 基于相机的车辆运动状态估计的增强 - Google Patents

基于相机的车辆运动状态估计的增强 Download PDF

Info

Publication number
CN112824194A
CN112824194A CN202011318888.5A CN202011318888A CN112824194A CN 112824194 A CN112824194 A CN 112824194A CN 202011318888 A CN202011318888 A CN 202011318888A CN 112824194 A CN112824194 A CN 112824194A
Authority
CN
China
Prior art keywords
vehicle
inputs
motion
processor
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011318888.5A
Other languages
English (en)
Inventor
A.苏萨
D.鲁宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Technion
Technology R & D Fund Ltd
GM Global Technology Operations LLC
Original Assignee
Technology R & D Fund Ltd
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Technology R & D Fund Ltd, GM Global Technology Operations LLC filed Critical Technology R & D Fund Ltd
Publication of CN112824194A publication Critical patent/CN112824194A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/103—Side slip angle of vehicle body
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/11—Pitch movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/112—Roll movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/114—Yaw movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0031—Mathematical model of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/06—Direction of travel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/12—Lateral speed
    • B60W2520/125—Lateral acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/14—Yaw
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/16—Pitch
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/18—Roll
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本发明涉及基于相机的车辆运动状态估计的增强。具体地，在车辆中实施的方法和系统涉及从布置在车辆上的相机获得单个相机图像。该图像表示车辆方位x与与车辆行进的道路的道路弯曲相切的切线之间的方位角ψ0，并且还表示从车辆中心到切线的垂直距离y0。一种示例性方法包括：从两个或更多个车辆传感器获得两个或更多个输入；以及基于将卡尔曼滤波器应用于单个相机图像和两个或更多个输入以求解运动方程来估计车辆的运动状态。运动状态包括车辆的侧倾角和俯仰角。

Description

基于相机的车辆运动状态估计的增强
技术领域
本主题公开涉及基于相机的车辆运动状态估计的增强。
背景技术
基于关于环境和关于车辆的信息来控制自动和半自动车辆(例如汽车、卡车、农用设备、建筑设备、工厂设备)。诸如雷达系统、激光雷达系统和相机之类的传感器提供关于车辆周围环境的信息。例如，该信息可以包括存在其他车辆或物体。传感器还可以提供关于车辆本身行为的信息。这种行为包括车辆的运动状态(例如纵向和横向速度、侧倾、俯仰)。具有关于车辆及其环境的信息有助于自主操作或半自主操作(例如避免碰撞、自动制动、自适应巡航控制)。估计车辆运动状态的现有方法涉及惯性测量单元(IMU)和里程表。因此，期望提供基于相机的车辆运动状态估计的增强。
发明内容
在一示例性实施例中，一种在车辆中实施的方法包括从布置在车辆上的相机获得单个相机图像。该图像表示车辆方位x与与车辆行进的道路的道路弯曲相切的切线之间的方位角ψ0，并且还表示从车辆中心到所述切线的垂直距离y0。该方法还包括从两个或更多个车辆传感器获得两个或更多个输入；以及基于将卡尔曼滤波器应用于所述单个相机图像和两个或更多个输入以求解运动方程来估计车辆的运动状态。所述运动状态包括车辆的侧倾角和俯仰角。
除了本文所述的一个或多个特征之外，获得所述两个或更多个输入包括从惯性测量单元(IMU)获得车辆的加速度分量ax、ay。
除了本文所述的一个或多个特征之外，获得所述两个或更多个输入还包括从IMU获得侧倾率ωx、俯仰率ωy和横摆率ωz。
除了本文所述的一个或多个特征之外，估计所述运动状态包括基于横摆率ωz估计车辆的速度分量vy。
除了本文所述的一个或多个特征之外，获得所述两个或更多个输入包括从里程表获得车辆的速度分量vx。
除了本文所述的一个或多个特征之外，获得所述两个或更多个输入包括从全球导航卫星系统(GNSS)获得车辆在全局参考系上的位置X、Y。
除了本文所述的一个或多个特征之外，估计所述运动状态包括基于车辆的位置X、Y估计全局方位
Figure BDA0002792172890000021
除了本文所述的一个或多个特征之外，该方法还包括使用通过使用所述单个相机图像和所述两个或更多个输入以及车辆的转向角估计的运动状态来实施动态模型。
除了本文所述的一个或多个特征之外，该方法还包括从该动态模型获得轮胎力并执行力计算来确定车辆上的外部干扰，其中该外部干扰包括侧风。
除了本文所述的一个或多个特征之外，该方法还包括补偿所述外部干扰。
在另一示例性实施例中，一种在车辆中的系统包括相机，其布置在车辆上以获得单个相机图像。该图像表示车辆方位x与与车辆行进的道路的道路弯曲相切的切线之间的方位角ψ0，并且还表示从车辆中心到所述切线的垂直距离y0。该系统还包括处理器，以获得所述单个相机图像，从两个或更多个车辆传感器获得两个或更多个输入，以及基于将卡尔曼滤波器应用于所述单个相机图像和两个或更多个输入以求解运动方程来估计车辆的运动状态。所述运动状态包括车辆的侧倾角和俯仰角。
除了本文所述的一个或多个特征之外，处理器从惯性测量单元(IMU)获得车辆的加速度分量ax、ay作为所述两个或更多个输入。
除了本文所述的一个或多个特征之外，处理器从IMU获得侧倾率ωx、俯仰率ωy和横摆率ωz作为所述两个或更多个输入中的附加输入。
除了本文所述的一个或多个特征之外，处理器通过基于横摆率ωz估计车辆的速度分量vy来估计所述运动状态。
除了本文所述的一个或多个特征之外，处理器从里程表获得车辆的速度分量vx作为所述两个或更多个输入之一。
除了本文所述的一个或多个特征之外，处理器从全球导航卫星系统(GNSS)获得车辆在全局参考系上的位置X、Y作为所述两个或多个输入。
除了本文所述的一个或多个特征之外，处理器通过基于车辆的位置X、Y估计全局方位
Figure BDA0002792172890000022
来估计所述运动状态。
除了本文所述的一个或多个特征之外，处理器使用通过使用所述单个相机图像和所述两个或更多个输入以及车辆的转向角估计的运动状态来实施动态模型。
除了本文所述的一个或多个特征之外，处理器从该动态模型获得轮胎力并执行力计算来确定车辆上的外部干扰。该外部干扰包括侧风。
除了本文所述的一个或多个特征之外，处理器补偿所述外部干扰。
当结合附图考虑时，根据以下详细描述，本公开的以上特征和优点以及其他特征和优点将显而易见。
附图说明
其他特征、优点和细节仅通过示例的方式在下面的详细描述中出现，该详细描述参考附图，其中：
图1是示出根据一个或多个实施例的基于相机的车辆运动状态估计的增强的各方面的框图；
图2示出了根据一个或多个实施例的导致使用基于相机的车辆运动状态估计的增强确定的侧倾角的示例性场景；
图3示出了根据一个或更多个实施例的导致使用基于相机的车辆运动状态估计的增强确定的俯仰角的示例性场景；
图4是根据一个或多个实施例的表示在基于相机的车辆运动状态估计的增强中涉及的输入和输出的框图；以及
图5是根据一个或多个实施例的应用基于相机的车辆运动状态估计的增强以控制车辆的示例性方法的处理流程。
具体实施方式
以下描述本质上仅是示例性的，并且无意于限制本公开、其应用或用途。应当理解，在所有附图中，相应的附图标记表示相同或相应的部件和特征。
如前所述，关于车辆行为和车辆环境的信息用于确定对车辆操作的自主或半自主控制。车辆运动状态提供关于车辆行为的信息。运动状态是指例如车辆的纵向和横向速度以及侧倾角和俯仰角。估计运动状态的现有方法包括使用IMU和里程表。根据这种方法获得的信息可能无法正确传达车辆相对于道路的行为。也就是说，估计的侧倾角和俯仰角可能根本无法获得，或者可能不准确，这与路堤或道路倾斜或者与车辆相对于单独道路的侧倾角或俯仰角相对应，而不是与道路相关和车辆相关因素的总和。另一种方法基于获得连续图像使用光流。本文详述的系统和方法的实施例涉及基于相机的车辆运动状态估计的增强。相对于参考路径的运动是通过单个图像而不是两个或更多个顺序图像获得的。
根据示例性实施例，图1是示出基于相机的车辆运动状态估计的增强的各方面的框图。图1中所示的示例性车辆100是汽车101。车辆100可以包括一个或多个相机110和其他传感器130(例如雷达系统、激光雷达系统)。除了出于说明目的而示出的示例性布置之外，相机110和其他传感器130可以位于车辆100内或上的任何位置。除了提供来自车辆100外部的信息的相机110和传感器130之外，已知的车辆传感器140可以提供关于车辆100的信息。例如，里程表125确定车辆100沿着行进方向的速度分量vx。IMU105跟踪车辆100的加速度分量ax、ay，并且还可以提供侧倾率ωx、俯仰率ωy和横摆率ωz。如果全球导航卫星系统(GNSS)115(例如全球定位系统(GPS))也可用作车辆传感器140之一，则它将在全局X和Y网格上提供车辆100的位置。
参考路径R表示车辆100应遵循的道路弯曲。例如，参考路径R可以是道路中心线(即车道标记)或道路的边缘。与参考路径R的切线T还相对于车辆表示和示出为T'。图1所示的x轴和y轴表示车辆参考系。如果GNSS115可用，则车辆100相对于全局参考系的全局位置X、Y是已知的。相对于参考路径R的车辆位置是基于相机110(例如车辆100的前方中央的相机110)获得的。具体地，角度ψ0在车辆方位x与切线T'之间，并且距离y0是从车辆100的中心到切线T的垂直距离。表示了车辆100的速度v。如前所述，由里程表125确定沿行进方向(即沿x轴，如图1所示)的速度分量vx。角度β是侧滑角。也就是说，角度β表示x轴与速度矢量v之间的角度。换句话说，角度β的正切为vy/vx，其中速度分量vy沿y轴。方位角ψ是X轴即全局参考线和作为车辆100参考线的x轴之间的角度。
车辆100还包括控制器120。控制器120可以从相机110、传感器130和车辆传感器140获得并处理数据，以获得关于车辆100及其环境的信息。该信息包括侧倾角估计
Figure BDA0002792172890000041
侧倾在图2中示出。该信息还包括俯仰角估计
Figure BDA0002792172890000042
俯仰在图3中示出。控制器120可以基于该信息来控制车辆100的操作的一个或多个方面。根据一个或多个实施例，控制器120基于相机110执行增强的车辆运动状态估计。控制器包括处理电路，其可以包括专用集成电路(ASIC)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或组)和存储器、组合逻辑电路和/或提供所描述功能的其他合适部件。
图2示出了导致侧倾角
Figure BDA0002792172890000051
的示例性场景。如图2所示，道路210是倾斜的(即在一条边缘上向上弯曲)。另外，车辆100相对于道路210在一侧上倾斜。侧倾角
Figure BDA0002792172890000052
是道路210的倾斜和车辆100相对于道路210的倾斜的总和。图3示出了导致俯仰角θ的示例性场景。如图3所示，道路310是倾斜的(即向上倾斜)。另外，车辆100相对于前方的道路310倾斜。俯仰角θ是道路310的倾斜和车辆100相对于道路310的倾斜的总和。控制器120获得侧倾角估计
Figure BDA0002792172890000053
俯仰角估计
Figure BDA0002792172890000054
和分别沿x轴和y轴的速度分量估计
Figure BDA0002792172890000055
和
Figure BDA0002792172890000056
如果通过GNSS115可获得全局X、Y参考，则控制器120还获得全局位置估计
Figure BDA0002792172890000057
和
Figure BDA0002792172890000058
以及方位角估计
Figure BDA0002792172890000059
控制器120实现卡尔曼滤波器以求解运动方程，如参考图4详细描述。
图4是根据一个或多个实施例的表示在基于相机的车辆运动状态估计的增强中涉及的输入和输出的框图。括号中示出的输入和输出是可选的并且可能是不可用的，如进一步讨论。运动方程表示为由控制器120求解。卡尔曼滤波器使用可观察状态(即到控制器120的输入)以获得运动方程中的不可观察状态。卡尔曼滤波器是多速率卡尔曼滤波器，其考虑到不同车辆传感器140向控制器120提供数据(即可观察状态)的不同速率。控制器从相机110获得角度ψ0和距离y0。如前所述，一张图像就足够了。例如，即使相机110可以位于车辆100前面以面向前方，也可以将信息变换到车辆100的中心，例如以获得从车辆100的中心到切线T的距离y0。控制器120从IMU105获得车辆100的加速度分量ax、ay，并且还可以获得侧倾率ωx、俯仰率ωy和横摆率ωz。如果车辆传感器140包括GNSS115，则控制器120获得车辆100的全局位置X、Y和全局参考系。控制器从里程表125获得沿行进方向的速度分量vx。
讨论每个运动方程。通常，参数上方的“·”表示比率(例如表示
Figure BDA00027921728900000510
俯仰率)，而如前所示，参数上方的“^”表示估计(例如
Figure BDA00027921728900000511
表示俯仰估计)。例如，
Figure BDA00027921728900000512
表示俯仰率，
Figure BDA00027921728900000513
表示使用卡尔曼滤波器和包括在图4中的
Figure BDA00027921728900000514
方程中的可观察状态确定的俯仰估计。第一运动方程与位移速率有关并且为：
Figure BDA0002792172890000061
如前所述，沿行进方向的速度分量vx是由里程表125提供的可观察状态，并且角度ψ0和距离y0由相机110提供。因此，使用方程1确定侧滑角β。如图1所示，角度β是(车辆100参考系的)x轴与速度矢量v之间的角度。虽然速度分量vx是输入，但如前所述，角度β可用于确定沿车辆100参考系的y轴的速度分量vy。
图4所示的第二方程为：
Figure BDA0002792172890000062
在方程2中，g是重力引起的加速度。如前所述，速度分量vx是从里程表125获得的输入(即可观察到的)，而加速度分量ax是从IMU105获得的。如果IMU105还提供俯仰率
Figure BDA0002792172890000063
和横摆率ωz，则俯仰角θ(俯仰率
Figure BDA0002792172890000064
的时间导数)和方位率
Figure BDA0002792172890000065
(与横摆率ωz相同)也可用作可观察值。速度分量vy可以通过卡尔曼滤波器求解。
图4中的第三方程为：
Figure BDA0002792172890000066
如前所述，加速度分量ay是从IMU105获得的，速度分量vx是从里程表125获得的。如果IMU105还提供侧倾率
Figure BDA0002792172890000067
和横摆率ωz，则侧倾
Figure BDA0002792172890000068
(侧倾率
Figure BDA0002792172890000069
的时间导数)和方位率
Figure BDA00027921728900000610
(与横摆率ωz相同)也可以观察得到。如参考方程2所述，速度分量vy可以通过卡尔曼滤波器求解。如果IMU105提供侧倾率
Figure BDA00027921728900000611
和俯仰率
Figure BDA00027921728900000612
则卡尔曼滤波器将在方程2和3中更快地收敛。横摆率ωz通常是可用的。然而，即使IMU105不提供侧倾率ωx、俯仰率ωy，则可以零用作侧倾率
Figure BDA00027921728900000613
和俯仰率
Figure BDA00027921728900000614
的初始值来使用方程2和3。
如果全局参考系中的GNSS115信息可用并且IMU105除加速度分量ax、ay之外还提供侧倾率ωx、俯仰率ωy和横摆率ωz，则可以求解以下附加方程：
Figure BDA00027921728900000615
Figure BDA00027921728900000616
Figure BDA00027921728900000617
如前所述，如方程4中一样，控制器120从IMU105获得附加信息有助于直接从横摆率ωz估计方位角ψ。另外，根据方位角ψ和速度分量vx、vx，可以根据方程4和5确定基于全局位置
Figure BDA0002792172890000071
和
Figure BDA0002792172890000072
的车辆100的位移。
图5是根据一个或多个实施例的应用基于相机的车辆运动状态估计的增强以控制车辆100的示例性方法500的处理流程。可以通过控制器120或通过控制器120和车辆100的其他处理器的组合来实现图5中的过程。在框510，获得输入并确定运动状态包括参考图4讨论的输入和运动方程。提供运动状态(例如俯仰θ、侧倾
Figure BDA0002792172890000073
)以及转向角δ并且可选地摩擦估计
Figure BDA0002792172890000074
至在框520的过程。在框520，实施动态模型导致输出在车辆530的轮胎上的轮胎力。在框530，执行力计算导致确定外部干扰。在框540，使用在框530确定的外部干扰来补偿车辆100受到的外部干扰(例如侧风)。
尽管已经参照示例性实施例描述了以上公开，但本领域技术人员将理解，在不脱离其范围的情况下，可以进行各种改变并且可以用等同物代替其元件。另外，在不脱离本公开的实质范围的情况下，可以做出许多修改以使特定情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。

Claims (10)

1.一种在车辆中实施的方法，包括：
使用处理器，从布置在车辆上的相机获得单个相机图像，该图像表示车辆方位x与与车辆行进的道路的道路弯曲相切的切线之间的方位角ψ0，并且还表示从车辆中心到所述切线的垂直距离y0；
使用处理器，从两个或更多个车辆传感器获得两个或更多个输入；以及
使用处理器，基于将卡尔曼滤波器应用于所述单个相机图像和两个或更多个输入以求解运动方程来估计车辆的运动状态，其中，所述运动状态包括车辆的侧倾角和俯仰角。
2.根据权利要求1所述的方法，其中，获得所述两个或更多个输入包括从惯性测量单元(IMU)获得车辆的加速度分量ax、ay；获得所述两个或更多个输入还包括从IMU获得侧倾率ωx、俯仰率ωy和横摆率ωz，并且估计所述运动状态包括基于横摆率ωz估计车辆的速度分量vy。
3.根据权利要求1所述的方法，其中，获得所述两个或更多个输入包括从里程表获得车辆的速度分量vx。
4.根据权利要求1所述的方法，其中，获得所述两个或更多个输入包括从全球导航卫星系统(GNSS)获得车辆在全局参考系上的位置X、Y，并且估计所述运动状态包括基于车辆的位置X、Y估计全局方位
Figure FDA0002792172880000011
5.根据权利要求1所述的方法，还包括：使用通过使用所述单个相机图像和所述两个或更多个输入以及车辆的转向角估计的运动状态来实施动态模型；从该动态模型获得轮胎力并执行力计算来确定车辆上的外部干扰，其中该外部干扰包括侧风，以及补偿所述外部干扰。
6.一种在车辆中的系统，该系统包括：
相机，其布置在车辆上并配置为获得单个相机图像，该图像表示车辆方位x与与车辆行进的道路的道路弯曲相切的切线之间的方位角ψ0，并且还表示从车辆中心到所述切线的垂直距离y0；以及
处理器，其配置为获得所述单个相机图像，从两个或更多个车辆传感器获得两个或更多个输入，以及基于将卡尔曼滤波器应用于所述单个相机图像和两个或更多个输入以求解运动方程来估计车辆的运动状态，其中，所述运动状态包括车辆的侧倾角和俯仰角。
7.根据权利要求6所述的系统，其中，所述处理器配置为从惯性测量单元(IMU)获得车辆的加速度分量ax、ay作为所述两个或更多个输入；所述处理器还配置为从IMU获得侧倾率ωx、俯仰率ωy和横摆率ωz作为所述两个或更多个输入中的附加输入；并且所述处理器配置为通过基于横摆率ωz估计车辆的速度分量vy来估计所述运动状态。
8.根据权利要求6所述的系统，其中，所述处理器配置为从里程表获得车辆的速度分量vx作为所述两个或更多个输入之一。
9.根据权利要求6所述的系统，其中，所述处理器配置为从全球导航卫星系统(GNSS)获得车辆在全局参考系上的位置X、Y作为所述两个或多个输入，并且所述处理器配置为通过基于车辆的位置X、Y估计全局方位
Figure FDA0002792172880000021
来估计所述运动状态。
10.根据权利要求6所述的系统，其中，所述处理器还配置为使用通过使用所述单个相机图像和所述两个或更多个输入以及车辆的转向角估计的运动状态来实施动态模型；所述处理器还配置为从该动态模型获得轮胎力并执行力计算来确定车辆上的外部干扰，其中该外部干扰包括侧风；并且所述处理器还配置为补偿所述外部干扰。
CN202011318888.5A 2019-11-21 2020-11-23 基于相机的车辆运动状态估计的增强 Pending CN112824194A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/690,827 2019-11-21
US16/690,827 US11544858B2 (en) 2019-11-21 2019-11-21 Camera-based enhancement of vehicle kinematic state estimation

Publications (1)

Publication Number Publication Date
CN112824194A true CN112824194A (zh) 2021-05-21

Family

ID=75784400

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011318888.5A Pending CN112824194A (zh) 2019-11-21 2020-11-23 基于相机的车辆运动状态估计的增强

Country Status (3)

Country Link
US (1) US11544858B2 (zh)
CN (1) CN112824194A (zh)
DE (1) DE102020126999A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4124654A1 (de) * 1991-07-25 1993-01-28 Bundesrep Deutschland Verfahren zur kontinuierlichen und automatischen fahrzeugorientierung auf einer fahrbahn
JPH0727541A (ja) * 1993-07-14 1995-01-27 Nissan Motor Co Ltd 道路形状及び自車両位置の計測装置
CN104061899A (zh) * 2014-06-20 2014-09-24 东南大学 一种基于卡尔曼滤波的车辆侧倾角与俯仰角估计方法
CN108062774A (zh) * 2017-10-24 2018-05-22 智车优行科技（北京）有限公司 车辆俯仰角确定方法、装置及其汽车
CN109033017A (zh) * 2018-05-25 2018-12-18 浙江工业大学 一种丢包环境下的车辆侧倾角与俯仰角估计方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676307B2 (en) * 2001-11-05 2010-03-09 Ford Global Technologies System and method for controlling a safety system of a vehicle in response to conditions sensed by tire sensors related applications
US9873425B2 (en) * 2016-04-13 2018-01-23 GM Global Technology Operations LLC Detection and reconstruction of roll rate sensor fault
WO2018094212A2 (en) * 2016-11-18 2018-05-24 Polaris Industries Inc. Vehicle having adjustable suspension
US10634777B2 (en) * 2018-05-30 2020-04-28 Ford Global Technologies, Llc Radar odometry for vehicle
US20210331663A1 (en) * 2020-04-26 2021-10-28 Potential Motors Inc. Electric vehicle control system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4124654A1 (de) * 1991-07-25 1993-01-28 Bundesrep Deutschland Verfahren zur kontinuierlichen und automatischen fahrzeugorientierung auf einer fahrbahn
JPH0727541A (ja) * 1993-07-14 1995-01-27 Nissan Motor Co Ltd 道路形状及び自車両位置の計測装置
CN104061899A (zh) * 2014-06-20 2014-09-24 东南大学 一种基于卡尔曼滤波的车辆侧倾角与俯仰角估计方法
CN108062774A (zh) * 2017-10-24 2018-05-22 智车优行科技（北京）有限公司 车辆俯仰角确定方法、装置及其汽车
CN109033017A (zh) * 2018-05-25 2018-12-18 浙江工业大学 一种丢包环境下的车辆侧倾角与俯仰角估计方法

Also Published As

Publication number Publication date
US20210158545A1 (en) 2021-05-27
US11544858B2 (en) 2023-01-03
DE102020126999A1 (de) 2021-05-27

Similar Documents

Publication Publication Date Title
US9753144B1 (en) Bias and misalignment compensation for 6-DOF IMU using GNSS/INS data
US9645250B2 (en) Fail operational vehicle speed estimation through data fusion of 6-DOF IMU, GPS, and radar
CN109421709B (zh) 车辆的驾驶辅助装置
US8855848B2 (en) Radar, lidar and camera enhanced methods for vehicle dynamics estimation
CN107128366B (zh) 用于对拖曳车辆通过弯道提供校正的车道跟随路径的系统和方法
US10988139B2 (en) Vehicle position control method and device vehicle position control device for correcting position in drive-assisted vehicle
US10077072B2 (en) Vehicle steering device and vehicle steering control method with reduced lateral speed
US20100131142A1 (en) Vehicle dynamics prediction with lane/path information using a preview-correction-prediction approach
US11332152B2 (en) Method and apparatus for determining a velocity of a vehicle
EP3537173B1 (en) Method and system for determining the pointing angle of a moving object
JP4348662B2 (ja) 車両の操舵装置
US10723360B2 (en) Apparatus and method for estimating radius of curvature of vehicle
JP4899626B2 (ja) 走行制御装置
US11451457B2 (en) Sensor delay time estimation device, sensor delay time estimation method and recording medium
CN112703539A (zh) 行驶路径生成装置及车辆控制装置
JP2016206976A (ja) 車両の運転支援制御のための先行車軌跡算出装置
JP7206883B2 (ja) ヨーレート補正装置
US11544858B2 (en) Camera-based enhancement of vehicle kinematic state estimation
CN115675481A (zh) Gps增强摩擦估计
CN113048987A (zh) 一种车载导航系统定位方法
CN113870316B (zh) 一种无gps跟车场景下前车路径重建方法
CN112810611B (zh) 用于车道变换控制的侧向轨迹追踪方法及系统
US20220276054A1 (en) Estimation device, estimation method, program product for estimation
JP7136050B2 (ja) 自車位置推定装置
Kang et al. Estimation of Vehicle Position and Velocity in Lane Coordinate using IMU-Camera Sensor Fusion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination