CN116442707B - 基于双目视觉的车身垂向及俯仰运动信息估算系统及方法 - Google Patents

基于双目视觉的车身垂向及俯仰运动信息估算系统及方法 Download PDF

Info

Publication number
CN116442707B
CN116442707B CN202310249348.3A CN202310249348A CN116442707B CN 116442707 B CN116442707 B CN 116442707B CN 202310249348 A CN202310249348 A CN 202310249348A CN 116442707 B CN116442707 B CN 116442707B
Authority
CN
China
Prior art keywords
camera
vehicle
module
vertical
binocular
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310249348.3A
Other languages
English (en)
Other versions
CN116442707A (zh
Inventor
史文库
吴骁
陈志勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jilin University
Original Assignee
Jilin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jilin University filed Critical Jilin University
Priority to CN202310249348.3A priority Critical patent/CN116442707B/zh
Publication of CN116442707A publication Critical patent/CN116442707A/zh
Application granted granted Critical
Publication of CN116442707B publication Critical patent/CN116442707B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/018—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method
    • B60G17/0182—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by the use of a specific signal treatment or control method involving parameter estimation, e.g. observer, Kalman filter
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G17/00—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load
    • B60G17/015—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements
    • B60G17/016—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input
    • B60G17/0165—Resilient suspensions having means for adjusting the spring or vibration-damper characteristics, for regulating the distance between a supporting surface and a sprung part of vehicle or for locking suspension during use to meet varying vehicular or surface conditions, e.g. due to speed or load the regulating means comprising electric or electronic elements characterised by their responsiveness, when the vehicle is travelling, to specific motion, a specific condition, or driver input to an external condition, e.g. rough road surface, side wind
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/207—Analysis of motion for motion estimation over a hierarchy of resolutions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/05—Attitude
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60G—VEHICLE SUSPENSION ARRANGEMENTS
    • B60G2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
    • B60G2400/80—Exterior conditions
    • B60G2400/82—Ground surface
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于双目视觉的车身垂向及俯仰运动信息估算系统，系统包括用于捕捉行车前方道路信息的图像信息捕捉模块、用于计算特征点相对于双目相机的位置并记录特征点的像素坐标的双目信息处理模块、用于记录获取的特征点在左摄像机像素坐标的单目信息处理模块、用于计算车身的垂向运动与俯仰运动信息的信息估算模块和用于将计算得到的垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度值显示在中控显示器上的信息显示模块；本发明利用双目视觉传感器来获取车辆的姿态即可实时准确地测算车身垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度，为汽车主动悬架、半主动悬架控制提供信息参考。

Description

基于双目视觉的车身垂向及俯仰运动信息估算系统及方法
技术领域
本发明属于汽车智能感知与控制技术领域，具体涉及一种基于双目视觉的车身垂向及俯仰运动信息估算系统及估算方法。
背景技术
预瞄悬架是将计算机视觉与悬架控制技术相结合的新型智能车辆控制技术，该技术的策略是利用车载视觉传感器检测车辆前方路面的高程值，再将路面高程值作为输入变量控制汽车悬架的相关参数，以提升汽车行驶时的舒适性与操纵特性。然而，汽车运行时自身的垂向振动以及俯仰运动会对路面高程值的识别精度产生较大影响。
现有解决方案多通过增加车身状态传感器来抵消车身自身的运动，这样一方面会提高汽车的制造成本，另一方面由于外加传感器自身的噪声与信息融合时的时延会使控制效果大打折扣。另外，在预瞄悬架控制时，还需要参考车身的垂向速度、加速度信息以及俯仰角速度、角加速度信息，此时还需额外增加其他传感器，增加造车成本。基于上述问题，如何在不额外增加传感器情况下，仅利用现有的视觉传感器测量车辆的垂向及俯仰运动信息成为当前汽车视觉及预瞄悬架控制研究的重点之一。
双目摄像机采样精度较高、成本低廉，是当前智能汽车经常采用的传感器元件，因此，如能考虑建立一个通过车载双目摄像机估算的车辆垂向高度信息与俯仰角度信息的估算系统及估算方法，对汽车主动悬架的控制以及汽车的平顺性、操纵性、舒适性和安全性至关重要。
发明内容
本发明的目的就在于提供一种基于双目视觉的车身垂向及俯仰运动信息估算系统，还提供一种基于双目视觉的车身垂向及俯仰运动信息估算方法，以解决现有技术中无法通过车载视觉系统计算车身垂向、俯仰运动姿态，导致预瞄悬架控制需要增加其他传感器进而提高成本的问题。
本发明的目的是通过以下技术方案实现的：
一种基于双目视觉的车身垂向及俯仰运动信息估算系统，包括图像信息捕捉模块1、双目信息处理模块2、单目信息处理模块3、车身垂向及俯仰运动信息估算模块4和信息显示模块5；
所述图像信息捕捉模块1，用于捕捉行车前方道路信息，包括双目摄像机11、图像采集模块12和畸变矫正模块13；所述双目摄像机11将原始图像信息发送至图像采集模块12进行记录后再发送至畸变矫正模块13；
所述双目信息处理模块2，用于处理左、右摄像头的原始图像信息，提取特征点，完成特征点的匹配，计算特征点相对于双目相机的位置并记录特征点的像素坐标；所述双目信息处理模块2，包括特征点提取模块21、特征点匹配模块22和特征点位置计算模块23；
所述畸变矫正模块13将畸变矫正后的图像发送至特征点提取模块21提取特征点，经特征点匹配模块22获取图像中一致的特征点后分别经特征点位置计算模块23和单目信息处理模块3处理后再发送至车身垂向及俯仰运动信息估算模块4；
所述单目信息处理模块3，用于记录获取的特征点在左摄像机的像素坐标；
所述车身垂向及俯仰运动信息估算模块4，用于计算车身的垂向运动信息与俯仰运动信息，包括车身垂向位置及俯仰角度估算模块41、车身垂向速度及俯仰角速度估算模块42以及车身垂向加速度及俯仰角加速度估算模块43；
所述车身垂向及俯仰运动信息估算模块4将计算的车辆当前行驶时的垂向位置及俯仰角度、车辆当前行驶时的垂向速度及俯仰角速度以及车辆当前行驶时的垂向加速度及俯仰角加速度信息发送至信息显示模块5；
所述信息显示模块5，用于将计算得到的垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度值显示在中控显示器51上。
进一步地，所述双目摄像机11，用于通过摄像机的左、右摄像头获取车辆前方原始图像信息；所述图像采集模块12，用于采集、记录左、右摄像头的原始图像信息；所述畸变矫正模块13，用于将获取的图像进行畸变矫正。
进一步地，所述特征点提取模块21，用于在原始图像信息中提取特征点；所述特征点匹配模块22，用于匹配左右图像的特征点，得到图像中一致的特征点；所述特征点位置计算模块23，用于计算获取的特征点相对于双目相机的坐标。
进一步地，所述车身垂向位置及俯仰角度估算模块41，通过结合双目信息处理模块和单目信息处理模块的数据，来计算车辆当前行驶时的垂向位置及俯仰角度。
进一步地，所述车身垂向速度及俯仰角速度估算模块42，通过结合车身的垂向位置、俯仰角度，计算车辆当前行驶时的垂向速度及俯仰角速度；
进一步地，所述车身垂向加速度及俯仰角加速度估算模块43，通过结合车身的垂向速度、俯仰角速度，计算车辆当前行驶时的垂向加速度及俯仰角加速度。
一种基于双目视觉的车身垂向及俯仰运动信息估算方法，包括以下步骤：
步骤S1、利用双目摄相机11的左、右摄像机获取车辆前方的原始图像，通过图像采集模块12采集、记录原始图像信息，并通过畸变矫正模块13对获取的图像进行畸变矫正；
步骤S2、利用双目信息处理模块2，用于处理左、右摄像头的原始图像信息，提取特征点，完成特征点的匹配，计算特征点相对于双目摄像机11的位置坐标，得到双目相机车辆姿态方程组；
步骤S3、利用单目信息处理模块3，记录特征点在左摄像头像素坐标系内的坐标，得到单目相机车辆姿态方程组；
步骤S4、利用车身垂向及俯仰运动信息估算模块4，通过解算车辆姿态方程组计算车身的垂向运动信息与俯仰运动信息；
步骤S5、利用信息显示模块5将计算得到的垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度值显示在中控显示器51上。
与现有技术相比，本发明的有益效果是：
本发明利用双目视觉传感器来获取车辆的姿态，无需额外增加汽车垂向加速度传感器与转角传感器即可实时准确地测算车身垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度，为汽车主动悬架、半主动悬架控制提供信息参考。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1是本发明车身垂向高度、俯仰角度估算系统的结构框图；
图2是本发明车身垂向高度、俯仰角度估算方法的流程图；
图3是本发明的行车示意图；
图4是双目相机XOZ平面成像示意图；
图5是双目相机Y轴投影比例示意图。
图中，1.图像信息捕捉模块2.双目信息处理模块3.单目信息处理模块4.车身垂向及俯仰运动信息估算模块5.信息显示模块11.双目摄像机12.图像采集模块13.畸变矫正模块21.特征点提取模块22.特征点匹配模块23.特征点位置计算模块41.车身垂向位置及俯仰角度估算模块42.车身垂向速度及俯仰角速度估算模块43.车身垂向加速度及俯仰角加速度估算模块51.中控显示器。
具体实施方式
下面结合实施例对本发明作进一步说明：
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
本发明运用双目摄像机来获取车辆前方图像信息，通过提取、匹配左右摄像头采集的图像的特征点，进而计算获取的特征点相对于双目相机的位置。通过记录特征点在左摄像机的像素坐标，结合单目相机像素坐标转换世界坐标，计算出当前车辆的垂向及俯仰运动信息。
实施例1
具体地，如图1所示，本发明基于双目视觉的车身垂向及俯仰运动信息估算系统，包括图像信息捕捉模块1、双目信息处理模块2、单目信息处理模块3、车身垂向及俯仰运动信息估算模块4以及信息显示模块5。所述图像信息捕捉模块1，用于捕捉行车前方道路信息，包括双目摄像机11、图像采集模块12和畸变矫正模块13。
其中，所述双目摄像机11，用于通过摄像机的左、右摄像头获取车辆前方原始图像信息；所述图像采集模块12，用于采集、记录左、右摄像头的原始图像信息；所述畸变矫正模块13，用于将获取的图像进行畸变矫正。
所述双目摄像机11将原始图像信息发送至图像采集模块12进行记录后再发送至畸变矫正模块13。
所述双目信息处理模块2，用于处理左、右摄像头的原始图像信息，提取特征点，完成特征点的匹配，计算特征点相对于双目相机的位置并记录特征点的像素坐标，具体包括特征点提取模块21、特征点匹配模块22和特征点位置计算模块23。
其中，所述特征点提取模块21，用于在原始图像信息中提取特征点；所述特征点匹配模块22，用于匹配左右图像的特征点，得到图像中一致的特征点；所述特征点位置计算模块23，用于计算获取的特征点相对于双目相机的坐标。
所述畸变矫正模块13将畸变矫正后的图像发送至特征点提取模块21提取特征点，经特征点匹配模块22获取图像中一致的特征点后分别经特征点位置计算模块23和单目信息处理模块3处理后再发送至车身垂向及俯仰运动信息估算模块4。
所述单目信息处理模块3，用于记录获取的特征点在左摄像机的像素坐标。
所述车身垂向及俯仰运动信息估算模块4，用于计算车身的垂向运动信息与俯仰运动信息，具体包括：车身垂向位置及俯仰角度估算模块41、车身垂向速度及俯仰角速度估算模块42以及车身垂向加速度及俯仰角加速度估算模块43。
其中，所述车身垂向位置及俯仰角度估算模块41，通过结合双目信息处理模块和单目信息处理模块的数据，来计算车辆当前行驶时的垂向位置及俯仰角度；
所述车身垂向速度及俯仰角速度估算模块42，通过结合车身的垂向位置、俯仰角度，计算车辆当前行驶时的垂向速度及俯仰角速度；
所述车身垂向加速度及俯仰角加速度估算模块43，通过结合车身的垂向速度、俯仰角速度，计算车辆当前行驶时的垂向加速度及俯仰角加速度。
下面结合附图与公式对上述方法进行进一步说明：
双目相机部分：
如图4、图5所示，双目相机测距时满足如下公式：
其中，x、y、z是特征点的相机坐标，f是相机焦距，xl与xr分别是特征点在左、右图像坐标系上的像点与光轴的距离的x轴的投影(单位mm)，yl与yr分别是特征点在左、右图像坐标系上的像点与光轴的距离的y轴的投影(单位mm)，xl、xr、yl、yr可通过像素坐标与图像坐标转化得到，b是双目相机基线距离，
设则由双目测距原理可得：
由坐标转换原理可知，世界坐标系转换至相机坐标系满足以下关系：
其中，(Xcl,Ycl,Zcl)是特征点在双目相机左摄像机的相机坐标系的坐标，可由双目测距原理计算得到；(Xw,Yw,Zw)是特征点在世界坐标系的坐标；(Tcx,Tcy,Tcz)是相机位移向量；R为旋转重合矩阵，是不考虑相机绕自身轴线旋转的情况下，由世界坐标系转换到相机坐标系的转换矩阵；Rc是存在相机坐标系绕自身轴线旋转情况下的转换矩阵。
特别地，左相机坐标系位于车辆前方，世界坐标系的原点位于车辆前方路面，且左相机坐标系的原点位于世界坐标系Zw轴上，相机高度为h，相机仅绕自身Xc轴旋转，旋转角度为θ。由理论力学知识可知，当相机固定在车辆上时，相机的旋转角度θ即为车身俯仰角度，相机高度h反映了车辆的垂向位置，则
Tcx＝Tcz＝0
Tcy＝h
由矩阵变换可得：
进而得到双目相机车辆姿态方程组：
单目相机部分：
单目相机(双目相机的左摄像机)需要进行标定，确定其初始高度h0与绕自身x轴的初始角度θ0。
由单目信息处理模块3记录获取的特征点在左摄像机的像素坐标反推特征点在世界坐标系位置。
如图3所示，Xw、Yw、Zw是世界坐标系的坐标轴，Xc、Yc、Zc是相机坐标系的坐标轴(像素坐标为二维平面，认为畸变矫正后的像素坐标与相机坐标平行，用μ与ν表示)。
物体的世界坐标转换至像素坐标的过程满足如下关系式：
其中，s为比例系数，K为相机的内参矩阵，由相机特性决定，不随相机的位置改变，可由标定测出。R为相机坐标系的旋转矩阵，T为相机坐标系的平移矩阵。
其中，f为相机焦距，(μ0,ν0)是图像坐标系中心点到像素坐标系中心点的偏移量，dx是x向一个像素的长度，dy是y向一个像素的长度。
物体的世界坐标转换至像素坐标的过程还可由下式表示：
其中，R为旋转重合矩阵，是不考虑相机绕自身轴线旋转的情况下，由世界坐标系转换到相机坐标系的转换矩阵，Tc是世界坐标系原点在相机坐标系下的位置，Rc是存在相机坐标系绕自身轴线旋转情况下的转换矩阵。K是相机内参矩阵。
由上述可得：
因此，物体的世界坐标与物体成像对应的像素坐标之间的函数关系包含了h与θ两个变量。
由像素坐标系反推世界坐标，可得：
其中K、R均为已知矩阵。
设
为抵消比例系数s的影响，设
则有
设
对于确定参数的单目相机而言，确定特征点即可确定其像素坐标(μ,ν)，则G、R、g均为确定的值。
因此，得到单目相机车辆姿态方程组：
在车身垂向及俯仰运动信息估算模块4中联立双目、单目车辆姿态方程组，有：
通过该方程组解出θ、h、Zw即可得到当前帧的相机姿态θ与h。
对于路面上的特征点，其Zw＝0。
h为当前车辆垂向高度。
θ-θ0是车辆俯仰角度。
通过对比连续两帧的姿态θ与h，结合时间间隔即可计算出车辆的俯仰角速度、垂向速度；
通过对比连续两帧的俯仰角速度与垂向速度，结合时间间隔即可计算出车辆的俯仰角加速度、垂向加速度。
所述车身垂向及俯仰运动信息估算模块4将计算的车辆当前行驶时的垂向位置及俯仰角度、车辆当前行驶时的垂向速度及俯仰角速度以及车辆当前行驶时的垂向加速度及俯仰角加速度信息发送至信息显示模块5。
所述信息显示模块5，用于将计算得到的垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度值显示在中控显示器51上。
实施例2
如图2所示，本发明基于双目视觉的车身垂向及俯仰运动信息估算方法，具体包括以下步骤：
步骤S1、利用双目摄相机11的左、右摄像机获取车辆前方的原始图像，通过图像采集模块12采集、记录原始图像信息，并通过畸变矫正模块13对获取的图像进行畸变矫正。
步骤S2、利用双目信息处理模块2，用于处理左、右摄像头的原始图像信息，提取特征点，完成特征点的匹配，计算特征点相对于双目摄像机11的位置坐标，得到双目相机车辆姿态方程组。
步骤S3、利用单目信息处理模块3，记录特征点在左摄像头像素坐标系内的坐标，得到单目相机车辆姿态方程组。
步骤S4、利用车身垂向及俯仰运动信息估算模块4，通过解算车辆姿态方程组计算车身的垂向运动信息与俯仰运动信息。
步骤S5、利用信息显示模块5将计算得到的垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度值显示在中控显示器51上。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种基于双目视觉的车身垂向及俯仰运动信息估算方法，其特征在于，包括以下步骤：
步骤S1、利用双目摄相机(11)的左、右摄像机获取车辆前方的原始图像，通过图像采集模块(12)采集、记录原始图像信息，并通过畸变矫正模块(13)对获取的图像进行畸变矫正；
步骤S2、利用双目信息处理模块(2)，用于处理左、右摄像头的原始图像信息，提取特征点，完成特征点的匹配，计算特征点相对于双目摄像机(11)的位置坐标，得到双目相机车辆姿态方程组；
步骤S3、利用单目信息处理模块(3)，记录特征点在左摄像头像素坐标系内的坐标，得到单目相机车辆姿态方程组；
步骤S4、利用车身垂向及俯仰运动信息估算模块(4)，通过解算车辆姿态方程组计算车身的垂向运动信息与俯仰运动信息；
步骤S5、利用信息显示模块(5)将计算得到的垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度值显示在中控显示器(51)上；
双目相机测距时满足如下公式：
其中，x、y、z是特征点的相机坐标，f是相机焦距，xl与xr分别是特征点在左、右图像坐标系上的像点与光轴的距离的x轴的投影，单位是mm，yl与yr分别是特征点在左、右图像坐标系上的像点与光轴的距离的y轴的投影，单位是mm，xl、xr、yl、yr可通过像素坐标与图像坐标转化得到，b是双目相机基线距离，
设则由双目测距原理可得：
由坐标转换原理可知，世界坐标系转换至相机坐标系满足以下关系：
其中，(Xcl,Ycl,Zcl)是特征点在双目相机左摄像机的相机坐标系的坐标，可由双目测距原理计算得到；(Xw,Yw,Zw)是特征点在世界坐标系的坐标；(Tcx,Tcy,Tcz)是相机位移向量；R为旋转重合矩阵，是不考虑相机绕自身轴线旋转的情况下，由世界坐标系转换到相机坐标系的转换矩阵；Rc是存在相机坐标系绕自身轴线旋转情况下的转换矩阵；
左相机坐标系位于车辆前方，世界坐标系的原点位于车辆前方路面，且左相机坐标系的原点位于世界坐标系Zw轴上，相机高度为h，相机仅绕自身Xc轴旋转，旋转角度为θ；由理论力学知识可知，当相机固定在车辆上时，相机的旋转角度θ即为车身俯仰角度，相机高度h反映了车辆的垂向位置，则
Tcx＝Tcz＝0
Tcy＝h
由矩阵变换可得：
进而得到双目相机车辆姿态方程组：
单目相机需要进行标定，确定其初始高度h0与绕自身x轴的初始角度θ0；
由单目信息处理模块(3)记录获取的特征点在左摄像机的像素坐标反推特征点在世界坐标系位置；
Xw、Yw、Zw是世界坐标系的坐标轴，Xc、Yc、Zc是相机坐标系的坐标轴；
物体的世界坐标转换至像素坐标的过程满足如下关系式：
其中，s为比例系数，K为相机的内参矩阵，由相机特性决定，不随相机的位置改变，可由标定测出；R为相机坐标系的旋转矩阵，T为相机坐标系的平移矩阵，0(1,3)＝[0,0,0]；
其中，f为相机焦距，(μ0,ν0)是图像坐标系中心点到像素坐标系中心点的偏移量，dx是x向一个像素的长度，dy是y向一个像素的长度；
物体的世界坐标转换至像素坐标的过程还可由下式表示：
其中，R为旋转重合矩阵，是不考虑相机绕自身轴线旋转的情况下，由世界坐标系转换到相机坐标系的转换矩阵，Tc是世界坐标系原点在相机坐标系下的位置，Rc是存在相机坐标系绕自身轴线旋转情况下的转换矩阵；K是相机内参矩阵；
由上述可得：
因此，物体的世界坐标与物体成像对应的像素坐标之间的函数关系包含了h与θ两个变量；
由像素坐标系反推世界坐标，可得：
其中K、R均为已知矩阵；
设
其中，W为标点在世界坐标系中的坐标；
为抵消比例系数s的影响，设
其中，W0为目标点在世界坐标系中的坐标除以比例系数s；
则有
其中，W(1,1)表示W的第一行第一列的值，W(2,1)表示W的第二行第一列的值，W(3,1)表示W的第三行第一列的值，同理，W0(1,1)表示W0的第一行第一列的值，W0(2,1)表示W0的第二行第一列的值，W0(3,1)表示W0的第三行第一列的值；
设
对于确定参数的单目相机而言，确定特征点即可确定其像素坐标(μ,ν)，则G、R、g均为确定的值；
因此，得到单目相机车辆姿态方程组：
在车身垂向及俯仰运动信息估算模块(4)中联立双目、单目车辆姿态方程组，有：
通过该方程组解出θ、h、Zw即可得到当前帧的相机姿态θ与h；
对于路面上的特征点，其Zw＝0；
h为当前车辆垂向高度；
θ-θ0是车辆俯仰角度。
2.根据权利要求1所述的一种基于双目视觉的车身垂向及俯仰运动信息估算方法所用的估算系统，其特征在于：包括图像信息捕捉模块(1)、双目信息处理模块(2)、单目信息处理模块(3)、车身垂向及俯仰运动信息估算模块(4)和信息显示模块(5)；
所述图像信息捕捉模块(1)，用于捕捉行车前方道路信息，包括双目摄像机(11)、图像采集模块(12)和畸变矫正模块(13)；所述双目摄像机(11)将原始图像信息发送至图像采集模块(12)进行记录后再发送至畸变矫正模块(13)；
所述双目信息处理模块(2)，用于处理左、右摄像头的原始图像信息，提取特征点，完成特征点的匹配，计算特征点相对于双目相机的位置并记录特征点的像素坐标；所述双目信息处理模块(2)，包括特征点提取模块(21)、特征点匹配模块(22)和特征点位置计算模块(23)；
所述畸变矫正模块(13)将畸变矫正后的图像发送至特征点提取模块(21)提取特征点，经特征点匹配模块(22)获取图像中一致的特征点后分别经特征点位置计算模块(23)和单目信息处理模块(3)处理后再发送至车身垂向及俯仰运动信息估算模块(4)；
所述单目信息处理模块(3)，用于记录获取的特征点在左摄像机的像素坐标；
所述车身垂向及俯仰运动信息估算模块(4)，用于计算车身的垂向运动信息与俯仰运动信息，包括车身垂向位置及俯仰角度估算模块(41)、车身垂向速度及俯仰角速度估算模块(42)以及车身垂向加速度及俯仰角加速度估算模块(43)；
所述车身垂向及俯仰运动信息估算模块(4)将计算的车辆当前行驶时的垂向位置及俯仰角度、车辆当前行驶时的垂向速度及俯仰角速度以及车辆当前行驶时的垂向加速度及俯仰角加速度信息发送至信息显示模块(5)；
所述信息显示模块(5)，用于将计算得到的垂向高度、垂向速度、垂向加速度、俯仰角度、俯仰角速度、俯仰角加速度值显示在中控显示器(51)上。
3.根据权利要求2所述的一种基于双目视觉的车身垂向及俯仰运动信息估算方法所用的估算系统，其特征在于：所述双目摄像机(11)，用于通过摄像机的左、右摄像头获取车辆前方原始图像信息；所述图像采集模块(12)，用于采集、记录左、右摄像头的原始图像信息；所述畸变矫正模块(13)，用于将获取的图像进行畸变矫正。
4.根据权利要求2所述的一种基于双目视觉的车身垂向及俯仰运动信息估算方法所用的估算系统，其特征在于：所述特征点提取模块(21)，用于在原始图像信息中提取特征点；所述特征点匹配模块(22)，用于匹配左右图像的特征点，得到图像中一致的特征点；所述特征点位置计算模块(23)，用于计算获取的特征点相对于双目相机的坐标。
5.根据权利要求2所述的一种基于双目视觉的车身垂向及俯仰运动信息估算方法所用的估算系统，其特征在于：所述车身垂向位置及俯仰角度估算模块(41)，通过结合双目信息处理模块和单目信息处理模块的数据，来计算车辆当前行驶时的垂向位置及俯仰角度。
6.根据权利要求2所述的一种基于双目视觉的车身垂向及俯仰运动信息估算方法所用的估算系统，其特征在于：所述车身垂向速度及俯仰角速度估算模块(42)，通过结合车身的垂向位置、俯仰角度，计算车辆当前行驶时的垂向速度及俯仰角速度。
7.根据权利要求2所述的一种基于双目视觉的车身垂向及俯仰运动信息估算方法所用的估算系统，其特征在于：所述车身垂向加速度及俯仰角加速度估算模块(43)，通过结合车身的垂向速度、俯仰角速度，计算车辆当前行驶时的垂向加速度及俯仰角加速度。
CN202310249348.3A 2023-03-15 2023-03-15 基于双目视觉的车身垂向及俯仰运动信息估算系统及方法 Active CN116442707B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310249348.3A CN116442707B (zh) 2023-03-15 2023-03-15 基于双目视觉的车身垂向及俯仰运动信息估算系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310249348.3A CN116442707B (zh) 2023-03-15 2023-03-15 基于双目视觉的车身垂向及俯仰运动信息估算系统及方法

Publications (2)

Publication Number Publication Date
CN116442707A CN116442707A (zh) 2023-07-18
CN116442707B true CN116442707B (zh) 2024-05-10

Family

ID=87119240

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310249348.3A Active CN116442707B (zh) 2023-03-15 2023-03-15 基于双目视觉的车身垂向及俯仰运动信息估算系统及方法

Country Status (1)

Country Link
CN (1) CN116442707B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117301781A (zh) * 2023-09-22 2023-12-29 无锡车联天下信息技术有限公司 一种车辆的双目视觉控制系统、方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
JP2015184956A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
CN108749819A (zh) * 2018-04-03 2018-11-06 吉林大学 基于双目视觉的轮胎垂向力估算系统及估算方法
CN113936259A (zh) * 2021-10-29 2022-01-14 江苏大学 一种基于视觉感知的智能汽车车身姿态控制方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
JP2015184956A (ja) * 2014-03-25 2015-10-22 日産自動車株式会社 自己位置算出装置及び自己位置算出方法
CN108749819A (zh) * 2018-04-03 2018-11-06 吉林大学 基于双目视觉的轮胎垂向力估算系统及估算方法
CN113936259A (zh) * 2021-10-29 2022-01-14 江苏大学 一种基于视觉感知的智能汽车车身姿态控制方法及系统

Also Published As

Publication number Publication date
CN116442707A (zh) 2023-07-18

Similar Documents

Publication Publication Date Title
CN108141570B (zh) 校准装置、校准方法以及校准程序存储介质
CN109544630B (zh) 位姿信息确定方法和装置、视觉点云构建方法和装置
US20150088378A1 (en) Road surface condition estimating apparatus
CN111210478B (zh) 一种无共同视野多相机系统外参标定方法、介质及系统
WO2013133129A1 (ja) 移動物体位置姿勢推定装置及び移動物体位置姿勢推定方法
JP2007263669A (ja) ３次元座標取得装置
CN111161337B (zh) 一种动态环境下的陪护机器人同步定位与构图方法
CN107437264B (zh) 车载相机外部参数自动检测与校正方法
CN111415387A (zh) 相机位姿确定方法、装置、电子设备及存储介质
CN116442707B (zh) 基于双目视觉的车身垂向及俯仰运动信息估算系统及方法
CN112819711B (zh) 一种基于单目视觉的利用道路车道线的车辆反向定位方法
CN113503873B (zh) 一种多传感器融合的视觉定位方法
JP4256992B2 (ja) 障害物検出装置
CN115015956A (zh) 一种室内无人车的激光与视觉slam系统
JP6768554B2 (ja) キャリブレーション装置
CN113920150A (zh) 一种资源受限下的行星车简化双目视觉里程定位方法
CN112284381B (zh) 视觉惯性实时初始化对准方法及系统
CN114295099A (zh) 基于单目摄像头的测距方法、车载测距设备以及存储介质
JP7456857B2 (ja) 自己位置推定装置
CN112819898A (zh) 热像仪-rgb相机-imu空间联合标定方法、系统和存储介质
JP7137464B2 (ja) カメラキャリブレーション装置、カメラキャリブレーション方法、およびプログラム
CN111145263A (zh) 一种基于车载的摄像机自动标定方法
CN116252581B (zh) 直线行驶工况车身垂向及俯仰运动信息估算系统及方法
CN115082555A (zh) 一种rgbd单目相机的高精度位移实时测量系统及方法
CN114475581A (zh) 基于轮速脉冲和imu卡尔曼滤波融合的自动泊车定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant