CN113936259B - 一种基于视觉感知的智能汽车车身姿态控制方法及系统 - Google Patents
一种基于视觉感知的智能汽车车身姿态控制方法及系统 Download PDFInfo
- Publication number
- CN113936259B CN113936259B CN202111275203.8A CN202111275203A CN113936259B CN 113936259 B CN113936259 B CN 113936259B CN 202111275203 A CN202111275203 A CN 202111275203A CN 113936259 B CN113936259 B CN 113936259B
- Authority
- CN
- China
- Prior art keywords
- road surface
- controller
- body posture
- pixel
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000016776 visual perception Effects 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 claims abstract description 27
- 230000009466 transformation Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 239000000725 suspension Substances 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012937 correction Methods 0.000 claims description 3
- 238000013016 damping Methods 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 230000007547 defect Effects 0.000 abstract description 4
- 230000008447 perception Effects 0.000 description 6
- 230000002068 genetic effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0891—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉感知的智能汽车车身姿态控制方法及系统，采集的汽车前方路面特征图像并进行车道线预瞄检测，若车道线预瞄检测后存在弯道，则分别对汽车前方路面特征图像进行立体匹配以及三角测量确定弯道的路面特征及该路面特征的空间位置；若不存在弯道，则对前方路面高度进行预瞄检测确定路面特征的类型及路面特征的空间位置；基于路面特征及路面特征相对于的相机坐标系的空间位置、实时车速信号预估到达路面特征的时间；设计侧倾控制器、俯仰控制器和垂向控制器；并根据路面特征类型选择相应的控制器工作进行车身姿态控制。本发明的方案能够改善传统汽车在转弯、不平路面或侧向倾斜路面上行驶姿态较差的缺陷。
Description
技术领域
本发明涉及智能汽车车身姿态控制及双目立体视觉感知技术领域，具体是一种基于视觉感知的智能汽车车身姿态控制方法及系统。
背景技术
互联网技术的飞速发展，带动了智能网联汽车发展。根据国家发改委发布的《智能汽车创新发展战略》可知，智能汽车的感知需要依靠先进传感器，这促进了包括激光雷达、视觉摄像头在内的多种传感器的应用。双目立体视觉系统因其体积小巧、应用灵活、成本较低特点、采集信息丰富等特点，在汽车上具有广阔的应用前景。
传统汽车在行驶过程中遇到转弯、不平路面或侧向倾斜路面时，由于汽车无法预知路面状况，无法自主做出反馈调节，导致行驶时的车身姿态较差，使驾乘人员感到不安全、不舒适，甚至危及行车安全。
发明内容
为了解决现有技术中存在的不足，本申请提出了一种基于视觉感知的智能汽车车身姿态控制方法及系统，本发明使用双目立体摄像头作为感知元件，以较低成本完成车道线检测与不平路面检测；本发明使用几个车身姿态控制器，应用模糊控制方法实现姿态控制；实现车身姿态预瞄控制，进而改善传统汽车在转弯、不平路面或侧向倾斜路面上行驶姿态较差的缺陷，提高智能汽车操控性、安全性和成员舒适度。
本发明所采用的技术方案如下：
一种基于视觉感知的智能汽车车身姿态控制方法，包括如下步骤：
S1、利用双目相机采集汽车前方路面特征图像；
S2、对所采集的汽车前方路面特征图像进行当前车道线预瞄检测，根据车道线预瞄检测结果判断前方是否存在弯道；若存在弯道，则分别对汽车前方路面特征图像进行立体匹配以及三角测量确定弯道的路面特征及该路面特征的空间位置；若不存在弯道，则对前方路面高度进行预瞄检测，即通过对汽车前方路面特征图像进行立体匹配以及三角测量确定路面特征的类型及路面特征的空间位置；路面特征的类型包括凹凸路面和倾斜路面；
S3、基于路面特征及路面特征相对于的相机坐标系的空间位置、实时车速信号预估到达路面特征的时间；
S4、设计三种车身姿态控制器，分别侧倾控制器、俯仰控制器和垂向控制器；根据路面特征类型，通过三种车身姿态控制器的切换规则选择相应的控制器工作进行车身姿态控制。
进一步，三种车身姿态控制器的切换规则为：
当立体匹配识别预瞄图像中存在弯道，仅选择侧倾控制器进行车身姿态控制；侧倾控制器基于路面特征类型以及预估到达路面特征的时间输出控制力矩Mφ；当立体匹配识别预瞄图像中没有弯道，且路面特征类型为凹凸路面，则选择侧倾控制器、俯仰控制器和垂向控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩Mφ，俯仰控制器输出控制力矩Mθ，垂向控制器输出悬架控制力fz。
当立体匹配识别预瞄图像中没有弯道，且路面特征类型为倾斜路面，则选择侧倾控制器、俯仰控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩Mφ，俯仰控制器输出控制力矩Mθ。
进一步，车道线预瞄检测的方法为：
对输入的汽车前方路面特征图像进行灰度化处理、平滑滤波的预处理；预处理后的图像应用Sobel算子与3×3邻域像素进行平面卷积操作，获取车道线两侧灰度变化梯度幅值；设定T阈值并与图像每一行像素点幅值作比较，若多个连续像素点幅值大于T阈值，标记其中最大像素点作为边缘点；最后使用基于最小二乘法进行拟合，检测出弯道线。
进一步，立体匹配的过程为：
S2.2.1，应用Census变换与Hamming距离公式计算左右输入图像的匹配代价，即
Census变换：
Hamming距离公式：
其中，T(p)为矩形窗口内中心像素p的Census变换结果，I(p),I(q)分别为矩形窗口内中心像素p和邻域像素q的灰度值，ξ为邻域像素q与中心像素p的比较结果，q为像素p的邻域像素，Np为像素p在矩形窗口内的邻域；X为左右图像对应像素点Census变换所得二进制比特串做异或运算结果的二进制比特串，X1,X2分别为左右图像对应像素点Census变换结果的二进制比特串，H表示Hamming距离，x为X二进制比特串内每位二进制数字；
S2.2.2，全局能量函数表示为：
其中，E(d)为待选图像视差d下的全局能量值，p为图像内的每一个像素点，C(p,dp)为像素p在待选图像视差d下的匹配代价，dq是像素p及其临域像素q的待选视差差值的绝对值；P1为左右图像对应像素点视差变化很小时的惩罚项，P2为视差变化较大时的惩罚项，T[·]为判断内容；
S2.2.3，基于全局能量函数，应用赢家通吃规则为每个像素选取图像视差值，即选择全局能量函数取最小值时的图像视差值；
S2.2.4，对S2.2.3中选取的图像视差值采用左右一致性法及中值滤波法处理，以减少误匹配；最终输出图像视差以及视差图，完成立体匹配。
进一步，获得S3中路面特征相对于的相机坐标系的空间位置的方法为：
根据双目相机基线距离b、双目相机焦距长度f、像素视差d以及像素在左相机成像平面坐标xR、yR计算P点相对相机坐标系位置(X,Y,Z)，即
由此获得路面特征相对于的相机坐标系的空间位置。
进一步，预估到达路面特征的时间的方法为：
应用坐标系变换将P点在相机坐标系中的坐标(X,Y,Z)变换到汽车车轮坐标系内，以此确定路面特征相对于汽车车轮的实际位置：
其中，P点相对左轮中心坐标系坐标为(Xl,Yl,Zl)；基于P点相对左轮中心坐标位置，即可计算出路面特征相对于车轮位置之间的距离S，ECU采集的车速V，旋转矩阵R可由相机标定得出，平移矩阵T可由测量得到；
根据P点相对车轮坐标系位置与ECU采集到的车速预估到达路面特征时间
进一步，双目相机在使用前需要进行如下预处理：
使用“张正友标定法”对双目相机进行标定，获取双目相机的内外参数；
使用“八点算法”对双目相机进行极线校正，使左右图像对应点被限制在同一图像扫描线上；
选择汽车顶部位置固定安装双目相机，记录双目相机左相机光心相对左右车轮空间位置。
一种基于视觉感知的智能汽车车身姿态控制系统，具体包括：双目采集模块、视觉感知模块、时间预估模块和姿态控制模块；
所述双目采集模块使用双目立体相机获取汽车前方路面特征图像；
所述视觉感知模块接收双目采集模块采集的前方路面特征图像，并使用处理芯片对汽车前方路面特征图像进行弯道线预瞄检测、立体匹配以及三角测量，进而确定路面特征及路面特征的空间位置；
所述时间预估模块，该模块分别接收视觉感知模块输出的路面特征及空间位置、汽车ECU获取的实时车速信号；时间预估模块根据路面特征及空间位置、实时车速信号预估出车辆到达路面特征的时间；
所述姿态控制模块包括车身姿态控制器、底层控制器及执行器，车身姿态控制器、底层控制器及执行器三者之间通过信号连接；车身姿态控制器根据视觉感知模块的结果与时间预估模块的结果输出车身姿态控制信息，车身姿态控制信息主要包括主动悬架的阻尼控制量及刚度控制量；由底层控制器接收控制信息并分别驱动执行器动作，以调整汽车姿态。
进一步，车身姿态控制器包括侧倾控制器、俯仰控制器和垂向控制器，根据视觉感知模块判断出的路面特征种类，三种车身姿态控制器执行相应的控制指令。
进一步，处理芯片采用Altera公司的Cyclone IV系列芯片。
本发明的有益效果：
1、本发明使用双目立体摄像头作为感知元件，以较低成本完成车道线检测与不平路面检测。
2、本申请基于模糊控制设计三种车身姿态控制器，分别侧倾控制器、俯仰控制器和垂向控制器；根据路面特征类型实现控制器之间的工作切换，实现车身姿态预瞄控制，进而改善传统汽车在转弯、不平路面或侧向倾斜路面上行驶姿态较差的缺陷，提高智能汽车操控性、安全性和成员舒适度。
附图说明
图1是本发明提供的一种智能汽车车身姿态控制流程图；
图2是本发明提供的立体匹配流程图；
图3是本发明提供的姿态控制模块流程图；
图4是本发明提供的应用坐标系变换确定弯道位置P示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
本申请提出了一种基于视觉感知的智能汽车车身姿态控制方法，如图1和2所示包括如下步骤：
S1、利用双目相机采集汽车前方路面特征图像；双目相机在使用前需要进行如下预处理：
使用“张正友标定法”对双目相机进行标定，获取双目相机的内外参数，如旋转矩阵R等；
使用“八点算法”对双目相机进行极线校正，使左右图像对应点被限制在同一图像扫描线上；
选择汽车顶部位置固定安装双目相机，记录双目相机左相机光心相对左右车轮空间位置。
S2、对所采集的汽车前方路面特征图像进行当前车道线预瞄检测，根据车道线预瞄检测结果判断前方是否存在弯道；若存在弯道，则分别对汽车前方路面特征图像进行立体匹配以及三角测量确定弯道的路面特征及该路面特征的空间位置；若不存在弯道，则对前方路面高度进行预瞄检测，即通过对汽车前方路面特征图像进行立体匹配以及三角测量确定路面特征的种类(凹凸路面或倾斜路面)及路面特征的空间位置。具体过程如下：
S2.1，车道线预瞄检测的过程如下：
提取车道线并识别弯道线完成弯道线预瞄检测。高性能处理芯片依靠特征检测方法对输入的汽车前方路面特征图像检测出感兴趣区域(ROI)，即弯道线。在本实施例中，以汽车行驶在具有清晰车道线且道路平坦的结构化高速公路为例，高性能处理芯片对输入的汽车前方路面特征图像进行灰度化处理、平滑滤波的预处理；预处理后的图像应用Sobel算子与3×3邻域像素进行平面卷积操作，获取车道线两侧灰度变化梯度幅值；设定T阈值并与图像每一行像素点幅值作比较，若多个连续像素点幅值大于T阈值，标记其中最大像素点作为边缘点；最后使用基于最小二乘法进行拟合，检测出弯道线。
S2.2，在弯道线预瞄检测后执行立体匹配，立体匹配主要作用是为了计算左右图像视差d。根据图2，立体匹配流程如下：
S2.2.1，应用Census变换与Hamming距离公式计算左右输入图像的匹配代价，即
Census变换：
Hamming距离公式：
其中，T(p)为矩形窗口内中心像素p的Census变换结果，I(p),I(q)分别为矩形窗口内中心像素p和邻域像素q的灰度值，ξ为邻域像素q与中心像素p的比较结果，q为像素p的邻域像素，Np为像素p在矩形窗口内的邻域；X为左右图像对应像素点Census变换所得二进制比特串做异或运算结果的二进制比特串，X1,X2分别为左右图像对应像素点Census变换结果的二进制比特串，H表示Hamming距离，x为X二进制比特串内每位二进制数字。S2.2.2，应用基于全局能量函数最优化策略的代价聚合方法，以减少图像噪声影响，全局能量函数表示为
其中，E(d)为待选图像视差d下的全局能量值，p为图像内的每一个像素点，C(p,dp)为像素p在待选图像视差d下的匹配代价，dq是像素p及其临域像素q的待选视差差值的绝对值；P1为左右图像对应像素点视差变化很小，即|dp-dq|＝1时的惩罚项，P2为视差变化较大，即|dp-dq|＞1时的惩罚项，T[·]为判断内容。
S2.2.3，基于全局能量函数，应用赢家通吃(WTA)规则为每个像素选取图像视差值，图像视差值选取依据是：选择全局能量函数取最小值时的图像视差值；
S2.2.4，对S2.2.3中选取的视差值采用左右一致性法及中值滤波法，减少误匹配；最终输出图像视差以及视差图，完成立体匹配。
S2.3，应用三角测量的方法计算出路面特征相对相机坐标系的坐标，根据双目相机基线距离b、双目相机焦距长度f、像素视差d以及像素在左相机成像平面坐标xR、yR计算P点相对相机坐标系位置(X,Y,Z)，即
由此获得路面特征相对于的相机坐标系的空间位置。
S3、基于路面特征及路面特征相对于的相机坐标系的空间位置、实时车速信号预估到达路面特征的时间；具体过程如下：
根据图4所示，应用坐标系变换将P点在相机坐标系中的坐标(X,Y,Z)变换到汽车车轮坐标系内，以此确定路面特征相对于汽车车轮的实际位置；根据P点相对车轮坐标系位置与ECU采集到的车速预估到达路面特征时间；三维坐标转换可依据如下进行，即
P点相对左轮中心坐标系坐标为(Xl,Yl,Zl)；基于P点相对左轮中心坐标位置，即可计算出路面特征相对于车轮位置之间的距离S，ECU采集的车速V，根据公式求出预估抵达时间。其中，旋转矩阵R可由相机标定得出，平移矩阵T可由测量得到。
S4、根据图3，根据路面特征类型，设计三种车身姿态控制器，分别侧倾控制器、俯仰控制器和垂向控制器；三种车身姿态控制器的选择规则如下：
如果立体匹配识别预瞄图像中存在弯道，仅选择侧倾控制器进行车身姿态控制；侧倾控制器基于路面特征类型以及预估到达路面特征的时间输出控制力矩Mφ；如果立体匹配识别预瞄图像中没有弯道，且路面特征类型为凹凸路面，则选择侧倾控制器、俯仰控制器和垂向控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩Mφ，俯仰控制器输出控制力矩Mθ，垂向控制器输出悬架控制力fz。
如果立体匹配识别预瞄图像中没有弯道，且路面特征类型为倾斜路面，则选择侧倾控制器、俯仰控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩Mφ，俯仰控制器输出控制力矩Mθ。
在本实施例中，基于模糊控制规则设计出的三种车身姿态控制器，具体过程是：首先对基于被动悬架的车型进行不同路面特征仿真，依据结果最终确定输入和输出的基本论域和模糊论域。
之后选取各变量的模糊子集。车身垂向控制器的输入和输出模糊集合都是采用七个模糊语言；其余模糊控制器(倾控制器与俯仰控制器)输入输出采用五个模糊语言。
对这三种车身姿态控制器制定模糊控制规则。
根据制定的模糊控制规则进行Mamdani推理得到输入值对应的输出，再利用重心法将模糊的输出量精确化。
利用遗传算法设计控制器协调系数；
控制器协调系数涉及多目标优化问题，通过加权系数将多个控制目标转化为最终单目标控制量
J＝ω1J1+ω2J2+ω3J3
其中，ωi为各个单个控制目标的加权系数，所有ωi之和为1；J和J1、J2、J3分别为最终控制量和单目标控制量。ωi可根据经验选取。
其次，设置子控制器约束函数，保证主动悬架参数在合理范围内变化。如设置主动悬架的动挠度以避免调节主动悬架时超出限位行程。
设置子控制器协调系数λi搜索范围；
设置遗传算法控制参数，如群体规模，最大遗传进化代数，交叉概率，变异概率，终止条件等。
用遗传算法对子控制器协调系数不断迭代寻优后，得到最后优化结果。
利用分配器对各个控制器输出的控制信息进行分流传递到各个主动悬架控制器；
主动悬架控制器依照控制信息对执行器进行控制，从而改善汽车的车身姿态。
为了实现上述智能汽车车身姿态控制方法，本发明提出的基于视觉感知的智能汽车车身姿态控制系统，利用车载双目立体相机，融合弯道检测结果及路面类型检测的结果，实现预瞄路况感知，依据此预估抵达目标路面时间，依靠预瞄感知结果、时间预估，对所设计的车身姿态控制器进行控制，以此达到改善汽车车身姿态，提高乘员舒适性及车辆操控性的目的。
参照图1和3，本发明所提出的一种基于视觉感知的智能汽车车身姿态控制系统，具体包括：双目采集模块、视觉感知模块、时间预估模块和姿态控制模块；
所述双目采集模块，该模块主要使用双目立体相机，用于获取汽车前方路面特征图像。
所述视觉感知模块，该模块接收双目采集模块采集的前方路面特征图像，并使用高性能的处理芯片(如Altera公司的Cyclone IV系列芯片)对汽车前方路面特征图像进行弯道线预瞄检测、立体匹配以及三角测量，进而确定路面特征及路面特征的空间位置；路面特征分为弯道、凹凸路面和倾斜路面。
所述时间预估模块，该模块分别接收视觉感知模块输出的路面特征及空间位置、汽车ECU获取的实时车速信号；时间预估模块根据路面特征及空间位置、实时车速信号预估出车辆到达路面特征的时间。
所述姿态控制模块包括车身姿态控制器、底层控制器及执行器，车身姿态控制器、底层控制器及执行器三者之间通过信号连接。车身姿态控制器根据视觉感知模块的结果与时间预估模块的结果输出车身姿态控制信息，车身姿态控制信息主要包括主动悬架的阻尼控制量及刚度控制量；由底层控制器接收控制信息并分别驱动执行器动作，以调整汽车姿态。在本实施例中，车身姿态控制器是依靠模糊控制规则设计出的三种车身姿态控制器，分别是侧倾控制器、俯仰控制器和垂向控制器，根据视觉感知模块判断出的路面特征种类，三种车身姿态控制器执行相应的控制指令。更具体地，
当路面特征判断为弯道时，仅选择侧倾控制器进行车身姿态控制；
当路面特征判断没有弯道，且路面特征类型为凹凸路面，则选择侧倾控制器、俯仰控制器和垂向控制器协同工作进行车身姿态控制；
当路面特征判断没有弯道，且路面特征类型为倾斜路面，则选择侧倾控制器、俯仰控制器协同工作进行车身姿态控制。
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。
Claims (9)
1.一种基于视觉感知的智能汽车车身姿态控制方法，其特征在于，包括如下步骤：
S1、利用双目相机采集汽车前方路面特征图像；
S2、对所采集的汽车前方路面特征图像进行当前车道线预瞄检测，根据车道线预瞄检测结果判断前方是否存在弯道；若存在弯道，则分别对汽车前方路面特征图像进行立体匹配以及三角测量确定弯道的路面特征及该路面特征的空间位置；若不存在弯道，则对前方路面高度进行预瞄检测，即通过对汽车前方路面特征图像进行立体匹配以及三角测量确定路面特征的类型及路面特征的空间位置；路面特征的类型包括凹凸路面和倾斜路面；立体匹配的过程为：
S2.2.1，应用Census变换与Hamming距离公式计算左右输入图像的匹配代价，即
Census变换：
I(q)≤I(p)，ξ(I(p),I(q))＝0
I(q)＞I(p)，ξ(I(p),I(q))＝1
Hamming距离公式：
其中，T(p)为矩形窗口内中心像素p的Census变换结果，I(p),I(q)分别为矩形窗口内中心像素p和邻域像素q的灰度值，ξ为邻域像素q与中心像素p的比较结果，q为像素p的邻域像素，Np为像素p在矩形窗口内的邻域；X为左右图像对应像素点Census变换所得二进制比特串做异或运算结果的二进制比特串，X1,X2分别为左右图像对应像素点Census变换结果的二进制比特串，H表示Hamming距离，x为X二进制比特串内每位二进制数字；
S2.2.2，全局能量函数表示为：
其中，E(d)为待选图像视差d下的全局能量值，p为图像内的每一个像素点，C(p,dp)为像素p在待选图像视差d下的匹配代价，dq是像素p及其临域像素q的待选视差差值的绝对值；P1为左右图像对应像素点视差变化小时的惩罚项，P2为视差变化大时的惩罚项，T[·]为判断内容；
S2.2.3，基于全局能量函数，应用赢家通吃规则为每个像素选取图像视差值，即选择全局能量函数取最小值时的图像视差值；
S2.2.4，对S2.2.3中选取的图像视差值采用左右一致性法及中值滤波法处理，以减少误匹配；最终输出图像视差以及视差图，完成立体匹配；
S3、基于路面特征及路面特征相对于的相机坐标系的空间位置、实时车速信号预估到达路面特征的时间；
S4、设计三种车身姿态控制器，分别侧倾控制器、俯仰控制器和垂向控制器；根据路面特征类型，通过三种车身姿态控制器的切换规则选择相应的控制器工作进行车身姿态控制。
2.根据权利要求1所述的一种基于视觉感知的智能汽车车身姿态控制方法，其特征在于，三种车身姿态控制器的切换规则为：
当立体匹配识别预瞄图像中存在弯道，仅选择侧倾控制器进行车身姿态控制；侧倾控制器基于路面特征类型以及预估到达路面特征的时间输出控制力矩Mφ；当立体匹配识别预瞄图像中没有弯道，且路面特征类型为凹凸路面，则选择侧倾控制器、俯仰控制器和垂向控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩Mφ，俯仰控制器输出控制力矩Mθ，垂向控制器输出悬架控制力fz；
当立体匹配识别预瞄图像中没有弯道，且路面特征类型为倾斜路面，则选择侧倾控制器、俯仰控制器协同工作进行车身姿态控制；侧倾控制器输出控制力矩Mφ，俯仰控制器输出控制力矩Mθ。
3.根据权利要求1所述的一种基于视觉感知的智能汽车车身姿态控制方法，其特征在于，车道线预瞄检测的方法为：对输入的汽车前方路面特征图像进行灰度化处理、平滑滤波的预处理；预处理后的图像应用Sobel算子与3×3邻域像素进行平面卷积操作，获取车道线两侧灰度变化梯度幅值；设定T阈值并与图像每一行像素点幅值作比较，若多个连续像素点幅值大于T阈值，标记其中最大像素点作为边缘点；最后使用基于最小二乘法进行拟合，检测出弯道线。
4.根据权利要求1所述的一种基于视觉感知的智能汽车车身姿态控制方法，其特征在于，获得S3中路面特征相对于的相机坐标系的空间位置的方法为：根据双目相机基线距离b、双目相机焦距长度f、像素视差d以及像素在左相机成像平面坐标xR、yR计算P点相对相机坐标系位置(X,Y,Z)，即
由此获得路面特征相对于的相机坐标系的空间位置。
5.根据权利要求4所述的一种基于视觉感知的智能汽车车身姿态控制方法，其特征在于，预估到达路面特征的时间的方法为：应用坐标系变换将P点在相机坐标系中的坐标(X,Y,Z)变换到汽车车轮坐标系内，以此确定路面特征相对于汽车车轮的实际位置：
其中，P点相对左轮中心坐标系坐标为(Xl,Yl,Zl)；基于P点相对左轮中心坐标位置，即可计算出路面特征相对于车轮位置之间的距离S，ECU采集的车速V，旋转矩阵R可由相机标定得出，平移矩阵T可由测量得到；根据P点相对车轮坐标系位置与ECU采集到的车速预估到达路面特征时间
6.根据权利要求1所述的一种基于视觉感知的智能汽车车身姿态控制方法，其特征在于，双目相机在使用前需要进行如下预处理：
使用“张正友标定法”对双目相机进行标定，获取双目相机的内外参数；
使用“八点算法”对双目相机进行极线校正，使左右图像对应点被限制在同一图像扫描线上；
选择汽车顶部位置固定安装双目相机，记录双目相机左相机光心相对左右车轮空间位置。
7.一种基于权利要求1所述基于视觉感知的智能汽车车身姿态控制方法的基于视觉感知的智能汽车车身姿态控制系统，其特征在于，包括双目采集模块、视觉感知模块、时间预估模块和姿态控制模块；
所述双目采集模块使用双目立体相机获取汽车前方路面特征图像；
所述视觉感知模块接收双目采集模块采集的前方路面特征图像，并使用处理芯片对汽车前方路面特征图像进行弯道线预瞄检测、立体匹配以及三角测量，进而确定路面特征及路面特征的空间位置；
所述时间预估模块，该模块分别接收视觉感知模块输出的路面特征及空间位置、汽车ECU获取的实时车速信号；时间预估模块根据路面特征及空间位置、实时车速信号预估出车辆到达路面特征的时间；所述姿态控制模块包括车身姿态控制器、底层控制器及执行器，车身姿态控制器、底层控制器及执行器三者之间通过信号连接；车身姿态控制器根据视觉感知模块的结果与时间预估模块的结果输出车身姿态控制信息，车身姿态控制信息主要包括主动悬架的阻尼控制量及刚度控制量；由底层控制器接收控制信息并分别驱动执行器动作，以调整汽车姿态。
8.根据权利要求7所述的一种基于视觉感知的智能汽车车身姿态控制系统，其特征在于，车身姿态控制器包括侧倾控制器、俯仰控制器和垂向控制器，根据视觉感知模块判断出的路面特征种类，三种车身姿态控制器执行相应的控制指令。
9.根据权利要求7所述的一种基于视觉感知的智能汽车车身姿态控制系统，其特征在于，处理芯片采用Altera公司的Cyclone IV系列芯片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111275203.8A CN113936259B (zh) | 2021-10-29 | 2021-10-29 | 一种基于视觉感知的智能汽车车身姿态控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111275203.8A CN113936259B (zh) | 2021-10-29 | 2021-10-29 | 一种基于视觉感知的智能汽车车身姿态控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113936259A CN113936259A (zh) | 2022-01-14 |
| CN113936259B true CN113936259B (zh) | 2024-06-11 |
Family
ID=79284862
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111275203.8A Active CN113936259B (zh) | 2021-10-29 | 2021-10-29 | 一种基于视觉感知的智能汽车车身姿态控制方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113936259B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114403114B (zh) * | 2022-01-26 | 2022-11-08 | 安徽农业大学 | 一种高地隙植保机车身姿态平衡控制系统及方法 |
| CN116442707B (zh) * | 2023-03-15 | 2024-05-10 | 吉林大学 | 基于双目视觉的车身垂向及俯仰运动信息估算系统及方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916113A (zh) * | 2010-07-23 | 2010-12-15 | 江苏大学 | 一种基于主动悬架评价指标的车身姿态解耦控制方法 |
| CN109318905A (zh) * | 2018-08-22 | 2019-02-12 | 江苏大学 | 一种智能汽车路径跟踪混合控制方法 |
| CN110888441A (zh) * | 2019-11-29 | 2020-03-17 | 广州乐比计算机有限公司 | 一种基于陀螺仪的轮椅车控制系统 |
| CN112721910A (zh) * | 2021-01-22 | 2021-04-30 | 浙江孔辉汽车科技有限公司 | 一种汽车主动抗侧倾稳定控制系统及其方法 |
| CN113147308A (zh) * | 2021-03-30 | 2021-07-23 | 浙江工业大学 | 基于双目视觉技术的悬架预瞄控制方法及悬架控制装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106919915B (zh) * | 2017-02-22 | 2020-06-12 | 武汉极目智能技术有限公司 | 基于adas系统的地图道路标记及道路质量采集装置及方法 |
-
2021
- 2021-10-29 CN CN202111275203.8A patent/CN113936259B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101916113A (zh) * | 2010-07-23 | 2010-12-15 | 江苏大学 | 一种基于主动悬架评价指标的车身姿态解耦控制方法 |
| CN109318905A (zh) * | 2018-08-22 | 2019-02-12 | 江苏大学 | 一种智能汽车路径跟踪混合控制方法 |
| CN110888441A (zh) * | 2019-11-29 | 2020-03-17 | 广州乐比计算机有限公司 | 一种基于陀螺仪的轮椅车控制系统 |
| CN112721910A (zh) * | 2021-01-22 | 2021-04-30 | 浙江孔辉汽车科技有限公司 | 一种汽车主动抗侧倾稳定控制系统及其方法 |
| CN113147308A (zh) * | 2021-03-30 | 2021-07-23 | 浙江工业大学 | 基于双目视觉技术的悬架预瞄控制方法及悬架控制装置 |
Non-Patent Citations (1)
| Title |
|---|
| 基于角点特征的立体视觉车辆环境感知系统研究;姜岩;高峰;徐国艳;;机械工程学报;20110720(第14期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113936259A (zh) | 2022-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113936259B (zh) | 一种基于视觉感知的智能汽车车身姿态控制方法及系统 | |
| CN110745140B (zh) | 一种基于连续图像约束位姿估计的车辆换道预警方法 | |
| CN103963593B (zh) | 具有道路预视的自适应主动悬架系统 | |
| CN110414418B (zh) | 一种图像-激光雷达图像数据多尺度融合的道路检测方法 | |
| CN107390205A (zh) | 一种利用车联网获取前车特征的单目视觉车辆测距方法 | |
| CN110007316A (zh) | 一种基于激光雷达路面信息识别的主动转向避障系统及方法 | |
| CN110614894A (zh) | 用于复杂路况的主动悬架控制系统和控制方法 | |
| CN111873744A (zh) | 基于相机传感器路面信息识别的主动悬架预瞄控制方法 | |
| CN112149493B (zh) | 基于双目立体视觉的道路高程测量方法 | |
| CN105137970A (zh) | 车辆避障方法及装置 | |
| CN110588272A (zh) | 基于视觉传感技术的汽车悬架系统及路面不平度测量方法 | |
| CN111746537B (zh) | 基于路面平整度的自适应巡航车速控制系统、方法及车辆 | |
| CN110850394A (zh) | 一种自动驾驶激光雷达强度标定方法 | |
| WO2022115215A1 (en) | Systems and methods for monocular based object detection | |
| Jun et al. | Autonomous driving system design for formula student driverless racecar | |
| CN113701780A (zh) | 基于a星算法的实时避障规划方法 | |
| CN115298045A (zh) | 车辆控制装置、车辆控制方法以及车辆控制系统 | |
| CN117111055A (zh) | 一种基于雷视融合的车辆状态感知方法 | |
| CN112509054A (zh) | 一种相机外参动态标定方法 | |
| Yang et al. | A study on a vehicle semi-active suspension control system based on road elevation identification | |
| CN110888441B (zh) | 一种基于陀螺仪的轮椅车控制系统 | |
| CN111880197A (zh) | 一种基于四线激光雷达的道路边界检测方法 | |
| CN116052116A (zh) | 一种基于多源信息感知和端到端深度学习的自动泊车方法 | |
| CN116299313A (zh) | 一种基于激光雷达的智能车辆可通行区域检测方法 | |
| CN116311136A (zh) | 用于辅助驾驶的车道线参数计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |