CN116682087B - 基于空间池化网络车道检测的自适应辅助驾驶方法 - Google Patents

基于空间池化网络车道检测的自适应辅助驾驶方法 Download PDF

Info

Publication number
CN116682087B
CN116682087B CN202310935562.4A CN202310935562A CN116682087B CN 116682087 B CN116682087 B CN 116682087B CN 202310935562 A CN202310935562 A CN 202310935562A CN 116682087 B CN116682087 B CN 116682087B
Authority
CN
China
Prior art keywords
lane
lane line
gradient
field
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310935562.4A
Other languages
English (en)
Other versions
CN116682087A (zh
Inventor
王智灵
周正兵
吴艳飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Zhongke Xingchi Automatic Driving Technology Co ltd
Original Assignee
Anhui Zhongke Xingchi Automatic Driving Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Zhongke Xingchi Automatic Driving Technology Co ltd filed Critical Anhui Zhongke Xingchi Automatic Driving Technology Co ltd
Priority to CN202310935562.4A priority Critical patent/CN116682087B/zh
Publication of CN116682087A publication Critical patent/CN116682087A/zh
Application granted granted Critical
Publication of CN116682087B publication Critical patent/CN116682087B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Transportation (AREA)
  • Nonlinear Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明属于辅助驾驶技术领域，尤其涉及一种基于空间池化网络车道检测的自适应辅助驾驶方法，所述方法包括如下步骤：a) 构建空间池化网络结构，由GAIAC数据集训练得到网络参数；b) 将车顶摄像头采集到的实时图像进行压缩、裁剪，输入到空间池化网络，提取车道线的嵌入空间特征矩阵；c) 将嵌入空间特征矩阵进行中值滤波、嵌入空间降维和簇区间检测，分离出车道线实例的分布；d) 对车道线实例分布进行曲线拟合，判别车道线属性，修正锚点坐标，获得车辆相对于车道线的位置；e) 由相对位置，构建饱和边界函数，进一步构建自适应辅助驾驶控制器。本方法识别率高，鲁棒性强，适应于多种车道线上的车辆辅助驾驶。

Description

基于空间池化网络车道检测的自适应辅助驾驶方法
技术领域
本发明属于辅助驾驶技术领域，尤其涉及一种基于空间池化网络车道检测的自适应辅助驾驶方法。
背景技术
经过多年的发展与实验，智能驾驶辅助技术已经获得了长足的发展，并在部分方面已经投入商业使用。其中车道线检测是智能辅助驾驶的一项基本任务，准确识别车道线的位置能为车辆安全行驶提供重要信息，因此，研究车道线检测具有重要的现实价值。其中获取车道线信息的主要设备有视觉传感器和激光雷达传感器。视觉传感器在识别车道方面具有更强的鲁棒性，可以模仿驾驶员的车道保持行为，而且拥有更低的价格。故基于计算机视觉的车道线检测和辅助驾驶系统具有广阔的发展前景。
目前，在车道检测和在其基础上的辅助驾驶领域，进行了很多科学研究和实验，并取得了较丰硕的成果。现有技术中提出将车道检测问题作为一个实例分割问题。为了在拟合车道之前参数化分割的车道实例，并进一步提出应用基于图像的学习视角变换替代固定的“鸟瞰图”变换，确保了路面环境变化时车道检测仍有较高的效率，鲁棒性更强。现有技术还提出一种利用改进分割网络(segmentation network，SegNet)算法与连通域约束相结合的方法实现车道线检测识别，将对称的SegNet算法改为非对称结构对车道线作逐像素提取，利用卷积与池化提取车道线特征，检测识别效果优于传统SegNet网络算法，对车道分割准确、实时处理能力优秀。现有技术还公开了一种端到端的基于实例分割的车道检测方法，利用注意力网络充分提取全局上下文信息并剔除相关车道干扰，能够应对车道受到严重遮挡和极端光照条件等复杂场景干扰的挑战，并展现了出色的鲁棒性。
上述方法都仅为单一的车道线检测方法，并未加入与车道线检测方法适配的车道保持方法，而且对车道线断续、多车道的车道线分割上存在识别率低的问题，而且可以检测到的车道线条数需要人为指定，降低了车道线检测方法的环境适应能力。
发明内容
本发明实施例的目的在于提供一种基于空间池化网络车道检测的自适应辅助驾驶方法，旨在解决现有技术仅采用单一车道线检测方法，未加入与车道线检测方法适配的车道保持方法，而且对车道线断续、多车道的车道线分割上存在识别率低的问题，而且可以检测到的车道线条数需要人为指定，降低了车道线检测方法的环境适应能力的问题。
本发明提供的一种基于空间池化网络车道检测的自适应辅助驾驶方法适用于复杂道路上车辆的车道检测与辅助驾驶。
车辆在车顶安装有前视摄像头，用于获取车辆前方的图像信息，安装于车顶径向中央位置。摄像头的图像采集速度不小于每秒钟25帧，车道检测和自适应辅助驾驶方法应每秒钟至少运行20次循环。
基于空间池化网络车道检测的自适应辅助驾驶方法分五部分。第一部分为空间池化网络的结构构建与训练，获得网络参数；第二部分为实时图像的采集与特征提取，获得图像的嵌入空间特征矩阵；第三部分为实时图像特征的后处理，对特征矩阵进行中值滤波、嵌入空间降维和簇区间检测，从特征中分离出车道线实例的分布；第四部分为车道线拟合与坐标修正，对车道线实例进行曲线拟合、属性判别和车道线锚点坐标修正，获得车辆相对于车道线的位置；第五部分为车辆在饱和边界函数的构建与自适应辅助驾驶控制器的构建。
考虑到车道线的形状特性为狭长线条，本发明提出一种“空间池化”神经网络模块结构，利用空间池化网络进行车道线的特征提取与识别。由于驾驶员视角中的车道线形状通常为“丿”（撇）和“丶”（捺），故本发明在空间池化网络中提出了一种“斜向池化”的方法，利用水平和竖直方向上的池化组合实现车道线斜方向的池化。对于“丿”形状的车道线，为确定某个像素点是否属于车道线区域，需检查此点斜右上和斜左下的点。对于右上方向，设输入的特征图为/>，特征图尺寸为/>，先后经过向左池化输出特征图/>，为/>上位置/>与位置/>之间的最大值，即进行当前位置与右边界之间的最大池化操作；然后/>经过向下池化，输出/>，/>为/>上位置/>与位置/>之间的最大值，进行当前位置与上边界之间的最大池化操作，即：
同理，对于左下方向，设特征图为，特征图尺寸为/>，依次进行向右池化和向上池化，输出分别为/>和/>，即：
对于“丶”型状的车道线，池化方向变为先右后下和先左后上，池化结果和的计算过程与上述过程类似。方向池化的组合顺序不唯一，例如对于“丶”型状的车道线的左上方向池化，也可以通过先进行向上池化再进行向左池化的组合实现。斜向池化的示意图如附图1所示。
基于上述斜向池化的方法，本发明提出一种空间池化模块。空间池化模块由四个结构相似的斜向池化子模块串联而成。每个子模块皆为残差结构，包含2个卷积层，首先使用3×3卷积核大小的卷积模块对输入特征进行处理，其中卷积模块为一个卷积、批归一化、ReLU激活函数串联而成的模块，即为Conv-BN-ReLU；然后按照上述次序进行斜向池化，四个子模块依次进行右下、左下、左上、右上四个方向的斜向池化。最后经过3×3 Conv-BN模块卷积，与短路连接相加和，最后使用ReLU激活层输出。空间池化模块的结构如附图2所示。
采用饱和边界函数构建自适应辅助驾驶控制器。饱和边界函数是人为定义的虚拟势场，根据车辆与道路中轴线（目标点）和车道线（障碍物）的距离建立人工势场，不同的场源在空间中叠加，空间中车辆所处位置的势场等于各场源在车辆位置势场的矢量和，车辆所处位置的场力即为该点势场的负梯度，从而计算出空间中车辆的受力大小和方向，决定车辆的运动状态。饱和边界函数为引力场和斥力场加入饱和函数，并限制引力和斥力之间的夹角，以解决传统人工势场中的局部极小值的缺陷和车辆与场源距离趋近于无限远时场力趋近于无穷大的问题。
具体地讲：
本发明是一种基于空间池化网络车道检测的自适应辅助驾驶方法，适应于多种车道线上的车辆辅助驾驶，包括如下步骤：
a) 构建空间池化网络结构，由GAIAC数据集训练得到网络参数；
b) 将车顶摄像头采集到的实时图像进行压缩、裁剪，输入到空间池化网络，提取车道线的嵌入空间特征矩阵；
c) 将嵌入空间特征矩阵进行中值滤波、嵌入空间降维和簇区间检测，分离出车道线实例的分布；
d) 对车道线实例分布进行曲线拟合，判别车道线属性，修正锚点坐标，获得车辆相对于车道线的位置；
e) 由相对位置，构建饱和边界函数，进一步构建自适应辅助驾驶控制器。
其中所述步骤a中具体包括：
a1) 构建空间池化网络中主干网络、空间池化模块、上采样模块、嵌入空间特征输出模块的结构；
a2) 使用GAIAC数据集对网络进行训练，得到网络参数；
其中所述步骤b中具体包括：
b1) 对车顶摄像头采集的每帧RGB图像裁剪、压缩，得到320×640大小的图片；
b2) 将图像输入至训练好的空间池化网络中，提取嵌入空间特征矩阵。
所述步骤c中具体包括：
c1) 对嵌入空间特征矩阵进行中值滤波，得到滤波去噪后的特征矩阵；
c2) 将滤波后的特征进行嵌入空间降维，得到一维的特征数据；
c3) 对一维特征数据进行簇区间检测，通过不同簇的区间，获得车道线实例的分布。
所述步骤d中具体包括：
d1) 由车道线实例分布，对所有车道线实例进行曲线拟合，获得车道线拟合曲线；
d2) 对车道线实例进行属性判别，获得车辆当前所处车道；
d3) 根据车道线拟合曲线得到车道线的锚点坐标，并将锚点坐标输入至原始图像中，对比图像中的车道线，计算修正后的锚点坐标。
d4) 通过修正后的锚点坐标和车辆当前所处车道计算得车辆相对于车道线的位置。
所述步骤e中具体包括：
e1) 由相对位置构建饱和边界函数；
e2) 由饱和边界函数，构建自适应辅助驾驶控制器；
e3) 重复步骤b~e，直至辅助驾驶功能停止。
附图说明
图1为斜向池化原理示意图；
图2为空间池化模块结构示意图；
图3为空间池化网络结构图；
图4为空间池化网络特征提取和后处理的整体方案结构图；
图5为车道线属性判别示意图；
图6为车道线锚点坐标修正示意图；
图7为车道线饱和边界函数示意图；
图8为车道检测与自适应辅助驾驶流程图。
其中图3中的dilate为空洞卷积采样率；图5中的W为特征矩阵的宽度，为当前车辆所在车道区域，其中/>为左车道在坐标系y轴上的截距，/>为右车道在坐标系y轴上的截距。
具体实施方式
具体步骤由P1~P5组成，各步骤叙述如下：
步骤P1
步骤P1构建空间池化网络结构，对网络进行训练得到网络参数。具体步骤如下：
第一步：构建空间池化网络结构。空间池化网络由主干网络、空间池化模块和上采样模块构成。网络的输入尺寸为，其中H为输入图像的高，W为输入图像的宽，“3”表示RGB图像的三通道，输出尺寸为/>。空间池化网络结构图如附图3所示。表1和表2分别为上采样模块和空间池化网络的结构，其中卷积模块为一个卷积、批归一化、ReLU激活函数串联而成的模块，即Conv-BN-ReLU模块。
为保证网络的效率和工作质量，其中取C为输出通道总数，设置为64，H和W根据车顶摄像头和车载计算机性能确定。网络的输出为逐像素的Softmax函数：
其中x为二维平面上像素的位置，表示网络最后输出层中，像素x对应的第k个通道的值，C是输出通道总数，/>即为像素x在第k通道的归一化值。
因为车道线在很多场景下具有分布不变性的特点，即不同车道线不具备明显的语义区别，仅有空间位置的差别，故将车道线识别问题视作实例分割问题。在空间池化网络后为网络构建嵌入空间特征输出模块，输出嵌入空间特征矩阵。嵌入空间特征输出模块的输入尺寸为空间池化网络的输出尺寸/>，嵌入空间特征/>的输出尺寸为，即为通过一个神经网络将原像素的64维特征映射入D维向量中，用于在D维空间中进行度量学习，将不同车道线的实例的像素区分开。为保证嵌入空间特征矩阵的实例分割准确性和效率，应保证D在能保证模型正常收敛的情况下尽量小，本发明中/>。空间池化网络的结构和特征输出模块的结构如附图3所示。
网络的损失函数使用拉力、推力和正则三项的线性组合：
其中为拉力项，/>为推力项，/>为正则项，/>，/>和/>分别是拉力、推力、正则项的权重。L表示簇（实例）个数，/>为簇L中包含的像素个数。xi是第i个像素对应的嵌入向量，/>为簇l的均值向量，/>表示 L2距离，/>和/>分别是拉力和推力的间隔。
拉力项惩罚同一个簇（即嵌入空间内属于同一条车道线实例的像素集合）中所有元素与其平均值之间的距离，即降低簇内方差；推力项/>惩罚不同簇中心之间的距离，实现不同簇之间的分离；正则化项/>惩罚每个簇中心的模长，簇内像素点离簇中心不能太远，从而确保特征矩阵输出值有界。
第二步：使用训练集对车道线识别网络进行训练，得到网络参数。使用GAIAC车道线数据集，对上述网络进行训练，其中网络结构如附图3所示。该数据集的图像大小为480×640，为避免无关干扰和算力浪费，训练数据送入网络前将图像的上部160像素进行裁剪，然后以320×640的尺寸将训练图片送入网络。训练批大小设置为4，优化器为Adam，初始学习率为0.0001，并且每5000次迭代减小5%。主干网络前5个卷积模块使用ImageNet上训练的VGG16预训练模型。
步骤P2
步骤P2为实时图像的采集与特征提取，获得实时图像中的嵌入空间特征矩阵，具体步骤如下：
第一步：从摄像头获取当前帧的RGB图像，并对图像进行预处理。车顶中央的摄像头以每秒25帧的帧率获取实时RGB图像。图像被传入车辆内置计算机进行处理，将图像压缩、裁剪至320×640的尺寸。
第二步：将预处理过的图像放入空间池化网络中，得到实时图像的嵌入空间特征矩阵。
步骤P3
步骤P3基于空间池化网络输出的嵌入空间特征矩阵进行后处理，对特征矩阵进行中值滤波、嵌入空间降维和簇区间检测，从特征中分离出车道线实例的分布。后处理的方案结构如附图4所示，具体步骤如下：
第一步：对嵌入空间特征矩阵进行中值滤波。网络的嵌入空间特征输出会因为RGB图像中的光影和遮罩存在边界模糊和背景干扰问题。故可以通过中值滤波锐化边界，降低背景干扰，消除特征中的噪点，获得滤波去噪后的嵌入空间特征矩阵。
中值滤波为将特征矩阵中每个元素的值设置为该元素的邻域窗口内所有元素值的中值，其中邻域窗口为包括该元素和附近8个元素的中值。即为每个元素使用3×3大小的滤波器，该元素的值为滤波器中所有值的中值。
第二步：将滤波后的特征映射至HSL颜色空间进行降维。因嵌入空间特征的输出通道D = 3，即矩阵中每一个元素都对应一个三维的嵌入向量，而且在训练时使用损失函数正则项使每个元素的嵌入向量有界，而且同簇的嵌入向量（被分入同一个车道线区域的元素）取值相近，不同簇的嵌入向量取值差异较大，以及图像中背景的嵌入向量取值接近于零向量，故可以先将所有输出的嵌入向量映射至RGB颜色空间，即：
其中为嵌入向量/>映射至RGB颜色空间的缩放倍率，可以将滤波去噪后的嵌入空间特征矩阵/>中的元素取值范围规范化为 [0, 255]，/>为嵌入空间特征矩阵中的最大值。/>为映射至RGB空间后的嵌入向量。然后将嵌入向量映射至HSL颜色空间，即：
其中H、S和L分别代表HSL色彩空间中的色相、饱和度和亮度；为RGB颜色空间至HSL颜色空间的转换，/>为映射至HSL空间的嵌入向量。嵌入空间降维间接将三维的嵌入空间特征矩阵降为一维特征数据，从而降低密度检测和分簇的难度。
第三步，对一维特征数据进行簇区间检测。HSL颜色空间中色调通道的值域为，其中/>。本发明使用如下步骤，准确地根据色调取值区间分离出所有每条车道实例的像素：
（1）对于色调通道H，计算取值范围为，组间距为b的直方图数组s；
（2）对s进行遍历，将连续大于阈值T1的区间r添加到区间集合R中，即完成一维数据的分簇；
（3）将集合R中像素总数小于阈值T2的区间剔除；
（4）对于集合R中每个色调区间，所有满足/>的像素坐标的集合作为一条车道线实例/>，并添加到车道线集合L中。
（5）通过上述方法，得到车道线实例集合L。若L个数为0则检测失败，检测系统将上报车机系统并重新进行图像采样检测。
步骤P4
第四部分为车道线拟合与坐标修正，对车道线实例进行曲线拟合、属性判别和车道线锚点坐标修正，获得车辆相对于车道线的位置。具体步骤如下：
第一步：对所有车道线实例进行曲线拟合。对所有车道实例进行二次多项式曲线拟合，获取参数化的车道曲线方程。将三通道的嵌入空间特征矩阵转换为RGB格式图像，由于车道线总是在图像高度方向由近到远延伸，故将图像底边中点作为坐标原点，高度方向作为x轴，宽度方向作为y轴。由于车道线存在大量虚线、掉漆和遮盖等情况，同时需要兼顾拟合效果和计算成本，故不区分车道线远近，使用最小二乘法对整条车道线直接二次多项式曲线拟合，得到当前车道线实例的曲线方程。同时为了避免不正确的拟合曲线对断续处理时预测车道线延伸方向的误差较大，假设车道线/>的最大x坐标为xmax，使用xmax处的切线延长线作为替换。
第二步：对车道线实例进行属性判别，判断车辆所处当前车道。取拟合后的车道线实例曲线方程的纵截距/>，在图像中央，即特征图像纵坐标轴y =0处的两侧各取一个曲线截距距离纵坐标轴最近的实例作为当前车辆所在车道的车道线/>（左）和/>（右），/>和/>的截距构成的区间/>则为当前车辆所在车道区域，其余实例则为其他车道线。车道线属性判别示意图如附图5所示。
第三步：根据车道线拟合曲线得到车道线的锚点坐标，并将锚点坐标输入至原始图像中，对比图像中的车道线，计算修正后的锚点坐标。由于用于提取特征的输入图像被压缩和裁剪，输出的车道线实例分割存在一定误差，同时曲线拟合也存在一定的误差，故需要在拟合的曲线上，沿x轴方向等距采样多对车道线锚点，并输入至原始图像中进行车道线锚点坐标修正。锚点仅在当前所在车道的车道线曲线和/>上进行采样。车道线锚点坐标修正的示意图如附图6所示，具体方法如下：
按照原始图像的压缩比例得到原始图像中的车道线二次多项式拟合曲线方程，并在曲线上沿x方向取若干采样点，获得多对车道线的锚点坐标；
（1）在采样点的y轴方向上，在原始图像上对预测点取某个宽度为的邻域，作为可能存在车道线的待搜索邻域，如图6所示；
（2）将邻域内像素从RGB空间映射到HSL空间，并在该领域的亮度通道L上，以某亮度值L h 作为亮度阈值，对领域进行二值化处理，得到取值仅有0（暗）和1（高亮）的领域；
（3）若领域中的连续高亮度区域长度超过阈值w，则取连续高亮度区域的中点为修正后的锚点坐标预测，否则该锚点不进行坐标修正，如附图6右图所示。
第四步：根据坐标修正后的车道线，判断车辆与车道线的相对位置。取坐标修正后的各对锚点的连线中点为车道中轴线点。车道中轴线点的位置即为车辆在辅助驾驶时摄像头对应的理想位置，所有修正后的锚点坐标和车道中轴线坐标点即为步骤P4中用于计算车道线势场的人工势场源。将坐标原点视为当前车辆的位置，则锚点和车道中轴线点的位置矢量即为车辆与车道的相对位置。
步骤P5
根由车辆与车道线的相对位置，构建饱和边界函数，并进一步构建自适应辅助驾驶控制器。将车辆所在车道线锚点视作斥力场源，将车道中轴线点视作引力场源，根据步骤P1中改进的饱和正交向量场作为车道线的饱和边界函数构建控制器。具体步骤如下：
第一步：构建饱和边界函数，其中车道中轴线产生引力，车道线产生斥力，不同的场源在空间中叠加，空间中车辆所处位置的势场等于各引力场源和斥力场源在车辆位置势场的矢量和，车辆所处位置的场力即为该点势场的负梯度。根据空间中车辆受场力影响的大小和方向，计算车辆的运动状态。
在输入图像中设置平面直角坐标系计算饱和边界函数，其中图像底边中点为坐标原点，图像高度方向为x轴，图像宽度方向为y轴。定义饱和边界函数的引力场梯度和斥力场梯度/>：
其中为一对车道线锚点对车辆的斥力场梯度矢量和；/>为斥力参数，可根据车辆信息和摄像头相机参数调整；斥力场梯度函数使用锚点与距离二次反比例函数确定，为左车道线锚点的位置矢量，/>为右车道线锚点的位置矢量；/>为平行于y轴的单位矢量项，其中/>为锚点与x轴的夹角；/>和/>分别为原点到图像左边界和右边界的向量，其中/>，/>；/>项降低远处锚点对车辆的影响，避免车辆对远处的车道情况提前做出过大幅度的响应。其中引力场梯度/>由所有中轴线点产生；斥力场梯度/>由所有修正后的车道线锚点产生。引力场梯度和斥力场梯度的反方向即为引力和斥力的方向。
由于摄像头视野向前，所有的中轴线点和锚点都在车辆的前方，故恒成立，即引力场梯度和斥力场梯度夹角绝对值始终大于/>，斥力始终会对引力造成阻碍，车辆会在引力和与斥力和大小相同方向相反时陷入局部极小值点，影响车辆正常运作。故所有锚点产生的斥力场梯度仅沿图像的y轴方向，即/>方向，避免车辆陷入局部极小值点。
为避免车道线跨越y轴时斥力场梯度的突然变向，给出错误的车道线校正指令，故锚点坐标斥力场梯度使用的距离为锚点坐标与图像边界的距离，其中左车道的锚点坐标根据其与图像右边界的位置计算斥力场梯度，即，左车道的锚点坐标根据其与图像左边界的位置计算斥力场梯度，即/>。
为避免车辆收到转向角度和期望速度过大的控制输入，构建车道线锚点的斥力场梯度的和梯度向量场饱和函数，以限制梯度向量场与x轴夹角和模长，即：
其中为斥力场梯度饱和函数，/>为梯度向量场饱和函数，即为斥力场梯度和梯度向量场设定上限，当斥力梯度或梯度向量场的二范数到达上限/>或时，斥力梯度或梯度向量场对车辆造成的速度影响将饱和，不再增长，从而降低斥力场梯度在梯度向量场中的影响比例，并限制总梯度向量场的模长。
将斥力场梯度饱和函数和梯度向量场饱和函数/>加入到梯度向量场/>中，即：
其中为梯度向量场，指向当前位置边界饱和函数的势场负梯度方向，即势场的合力方向。附图7为图像中饱和边界函数的示意图。
第二步：由饱和边界函数构建自适应辅助驾驶控制器。自适应辅助驾驶控制器的输出为车辆的期望速度v r 与方向d，二者皆通过梯度向量场计算得出。
由于本发明中的自适应辅助驾驶方法仅用于车道检测和车道保持，实际使用的系统需要加入自适应巡航、车辆检测、测距等其他功能，故车道检测和车道维持无法完全控制车速，本发明中的车道检测和车道保持功能将仅提供相对速度期望，vr值为当前时刻建议的速度与当前速度的比值，即：
其中为梯度向量场与x轴的夹角。当/>时，u 1 值为正切函数与自然对数函数的组合，其中当/>时，/>，建议车辆加速；当时，/>，建议车辆减速过弯；当/>时，此时前方车道弯度已超出车道保持方法的能力，车辆可能需要倒车才能保持在车道中，将直接建议减速停车。
考虑到具备一对转向轮的汽车的转向角度为30°~40°，而车辆在车道保持时不会大角度转弯，故取22°，即0.41弧度作为车道保持时的最大转向。方向d的公式如下：
公式中所有角度为弧度值。当时，d值为正切函数与指数函数的组合；当/>时，车辆减速至停车，期间保持车辆转向角度为0.41弧度，即22°。
将控制器的输出v r 和d上传至车辆的车机系统，由车机系统根据控制器输出对车辆的偏航角度和速度进行控制，完成本轮车道保持。重复步骤P2~P5，直至辅助驾驶功能停止。

Claims (3)

1.基于空间池化网络车道检测的自适应辅助驾驶方法，其特征在于，所述方法包括：
构建空间池化网络结构，由GAIAC数据集训练得到网络参数，构建空间池化网络中主干网络、空间池化模块、上采样模块和嵌入空间特征输出模块的结构，使用GAIAC数据集对网络进行训练，得到网络参数，所述空间池化模块由四个斜向池化子模块串联而成，每个子模块皆为残差结构，包含2个卷积层，嵌入空间特征输出模块的输入尺寸为空间池化网络的输出尺寸H×W×64，嵌入空间特征的输出尺寸为H×W×D，H为输入图像的高，W为输入图像的宽，即为通过一个神经网络将原像素的64维特征映射入D维向量中，用于在D维空间中进行度量学习，将不同车道线的实例的像素区分开；
将车顶摄像头采集到的实时图像进行压缩和裁剪，输入到空间池化网络，提取车道线的嵌入空间特征矩阵；
将嵌入空间特征矩阵进行中值滤波、嵌入空间降维和簇区间检测，分离出车道线实例的分布；
对车道线实例分布进行曲线拟合，判别车道线属性，修正锚点坐标，获得车辆相对于车道线的位置；
根据相对位置确定饱和边界函数，构建自适应辅助驾驶控制器，具体步骤如下：
第一步：构建饱和边界函数，其中车道中轴线产生引力，车道线产生斥力，不同的场源在空间中叠加，空间中车辆所处位置的势场等于各引力场源和斥力场源在车辆位置势场的矢量和，车辆所处位置的场力即为该点势场的负梯度，根据空间中车辆受场力影响的大小和方向，计算车辆的运动状态，在输入图像中设置平面直角坐标系计算饱和边界函数，其中图像底边中点为坐标原点，图像高度方向为x轴，图像宽度方向为y轴，定义饱和边界函数的引力场梯度Φa和斥力场梯度Φr：
其中Φr,i为一对车道线锚点对车辆的斥力场梯度矢量和；Kr为斥力参数，可根据车辆信息和摄像头相机参数调整；斥力场梯度函数使用锚点与距离二次反比例函数确定，pr1,i为左车道线锚点的位置矢量，pr2,i为右车道线锚点的位置矢量；为平行于y轴的单位矢量项，其中θrk,i＝<prk,i,x>为锚点与x轴的夹角；pl和pr分别为原点到图像左边界和右边界的向量，其中/> 项降低远处锚点对车辆的影响，避免车辆对远处的车道情况提前做出过大幅度的响应，其中引力场梯度Φa由所有中轴线点产生；斥力场梯度Φr由所有修正后的车道线锚点产生，引力场梯度和斥力场梯度的反方向即为引力和斥力的方向，由于摄像头视野向前，所有的中轴线点和锚点都在车辆的前方，故cos<Φa,Φr>＜0恒成立，即引力场梯度和斥力场梯度夹角绝对值始终大于/>斥力始终会对引力造成阻碍，车辆会在引力和与斥力和大小相同方向相反时陷入局部极小值点，影响车辆正常运作，故所有锚点产生的斥力场梯度仅沿图像的y轴方向，即/>方向，避免车辆陷入局部极小值点，为避免车道线跨越y轴时斥力场梯度的突然变向，给出错误的车道线校正指令，故锚点坐标斥力场梯度使用的距离为锚点坐标与图像边界的距离，其中左车道的锚点坐标根据其与图像右边界的位置计算斥力场梯度，即||pr1,i·sinθr1,i-pr||，左车道的锚点坐标根据其与图像左边界的位置计算斥力场梯度，即||pl-pr1,i·sinθr1,i||，为避免车辆收到转向角度和期望速度过大的控制输入，构建车道线锚点的斥力场梯度的和梯度向量场饱和函数，以限制梯度向量场与x轴夹角和模长，即：
其中κvr(Φr)为斥力场梯度饱和函数，κvc(Φa)为梯度向量场饱和函数，即为斥力场梯度和梯度向量场设定上限，当斥力梯度或梯度向量场的二范数到达上限vc,max或vr,max时，斥力梯度或梯度向量场对车辆造成的速度影响将饱和，不再增长，从而降低斥力场梯度在梯度向量场中的影响比例，并限制总梯度向量场的模长，将斥力场梯度饱和函数κvr(Φr)和梯度向量场饱和函数κvc(Φa)加入到梯度向量场中，即：
其中Φmpf为梯度向量场，指向当前位置边界饱和函数的势场负梯度方向，即势场的合力方向；
第二步：由饱和边界函数构建自适应辅助驾驶控制器，自适应辅助驾驶控制器的输出为车辆的期望速度vr与方向d，二者皆通过梯度向量场Φmpf计算得出，vr值为当前时刻建议的速度与当前速度的比值，即：
其中<Φmpf,x>为梯度向量场与x轴的夹角，当|<Φmpf,x>|≤1.22时，u1值为正切函数与自然对数函数的组合，其中当|<Φmpf,x>|≤0.21时，vr＞1，建议车辆加速；当|<Φmpf,x>|＞0.21时，vr＜1，建议车辆减速过弯；当1.22＜|<Φmpf,x>|＜π时，此时前方车道弯度已超出车道保持方法的能力，车辆可能需要倒车才能保持在车道中，将直接建议减速停车。
2.根据权利要求1所述的基于空间池化网络车道检测的自适应辅助驾驶方法，其特征在于，将车顶摄像头采集到的实时图像进行压缩和裁剪，输入到空间池化网络，提取车道线的嵌入空间特征矩阵，将嵌入空间特征矩阵进行中值滤波、嵌入空间降维和簇区间检测，分离出车道线实例的分布，对车道线实例分布进行曲线拟合，判别车道线属性，修正锚点坐标，获得车辆相对于车道线的位置的步骤，具体包括：对车顶摄像头采集的每帧RGB实时图像裁剪和压缩，得到预设尺寸大小的图片，将图片输入至训练好的空间池化网络中，提取嵌入空间特征矩阵；对嵌入空间特征矩阵进行中值滤波，得到滤波去噪后的特征矩阵；将滤波后的特征进行嵌入空间降维，得到一维的特征数据；对一维特征数据进行簇区间检测，通过不同簇的区间，获得车道线实例的分布；由车道线实例分布，对所有车道线实例进行曲线拟合，获得车道线拟合曲线，对车道线实例进行属性判别，获得车辆当前所处车道，根据车道线拟合曲线得到车道线的锚点坐标，并将锚点坐标输入至原始图像中，对比图像中的车道线，计算修正后的锚点坐标；通过修正后的锚点坐标和车辆当前所处车道计算得车辆相对于车道线的位置。
3.根据权利要求1所述的基于空间池化网络车道检测的自适应辅助驾驶方法，其特征在于，所述对车道线实例分布进行曲线拟合的步骤中，采用二次多项式曲线拟合，获取参数化的车道曲线方程。
CN202310935562.4A 2023-07-28 2023-07-28 基于空间池化网络车道检测的自适应辅助驾驶方法 Active CN116682087B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310935562.4A CN116682087B (zh) 2023-07-28 2023-07-28 基于空间池化网络车道检测的自适应辅助驾驶方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310935562.4A CN116682087B (zh) 2023-07-28 2023-07-28 基于空间池化网络车道检测的自适应辅助驾驶方法

Publications (2)

Publication Number Publication Date
CN116682087A CN116682087A (zh) 2023-09-01
CN116682087B true CN116682087B (zh) 2023-10-31

Family

ID=87779456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310935562.4A Active CN116682087B (zh) 2023-07-28 2023-07-28 基于空间池化网络车道检测的自适应辅助驾驶方法

Country Status (1)

Country Link
CN (1) CN116682087B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846328A (zh) * 2018-05-29 2018-11-20 上海交通大学 基于几何正则化约束的车道检测方法
CN111401150A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于实例分割和自适应变换算法的多车道线检测方法
CN112339773A (zh) * 2020-11-10 2021-02-09 中科海微(北京)科技有限公司 一种基于单目视觉的非主动车道偏离预警方法及系统
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113807220A (zh) * 2021-09-06 2021-12-17 丰图科技(深圳)有限公司 交通事件检测方法、装置、电子设备和可读存储介质
CN115056776A (zh) * 2022-08-01 2022-09-16 重庆邮电大学 综合考虑感知过程与驾驶员行为的自适应驾驶人跟驰方法
CN115593405A (zh) * 2021-06-25 2023-01-13 Aptiv技术有限公司（Bb） 检测车道偏离事件的方法和系统
CN116188779A (zh) * 2023-02-24 2023-05-30 淮阴工学院 一种基于UFLane-Detection的车道线检测方法
CN116311136A (zh) * 2023-03-30 2023-06-23 天津科技大学 用于辅助驾驶的车道线参数计算方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875603B (zh) * 2018-05-31 2021-06-04 上海商汤智能科技有限公司 基于车道线的智能驾驶控制方法和装置、电子设备
TWI734472B (zh) * 2020-05-11 2021-07-21 國立陽明交通大學 基於深度學習的行車輔助系統及其方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846328A (zh) * 2018-05-29 2018-11-20 上海交通大学 基于几何正则化约束的车道检测方法
CN111401150A (zh) * 2020-02-27 2020-07-10 江苏大学 一种基于实例分割和自适应变换算法的多车道线检测方法
CN112339773A (zh) * 2020-11-10 2021-02-09 中科海微(北京)科技有限公司 一种基于单目视觉的非主动车道偏离预警方法及系统
CN113158768A (zh) * 2021-03-03 2021-07-23 中山大学 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN115593405A (zh) * 2021-06-25 2023-01-13 Aptiv技术有限公司（Bb） 检测车道偏离事件的方法和系统
CN113807220A (zh) * 2021-09-06 2021-12-17 丰图科技(深圳)有限公司 交通事件检测方法、装置、电子设备和可读存储介质
CN115056776A (zh) * 2022-08-01 2022-09-16 重庆邮电大学 综合考虑感知过程与驾驶员行为的自适应驾驶人跟驰方法
CN116188779A (zh) * 2023-02-24 2023-05-30 淮阴工学院 一种基于UFLane-Detection的车道线检测方法
CN116311136A (zh) * 2023-03-30 2023-06-23 天津科技大学 用于辅助驾驶的车道线参数计算方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Keep your Eyes on the Lane: Real-time Attention-guided Lane Detection;Lucas Tabelini;arXiv;全文 *
基于全卷积神经网络的车道线检测;王帅帅;刘建国;纪郭;;数字制造科学(第02期);全文 *
多智能体球面编队跟踪控制及轨线检测;葛延腾;中国优秀硕士学位论文全文数据库工程科技Ⅱ辑;第25-54页 *

Also Published As

Publication number Publication date
CN116682087A (zh) 2023-09-01

Similar Documents

Publication Publication Date Title
CN109740465B (zh) 一种基于实例分割神经网络框架的车道线检测算法
CN109903331B (zh) 一种基于rgb-d相机的卷积神经网络目标检测方法
CN110232389B (zh) 一种基于绿色作物特征提取不变性的立体视觉导航方法
CN102708370B (zh) 一种多视角图像前景目标提取方法及装置
WO2018145470A1 (zh) 一种图像检测方法和装置
CN104408460A (zh) 一种车道线检测及跟踪检测方法
Zhang et al. Study on traffic sign recognition by optimized Lenet-5 algorithm
CN102509098A (zh) 一种鱼眼图像车辆识别方法
CN112733914B (zh) 一种基于支持向量机的水下目标视觉识别分类方法
CN110110608B (zh) 一种全景监控下基于视觉的叉车速度监测方法和系统
CN116188999B (zh) 一种基于可见光和红外图像数据融合的小目标检测方法
Siogkas et al. Random-walker monocular road detection in adverse conditions using automated spatiotemporal seed selection
CN111079675A (zh) 基于目标检测与目标跟踪的行驶行为分析方法
CN111680713A (zh) 一种基于视觉检测的无人机对地目标跟踪与逼近方法
CN114331986A (zh) 一种基于无人机视觉的坝体裂纹识别与测量方法
CN116279592A (zh) 一种用于无人物流车的可行驶区域划分方法
CN113221739B (zh) 基于单目视觉的车距测量方法
CN109543520B (zh) 一种面向语义分割结果的车道线参数化方法
CN113516853B (zh) 一种针对复杂监控场景的多车道车流量检测方法
CN107977608B (zh) 一种应用于公路视频图像道路区域提取的方法
CN107944350B (zh) 一种基于外观和几何信息融合的单目视觉道路识别方法
Miyama REAL-TIME EMBEDDED SYSTEM OF MULTI-TASK CNN FOR ADVANCED DRIVING ASSISTANCE
CN116682087B (zh) 基于空间池化网络车道检测的自适应辅助驾驶方法
CN111914749A (zh) 基于神经网络的车道线识别方法及其系统
CN107122756A (zh) 一种完全非结构道路边缘检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant