CN116129390B - 一种增强曲线感知的车道线精准检测方法 - Google Patents
一种增强曲线感知的车道线精准检测方法 Download PDFInfo
- Publication number
- CN116129390B CN116129390B CN202310352981.5A CN202310352981A CN116129390B CN 116129390 B CN116129390 B CN 116129390B CN 202310352981 A CN202310352981 A CN 202310352981A CN 116129390 B CN116129390 B CN 116129390B
- Authority
- CN
- China
- Prior art keywords
- layer
- lane
- detection
- input
- lane line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 77
- 230000008447 perception Effects 0.000 title claims abstract description 10
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 9
- 230000006870 function Effects 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims abstract description 14
- 238000003062 neural network model Methods 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims abstract description 4
- 238000012795 verification Methods 0.000 claims abstract description 4
- 238000012800 visualization Methods 0.000 claims abstract description 4
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 23
- 230000004927 fusion Effects 0.000 claims description 19
- 238000010606 normalization Methods 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 4
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000013519 translation Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 2
- 230000000452 restraining effect Effects 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种增强曲线感知的车道线精准检测方法，所述方法包括如下步骤：收集车道线检测数据集，将其划分为训练集、验证集和测试集；搭建神经网络模型，构建损失函数；训练神经网络模型，迭代多轮后得到收敛的最佳模型；加载最佳模型参数，将待检测图像输入最佳模型中；将检测结果映射为车道线在输入图像中的坐标，得到车道线的坐标点集；拟合坐标点集并叠加在原始图像上实现车道线检测的可视化。本发明的车道线检测网络模型将检测任务转化为分类任务，检测结果更灵活，能够保证模型对多种复杂车道线结构的检测准确率更高，同时速度也能达到自动驾驶的实时性需求。
Description
技术领域
本发明属于车辆自动驾驶技术领域，具体涉及一种增强曲线感知的车道线精准检测方法。
背景技术
随着人工智能技术的发展，自动驾驶成为了热门研究领域；自动驾驶旨在通过对交通环境、周围车辆、交通标识进行感知来辅助避免车辆碰撞、提高交通效率和促进交通发展；车道线是行驶道路中的重要标识之一，车道线检测技术在车辆实时定位、行驶路线规划、车道保持辅助和自适应巡航控制等应用中发挥着重要的作用，它通常用于精确检测交通场景中每条车道的形状和位置，帮助驾驶员安全行驶在正确车道内。
传统方法通常依赖于手动特征提取算法，但由于缺乏长距离上下文信息和曲线轨迹的详细建模，基于手动提取特征的传统车道检测方法容易受到复杂环境的影响，导致检测精度不高。近年来，越来越多的检测方法依赖于卷积神经网络强大的表示能力获得车道线检测结果。车道线检测技术的实际应用场景是动态且灵活的，在车辆行驶过程中会经过各种不同形状的车道线。然而现存方法大多易受车道复杂结构的影响，对弯曲车道检测准确率低，尤其是远程部分，运行速度慢，无法达到实时性的要求。
发明内容
针对上述问题，本发明的目的在于提供一种增强曲线感知的车道线精准检测方法，该方法考虑到了车道线和车道弯曲的结构特点、车道线本身细长的结构特征，解决了检测方法不够灵活的问题，在多种复杂场景中可以实现更好的检测精度和更快的检测速度。
为达到上述目的，本发明采用的技术方案如下：
本发明提出一种增强曲线感知的车道线精准检测方法，步骤如下：
步骤S1：收集车道线检测数据集，将其划分为训练集、验证集和测试集；
步骤S2：搭建神经网络模型，构建损失函数，所述神经网络模型包括：
特征提取网络，所述特征提取网络以图像数据作为输入，该网络利用高层提取低分辨率图像特征中的全局空间信息，通过低层提取高分辨率图像特征中的局部细节信息；
四个CBAM模块，所述CBAM模块以不同层的特征信息作为输入，该模块序列化地在通道和空间两个维度产生注意力特征图信息，然后将信息与输入特征图相乘进行特征修正；
四个逐层上下文融合模块，所述逐层上下文融合模块以CBAM模块的输出作为输入，该模块将粗略的全局信息嵌入到详细的特征图中，并逐渐细化车道位置，使模型能够获得更强大的特征表示；
跨通道注意模块，所述跨通道注意模块以融合后的特征图作为输入，该模块用于自适应地校准模型对通道特征的注意，利用分支结构实现自我注意机制并抑制神经网络的过度拟合；
结构矫正检测模块，所述结构矫正检测模块将跨通道注意模块的输出作为输入，该模块根据角度阈值自适应选择模型对预定义锚框的检测方式，并对结果序列通过约束分类向量计算来确保车道线的连续性，实现灵活的检测效果；
步骤S3：训练神经网络模型，迭代多轮后得到收敛的最佳模型；
步骤S4：加载最佳模型参数，将待检测图像输入最佳模型中进行检测；
步骤S5：将检测结果映射为车道线在输入图像中的坐标，得到车道线的坐标点集；
步骤S6：拟合坐标点集并回归到原始图像上实现车道线检测的可视化。
进一步地，所述步骤S1中的数据使用公开的TuSimple和CULane车道线检测数据集以及车道线数据标注，并将数据集划分为直线行驶场景中的车道线数据和弯道行驶场景中的车道线数据两种。
进一步地，所述数据集中的车道线图像需要进行特征增强，特征增强包括：平移、旋转和垂直位移，然后将增强后的图像分辨率调整为288×800（高×宽）。
进一步地，所述特征提取网络基于Resnet构建，它是由残差块堆叠成的残差网络，其中包括一个卷积核大小为7×7、步长为2、填充为3的卷积层，一个核大小为3×3、步长为2、填充为1的最大池化层和四个残差块，搭建好的神经网络逐层抽象提取目标图像中的特征，高层网络提取到的特征感受野大，语义信息表征能力强，但是特征图的分辨率受影响明显，低层网络的感受野比较小，更容易捕捉到几何形状传递的细节信息，分辨率更清晰，但是语义信息表征能力较弱，不同网络层提取到的特征信息不同。
进一步地，所述残差块分别由3、4、6、3个残差结构组成，其中残差结构包含两个卷积核大小为3×3的卷积、一个BN（Batch Normalization）归一化和一个ReLU激活函数，得到的输出加上残差块的输入后得到最终输出结果。
进一步地，所述CBAM模块包括两部分，第一部分包括一个通道注意力，第二部分包括一个空间注意力，输入特征图通过通道注意力产生输入的权重后乘以自身得到新特征图，再通过空间注意力产生新特征图的权重后乘以自身得到输出特征图。
进一步地，所述逐层上下文融合模块包括一个3×3卷积、一个全局平均池化、一个内核大小为C/r×C×1×1的逐点卷积、一个内核大小为C×C×1×1的逐点卷积、两层BN（Batch Normalization）归一化、两层ReLU激活函数、一个Sigmoid激活函数，将前一层的粗糙特征图信息嵌入到低级特征图中，以获得更加强大的特征表达。
进一步地，所述跨通道注意模块包括两个分支，上分支包括一个自适应池化层和一个全连接层，下分支包括一个全连接层，分支合成结果经过两层串联全连接层，然后将一维数组reshape成原图大小。
进一步地，所述结构矫正检测模块由行向锚框分类和纵向锚框分类两种检测方式，它的目的是解决基于锚框分类方法不够灵活的问题，增加检测结果的准确度和平滑性。
本发明的有益效果：
本发明的方法中提出一种网络模型，包括特征提取网络、特征融合模块、跨通道注意力模块、结构矫正检测模块，搭建特征提取网络获得不同尺度的特征图。设计构建逐层上下文融合模块，将粗略的全局信息嵌入到详细的特征图中，并逐渐细化车道位置，使模型能够获得更强大的特征表示。建立跨通道注意力模块，通过本地跨通道交互自适应地校准模型对通道特征的注意力。结构校正预测模块根据角度检测自适应在预定义时选择车道线在图像上的行位置，而不是基于局部感受野去分割车道线的每个像素，有效降低了计算量，较大的提高了车道线检测速度，满足自动驾驶对于准确性和实时性的要求。本发明模型能克服复杂环境的干扰，针对弯曲车道结构自适应的选择横向或者纵向检测方式，准确度高，检测效果灵活，实时性强。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1是本发明方法的整体流程图；
图2是本发明中网络模型整体结构图；
图3是本发明中残差结构网络结构图；
图4是本发明中CBAM模块网络结构图；
图5是本发明中逐层上下文融合模块网络结构图；
图6是本发明中跨通道注意模块网络结构图；
图7是本发明中检测流程图。
具体实施方式
为了使本领域的技术人员可以更清楚地对本发明进行了解，下面结合具体实施例与附图进行说明。此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
参照图1所示，本发明所提供的增强曲线感知的车道线精准检测方法，步骤如下：
步骤S1：收集车道线检测数据集，将其划分为训练集、验证集和测试集；
其中，所述步骤S1中的数据使用公开的TuSimple和CULane车道线检测数据集以及车道线数据标注，并将数据集划分为直线行驶场景中的车道线数据和弯道行驶场景中的车道线数据两种。
所述数据集中的车道线图像需要进行特征增强，特征增强包括：平移、旋转和垂直位移，然后将增强后的图像分辨率调整为288×800（高×宽）。
步骤S2：搭建神经网络模型，构建损失函数；
如图2所示，搭建的神经网络模型包括：特征提取网络、四个CBAM模块、四个逐层上下文融合模块、跨通道注意模块、结构矫正检测模块。
其中，所述特征提取网络基于Resnet构建，它是由残差块堆叠成的残差网络，其中包括一个卷积核大小为7×7、步长为2、填充为3的卷积层，一个核大小为3×3、步长为2、填充为1的最大池化层和四个残差块，搭建好的神经网络逐层抽象提取目标图像中的特征，高层网络提取到的特征感受野大，语义信息表征能力强，但是特征图的分辨率受影响明显，低层网络的感受野比较小，更容易捕捉到几何形状传递的细节信息，分辨率更清晰，但是语义信息表征能力较弱，不同网络层提取到的特征信息不同。
所述四个残差块中第一残差块由3个残差结构组成，输出特征图尺度大小为64×144×400；第二残差块由4个残差结构组成，输出特征图尺度大小为128×72×200；第三残差块由6个残差结构组成，输出特征图尺度大小为512×36×100；第四残差块由3个残差结构组成，输出特征图尺度大小为1024×18×50。
如图3所示，所述残差结构包含两个卷积核大小为3×3的卷积、一个BN（BatchNormalization）归一化和一个ReLU激活函数，得到的输出加上残差块的输入后得到最终输出结果。
如图4所示，所述CBAM模块包括两部分，第一部分包括一个通道注意力，第二部分包括一个空间注意力，输入特征图通过通道注意力产生输入的权重后乘以自身得到新特征图，再通过空间注意力产生新特征图的权重后乘以自身得到输出特征图，该模块的输入和输出大小相同。
如图5所示，所述逐层上下文融合模块包括一个3×3卷积、一个全局平均池化、一个内核大小为C/r×C×1×1的逐点卷积、一个内核大小为C×C×1×1的逐点卷积、两层BN（Batch Normalization）归一化、两层ReLU激活函数、一个Sigmoid激活函数，首先将低层特征输入融合模块中，经过3×3卷积之后通过一次全局平均池化来聚合上下文信息，然后通过逐点卷积将输入特征通道数减少为原来的1/r，对特征图做归一化和激活函数处理后，再次通过点卷积将通道数目恢复成与原输入通道数目相同，并将其做归一化和激活函数处理后经过sigmoid函数，输出0-1之间的一个值，这个值会与高层特征进行点乘，本发明针对每个空间位置利用逐点卷积信道交互，得到内部特征，最后将高层的粗糙特征图信息嵌入到低级特征图中，以获得更加强大的特征表达。
如图6所示，所述跨通道注意模块包括两个分支，具体来说，融合模块输出的特征被两个分支同时接受，下边分支对其进行扁平化处理，展成一维向量，然后送入全连接层中；上分支对特征图执行自适应均值池化操作对空间维度进行压缩，同时取出对应维度的均值，在一定程度上可以抑制一些没用的特征，然后，本发明通过全连接层将输出通道与另一个分支匹配。最后以元素相加的方式融合两个分支的输出，从而实现自我注意机制并抑制神经网络的过度拟合。分支合成结果经过两层串联的全连接层，将一维数组reshape成原图大小以便于分类操作时坐标点映射到原图上。
如图7所示，所述结构矫正检测模块由行向锚框分类和纵向锚框分类两种检测方式，它的目的是解决基于锚框分类方法不够灵活的问题，增加检测结果的准确度和平滑性。
将输入图像划分为网格，并把网格位置通过坐标轴表示为一系列点
，在训练时通过/>
回归车道点位于网格中的位置，计算过程可以表示为：
其中，
是车道线的垂直范围，/>
代表有效行的数量。
检测方法分为两种路径：行向分类和纵向分类。具体来说，预先定义在h行上划分出多个行锚框，判断每个行锚框是否属于车道线检测车道相邻点连接线与X轴之间的角度
。设定角度阈值/>
，当/>
>/>
时，模型将选择对xi+1行锚框以行向分类方式检测车道线。当/>
</>
时，模型将选择对xi+1行锚框以列向分类方式检测车道线。最后，将两种检测方式的结果合成为最终的完整输出，其中，/>
的计算过程表示为：
对于某一行或者某一列，本发明预测车道线出现在每个网格中的概率，计算过程表示为：
其中
是第i行，第j个位置的预测值，/>
是第j列，第i个位置的预测值，/>
是该车道的标记，利用交叉熵损失对车道分类进行优化，通过迭代训练对模型进行增强，使损失最小化，基本的分类损失定义为：
其中，
表示车道分类损失，/>
表示第i个网格的预测置信度，/>
是相应的地面真值标签，/>
是与损失相对应的权重系数。
车道是连续的，应确保最终生成连续的检测结果，因此本发明通过约束分类向量来确保车道线的连续性，具体计算公式如下所示：
其中，
是对第i行锚点的预测，/>
表示L1范数。最后的总损失可以写成
，/>
和/>
为损耗系数，在训练过程中分别被设置为0.5和1。通过这种方式，本发明所提出的结构矫正检测模块可以提供有价值的指导信息，使模型检测过程更灵活，检测效果更准确。
步骤S3：训练神经网络模型，迭代多轮后得到收敛的最佳模型；
其中，所述训练神经网络模型先初始化模型的参数，再用随机梯度下降方法更新模型参数，并在模型收敛或者达到预设迭代次数后停止训练，训练过程中采用随机梯度下降法训练网络，角度阈值
设置为30，对步骤S1中的TuSimple和CULane数据集设定的最大迭代次数分别为100和50，优化过程使用 Adam 优化器，权重衰减系数为 0.0001，动量因子为 0.9，批量大小为 32。
步骤S4：加载最佳模型参数，将待检测图像输入最佳模型中进行检测；
利用步骤S2中的神经网络模型对步骤S1中的测试集进行检测，所述待检测图像也可以来自车载摄像头，可以包含直线、弯道、遮挡、阴影等多种复杂场景，其中，图像中包含的车道线数目不超过4条，图像经过裁剪后输入模型的尺寸为288×800（高×宽）。
步骤S5：将检测结果映射为车道线在输入图像中的坐标，得到车道线的坐标点集；
通过步骤S3所述的结构矫正检测模块对输入图像进行位置检测后，分别由行向分类路径和纵向分类路径得到两组车道分类结果，根据概率分布将车道点映射为网格坐标轴中坐标，并将其拟合得到一串连续的坐标点集。
步骤S6：拟合坐标点集并回归到原始图像上实现车道线检测的可视化。
最后根据步骤S5获得的坐标点集将车道点回归到原始检测图像上，最终输出的是以真实检测道路图像为底图的可视化车道线检测结果。
本发明具体应用途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进，这些改进也应视为本发明的保护范围。
Claims (3)
1.一种增强曲线感知的车道线精准检测方法，其特征在于，包括如下步骤：
步骤S1：收集车道线检测数据集，将其划分为训练集、验证集和测试集；
步骤S2：搭建神经网络模型，构建损失函数，所述神经网络模型包括：
特征提取网络，所述特征提取网络基于Resnet构建，是由残差块堆叠成的残差网络，其中包括依次连接的一个卷积核大小为7×7、步长为2、填充为3的卷积层，一个核大小为3×3、步长为2、填充为1的最大池化层和第一至第四残差块；第一残差块由3个残差结构组成，第二残差块由4个残差结构组成，第三残差块由6个残差结构组成，第四残差块由3个残差结构组成；残差结构包含两个卷积核大小为3×3的卷积、一个BN归一化和一个ReLU激活函数，得到的输出加上残差结构的输入后得到最终输出结果；搭建好的特征提取网络以图像数据作为输入，逐层抽象提取目标图像中的特征，利用高层提取低分辨率图像特征中的全局空间信息，通过低层提取高分辨率图像特征中的局部细节信息；
四个CBAM模块，所述CBAM模块包括两部分，第一部分包括一个通道注意力，第二部分包括一个空间注意力；CBAM1以特征提取网络中第四残差块的输出作为输入，CBAM2以第三残差块的输出作为输入，CBAM3以第二残差块的输出作为输入，CBAM4以第一残差块的输出作为输入；CBAM模块首先通过通道注意力产生输入的权重后乘以自身得到新特征图，再通过空间注意力产生新特征图的权重后乘以自身得到输出特征图，该模块序列化地在通道和空间两个维度产生注意力特征图信息，最后将注意力特征图信息与输入特征图相乘进行特征修正；
四个逐层上下文融合模块，所述逐层上下文融合模块包括一个3×3卷积、一个全局平均池化、一个内核大小为C/r×C×1×1的逐点卷积、一个内核大小为C×C×1×1的逐点卷积、两层BN归一化、两层ReLU激活函数、一个Sigmoid激活函数；逐层上下文融合模块1以CBAM1和第四残差块的输出作为输入，逐层上下文融合模块2以CBAM2和逐层上下文融合模块1的输出作为输入，逐层上下文融合模块3以CBAM3和逐层上下文融合模块2的输出作为输入，逐层上下文融合模块4以CBAM4和逐层上下文融合模块3的输出作为输入；上述逐层上下文融合模块将粗略的全局信息嵌入到详细的特征图中，并逐渐细化车道位置，使模型能够获得更强大的特征表示；
跨通道注意模块，所述跨通道注意模块包括两个分支，上分支包括一个自适应池化层和一个全连接层，下分支包括一个全连接层，分支合成结果经过两层串联全连接层，然后通过reshape函数将一维数组转换成原图大小；该模块以融合后的特征图作为输入，用于自适应地校准模型对通道特征的注意，利用分支结构实现自我注意机制并抑制神经网络的过度拟合；
结构矫正检测模块，所述结构矫正检测模块将跨通道注意模块的输出作为输入，根据角度阈值自适应选择模型对预定义锚框的检测方式，并对结果序列通过约束分类向量计算来确保车道线的连续性，实现灵活的检测效果；具体包括：
将输入图像划分为网格，并把网格位置通过坐标轴表示为一系列点
，在训练时通过/>
回归车道点位于网格中的位置，计算过程可以表示为：
其中，
是车道线的垂直范围，/>
代表有效行的数量；
所述的检测方式有行向锚框分类和纵向锚框分类两种检测方式，预先定义在h行上划分出多个行锚框，判断每个行锚框是否属于车道线，检测车道相邻点连接线与X轴之间的角度
；设定角度阈值/>
，当/>
>/>
时，模型将选择对xi+1行锚框以行向分类方式检测车道线，当/>
</>
时，模型将选择对xi+1行锚框以纵向分类方式检测车道线，其中，
的计算过程表示为：
对于某一行或者某一列，预测车道线出现在每个网格中的概率，计算过程表示为：
其中
是第i行，第j个位置的预测值，/>
是第j列，第i个位置的预测值，/>
是该车道的标记，利用交叉熵损失对车道分类进行优化，通过迭代训练对模型进行增强，使损失最小化，基本的分类损失定义为：
其中，
表示车道分类损失，/>
表示第i个网格的预测置信度，/>
是相应的地面真值标签，/>
是与损失相对应的权重系数；
通过约束分类向量来确保车道线的连续性，具体计算公式如下所示：
其中，
是对第i行锚点的预测，/>
表示L1范数；
最后的总损失可以写成：
步骤S3：训练神经网络模型，迭代多轮后得到收敛的最佳模型；
步骤S4：加载最佳模型参数，将待检测图像输入最佳模型中进行检测；
步骤S5：将检测结果映射为车道线在输入图像中的坐标，得到车道线的坐标点集；
步骤S6：拟合坐标点集并回归到原始图像上实现车道线检测的可视化。
2.根据权利要求1所述的增强曲线感知的车道线精准检测方法，其特征在于，所述步骤S1中的数据使用公开的TuSimple和CULane车道线检测数据集以及车道线数据标注，并将数据集划分为直线行驶场景中的车道线数据和弯道行驶场景中的车道线数据两种。
3.根据权利要求1所述的增强曲线感知的车道线精准检测方法，其特征在于，所述数据集中的车道线图像需要进行数据增强，特征增强包括：平移、旋转和垂直位移。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310352981.5A CN116129390B (zh) | 2023-04-04 | 2023-04-04 | 一种增强曲线感知的车道线精准检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310352981.5A CN116129390B (zh) | 2023-04-04 | 2023-04-04 | 一种增强曲线感知的车道线精准检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116129390A CN116129390A (zh) | 2023-05-16 |
| CN116129390B true CN116129390B (zh) | 2023-06-23 |
Family
ID=86294224
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310352981.5A Active CN116129390B (zh) | 2023-04-04 | 2023-04-04 | 一种增强曲线感知的车道线精准检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116129390B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116935349B (zh) * | 2023-09-15 | 2023-11-28 | 华中科技大学 | 一种基于Zigzag变换的车道线检测方法、系统、设备及介质 |
| CN117576649B (zh) * | 2023-12-26 | 2024-04-30 | 华东师范大学 | 一种基于分割点和双特征增强的车道线检测方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113468967A (zh) * | 2021-06-02 | 2021-10-01 | 北京邮电大学 | 基于注意力机制的车道线检测方法、装置、设备及介质 |
| WO2021244621A1 (zh) * | 2020-06-04 | 2021-12-09 | 华为技术有限公司 | 基于全局引导选择性上下文网络的场景语义解析方法 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN113936266A (zh) * | 2021-10-19 | 2022-01-14 | 西安电子科技大学 | 一种基于深度学习的车道线检测方法 |
| CN114913493A (zh) * | 2022-04-25 | 2022-08-16 | 南京航空航天大学 | 一种基于深度学习的车道线检测方法 |
| CN115861951A (zh) * | 2022-11-27 | 2023-03-28 | 石家庄铁道大学 | 一种基于双特征提取网络的复杂环境车道线精准检测方法 |
-
2023
- 2023-04-04 CN CN202310352981.5A patent/CN116129390B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021244621A1 (zh) * | 2020-06-04 | 2021-12-09 | 华为技术有限公司 | 基于全局引导选择性上下文网络的场景语义解析方法 |
| US11222217B1 (en) * | 2020-08-14 | 2022-01-11 | Tsinghua University | Detection method using fusion network based on attention mechanism, and terminal device |
| CN113468967A (zh) * | 2021-06-02 | 2021-10-01 | 北京邮电大学 | 基于注意力机制的车道线检测方法、装置、设备及介质 |
| CN113936266A (zh) * | 2021-10-19 | 2022-01-14 | 西安电子科技大学 | 一种基于深度学习的车道线检测方法 |
| CN114913493A (zh) * | 2022-04-25 | 2022-08-16 | 南京航空航天大学 | 一种基于深度学习的车道线检测方法 |
| CN115861951A (zh) * | 2022-11-27 | 2023-03-28 | 石家庄铁道大学 | 一种基于双特征提取网络的复杂环境车道线精准检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| LLDNet: A Lightweight Lane Detection Approach for Autonomous Cars Using Deep Learning;Md. Al-Masrur Khan;Sensors;全文 * |
| 引入辅助损失的多场景车道线检测;陈立潮;徐秀芝;曹建芳;潘理虎;;中国图象图形学报(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116129390A (zh) | 2023-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116129390B (zh) | 一种增强曲线感知的车道线精准检测方法 | |
| CN108985269B (zh) | 基于卷积和空洞卷积结构的融合网络驾驶环境感知模型 | |
| CN110728658A (zh) | 一种基于深度学习的高分辨率遥感影像弱目标检测方法 | |
| CN111208818B (zh) | 基于视觉时空特征的智能车预测控制方法 | |
| CN113343858B (zh) | 路网地理位置识别方法、装置、电子设备及存储介质 | |
| CN113936266A (zh) | 一种基于深度学习的车道线检测方法 | |
| CN112861619A (zh) | 模型的训练方法、车道线检测方法、设备及装置 | |
| CN115861951B (zh) | 一种基于双特征提取网络的复杂环境车道线精准检测方法 | |
| CN115830596A (zh) | 基于融合金字塔注意力的遥感图像语义分割方法 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN117173412A (zh) | 一种基于CNN和Transformer融合网络的医学图像分割方法 | |
| CN117173399A (zh) | 一种跨模态交叉注意力机制的交通目标检测方法及系统 | |
| CN116863241A (zh) | 一种道路场景下基于计算机视觉的端到端语义鸟瞰图生成方法、模型及设备 | |
| CN115294548B (zh) | 一种基于行方向上位置选择和分类方法的车道线检测方法 | |
| CN116721206A (zh) | 一种实时的室内场景视觉同步定位与建图方法 | |
| CN116363610A (zh) | 一种基于改进YOLOv5的航拍车辆旋转目标检测方法 | |
| CN116129234A (zh) | 一种基于注意力的4d毫米波雷达与视觉的融合方法 | |
| CN113971764B (zh) | 一种基于改进YOLOv3的遥感图像小目标检测方法 | |
| CN115861944A (zh) | 一种基于激光雷达的交通目标检测系统 | |
| CN115909245A (zh) | 一种基于深度学习的视觉多任务处理方法 | |
| CN115424225A (zh) | 一种面向自动驾驶系统的三维实时目标检测方法 | |
| CN114550160A (zh) | 一种基于三维点云数据和交通场景的汽车识别方法 | |
| CN113936139B (zh) | 一种视觉深度信息与语义分割相结合的场景鸟瞰图重构方法及系统 | |
| CN116958952B (zh) | 一种适用于高速公路监控视频下的车牌目标检测方法 | |
| CN112634135B (zh) | 基于超分辨率风格迁移网络的遥感影像超分辨率重建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |