CN116229409A - 一种引入全局特征和多尺度特征的人行横道线检测方法 - Google Patents
一种引入全局特征和多尺度特征的人行横道线检测方法 Download PDFInfo
- Publication number
- CN116229409A CN116229409A CN202211536442.9A CN202211536442A CN116229409A CN 116229409 A CN116229409 A CN 116229409A CN 202211536442 A CN202211536442 A CN 202211536442A CN 116229409 A CN116229409 A CN 116229409A
- Authority
- CN
- China
- Prior art keywords
- crosswalk
- feature
- crosswalk line
- line detection
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000000694 effects Effects 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 5
- 238000012360 testing method Methods 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims description 27
- 239000010410 layer Substances 0.000 claims description 27
- 230000006870 function Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000007547 defect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000002787 reinforcement Effects 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 239000002356 single layer Substances 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract 1
- 238000013135 deep learning Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 101150077939 mapA gene Proteins 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种引入全局特征和多尺度特征的人行横道线检测方法，属于图像处理、计算机视觉技术领域，步骤包括路况图像采集，构建人行横道线数据集；对人行横道线数据集中的路况图像预处理；根据目标检测算法构建人行横道线检测模型；通过人行横道线检测模型对路况图像进行检测，并生成标注预测框的路况图像；采用的损失函数将目标真实框的参数与预测框解码后的参数进行对比，进行人行横道线检测模型训练；对测试集和车前摄像头实时拍摄的前方路况图像进行检测，将数据集中的人行横道线标出并输出识别准召率，以验证改进模型的效果。本发明能够现对复杂交通场景中的人行横道线准确检测，从而辅助车辆实现智能驾驶中人行横道线场景判断的任务。
Description
技术领域
本发明涉及图像处理、计算机视觉技术领域，尤其是一种引入全局特征和多尺度特征的人行横道线检测方法。
背景技术
无人驾驶汽车的核心技术是车辆对于道路环境的感知能力，车辆感知道路中关键信息、做出判断并下达运动控制指令，从而保障车辆合规行驶和交通安全。如今交通路况愈加趋于严峻繁杂，人行横道线区域仍然是行人在交通场景中通行的最主要区域，因此准确识别人行横道线在路况中的位置成为规范道路交通秩序、保障行人安全的关键因素，在检测过程中要使检测的准召率尽可能保持在较高水平以应对各种复杂的路况变化。
计算机视觉中目标检测方法主要分为特征法、模型法和深度学习法。特征法主要通过对被检测物体与其它背景区域之间的色彩差异及物体间距离等某些特定特征完成检测，但容易受到光照、噪声等因素的影响造成误检。模型法主要是分析图像获得模型参数，建立模型以进行检测物体标志的提取，虽然对噪声、光照等有很好的适用性，但建立的模型往往不能适用于复杂场景，且检测时间随着模型复杂程度的增加而增加。基于深度学习的目标检测算法飞速发展并在检测任务中取得了更好的成绩，将图片输入进网络中通过多层卷积操作提取出图像的深层语义特征即可完成对目标的学习和识别，很好的解决了实时检测物体过程中光照不均匀、环境噪声过大等问题，网络模型通用性较强，且在硬件算力的支持实时推理检测。因此，使用深度学习算法对路况中的人行横道线进行检测任务。
在实际交通路况中，人行横道线容易因磨损产生缺陷，也容易被车辆和行人遮挡，且因车辆行驶方向不同导致呈现的尺度和形状不同，进而影响检测模型的准召率。
发明内容
本发明需要解决的技术问题是提供一种引入全局特征和多尺度特征的人行横道线检测方法，实现对复杂交通场景中的人行横道线准确检测，从而辅助车辆实现智能驾驶中人行横道线场景判断的任务。
为解决上述技术问题，本发明所采用的技术方案是：
一种引入全局特征和多尺度特征的人行横道线检测方法，包括以下步骤：
S1、路况图像采集，构建人行横道线数据集；
S2、对人行横道线数据集中的路况图像预处理；
S3、根据目标检测算法构建人行横道线检测模型；
S4、通过人行横道线检测模型对路况图像进行检测，并生成标注预测框的路况图像；
S5、采用的损失函数将目标真实框的参数与预测框解码后的参数进行对比，进行人行横道线检测模型训练；
S6、调用训练好的人行横道线检测模型，对测试集和车前摄像头实时拍摄的前方路况图像进行检测，将数据集中的人行横道线标出并输出识别准召率，以验证改进模型的效果。
本发明技术方案的进一步改进在于：S1中，将车前行车记录仪拍摄的实际路况中不同角度、不同大小、不同遮挡或缺陷面积的人行横道线图片标注为数据集，图片像素为4000*3000，共计3000张。
本发明技术方案的进一步改进在于：S2中，对人行横道线数据集采用马赛克数据增强方法，在训练网络前对训练集中的每四张图片分别随机进行翻转、剪裁、缩放、色域变化等操作，并且放置为四个不同方向。
本发明技术方案的进一步改进在于：S3中，所述人行横道线检测模型由主干特征提取网络、加强特征提取网络、预测网络共3个网络组成，在主干特征提取网络输出的三个不同深度的特征图后增加了自注意力模块，在加强特征提取网络输出的三个不同深度的特征图后增加了多尺度模块。
本发明技术方案的进一步改进在于：S4中，具体包括以下步骤：
S4.1输入待测路况图像，将图像尺寸调整为416×416；
S4.2主干特征提取网络提取表层语义信息；
主干特征提取网络通过一系列卷积操作压缩输入图片的宽高并扩张其通道数，提取出3个具有表层语义信息的有效特征图，传入自注意力模块以捕捉图像的全局信息；
S4.3将具有表层语义信息的有效特征图引入自注意力模块，捕捉图像全局信息；
S4.4将特征层输入引入多尺度模块的加强特征提取网络，提取高级语义特征信息；
通过上下采样和特征融合获得高级语义特征信息，并将输出图像分别划分为含有13×13、26×26、52×52个网格的三个有效特征层；
S4.5将高级语义特征信息传入多尺度模块，以增大图像的感受野；
S4.6将高级语义信息传到预测网络，生成标注预测框的路况图像；
通过聚类算法在每个特征层的每个网格上生成3个先验框用于检测不同形状的物体，之后计算出每个先验框中是否包含物体、物体种类及调整参数，最终经过非极大值抑制处理生成预测框并将预测结果标注在图片上，完成检测任务。
本发明技术方案的进一步改进在于：S4.3中，具体包括以下步骤：
S4.3.1将主干特征提取网络输出的特征图经过输出通道大小不同的1x1卷积得到f(x)、g(x)和h(x)，其中，f(x)的输出为[C/8,W,H]，g(x)的输出为[C/8,W,H]，h(x)的输出为[C,W,H]；
S4.3.2将f(x)的转置和g(x)矩阵乘，具体为sij＝f(xi)Tg(xj)，得到输出为[N,N](N＝W x H)的矩阵S，将S看做一个表示长H宽W特征图上各个像素点相关性的矩阵；再将S矩阵逐行归一化得到β矩阵，具体为
S4.3.3将h(x)最后两个维度展平为[C,N]，将β矩阵的N种注意力权重应和h(x)逐像素点相乘得到自适应的注意力特征图，具体为
得到N个新的像素点作为输出特征图，继续后续计算。
本发明技术方案的进一步改进在于：S4.5中，多尺度模块引入至加强特征提取网络输出的三个不同深度的特征图后，所述多尺度模块包含了上下文模块和普通卷积层，最终将上下文模块和普通卷积层拼接以检测小、中、大尺度的图像；
在多尺度模块中采用堆叠较小卷积核的策略，将2个串联的3×3卷积层和3个3×3的卷积层并联，在达到大卷积核效果的同时减少了模型参数量；上下文模块获取深度图中更大感受野的上下文信息，并通过单层卷积层对上下文信息进行特征拼接和合并。
本发明技术方案的进一步改进在于：S5中，所述损失函数包括正样本回归损失函数、置信度损失函数和预测种类损失函数。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明引入的多尺度检测模块通过对上下文进行建模增加了对关键特征层的感受野，自注意力模块使模型可以很好的处理图像中长范围、多层次的依赖关系，使模型可以学习到关于人行横道线的全局信息；相比于同类型深度学习模型和改进前的原版模型，本算法对行人和人行横道线检测准确率和召回率都有提升，更好的满足智能驾驶场景中人行横道线检测模型对精度的需求。
2、本发明使用马赛克数据增强方法，在训练集中增加了不同尺度的目标，在训练网络前每次对训练集中的每四张图片分别随机进行翻转、剪裁、缩放、色域变化等操作，并且放置为四个不同方向，提升了人行横道线检测模型的鲁棒性。
3、本发明在提高感受野、关注全局信息和减小参数量之间取得很好的平衡，保证了模型训练和推理的效率，实验证明本方法可以在复杂交通场景中实时识别人行横道线并在图中标出。
附图说明
图1为本发明中人行横道线检测系统结构图；
图2为本发明中人行横道线检测模型流程图；
图3为本发明中检测主干特征提取网络后引入的自注意力模块结构图；
图4为本发明中检测加强特征提取网络后引入的多尺度模块结构图。
具体实施方式
下面结合附图及实施例对本发明做进一步详细说明：
当前实际交通路况中，因人行横道线存在缺陷和遮挡，且人行横道线对于车辆存在角度变化和距离变化，导致检测算法对人行横道线的准召率较低。针对上述问题，本发明提供了一种引入全局特征和多尺度特征的人行横道线检测方法，对人行横道线达到较高检测精度的同时保持了较高的计算效率，可满足智能驾驶场景检测任务的需求。
一种引入全局特征和多尺度特征的人行横道线检测方法，包括以下步骤：
S1、路况图像采集，构建人行横道线数据集；
为进行模型训练、验证和测试，将车前行车记录仪拍摄的3000张图片标注为数据集。数据集均为实际路况中不同角度、不同大小、不同遮挡或缺陷面积的人行横道线图片，图片像素为4000*3000，图片中的人行横道线均通过LabelImg被规范标注。
S2、对人行横道线数据集中的路况图像预处理；
本实施例对人行横道线数据集采用马赛克数据增强方法，在训练网络前对训练集中的每四张图片分别随机进行翻转、剪裁、缩放、色域变化等操作，并且放置为四个不同方向。
S3、根据目标检测算法构建人行横道线检测模型；
目标检测算法由主干特征提取网络、加强特征提取网络、预测网络共3个网络组成。本方案对网络结构进行改造，在主干特征提取网络输出的三个不同深度的特征图后增加了自注意力模块，在加强特征提取网络输出的三个不同深度的特征图后增加了多尺度模块，具体如图1所示。
S4、通过人行横道线检测模型对路况图像进行检测，并生成标注预测框的路况图像；
如图2所示，具体包括以下步骤：
S4.1输入待测路况图像，将图像尺寸调整为416×416；
S4.2主干特征提取网络提取表层语义信息；
主干特征提取网络通过一系列卷积操作压缩输入图片的宽高并扩张其通道数，提取出3个具有表层语义信息的有效特征图，传入自注意力模块以捕捉图像的全局信息；
S4.3将具有表层语义信息的有效特征图引入自注意力模块，捕捉图像全局信息；
在主干特征提取网络输出的三个不同深度的特征图后增加了自注意力模块，使模型在关注图像局部的细节的同时可以额外关注图像的全局信息。
自注意力模块结构图具体如图3所示，具体包括以下步骤：
S4.3.1将主干特征提取网络输出的特征图经过输出通道大小不同的1x1卷积得到f(x)、g(x)和h(x)，其中，f(x)的输出为[C/8,W,H]，g(x)的输出为[C/8,W,H]，h(x)的输出为[C,W,H]；
S4.3.2将f(x)的转置和g(x)矩阵乘，具体为sij＝f(xi)Tg(xj)，得到输出为[N,N](N＝W x H)的矩阵S，将S看做一个表示长H宽W特征图上各个像素点相关性的矩阵；再将S矩阵逐行归一化得到β矩阵，具体为
S4.3.3将h(x)最后两个维度展平为[C,N]，将β矩阵的N种注意力权重应和h(x)逐像素点相乘得到自适应的注意力特征图，具体为
得到N个新的像素点作为输出特征图，继续后续计算。
模型中引入的自注意力模块与原网络卷积操作相辅相成，利用图像远处部分的互补特征而不是固定形状的局部区域来检测图像，使网络在每层深度特征图都关注全局关键特征，可优化对不同缺陷和遮挡情况人行横道线的检测效果。
S4.4将特征层输入引入多尺度模块的加强特征提取网络，提取高级语义特征信息；
通过上下采样和特征融合获得高级语义特征信息，并将输出图像分别划分为含有13×13、26×26、52×52个网格的三个有效特征层。
S4.5将高级语义特征信息传入多尺度模块，以增大图像的感受野；
多尺度模块引入至加强特征提取网络输出的三个不同深度的特征图后，多尺度模块具体结构如图4所示，包含了上下文模块和普通卷积层，最终将上下文模块和普通卷积层拼接以检测小、中、大尺度的图像，可优化对不同角度和不同尺寸人行横道线的检测效果。
为了在获得更大感受野的同时保持较少的参数，在多尺度模块中采用堆叠较小卷积核的策略，将2个串联的3×3卷积层和3个3×3的卷积层并联，在达到大卷积核效果的同时减少了模型参数量；上下文模块获取深度图中更大感受野的上下文信息，并通过单层卷积层对上下文信息进行特征拼接和合并。
S4.6将高级语义信息传到预测网络，生成标注预测框的路况图像；
通过聚类算法在每个特征层的每个网格上生成3个先验框用于检测不同形状的物体，之后计算出每个先验框中是否包含物体、物体种类及调整参数，最终经过非极大值抑制处理生成预测框并将预测结果标注在图片上，完成检测任务。
S5、采用的损失函数将目标真实框的参数与预测框解码后的参数进行对比，进行人行横道线检测模型训练；
选取以下3类损失函数进行计算并训练：
正样本回归损失函数：选取完全重叠度(Complete Intersection Over Union，简称ciou)为指标，其包含了目标与先验框之间的距离、重叠率、尺度以及惩罚项，使得先验框回归变得更加稳定；
置信度损失函数：将实际存在目标的预测结果置信度的值与1对比；实际不存在目标的预测结果置信度的值与0对比；
预测种类损失函数：将实际上存在目标的预测类与真实类对比；
最后计算正样本回归损失函数、置信度损失函数、预测种类损失函数三个损失值的和，并返回为一个损失值进行训练优化。
S6、调用训练好的人行横道线检测模型，对测试集和车前摄像头实时拍摄的前方路况图像进行检测，将数据集中的人行横道线标出并输出识别准召率，以验证改进模型的效果。
实验表明本方法能从远距离多角度实时识别出不同缺陷和遮挡情况的人行横道线并在图中标出，准召率优于同类深度学习算法和原版算法，同时也证明该方法具有强鲁棒性，能适应不同智能驾驶场景。
综上所述，本发明能够现对复杂交通场景中的人行横道线准确检测，从而辅助车辆实现智能驾驶中人行横道线场景判断的任务。
Claims (8)
1.一种引入全局特征和多尺度特征的人行横道线检测方法，其特征在于：包括以下步骤：
S1、路况图像采集，构建人行横道线数据集；
S2、对人行横道线数据集中的路况图像预处理；
S3、根据目标检测算法构建人行横道线检测模型；
S4、通过人行横道线检测模型对路况图像进行检测，并生成标注预测框的路况图像；
S5、采用的损失函数将目标真实框的参数与预测框解码后的参数进行对比，进行人行横道线检测模型训练；
S6、调用训练好的人行横道线检测模型，对测试集和车前摄像头实时拍摄的前方路况图像进行检测，将数据集中的人行横道线标出并输出识别准召率，以验证改进模型的效果。
2.根据权利要求1所述的一种引入全局特征和多尺度特征的人行横道线检测方法，其特征在于：S1中，将车前行车记录仪拍摄的实际路况中不同角度、不同大小、不同遮挡或缺陷面积的人行横道线图片标注为数据集，图片像素为4000*3000，共计3000张。
3.根据权利要求1所述的一种引入全局特征和多尺度特征的人行横道线检测方法，其特征在于：S2中，对人行横道线数据集采用马赛克数据增强方法，在训练网络前对训练集中的每四张图片分别随机进行翻转、剪裁、缩放、色域变化等操作，并且放置为四个不同方向。
4.根据权利要求1所述的一种引入全局特征和多尺度特征的人行横道线检测方法，其特征在于：S3中，所述人行横道线检测模型由主干特征提取网络、加强特征提取网络、预测网络共3个网络组成，在主干特征提取网络输出的三个不同深度的特征图后增加了自注意力模块，在加强特征提取网络输出的三个不同深度的特征图后增加了多尺度模块。
5.根据权利要求1所述的一种引入全局特征和多尺度特征的人行横道线检测方法，其特征在于：S4中，具体包括以下步骤：
S4.1输入待测路况图像，将图像尺寸调整为416×416；
S4.2主干特征提取网络提取表层语义信息；
主干特征提取网络通过一系列卷积操作压缩输入图片的宽高并扩张其通道数，提取出3个具有表层语义信息的有效特征图，传入自注意力模块以捕捉图像的全局信息；
S4.3将具有表层语义信息的有效特征图引入自注意力模块，捕捉图像全局信息；
S4.4将特征层输入引入多尺度模块的加强特征提取网络，提取高级语义特征信息；
通过上下采样和特征融合获得高级语义特征信息，并将输出图像分别划分为含有13×13、26×26、52×52个网格的三个有效特征层；
S4.5将高级语义特征信息传入多尺度模块，以增大图像的感受野；
S4.6将高级语义信息传到预测网络，生成标注预测框的路况图像；
通过聚类算法在每个特征层的每个网格上生成3个先验框用于检测不同形状的物体，之后计算出每个先验框中是否包含物体、物体种类及调整参数，最终经过非极大值抑制处理生成预测框并将预测结果标注在图片上，完成检测任务。
6.根据权利要求5所述的一种引入全局特征和多尺度特征的人行横道线检测方法，其特征在于：S4.3中，具体包括以下步骤：
S4.3.1将主干特征提取网络输出的特征图经过输出通道大小不同的1x1卷积得到f(x)、g(x)和h(x)，其中，f(x)的输出为[C/8,W,H]，g(x)的输出为[C/8,W,H]，h(x)的输出为[C,W,H]；
S4.3.2将f(x)的转置和g(x)矩阵乘，具体为sij＝f(xi)Tg(xj)，得到输出为[N,N](N＝Wx H)的矩阵S，将S看做一个表示长H宽W特征图上各个像素点相关性的矩阵；再将S矩阵逐行归一化得到β矩阵，具体为
S4.3.3将h(x)最后两个维度展平为[C,N]，将β矩阵的N种注意力权重应和h(x)逐像素点相乘得到自适应的注意力特征图，具体为
得到N个新的像素点作为输出特征图，继续后续计算。
7.根据权利要求5所述的一种引入全局特征和多尺度特征的人行横道线检测方法，其特征在于：S4.5中，多尺度模块引入至加强特征提取网络输出的三个不同深度的特征图后，所述多尺度模块包含了上下文模块和普通卷积层，最终将上下文模块和普通卷积层拼接以检测小、中、大尺度的图像；
在多尺度模块中采用堆叠较小卷积核的策略，将2个串联的3×3卷积层和3个3×3的卷积层并联，在达到大卷积核效果的同时减少了模型参数量；上下文模块获取深度图中更大感受野的上下文信息，并通过单层卷积层对上下文信息进行特征拼接和合并。
8.根据权利要求1所述的一种引入全局特征和多尺度特征的人行横道线检测方法，其特征在于：S5中，所述损失函数包括正样本回归损失函数、置信度损失函数和预测种类损失函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211536442.9A CN116229409A (zh) | 2022-12-02 | 2022-12-02 | 一种引入全局特征和多尺度特征的人行横道线检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211536442.9A CN116229409A (zh) | 2022-12-02 | 2022-12-02 | 一种引入全局特征和多尺度特征的人行横道线检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116229409A true CN116229409A (zh) | 2023-06-06 |
Family
ID=86577401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211536442.9A Pending CN116229409A (zh) | 2022-12-02 | 2022-12-02 | 一种引入全局特征和多尺度特征的人行横道线检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116229409A (zh) |
-
2022
- 2022-12-02 CN CN202211536442.9A patent/CN116229409A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109977812B (zh) | 一种基于深度学习的车载视频目标检测方法 | |
| CN114565900A (zh) | 基于改进YOLOv5和双目立体视觉的目标检测方法 | |
| CN109902676B (zh) | 一种基于动态背景的违停检测算法 | |
| CN111814621A (zh) | 一种基于注意力机制的多尺度车辆行人检测方法及装置 | |
| CN113095152B (zh) | 一种基于回归的车道线检测方法及系统 | |
| CN115205264A (zh) | 一种基于改进YOLOv4的高分辨率遥感船舶检测方法 | |
| CN113129336A (zh) | 一种端到端多车辆跟踪方法、系统及计算机可读介质 | |
| CN113313031B (zh) | 一种基于深度学习的车道线检测和车辆横向定位方法 | |
| CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
| CN115294548B (zh) | 一种基于行方向上位置选择和分类方法的车道线检测方法 | |
| CN114913498A (zh) | 一种基于关键点估计的并行多尺度特征聚合车道线检测方法 | |
| CN116524189A (zh) | 一种基于编解码索引化边缘表征的高分辨率遥感图像语义分割方法 | |
| CN116597411A (zh) | 极端天气下无人驾驶车辆识别交通标志的方法及系统 | |
| CN112801021B (zh) | 基于多级语义信息的车道线检测方法及系统 | |
| CN107045630A (zh) | 一种基于rgbd的行人检测和身份识别方法及系统 | |
| CN117710918A (zh) | 一种车道线检测方法和系统 | |
| CN117334040A (zh) | 一种跨域路侧感知多车辆关联方法及系统 | |
| CN115359091A (zh) | 一种用于移动机器人的装甲板检测跟踪方法 | |
| CN116229409A (zh) | 一种引入全局特征和多尺度特征的人行横道线检测方法 | |
| CN110084190B (zh) | 一种基于ann的剧烈光照环境下实时非结构化道路检测方法 | |
| CN113239962A (zh) | 一种基于单个固定摄像头的交通参与者的识别方法 | |
| Li et al. | A fast detection method for polynomial fitting lane with self-attention module added | |
| CN118397602B (zh) | 一种智能路牌识别车载摄像头系统 | |
| CN113111732B (zh) | 一种高速服务区密集行人检测方法 | |
| CN116977969B (zh) | 基于卷积神经网络的驾驶员两点预瞄识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |