CN114463772A - 基于深度学习的交通标志检测与识别方法及系统 - Google Patents

基于深度学习的交通标志检测与识别方法及系统 Download PDF

Info

Publication number
CN114463772A
CN114463772A CN202210036922.2A CN202210036922A CN114463772A CN 114463772 A CN114463772 A CN 114463772A CN 202210036922 A CN202210036922 A CN 202210036922A CN 114463772 A CN114463772 A CN 114463772A
Authority
CN
China
Prior art keywords
traffic sign
features
fusion
detection
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210036922.2A
Other languages
English (en)
Other versions
CN114463772B (zh
Inventor
黄伟国
高尔峰
张梓伟
王俊
杜贵府
朱忠奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202210036922.2A priority Critical patent/CN114463772B/zh
Publication of CN114463772A publication Critical patent/CN114463772A/zh
Application granted granted Critical
Publication of CN114463772B publication Critical patent/CN114463772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种基于深度学习的交通标志检测与识别方法，方法包括获取交通标志数据集并对其进行预处理，获得交通标志图像，提取交通标志图像的特征；将交通标志数据集的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；将融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的预测结果进行目标框筛选，得到最终的检测结果。本发明提出自适应空间注意力特征融合模型和层级分组归一化指数函数，总体上提高了对于小交通标志以及样本匮乏的交通标志类别的检测准确率。

Description

基于深度学习的交通标志检测与识别方法及系统
技术领域
本发明涉及目标检测技术领域，尤其是指一种基于深度学习的交通标志检测与识别方法及系统。
背景技术
随着人工智能技术的飞速发展，无人驾驶、辅助驾驶等智能驾驶技术已经成为当前研究和应用的热点。交通标志检测是智能驾驶中交通场景理解的重要内容,通过提供驾驶员当前准确有效的交通标志信息可以提高驾驶时的安全性、舒适性。而提供错误的交通标志信息会导致交通事故、甚至人员伤亡。因此交通标志检测在先进的驾驶辅助系统(ADAS)和自动化驾驶中都发挥着关键作用。
传统交通标志识别方法通常基于人工提取特征，例如颜色特征、形状特征、哈尔(Haar)特征，局部二值模式(LBP)特征以及方向梯度直方图(HOG)特征等。基于颜色特征的交通检测方法对最常用的交通标志颜色(红色、黄色、蓝色)进行分割，将RGB图像转换为其他颜色空间，以减少光照敏感度，增强目标色调，从而提取感兴趣的区域(Rols)。由于在自然场景中光照条件、天气状况的变化，以及在背景中可能出现与交通标志同一颜色的物体，基于颜色特征的交通标志检测方法并不可靠。基于形状特征的方法检测出交通标志特定的形状(正方形、圆形或三角形)，以识别具体的交通标志类别。Haar特征，LBP特征配合自适应增强分类器(Adaboost)，HOG特征配合支持向量机(SVM)来检测交通标志。然而这些人工提取的特征对光照、局部遮挡、复杂的背景、角度等因素敏感，无法有效应对复杂多变的自然场景。
目前，随着深度学习技术的快速发展，目标检测领域取得了显著的进步，交通标志检测也不例外。基于深度学习的交通标志检测方法利用卷积神经网络(CNN)提取特征，Serna等提出了一个基于符号和文本的交通标志检测框架，并将德国交通标志检测数据集(GTSDB)扩展到8大类。Tian等提出了一个基于循环注意力机制多尺度分析的交通标志检测框架。Zhu等提出了交通标志检测的挑战性数据集TT100K，并训练了一个的端到端卷积神经网络来同时检测和分类交通标志。Li等提出了一个新的感知生成对抗网络，该网络通过生成小物体的超分辨率表示以缩小大物体与小物体的表示差异，从而提升小交通标志检测性能。Liu等提出一个新的交通标志检测网络TSingNet，该网络学习丰富的上下文特征，以有效地检测被遮挡的交通标志。Shen等提出了一个多尺度注意力金字塔框架，通过聚合不同尺度的特征来增强特征表示以提升小目标检测性能。上述研究成果表明，基于深度学习的交通标志检测方法取得较大的改进，相较于其他方法呈现出一定的优越性。但是上述的深度学习方法在交通标志检测上效果不好，其主要原因是：1)与常规的目标检测不同，交通标志在图像中占比小，缺乏充足的外观信息学习特征，小目标难以被检测；2)交通标志类别多，且在真实世界中遵循长尾分布(只有少部分类别有充足的样本，大部分类别样本匮乏)，其样本不均衡导致分类器更倾向于预测样本充足的类别(头部类别)，难以检测样本匮乏的类别(尾部类别)。
发明内容
为此，本发明所要解决的技术问题在于克服现有技术存在的问题，提出一种基于深度学习的交通标志检测与识别方法及系统，结合自适应空间注意力特征融合模型和层级分组归一化指数函数，总体上提高了对于小交通标志以及样本匮乏的交通标志类别的检测准确率。
为解决上述技术问题，本发明提供一种基于深度学习的交通标志检测与识别方法，包括以下步骤：
获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
将所述交通标志图像的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
在本发明的一个实施例中，对所述交通标志数据集进行预处理，包括：
对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别ID，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件。
在本发明的一个实施例中，提取所述交通标志图像的特征，包括：
将所述交通标志图像制作为标准尺寸，并将其输入至Yolov5目标检测网络中，利用骨干网络CSPDarknet-53提取图像特征，生成不同尺度的特征图。
在本发明的一个实施例中，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征，包括：
将所述交通标志图像不同尺度的特征进行升采样或者降采样操作，得到每个尺度对应的输入特征，将每个尺度的输入特征经过池化操作生成池化特征，对所述池化特征进行卷积操作并拼接，获得拼接特征；
对所述拼接特征进行卷积操作，得到相应的空间注意力特征图，将同一尺度的空间注意力特征图经过通道维度归一化指数函数得到相应的权重矩阵，并将同一尺度的权重矩阵与相应的输入特征对应元素相乘进行融合，得到融合特征。
在本发明的一个实施例中，将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，包括：
将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组G1 [1]，第二层级有三组{G1 [2]，G2 [2]，G3 [2]}，第三层级有六组{G1 [3]，G2 [3]，G3 [3]，G4 [3]，G5 [3]，G6 [3]}，通过对样本相对均衡的组应用归一化指数函数得到预测结果。
6.根据权利要求5所述的基于深度学习的交通标志检测与识别方法，其特征在于：某一类别的预测概率的计算公式如下：
Figure BDA0003468819550000044
Figure BDA0003468819550000045
其中，
Figure BDA0003468819550000046
代表网络对于第k层级第j类别的输出，Gn [k]代表第k层级第n组，
Figure BDA0003468819550000048
代表第k层级第j类别的预测概率，pj代表第j类别的最终概率。
此外，本发明还提供一种基于深度学习的交通标志检测与识别系统，包括：
数据获取模块，所述数据获取模块用于获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
特征融合模块，所述特征融合模块用于将所述交通标志数据集的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
分类检测模块，所述分类检测模块用于将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
在本发明的一个实施例中，所述数据获取模块包括：
数据预处理子模块，所述数据预处理子模块用于对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别ID，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件。
在本发明的一个实施例中，所述特征融合模块包括：
多尺度特征拼接子模块，所述多尺度特征拼接子模块用于将所述交通标志图像不同尺度的特征进行升采样或者降采样操作，得到每个尺度对应的输入特征，将每个尺度的输入特征经过池化操作生成池化特征，对所述池化特征进行卷积操作并拼接，获得拼接特征；
多尺度特征融合子模块，所述多尺度特征融合子模块用于对所述拼接特征进行卷积操作，得到相应的空间注意力特征图，将同一尺度的空间注意力特征图经过通道维度归一化指数函数得到相应的权重矩阵，并将同一尺度的权重矩阵与相应的输入特征对应元素相乘进行融合，得到融合特征。
在本发明的一个实施例中，所述分类检测模块包括：
初步预测子模块，所述初步预测子模块用于将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组G1 [1]，第二层级有三组{G1 [2]，G2 [2]，G3 [2]}，第三层级有六组{G1 [3]，G2 [3]，G3 [3]，G4 [3]，G5 [3]，G6 [3]}，通过对样本相对均衡的组应用归一化指数函数得到预测结果。
本发明的上述技术方案相比现有技术具有以下优点：
本发明突破现有交通标志检测方法只能检测部分交通标志类别的限制，针对交通标志在图像中占比小的问题，提出自适应空间注意力特征融合模型，该模型在特征融合过程中加强重要区域的特征并抑制非重要区域的特征，从而得到一个更精细化的特征，并缩小不同尺度特征之间的语义差距；并且针对交通标志长尾分布问题，提出层级分组归一化指数函数，通过构建标签树将交通标志类别分组，得到若干样本相对均衡的组并应用归一化指数函数得到最后预测结果，总体上提高了对于小交通标志以及样本匮乏的交通标志类别的检测准确率。
附图说明
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明。
图1为本发明一种基于深度学习的交通标志检测方法的流程图。
图2为本发明实施例公开的一种基于深度学习的交通标志检测方法的具体实施方式流程图。
图3为本发明实施例提供的交通标志检测模型总体结构图。
图4为本发明实施例使用的骨干网络CSPDarknet-53模块结构图。
图5为本发明实施例提供的自适应空间注意力特征融合模型结构图。
图6为本发明实施例提供的层级分组归一化指数函数检测头结构图。
图7为本发明实施例的交通标志检测与识别结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
实施例一
请参阅图1所示，本实施例提供一种基于深度学习的交通标志检测与识别方法，包括以下步骤：
S100：获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
S200：将所述交通标志数据集的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
S300：将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式S100，对所述交通标志数据集进行预处理包括对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别ID，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件，txt标签格式为:[类别ID,目标框中心点相对横坐标x,目标框中心点相对纵坐标y,目标框相对宽度w,目标框相对高度h]，其计算公式如下：
x＝目标框中心横坐标/图像总宽度；
y＝目标框中心纵坐标/图像总高度；
w＝目标框宽度/图像总宽度；
h＝目标框高度/图像总高度。
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式S100，提取所述交通标志图像的特征包括将所述交通标志图像制作为标准尺寸，并将其输入至Yolov5目标检测网络中，利用骨干网络CSPDarknet-53提取图像特征，生成特征图。作为示例地，首先利用骨干网络CSPDarknet-53提取图像特征，生成{C1,C2,C3,C4,C5}五个特征图，分辨率分别为640×640、320×320、160×160、80×80和40×40像素，其中{C3,C4,C5}将被输入至自适应空间注意力特征融合模型。
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式S200，自适应空间注意力特征融合模型将输入的{C3,C4,C5}特征融合，具体为每一{C3,C4,C5}特征通过升采样或者降采样生成三个尺度分别为160×160、80×80和40×40像素的特征，得到每个尺度的输入特征{C3,C3→4,C3→5,C4,C4→3,C4→5,C5,C5→3,C5→4}。各个输入特征经过池化操作生成Cpool，随后分别对Cpool进行3×3,5×5,和7×7卷积操作并拼接，再对拼接后的特征进行1×1卷积操作，得到相应的空间注意力特征图M(C)，同一尺度的空间注意力特征图经过通道维度归一化指数函数后得到相应的权重矩阵Ms(C)，最后同一尺度权重矩阵与相应的输入特征对应元素相乘并融合得到最后的融合矩阵F并输入至层级分组归一化指数函数检测头。
上述过程可由如下公式表达：
M(C)＝f1×1(f3×3(Cpool)+f5×5(Cpool)+f7×7(Cpool))
Figure BDA0003468819550000081
Figure BDA0003468819550000082
其中，M(C)代表网络对于输入特征C输出的注意力特征图，Cpool代表对应输入特征C的池化特征，fn×n代表卷积核为n×n的卷积操作，Fk代表第k层级的融合特征，Si(·)代表沿着特征通道方向的归一化指数函数。
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式S300，将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果包括：将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组G1 [1]，第二层级有三组{G1 [2]，G2 [2]，G3 [2]}，第三层级有六组{G1 [3]，G2 [3]，G3 [3]，G4 [3]，G5 [3]，G6 [3]}，通过对样本相对均衡的组应用归一化指数函数得到预测结果，某一类别的最终预测概率等于该节点到根节点的所有条件概率之积，某一类别的预测概率的计算公式如下：
Figure BDA0003468819550000093
Figure BDA0003468819550000094
其中，
Figure BDA0003468819550000095
代表网络对于第k层级第j类别的输出，Gn [k]代表第k层级第n组，
Figure BDA0003468819550000097
代表第k层级第j类别的预测概率，pj代表第j类别的最终概率。
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，对于上述实施方式S300，对初步的所述预测结果进行目标框筛选所采用的处理操作包括但不限于NMS、Soft-NMS、Adaptive-NMS等能够筛选目标框的后处理算法。
在本发明公开的一种基于深度学习的交通标志检测与识别方法中，本发明突破现有交通标志检测方法只能检测部分交通标志类别的限制，针对交通标志在图像中占比小的问题，提出自适应空间注意力特征融合模型，该模型在特征融合过程中加强重要区域的特征并抑制非重要区域的特征，从而得到一个更精细化的特征，并缩小不同尺度特征之间的语义差距；并且针对交通标志长尾分布问题，提出层级分组归一化指数函数，通过构建标签树将交通标志类别分组，得到若干样本相对均衡的组并应用归一化指数函数得到最后预测结果，总体上提高了对于小交通标志以及样本匮乏的交通标志类别的检测准确率。
为了更加清楚地了解本发明的技术方案及其效果，下面结合一个具体的实施例进行详细说明。
本实施例所选择的操作系统为Ubuntu 18.04，YOLOv5网络模型的深度学习框架为Pytorch搭配CUDA 10.1版本,硬件环境为Intel(R) Xeon(R) CPU E5-2690 v3@2.60GHz处理器，NVIDIA GeForce GTX 2080ti显卡，在训练阶段，模型的权重衰减(Weight Decay)为0.0005，批次大小(Batch Size)为4。
本实施例的检测方法流程图如图2所示，本实施例的检测模型总体结构图如图3所示，具体包括：
1)对TT100K交通标志数据集进行预处理：
对TT100K交通标志数据集预处理包括:对TT100K交通标志数据集进行标注，并将交通标志数据集按照8：2的比例随机划分为训练集和测试集，数据集中共有10000张图像，因此共有8000张图像用来训练，2000张图像用来测试。每一个交通标志类别对应一个类别ID，共有162种交通标志类别,并对数据集的json标签格式转换成Yolov5所需的txt标签格式,每个图像对应一个txt文件，txt格式为:[类别ID,目标框中心点相对横坐标x,目标框中心点相对纵坐标y,目标框相对宽度w,目标框相对高度h]，在本实施例中，图像总高度和总宽度为2048像素，标注数据计算公式如下：
x＝目标框中心横坐标/2048；
y＝目标框中心纵坐标/2048；
w＝目标框宽度/2048；
h＝目标框高度/2048。
2)重新调整大小：
由于不同的图像长宽各不相同，因此需要将图像统一缩放至一个标准尺寸，再送入Yolov5目标检测网络中，在本实施例中，图像将被重新调整为1024×1024像素，随后被输入至骨干网络。
3)骨干网络CSPDarknet-53提取特征：
骨干网络CSPDarknet-53结构图如图4所示。
4)利用自适应空间注意力特征融合模型融合特征：
自适应空间注意力特征融合模型将输入的{C3,C4,C5}特征融合，具体为每一{C3,C4,C5}特征通过升采样或者降采样生成三个尺度分别为160×160、80×80和40×40像素的特征，得到每个尺度的输入特征{C3,C3→4,C3→5,C4,C4→3,C4→5,C5,C5→3,C5→4}。各个输入特征经过池化操作生成Cpool，随后分别对Cpool进行3×3,5×5,和7×7卷积操作并拼接，再对拼接后的特征进行1×1卷积操作，得到相应的空间注意力特征图M(C)，同一尺度的空间注意力特征图经过通道维度归一化指数函数后得到相应的权重矩阵Ms(C)，最后同一尺度权重矩阵与相应的输入特征对应元素相乘并融合得到最后的融合矩阵F并输入至层级分组归一化指数函数检测头。其中自适应空间注意力特征融合模型结构图如图5所示。
5)将融合特征输入至层级分组归一化指数函数检测头：
将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组G1 [1]，第二层级有三组{G1 [2]，G2 [2]，G3 [2]}，第三层级有六组{G1 [3]，G2 [3]，G3 [3]，G4 [3]，G5 [3]，G6 [3]}，通过对样本相对均衡的组应用归一化指数函数得到预测结果，某一类别的最终预测概率等于该节点到根节点的所有条件概率之积，其中层级分组归一化指数函数检测头结构图如图6所示。
6)对初步的预测结果进行后处理操作，得到最终预测结果：
7)本实施例所采用的后处理操作为非极大抑制操作，最终检测与识别结果示意图如图7所示。
实施例二
下面对本发明实施例二公开的一种基于深度学习的交通标志检测与识别系统进行介绍，下文描述的一种基于深度学习的交通标志检测与识别系统与上文描述的一种基于深度学习的交通标志检测与识别方法可相互对应参照。
本发明实施例二公开了一种基于深度学习的交通标志检测与识别系统，包括：
数据获取模块，所述数据获取模块用于获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
特征融合模块，所述特征融合模块用于将所述交通标志数据集的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
分类检测模块，所述分类检测模块用于将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
在本发明公开的一种基于深度学习的交通标志检测与识别系统中，所述数据获取模块包括：
数据预处理子模块，所述数据预处理子模块用于对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别ID，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件。
在本发明公开的一种基于深度学习的交通标志检测与识别系统中，所述特征融合模块包括：
多尺度特征拼接子模块，所述多尺度特征拼接子模块用于将所述交通标志图像不同尺度的特征进行升采样或者降采样操作，得到每个尺度对应的输入特征，将每个尺度的输入特征经过池化操作生成池化特征，该池化特征参数量显著减少同时保留关键信息，对所述池化特征进行卷积操作并拼接，获得拼接特征；
多尺度特征融合子模块，所述多尺度特征融合子模块用于对所述拼接特征进行卷积操作，得到相应的空间注意力特征图，将同一尺度的空间注意力特征图经过通道维度归一化指数函数得到相应的权重矩阵，并将同一尺度的权重矩阵与相应的输入特征对应元素相乘进行融合，得到融合特征。
在本发明公开的一种基于深度学习的交通标志检测与识别系统中，所述分类检测模块包括：
初步预测子模块，所述初步预测子模块用于将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组G1 [1]，第二层级有三组{G1 [2]，G2 [2]，G3 [2]}，第三层级有六组{G1 [3]，G2 [3]，G3 [3]，G4 [3]，G5 [3]，G6 [3]}，通过对样本相对均衡的组应用归一化指数函数得到预测结果。
本实施例的基于深度学习的交通标志检测与识别系统用于实现前述的基于深度学习的交通标志检测与识别方法，因此该系统的具体实施方式可见前文中的基于深度学习的交通标志检测与识别方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的基于深度学习的交通标志检测与识别系统用于实现前述的基于深度学习的交通标志检测与识别方法，因此其作用与上述方法的作用相对应，这里不再赘述。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于深度学习的交通标志检测与识别方法，其特征在于，包括以下步骤：
获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
将所述交通标志图像的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
2.根据权利要求1所述的基于深度学习的交通标志检测与识别方法，其特征在于：对所述交通标志数据集进行预处理，包括：
对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别ID，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件。
3.根据权利要求2所述的基于深度学习的交通标志检测与识别方法，其特征在于：提取所述交通标志图像的特征，包括：
将所述交通标志图像制作为标准尺寸，并将其输入至Yolov5目标检测网络中，利用骨干网络CSPDarknet-53提取图像特征，生成不同尺度的特征图。
4.根据权利要求1所述的基于深度学习的交通标志检测与识别方法，其特征在于：利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征，包括：
将所述交通标志图像的特征进行升采样或者降采样操作，得到每个尺度对应的输入特征，将每个尺度的输入特征经过池化操作生成池化特征，对所述池化特征进行卷积操作并拼接，获得拼接特征；
对所述拼接特征进行卷积操作，得到相应的空间注意力特征图，将同一尺度的空间注意力特征图经过通道维度归一化指数函数得到相应的权重矩阵，并将同一尺度的权重矩阵与相应的输入特征对应元素相乘进行融合，得到融合特征。
5.根据权利要求1或4所述的基于深度学习的交通标志检测与识别方法，其特征在于：将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，包括：
将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组G1 [1]，第二层级有三组{G1 [2],G2 [2],G3 [2]}，第三层级有六组{G1 [3],G2 [3],G3 [3],G4 [3],G5 [3],G6 [3]}，通过对样本相对均衡的组应用归一化指数函数得到预测结果。
6.根据权利要求5所述的基于深度学习的交通标志检测与识别方法，其特征在于：某一类别的预测概率的计算公式如下：
Figure FDA0003468819540000021
Figure FDA0003468819540000022
其中，
Figure FDA0003468819540000023
代表网络对于第k层级第j类别的输出，
Figure FDA0003468819540000024
代表第k层级第n组，
Figure FDA0003468819540000025
代表第k层级第j类别的预测概率，pj代表第j类别的最终概率。
7.一种基于深度学习的交通标志检测与识别系统，其特征在于，包括：
数据获取模块，所述数据获取模块用于获取交通标志数据集并对所述交通标志数据集进行预处理，获得交通标志图像，提取所述交通标志图像的特征；
特征融合模块，所述特征融合模块用于将所述交通标志数据集的特征输入至自适应空间注意力特征融合模型，利用自适应空间注意力特征融合模型提取多尺度特征，并将多尺度特征进行融合生成相应尺度的融合特征；
分类检测模块，所述分类检测模块用于将所述融合特征输入至层级分组归一化指数函数检测头，获得初步的预测结果，对初步的所述预测结果进行目标框筛选，得到最终的检测结果。
8.根据权利要求7所述的基于深度学习的交通标志检测与识别系统，其特征在于：所述数据获取模块包括：
数据预处理子模块，所述数据预处理子模块用于对所述交通标志数据集进行标注,每一个交通标志类别对应一个类别ID，并将数据集的json标签格式转换成txt标签格式,每个图像对应一个txt文件。
9.根据权利要求7所述的基于深度学习的交通标志检测与识别系统，其特征在于：所述特征融合模块包括：
多尺度特征拼接子模块，所述多尺度特征拼接子模块用于将所述交通标志数据集的每个特征通过升采样或者降采样，得到每个尺度的输入特征，将每个尺度的输入特征经过池化操作生成池化特征，对所述池化特征进行卷积操作并拼接，获得拼接特征；
多尺度特征融合子模块，所述多尺度特征融合子模块用于对所述拼接特征进行卷积操作，得到相应的空间注意力特征图，将同一尺度的空间注意力特征图经过通道维度归一化指数函数得到相应的权重矩阵，并将同一尺度的权重矩阵与相应的输入特征对应元素相乘进行融合，得到融合特征。
10.根据权利要求7所述的基于深度学习的交通标志检测与识别系统，其特征在于：所述分类检测模块包括：
初步预测子模块，所述初步预测子模块用于将不同尺度的融合特征输入至层级分组归一化指数函数检测头，其中第一层级有一组G1 [1]，第二层级有三组{G1 [2],G2 [2],G3 [2]}，第三层级有六组{G1 [3],G2 [3],G3 [3],G4 [3],G5 [3],G6 [3]}，通过对样本相对均衡的组应用归一化指数函数得到预测结果。
CN202210036922.2A 2022-01-13 2022-01-13 基于深度学习的交通标志检测与识别方法及系统 Active CN114463772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210036922.2A CN114463772B (zh) 2022-01-13 2022-01-13 基于深度学习的交通标志检测与识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210036922.2A CN114463772B (zh) 2022-01-13 2022-01-13 基于深度学习的交通标志检测与识别方法及系统

Publications (2)

Publication Number Publication Date
CN114463772A true CN114463772A (zh) 2022-05-10
CN114463772B CN114463772B (zh) 2022-11-25

Family

ID=81409439

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210036922.2A Active CN114463772B (zh) 2022-01-13 2022-01-13 基于深度学习的交通标志检测与识别方法及系统

Country Status (1)

Country Link
CN (1) CN114463772B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546901A (zh) * 2022-11-29 2022-12-30 城云科技（中国）有限公司 用于宠物规范行为检测的目标检测模型及方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201801009D0 (en) * 2017-01-24 2018-03-07 Ford Global Tech Llc Object detection using recurrent neural network and concatenated feature map
US20180260639A1 (en) * 2014-05-14 2018-09-13 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signs
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
CN109753959A (zh) * 2018-12-21 2019-05-14 西北工业大学 基于自适应多尺度特征融合的路面交通标志检测方法
CN110929577A (zh) * 2019-10-23 2020-03-27 桂林电子科技大学 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
US20200258223A1 (en) * 2018-05-14 2020-08-13 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN111582029A (zh) * 2020-04-02 2020-08-25 天津大学 一种基于密集连接与注意力机制的交通标志识别方法
CN111626200A (zh) * 2020-05-26 2020-09-04 北京联合大学 一种基于Libra R-CNN的多尺度目标检测网络和交通标识检测方法
CN112016467A (zh) * 2020-08-28 2020-12-01 展讯通信（上海）有限公司 交通标志识别模型训练方法、识别方法、系统、设备及介质
CN112183203A (zh) * 2020-08-26 2021-01-05 北京工业大学 一种基于多尺度像素特征融合的实时交通标志检测方法
CN112528934A (zh) * 2020-12-22 2021-03-19 燕山大学 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法
CN112699900A (zh) * 2021-01-05 2021-04-23 东北林业大学 一种改进YOLOv4的交通标志识别方法
CN113076842A (zh) * 2021-03-26 2021-07-06 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法
CN113361428A (zh) * 2021-06-11 2021-09-07 浙江澄视科技有限公司 一种基于图像的交通标志检测方法
US20210279453A1 (en) * 2020-03-05 2021-09-09 King Fahd University Of Petroleum And Minerals Methods and systems for computerized recognition of hand gestures
US20210383231A1 (en) * 2020-08-20 2021-12-09 Chang'an University Target cross-domain detection and understanding method, system and equipment and storage medium
CN113780187A (zh) * 2021-09-13 2021-12-10 南京邮电大学 交通标志识别模型训练方法、交通标志识别方法和装置

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180260639A1 (en) * 2014-05-14 2018-09-13 Mobileye Vision Technologies Ltd. Systems and methods for detecting traffic signs
GB201801009D0 (en) * 2017-01-24 2018-03-07 Ford Global Tech Llc Object detection using recurrent neural network and concatenated feature map
CN108647585A (zh) * 2018-04-20 2018-10-12 浙江工商大学 一种基于多尺度循环注意力网络的交通标识符检测方法
US20200258223A1 (en) * 2018-05-14 2020-08-13 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN109753959A (zh) * 2018-12-21 2019-05-14 西北工业大学 基于自适应多尺度特征融合的路面交通标志检测方法
CN110929577A (zh) * 2019-10-23 2020-03-27 桂林电子科技大学 一种基于YOLOv3的轻量级框架改进的目标识别方法
CN111339858A (zh) * 2020-02-17 2020-06-26 电子科技大学 一种基于神经网络的油气管道标志物识别方法
US20210279453A1 (en) * 2020-03-05 2021-09-09 King Fahd University Of Petroleum And Minerals Methods and systems for computerized recognition of hand gestures
CN111582029A (zh) * 2020-04-02 2020-08-25 天津大学 一种基于密集连接与注意力机制的交通标志识别方法
CN111626200A (zh) * 2020-05-26 2020-09-04 北京联合大学 一种基于Libra R-CNN的多尺度目标检测网络和交通标识检测方法
US20210383231A1 (en) * 2020-08-20 2021-12-09 Chang'an University Target cross-domain detection and understanding method, system and equipment and storage medium
CN112183203A (zh) * 2020-08-26 2021-01-05 北京工业大学 一种基于多尺度像素特征融合的实时交通标志检测方法
CN112016467A (zh) * 2020-08-28 2020-12-01 展讯通信（上海）有限公司 交通标志识别模型训练方法、识别方法、系统、设备及介质
CN112528934A (zh) * 2020-12-22 2021-03-19 燕山大学 一种基于多尺度特征层的改进型YOLOv3的交通标志检测方法
CN112699900A (zh) * 2021-01-05 2021-04-23 东北林业大学 一种改进YOLOv4的交通标志识别方法
CN113076842A (zh) * 2021-03-26 2021-07-06 烟台大学 一种用于提升极端天气与环境下交通标志识别精度的方法
CN113361428A (zh) * 2021-06-11 2021-09-07 浙江澄视科技有限公司 一种基于图像的交通标志检测方法
CN113780187A (zh) * 2021-09-13 2021-12-10 南京邮电大学 交通标志识别模型训练方法、交通标志识别方法和装置

Non-Patent Citations (15)

* Cited by examiner, † Cited by third party
Title
BEI BEI FAN 等: "Multi-scale traffic sign detection model with attention", 《PROCEEDINGS OF THE INSTITUTION OF MECHANICAL ENGINEERS,PART D: JOURNAL OF AUTOMOBILE ENGINEERING》 *
ERFENG GAO 等: "Long-Tailed Traffic Sign Detection Using Attentive Fusion and Hierarchical Group Softmax", 《IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEM(EARLY ACCESS)》 *
LILI SHEN 等: "Group multi-scale attention pyramid network for traffic sign detection", 《NEUROCOMPUTING》 *
MINGYU GAO 等: "A Multiscale Recognition Method for the Optimization of Traffic Signs Using GMM and Category Quality Focal Loss", 《SENSORS》 *
任坤 等: "基于多尺度像素特征融合的实时小交通标志检测算法", 《信号处理》 *
李旭东 等: "基于三尺度嵌套残差结构的交通标志快速检测算法", 《计算机研究与发展》 *
杨晋生 等: "基于深度可分离卷积的交通标志识别算法", 《液晶与显示》 *
樊星 等: "基于级联端对端深度架构的交通标志识别方法", 《计算机测量与控制》 *
白捷 等: "基于多路特征融合的Faster R-CNN与迁移学习的学生课堂行为检测", 《广西师范大学学报(自然科学版)》 *
范红超 等: "基于Anchor-free的交通标志检测", 《地球信息科学学报》 *
薛之昕 等: "基于多尺度卷积神经网络的交通标志识别", 《计算机工程》 *
邓天民 等: "基于改进空间金字塔池化卷积神经网络的交通标志识别", 《计算机应用》 *
邓琼 等: "基于组合矩特征和PTSVM的交通标志识别", 《洛阳理工学院学报(自然科学版)》 *
邵毅明 等: "基于加权密集连接卷积网络的快速交通标志检测", 《交通运输系统工程与信息》 *
马永杰 等: "多尺度特征融合与极限学习机结合的交通标志识别", 《液晶与显示》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546901A (zh) * 2022-11-29 2022-12-30 城云科技（中国）有限公司 用于宠物规范行为检测的目标检测模型及方法
CN115546901B (zh) * 2022-11-29 2023-02-17 城云科技（中国）有限公司 用于宠物规范行为检测的目标检测模型及方法

Also Published As

Publication number Publication date
CN114463772B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
CN110543892B (zh) 一种基于多层随机森林的零部件识别方法
CN111950453A (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN112801270B (zh) 融合深度卷积与注意力机制的u形网络槽自动识别方法
CN114359851A (zh) 无人驾驶目标检测方法、装置、设备及介质
CN115830471B (zh) 一种多尺度特征融合和对齐的域自适应云检测方法
CN112801236B (zh) 图像识别模型的迁移方法、装置、设备及存储介质
CN113158768A (zh) 基于ResNeSt和自注意力蒸馏的智能车辆车道线检测方法
CN113034506B (zh) 遥感图像语义分割方法、装置、计算机设备和存储介质
CN115565071A (zh) 高光谱图像Transformer网络训练及分类方法
CN114463772B (zh) 基于深度学习的交通标志检测与识别方法及系统
CN115410081A (zh) 一种多尺度聚合的云和云阴影辨识方法、系统、设备及存储介质
CN115797629A (zh) 基于检测增强和多阶段边界框特征细化的实例分割方法
CN115861756A (zh) 基于级联组合网络的大地背景小目标识别方法
CN115100469A (zh) 一种基于分割算法的目标属性识别方法、训练方法和装置
CN114677349A (zh) 编解码端边缘信息增强和注意引导的图像分割方法及系统
CN114596548A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
CN115082551A (zh) 一种基于无人机航拍视频的多目标检测的方法
Bhuiya et al. Exploring the effects of data augmentation for drivable area segmentation
CN114821014B (zh) 基于多模态与对抗学习的多任务目标检测识别方法及装置
Yashina et al. Information technology for recognition of road signs using a neural network
Sun et al. A Metaverse text recognition model based on character-level contrastive learning
CN117636080B (zh) 一种场景分类方法、装置、计算机设备及可读存储介质
CN116524203B (zh) 一种基于注意力和双向加权特征融合的车辆目标检测方法
Bellam et al. A Practical Approach of Recognizing and Detecting Traffic Signs using Deep Neural Network Model
Samundiswary et al. Real-Time Detection and Classification of Street Signs Using Deep Learning with Voice Alert system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant