CN114495061B - 一种道路交通标志牌识别方法及装置 - Google Patents
一种道路交通标志牌识别方法及装置 Download PDFInfo
- Publication number
- CN114495061B CN114495061B CN202210085944.8A CN202210085944A CN114495061B CN 114495061 B CN114495061 B CN 114495061B CN 202210085944 A CN202210085944 A CN 202210085944A CN 114495061 B CN114495061 B CN 114495061B
- Authority
- CN
- China
- Prior art keywords
- convolution
- traffic sign
- branch
- depth
- boundary box
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 35
- 238000010586 diagram Methods 0.000 claims description 54
- 238000013527 convolutional neural network Methods 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 21
- 230000004913 activation Effects 0.000 claims description 16
- 238000009499 grossing Methods 0.000 claims description 10
- 230000003121 nonmonotonic effect Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 18
- 238000004590 computer program Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001629 suppression Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 102100021908 3-mercaptopyruvate sulfurtransferase Human genes 0.000 description 1
- 101000753843 Homo sapiens 3-mercaptopyruvate sulfurtransferase Proteins 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种道路交通标志牌识别方法及装置，涉及图像处理技术领域。该方法包括：获取待识别的图像；基于MobileNet v2网络，对所述图像进行特征提取；基于MLFPN网络，对所述MobileNet v2网络提取到的特征进行多级多尺度特征提取，得到至少一个候选交通标志牌边界框、所述至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度；根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的目标交通标志牌；基于RepVGG网络，对所述目标交通标志牌进行状态检测，得到所述目标交通标志牌的状态。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种道路交通标志牌识别方法及装置。
背景技术
随着交通道路的发展，在车辆出行过程中，道路上的交通标志牌有着重要作用。比如，使机动车、非机动车和行人分隔，提高道路利用率，减少或防止交通事故发生；再比如，道路上的指示标志牌可以反馈给驾驶员前方的道路信息，方便驾驶员提前做出操作预判；再比如，一些让行标志牌可以警示驾驶员减速让行，提高交通安全性等。
由于交通标志牌一般放置于室外环境，受自然环境(如刮风下雨)及人为因素的影响，难免会出现倾倒、褪色等现象。目前，在复杂的交通场景下，判断交通标志牌的状态，一般安排专人专岗，工作量大且难保实时性和准确性。
因此，如何识别交通标志牌以及得到交通标志牌的状态是目前亟需解决的问题。
发明内容
本申请实施例提供一种道路交通标志牌识别方法及装置，用以识别交通标志牌以及得到交通标志牌的状态。
第一方面，提供一种识别道路交通标志牌的方法，包括：
获取待识别的图像，所述待识别的图像中包括交通标志牌；基于第一轻量级卷积神经网络，对所述图像进行特征提取；其中，所述第一轻量级卷积神经网络包括依次连接的一个标准卷积层以及五个深度卷积层，所述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积后，与第五个深度卷积层输出的特征图进行融合；基于多层次特征金字塔网络MLFPN，对所述第一轻量级卷积神经网络提取到的特征进行多级多尺度特征提取，得到至少一个候选交通标志牌边界框、所述至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度；根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的目标交通标志牌；基于第二轻量级卷积神经网络，对所述目标交通标志牌进行状态检测，得到所述目标交通标志牌的状态，所述目标交通标志牌的状态包括倾倒、正常状态中的一种。
在一种可能实现的方式中，所述第一轻量级卷积神经网络的深度卷积层包括深度卷积单元和逐点卷积单元；所述深度卷积单元用于：使用3＊3的卷积核对各通道进行深度卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理，得到各通道对应的特征图；所述逐点卷积单元用于：使用1＊1的卷积核对所述深度卷积单元输出的各通道对应的特征图进行逐点缩放卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理。
在一种可能实现的方式中，所述第一轻量级卷积神经网络包括多分枝卷积模块，所述多分枝卷积模块用于对所述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积；所述多分枝卷积模块包括五个并行分支，所述五个并行分支包括用于卷积处理的第一分支至第四分支以及用于传递卷积层信息的第五分枝，所述第一分支至第四分支的输出进行连接以及逐点卷积后与所述第五分支的输出进行特征添加处理；其中，所述第一分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于1的像素进行乘法运算；所述第二分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于3的像素进行乘法运算；所述第三分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于5的像素进行乘法运算；所述第四分枝用于：依次使用1＊1的卷积核进行卷积、使用7＊1的卷积核进行卷积、使用1＊7的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于7的像素进行乘法运算。
在一种可能实现的方式中，所述根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，包括：
执行至少一次选取过程，直到第一列表为空，将第二列表中的候选交通标志牌边界框确定为满足置信度要求的交通标志牌边界框，所述第一列表初始化为存储所有候选交通标志牌边界框，所述第二列表初始化为空；其中，所述选取过程包括：
将所述第一列表中置信度最高的候选交通标志牌边界框转移到所述第二列表中，并作为所述第二列表中的当前候选交通标志牌边界框；计算所述当前候选交通标志牌边界框与所述第一列表中各候选交通标志牌边界框的交并比IOU，并将所述第一列表中IOU大于设定阈值的候选交通标志牌边界框删除。
在一种可能实现的方式中，所述第二轻量级卷积神经网络包括一个第一卷积层以及至少一个第二卷积层，所述第一卷积层内包括卷积核尺寸为1＊1的残差分支，所述第二卷积层内包括卷积核尺寸为1＊1的残差分支以及恒等分支。
在一种可能实现的方式中，所述第一轻量级卷积神经网络为MobileNet v2网络。
在一种可能实现的方式中，所述第二轻量级卷积神经网络为RepVGG网络。
第二方面，提供一种道路交通标志牌识别装置，包括：
获取模块，被配置为获取待识别的图像，所述待识别的图像中包括交通标志牌；第一特征提取模块，被配置为基于第一轻量级卷积神经网络，对所述图像进行特征提取；其中，所述第一轻量级卷积神经网络包括依次连接的一个标准卷积层以及五个深度卷积层，所述五个深度卷积层中第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积后，与第五个深度卷积层输出的特征图进行融合；第二特征提取模块，被配置为基于多层次特征金字塔网络MLFPN，对所述第一轻量级卷积神经网络提取到的特征进行多级多尺度特征提取，得到至少一个候选交通标志牌边界框、所述至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度；筛选模块，被配置为根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的交通标志牌；检测模块，被配置为基于第二轻量级卷积神经网络，对所述目标交通标志牌进行状态检测，得到所述目标交通标志牌的状态，所述目标交通标志牌的状态包括倾倒、正常状态中的一种。
在一种可能实现的方式中，所述第一轻量级卷积神经网络的深度卷积层被具体配置为深度卷积单元和逐点卷积单元；所述深度卷积单元被配置为：使用3＊3的卷积核对各通道进行深度卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理，得到各通道对应的特征图；所述逐点卷积单元被配置为：使用1＊1的卷积核对所述深度卷积单元输出的各通道对应的特征图进行逐点缩放卷积、批标准化处理以及基于M ish激活函数进行非单调平滑处理。
在一种可能实现的方式中，所述第一轻量级卷积神经网络包括多分枝卷积模块，所述多分枝卷积模块被配置为对所述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积；
所述多分枝卷积模块包括五个并行分支，所述五个并行分支包括用于卷积处理的第一分支至第四分支以及用于传递卷积层信息的第五分枝，所述第一分支至第四分支的输出进行连接以及逐点卷积后与所述第五分支的输出进行特征添加处理；
其中，所述第一分枝被配置为：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于1的像素进行乘法运算；所述第二分枝被配置为：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于3的像素进行乘法运算；所述第三分枝被配置为：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于5的像素进行乘法运算；所述第四分枝被配置为：依次使用1＊1的卷积核进行卷积、使用7＊1的卷积核进行卷积、使用1＊7的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于7的像素进行乘法运算。
本申请实施例中，基于第一轻量级卷积神经网络(例如MobileNet v2)，对包含有交通标志牌的图像进行特征提取，再基于多层次特征金字塔网络，对第一轻量级卷积神经网络提取到的特征进行多级多尺度特征提取，从而得到至少一个候选交通标志牌边界框、该至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度，根据各候选交通标志牌边界框对应的置信度，从该至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的目标交通标志牌，基于第二轻量级卷积神经网络(例如RepVGG)，对该目标交通标志牌的状态进行检测，确定出目标交通标志牌的状态是倾倒、正常状态中的哪一种，由于本申请实施例对交通标志牌的判定分为了两个部分，首先基于第一轻量级卷积神经网络，对图像中的交通标志牌进行精准识别，得到识别出的目标交通标志牌，再基于第二轻量级卷积神经网络，对识别出的目标交通标志牌的状态进行分类，从而得到交通标志牌的状态，以获得交通标志牌的更多信息。
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本申请各较佳实施例。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例改进的YOLO v4算法的结构示意图；
图2为本申请实施例适用的MobileNet v2网络的结构示意图；
图3为本申请实施例改进的深度可分离卷积的结构示意图；
图4为本申请实施例适用的BasicRFB结构示意图；
图5为本申请实施例适用的MLFPN网络的结构示意图；
图6为本申请实施例提供的一种道路交通标志牌识别方法流程图；
图7为本申请实施例中的ResNet网络和RepVGG网络的比较示意图；
图8为本申请实施例提供的道路交通标志牌识别的逻辑示意图；
图9为本申请实施例提供的一种道路交通标志牌识别装置的结构示意图；
图10为本申请实施例提供的一种通信装置的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中，在本申请实施例的描述中，除非另有说明，″/″表示或的意思，例如，A/B可以表示A或B；文本中的″和/或″仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况，另外，在本申请实施例的描述中，″多个″是指两个或多于两个。
以下，术语″第一″、″第二″仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有″第一″、″第二″的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，″多个″的含义是两个或两个以上。
在现有技术中，一般采用CSPdarknet网络作为主干特征提取网络，上述网络在进行特征提取时，计算成本高、识别特征速度较慢；如果选择一些可加快识别速度的轻量级网络来代替上述网络作为主干网络进行特征提取，则可以加快识别速度，但却降低了识别的准确率，导致识别的结果存在较大误差。
因此，在交通场景下，为了得到适合识别各类交通标志牌(例如，指示标志牌、限速标志牌、警告标志牌等)，提高在该场景下对交通标志牌的识别准确率，减少网络参数量；本申请实施例中基于改进的目标检测算法(比如YOLO v4算法)实现对交通标志牌的准确识别，该算法的整体框架如图1所示。主要由主干特征提取网络(Backbone Network)、多层次特征金字塔网络(Multi-level Feature Pyramid Network，MLFPN)、非极大值抑制(Non-Maximum Suppression，NMS)预测组成。主干特征提取网络和MLFPN用于进行特征提取，MLFPN输出密集的候选交通标志牌边界框以及各候选交通标志牌边界框中的交通标志牌类别，再基于非极大值抑制进行预测，从而检测到满足要求的交通标志牌边界框。
可选的，本申请实施中的主干特征提取网络采用MobileNet v2网络，对图像进行特征提取。图2为本申请实施例适用的MobileNet v2网络的结构示意图。如图所示，该MobileNet v2主要由一个标准卷积层(ConV2d)以及五个深度卷积层(Depthwise Conv)构成。
以输入的图像规格为320＊320＊3(其中，320代表图像的长和宽，3为卷积的通道数)为例，将该图像输入标准卷积层(Conv2d)进行卷积，得到160＊160＊32的特征图；将得到的160＊160＊32特征图输入第一个深度卷积层Conv1进行卷积，得到160＊160＊64的特征图；将得到的160＊160＊64的特征图输入第二个深度卷积层Conv2进行卷积，得到80＊80＊128的特征图，将得到的80＊80＊128的特征图输入第三个深度卷积层Conv3进行卷积，得到40＊40＊256的特征图，将得到的40＊40＊256的特征图输入第四个深度卷积层Conv4进行卷积，得到40＊40＊512的特征图，将得到的40＊40＊512的特征图输入第五个深度卷积层进行卷积，得到20＊20＊1024的特征图。
将第四个卷积层Conv4的特征图进行一次标准卷积，得到的20＊20＊256特征图输入上采样层(Upsamping)，得到40＊40＊256的特征图，与第三个深度卷积层Conv3输出的特征图进行通道数的叠加(例如基于Concat处理)，得到的40＊40＊512的特征图，并输入到多分枝卷积模块(BasicRFB)进行多分支卷积，然后与第五个深度卷积层Conv5输出的特征图输入到特征融合模块(Feature Fusion Module，FFM)进行特征融合。
MobileNet v2网络的核心是深度卷积层(也称为深度可分离卷积)，图3为本申请实施例改进的深度可分离卷积结构示意图，如图所示，该结构主要由深度卷积单元和逐点卷积单元构成。
深度卷积单元用于：使用3＊3的卷积核对各通道进行深度卷积、批标准化处理(BatchNormalization，BN)以及基于Mish激活函数进行非单调平滑处理，得到各通道对应的特征图。
逐点卷积单元用于：使用1＊1的卷积核对该深度卷积单元输出的各通道对应的特征图进行逐点缩放卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理。
MobileNet v2网络卷积的公式如下所示：
其中，DK为卷积核的大小；M为通道数；N为卷积核数量；DF为输入特征的宽。
标准卷积的公式如下所示：
对比上述两个公式可知，MobileNet v2网络卷积所涉及的参数量会大幅度减少，仅为标准卷积参数量的从而降低了计算成本。
本申请实施例中，将MobileNet v2网络的深度卷积层中的非线性激活函数(ReLU)替换为Mish激活函数，可以避免出现梯度饱和现象，提高MobileNet v2网络的正则化效果，同时M ish激活函数允许比较小的负梯度流入，保证了信息的流动，梯度下降效果也优于ReLU激活函数，从而提高了对交通标志牌的识别速度与识别准确率。
BasicRFB模块是一个类似于Inception模块的多分枝卷积模块，结合了并行卷积和空洞卷积思想。该BasicRFB模块主要用于对上述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积。
图4为本申请实施例适用的BasicRFB结构示意图。如图所示，该结构包括五个并行分支(图4中，从左到右分别为第一分支至第五分支)，该五个并行分支包括用于卷积处理的第一分支至第四分支以及用于传递卷积层信息的第五分枝。该第五分枝是借鉴ResNet网络中的直连结构(Short Cut)，可以避免因MobileNet v2网络的卷积层数的加深导致识别效果不佳的现象，提高MobileNet v2网络对特征的训练效果。
其中，第一分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于1的像素进行乘法运算。
第二分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于3的像素进行乘法运算。
第三分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于5的像素进行乘法运算。
第四分枝用于：依次使用1＊1的卷积核进行卷积、使用7＊1的卷积核进行卷积、使用1＊7的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于7的像素进行乘法运算。
第一分支至第四分支的输出进行连接以及逐点卷积后输出到Add模块，第五分支的输出也被输入到该Add模块。该Add模块用于：将输入的特征进行特征添加处理。
在一些实施例中，可在该BasicRFB模块的各分支中添加瓶颈结构(bottleneck)，从而既加深了MobileNet v2网络对图像进行卷积的深度，又减少了该网络的参数。
上述各分枝允许各卷积核与固定间隔的像素点做乘法运算，在计算量相当的情况下，可提供更大的感受野，有利于各类交通标志牌的识别。
本申请实施例中，采用的MobileNet v2网络作为主干特征提取网络相较于VGG-16网络作为主干特征提取网络而言，基于MobileNet v2网络可加快对图像识别的速度，从而提高效率；进一步的，该MobileNet v2网络是将深度卷积层中的ReLU激活函数替换为Mish激活函数，从而提高该网络训练特征的速度和识别准确率；进一步的，在MobileNet v2中加入BasicRFB模块，以模拟人类视觉感受野的方式增强MobileNet v2的特征提取能力，从而避免由网络参数量减少而检测到的交通标志牌不准确的问题。
通过上述MobileNet v2网络提取到特征后便可将提取到的特征输入到MLFPN网络。图5为本申请实施例适用的MLFPN网络的结构示意图。MLFPN网络是一个多层次特征金字塔网络，结合了SSD网络和特征金字塔(Feature Pyramid Network，FPN)网络提取特征的优点，有利于检测不同尺度的交通标志牌。如图5所示，该结构主要由FFM、细化U型模块(Thinned U-shape Module，TUM)和按比例缩放的尺度特征聚合模块(Scaled-wiseFeature Aggregation Module，SFAM)构成。
通过FFM1融合上述MobileNet v2网络提取到的特征，获得语义信息丰富的基本特征(Base Feature)。图中的各TUM都可生成一组多尺度特征，然后经交替连接的TUM和FFM2生成多级多尺度的特征。其中，TUM1主要获取浅层(shallow)特征，TUM2和TUM3获取中层(medium)特征，TUM4获取深层(deep)特征。SFAM通过按比例缩放的特征连接操作和自适应注意力机制将特征聚合到多级特征金字塔中，最大程度的加强MLFPN网络的特征提取能力。
在一些实施例中，MLFPN网络的默认配置中包含8个TUM，为了保证MLFPN网络提取特征的能力又能减少参数量，本申请的一些实施例中选择4个TUM进行特征的提取，实现对MobileNet v2，提取到的特征进行多级多尺度特征提取，从而输出多个检测框(候选交通标志牌边界框)，得到各检测框的置信度(比如得分分数)以及各检测框对应的交通标志牌类别信息等。
可选的，通过上述MLFPN网络进行多级多尺度特征提取后，可基于NMS筛选掉置信度较低的边界框，从而得到满足置信度要求的检测框。可选的，执行至少一次选取过程，直到第一列表为空，将第二列表中的检测框确定为满足置信度要求的检测框，该第一列表初始化为存储所有检测框，该第二列表初始化为空。其中，选取过程包括：
将该第一列表中置信度最高的检测框转移到该第二列表中，并作为该第二列表中的当前检测框。
计算该当前检测框与该第一列表中各检测框的交并比(Intersection OverUnion，IOU)，并将该第一列表中IOU大于设定阈值的检测框删除。
可选的，完成上述NMS的过程后，可与预设的检测阈值进行对比，再一次过滤掉第二列表中置信度较低的检测框，二者结合的同时可以增加网络中的特征信息，进一步提高识别交通标志牌的准确率。
图6为本申请实施例提供的一种道路交通标志牌识别方法流程图。该流程可由道路交通标志牌识别装置执行。该装置可通过软件方式实现，也可通过硬件方式实现，还可通过软件和硬件结合的方式实现。如图6所示，该流程包括如下步骤：
601：获取待识别的图像，该待识别的图像中包括交通标志牌。
该步骤中，获取待识别的图像可以是基于交通道路上配置的摄像头，接通实时流画面，逐帧获取图像地址并解码重编码成所需的格式图像。
602：基于第一轻量级卷积神经网络(比如MobileNet v2网络)，对该图像中的交通标志牌进行特征提取。
603：基于MLFPN网络，对该基于第一轻量级卷积神经网络(比如MobileNet v2网络)提取到的特征进行多级多尺度特征提取，得到至少一个候选交通标志牌边界框、该至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度。
604：根据上述各候选交通标志牌边界框对应的置信度，从至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的目标交通标志牌。
其中，步骤602、603、604的详细表述参照图1至图5，在此不再详细描述。
605：基于第二轻量级卷积神经网络(比如RepVGG网络)，对目标交通标志牌进行状态检测，得到该目标交通标志牌的状态。其中，目标交通标志牌的状态可包括倾倒、正常状态中的一种。
可选的，第二轻量级卷积神经网络可选择RepVGG来实现目标交通标志牌的状态分类。该RepVGG网络是在VGG网络的基础上进行改进，主要改进的包括：
(1)在VGG网络的Block块中加入了恒等分支(Identity)和残差分支，相当于把ResNet网络中的精华应用到VGG网络中；其中，Identity可以让网络随着深度增加而不退化。
(2)在模型推理阶段，通过Op融合策略将所有的网络层都转换Conv3＊3，便于RepVGG网络的部署和加速。
如图7所示，图7中的A表示的是ResNet网络，该网络中包含着Conv1＊1的残差分支和恒等分支。
图7中的B表示的是训练阶段(trainning)的RepVGG网络架构，整个网络的主体结构和ResNet网络类似，两个网络中都包含残差结构。由图可知这两个网络中的主要差异如下：
与ResNet网络相比，该RepVGG网络中的残差分支没有跨层。
该RepVGG网络包括一个第一卷积层以及至少一个第二卷积层，该第一卷积层内包括卷积核尺寸为1＊1的残差分支，该第二卷积层内包括卷积核尺寸为1＊1的残差分支以及恒等分支。由于第二卷积层具有多个分支，就相当于RepVGG给网络增加了多条梯度流动的路径，训练一个这样的网络，就类似于训练了多个网络，并将多个网络融合在一个网络中，类似于模型集成的思路，该方式简单高效。
图7中的C表示的是推理阶段(inference)的RepVGG网络，该网络的结构非常简单，整个网络均是由3＊3的卷积核以及Relu函数堆叠而成，易于模型的推理和加速。
完成上述步骤后，便可得到准确率较高的结果，如表1所示：
表1：各网络对图像卷积后的准确率列表
在一些实施例中，还可基于二分类交叉熵损失函数的算法，对目标交通标志牌的状态进行检测。
在一些实施例中，可分别在早、中、晚三个时段(例如早高峰前6:00-6:30，正午前11:00-11:30、晚高峰前4:00-4:30)对道路上的交通标志牌进行识别与是否倾倒分类，可通过三个时候段的结果进行加权计算，推送综合的结果至平台端，从而保证结果的普适性。
本申请实施例中，基于MobileNet v2，对包含有交通标志牌的图像进行特征提取，再基于MLFPN网络，对MobileNet v2网络提取到的特征进行多级多尺度特征提取，从而得到至少一个候选交通标志牌边界框、该至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度，根据各候选交通标志牌边界框对应的置信度，从各候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的目标交通标志牌，基于RepVGG网络，对该目标交通标志牌的状态进行检测，确定出目标交通标志牌的状态是倾倒、正常状态中的哪一种，由于本申请对交通标志牌的判定分为了两个部分，首先基于MobileNet v2网络，对图像中的交通标志牌进行精准识别，得到识别出的目标交通标志牌，再基于RepVGG网络，对识别出的目标交通标志牌的状态进行分类，从而得到交通标志牌的状态，以获得交通标志牌的更多信息。
图8为本申请实施例提供的道路交通标志牌识别的逻辑示意图。如图所示，首先基于改进的YOLO v4算法对输入图像中的交通标志牌进行精准提取；得到不同类别的交通标志牌框，接下来将得到的各交通标志牌边界框输入RepVGG网络中，对各交通标志牌边界框中的交通标志牌进行快速的状态分类，最终可输出每帧图像中交通标志牌的位置信息、类别信息以及是否倾倒状态等。
基于相同的技术构思，本申请实施例还提供了一种装置，该装置可实现本申请实施例中上述道路交通标志牌识别的方法流程。
图9为本申请实施例提供的一种道路交通标志牌识别装置的结构示意图。如图所示，该装置包括：获取模块901、第一特征提取模块902、第二特征提取模块903、筛选模块904、检测模块905。
获取模块901，被配置为获取待识别的图像，所述待识别的图像中包括交通标志牌；
第一特征提取模块902，被配置为基于第一轻量级卷积神经网络，对所述图像进行特征提取；其中，所述第一轻量级卷积神经网络包括依次连接的一个标准卷积层以及五个深度卷积层，所述五个深度卷积层中第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积后，与第五个深度卷积层输出的特征图进行融合；
第二特征提取模块903，被配置为基于多层次特征金字塔网络，对所述第一轻量级卷积神经网络提取到的特征进行多级多尺度特征提取，得到至少一个候选交通标志牌边界框、所述至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度；
筛选模块904，被配置为根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的交通标志牌；
检测模块905，被配置为基于第二轻量级卷积神经网络，对所述目标交通标志牌进行状态检测，得到所述目标交通标志牌的状态，所述目标交通标志牌的状态包括倾倒、正常状态中的一种。
在此需要说明的是，本申请实施例提供的上述装置，能够实现上述道路交通标志牌识别方法实施例中的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
图10示例性示出了本申请实施例提供的通信装置的结构示意图。
如图所示，该装置可包括：处理器1001、存储器1002以及总线接口1003。
处理器1001负责管理总线架构和通常的处理，存储器1002可以存储处理器1001在执行操作时所使用的数据。
总线架构可以包括任意数量的互联的总线和桥，具体由处理器1001代表的一个或多个处理器和存储器1002代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器1001负责管理总线架构和通常的处理，存储器1002可以存储处理器1001在执行操作时所使用的数据。
本申请实施例揭示的流程，可以应用于处理器1001中，或者由处理器1001实现。在实现过程中，信号处理流程的各步骤可以通过处理器1001中的硬件的集成逻辑电路或者软件形式的指令完成。处理器1001可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所申请的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1002，处理器1001读取存储器1002中的信息，结合其硬件完成信息处理流程的步骤。
具体地，处理器1001，用于读取存储器1002中的计算机指令并执行本申请实施例中的一种道路交通标志牌识别方法。
在此需要说明的是，申请本申请实施例提供的上述通信装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行上述实施例中的一种道路交通标志牌识别方法。
本申请实施例还提供了一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机执行上述实施例中的一种道路交通标志牌识别方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种道路交通标志牌识别方法，其特征在于，包括：
获取待识别的图像，所述待识别的图像中包括交通标志牌；
基于第一轻量级卷积神经网络，对所述图像进行特征提取；其中，所述第一轻量级卷积神经网络包括依次连接的一个标准卷积层以及五个深度卷积层，所述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积后，与第五个深度卷积层输出的特征图进行融合；
基于多层次特征金字塔网络MLFPN，对所述第一轻量级卷积神经网络提取到的特征进行多级多尺度特征提取，得到至少一个候选交通标志牌边界框、所述至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度；
根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的目标交通标志牌；
基于第二轻量级卷积神经网络，对所述目标交通标志牌进行状态检测，得到所述目标交通标志牌的状态，所述目标交通标志牌的状态包括倾倒、正常状态中的一种。
2.如权利要求1所述的方法，其特征在于，所述第一轻量级卷积神经网络的深度卷积层包括深度卷积单元和逐点卷积单元；
所述深度卷积单元用于：使用3＊3的卷积核对各通道进行深度卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理，得到各通道对应的特征图；
所述逐点卷积单元用于：使用1＊1的卷积核对所述深度卷积单元输出的各通道对应的特征图进行逐点缩放卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理。
3.如权利要求1所述的方法，其特征在于，所述第一轻量级卷积神经网络包括多分枝卷积模块，所述多分枝卷积模块用于对所述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积；
所述多分枝卷积模块包括五个并行分支，所述五个并行分支包括用于卷积处理的第一分支至第四分支以及用于传递卷积层信息的第五分枝，所述第一分支至第四分支的输出进行连接以及逐点卷积后与所述第五分支的输出进行特征添加处理；其中，所述第一分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于1的像素进行乘法运算；所述第二分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于3的像素进行乘法运算；所述第三分枝用于：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于5的像素进行乘法运算；所述第四分枝用于：依次使用1＊1的卷积核进行卷积、使用7＊1的卷积核进行卷积、使用1＊7的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于7的像素进行乘法运算。
4.如权利要求1所述的方法，其特征在于，所述根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，包括：
执行至少一次选取过程，直到第一列表为空，将第二列表中的候选交通标志牌边界框确定为满足置信度要求的交通标志牌边界框，所述第一列表初始化为存储所有候选交通标志牌边界框，所述第二列表初始化为空；
其中，所述选取过程包括：
将所述第一列表中置信度最高的候选交通标志牌边界框转移到所述第二列表中，并作为所述第二列表中的当前候选交通标志牌边界框；
计算所述当前候选交通标志牌边界框与所述第一列表中各候选交通标志牌边界框的交并比IOU，并将所述第一列表中IOU大于设定阈值的候选交通标志牌边界框删除。
5.如权利要求1所述的方法，其特征在于，所述第二轻量级卷积神经网络包括一个第一卷积层以及至少一个第二卷积层，所述第一卷积层内包括卷积核尺寸为1＊1的残差分支，所述第二卷积层内包括卷积核尺寸为1＊1的残差分支以及恒等分支。
6.如权利要求1-5任一项所述的方法，其特征在于，所述第一轻量级卷积神经网络为MobileNet v2网络。
7.如权利要求1-5任一项所述的方法，其特征在于，所述第二轻量级卷积神经网络为RepVGG网络。
8.一种道路交通标志牌识别装置，其特征在于，包括：
获取模块，被配置为获取待识别的图像，所述待识别的图像中包括交通标志牌；
第一特征提取模块，被配置为基于第一轻量级卷积神经网络，对所述图像进行特征提取；其中，所述第一轻量级卷积神经网络包括依次连接的一个标准卷积层以及五个深度卷积层，所述五个深度卷积层中第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积后，与第五个深度卷积层输出的特征图进行融合；
第二特征提取模块，被配置为基于多层次特征金字塔网络MLFPN，对所述第一轻量级卷积神经网络提取到的特征进行多级多尺度特征提取，得到至少一个候选交通标志牌边界框、所述至少一个候选交通标志牌边界框中各边界框对应的交通标志牌类别以及置信度；
筛选模块，被配置为根据各候选交通标志牌边界框对应的置信度，从所述至少一个候选交通标志牌边界框中选择满足置信度要求的交通标志牌边界框，得到识别出的交通标志牌；
检测模块，被配置为基于第二轻量级卷积神经网络，对所述目标交通标志牌进行状态检测，得到所述目标交通标志牌的状态，所述目标交通标志牌的状态包括倾倒、正常状态中的一种。
9.如权利要求8所述的装置，其特征在于，所述第一轻量级卷积神经网络的深度卷积层被具体配置为深度卷积单元和逐点卷积单元；
所述深度卷积单元被配置为：使用3＊3的卷积核对各通道进行深度卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理，得到各通道对应的特征图；
所述逐点卷积单元被配置为：使用1＊1的卷积核对所述深度卷积单元输出的各通道对应的特征图进行逐点缩放卷积、批标准化处理以及基于Mish激活函数进行非单调平滑处理。
10.如权利要求8所述的装置，其特征在于，所述第一轻量级卷积神经网络包括多分枝卷积模块，所述多分枝卷积模块被配置为对所述五个深度卷积层中的第三个深度卷积层输出的特征图和第四个深度卷积层输出的特征图进行多分枝卷积；
所述多分枝卷积模块包括五个并行分支，所述五个并行分支包括用于卷积处理的第一分支至第四分支以及用于传递卷积层信息的第五分枝，所述第一分支至第四分支的输出进行连接以及逐点卷积后与所述第五分支的输出进行特征添加处理；
其中，所述第一分枝被配置为：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于1的像素进行乘法运算；所述第二分枝被配置为：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于3的像素进行乘法运算；所述第三分枝被配置为：依次使用1＊1的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于5的像素进行乘法运算；所述第四分枝被配置为：依次使用1＊1的卷积核进行卷积、使用7＊1的卷积核进行卷积、使用1＊7的卷积核进行卷积、使用3＊3的卷积核与固定间隔等于7的像素进行乘法运算。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210085944.8A CN114495061B (zh) | 2022-01-25 | 2022-01-25 | 一种道路交通标志牌识别方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210085944.8A CN114495061B (zh) | 2022-01-25 | 2022-01-25 | 一种道路交通标志牌识别方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114495061A CN114495061A (zh) | 2022-05-13 |
| CN114495061B true CN114495061B (zh) | 2024-04-05 |
Family
ID=81474385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210085944.8A Active CN114495061B (zh) | 2022-01-25 | 2022-01-25 | 一种道路交通标志牌识别方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114495061B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414417A (zh) * | 2019-07-25 | 2019-11-05 | 电子科技大学 | 一种基于多层次融合多尺度预测的交通标志牌识别方法 |
| WO2020000253A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 一种雨雪天气中的道路交通标志识别方法 |
| CN111488770A (zh) * | 2019-01-28 | 2020-08-04 | 初速度（苏州）科技有限公司 | 交通标志识别方法、神经网络模型的训练方法和装置 |
| CN112084890A (zh) * | 2020-08-21 | 2020-12-15 | 杭州电子科技大学 | 基于gmm和cqfl的多尺度识别交通信号标志的方法 |
| CN113408410A (zh) * | 2021-06-18 | 2021-09-17 | 重庆科技学院 | 一种基于YOLOv4算法的交通标志检测方法 |
-
2022
- 2022-01-25 CN CN202210085944.8A patent/CN114495061B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020000253A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 一种雨雪天气中的道路交通标志识别方法 |
| CN111488770A (zh) * | 2019-01-28 | 2020-08-04 | 初速度（苏州）科技有限公司 | 交通标志识别方法、神经网络模型的训练方法和装置 |
| CN110414417A (zh) * | 2019-07-25 | 2019-11-05 | 电子科技大学 | 一种基于多层次融合多尺度预测的交通标志牌识别方法 |
| CN112084890A (zh) * | 2020-08-21 | 2020-12-15 | 杭州电子科技大学 | 基于gmm和cqfl的多尺度识别交通信号标志的方法 |
| CN113408410A (zh) * | 2021-06-18 | 2021-09-17 | 重庆科技学院 | 一种基于YOLOv4算法的交通标志检测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 杨晋生 ; 杨雁南 ; 李天骄 ; .基于深度可分离卷积的交通标志识别算法.液晶与显示.2019,(第12期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114495061A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113688652B (zh) | 一种异常驾驶行为的处理方法和装置 | |
| CN112132156A (zh) | 多深度特征融合的图像显著性目标检测方法及系统 | |
| CN114495060B (zh) | 一种道路交通标线识别方法及装置 | |
| CN110390314B (zh) | 一种视觉感知方法及设备 | |
| WO2020258077A1 (zh) | 一种行人检测方法及装置 | |
| CN112949578B (zh) | 车灯状态识别方法、装置、设备及存储介质 | |
| CN114092917B (zh) | 一种基于mr-ssd的被遮挡交通标志检测方法及系统 | |
| CN112132216B (zh) | 车型识别方法、装置、电子设备及存储介质 | |
| CN115512251A (zh) | 基于双分支渐进式特征增强的无人机低照度目标跟踪方法 | |
| US11651191B2 (en) | Methods, apparatuses, and computer program products using a repeated convolution-based attention module for improved neural network implementations | |
| CN112016617A (zh) | 细粒度分类方法、装置及计算机可读存储介质 | |
| CN117218622A (zh) | 路况检测方法、电子设备及存储介质 | |
| CN115131634A (zh) | 图像识别方法、装置、设备、存储介质及计算机程序产品 | |
| Zheng et al. | A deep learning–based approach for moving vehicle counting and short-term traffic prediction from video images | |
| CN112288701A (zh) | 一种智慧交通图像检测方法 | |
| CN114495061B (zh) | 一种道路交通标志牌识别方法及装置 | |
| CN115601717B (zh) | 基于深度学习的交通违法行为分类检测方法及SoC芯片 | |
| CN116311154A (zh) | 一种基于YOLOv5模型优化的车辆检测与识别方法 | |
| CN113780480B (zh) | 基于YOLOv5的多目标检测及类别识别模型的构建方法 | |
| CN115240133A (zh) | 一种公交车拥挤度分析方法、装置和设备 | |
| Ayachi et al. | Traffic Sign recognition for smart vehicles based on lightweight CNN implementation on mobile devices | |
| CN113673332A (zh) | 对象识别方法、装置以及计算机可读存储介质 | |
| CN113011268A (zh) | 车辆智能导航方法、装置、电子设备及存储介质 | |
| Qu et al. | An improved character recognition algorithm for license plate based on BP neural network | |
| CN114627400A (zh) | 一种车道拥堵检测方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |