CN112200231A - 一种危险品车辆识别方法、系统、装置及介质 - Google Patents
一种危险品车辆识别方法、系统、装置及介质 Download PDFInfo
- Publication number
- CN112200231A CN112200231A CN202011049976.XA CN202011049976A CN112200231A CN 112200231 A CN112200231 A CN 112200231A CN 202011049976 A CN202011049976 A CN 202011049976A CN 112200231 A CN112200231 A CN 112200231A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- dangerous goods
- information
- image
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000012549 training Methods 0.000 claims abstract description 42
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 24
- 238000013528 artificial neural network Methods 0.000 claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 8
- 239000013056 hazardous product Substances 0.000 claims description 6
- 238000004458 analytical method Methods 0.000 claims description 5
- 231100001261 hazardous Toxicity 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 6
- 230000004913 activation Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种危险品车辆识别方法、系统、装置及介质，方法包括：获取待检测车辆图像；通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息；通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。本发明实施例能够提高危险品车辆的识别精度，可广泛应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种危险品车辆识别方法、系统、装置及介质。
背景技术
危险品运输车(Dangerous goods transport vehicles)是一种排气管前置并装有防火花装置，运送石油化工品、炸药、鞭炮等危险品的专用车辆。由于危险品车辆自身的特殊性，需要将危险品运输车重点管控。
在智能交通体系中，提高收费效率、裁定交通责任和追踪肇事逃逸等交通问题都离不开车型识别。在海关缉私方面，需要重点管控油罐车等危险品车辆走私成品油等违法运输行为，这就需要对于道路监控场景的车辆中将危险运输车的精细识别。
对于道路场景的车辆抓拍图像，是从标准道路卡口、虚拟卡口(监控卡口)、电子警察卡口下摄像机抓拍或者抓拍模块抓拍到的车辆图像，能够用于对车辆属性二次分析。
车型识别是视频结构化信息中的关键信息，是车辆信息的基础，具有广泛的实用价值。较为常用的车型识别方法主要有基于传统机器学习的车型识别方法以及基于深度学习的车型识别方法。具体方案如下：
1、基于传统视频抓拍的车型识别方法
传统的基于视频抓拍车型识别器，其识别车型的主要步骤是先采用背景差分法提取运动目标车辆，再对图像序列进行灰度化、平滑去噪、边缘检测、关键特征提取、车辆外观尺寸计算等一系列的图像处理过程，最后再采用训练好的车型识别模型对车辆的关键特征进行分类来得出车型。但是在实际应用中，由于光线、气候以及噪声的等方面的因素，使得采用背景模型的建立、关键特征提取等图像处理步骤比较复杂，而且精度也不高，直接影响到了后面车型识别结果。
2、基于传统激光扫描的车型识别方法
传统的基于激光扫描车型识别方法，其识别车型的主要依据是通过实时采集车道内通行车辆的坐标数据，计算出该车的车长、车高、车宽等外观特征数据作为特征向量，然后再采用训练好的车型识别模型对这些特征向量进行分类来得出车型，其优点是受外界环境因素的影响很小，且识别精度较高。但是危险品运输车车型的分类标准里面也并没有与车辆的外观尺寸等数据直接挂钩，因此对于一些尺寸较特殊车辆的车型的识别并不理想。
3、基于深度学习的车型识别方法
基于深度学习的车型识别方法，其识别的主要依据是通过预设训练模型处理包含目标车辆的图像，通过定位网络检测车辆，并从分类网络得到目标车辆的车型。其优点是可以得到待处理图像中的局部的细节特征及全局特征，并将全局特征和局部特征融合，以确保重要信息充分发挥作用，可以提升车型识别效率。
上述识别算法对于特殊车辆并无良好的适应性，特别是监控场景下受外界复杂环境的干扰，通常采集的车辆图像中都存在有模糊、残缺、侧身角度等情况。图像特征上，油罐车和水罐车容易混淆，存在误定位和准确性低的问题，所以需要更高精度的危险品运输车辆识别。
发明内容
有鉴于此，本发明实施例提供一种高精度的危险品车辆识别方法、系统、装置及介质。
本发明的第一方面提供了一种危险品车辆识别方法，包括：
获取待检测车辆图像；
通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
在一些实施例中，所述通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，包括：
从待训练图像中标注出包含危险品标志的最小外接矩形；
将所有待训练图像归一化到预设尺寸，得到训练图像数据库；
将训练图像数据库中标注好危险品标志的图像输入预训练的深度卷积神经网络进行训练，得到卷积神经网络模型；
通过所述卷积神经网络模型对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息。
在一些实施例中，所述通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息，包括：
通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，确定车辆的年款信息、车型信息以及朝向信息。
在一些实施例中，所述方法还包括训练车辆多标签模型的步骤。
在一些实施例中，所述训练车辆多标签模型，包括：
通过卷积神经网络模型获取待训练图像的危险品标志信息；
通过多任务学习训练神经网络确定待训练图像的年款信息、车型信息以及朝向信息；
将所述危险品标志信息、所述年款信息、所述车型信息以及所述朝向信息输入全连接层；
根据所述全连接层的输出结果训练得到车辆多标签模型。
在一些实施例中，
所述车辆多标签模型的中心损失函数为：
其中，LC代表中心损失，描述模型的预测值与真实值之间的差距大小；m代表特征长度；
代表第yi个类别的特征中心；xi代表第i个深度特征。
在一些实施例中，所述将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果，包括：
当识别到的危险品标志的方向与车辆朝向一致，则确定所述危险品标志的第一置信度；
获取车辆的年款车型对照表；
根据所述年款车型对照表，当识别到的车辆的年款与车型分类的结果匹配时，则确定所述车辆的年款的第二置信度以及所述车辆的车型的第三置信度；
根据所述第一置信度、第二置信度以及第三置信度，确定危险品车辆的识别阈值；
根据所述识别阈值确定危险品车辆的类别。
本发明的第二方面提供了一种危险品车辆识别系统，包括：
获取模块，用于获取待检测车辆图像；
危险品标志检测模块，用于通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
车辆属性分析模块，用于通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
特征融合模块，用于将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
本发明的第三方面提供了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如本发明第一方面所述的方法。
本发明的第四方面提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如本发明第一方面所述的方法。
本发明的实施例首先获取待检测车辆图像，接着通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，然后通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息，最后将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。本发明能够提高危险品车辆的识别精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的步骤流程图；
图2为本发明实施例提供的车辆多标签模型训练流程图；
图3为本发明实施例的车辆多标签分类网络。
具体实施方式
下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
由于从道路标准卡口、虚拟卡口和电子警察卡口等道路监控抓拍模块得到的图像中会检测到多种干扰信息和各种角度的车身。如果角度过大，现有的检测方法会造成车身漏检；如果车身区域内干扰信息较多，会造成识别准确率降低，影响车型识别的准确率。
对于道路场景的抓拍图像，需要重新检测车辆的精准区域，进行后续的车型识别。传统的车辆识别方法是通过车辆图像进行匹配，对车型的识别率较低；基于深度神经网络的整车识别方法，对货箱遮挡及大角度的车辆无法准确识别其车型，无法区分相似度较高的油罐车与水罐车等车型。因此，针对以上问题，提出本技术方案进行危险品运输车的车辆类型识别。本申请提出了一种基于多特征融合判定的危险品车辆识别方法，将输入的道路监控抓拍图像利用全卷积深度神经网络提取车辆目标和车辆细节特征，通过危险品车辆的多特征融合判定，最终输出是否为危险品车辆。
如图1所示，本发明实施例提供的危险品车辆识别方法，包括：
S1、获取待检测车辆图像；
具体地，本发明实施例的车辆图像可以从道路标准卡口、虚拟卡口和电子警察卡口等道路监控抓拍模块得到。
S2、通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
具体地，本发明实施例的步骤S2包括S21-S24：
S21、从待训练图像中标注出包含危险品标志的最小外接矩形；
S22、将所有待训练图像归一化到预设尺寸，得到训练图像数据库；
S23、将训练图像数据库中标注好危险品标志的图像输入预训练的深度卷积神经网络进行训练，得到卷积神经网络模型；
S24、通过所述卷积神经网络模型对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息。
本发明实施例采用包括但不限于SSD检测模型为基本网络架构的卷积神经网络作为危险品运输车车头三角“危险品”标志及车尾“热”“腐”“爆”等危险品运输车的标志符检测装置。模型在使用前进行了充分的训练与测试，其训练与测试数据均来自道路场景的车辆抓拍图像。通过危险品标志符检测装置，可得到危险品标志符的位置与类别。
模型通过大量包含危险品标志符的车辆图像作为待训练图像，从每一图像中标注出所有的危险品标志的最小外接矩形，将批量图像归一化到特定的尺寸，生成检测的训练图像数据库；然后，将标注好的批量图像输入预训练的深度卷积神经网络中训练，迭代直到输出的误差达到一个很小的值为止。
S3、通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
具体地，本发明实施例的步骤S3具体为：通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，确定车辆的年款信息、车型信息以及朝向信息。
本发明实施例的车辆多任务特征提取：包括利用多任务学习训练神经网络和利用该网络完成车辆不同属性的识别任务，包括车辆的年款(如东风-乘龙M5-2010)、车型(如重型货车)及朝向(如前向)。多任务特征学习训练神经网络可以学习多个任务的共享表示，有较强的抽象能力，适应相关的多个不同目标任务，有更好的泛化能力。
多任务模型体现在神经网络的底部区域，将车辆的多标签描述切分成不同的任务，分别与全连接层结合，计算不同车辆属性的损失函数，利用反向传播算法调整网络权值，训练网络。
S4、将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
本发明实施例的步骤S4包括S41-S45：
S41、当识别到的危险品标志的方向与车辆朝向一致，则确定所述危险品标志的第一置信度；
S42、获取车辆的年款车型对照表；
S43、根据所述年款车型对照表，当识别到的车辆的年款与车型分类的结果匹配时，则确定所述车辆的年款的第二置信度以及所述车辆的车型的第三置信度；
S44、根据所述第一置信度、第二置信度以及第三置信度，确定危险品车辆的识别阈值；
S45、根据所述识别阈值确定危险品车辆的类别。
具体地，本发明实施例将整体特征与局部关键特征融合得到结果。
如果得到的危险品特征属前后的方向与车辆朝向一致，将危险品特征的置信度设为P0(即第一置信度)。
通过车辆年款与车型映射得到车辆年款车型对照表。
如果模型输出得到的车辆年款与车型分类的结果匹配，将车辆年款置信度设为P1(即第二置信度)，车辆车型置信度设为P2(即第三置信度)。
其中，
此处，N＝3。
P代表最终的特征融合结果置信度；i代表特征序号。
本发明实施例通过得到的车辆类型和局部关键特征融合结果通过样本统计平均的阈值T，判定是否为危险品运输车类别。
本发明实施例还提供了训练车辆多标签模型的步骤，参照图2，该步骤包括S51-S54：
S51、通过卷积神经网络模型获取待训练图像的危险品标志信息；
S52、通过多任务学习训练神经网络确定待训练图像的年款信息、车型信息以及朝向信息；
S53、将所述危险品标志信息、所述年款信息、所述车型信息以及所述朝向信息输入全连接层；
S54、根据所述全连接层的输出结果训练得到车辆多标签模型。
本发明实施例的损失函数选用改进的中心损失函数(center loss)和交叉熵损失函数(softmax loss)联合的特征学习方式，目的是为了缩小类内距离同时增大类间距离，更好的将车辆的多任务训练的样本差异性拉大，得到更好的模型训练效果。
其中，中心损失函数的定义为：
其中，LC代表中心损失，描述模型的预测值与真实值之间的差距大小；m代表特征长度；
代表第yi个类别的特征中心；xi代表第i个深度特征。
需要说明的是，每一个样本的特征需要通过一个好的网络到达特征层获得，这样计算完后所有样本的特征的平均值为类中心c，而好的网络需要是在有类中心加入的情况下才能得到。没法直接获得中心c，所以通过网络自己生成，在每一个批处理图像里更新c。即随机初始化c，而后每一个批处理图像里计算当前数据与c的距离，而后将这个梯度形式的距离加到c上，再增加一个scale度量α，使得c不会抖动。
其中，中心损失函数的梯度为：
其中，
代表LC对xi求偏导；xi代表第i个深度特征；Δc代表类中心c的更新；α代表稳定度量系数，δ(yi＝j)为条件表达式，表达式当类别为j时值为1，否则为0，因此更新的公式中，当yi(表示yi类别)和cj的类别j不一样的时候，cj是不需要更新的，只有当yi和j一样才需要更新；
Softmax损失函数Ls为：
其中，
代表第i个深度特征xi在第yi个类别的线性预测结果，
代表xi在第j个类别的实际值，m是特征维度，n是类别数量，
联合损失函数L为：
其中，λ代表中心损失的权重；
图3为本发明实施例提供的车辆多标签分类网络，其中，特征提取网络含有3个卷积层，每个卷积层后面都跟一个ELU激活层，总共有2个最大池化层(Max Pooling)。主干特征提取网络后切分到3*2个全连接层，后面连接Softmax激活函数，用于得到车辆年款、车辆车型和车辆朝向的特征。
通过采用ELU层作为网络的激活函数层(保证神经网络的非线性)，右侧线性部分使得ELU能够缓解梯度消失，而左侧软饱能够让ELU对输入变化或噪声更鲁棒。ELU拥有负值，允许它们以更低的计算复杂度将平均单位激活推向更加接近0的值，实现加速收敛并提高准确度。
其中，ELU的数学公式为：
其导数的数学公式为：
其中，超参数α控制ELU在负值输入时的饱和值(此处取α＝1)。
本发明实施例还提供了一种危险品车辆识别系统，包括：
获取模块，用于获取待检测车辆图像；
危险品标志检测模块，用于通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
车辆属性分析模块，用于通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
特征融合模块，用于将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
本发明实施例还提供了一种装置，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如图1所述的方法。
本发明实施例还提供了一种存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如图1所述的方法。
综上所述，本发明实施例提出的通过多种特征融合的高精度的危险品运输车辆识别方法，能够对道路抓拍的二次分析图像进行重点特征提取，对于模糊、残缺、大角度车辆有较好的适应能力，对油罐车和水罐车等外观相似的车辆有足够的区分，可用于危险品运输车辆的高精度识别。
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种危险品车辆识别方法，其特征在于，包括：
获取待检测车辆图像；
通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
2.根据权利要求1所述的一种危险品车辆识别方法，其特征在于，所述通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，包括：
从待训练图像中标注出包含危险品标志的最小外接矩形；
将所有待训练图像归一化到预设尺寸，得到训练图像数据库；
将训练图像数据库中标注好危险品标志的图像输入预训练的深度卷积神经网络进行训练，得到卷积神经网络模型；
通过所述卷积神经网络模型对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息。
3.根据权利要求1所述的一种危险品车辆识别方法，其特征在于，所述通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息，包括：
通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，确定车辆的年款信息、车型信息以及朝向信息。
4.根据权利要求1所述的一种危险品车辆识别方法，其特征在于，所述方法还包括训练车辆多标签模型的步骤。
5.根据权利要求4所述的一种危险品车辆识别方法，其特征在于，所述训练车辆多标签模型，包括：
通过卷积神经网络模型获取待训练图像的危险品标志信息；
通过多任务学习训练神经网络确定待训练图像的年款信息、车型信息以及朝向信息；
将所述危险品标志信息、所述年款信息、所述车型信息以及所述朝向信息输入全连接层；
根据所述全连接层的输出结果训练得到车辆多标签模型。
6.根据权利要求5所述的一种危险品车辆识别方法，其特征在于，
所述车辆多标签模型的中心损失函数为：
其中，LC代表中心损失，描述模型的预测值与真实值之间的差距大小；m代表特征长度；
代表第yi个类别的特征中心；xi代表第i个深度特征。
7.根据权利要求1所述的一种危险品车辆识别方法，其特征在于，所述将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果，包括：
当识别到的危险品标志的方向与车辆朝向一致，则确定所述危险品标志的第一置信度；
获取车辆的年款车型对照表；
根据所述年款车型对照表，当识别到的车辆的年款与车型分类的结果匹配时，则确定所述车辆的年款的第二置信度以及所述车辆的车型的第三置信度；
根据所述第一置信度、第二置信度以及第三置信度，确定危险品车辆的识别阈值；
根据所述识别阈值确定危险品车辆的类别。
8.一种危险品车辆识别系统，其特征在于，包括：
获取模块，用于获取待检测车辆图像；
危险品标志检测模块，用于通过卷积神经网络对所述待检测车辆图像的危险品标志进行检测，得到危险品标志信息，所述危险品标志信息包括危险品标志的位置信息和类别信息；
车辆属性分析模块，用于通过多任务学习训练神经网络对所述待检测车辆图像的车辆属性进行分析，得到车辆属性信息；
特征融合模块，用于将所述危险品标志信息和所述车辆属性信息进行特征融合，得到危险品车辆识别结果。
9.一种装置，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；
所述处理器执行所述程序实现如权利要求1-7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011049976.XA CN112200231B (zh) | 2020-09-29 | 2020-09-29 | 一种危险品车辆识别方法、系统、装置及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011049976.XA CN112200231B (zh) | 2020-09-29 | 2020-09-29 | 一种危险品车辆识别方法、系统、装置及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112200231A true CN112200231A (zh) | 2021-01-08 |
| CN112200231B CN112200231B (zh) | 2024-04-30 |
Family
ID=74008430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011049976.XA Active CN112200231B (zh) | 2020-09-29 | 2020-09-29 | 一种危险品车辆识别方法、系统、装置及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112200231B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818816A (zh) * | 2021-01-27 | 2021-05-18 | 杭州海康威视数字技术股份有限公司 | 一种温度检测方法、装置及设备 |
| CN113055658A (zh) * | 2021-04-25 | 2021-06-29 | 广州大广高速公路有限公司 | 一种基于全景拼接技术的隧道危化品车辆识别方法及系统 |
| CN113469158A (zh) * | 2021-09-06 | 2021-10-01 | 智广海联(天津)大数据技术有限公司 | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 |
| CN113537891A (zh) * | 2021-07-16 | 2021-10-22 | 浙江高速信息工程技术有限公司 | 危险品运输车监测方法、装置、计算机设备及存储介质 |
| CN114529901A (zh) * | 2022-01-21 | 2022-05-24 | 高新兴科技集团股份有限公司 | 车牌识别方法、车牌识别系统及电子设备 |
| CN114882708A (zh) * | 2022-07-11 | 2022-08-09 | 临沂市公路事业发展中心 | 一种基于监控视频的车辆识别方法 |
| CN114882397A (zh) * | 2022-04-25 | 2022-08-09 | 国网江苏省电力有限公司电力科学研究院 | 一种基于交叉注意机制动态知识传播的危险车辆识别方法 |
| CN117935186A (zh) * | 2024-03-25 | 2024-04-26 | 福建省高速公路科技创新研究院有限公司 | 一种强光抑制的隧道内危险品车辆识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002245597A (ja) * | 2001-02-19 | 2002-08-30 | Nissan Motor Co Ltd | 車輌用情報出力装置 |
| JP2007058713A (ja) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | 危険回避システム |
| US20180182126A1 (en) * | 2016-12-28 | 2018-06-28 | Nuctech Company Limited | Vehicle inspection system, and method and system for identifying part of vehicle |
| US20200090004A1 (en) * | 2018-09-14 | 2020-03-19 | Toyota Jidosha Kabushiki Kaisha | Object detection device, vehicle control system, object detection method, and non-transitory computer readable medium |
| CN111523415A (zh) * | 2020-04-13 | 2020-08-11 | 北京巨视科技有限公司 | 一种基于图像的两客一危车辆检测方法和装置 |
-
2020
- 2020-09-29 CN CN202011049976.XA patent/CN112200231B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002245597A (ja) * | 2001-02-19 | 2002-08-30 | Nissan Motor Co Ltd | 車輌用情報出力装置 |
| JP2007058713A (ja) * | 2005-08-26 | 2007-03-08 | Fujitsu Ten Ltd | 危険回避システム |
| US20180182126A1 (en) * | 2016-12-28 | 2018-06-28 | Nuctech Company Limited | Vehicle inspection system, and method and system for identifying part of vehicle |
| US20200090004A1 (en) * | 2018-09-14 | 2020-03-19 | Toyota Jidosha Kabushiki Kaisha | Object detection device, vehicle control system, object detection method, and non-transitory computer readable medium |
| CN111523415A (zh) * | 2020-04-13 | 2020-08-11 | 北京巨视科技有限公司 | 一种基于图像的两客一危车辆检测方法和装置 |
Non-Patent Citations (2)
| Title |
|---|
| 乔通;许志俊;韩家坤;方志;胡晨晖;张丹;: "长途客车对危险品运输车的智能识别预警系统", 科技展望, no. 16, 10 June 2016 (2016-06-10), pages 120 * |
| 贾磊;: "基于深度学习的危化品车辆货物类型识别技术研究", 山西交通科技, no. 04, 15 August 2020 (2020-08-15), pages 164 - 166 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112818816A (zh) * | 2021-01-27 | 2021-05-18 | 杭州海康威视数字技术股份有限公司 | 一种温度检测方法、装置及设备 |
| CN112818816B (zh) * | 2021-01-27 | 2024-03-01 | 杭州海康威视数字技术股份有限公司 | 一种温度检测方法、装置及设备 |
| CN113055658A (zh) * | 2021-04-25 | 2021-06-29 | 广州大广高速公路有限公司 | 一种基于全景拼接技术的隧道危化品车辆识别方法及系统 |
| CN113537891A (zh) * | 2021-07-16 | 2021-10-22 | 浙江高速信息工程技术有限公司 | 危险品运输车监测方法、装置、计算机设备及存储介质 |
| CN113469158A (zh) * | 2021-09-06 | 2021-10-01 | 智广海联(天津)大数据技术有限公司 | 基于卷积神经网络的非法危化品运输车辆识别方法及系统 |
| CN114529901A (zh) * | 2022-01-21 | 2022-05-24 | 高新兴科技集团股份有限公司 | 车牌识别方法、车牌识别系统及电子设备 |
| CN114882397A (zh) * | 2022-04-25 | 2022-08-09 | 国网江苏省电力有限公司电力科学研究院 | 一种基于交叉注意机制动态知识传播的危险车辆识别方法 |
| CN114882397B (zh) * | 2022-04-25 | 2024-07-05 | 国网江苏省电力有限公司电力科学研究院 | 一种基于交叉注意机制动态知识传播的危险车辆识别方法 |
| CN114882708A (zh) * | 2022-07-11 | 2022-08-09 | 临沂市公路事业发展中心 | 一种基于监控视频的车辆识别方法 |
| CN114882708B (zh) * | 2022-07-11 | 2022-09-30 | 临沂市公路事业发展中心 | 一种基于监控视频的车辆识别方法 |
| CN117935186A (zh) * | 2024-03-25 | 2024-04-26 | 福建省高速公路科技创新研究院有限公司 | 一种强光抑制的隧道内危险品车辆识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112200231B (zh) | 2024-04-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112200231A (zh) | 一种危险品车辆识别方法、系统、装置及介质 | |
| Rozsa et al. | Obstacle prediction for automated guided vehicles based on point clouds measured by a tilted LIDAR sensor | |
| Hackel et al. | Joint classification and contour extraction of large 3D point clouds | |
| CN102463990B (zh) | 用于跟踪物体的系统和方法 | |
| Sakhare et al. | Review of vehicle detection systems in advanced driver assistant systems | |
| CN111563469A (zh) | 一种不规范停车行为识别方法及装置 | |
| CN111694917B (zh) | 一种车辆异常轨迹检测、模型训练方法及装置 | |
| CN112738470B (zh) | 一种高速公路隧道内停车检测的方法 | |
| CN111256693B (zh) | 一种计算位姿变化方法及车载终端 | |
| Liu et al. | Stochastic lane shape estimation using local image descriptors | |
| CN113076922B (zh) | 一种物体检测方法及装置 | |
| Chen et al. | Augmented dictionary learning for motion prediction | |
| CN112883991A (zh) | 对象分类方法、对象分类电路、机动车辆 | |
| CN115620261A (zh) | 基于多传感器的车辆环境感知方法、系统、设备及介质 | |
| Choi et al. | Comparative Analysis of Generalized Intersection over Union and Error Matrix for Vegetation Cover Classification Assessment. | |
| Bougharriou et al. | Vehicles distance estimation using detection of vanishing point | |
| CN112381726B (zh) | 一种地下车库全局图的构建方法及装置 | |
| Colomer et al. | LPMP: a bio-inspired model for visual localization in challenging environments | |
| Hartmann et al. | Robust and real-time multi-cue map verification for the road ahead | |
| Luo et al. | Landmark recognition using projection learning for mobile robot navigation | |
| CN112651986A (zh) | 环境识别方法、识别装置、识别系统、电子设备及介质 | |
| Nath et al. | Traffic sign recognition and distance estimation with yolov3 model | |
| CN110609561A (zh) | 一种行人跟踪方法、装置、计算机可读存储介质及机器人 | |
| CN111145187A (zh) | 基于霍夫空间的物体识别方法、系统、设备及存储介质 | |
| Motwake et al. | Enhancing land cover classification in remote sensing imagery using an optimal deep learning model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |