CN111814562A - 车辆的识别方法、车辆识别模型的训练方法及相关装置 - Google Patents

车辆的识别方法、车辆识别模型的训练方法及相关装置 Download PDF

Info

Publication number
CN111814562A
CN111814562A CN202010526063.6A CN202010526063A CN111814562A CN 111814562 A CN111814562 A CN 111814562A CN 202010526063 A CN202010526063 A CN 202010526063A CN 111814562 A CN111814562 A CN 111814562A
Authority
CN
China
Prior art keywords
vehicle
picture
feature
dangerous
feature map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010526063.6A
Other languages
English (en)
Inventor
黄宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010526063.6A priority Critical patent/CN111814562A/zh
Publication of CN111814562A publication Critical patent/CN111814562A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种车辆的识别方法、车辆识别模型的训练方法及相关装置，其中，该车辆的识别方法包括：获取到带有车辆的图片；将图片输入到经训练的车辆识别模型，以对车辆进行分类；对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度；如果将车辆归类于危险车辆的置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。通过上述方式，本申请通过将车辆类型的识别检测与危险品标检测级联配合的方式，能够更有效地实现对危险品车辆的高精度识别，且有效地提高了危险品车辆识别的准确率。

Description

车辆的识别方法、车辆识别模型的训练方法及相关装置
技术领域
本申请涉及车辆识别技术领域，尤其是涉及一种车辆的识别方法、车辆识别模型的训练方法及相关装置。
背景技术
目前，随着人工智能技术的发展，智能交通已经得到了很大的普及，而其中的车辆识别在智能交通中发挥着重要作用，尤其是针对带有危险品的车辆进行的识别。其中，有效地识别出危险品车辆，不仅可以有效地执行交通限行，还可以有效预防危险品车辆所造成的潜在危险。
但是，现有的车型识别系统都是针对通用车辆的，而并不专用于对危险品车辆进行识别，且因危险品运输车在一定程度上和大卡车，大货车等车辆相似度较高，从而导致对危险品运输车这类特殊车辆的识别效果均较差。
发明内容
本申请主要解决的技术问题是提供一种车辆的识别方法、车辆识别模型的训练方法及相关装置，该车辆的识别方法能够解决现有技术中的车型识别系统，无法有效地对危险品运输车进行精准识别的问题。
为解决上述技术问题，本申请采用的第一个技术方案是：提供一种车辆的识别方法，其中，该车辆的识别方法包括：获取到带有车辆的图片；将图片输入到经训练的车辆识别模型，以对车辆进行分类；对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度；如果置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。
其中，将图片输入到经训练的车辆识别模型，以对车辆进行分类的步骤包括：将图片输入到经训练的车辆识别模型；通过车辆识别模型对图片进行特征提取，以获取到图片的特征图；根据特征图对车辆进行分类。
其中，通过车辆识别模型对图片进行特征提取，以获取到图片的特征图的步骤包括：通过车辆识别模型的第一卷积核对图片进行卷积运算，以获取到图片的初始特征图；将初始特征图划分为设定数量的特征子集，以通过设定函数依次对每一特征子集进行运算，以获取到设定数量的特征子图；对设定数量的特征子图进行全连接，以获取到特征图。
其中，将初始特征图划分为设定数量的特征子集，以通过设定函数依次对每一特征子集进行运算，以获取到设定数量的特征子图的步骤包括：将初始特征图划分为设定数量的特征子集；如果特征子集的设定数量大于2时，将第一特征子集输出为第一特征子图，将第二特征子集与第二卷积核相乘以得到第二特征子图，并依次将此次获取到的特征子图与下一特征子集叠加之后与其对应的卷积核相乘，以得到每一特征子集对应的特征子图。
其中，通过车辆识别模型对图片进行特征提取，以获取到图片的特征图的步骤之后，根据特征图对车辆进行分类的步骤之前，还包括：通过注意力机制对特征图进行重标定，以获取到重标定的特征图；根据特征图对车辆进行分类的步骤包括：根据重标定的特征图对车辆进行分类。
其中，通过注意力机制对特征图进行重标定，以获取到重标定的特征图的步骤包括：对特征图进行全局平均池化，并通过权重值对池化后的特征图进行第一全连接运算后与第一激活函数相乘，以在进一步进行第二全连接运算后与第二激活函数相乘，从而获取到特征图中每一特征通道的归一化权重；将归一化权重与其对应的特征图中每一特征通道相乘，以获取到重标定的特征图。
其中，如果置信度小于预设阈值，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆的步骤包括：如果置信度小于预设阈值，对图片中车辆的车头所在区域进行检测，以确定车窗所在区域；对车窗所在区域进行填充处理，并判断填充处理后的图片是否包括危险品标；如果填充处理后的图片包括危险品标，确定车辆为危险车辆。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种车辆识别模型的训练方法，其中，该车辆识别模型的训练方法包括：将已标注的带有车辆的图片输入到初始检测模型中；其中，图片为对车辆是否为危险车辆的类型进行标注的图片；通过初始检测模型对图片进行预测，得到车辆的类型的预测结果；根据预测结果以及图片中车辆的标注类型对车辆识别模型进行训练，并将训练完成后的模型确定为车辆识别模型。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种智能终端，其中，该智能终端包括相互耦接的存储器和处理器；存储器存储有程序数据；处理器用于执行程序数据，以实现如上任一项所述的车辆的识别方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种计算机可读存储介质，其中，该计算机可读存储介质存储有程序数据，程序数据能够被执行以实现如上任一项所述的车辆的识别方法。
本申请的有益效果是：区别于现有技术，本申请中的车辆的识别方法包括：获取到带有车辆的图片；将图片输入到经训练的车辆识别模型，以对车辆进行分类；对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度；如果将车辆归类于危险车辆的置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。通过上述方式，本申请通过将车辆类型的标注检测与危险品标检测级联配合的方式，能够更有效地实现对危险品车辆的高精度识别，且有效地提高了危险品车辆识别的准确率。
附图说明
图1是本申请车辆的识别方法第一实施例的流程示意图；
图2是本申请车辆识别模型的训练方法一实施例的流程示意图；
图3是本申请车辆的识别方法第二实施例的流程示意图；
图4是本申请车辆的识别方法第三实施例的流程示意图；
图5a是本申请车辆的识别方法第四实施例的流程示意图；
图5b是图5a中的车辆的识别方法一具体应用场景的结构示意图；
图6是本申请车辆的识别方法第五实施例的流程示意图；
图7a是本申请车辆的识别方法第六实施例的流程示意图；
图7b是图7a中的车辆的识别方法一具体应用场景的结构示意图；
图8是本申请车辆的识别方法第七实施例的流程示意图；
图9是本申请智能终端一实施例的结构示意图；
图10是本申请计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本申请保护的范围。
请参阅图1，图1是本申请车辆的识别方法第一实施例的流程示意图。本实施例包括如下步骤：
S11：获取到带有车辆的图片。
在本实施例中，首先获取到带有车辆的图片，其具体可以是通过安装在目标交通路段的监控摄像头进行的实时监控拍摄来获取到相应的监控视频，并从该监控视频中提取出带有车辆的图片。
S12：将图片输入到经训练的车辆识别模型，以对车辆进行分类。
在本实施例中，在获取到带有车辆的图片后，将其输入到一经过训练的车辆识别模型中，以能够通过该车辆识别模型来对本次获取到的图片中的车辆进行分类。其中，该车辆识别模型可以集成到监控摄像头的处理芯片中，也可以集成到与该监控摄像头通讯连接的智能终端中，本申请对此不做限定。
S13：对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度。
在本实施例中，在获取到带有车辆的图片，并对该车辆进行分类后，进一步对将该图片中的车辆分出的类型进行识别，以确定该图片中的车辆是否为危险车辆，并进一步确定将该车辆归类为危险车辆的置信度。
可理解的是，该危险车辆为带有危险品的车辆，其一般具有异于其他车辆类型的特征，例如，油罐车、液化天然气车辆等其他带有易燃易爆物品的车辆通常具有特殊的外形特征，且危险车辆一般还会带有显示该车辆带有危险品的通识标牌，以能够被经过训练的车辆识别模型识别出，并通过该车辆识别模型给出将图片中的车辆归类为危险品车辆的置信度。其中，该置信度具体是将图片中的车辆归类于危险车辆这一类型的可取信度的量化值或概率，例如，当该置信度为1时，则认定本次获取到的图片中带有的车辆为危险车辆，而当该置信度为0时，则认定本次获取到的图片中带有的车辆不是危险车辆。
S14：如果置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。
在本实施例中，在对将图片中的车辆分出的类型进行识别，并确定将该车辆归类于危险车辆的置信度小于预设阈值时，也即将该图片中的车辆归类于危险车辆的准确率不足于取信时，进一步对该图片进行危险品标检测，以检测该图片中是否包括有相应的危险品标，例如，检测其是否包括书写有“危险”字样的矩形标识牌或三角形标识牌，并在检测出该图片包括有危险品标时，确定该图片中带有的车辆是危险车辆。其中，该预设阈值可具体设定为0.9或0.8等任一合理的数值，以在检测到将图片中的车辆归类于危险车辆的置信度大于该预设阈值时，能够认定本次获取到的图片中的车辆为危险车辆，并结束本次检测，提醒相应的交通管制人员，而在检测出将该车辆归类于危险车辆的置信度小于预设阈值时，进一步对相应的图片进行危险品标检测。
区别于现有技术，本申请中的车辆的识别方法包括：获取到带有车辆的图片，并对车辆进行分类；对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度；如果将车辆归类于危险车辆的置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。通过上述方式，本申请通过将车辆类型的标注检测与危险品标检测级联配合的方式，能够更有效地实现对危险品车辆的高精度识别，且有效地提高了危险品车辆识别的准确率。
请参阅图2，图2是本申请车辆识别模型的训练方法一实施例的流程示意图。本实施例的车辆识别模型的训练方法是对图1中所述的车辆识别模型进行训练的一具体实施例的流程示意图，包括如下步骤：
S21：将已标注的带有车辆的图片输入到初始检测模型中；其中，图片为对车辆是否为危险车辆的类型进行标注的图片。
在本实施例中，将已标注的带有车辆的图片输入到初始检测模型中，其中，该图片是根据其带有的车辆是否为危险车辆的类型进行的标注，例如，当图片中带有的车辆为危险车辆时，则对该图片进行标注，而当该车辆不为危险车辆时，则不对该图片进行标注或进行异于对带有危险车辆的图片所进行的标注，以将已做标注的带有车辆的图片输入到初始的检测模型中。
在一个可选的实施例中，在监控场景中实时获取到带有车辆的图片，并对该图片中车辆所在的区域进行裁剪，以获取到该车辆的图像信息，并统一将相应的车辆图片的像素调整为224mm*224mm后，再对其进行标注，并进一步将已标注的带有车辆的图片进行随机的旋转、镜像、加噪等数据增强操作处理后，将该图片输入到初始的检测模型中，从而能够有效地提升相应的车辆识别模型的识别性能。
S22：通过初始检测模型对图片进行预测，得到车辆的类型的预测结果。
在本实施例中，在将已标注的带有车辆的图片输入到初始检测模型中后，通过初始检测模型对该图片中带有的车辆所属的车辆类型进行预测，以得到对该车辆的类型进行预测的结果。
S23：根据预测结果以及图片中车辆的标注类型对车辆识别模型进行训练，并将训练完成后的模型确定为车辆识别模型。
在本实施例中，在获取到对输入到初始检测模型中的已做标注的图片中的车辆的预测结果后，根据本次预测的结果以及对该图片中的车辆已做的标注类型来对车辆识别模型进行训练，并不断调整初始检测模型中的相应参数，以逐渐提高初始检测模型对该图片进行的预测结果与该图片上的标注类型相匹配的准确率，并给出将该图片中带有的车辆归类于某一类型，例如，将相应车辆归类为危险品车辆的置信度，从而将训练完成后的模型确定为车辆识别模型。
请参阅图3，图3是本申请车辆的识别方法第二实施例的流程示意图。本实施例的车辆的识别方法是图1中的车辆的识别方法的一细化实施例的流程示意图，包括如下步骤：
S31：获取到带有车辆的图片。
在本实施例中，首先获取到带有车辆的图片，其具体可以是通过安装在目标交通路段的监控摄像头进行的实时监控拍摄来获取到相应的监控视频，并从该监控视频中提取出带有车辆的图片，或是直接对通过目标交通路段的车辆进行抓拍。
S32：将图片输入到经训练的车辆识别模型。
在本实施例中，在获取到带有车辆的图片后，进一步将该图片输入到经训练的车辆识别模型。
S33：通过车辆识别模型对图片进行特征提取，以获取到图片的特征图。
在本实施例中，在获取到带有车辆的图片并将其输入到经训练的车辆识别模型后，通过该车辆识别模型对该图片进行特征提取，其具体可以是通过车辆识别模型中集成的卷积神经网络对该图片进行处理，以获取到该图片对应的特征图。
S34：根据特征图对车辆进行分类。
在本实施例中，在对带有车辆的图片进行特征提取，并获取到该图片的特征图后，进一步根据该特征图对图片中带有的车辆进行分类。
S35：对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度。
S36：如果置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。
其中，S35和S36分别与图1中的S13和S14相同，具体请参阅S13和S14及其相关的文字描述，在此不再赘述。
请参阅图4，图4是本申请车辆的识别方法第三实施例的流程示意图。本实施例的车辆的识别方法是图3中的车辆的识别方法的一细化实施例的流程示意图，包括如下步骤：
S41：获取到带有车辆的图片。
S42：将图片输入到经训练的车辆识别模型。
其中，S41和S42分别与图3中的S31和S32相同，具体请参阅S31和S32及其相关的文字描述，在此不再赘述。
S43：通过车辆识别模型的第一卷积核对图片进行卷积运算，以获取到图片的初始特征图。
在本实施例中，在获取到带有车辆的图片后，将该图片输入到车辆识别模型集成的一卷积神经网络中，以通过1×1的第一卷积核对该图片进行卷积运算，从而获取到包括多个通道数的初始特征图。
S44：将初始特征图划分为设定数量的特征子集，以通过设定函数依次对每一特征子集进行运算，以获取到设定数量的特征子图。
在本实施例中，在通过第一卷积核对带有车辆的图片进行卷积运算而获取到该图片的初始特征图后，将该初始特征图划分为设定数量的特征子集，例如，将包括有12个特征通道的初始特征图划分为4个特征子集，其中每一特征子集的通道数均为3，以进一步通过设定函数依次对每一特征子集进行运算，以获取到每一特征子集对应的设定数量的特征子图。而在其他实施例中，还可以将初始特征图划分为3个或5个等任一合理数量的特征子集，本申请对此不做限定。
S45：对设定数量的特征子图进行全连接，以获取到特征图。
在本实施例中，在获取到设定数量的特征子图后，将其中的每一个特征子图连接起来，以融合不同尺度的特征来获取到带有车辆的图片对应的特征图，从而在不增加计算量的情况下，获取到图片的更强的多尺度特征。
S46：根据特征图对车辆进行分类。
S47：对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度。
S48：如果置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。
其中，S46、S47以及S48分别与图3中的S34、S35以及S36相同，具体请参阅S34、S35以及S36及其相关的文字描述，在此不再赘述。
请参阅图5a，图5a是本申请车辆的识别方法第四实施例的流程示意图。本实施例的车辆的识别方法是图4中的车辆的识别方法的一细化实施例的流程示意图，包括如下步骤：
S51：获取到带有车辆的图片。
S52：将图片输入到经训练的车辆识别模型。
S53：通过车辆识别模型的第一卷积核对图片进行卷积运算，以获取到图片的初始特征图。
其中，S51、S52以及S53分别与图4中的S41、S42以及S43相同，具体请参阅S41、S42以及S43及其相关的文字描述，在此不再赘述。
S54：将初始特征图划分为设定数量的特征子集。
在本实施例中，在通过第一卷积核对带有车辆的图片进行卷积运算而获取到该图片的初始特征图后，进一步将该初始特征图划分为设定数量的特征子集，例如，将包括有12个特征通道的初始特征图划分为4个通道数均为3特征子集。
S55：如果特征子集的设定数量大于2时，将第一特征子集输出为第一特征子图，将第二特征子集与第二卷积核相乘以得到第二特征子图，并依次将此次获取到的特征子图与下一特征子集叠加之后与其对应的卷积核相乘，以得到每一特征子集对应的特征子图。
在本实施例中，如果将初始特征图划分为的特征子集的数量大于2时，其中，以将该初始特征图划分为s(s为大于2的正整数)组通道数相等的特征子集为例，并将获取到的特征子集记为xi(i＝1，2，...，s)，则可理解的是，其中的每一组特征子集均具有相同的空间大小，且其通道数为初始特征图的1/s。其中，除去第一组特征子集x1，其余的特征子集都有其相对应的3×3卷积核，并将该卷积核记为Ci，以进一步将每组特征子集在进行相应的卷积运算后的输出记为yi。则相应地，该yi的运算结果可表示为：
Figure BDA0002533833780000101
则可理解的是，当i＝1时，第一特征子集x1输出为第一特征子图y1；当i＝2时，第二特征子集x2在与其相对应的卷积核C2相乘后输出为第二特征子图y2；当2<i≤s时，将第i特征子集xi与上一特征子图yi-1相加后，再与其相对应的卷积核Ci相乘后输出为第i特征子图yi，直到处理完所有的输入特征子集，以依次得到每一特征子集对应的特征子图，其中，由于每一特征子集均结合了上一个特征子集提取到的特征，因而当前获取到的特征子图将拥有更大的感受野，以能够提取出更多的特征。
在一个具体的实施例中，基于平衡相应的运算量以及获取到较好的感受野特征的考量，可将相应的初始特征图划分为4个特征子集，请参阅图5b，图5b是图5a中的车辆的识别方法一具体应用场景的结构示意图。其中，首先将带有车辆的图片输入到一卷积神经网络的卷积层中，并在将其与1×1的卷积核进行运算后，获取到相应的初始特征图，并将该初始特征图划分为4组通道数相等的特征子集：x1、x2、x3以及x4，并依次将其中的第一特征子集x1输出为第一特征子图y1，将其中的第二特征子集x2与其相对应的3×3卷积核C2相乘后得到第二特征子图y2，并进一步将y2与x3相加后，再与x3对应的3×3卷积核C3相乘以得到第三特征子图y3，且将y3与x4相加后，再与x4对应的3×3卷积核C4相乘以得到第四特征子图y4，以能够进一步通过将y1、y2、y3以及y4进行全连接来融合不同尺度的特征。
S56：对设定数量的特征子图进行全连接，以获取到特征图。
S57：根据特征图对车辆进行分类。
S58：对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度。
S59：如果置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。
其中，S56、S57、S58以及S59分别与图4中的S45、S46、S47以及S48相同，具体请参阅S45、S46、S47以及S48及其相关的文字描述，在此不再赘述。
请参阅图6，图6是本申请车辆的识别方法第五实施例的流程示意图。本实施例的车辆的识别方法是图3中的车辆的识别方法的一细化实施例的流程示意图，包括如下步骤：
S61：获取到带有车辆的图片。
S62：将图片输入到经训练的车辆识别模型。
S63：通过车辆识别模型对图片进行特征提取，以获取到图片的特征图。
其中，S61、S62以及S63分别与图3中的S31、S32以及S33相同，具体请参阅S31、S32以及S33及其相关的文字描述，在此不再赘述。
S64：通过注意力机制对特征图进行重标定，以获取到重标定的特征图。
在本实施例中，在对带有车辆的图片进行特征提取，并获取到相应的特征图后，通过注意力机制对获取到的该特征图进行重新标定，以对特征图中每一特征通道进行权重加权运算，从而获取到重标定的特征图，以能够突出相应图片中需要被重点关注的局部区域。
S65：根据重标定的特征图对车辆进行分类。
在本实施例中，在获取到重标定的特征图后，进一步根据重新标定的特征图对相应图片中带有的车辆进行分类。
S66：对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度。
S67：如果置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。
其中，S66和S67分别与图3中的S35和S36相同，具体请参阅S35和S36及其相关的文字描述，在此不再赘述。
请参阅图7a，图7a是本申请车辆的识别方法第六实施例的流程示意图。本实施例的车辆的识别方法是图6中的车辆的识别方法的一细化实施例的流程示意图，包括如下步骤：
S71：获取到带有车辆的图片。
S72：将图片输入到经训练的车辆识别模型。
S73：通过车辆识别模型对图片进行特征提取，以获取到图片的特征图。
其中，S71、S72以及S73分别与图6中的S61、S62以及S63相同，具体请参阅S61、S62以及S63及其相关的文字描述，在此不再赘述。
S74：对特征图进行全局平均池化，并通过权重值对池化后的特征图进行第一全连接运算后与第一激活函数相乘，以在进一步进行第二全连接运算后与第二激活函数相乘，从而获取到特征图中每一特征通道的归一化权重。
在本实施例中，在获取到图片的特征图后，进一步对该特征图进行全局平均池化，以在将该特征图转换为一实数后，通过权重值对池化后的特征图进行全连接，以将获取到的特征图的通道数降低，从而在降低相应的运算量后，与第一激活函数，例如，与ReLU(Rectified Linear Unit，线性整流函数)激活函数相乘，以在得到特征图的非线性特征后，进行第二全连接运算，以将降低了通道数的特征图升回到其初始的维度后，与第二激活函数，例如，与Sigmoid(Sigmoid function，神经网络的阈值函数)激活函数相乘，从而获取到特征图中每一特征通道对应的归一化权重值。
S75：将归一化权重与其对应的特征图中每一特征通道相乘，以获取到重标定的特征图。
在本实施例中，在获取到特征图中每一特征通道对应的归一化权重值后，依次将获取到的归一化权重值与其对应的特征图中每一特征通道相乘，从而获取到重标定的特征图。
在一个具体的实施例中，采用注意力机制对特征图进行的重标定具体包括有三个阶段，其分别为特征压缩阶段、特征激励阶段和特征重标定阶段，请参阅图7b，图7b是图7a中的车辆的识别方法一具体应用场景的结构示意图。
其中，在特征压缩阶段，首先使用全局平均池化将输入到本层级的c×h×w(其中，c、h、w分别表示为相应特征图的通道数、高度以及宽度)的特征图对应的二维特征转换为一个实数，例如，得到一个c×1×1的特征图对应的实数，因而该实数在一定程度上具有全局的感受野，且其输出的维度和输入的特征通道数一致，并表征着其在特征通道上响应的全局分布。
在特征激励阶段时，使用两个全连接层，第一个全连接层将初始特征图通道数降低，例如，将c×1×1的特征图转换为(c/16)×1×1的特征图，以减少计算量，并进一步与ReLU激活函数相乘，以得到特征图的非线性特征，并通过第二个全连接层将其升回到初始特征图的维度，也即在将(c/16)×1×1的特征图转换为c×1×1的特征图后，通过与Sigmoid激活函数相乘，得到本层级的特征图中每一特征层对应的0～1之间的归一化权重。
在特征重标定阶段，将特征激励阶段的输出权重看做是进行特征选择后的每个特征通道的重要性，以通过乘法逐一加权到先前的特征图的每一特征通道上，从而完成在通道维度上的对原始特征的重标定，并获取到重标定的特征图。
其中，其具体可以是通过一经过训练的车辆识别模型来对输入到其中的带有车辆的图片进行处理，而该车辆识别模型可以是在预设卷积神经网络中增加多尺度操作，并使用了注意力机制来更好地提取出相应的带有车辆的图片的特征。且该卷积神经网络具体包括数据输入层、卷积层、特征层、drop_out(舍弃)层、全连接分类层和分类损失层。
可理解的是，其中的输入层用于接收带有车辆的图片的输入，以通过卷积层和特征层对该图片进行特征提取和重标定，从而能够进一步通过全连接分类层对该图片中带有的车辆进行分类，并给出本次将该车辆分为某一类型的置信度，以通过分类损失层对每一次分类正确与否的结果进行计数统计。
S76：根据重标定的特征图对车辆进行分类。
S77：对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度。
S78：如果置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。
其中，S76、S77以及S78分别与图6中的S65、S66以及S67相同，具体请参阅S65、S66以及S67及其相关的文字描述，在此不再赘述。
请参阅图8，图8是本申请车辆的识别方法第七实施例的流程示意图。本实施例的车辆的识别方法是图1中的车辆的识别方法的一细化实施例的流程示意图，包括如下步骤：
S81：获取到带有车辆的图片。
S82：将图片输入到经训练的车辆识别模型，以对车辆进行分类。
S83：对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度。
其中，S81、S82以及S83分别与图1中的S21、S22以及S23相同，具体请参阅S21、S22以及S23及其相关的文字描述，在此不再赘述。
S84：如果置信度小于预设阈值，对图片中车辆的车头所在区域进行检测，以确定车窗所在区域。
在本实施例中，在对将图片中的车辆分出的类型进行识别，并确定将该车辆归类于危险车辆的置信度小于预设阈值时，也即将该图片中的车辆归类于危险车辆的准确率不足于取信时，进一步对该图片进行危险品标检测，并首先对该图片中的车头所在区域进行检测，以在将车头所在的区域确定为检测区域后，在该车头检测区域的基础上进一步进行车窗检测，从而确定出车窗所在的区域。
S85：对车窗所在区域进行填充处理，并判断填充处理后的图片是否包括危险品标。
在本实施例中，在确定出车窗所在区域后，对确定的该车窗所在的区域进行填充处理，例如，将获取到的该车窗所在区域的像素值调整为0，或将一全图显示为白色的图片遮挡在该车窗所在的区域处，以排除可能存在的干扰后，再对已做填充处理后的图片进行危险品标检测，以检测其是否包括有危险品标识。
其中，如果填充处理后的图片包括有危险品标时，则执行S86，如果填充处理后的图片不包括危险品标时，则执行S87。
S86：确定车辆为危险车辆。
在本实施例中，如果检测出已做填充处理后的图片中包括有危险品标时，则确定该图片中带有的车辆为危险车辆。
S87：确定车辆不为危险车辆。
在本实施例中，如果检测出已做填充处理后的图片中并不存在有危险品标时，则确定该图片中带有的车辆不为危险车辆。
可理解的是，在通过车辆识别模型对输入到其中的带有车辆的图片进行分类检测后，当其无法确信该车辆为危险品车时，进一步将该图片输入到一经过训练的车头检测模型中以及车窗检测模型中，以进行危险品标的检测，其中，带有危险品标的车辆，即为危险品车。而在其他实施例中，还可以同时对危险品标和车牌进行检测，以排除通常出现在靠近危险品矩形标牌位置处的车牌，从而减少车牌对于危险品矩形标牌检测的不利影响，以提高对危险品车辆进行识别的准确率。
基于总的发明构思，本申请还提供了一种智能终端，请参阅图9，图9是本申请智能终端一实施例的结构示意图。
其中，智能终端91包括相互耦接的存储器911和处理器912，存储器911存储有程序数据，处理器912用于执行该程序数据，以实现如上任一项所述的检测方法。
可选地，智能终端91可以是一智能监控摄像机，该智能监控摄像机集成有处理芯片，该处理芯片集成有相应的经训练后的网络学习模型以及程序数据，以能够实现如上任一项所述的检测方法。而在其他实施例中，智能终端91还可以是后台终端计算机或服务器等智能终端中的一种，且该智能终端91与一监控摄像头建立有通讯连接，以能够实现如上任一项所述的车辆的识别方法。
基于总的发明构思，本申请还提供了一种计算机可读存储介质，请参阅图10，图10是本申请计算机可读存储介质一实施例的结构示意图。其中，计算机可读存储介质101中存储有程序数据1011，该程序数据1011能够被执行以实现以上任一所述的车辆的识别方法。
在一个实施例中，计算机可读存储介质101可以是终端中的存储芯片、硬盘或者是移动硬盘或者优盘、光盘等其他可读写存储的工具，还可以是服务器等。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，处理器或存储器的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个处理器与存储器实现的功能可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或连接可以是通过一些接口，装置或单元的间接耦合或连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
区别于现有技术，本申请中的车辆的识别方法包括：获取到带有车辆的图片，并对车辆进行分类；对将车辆分出的类型进行识别，并确定将车辆归类于危险车辆的置信度；如果将车辆归类于危险车辆的置信度小于预设阈值时，对图片进行危险品标检测，以在检测出图片包括危险品标时，确定车辆为危险车辆。通过上述方式，本申请通过将车辆类型的标注检测与危险品标检测级联配合的方式，能够更有效地实现对危险品车辆的高精度识别，且有效地提高了危险品车辆识别的准确率。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种车辆的识别方法，其特征在于，所述车辆的识别方法包括：
获取到带有车辆的图片；
将所述图片输入到经训练的车辆识别模型，以对所述车辆进行分类；
对将所述车辆分出的类型进行识别，并确定将所述车辆归类于危险车辆的置信度；
如果所述置信度小于预设阈值，对所述图片进行危险品标检测，以在检测出所述图片包括危险品标时，确定所述车辆为危险车辆。
2.根据权利要求1所述的车辆的识别方法，其特征在于，所述将所述图片输入到经训练的车辆识别模型，以对所述车辆进行分类的步骤包括：
将所述图片输入到经训练的所述车辆识别模型；
通过所述车辆识别模型对所述图片进行特征提取，以获取到所述图片的特征图；
根据所述特征图对所述车辆进行分类。
3.根据权利要求2所述的车辆的识别方法，其特征在于，所述通过所述车辆识别模型对所述图片进行特征提取，以获取到所述图片的特征图的步骤包括：
通过所述车辆识别模型的第一卷积核对所述图片进行卷积运算，以获取到所述图片的初始特征图；
将所述初始特征图划分为设定数量的特征子集，以通过设定函数依次对每一所述特征子集进行运算，以获取到设定数量的特征子图；
对设定数量的所述特征子图进行全连接，以获取到所述特征图。
4.根据权利要求3所述的车辆的识别方法，其特征在于，所述将所述初始特征图划分为设定数量的特征子集，以通过设定函数依次对每一所述特征子集进行运算，以获取到设定数量的特征子图的步骤包括：
将所述初始特征图划分为设定数量的所述特征子集；
如果所述特征子集的设定数量大于2时，将第一特征子集输出为第一特征子图，将第二特征子集与第二卷积核相乘以得到第二特征子图，并依次将此次获取到的特征子图与下一特征子集叠加之后与其对应的卷积核相乘，以得到每一特征子集对应的特征子图。
5.根据权利要求2所述的车辆的识别方法，其特征在于，所述通过所述车辆识别模型对所述图片进行特征提取，以获取到所述图片的特征图的步骤之后，所述根据所述特征图对所述车辆进行分类的步骤之前，还包括：
通过注意力机制对所述特征图进行重标定，以获取到重标定的所述特征图；
所述根据所述特征图对所述车辆进行分类的步骤包括：
根据重标定的所述特征图对所述车辆进行分类。
6.根据权利要求5所述的车辆的识别方法，其特征在于，所述通过注意力机制对所述特征图进行重标定，以获取到重标定的所述特征图的步骤包括：
对所述特征图进行全局平均池化，并通过权重值对池化后的所述特征图进行第一全连接运算后与第一激活函数相乘，以在进一步进行第二全连接运算后与第二激活函数相乘，从而获取到所述特征图中每一特征通道的归一化权重；
将所述归一化权重与其对应的所述特征图中每一特征通道相乘，以获取到重标定的所述特征图。
7.根据权利要求1所述的车辆的识别方法，其特征在于，所述如果所述置信度小于预设阈值，对所述图片进行危险品标检测，以在检测出所述图片包括危险品标时，确定所述车辆为危险车辆的步骤包括：
如果所述置信度小于预设阈值，对所述图片中车辆的车头所在区域进行检测，以确定车窗所在区域；
对所述车窗所在区域进行填充处理，并判断填充处理后的所述图片是否包括危险品标；
如果所述填充处理后的图片包括危险品标，确定所述车辆为危险车辆。
8.一种车辆识别模型的训练方法，用于训练得到如权利要求1中所述的车辆识别模型，其特征在于，所述车辆识别模型的训练方法包括：
将已标注的带有车辆的图片输入到初始检测模型中；其中，所述图片为对所述车辆是否为危险车辆的类型进行标注的图片；
通过所述初始检测模型对所述图片进行预测，得到所述车辆的类型的预测结果；
根据所述预测结果以及所述图片中车辆的标注类型对所述车辆识别模型进行训练，并将训练完成后的模型确定为所述车辆识别模型。
9.一种智能终端，其特征在于，所述智能终端包括相互耦接的存储器和处理器；
所述存储器存储有程序数据；
所述处理器用于执行所述程序数据，以实现如权利要求1-7中任一项所述的车辆的识别方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有程序数据，所述程序数据能够被执行以实现如权利要求1-7中任一项所述的车辆的识别方法。
CN202010526063.6A 2020-06-11 2020-06-11 车辆的识别方法、车辆识别模型的训练方法及相关装置 Pending CN111814562A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010526063.6A CN111814562A (zh) 2020-06-11 2020-06-11 车辆的识别方法、车辆识别模型的训练方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010526063.6A CN111814562A (zh) 2020-06-11 2020-06-11 车辆的识别方法、车辆识别模型的训练方法及相关装置

Publications (1)

Publication Number Publication Date
CN111814562A true CN111814562A (zh) 2020-10-23

Family

ID=72844888

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010526063.6A Pending CN111814562A (zh) 2020-06-11 2020-06-11 车辆的识别方法、车辆识别模型的训练方法及相关装置

Country Status (1)

Country Link
CN (1) CN111814562A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657180A (zh) * 2021-07-23 2021-11-16 浙江大华技术股份有限公司 一种车辆识别方法、服务器和计算机可读存储介质
CN113723258A (zh) * 2021-08-24 2021-11-30 广州邦讯信息系统有限公司 危险品车辆图像识别方法及其相关设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024659A (ja) * 2002-06-27 2004-01-29 Hitachi Medical Corp Ｘ線ｃｔ装置
CN105373782A (zh) * 2015-11-16 2016-03-02 深圳市哈工大交通电子技术有限公司 一种从图片或者视频中自动识别危化品车辆的方法
CN108764722A (zh) * 2018-05-28 2018-11-06 西安艾润物联网技术服务有限责任公司 危险品运输车辆管理方法、系统及计算机可读存储介质
CN108875803A (zh) * 2018-05-30 2018-11-23 长安大学 一种基于视频图像的危化品运输车辆检测与识别方法
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN110689039A (zh) * 2019-08-19 2020-01-14 浙江工业大学 一种基于四通道卷积神经网络的树干纹理识别方法
CN111241996A (zh) * 2020-01-09 2020-06-05 桂林电子科技大学 一种用于识别视频中人物动作的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024659A (ja) * 2002-06-27 2004-01-29 Hitachi Medical Corp Ｘ線ｃｔ装置
CN105373782A (zh) * 2015-11-16 2016-03-02 深圳市哈工大交通电子技术有限公司 一种从图片或者视频中自动识别危化品车辆的方法
CN109871730A (zh) * 2017-12-05 2019-06-11 杭州海康威视数字技术股份有限公司 一种目标识别方法、装置及监控设备
CN108764722A (zh) * 2018-05-28 2018-11-06 西安艾润物联网技术服务有限责任公司 危险品运输车辆管理方法、系统及计算机可读存储介质
CN108875803A (zh) * 2018-05-30 2018-11-23 长安大学 一种基于视频图像的危化品运输车辆检测与识别方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN110689039A (zh) * 2019-08-19 2020-01-14 浙江工业大学 一种基于四通道卷积神经网络的树干纹理识别方法
CN111241996A (zh) * 2020-01-09 2020-06-05 桂林电子科技大学 一种用于识别视频中人物动作的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657180A (zh) * 2021-07-23 2021-11-16 浙江大华技术股份有限公司 一种车辆识别方法、服务器和计算机可读存储介质
CN113723258A (zh) * 2021-08-24 2021-11-30 广州邦讯信息系统有限公司 危险品车辆图像识别方法及其相关设备

Similar Documents

Publication Publication Date Title
Bouti et al. A robust system for road sign detection and classification using LeNet architecture based on convolutional neural network
Izidio et al. An embedded automatic license plate recognition system using deep learning
CN107944450B (zh) 一种车牌识别方法及装置
US9767381B2 (en) Similarity-based detection of prominent objects using deep CNN pooling layers as features
US20170364757A1 (en) Image processing system to detect objects of interest
CN109117781B (zh) 多属性识别模型的建立方法、装置及多属性识别方法
CN109657715B (zh) 一种语义分割方法、装置、设备及介质
CN111553355B (zh) 基于监控视频的出店经营检测及通知管理店主的方法
Jørgensen Automatic license plate recognition using deep learning techniques
CN111814562A (zh) 车辆的识别方法、车辆识别模型的训练方法及相关装置
CN108323209A (zh) 信息处理方法、系统、云处理设备以及计算机程序产品
Gong et al. A novel unified deep neural networks methodology for use by date recognition in retail food package image
Lee et al. License plate detection via information maximization
CN115272691A (zh) 一种钢筋绑扎状态检测模型的训练方法、识别方法及设备
CA3131758A1 (en) Image processing system
CN112365451A (zh) 图像质量等级的确定方法、装置、设备及计算机可读介质
CN112241736B (zh) 一种文本检测的方法及装置
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
KR101419837B1 (ko) 분할 이미지 셀을 이용하는 아다부스트 기반의 보행자 검출 방법 및 장치
KR101334858B1 (ko) 나비종 자동분류 시스템 및 방법, 이를 이용한 나비종 자동분류 기능이 구비된 휴대 단말기
CN113065559B (zh) 图像比对方法、装置、电子设备及存储介质
Do et al. Exploiting domain transferability for collaborative inter-level domain adaptive object detection
CN117636080B (zh) 一种场景分类方法、装置、计算机设备及可读存储介质
Li et al. Towards end-to-end container code recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination