CN115294537A - 一种基于特征关联的车辆属性识别方法及系统 - Google Patents

一种基于特征关联的车辆属性识别方法及系统 Download PDF

Info

Publication number
CN115294537A
CN115294537A CN202210955349.5A CN202210955349A CN115294537A CN 115294537 A CN115294537 A CN 115294537A CN 202210955349 A CN202210955349 A CN 202210955349A CN 115294537 A CN115294537 A CN 115294537A
Authority
CN
China
Prior art keywords
vehicle
network
attribute
attribute identification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210955349.5A
Other languages
English (en)
Inventor
管洪清
徐亮
王伟
张元杰
张大千
尹广楹
孙浩云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Windaka Technology Co ltd
Original Assignee
Qingdao Windaka Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Windaka Technology Co ltd filed Critical Qingdao Windaka Technology Co ltd
Priority to CN202210955349.5A priority Critical patent/CN115294537A/zh
Publication of CN115294537A publication Critical patent/CN115294537A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及车辆监控技术领域，提出了一种基于特征关联的车辆属性识别方法及系统，识别方法包括如下步骤：获取待检测的图像；采用训练好的车辆检测网络对目标车辆进行检测并标定，得到目标车辆区域图像；针对目标车辆区域图像，采用训练好的车辆属性识别网络对检测到的目标车辆进行属性识别，得到目标车辆的属性信息；所述车辆检测网络为在RPN结构输出端并列设置与背景区分相关的全连接层和候选区域修正相关的全连接层；车辆属性识别网络在DenseNet结构之上加入多个并行的全连接层。相比于其它基于单属性和纹理特征改进的车辆属性识别算法，能够实现车辆属性特征识别的实时性和准确性。

Description

一种基于特征关联的车辆属性识别方法及系统
技术领域
本公开涉及车辆监控相关技术领域，具体的说，是涉及一种基于特征关联的车辆属性识别方法及系统。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。
在视频、图像的相关研究领域中，物体的检测与识别是较为基础的一个分支。而目标跟踪与行为检测的精度往往取决于识别算法的准确性，于此同时，由于物体特性的不同，所采用的识别算法的适用性也会有所差异，特别是高速移动类物体的检测与识别，对实时性和准确性的要求较高。
对于车辆属性识别问题，其关键点主要在于两处：首先是如何准确而又实时地对车辆进行检测，尤其是复杂环境中的车辆；其次才是如何对车辆的多个细粒度属性进行识别。与一般的目标检测有所不同，车辆自身的速度特点决定了车辆本身在某些时刻中不能在摄像头下停留较长的时间，如果检测算法是针对于车辆进行设计的，那么算法的实时性和准确度的要求将会比一般的检测算法高，才能够保证在车辆高速移动的前提下仍然能够对其进行检测并分析。
发明人发现，近年来的车辆属性检测与识别的相关研究成果中，基于像素纹理与轮廓特征的分析算法有所改进，但这些浅层特征是无法被用于更加细致的车辆分类，另外车辆的多属性识别也局限于对车辆的单属性进行识别并且进行低层次的整合。然而在许多情况下多个车辆属性需要被获取，如车辆自动驾驶领域，目前的车辆属性识别方法存在实时性和准确性差的问题。
发明内容
本公开针对复杂环境下的车辆检测问题与车辆属性识别问题，提出了一种基于特征关联的车辆属性识别方法及系统，能够实现车辆属性特征识别的实时性和准确性。
为了实现上述目的，本公开采用如下技术方案：
一个或多个实施例提供了一种基于特征关联的车辆属性识别方法，包括如下步骤：
获取待检测的图像；
对待检测图像，采用训练好的车辆检测网络对目标车辆进行检测并标定，得到目标车辆区域图像；
针对目标车辆区域图像，采用训练好的车辆属性识别网络对检测到的目标车辆进行属性识别，得到目标车辆的属性信息；
所述车辆检测网络为在RPN结构输出端并列设置与背景区分相关的全连接层和候选区域修正相关的全连接层；车辆属性识别网络在DenseNet结构之上加入多个并行的全连接层。
一个或多个实施例提供了一种基于特征关联的车辆属性识别系统，包括：
图像数据获取模块：被配置为用于获取待检测的图像；
目标车辆区域检测模块：被配置为用于对待检测图像，采用训练好的车辆检测网络对目标车辆进行检测并标定，得到目标车辆区域图像；
车辆属性识别模块：被配置为用于针对目标车辆区域图像，采用训练好的车辆属性识别网络对检测到的目标车辆进行属性识别，得到目标车辆的属性信息；
所述车辆检测网络为在RPN结构输出端并列设置与背景区分相关的全连接层和候选区域修正相关的全连接层；车辆属性识别网络在DenseNet结构之上加入多个并行的全连接层。
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成上述方法所述的步骤。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成上述方法所述的步骤。
与现有技术相比，本公开的有益效果为：
本公开通过设置基于RPN结构改进的车辆检测网络，能够有效区分目标车辆与背景的同时能够以合适的候选区域标定目标车辆；通过每个属性特征增加全连接层，使车辆属性识别网络能够更好地利用细粒度属性的相关性对车辆进行分析。车辆检测网络与车辆属性识别网络相结合，真正实现了端到端的网络结构，并且所组成的网络结构同时具有较高的识别效率与准确率。
本公开的优点以及附加方面的优点将在下面的具体实施例中进行详细说明。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的限定。
图1是本公开实施例1的车辆属性识别方法流程图；
图2是本公开实施例1的车辆检测网络训练方法流程图；
图3是本公开实施例1的车辆属性识别网络的训练流程图。
具体实施方式
下面结合附图与实施例对本公开作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。需要说明的是，在不冲突的情况下，本公开中的各个实施例及实施例中的特征可以相互组合。下面将结合附图对实施例进行详细描述。
本公开的车辆属性识别方法，首先以Faster-RCNN中的RPN结构和DenseNet结构为基础优化了车辆的检测过程与属性识别过程，并且在此基础之上对每一个所涉及到的细粒度特征分别设计并行的全连接层。并行全连接层的主要作用是对车辆各个细粒度属性进行单独分析，为了利用属性间的关联性优化识别效果，本公开所提出的算法模型将每个全连接层所产生的误差损失整合为针对于该模型的全局损失函数并以此为目标进行优化。由此，训练后的算法模型在车辆细粒度属性识别过程由全局分析到局部分析，相比于其它基于单属性和纹理特征改进的车辆属性识别算法，其实时性和准确度得以提升。下面以具体的实施例进行说明。
实施例1
在一个或多个实施方式公开的技术方案中，如图1-图3所示，一种基于特征关联的车辆属性识别方法，包括如下步骤：
步骤1、获取待检测的图像；
步骤2、对待检测图像，采用训练好的车辆检测网络对目标车辆进行检测并标定，得到目标车辆区域图像；
步骤3、针对目标车辆区域图像，采用训练好的车辆属性识别网络对检测到的目标车辆进行属性识别，得到目标车辆的属性信息。
所述车辆检测网络基于RPN结构进行改进，在RPN结构输出端并列设置与背景区分相关的全连接层和候选区域修正相关的全连接层；所述车辆属性识别网络在DenseNet结构之上加入多个并行的全连接层，并且将每个全连接层所对应的车辆细粒度特征损失整合为一个全局损失函数。所述车辆检测网络与车辆属性识别网络相整合，组成端到端的网络结构，车辆检测网络的候选区域输出层连接车辆属性识别网络的输入层。
本实施例以车辆检测网络在前，以车辆属性识别网络在后，将两种网络结构整合为基于特征关联的车辆属性识别网络模型。
本实施例，在原RPN结构的基础之上增加了与背景区分和候选区域修正相关的全连接层，相比于以纹理或轮廓特征为主的相关改进检测算法，该网络模型所提取的特征对光照影响具有较好的鲁棒性，在有效区分目标车辆与背景的同时能够以合适的候选区域标定目标车辆。并且采用DenseNet结构能够在传输信息的同时保留之前若干个卷积层的分析信息，很好地实现了各层特征分析结果的重复利用，使车辆细粒度属性的分析结果更加精确，针对每个属性特征增加全连接层，使车辆属性识别网络能够更好地利用细粒度属性的相关性对车辆进行分析。检测网络与识别网络相结合，真正实现了端到端的网络结构，并且所组成的网络结构同时具有较高的识别效率与准确率。
步骤1中，获取的待检测图像可以通过监控设备获取，具体的，可以根据不同的监控场景选择，监控场景可以为社区场景、停车场、公路等。
进一步地，还包括对获取的待检测图像进行预处理的步骤：将图像缩放至统一的大小，并采用多层卷积层进行特征提速获得多个特征图像。
车辆检测网络的作用是实时地对社区复杂环境下的车辆进行检测并标定，车辆属性识别网络是对检测到的车辆进行分析，以得出车辆的分析结果，直观地反映出车辆的车标、车型以及颜色。
步骤2中，出于计算复杂度、识别效率以及识别准确率的考量，车辆检测网络基于Faster-RCNN中的RPN结构进行设计并改进，在原RPN结构的基础之上增加了与背景区分相关的全连接层和区域修正相关的全连接层。
RCNN是Faster-RCNN的前身，其检测原理基于选择搜索方法或边缘框方法，通过对大量的候选区域以卷积的形式进行分析，最终得出目标检测的结果。虽然这种方法与基于纹理和轮廓特征的检测方法相比受环境变化的影响较小，但候选区域数量过多导致算法效率低下，显然并不适用于实时性较强的车辆检测。而Faster-RCNN在候选区域修正过程中采用RPN网络，利用共享卷积层特性来提高速度和性能，不仅继承了原RCNN的高精度的优点，在检测效率上也有所改进。
车辆检测网络设置了与背景区分相关的全连接层和区域修正相关的全连接层，以社区车辆图像为输入，以车辆图像的选定区域为输出进行训练，并且训练过程中不仅对准确率进行优化，还对车辆候选区域进行优化，使候选区域尽可能贴合车辆的实际位置与可见大小，为下一步车辆属性识别作准备。
具体的，车辆检测网络的网络结构，车辆属性识别网络包括依次连接的多个级联的卷积层、RPN层和第一全连接层，第一全连接层连接设置有并并列的第二全连接层和第三全连接层，所述第二全连接层用于确定区域内的目标是车辆还是背景，第三全连接层用于对识别的目标车辆区域的边框进行修正，使候选区域尽可能地将整个车辆完全选取。
RPN模型相比于其它的车辆检测模型，加速了车辆候选区域的提取过程，即使对高速移动的车辆仍然能够以帧为单位进行捕捉，而社区场景下的车辆运动往往都是低速的，能够实现车辆属性识别的实时性和准确性。
可选的，车辆的属性信息可以包括车辆的车型、品牌、姿态以及颜色等。
车辆的属性是多样的，而每个细粒度特征之间都有隐含的关联性，为了解决以往的车辆属性识别模型局限于单属性分析和纹理轮廓特征分析的弊端，本发明提出了并发式属性识别网络(Parallel attribute recognition network，即PARN)，该网络模型针对多个细粒度特征引入了对应的并行全连接层，并且将每个全连接层训练时所产生的误差损失整合为一个全局的损失函数。
为了使图像信息在网络模型中得到高完整度的传递，并且使模型不会因为训练迭代次数过长或者冗余层的影响导致性能下降，步骤3中的车辆属性识别网络即前述PARN基于DenseNet进行改进，DenseNet相较于其它基于卷积神经网络进行改进的算法模型，能够在传输信息的同时保留之前若干个卷积层的分析信息，很好地实现了各层特征分析结果的重复利用，使车辆细粒度属性的分析结果更加精确。
如图3所示，车辆属性识别网络包括DenseNet网络，以及连接在DenseNet网络输出端的并行全连接层。DenseNet网络的特征提取层每层操作对应的核为：卷积层7×7，池化层为3×3，传输层为2×2，提取过程中，传播统计层数增加直到达到统计层数阈值，整合层的特征输入至并行连接层。
DenseNet模型的前身是ResNet模型，为了解决由于训练迭代次数增加和冗余层过剩导致性能下降的问题，ResNet借鉴残差网络的思想实现图像信息的跨卷积层传播，优化了模型训练中的超参数调整过程。而DenseNet则在此基础之上使每一个卷积层中的图像分析信息能够结合当前卷积层之前的各层中的信息向下一个卷积层传播，相比于ResNet，DenseNet在图像信息过程的密集度和完整性方面更加优秀，于此同时又继承了ResNet的性能稳定不下降的长处，针对目标识别问题的准确性有所提升。
本实施例所提出的PARN模型继承了DenseNet的优点，并且在训练过程中所使用的损失函数对各个细粒度属性所产生的误差均进行了考量，使网络模型能够综合考虑各个属性的分析情况对车辆所对应的多个细粒度属性进行准确识别。车辆属性识别网络的全局的损失函数为车辆各属性对应的损失函数按照设定的权重的加权和除以权重的加权和的商；表示为：
Figure BDA0003791107620000081
由于每一个车辆属性被认为是同等重要的，故这些细粒度属性所对应的权值大小相同，即wM＝wC＝wV，其中PM表示车标预测结果、PC表示车辆颜色预测结果、PV表示车型预测结果，而L为各车辆属性所采用的损失函数。
其中，各车辆属性的损失函数采用softmax进行计算。
以全局损失函数为目标函数进行训练，能够以全局的角度同时对每个细粒度属性的分析层进行并行优化。并且训练后的网络相比于车辆单属性识别模型，所涉及到的细粒度属性范围广，且对每一个细粒度属性的识别准确率更高。待检测图像输入至PARN模型，便可以从对应属性的并行全连接层中获取分析结果即为车辆属性信息。
可选的，车辆属性信息以单热度向量进行表示，单热度向量每一维的值代表车辆所对应的细粒度属性属于对应类别的概率，概率最高的那一类别即为车辆在该属性下的分析结果，即何种品牌、何种姿态以及何种颜色的车辆。
将车辆检测网络与车辆属性识别网络相整合，组成端到端的网络结构。该网络结构将车辆检测网络的候选区域输出层连接到车辆属性识别网络的输入层，即将第三全连接层连接至车辆属性识别网络的输入端。可以对社区复杂环境下车辆的多个细粒度属性进行有效识别，并且给出准确的识别结果。对于待检测图像，首先通过车辆检测网络找出待检测车辆的位置并且以适当的选区选定目标车辆，然后通过车辆属性识别网络同时对目标车辆的多个细粒度属性进行并发式识别过程，进而保证每一个属性的识别结果准确度均保持在高水平。
进一步地，还包括对车辆检测网络和车辆属性识别网络进行训练的过程，包括：
步骤S1、获取车辆图像构建训练集，并标定每个车辆的坐标信息和车辆属性；
具体的，可以使用社区监控中的车辆图像作为训练数据。
步骤S2：使用标定后的车辆数据集训练车辆检测网络，车辆检测网络的设计与改进基于Faster-RCNN中的RPN结构，损失函数包括用于区分车辆与背景的损失函数以及用于修正候选区域定位的损失函数；
步骤S3：使用标定后的车辆数据集训练车辆属性识别网络，车辆属性识别损失函数由车辆各个细粒度的属性所对应的损失函数组成，经过训练的网络能够利用车辆各个属性之间的关联，提高分类的准确率；
训练后，将车辆检测网络与车辆属性识别网络相整合，组成端到端的网络结构。该网络结构将车辆检测网络的候选区域输出层连接到车辆属性识别网络的输入层，使车辆属性识别过程能够在车辆精准检测的前提条件下进行。
整合的网络结构部署于社区监控场景中，将待识别图像输入该网络，以得到图像中目标车辆的各属性分析结果。
进一步地，在所述步骤S1中，可以将车辆的检测与多属性识别应用于社区场景，因此将来自于社区监控的车辆数据集作为网络模型的训练集。
具体的，数据集的时间跨度为半年，记录了每日12小时内车辆的经过与停留情况。对于所采集到的数据集，首先以车辆为单位进行手工切割，确保每一个车辆图像有且仅有一辆车。
对数据集中的每一个车辆，标定其坐标信息和车辆属性，其中车辆属性主要包括车标、车型、颜色等。车标类型总计为83种，车型共有12种，车型可以包括：MPV、SUV、掀背车、轿车、面包车等，初始的车辆颜色类型可以设为8种，如黑、白、红、蓝、灰、黄等。
为了实现准确度与精确度的优化，车辆检测网络在训练过程中采用了两种损失函数：
第一种损失函数用于区分车辆与背景的损失函数将车辆检测视为二分类问题，即区域内的目标是车辆还是背景，在正确检测到车辆的基础之上，为了修正候选区域，使候选区域尽可能地将整个车辆完全选取，引入了第二种损失函数用于修正候选区域定位的损失函数，该损失函数将预测候选区域的信息同真实目标区域的信息作差以反映车辆目标检测网络模型预测候选区域的精确程度。
以上述两种目标函数对模型进行训练，能够使车辆检测网络在正确检测车辆对象的情况下以合适的候选区域选定车辆。
步骤S2中，车辆检测网络的训练步骤如下：
步骤S21，将车辆数据集的数据分为训练集和测试集
步骤S22，获取车辆数据集的训练集图像进行图像预处理，所述预处理包括图像缩放至统一大小并经过多层卷积操作；
步骤S22，以预处理后的车辆图像为输入，以车辆标定的坐标信息即候选框准确位置为输出，对车辆检测网络进行训练；
步骤S23，计算损失函数，包括用于区分车辆与背景的损失函数以及用于修正候选区域定位的损失函数，根据损失函数的数值，使用梯度下降修正车辆检测网络的参数；
步骤S24，根据测试集的图像，采用车辆检测网络识别的目标区域与标注的图像目标区域的交并比判断识别的准确性，若达到设定的准确性阈值，得到训练后的车辆检测网络。
进一步的，按比例对车辆数据集进行分化，通常将20％比例的数据集作为测试集对本方法所使用的车辆检测网络进行测试。其中，车辆检测网络的准确程度通过待检测车型图像的预测区域与真实选定区域的相对位置来进行判断，可以采用并交比的形式进行判断：
Figure BDA0003791107620000121
其中A表示车辆检测所产生的候选区域，B为待检测图像的真实选定区域，SI代表区域A与区域B的相交面积，而SA+SB-SI代表区域A与区域B的并集所产生的面积。如果并交比的值大于所设定的阈值，则认为车辆检测网络检测到了正确的车辆，并且给予了正确的选定区域。
车辆属性识别网络，该网络以标定多个属性标签(即车标、车型、颜色)的图像为输入，以各属性对应的标签为对应的各个全连接层的输出进行训练，
步骤S3中，车辆属性识别网络的训练过程为：
步骤S31、将获取的车辆数据集为输入，以标定的车辆属性特征为输出，输入至车辆属性识别网络；
步骤S32、通过车辆属性识别网络预测的车辆属性标签，计算各个属性对应的判定损失，以相同的权重大小对各车辆属性的判定损失进行加权后计算全局损失
步骤S33、以全局损失函数为目标函数对车辆属性识别网络的参数进行优化，直到达到设定的迭代次数，得到训练好的车辆属性识别网络。
将上述车辆检测网络与车辆属性识别网络相结合所形成的端对端网络，可以对社区复杂环境下车辆的多个细粒度属性进行有效识别，并且给出准确的识别结果。本实施例的方法，能够有效地利用车辆属性之间的隐式关系，对社区内车辆进行实时且精准的多属性识别，并且在光照变化以及天气影响的情况下仍然能够对监控视野范围内的车辆进行有效的分析。与基于纹理特征和轮廓特征的相关改进算法相比，本实施例所提出的模型能够从更深的层次对目标车辆的特征进行提取，并且该模型的运行效果更加稳定。
实施例2
基于实施例1，本实施例中提供一种基于特征关联的车辆属性识别系统，包括：
图像数据获取模块：被配置为用于获取待检测的图像；
目标车辆区域检测模块：被配置为用于对待检测图像，采用训练好的车辆检测网络对目标车辆进行检测并标定，得到目标车辆区域图像；
车辆属性识别模块：被配置为用于针对目标车辆区域图像，采用训练好的车辆属性识别网络对检测到的目标车辆进行属性识别，得到目标车辆的属性信息；
所述车辆检测网络为在RPN结构输出端并列设置与背景区分相关的全连接层和候选区域修正相关的全连接层；车辆属性识别网络在DenseNet结构之上加入多个并行的全连接层。
此处需要说明的是，本实施例中的各个模块与实施例1中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例3
本实施例提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1的方法所述的步骤。
实施例4
本实施例提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1的方法所述的步骤。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于特征关联的车辆属性识别方法，其特征在于，包括如下步骤：
获取待检测的图像；
对待检测图像，采用训练好的车辆检测网络对目标车辆进行检测并标定，得到目标车辆区域图像；
针对目标车辆区域图像，采用训练好的车辆属性识别网络对检测到的目标车辆进行属性识别，得到目标车辆的属性信息；
所述车辆检测网络为在RPN结构输出端并列设置与背景区分相关的全连接层和候选区域修正相关的全连接层；车辆属性识别网络在DenseNet结构之上加入多个并行的全连接层。
2.如权利要求1所述的一种基于特征关联的车辆属性识别方法，其特征在于：所述车辆检测网络与车辆属性识别网络相整合，组成端到端的网络结构，车辆检测网络的候选区域输出层连接车辆属性识别网络的输入层。
3.如权利要求1所述的一种基于特征关联的车辆属性识别方法，其特征在于：车辆检测网络的网络结构，车辆属性识别网络包括依次连接的多个级联的卷积层、RPN层和第一全连接层，第一全连接层连接设置有并并列的第二全连接层和第三全连接层，所述第二全连接层用于确定区域内的目标是车辆还是背景，第三全连接层用于对识别的目标车辆区域的边框进行修正，使候选区域尽可能地将整个车辆完全选取；
或者，车辆属性识别网络包括DenseNet网络，以及连接在DenseNet网络输出端的并行全连接层；
或者，车辆的属性信息包括车辆的车型、品牌、姿态以及颜色；
或者，通过车辆属性识别网络得到的车辆属性信息以单热度向量进行表示，单热度向量每一维的值代表车辆所对应的细粒度属性属于对应类别的概率，概率最高的那一类别即为车辆在该属性下的分析结果。
4.如权利要求1所述的一种基于特征关联的车辆属性识别方法，其特征在于：
车辆检测网络的损失函数包括：用于区分车辆与背景的损失函数以及用于修正候选区域定位的损失函数；
或者，车辆属性识别网络的损失函数为：
车辆各属性对应的损失函数按照设定的权重的加权和除以权重的加权和的商；其中，车辆各属性的损失函数采用softmax进行计算。
5.如权利要求1所述的一种基于特征关联的车辆属性识别方法，其特征在于：获取待检测的图像后，包括对对获取的待检测图像进行预处理的步骤：将图像缩放至统一的大小，并采用多层卷积层进行特征提速获得多个特征图像。
6.如权利要求1所述的一种基于特征关联的车辆属性识别方法，其特征在于：
对车辆检测网络和车辆属性识别网络进行训练的过程，包括：
获取车辆图像构建训练集，并标定每个车辆的坐标信息和车辆属性；
使用标定后的车辆数据集训练车辆检测网络，损失函数包括用于区分车辆与背景的损失函数以及用于修正候选区域定位的损失函数；
使用标定后的车辆数据集训练车辆属性识别网络，车辆属性识别损失函数由车辆各个细粒度的属性所对应的损失函数组成。
7.如权利要求6所述的一种基于特征关联的车辆属性识别方法，其特征在于：
车辆检测网络的训练步骤如下：
将车辆数据集的数据分为训练集和测试集
获取车辆数据集的训练集图像进行图像预处理，所述预处理包括图像缩放至统一大小并经过多层卷积操作；
以预处理后的车辆图像为输入，以车辆标定的坐标信息即候选框准确位置为输出，对车辆检测网络进行训练；
计算损失函数，包括用于区分车辆与背景的损失函数以及用于修正候选区域定位的损失函数，根据损失函数的数值，使用梯度下降修正车辆检测网络的参数；
根据测试集的图像，采用车辆检测网络识别的目标区域与标注的图像目标区域的交并比判断识别的准确性，若达到设定的准确性阈值，得到训练后的车辆检测网络；
或者，车辆属性识别网络的训练过程为：
将获取的车辆数据集为输入，以标定的车辆属性特征为输出，输入至车辆属性识别网络；
通过车辆属性识别网络预测的车辆属性标签，计算各个属性对应的判定损失，以相同的权重大小对各车辆属性的判定损失进行加权后计算全局损失
以全局损失函数为目标函数对车辆属性识别网络的参数进行优化，直到达到设定的迭代次数，得到训练好的车辆属性识别网络。
8.一种基于特征关联的车辆属性识别系统，其特征在于，包括：
图像数据获取模块：被配置为用于获取待检测的图像；
目标车辆区域检测模块：被配置为用于对待检测图像，采用训练好的车辆检测网络对目标车辆进行检测并标定，得到目标车辆区域图像；
车辆属性识别模块：被配置为用于针对目标车辆区域图像，采用训练好的车辆属性识别网络对检测到的目标车辆进行属性识别，得到目标车辆的属性信息；
所述车辆检测网络为在RPN结构输出端并列设置与背景区分相关的全连接层和候选区域修正相关的全连接层；车辆属性识别网络在DenseNet结构之上加入多个并行的全连接层。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项方法所述的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项方法所述的步骤。
CN202210955349.5A 2022-08-10 2022-08-10 一种基于特征关联的车辆属性识别方法及系统 Pending CN115294537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210955349.5A CN115294537A (zh) 2022-08-10 2022-08-10 一种基于特征关联的车辆属性识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210955349.5A CN115294537A (zh) 2022-08-10 2022-08-10 一种基于特征关联的车辆属性识别方法及系统

Publications (1)

Publication Number Publication Date
CN115294537A true CN115294537A (zh) 2022-11-04

Family

ID=83828142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210955349.5A Pending CN115294537A (zh) 2022-08-10 2022-08-10 一种基于特征关联的车辆属性识别方法及系统

Country Status (1)

Country Link
CN (1) CN115294537A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009509A (zh) * 2017-12-12 2018-05-08 河南工业大学 车辆目标检测方法
CN109145759A (zh) * 2018-07-25 2019-01-04 腾讯科技（深圳）有限公司 车辆属性识别方法、装置、服务器及存储介质
CN112070048A (zh) * 2020-09-16 2020-12-11 福州大学 基于RDSNet的车辆属性识别方法
CN112417981A (zh) * 2020-10-28 2021-02-26 大连交通大学 基于改进FasterR-CNN的复杂战场环境目标高效识别方法
CN112686125A (zh) * 2020-12-25 2021-04-20 浙江大华技术股份有限公司 车辆类型的确定方法及装置、存储介质、电子装置
CN113205026A (zh) * 2021-04-26 2021-08-03 武汉大学 一种基于Faster RCNN深度学习网络改进的车型识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108009509A (zh) * 2017-12-12 2018-05-08 河南工业大学 车辆目标检测方法
CN109145759A (zh) * 2018-07-25 2019-01-04 腾讯科技（深圳）有限公司 车辆属性识别方法、装置、服务器及存储介质
CN112070048A (zh) * 2020-09-16 2020-12-11 福州大学 基于RDSNet的车辆属性识别方法
CN112417981A (zh) * 2020-10-28 2021-02-26 大连交通大学 基于改进FasterR-CNN的复杂战场环境目标高效识别方法
CN112686125A (zh) * 2020-12-25 2021-04-20 浙江大华技术股份有限公司 车辆类型的确定方法及装置、存储介质、电子装置
CN113205026A (zh) * 2021-04-26 2021-08-03 武汉大学 一种基于Faster RCNN深度学习网络改进的车型识别方法

Similar Documents

Publication Publication Date Title
CN115171165A (zh) 全局特征与阶梯型局部特征融合的行人重识别方法及装置
CN104700099A (zh) 识别交通标志的方法和装置
CN109684922A (zh) 一种基于卷积神经网络的多模型对成品菜的识别方法
CN110826411B (zh) 一种基于无人机图像的车辆目标快速识别方法
CN111476314B (zh) 一种融合光流算法与深度学习的模糊视频检测方法
CN114170526B (zh) 基于轻量化网络的遥感影像多尺度目标检测识别方法
CN103093458A (zh) 关键帧的检测方法及装置
CN113205107A (zh) 一种基于改进高效率网络的车型识别方法
CN112288758A (zh) 一种电力设备红外与可见光图像配准方法
CN114913498A (zh) 一种基于关键点估计的并行多尺度特征聚合车道线检测方法
CN111160100A (zh) 一种基于样本生成的轻量级深度模型航拍车辆检测方法
CN112101114B (zh) 一种视频目标检测方法、装置、设备以及存储介质
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN114782915B (zh) 基于辅助监督和知识蒸馏的智能汽车端到端车道线检测系统及设备
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN117456441A (zh) 一种结合变化区域识别的锈斑面积扩大的监测方法与系统
CN111414951A (zh) 用于图像的细分类方法及装置
CN108154199B (zh) 一种基于深度学习的高精度快速单类目标检测方法
CN117037085A (zh) 基于改进YOLOv5的车辆识别及数量统计的监控方法
CN117274967A (zh) 一种基于卷积神经网络多模态融合车牌识别算法
CN114677670B (zh) 一种身份证篡改自动识别与定位的方法
CN116452977A (zh) 一种无人艇平台海面船只检测方法、系统及设备
CN115294537A (zh) 一种基于特征关联的车辆属性识别方法及系统
CN114155246B (zh) 一种基于可变形卷积的输电塔销钉缺陷检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination