CN112070048B - 基于RDSNet的车辆属性识别方法 - Google Patents

基于RDSNet的车辆属性识别方法 Download PDF

Info

Publication number
CN112070048B
CN112070048B CN202010972154.2A CN202010972154A CN112070048B CN 112070048 B CN112070048 B CN 112070048B CN 202010972154 A CN202010972154 A CN 202010972154A CN 112070048 B CN112070048 B CN 112070048B
Authority
CN
China
Prior art keywords
vehicle
loss
vehicle attribute
model
rdsnet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010972154.2A
Other languages
English (en)
Other versions
CN112070048A (zh
Inventor
柯逍
陈宇杰
黄旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN202010972154.2A priority Critical patent/CN112070048B/zh
Publication of CN112070048A publication Critical patent/CN112070048A/zh
Application granted granted Critical
Publication of CN112070048B publication Critical patent/CN112070048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

本发明涉及一种基于RDSNet的车辆属性识别方法，包括以下步骤：步骤S1:采集车辆图片，处理后分为车辆数据集和车辆属性数据集；步骤S2:构建基于RDSNet的网络模型，并根据车辆数据集训练，得到车辆检测模型；步骤S3:构建基于细粒度分类的车辆属性分类网络模型，并根据车辆属性数据集训练，得到车辆属性分类模型；步骤S4:将待测复杂场景图像，通过车辆检测模型，得到待测复杂场景图像每一个汽车的精确边界框；步骤S5:将步骤S4处理后的图像，输入车辆属性分类模型，获取车辆属性信息；步骤S6:将得到的汽车的精确边界框和车辆属性信息，标注于待测复杂场景图像中。本发明有效的提升了车辆属性识别的精确程度。

Description

基于RDSNet的车辆属性识别方法
技术领域
本发明涉及计算机视觉领域，具体涉及一种基于RDSNet的车辆属性识别方法。
背景技术
近年来，随着科学技术的发展，车辆检测和识别已经成为人们十分感兴趣的研究领域，并应用在许多成熟的应用场景。而车辆属性识别更是其中的一个热门研究领域。传统的车辆属性识别方法，大多数都是目标检测与细粒度分类的叠加。而车辆检测的模型可能并不能很好的适应细粒度分类的任务，而车辆属性分类恰恰依赖的正是车辆检测方法检测出的车辆框。在复杂的场景中，这样的情况尤为明显。
为了对车辆属性进行识别，我们首先必须检测到车辆，这可以通过目标检测技术来实现，只有在图像中确定了每个车辆的具体位置，我们才能对车辆属性进行进一步的识别，如车辆朝向，颜色以及类型等。而车辆属性检测技术是智能检测领域的技术之一，它能够在复杂的场景下检测出车辆，并识别出车辆的相关属性，这对于视频监控场景有很大的意义，具有良好的应用前景。
车辆检测与车辆属性识别在视频监控中扮演着重要的角色，但目前的许多车辆属性识别方法都是将检测与识别分开，二者没有很好的适应性。如检测框不能很好的包围车辆，造成部分特征点的丢失，从而影响后续车辆属性的识别。要解决这一问题，就需要一种更加适应车辆属性识别的方法。
发明内容
有鉴于此，本发明的目的在于提供一种基于RDSNet的车辆属性识别方法，能够有效减少车辆属性识别的错误率。
为实现上述目的，本发明采用如下技术方案：
一种基于RDSNet的车辆属性识别方法，包括以下步骤：
步骤S1:采集车辆图片，处理后分为车辆数据集和车辆属性数据集；
步骤S2:构建基于RDSNet的网络模型，并根据车辆数据集训练，得到车辆检测模型；
步骤S3:构建基于细粒度分类的车辆属性分类网络模型，并根据车辆属性数据集训练，得到车辆属性分类模型；
步骤S4:将待测复杂场景图像，通过车辆检测模型，得到待测复杂场景图像每一个汽车的精确边界框；
步骤S5:将步骤S4处理后的图像，输入车辆属性分类模型，获取车辆属性信息；
步骤S6:将得到的汽车的精确边界框和车辆属性信息，标注于待测复杂场景图像中。
进一步的，所述步骤S1具体为：
步骤S11:获取车辆图片数据，并将预设比例的数据作为车辆数据集；
步骤S12:将剩余车辆图片数据根据车辆属性类别，整理存放于不同目录，作为车辆属性数据集。
进一步的，所述车辆属性类别包括车辆的朝向，颜色以及类型。
进一步的，所述基于RDSNet的网络模型基于两个流结构，即对象流和像素流；所述对象流采用基于锚定的目标检测算法。
进一步的，所述步骤S2具体为：
步骤S21:初始化模型参数；
步骤S22：根据车辆数据集对RDSNet进行训练，并观测损失曲线，直到损失降低到预设数值并稳定后，停止训练；
步骤S23：重复步骤S21与步骤S22，选择损失最小的模型，作为车辆检测器。
进一步的，所述基于细粒度分类的车辆属性分类网络模型具体为：基础网络采用改进的残差网络；其中，构建4个神经网络层,每经过一个层，通道数变为4块；
对于每一个层中的块实现，1×1的卷积和改变了输出通道数，3×3的卷积改变卷积核的大小；
第一个神经网络层有3个块，每块3层，一共9层；第二层中共4个块，每块中有3层，一共12层；第三层中有6个块，每块3层，共18层；第四层中共有3个块，每块3层，共9层；
第四层之后加入一个全连接层，输出一个具有256单元的线形层，再通过线性整流函数，然后再按照预设比例省略掉一部分神经网络单元，输出一个10通道的逻辑回归层。
进一步的，所述步骤S3具体为:
步骤S31:基于细粒度分类的车辆属性分类网络模型，调制参数，将损失值设为车辆各个属性的损失值之和；
步骤S32：根据车辆属性数据集训练模型，并不断调整参数，直至模型收敛为止；
步骤S33：重复步骤S32，取模型训练结果中损失最小的一次，作为汽车属性分类器。
进一步的，所述损失值具体为:
Loss＝Losstype+Losscolor+Lossorientation
式中，Loss为训练的总损失，Losstype为车辆类型的训练损失，Losscolor为车辆颜色的训练损失，Lossorientation为车辆朝向的训练损失。
进一步的，所述步骤S4具体为：
步骤S41：将待测复杂场景图像通过车辆检测模型，得到图像中每一辆车的精确边界框；
步骤S42：分别将图像中的每一辆车的边界框以相关坐标的形式进行暂存。
进一步的，步骤S5具体包括以下步骤：
步骤S51：将步骤S42所暂存的坐标转化成边界框，作为车辆属性分类器的感兴趣区域，将所得图像送入车辆属性分类模型；
步骤S52：分别获得图像中的每一辆车的相关属性，并暂存。
本发明与现有技术相比具有以下有益效果：
1、本发明利用了RDSNet中使用实例分割对目标检测进行改进的思想，更好的提升了车辆检测框的精确程度，减少了因为车辆检测框不能完整包围车辆造成的特征点丢失的情况，提升了车辆属性检测的准确度；
2、本发明使用改进的残差网络作为底层网络，并对车辆进行专一化训练，保证了车辆属性识别的准确度；
3、本发明检测完车辆位置后以坐标的形式暂存，识别完车辆属性后再统一进行标注，减少了车辆检测与车辆属性识别之间的互相干扰。
附图说明
图1是本发明方法流程示意图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于RDSNet的车辆属性识别方法，包括以下步骤：
步骤S1:采集车辆图片，处理后分为车辆数据集和车辆属性数据集；
步骤S11:获取车辆图片数据，并将预设比例的数据作为车辆数据集；
步骤S12:将剩余车辆图片数据根据车辆属性类别，整理存放于不同目录，作为车辆属性数据集。所述车辆属性类别包括车辆的朝向，颜色以及类型。
步骤S2:构建基于RDSNet的网络模型，并根据车辆数据集训练，得到车辆检测模型；
步骤S3:构建基于细粒度分类的车辆属性分类网络模型，并根据车辆属性数据集训练，得到车辆属性分类模型；
步骤S4:将待测复杂场景图像，通过车辆检测模型，得到待测复杂场景图像每一个汽车的精确边界框；
步骤S5:将步骤S4处理后的图像，输入车辆属性分类模型，获取车辆属性信息；
步骤S6:将得到的汽车的精确边界框和车辆属性信息，标注于待测复杂场景图像中。
在本实施例中，所述基于RDSNet的网络模型基于两个流结构，即对象流和像素流；对象流基于待检测的车辆，提供了待检测车辆的中心；而像素流基于待检测图像的像素，提取待检测车辆的像素，对其进行滤波，得到车辆的掩码。有了车辆的掩码，将掩码应用于待检测的车辆，就可以得到车辆的精确边界框。本方法中对象流所采用的是基于锚定的目标检测算法，基础架构基于YOLOv3，并减少部分卷积层的通道数，在保证车辆检测准确度的前提下提升了检测速度；而像素流通过提取车辆的像素，得到高分辨率的输出。高精度的车辆边界框能够更好地适应本方法中的车辆属性分类器，减少部分情况中车辆边界框不完整对车辆属性分类造成的影响。
在本实施例中，所述步骤S2具体为：
步骤S21:调整模型参数，包括学习速率，输出速率等；
步骤S22：根据车辆数据集对RDSNet进行训练，并观测损失曲线，直到损失降低到预设数值并稳定后，停止训练；
步骤S23：重复步骤S21与步骤S22，选择损失最小的模型，作为车辆检测器。
在本实施例中，车辆属性分类模型，通过两个神经网络抽取出图像的特征，再由一个池化函数将这两组特征进行结合，最后再通过逻辑回归层进行分类具体为：基础网络采用改进的残差网络；其中，构建4个神经网络层,每经过一个层，通道数变为4块；
对于每一个层中的块实现，1×1的卷积和改变了输出通道数，3×3的卷积改变卷积核的大小；
第一个神经网络层有3个块，每块3层，一共9层；第二层中共4个块，每块中有3层，一共12层；第三层中有6个块，每块3层，共18层；第四层中共有3个块，每块3层，共9层；
第四层之后加入一个全连接层，输出一个具有256单元的线形层，再通过线性整流函数，然后再按照预设比例省略掉一部分神经网络单元，输出一个10通道的逻辑回归层。
在本实施例中，所述步骤S3具体为:
步骤S31:基于细粒度分类的车辆属性分类网络模型，调制参数，将损失值设为车辆各个属性的损失值之和；
所述损失值具体为:
Loss＝Losstype+Losscolor+Lossorientation
式中，Loss为训练的总损失，Losstype为车辆类型的训练损失，Losscolor为车辆颜色的训练损失，Lossorientation为车辆朝向的训练损失。
步骤S32：根据车辆属性数据集训练模型，并不断调整参数，直至模型收敛为止；
步骤S33：重复步骤S32，取模型训练结果中损失最小的一次，作为汽车属性分类器。
在本实施例中，所述步骤S4具体为：
步骤S41：将待测复杂场景图像通过车辆检测模型，得到图像中每一辆车的精确边界框；
步骤S42：分别将图像中的每一辆车的边界框以相关坐标的形式进行暂存。
在本实施例中，步骤S5具体包括以下步骤：
步骤S51：将步骤S42所暂存的坐标转化成边界框，作为车辆属性分类器的感兴趣区域，将所得图像送入车辆属性分类模型；
步骤S52：分别获得图像中的每一辆车的相关属性，并暂存。
在本实施例中，步骤S6具体包括以下步骤：
步骤S61：分别对每一辆车，将步骤S51所得的边界框表示在图像中；
步骤S62：步骤S52所暂存的相关属性标注在边界框旁。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种基于RDSNet的车辆属性识别方法，其特征在于，包括以下步骤：
步骤S1:采集车辆图片，处理后分为车辆数据集和车辆属性数据集；
步骤S2:构建基于RDSNet的网络模型，并根据车辆数据集训练，得到车辆检测模型；
所述步骤S2具体为：
步骤S21:初始化模型参数；
步骤S22：根据车辆数据集对RDSNet进行训练，并观测损失曲线，直到损失降低到预设数值并稳定后，停止训练；
步骤S23：重复步骤S21与步骤S22，选择损失最小的模型，作为车辆检测模型；
步骤S3:构建基于细粒度分类的车辆属性分类网络模型，并根据车辆属性数据集训练，得到车辆属性分类模型；
步骤S4:将待测复杂场景图像，通过车辆检测模型，得到待测复杂场景图像每一个汽车的精确边界框；
步骤S5:将步骤S4处理后的图像，输入车辆属性分类模型，获取车辆属性信息；
步骤S6:将得到的汽车的精确边界框和车辆属性信息，标注于待测复杂场景图像中；
所述基于细粒度分类的车辆属性分类网络模型具体为：基础网络采用改进的残差网络；其中，构建4个神经网络层,每经过一个层，通道数变为4块；
对于每一个神经网络层中的块，采用1×1的卷积核改变了输出通道数，采用3×3的卷积改变卷积核的大小；
第一个神经网络层有3个块，每块3层，一共9层；第二个神经网络层中共4个块，每块中有3层，一共12层；第三个神经网络层中有6个块，每块3层，共18层；第四个神经网络层中共有3个块，每块3层，共9层；
第四层之后加入一个全连接层，输出一个具有256单元的线形层，再通过线性整流函数，然后再按照预设比例省略掉一部分神经网络单元，输出一个10通道的逻辑回归层。
2.根据权利要求1所述的基于RDSNet的车辆属性识别方法，其特征在于，所述步骤S1具体为：
步骤S11:获取车辆图片数据，并将预设比例的数据作为车辆数据集；
步骤S12:将剩余车辆图片数据根据车辆属性类别，整理存放于不同目录，作为车辆属性数据集。
3.根据权利要求2所述的基于RDSNet的车辆属性识别方法，其特征在于，所述车辆属性类别包括车辆的朝向，颜色以及类型。
4.根据权利要求1所述的基于RDSNet的车辆属性识别方法，其特征在于，所述基于RDSNet的网络模型基于两个流结构，即对象流和像素流；所述对象流采用基于锚定的目标检测算法。
5.根据权利要求1所述的一种基于RDSNet的车辆属性识别方法，其特征在于，所述步骤S3具体为:
步骤S31:基于细粒度分类的车辆属性分类网络模型，调制参数，将损失值设为车辆各个属性的损失值之和；
步骤S32：根据车辆属性数据集训练模型，并不断调整参数，直至模型收敛为止；
步骤S33：重复步骤S32，取模型训练结果中损失最小的一次，作为车辆属性分类模型。
6.根据权利要求5所述的基于RDSNet的车辆属性识别方法，其特征在于，所述损失值具体为:
Loss＝Losstype+Losscolor+Lossorientation
式中，Loss为训练的总损失，Losstype为车辆类型的训练损失，Losscolor为车辆颜色的训练损失，Lossorientation为车辆朝向的训练损失。
7.根据权利要求1所述的一种基于RDSNet的车辆属性识别方法，其特征在于，所述步骤S4具体为：
步骤S41：将待测复杂场景图像通过车辆检测模型，得到图像中每一辆车的精确边界框；
步骤S42：分别将图像中的每一辆车的边界框以相关坐标的形式进行暂存。
8.根据权利要求7所述的一种基于RDSNet的车辆属性识别方法，其特征在于：步骤S5具体包括以下步骤：
步骤S51：将步骤S42所暂存的坐标转化成边界框，作为车辆属性分类模型的感兴趣区域，将所得图像送入车辆属性分类模型；
步骤S52：分别获得图像中的每一辆车的相关属性，并暂存。
CN202010972154.2A 2020-09-16 2020-09-16 基于RDSNet的车辆属性识别方法 Active CN112070048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010972154.2A CN112070048B (zh) 2020-09-16 2020-09-16 基于RDSNet的车辆属性识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010972154.2A CN112070048B (zh) 2020-09-16 2020-09-16 基于RDSNet的车辆属性识别方法

Publications (2)

Publication Number Publication Date
CN112070048A CN112070048A (zh) 2020-12-11
CN112070048B true CN112070048B (zh) 2022-08-09

Family

ID=73696910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010972154.2A Active CN112070048B (zh) 2020-09-16 2020-09-16 基于RDSNet的车辆属性识别方法

Country Status (1)

Country Link
CN (1) CN112070048B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325203A (zh) * 2020-01-21 2020-06-23 福州大学 一种基于图像校正的美式车牌识别方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9870511B2 (en) * 2015-10-14 2018-01-16 Here Global B.V. Method and apparatus for providing image classification based on opacity
CN107169421B (zh) * 2017-04-20 2020-04-28 华南理工大学 一种基于深度卷积神经网络的汽车驾驶场景目标检测方法
CN109214441A (zh) * 2018-08-23 2019-01-15 桂林电子科技大学 一种细粒度车型识别系统及方法
CN109359684B (zh) * 2018-10-17 2021-10-29 苏州大学 基于弱监督定位和子类别相似性度量的细粒度车型识别方法
CN111488795B (zh) * 2020-03-09 2022-12-02 天津大学 应用于无人驾驶车辆的实时行人跟踪方法
CN111428625A (zh) * 2020-03-23 2020-07-17 武汉理工大学 一种基于深度学习的交通场景目标检测方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325203A (zh) * 2020-01-21 2020-06-23 福州大学 一种基于图像校正的美式车牌识别方法及系统

Also Published As

Publication number Publication date
CN112070048A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
WO2021238019A1 (zh) 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法
CN108985169B (zh) 基于深度学习目标检测与动态背景建模的商店跨门经营检测方法
CN111611874B (zh) 基于ResNet和Canny的人脸口罩佩戴检测方法
CN107545263B (zh) 一种物体检测方法及装置
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN107038416B (zh) 一种基于二值图像改进型hog特征的行人检测方法
CN111967313B (zh) 一种深度学习目标检测算法辅助的无人机图像标注方法
CN108960404B (zh) 一种基于图像的人群计数方法及设备
CN106803257B (zh) 一种作物病害叶片图像中病斑的分割方法
CN111209858B (zh) 一种基于深度卷积神经网络的实时车牌检测方法
CN110929593A (zh) 一种基于细节辨别区别的实时显著性行人检测方法
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN112270381B (zh) 基于深度学习的人流量检测方法
CN110969171A (zh) 基于改进卷积神经网络的图像分类模型、方法及应用
TW201308254A (zh) 適用複雜場景的移動偵測方法
CN111582074A (zh) 一种基于场景深度信息感知的监控视频树叶遮挡检测方法
CN116052222A (zh) 自然采集牛脸图像的牛脸识别方法
CN111540203B (zh) 基于Faster-RCNN调节绿灯通行时间的方法
CN111160107B (zh) 一种基于特征匹配的动态区域检测方法
CN112801021B (zh) 基于多级语义信息的车道线检测方法及系统
CN112070048B (zh) 基于RDSNet的车辆属性识别方法
CN111461002A (zh) 一种面向热成像行人检测的样本处理方法
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
CN113449656B (zh) 一种基于改进的卷积神经网络的驾驶员状态识别方法
CN114782860A (zh) 一种监控视频中暴力行为检测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant