CN112818805B - 一种基于特征融合的细粒度车辆属性分析系统及方法 - Google Patents

一种基于特征融合的细粒度车辆属性分析系统及方法 Download PDF

Info

Publication number
CN112818805B
CN112818805B CN202110105511.XA CN202110105511A CN112818805B CN 112818805 B CN112818805 B CN 112818805B CN 202110105511 A CN202110105511 A CN 202110105511A CN 112818805 B CN112818805 B CN 112818805B
Authority
CN
China
Prior art keywords
vehicle
module
fine
vehicle attribute
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110105511.XA
Other languages
English (en)
Other versions
CN112818805A (zh
Inventor
刘栓
邓雄
杨垒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Tianyi Network Co ltd
Original Assignee
Sichuan Tianyi Network Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Tianyi Network Co ltd filed Critical Sichuan Tianyi Network Co ltd
Priority to CN202110105511.XA priority Critical patent/CN112818805B/zh
Publication of CN112818805A publication Critical patent/CN112818805A/zh
Application granted granted Critical
Publication of CN112818805B publication Critical patent/CN112818805B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于特征融合的细粒度车辆属性分析系统及方法，所述所述细粒度车辆属性分析系统包括：视频处理模块、车型识别模块、存储模块、结果展示平台；视频处理模块用于视频输入并将输入的视频进行解码，获得视频帧图像；车型识别模块用于接收视频处理模块输入的视频帧图像并对其进行特征处理，得到最终车辆属性识别结果，同时将车辆属性识别结果发送至存储模块；存储模块接收并存储车型识别模块上传的车辆属性识别结果，同时将车辆属性识别结果上传至结果展示平台；结果展示平台接收并展示存储模块上传的车辆识别结果。本发明通过将细类跟粗类关联，减小细粒度分类输出的节点个数，节省训练的显存占用，同时能达到很好的识别效果。

Description

一种基于特征融合的细粒度车辆属性分析系统及方法
技术领域
本发明涉及车辆属性分类领域，尤其涉及一种基于特征融合的细粒度车辆属性分析系统及方法。
背景技术
近些年来，计算机视觉领域发展迅速，细粒度图像识别问题的热度一直高居不下，与粗粒度识别算法相比，细粒度要求算法具备捕获目标精细特征的能力，且能克服来自物体尺寸、拍摄角度等环境因素的干扰。细粒度图像识别的目的是在一个大类中的众多子类中正确的识别目标，但相同子类中物体的动作和姿态步态可能相同，不同子类间也有可能有着相同的姿态，这是识别的一大难点。随着社会发展，车辆数量剧增，给交通管理带来不小压力，车辆属性分析识别也就显得尤为重要，目前市面上常运用细粒度图像识别技术实现对车辆属性的识别，而如何有效的对前景对象进行检测，并从中发现重要的局部区域信息，则成了细粒度图像分类算法所需解决的关键问题。
发明内容
基于此，本发明的目的是为了解决传统细粒度车辆属性识别技术在进行分类识别时识别效果不好的问题。
为实现上述目的，本发明提出一种基于特征融合的细粒度车辆属性分析系统及方法，所述车辆属性分析方法具体步骤如下：
S1：输入视频，并对视频进行解码获得视频帧图像；
S2：对解码后的视频帧图像进行预处理；
S3：构建backbone神经网络，对输入图像进行特征提取；
S4：输出最终车辆属性分析结果。
所述步骤S3还包括以下子步骤：
S31：将backbone 神经网络输出分成F1、F2、F3三个粗类别输出节点；
S32：在backbone神经网络中增加基于分辨率的attention机制，输出节点F4；
S33：将F3节点与F4节点进行Concat拼接。
所述F1节点用于车辆颜色分类，所述F2节点用于车辆方向分类，所述F3节点用于车辆品牌的粗分类。
所述步骤S31还包括以下子步骤：
S311：根据车辆属性识别需求增加相应输出节点。
所述输出节点F4通过模型训练学习得到局部关键区域特征。
所述步骤S33还包括以下子步骤：
S331：对车型进行细分类；
S332：分出多个细类别输出节点。
所述S332中细类别输出节点个数为对应粗类别下的细类个数。
所述细粒度车辆属性分析系统包括：视频处理模块、车型识别模块、存储模块、结果展示平台；
所述视频处理模块用于视频输入并将输入的视频进行解码，获得视频帧图像；
所述车型识别模块用于接收视频处理模块输入的视频帧图像并对其进行特征处理，得到最终车辆属性识别结果，同时将车辆属性识别结果发送至存储模块；
所述存储模块接收并存储车型识别模块上传的车辆属性识别结果，同时将车辆属性识别结果上传至结果展示平台；
所述结果展示平台接收并展示存储模块上传的车辆识别结果。
所述车型识别模块还包括训练子模块、推理子模块、数据标注子模块；所述训练子模块采用交叉熵损失作为损失函数对算法识别模型进行训练；所述推理子模块利用训练完成后的算法识别模型对图像数据进行推理；所述数据标注子模块采用级联的标注方式，对粗类及基于每个粗类下的细类进行标注。
本申请的有益效果：
1.模型架构简单利于移植到各种边缘设备运行；
2. 使用特征融合来关联粗类和细类之间的关系，从而模型可以自我学习得到不同粗类间不同的关键区域特征，无需人为标注关键区域，节省人力；
3. 细类跟粗类的关联可以大大的减小细粒度分类输出的节点个数，节省训练的显存占用，同时能达到很好的识别效果；
4.粗类与细类的特征融合使得粗类和细类的识别反向梯度相互促进，从而达到更好的识别效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据附图的结构获得其他的附图。
图1为粗类与细类的对应关系图；
图2为系统框架图；
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式。
如图1所示，在本实施例中，本发明提出一种基于特征融合的细粒度车辆属性分析系统及方法，所述车辆属性分析方法具体步骤如下：
S1：输入视频，并对视频进行解码获得视频帧图像；
S2：对解码后的视频帧图像进行预处理，使输入图像大小与网络输入大小一致；
S3：构建backbone神经网络，对输入图像进行特征提取；
S4：输出最终车辆属性分析结果。
所述步骤S3还包括以下子步骤：
S31：将backbone 神经网络输出分成F1、F2、F3三个粗类别输出节点；
S32：在backbone神经网络中增加基于分辨率的attention机制，输出节点F4，该节点可以通过模型训练不断学习到局部关键区域的特征，从而提升模型的细类识别精度；
S33：将F3节点与F4节点进行Concat拼接，这样拼接后的节点就拥有了融合的特征，使用该融合特征再去做车型细分类，输出节点个数为此粗类别下的细类个数，这样可以大大减小细类的输出个数。
所述F1节点用于车辆颜色分类，所述F2节点用于车辆方向分类，所述F3节点用于车辆品牌的粗分类。
所述步骤S31还包括以下子步骤：
S311：根据车辆属性识别需求增加相应输出节点。
所述输出节点F4通过模型训练学习得到局部关键区域特征。
所述步骤S33还包括以下子步骤：
S331：对车型进行细分类；
S332：分出多个细类别输出节点。
所述S332中细类别输出节点个数为对应粗类别下的细类个数。
如图2所示，在本实施例中，所述细粒度车辆属性分析系统包括：视频处理模块、车型识别模块、存储模块、结果展示平台；
所述视频处理模块用于视频输入并将输入的视频进行解码，获得视频帧图像；
所述车型识别模块用于接收视频处理模块输入的视频帧图像并对其进行特征处理，得到最终车辆属性识别结果，同时将车辆属性识别结果发送至存储模块；
所述存储模块接收并存储车型识别模块上传的车辆属性识别结果，同时将车辆属性识别结果上传至结果展示平台；
所述结果展示平台接收并展示存储模块上传的车辆识别结果。
所述车型识别模块还包括训练子模块、推理子模块、数据标注子模块；所述训练子模块采用交叉熵损失作为损失函数对算法识别模型进行训练；所述推理子模块利用训练完成后的算法识别模型对图像数据进行推理；所述数据标注子模块采用级联的标注方式，对粗类及基于每个粗类下的细类进行标注；
需要说明的是，所述数据标注采用级联的标注方式，首先对粗类进行标注，只需标注对应的类别，无需标注关键区域，然后基于每个粗类下的细类；
所述训练子模块采用交叉熵损失做为损失函数，基于车辆品牌粗类，根据粗类个数做为F3的输出节点个数，对于车型细类，根据粗类下细类最多的个数做为车辆细型号分类输出的节点个数。这样训练时只要模型正确的找到他们的粗类，特征融合部分就能更好地对应到他们可能的细类；
所述推理子模块待模型训练完成后，对应新的图像数据进行推理，对应细类的推理结果是基于粗类结果进行对应得到的，这样的好处是在细类识别阶段无需设置过多的神经节点，节约推理显存占用与推理时间。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (2)

1.一种基于特征融合的细粒度车辆属性分析方法，其特征在于，所述车辆属性分析方法具体步骤如下：
S1：输入视频，并对视频进行解码获得视频帧图像；
S2：对解码后的视频帧图像进行预处理；
S3：构建backbone神经网络，对输入图像进行特征提取；
S31：将backbone 神经网络输出分成F1、F2、F3三个粗类别输出节点，所述F1节点用于车辆颜色分类，所述F2节点用于车辆方向分类，所述F3节点用于车辆品牌的粗分类，还包括以下子步骤：
S311：根据车辆属性识别需求增加相应输出节点；
S32：在backbone神经网络中增加基于分辨率的attention机制，输出节点F4；输出节点F4通过模型训练学习得到局部关键区域特征；
S33：将F3节点与F4节点进行Concat拼接；采用级联的标注方式，对粗类及基于每个粗类下的细类进行标注；
S331：对车型进行细分类；
S332：分出多个细类别输出节点；S332中细类别输出节点个数为对应粗类别下的细类个数；
S4：输出最终车辆属性分析结果。
2.一种基于特征融合的细粒度车辆属性分析系统，用于实现权利要求1所述的一种基于特征融合的细粒度车辆属性分析方法，其特征在于，所述细粒度车辆属性分析系统包括：视频处理模块、车型识别模块、存储模块、结果展示平台；
所述视频处理模块用于视频输入并将输入的视频进行解码，获得视频帧图像；
所述车型识别模块用于接收视频处理模块输入的视频帧图像并对其进行特征处理，得到最终车辆属性识别结果，同时将车辆属性识别结果发送至存储模块；
所述存储模块接收并存储车型识别模块上传的车辆属性识别结果，同时将车辆属性识别结果上传至结果展示平台；
所述结果展示平台接收并展示存储模块上传的车辆识别结果；
所述车型识别模块还包括训练子模块、推理子模块、数据标注子模块；所述训练子模块采用交叉熵损失作为损失函数对算法识别模型进行训练；所述推理子模块利用训练完成后的算法识别模型对图像数据进行推理；所述数据标注子模块采用级联的标注方式，对粗类及基于每个粗类下的细类进行标注。
CN202110105511.XA 2021-01-26 2021-01-26 一种基于特征融合的细粒度车辆属性分析系统及方法 Active CN112818805B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110105511.XA CN112818805B (zh) 2021-01-26 2021-01-26 一种基于特征融合的细粒度车辆属性分析系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110105511.XA CN112818805B (zh) 2021-01-26 2021-01-26 一种基于特征融合的细粒度车辆属性分析系统及方法

Publications (2)

Publication Number Publication Date
CN112818805A CN112818805A (zh) 2021-05-18
CN112818805B true CN112818805B (zh) 2023-08-01

Family

ID=75859486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110105511.XA Active CN112818805B (zh) 2021-01-26 2021-01-26 一种基于特征融合的细粒度车辆属性分析系统及方法

Country Status (1)

Country Link
CN (1) CN112818805B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113435339B (zh) * 2021-06-28 2022-07-12 苏州科达科技股份有限公司 车辆属性检测方法、设备及存储介质
CN115700790A (zh) * 2021-07-29 2023-02-07 脸萌有限公司 用于对象属性分类模型训练的方法、设备和存储介质
CN113807164A (zh) * 2021-07-29 2021-12-17 四川天翼网络服务有限公司 一种基于余弦损失函数的人脸识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN109670545A (zh) * 2018-12-13 2019-04-23 深源恒际科技有限公司 由粗到细的车辆图像定损方法
CN110458233A (zh) * 2019-08-13 2019-11-15 腾讯云计算（北京）有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107992865A (zh) * 2018-01-26 2018-05-04 重庆邮电大学 一种基于视频分析的车辆识别方法和系统
US10867210B2 (en) * 2018-12-21 2020-12-15 Waymo Llc Neural networks for coarse- and fine-object classifications
CN110163127A (zh) * 2019-05-07 2019-08-23 国网江西省电力有限公司检修分公司 一种由粗到细的视频目标行为识别方法
JP7279526B2 (ja) * 2019-05-31 2023-05-23 富士通株式会社 解析プログラム、解析装置及び解析方法
CN111860509A (zh) * 2020-07-28 2020-10-30 湖北九感科技有限公司 一种由粗到精的两阶段非约束车牌区域精准提取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107886073A (zh) * 2017-11-10 2018-04-06 重庆邮电大学 一种基于卷积神经网络的细粒度车辆多属性识别方法
CN109670545A (zh) * 2018-12-13 2019-04-23 深源恒际科技有限公司 由粗到细的车辆图像定损方法
CN110458233A (zh) * 2019-08-13 2019-11-15 腾讯云计算（北京）有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"A COARSE-TO-FINE LOGO RECOGNITION METHOD IN VIDEO STREAMS";Chaoyang Zhao 等;《IEEE》;第1-6页 *

Also Published As

Publication number Publication date
CN112818805A (zh) 2021-05-18

Similar Documents

Publication Publication Date Title
CN112818805B (zh) 一种基于特征融合的细粒度车辆属性分析系统及方法
US10638142B2 (en) Video coding and decoding methods and apparatus
Reddy et al. Roadtext-1k: Text detection & recognition dataset for driving videos
CN103605977B (zh) 一种车道线的提取方法及装置
Feris et al. Large-scale vehicle detection, indexing, and search in urban surveillance videos
US20240202893A1 (en) Method and device for detecting defect, storage medium and electronic device
CN108009548A (zh) 一种智能路牌识别方法及系统
Choi et al. A comparative study of preprocessing mismatch effects in color image based face recognition
CN112287941B (zh) 一种基于自动字符区域感知的车牌识别方法
CN111191654A (zh) 道路数据生成方法、装置、电子设备及存储介质
CN110555420A (zh) 一种基于行人区域特征提取和重识别融合模型网络及方法
CN110866900A (zh) 水体颜色识别方法及装置
Alkhorshid et al. Road detection through supervised classification
Daraghmi et al. Accurate real-time traffic sign recognition based on the connected component labeling and the color histogram algorithms
CN114596548A (zh) 目标检测方法、装置、计算机设备及计算机可读存储介质
CN114495232A (zh) 一种基于深度学习的课堂学生动作识别方法及系统
CN112215130B (zh) 一种基于2.5d/3d混合卷积模型的人体行为识别方法
CN116343229A (zh) 挖掘边缘特征的自然场景盲文字符识别方法
CN116071575A (zh) 一种基于多模态数据融合的学生课堂异常行为检测方法及检测系统
Todorovic et al. Intelligent missions for MAVs: visual contexts for control, tracking and recognition
Animesh et al. Fast text detection from single hazy image using smart device
KhabiriKhatiri et al. Road Traffic Sign Detection and Recognition using Adaptive Color Segmentation and Deep Learning
CN114495044A (zh) 标牌识别方法、装置、计算机设备以及存储介质
Pin et al. Object Intelligent Detection and Implementation Based on Neural Network and Deep Learning
Nwogu et al. Disco: Describing images using scene contexts and objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Third floor, No.10, Jiuxing Avenue, high tech Zone, Chengdu, Sichuan 610041

Applicant after: Sichuan Tianyi Network Co.,Ltd.

Address before: Third floor, No.10, Jiuxing Avenue, high tech Zone, Chengdu, Sichuan 610041

Applicant before: SICHUAN TIANYI NETWORK SERVICE Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant