CN113177518A - 一种利用弱监督区域推荐的车辆重识别方法 - Google Patents

一种利用弱监督区域推荐的车辆重识别方法 Download PDF

Info

Publication number
CN113177518A
CN113177518A CN202110566479.5A CN202110566479A CN113177518A CN 113177518 A CN113177518 A CN 113177518A CN 202110566479 A CN202110566479 A CN 202110566479A CN 113177518 A CN113177518 A CN 113177518A
Authority
CN
China
Prior art keywords
vehicle
local
global
features
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110566479.5A
Other languages
English (en)
Other versions
CN113177518B (zh
Inventor
徐胜军
叶松涛
孟月波
刘光辉
韩九强
史亚
王艳
刘求緣
郝明
詹博涵
邓博文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Architecture and Technology
Original Assignee
Xian University of Architecture and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Architecture and Technology filed Critical Xian University of Architecture and Technology
Priority to CN202110566479.5A priority Critical patent/CN113177518B/zh
Publication of CN113177518A publication Critical patent/CN113177518A/zh
Application granted granted Critical
Publication of CN113177518B publication Critical patent/CN113177518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种利用弱监督区域推荐的车辆重识别方法及系统，采集道路监控摄像头捕捉的车辆图像数据，对其进行数据增强并应用于本发明所设计的弱监督区域推荐网络中；设计弱监督区域推荐网络模型的结构，区域推荐模块使用分类损失和区域建议损失函数进行优化，使其能够提取图像中具有丰富信息度的多尺度局部区域，从而获取更具有辨别力、描述力的局部区域特征，局部特征与全局特征使用三元组损失进行优化，增强网络的辨识能力；使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络的训练，得到训练好的模型后，计算车辆查询集与图库集的相似度，根据相似度的大小排序获取车辆重识别结果。

Description

一种利用弱监督区域推荐的车辆重识别方法
技术领域
本发明属于车辆重识别技术领域，具体涉及一种利用弱监督区域推荐的车辆重识别方法。
背景技术
随着人民的生活水平不断提高，城市内机动车保有量急剧增加，汽车在人民的生产与生活中扮演着不可或缺的重要角色。然而汽车在方便人们生活、工作的同时也不可避免地带来了很多交通安全问题，例如违法违规行驶以及肇事逃逸等。智能城市管理是确保城市安全的重要措施，而车辆重识别是此类智能视觉监控领域的基础和重要组成部分。车辆重识别技术是指给定一张车辆图像，从非重叠视域的视频监控系统中识别出相同身份的车辆。通过将目标车辆与多个不同视角、不同场景下的监控摄像机所捕捉到的所有车辆进行匹配，获取目标车辆出现的时间、地点、次数，从而在整个道路监控系统中实现对该车辆的跟踪、定位、循迹，为交通管理和刑事侦查提供关键信息。车辆重识别技术可以缓减海量数据对道路监控系统带来的巨大压力，在智能交通领域中具有重要的研究意义和经济价值，对智慧城市、智能安防、无人驾驶等领域的发展具有推动作用。
近年来，车辆重识别技术因其重要的研究价值被广泛关注，并取得了一系列的研究成果，但在实际部署应用于城市路网监控系统时，受到路网的环境因素影响以及车辆自身特性影响，仍然存在着诸多问题亟待研究。由于无约束道路场景下的监控摄像头的遮挡、视角、光照情况不同，捕捉到的车辆图像是局部或残缺的，导致同一身份车辆呈现出截然不同的外观特征，不同身份车辆的外观却又非常相似，这种歧义性要求车辆重识别方法能够同时捕捉鲁棒的全局特征和具辨别力的局部特征。然而局部特征的获取往往依赖丰富的车辆细粒度标注信息，城市中的车辆保有量高达百万级，丰富的标注信息的获取意味着需要付出高昂的成本，这对车辆重识别技术在智慧交通领域的应用带来了极大的挑战。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种利用弱监督区域推荐的车辆重识别方法，仅使用身份信息，以弱监督方式引导模型提取车辆具有辨别力的局部区域特征描述符，通过与全局度量特征进行深度融合，形成由粗到细的多粒度特征表示用于车辆的检索和匹配。避免了模型对细粒度标注信息的依赖，提高了车辆重识别的匹配精度，更利于实现智能交通系统的工程应用。
本发明采用以下技术方案：
一种利用弱监督区域推荐的车辆重识别方法，包括以下步骤：
S1、获取车辆图像数据，并将车辆图像数据设置为同一大小，分别构建车辆重识别训练集T、查询集Q与图库集G，对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作；
S2、设计弱监督区域推荐网络模型结构，包括骨干网络，全局分支网络和局部分支网络，采用批量训练方法将步骤S1得到的车辆重识别训练集T输入骨干网络中获取特征映射Fi，将特征映射Fi输入至全局分支网络和局部分支网络，获取全局特征和多尺度局部特征；
S3、将步骤S1获取的车辆训练集T输入步骤S2设计的弱监督区域推荐网络模型结构中，使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练，得到训练好的弱监督区域推荐网络模型；
S4、将步骤S1获取的车辆查询集Q与图库集G输入步骤S3训练好的弱监督区域推荐网络模型，提取车辆的全局特征与局部特征，通过拼接融合的方式获取最终的特征，计算车辆查询集Q和图库集G的特征之间的余弦相似度，根据相似度大小获取车辆重识别结果。
具体的，步骤S1中，获取多段车辆监控视频；使用预先训练的车辆检测器定位并裁剪监控视频中的车辆图像；使用人工标注方法将车辆图像中同一车辆标注为独立的标签，循环获取车辆数据集，将获取的车辆数据集划分为训练集T、查询集Q与图库集G。
具体的，步骤S2中，构建全局分支网络具体为：
使用全局平均值池化操作对特征映射Fi在长度和宽度方向上求平均值，在压缩特征分辨率的同时保留车辆的整体信息，得到全局特征描述符
Figure BDA0003080900290000031
然后设计一个批量归一化层BN(·)、一个线性层W和一个softmax层用于获取特征
Figure BDA0003080900290000032
的分类结果pg；最后使用全局三元组损失
Figure BDA0003080900290000033
和全局分类损失
Figure BDA0003080900290000034
对全局分支进行约束。
进一步的，全局三元组损失
Figure BDA0003080900290000035
具体为：
将一个批量B中的图像组成三元组IA，IN，IP输入至全局分支，获取其全局特征描述符后计算三元组损失：
Figure BDA0003080900290000036
其中，
Figure BDA0003080900290000037
分别表示组成三元组的源样本、负样本和正样本的全局特征向量，
Figure BDA0003080900290000038
和
Figure BDA0003080900290000039
分别代表正样本对和负样本对的欧式距离，m代表三元组损失的间距阈值，[·]+代表取正值。
进一步的，全局分类损失
Figure BDA0003080900290000041
具体为：
Figure BDA0003080900290000042
其中，pg为分类结果预测值，
Figure BDA0003080900290000043
为分类结果真值，n为批量大小。
具体的，步骤S2中，构建局部分支网络具体为：
构建局部区域推荐模块用于获取车辆图像中具有辨识度的局部特征，局部区域推荐模块包含具有三层特征金字塔结构的卷积层，通过对特征映射Fi进行连续的空间下采样，获取目标车辆在不同空间分辨率的多尺度特征；利用滑动窗口在多尺度特征上生成不同大小和长宽比的锚框；设计两层卷积层用于计算锚框所提取的区域特征的信息量I，并使用非极大值抑制技术剔除相互覆盖的区域；按照信息量大小对区域特征进行排序，提取出前3个信息最大的区域
Figure BDA0003080900290000044
其对应的信息量分别为
Figure BDA0003080900290000045
对Fi按照区域
Figure BDA0003080900290000046
执行感兴趣区域对齐池化，获取3个区域不同的细粒度局部特征
Figure BDA0003080900290000047
进行融合以获取多尺度局部特征
Figure BDA0003080900290000048
使用局部三元组损失
Figure BDA0003080900290000049
进行约束，分别增加一个批量归一化层BN(·)、一个线性层W和一个softmax层用于获取分类置信度
Figure BDA00030809002900000410
并计算分类损失
Figure BDA00030809002900000411
确保获取到的信息量大的区域
Figure BDA00030809002900000412
是车辆图像的关键性区域，设计区域建议损失函数L(I，C)对其进行约束。
进一步的，区域建议损失函数L(I，C)为：
L(I，C)＝∑f(Is-Ii)
其中，函数f(x)＝max(1-x，0)，Is为第s个区域的信息量，Ii为第i个区域的信息量。
进一步的，局部三元组损失L(fl A，fl N，fl P)为：
L(fl A，fl N，fl P)＝[d(fl A，fl P)-d(fl A，fl N)+m]+
局部分类损失
Figure BDA0003080900290000051
为：
Figure BDA0003080900290000052
对于单张图片，总局部分类损失为
Figure BDA0003080900290000053
具体的，步骤S3中，车辆重识别网络模型的损失函数L为：
Figure BDA0003080900290000054
其中，
Figure BDA0003080900290000055
为全局三元组损失，L(fl A，fl N，fl P)为局部三元组损失，L(I，C)为区域建议损失函数，
Figure BDA0003080900290000056
为全局分类损失，
Figure BDA0003080900290000057
为局部分类损失。
本发明的另一技术方案是，一种利用弱监督区域推荐的车辆重识别系统，包括：
数据模块，获取车辆图像数据，并将车辆图像数据设置为同一大小，分别构建车辆重识别训练集T、查询集Q与图库集G，对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作；
网络模块，设计弱监督区域推荐网络模型结构，包括骨干网络，全局分支网络和局部分支网络，采用批量训练方法将数据模块得到的车辆重识别训练集T输入骨干网络中获取特征映射Fi，将特征映射Fi输入至全局分支网络和局部分支网络，获取全局特征和多尺度局部特征；
训练模块，将数据模块获取的车辆训练集T输入网络模块设计的弱监督区域推荐网络模型结构中，使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练，得到训练好的弱监督区域推荐网络模型；
识别模块，将数据模块获取的车辆查询集Q与图库集G输入训练模块训练好的弱监督区域推荐网络模型，提取车辆的全局特征与局部特征，通过拼接融合的方式获取最终的特征，计算车辆查询集Q和图库集G的特征之间的余弦相似度，根据相似度大小获取车辆重识别结果。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种利用弱监督区域推荐的车辆重识别方法，实现视频监控数据下的弱监督车辆重识别，弱监督区域推荐网络能够不依赖额外的标注信息，仅利用车辆身份标签信息，以弱监督的方式引导区域推荐模块获取车辆的多个有效的局部区域，对局部区域的所含信息量的丰富度进行排序，获取其中最具辨别力、描述力的局部区域细粒度特征。通过与全局度量特征进行深度融合，能够形成由粗到细的多粒度特征表示。具体而言，首先制作车辆图像训练集T、查询集Q与图库集G，将这些数据集都设置成同一大小，并对训练集T执行额外的数据增强操作，以此生成更多的同源数据，避免了弱监督区域推荐网络的过度拟合。然后设计弱监督区域推荐网络的骨干网络、全局分支与局部分支，其中使用平均值池化以获取全局分支中具不变性的全局特征描述符
Figure BDA0003080900290000061
并使用区域建议模块获取局部分支中对分类结果有益的局部区域，从而获取具辨别力的多尺度局部特征描述符
Figure BDA0003080900290000062
此外，设计多种损失函数对弱监督区域推荐网络进行联合优化。之后，使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型的训练。在获取训练模型后，获取车辆查询集Q与图库集G的特征，并计算两者之间的余弦相似度，根据相似度大小获取车辆重识别结果。
进一步的，构建训练集T、查询集Q与图库集G供弱监督区域推荐网络进行训练与测试。对训练集T并进行数据增强，使得训练集图像数量增加，避免了弱监督区域推荐网络训练过程的过度拟合。
进一步的，设计弱监督区域推荐网络模型结构。首先构建骨干网络提取输入图像的深层特征映射；然后构建全局分支，通过全局平均值池化操作能够获取鲁棒的全局特征；其次设计包含区域推荐模块的局部分支，区域推荐模块能够获取多个高信息度的区域，从中可以获取最具辨别力、描述力的局部特征描述符；最后融合全局特征与局部特征形成由粗到细的多粒度特征表示。
进一步的，通过将训练集T中的输入图像按照批量N输入至骨干网络，能够提取图像具有丰富的表达力的深度特征映射。
进一步的，设计全局三元组损失
Figure BDA0003080900290000071
用于全局分支，能够拉近正样本对之间的距离，推开负样本对之间的距离，使得相同身份的车辆图片在特征空间里形成聚类，使得全局特征更具有辨别力。
进一步的，设置分类损失
Figure BDA0003080900290000072
用于全局分支，当预测值与真值不同时对局部分支进行惩罚，使得弱监督区域推荐网络能够关注到对分类有益的局部特征。
进一步的，构建包含区域推荐模块的局部分支，其中区域推荐模块通过推荐不同分辨率、不同语义强度的区域，使得局部分支能够提取丰富的多尺度局部特征。通过多种损失函数对局部分支进行联合优化，使得局部特征具有区分性。
进一步的，获取局部分支中的多尺度局部特征fl i后，使用局部三元组损失L(fl A，fl N，fl P)拉近正样本对之间的距离，推开负样本对之间的距离，增强局部特征的区分度。
进一步的，获取局部分支的分类置信度
Figure BDA0003080900290000073
并计算其分类损失
Figure BDA0003080900290000074
通过优化该损失，使得确保每一个区域都能对分类产生增益作用，即确保局部特征对重识别任务产生有效性。
进一步的，优化区域推荐损失函数L(I，C)，使得置信度高的区域的信息量要更大，进一步确保了区域建议模块所推荐的区域是重识别有用的区域，避免了噪声区域的引入。
进一步的，通过优化总损失L，使得弱监督区域推荐网络可以提取具有鲁棒性的全局特征描述符和多个丰富的具有辨别力的局部特征描述符。
综上所述，本发明以弱监督的学习方式引导区域推荐模块获取图像中的多尺度局部区域。通过对局部区域所含信息量的丰富度排序，从而获取更具有辨别力、描述力的局部区域特征描述符。最后与全局描述符进行融合，形成由粗到细的多粒度特征表示。本发明不依赖额外的局部边界框注释，仅使用身份信息完成车辆的重识别，能够满足实际车辆重识别应用场景的要求。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明弱监督区域推荐车辆系统的流程图；
图2为车辆重识别结果可视化图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
在附图中示出了根据本发明公开实施例的各种结构示意图。这些图并非是按比例绘制的，其中为了清楚表达的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
本发明提供了一种利用弱监督区域推荐的车辆重识别方法，采集道路监控摄像头捕捉的车辆图像数据，构建车辆重识别训练集T、查询集Q与图库集G，对其进行数据增强并应用于本发明所设计的弱监督区域推荐网络中；设计弱监督区域推荐网络模型的结构，包括一个骨干网络、一个全局分支网络以及一个包含区域推荐模块的局部分支网络，区域推荐模块使用分类损失和区域建议损失函数进行优化，使其能够提取图像中具有丰富信息度的多尺度局部区域，从而获取更具有辨别力、描述力的局部区域特征，局部特征与全局特征使用三元组损失进行优化，增强网络的辨识能力；使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络的训练，得到训练好的模型后，计算车辆查询集Q与图库集G的相似度，根据相似度的大小排序获取车辆重识别结果。
请参阅图1，本发明一种利用弱监督区域推荐的车辆重识别方法，包括以下步骤：
S1、获取道路监控摄像头捕捉的车辆图像数据，构建车辆重识别训练集T、查询集Q与图库集G，将所有的图像数据设置为同一大小，对训练集T进行裁剪、翻转、旋转、归一化数据增强操作；
首先从跨视域道路监控摄像设备中获取多段车辆监控视频；然后使用预先训练的车辆检测器定位并裁剪出监控视频中的车辆图像；最后使用人工标注的方法将车辆图像中的同一车辆标注为对应的类并赋予一个独立的编号，不同车辆之间的类和编号不同，循环上述步骤来构建车辆数据集。
本发明具体实施时，将所有车辆图像设置为256×256大小，将车辆数据集按照5：5划分为训练集T和测试集，测试集包括查询集Q与图库集G，训练时对训练集T执行裁剪、翻转、旋转、归一化数据增强操作，以此作为后续的训练数据。
S2、设计弱监督区域推荐网络模型的结构，其中包括一个骨干网络、一个全局分支网络以及一个局部分支网络，采用批量训练方法，将步骤S1得到的车辆训练集T中的输入图像按照批量N输入至骨干网络获取特征映射；
弱监督区域推荐网络模型由一个共享权重的骨干网络、一个独立权重的全局特征和一个独立权重的局部分支网络组成，其中，共享权重的骨干网络由若干批量归一化层、若干卷积层、若干非线性激活层和若干池化层构成。
将步骤S1得到的车辆训练集T中的输入图像按照批量N输入至骨干网络获取特征映射，对于一个批量B中的单张训练图像Ii∈T，i∈1，...，n来说，将其输入到该卷积神经网络的骨干网络能够获取特征映射Fi，后续步骤利用该特征映射获取全局特征和多尺度局部特征。
S201、全局分支网络用于提取具鲁棒性的全局特征描述符
Figure BDA0003080900290000101
使用难三元组损失提高特征描述符的辨别力；
对于一个批量B中三张图像IA，IN，IP来说，可以获得步骤S2中的深度特征映射FA，FN，FP后，使用全局平均值池化操作分别对FA，FN，FP在宽度和深度方向上求平均值，在压缩特征分辨率的同时保留车辆的整体信息，从而得到全局特征描述符
Figure BDA0003080900290000111
之后使用全局三元组损失
Figure BDA0003080900290000112
进行约束，以增强全局特征的辨别力：
Figure BDA0003080900290000113
其中，
Figure BDA0003080900290000114
分别表示组成三元组的源样本、负样本和正样本的全局高维特征向量，
Figure BDA0003080900290000115
和
Figure BDA0003080900290000116
分别代表正样本对和负样本对的欧式距离，m代表三元组损失的间距阈值，[·]+代表取正值。
对于单张图像来说，在得到
Figure BDA0003080900290000117
之后，在全局分支中设计一个批量归一化层BN(·)、一个线性层W和一个softmax层，用于计算全局分类损失：
Figure BDA0003080900290000118
Figure BDA0003080900290000119
S202、局部分支网络用于提取多尺度的局部特征描述符fl 1，fl 2，fl 2；局部分支网络包含一个区域推荐模型，用于生成多个高信息度的局部感兴趣区域，然后通过感兴趣区域对齐池化生成具辨别力的多尺度局部特征描述符；
局部分支网络中，构建局部区域推荐网络获取车辆图像中具有辨识度的局部特征，局部区域推荐网络包含三层特征金字塔结构的卷积层对特征映射Fi进行连续的空间下采样，以此获取目标车辆在不同空间分辨率的多尺度特征；
然后，利用滑动窗口在多尺度特征上生成不同大小和长宽比例的锚框；
之后，设计两层卷积层用于计算锚框所提取的区域特征的信息量I，并使用非极大值抑制技术剔除相互覆盖的区域；
最后，按照信息量大小对区域特征进行排序，提取出前3个信息最大的区域
Figure BDA0003080900290000121
其对应的信息量分别为
Figure BDA0003080900290000122
将这些区域的位置坐标与Fi执行感兴趣区域对齐池化，以获取3个区域不同的细粒度局部特征
Figure BDA0003080900290000123
训练时，将
Figure BDA0003080900290000124
进行拼接融合以获取多尺度局部特征
Figure BDA0003080900290000125
对该特征使用三元组损失L(fl A，fl N，fl P)以增强深度特征的辨别性。
在
Figure BDA0003080900290000126
之后分别增加一个批量归一化层BN(·)、一个线性层W和一个softmax层，用于获取分类置信度
Figure BDA0003080900290000127
以及计算局部分类损失
Figure BDA0003080900290000128
之后通过设计区域建议损失函数L(I，C)确保获取到的信息量大的区域
Figure BDA0003080900290000129
是车辆图像的关键性区域，区域建议损失函数L(I，C)具体为：
L(I，C)＝∑f(Is-Ii)
其中，函数f(x)＝max(1-x，0)，该损失通过置信度和信息量之间的相关性保证信息量大的区域置信度更高，即信息量大的区域具有更强的辨别力。
S3、将步骤S1获取的车辆训练集T输入步骤S2设计的弱监督区域推荐网络模型结构中，使用适应性梯度下降算法以端到端的方式监督整个网络的训练，得到训练好的车辆重识别网络模型；
将步骤S1获取的车辆训练集T组成批量为B的多个三元组图像，然后输入步骤S2设计的弱监督区域推荐网络模型结构中，获取步骤S1和S2所述的全局三元组损失
Figure BDA00030809002900001210
局部三元组损失L(fl A，fl N，fl P)、区域推荐损失L(I，C)、全局分类损失
Figure BDA00030809002900001211
以及局部分类损失
Figure BDA00030809002900001212
然后将上述损失加和获取总损失L：
Figure BDA0003080900290000131
使用适应性梯度下降算法以端到端的方式监督整个网络的训练，得到训练好的车辆重识别网络模型。
S4、将步骤S1获取的车辆查询集Q与图库集G输入步骤S3训练完的车辆重识别网络模型中，分别提取车辆查询集Q与图库集G的全局特征
Figure BDA0003080900290000132
与局部特征fl i，通过拼接融合的方式获取最终的特征，计算车辆查询集Q与图库集G特征之间的余弦相似度，根据相似度大小获取车辆重识别结果。
将步骤S1获取的车辆查询集Q输入弱监督区域推荐网络，提取其全局特征
Figure BDA0003080900290000133
与局部特征fl i，通过拼接融合的方式获取最终的查询集特征fQ；然后对图库集G执行相同操作从而获取图库集fG，使用余弦距离函数S(fQ，fG)＝cos(fQ，fG)对车辆之间进行相似度计算，搜索图库集中与目标车辆身份相同车辆，得出车辆重识别结果。
本发明再一个实施例中，提供一种利用弱监督区域推荐的车辆重识别系统，该系统能够用于实现上述利用弱监督区域推荐的车辆重识别方法，具体的，该利用弱监督区域推荐的车辆重识别系统包括数据模块、网络模块、训练模块以及识别模块。
其中，数据模块，获取车辆图像数据，并将车辆图像数据设置为同一大小，分别构建车辆重识别训练集T、查询集Q与图库集G，对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作；
网络模块，设计弱监督区域推荐网络模型结构，包括骨干网络，全局分支网络和局部分支网络，采用批量训练方法将数据模块得到的车辆重识别训练集T输入骨干网络中获取特征映射Fi，将特征映射Fi输入至全局分支网络和局部分支网络，获取全局特征和多尺度局部特征；
训练模块，将数据模块获取的车辆训练集T输入网络模块设计的弱监督区域推荐网络模型结构中，使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练，得到训练好的弱监督区域推荐网络模型；
识别模块，将数据模块获取的车辆查询集Q与图库集G输入训练模块训练好的弱监督区域推荐网络模型，提取车辆的全局特征与局部特征，通过拼接融合的方式获取最终的特征，计算车辆查询集Q和图库集G的特征之间的余弦相似度，根据相似度大小获取车辆重识别结果。
本发明再一个实施例中，提供了一种终端设备，该终端设备包括处理器以及存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器用于执行所述计算机存储介质存储的程序指令。处理器可能是中央处理单元(Central ProcessingUnit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor、DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其是终端的计算核心以及控制核心，其适于实现一条或一条以上指令，具体适于加载并执行一条或一条以上指令从而实现相应方法流程或相应功能；本发明实施例所述的处理器可以用于利用弱监督区域推荐的车辆重识别方法的操作，包括：
获取车辆图像数据，并将车辆图像数据设置为同一大小，分别构建车辆重识别训练集T、查询集Q与图库集G，对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作；
获取车辆图像数据，并将车辆图像数据设置为同一大小，分别构建车辆重识别训练集T、查询集Q与图库集G，对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作；设计弱监督区域推荐网络模型结构，包括骨干网络，全局分支网络和局部分支网络，采用批量训练方法将车辆重识别训练集T输入骨干网络中获取特征映射Fi，将特征映射Fi输入至全局分支网络和局部分支网络，获取全局特征和多尺度局部特征；将获取的车辆训练集T输入设计的弱监督区域推荐网络模型结构中，使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练，得到训练好的弱监督区域推荐网络模型；将获取的车辆查询集Q与图库集G输入训练好的弱监督区域推荐网络模型，提取车辆的全局特征与局部特征，通过拼接融合的方式获取最终的特征，计算车辆查询集Q和图库集G的特征之间的余弦相似度，根据相似度大小获取车辆重识别结果。
本发明再一个实施例中，本发明还提供了一种存储介质，具体为计算机可读存储介质(Memory)，所述计算机可读存储介质是终端设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机可读存储介质既可以包括终端设备中的内置存储介质，当然也可以包括终端设备所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机可读存储介质可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。
可由处理器加载并执行计算机可读存储介质中存放的一条或一条以上指令，以实现上述实施例中有关利用弱监督区域推荐的车辆重识别方法的相应步骤；计算机可读存储介质中的一条或一条以上指令由处理器加载并执行如下步骤：
获取车辆图像数据，并将车辆图像数据设置为同一大小，分别构建车辆重识别训练集T、查询集Q与图库集G，对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作；设计弱监督区域推荐网络模型结构，包括骨干网络，全局分支网络和局部分支网络，采用批量训练方法将车辆重识别训练集T输入骨干网络中获取特征映射Fi，将特征映射Fi输入至全局分支网络和局部分支网络，获取全局特征和多尺度局部特征；将获取的车辆训练集T输入设计的弱监督区域推荐网络模型结构中，使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练，得到训练好的弱监督区域推荐网络模型；将获取的车辆查询集Q与图库集G输入训练好的弱监督区域推荐网络模型，提取车辆的全局特征与局部特征，通过拼接融合的方式获取最终的特征，计算车辆查询集Q和图库集G的特征之间的余弦相似度，根据相似度大小获取车辆重识别结果。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图2，为车辆重识别中查询集的结果可视化，其中第一列为查询图像，Top-1到Top-5是按相似度从大到小的排序结果，可视化结果中可以发现本发明提出的方法在一定程度上能够抵抗模糊、光照变化、车辆遮挡、视角变化带来的影响，能够很好的对车辆进行重识别。
表1本发明方法和现有方法在VeRI-776数据上的CMC结果
方法 mAP Top-1 Top-5
VAMI 50.1 77.0 90.8
RAM 61.5 88.6 94.0
AAVER 66.4 90.2 94.3
PRN 74.3 94.3 98.9
本发明方法 77.3 95.1 98.1
表2本发明方法和现有方法在VehicleID数据上的CMC结果
Figure BDA0003080900290000171
表1列出了本发明方法和其他最先进方法在VeRI-776数据集上的对比结果显示，表2列出了本发明方法和其他现有方法在Vehicle数据集上的结果，可以看出本文提出的方法识别准确率优于其他现有技术。
综上所述，本发明一种利用弱监督区域推荐的车辆重识别方法，不依赖额外的局部边界框注释，仅使用身份信息，以弱监督的学习方式引导局部区域推荐模块获取图像中的多尺度局部区域。通过对局部区域所含信息量的丰富度排序，从而获取更具有辨别力、描述力的局部区域特征。最后与全局度量特征进行深度融合，形成由粗到细的多粒度特征表示，本发明有效提高城市道路中的车辆重识别精度，对智能交通管理、智慧城市建设起到积极作用。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种利用弱监督区域推荐的车辆重识别方法，其特征在于，包括以下步骤：
S1、获取车辆图像数据，并将车辆图像数据设置为同一大小，分别构建车辆重识别训练集T、查询集Q与图库集G，对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作；
S2、设计弱监督区域推荐网络模型结构，包括骨干网络，全局分支网络和局部分支网络，采用批量训练方法将步骤S1得到的车辆重识别训练集T输入骨干网络中获取特征映射Fi，将特征映射Fi输入至全局分支网络和局部分支网络，获取全局特征和多尺度局部特征；
S3、将步骤S1获取的车辆训练集T输入步骤S2设计的弱监督区域推荐网络模型结构中，使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练，得到训练好的弱监督区域推荐网络模型；
S4、将步骤S1获取的车辆查询集Q与图库集G输入步骤S3训练好的弱监督区域推荐网络模型，提取车辆的全局特征与局部特征，通过拼接融合的方式获取最终的特征，计算车辆查询集Q和图库集G的特征之间的余弦相似度，根据相似度大小获取车辆重识别结果。
2.根据权利要求1所述的方法，其特征在于，步骤S1中，获取多段车辆监控视频；使用预先训练的车辆检测器定位并裁剪监控视频中的车辆图像；使用人工标注方法将车辆图像中同一车辆标注为独立的标签，循环获取车辆数据集，将获取的车辆数据集划分为训练集T、查询集Q与图库集G。
3.根据权利要求1所述的方法，其特征在于，步骤S2中，构建全局分支网络具体为：
使用全局平均值池化操作对特征映射Fi在长度和宽度方向上求平均值，在压缩特征分辨率的同时保留车辆的整体信息，得到全局特征描述符
Figure FDA0003080900280000021
然后设计一个批量归一化层BN(·)、一个线性层W和一个softmax层用于获取特征
Figure FDA0003080900280000022
的分类结果pg；最后使用全局三元组损失
Figure FDA0003080900280000023
和全局分类损失
Figure FDA0003080900280000024
对全局分支进行约束。
4.根据权利要求3所述的方法，其特征在于，全局三元组损失
Figure FDA0003080900280000025
具体为：
将一个批量B中的图像组成三元组IA,IN,IP输入至全局分支，获取其全局特征描述符后计算三元组损失：
Figure FDA0003080900280000026
其中，
Figure FDA0003080900280000027
分别表示组成三元组的源样本、负样本和正样本的全局特征向量，
Figure FDA0003080900280000028
和
Figure FDA0003080900280000029
分别代表正样本对和负样本对的欧式距离，m代表三元组损失的间距阈值，[·]+代表取正值。
5.根据权利要求3所述的方法，其特征在于，全局分类损失
Figure FDA00030809002800000210
具体为：
Figure FDA00030809002800000211
其中，pg为分类结果预测值，
Figure FDA00030809002800000212
为分类结果真值，n为批量大小。
6.根据权利要求1所述的方法，其特征在于，步骤S2中，构建局部分支网络具体为：
构建局部区域推荐模块用于获取车辆图像中具有辨识度的局部特征，局部区域推荐模块包含具有三层特征金字塔结构的卷积层，通过对特征映射Fi进行连续的空间下采样，获取目标车辆在不同空间分辨率的多尺度特征；利用滑动窗口在多尺度特征上生成不同大小和长宽比的锚框；设计两层卷积层用于计算锚框所提取的区域特征的信息量I，并使用非极大值抑制技术剔除相互覆盖的区域；按照信息量大小对区域特征进行排序，提取出前3个信息最大的区域
Figure FDA0003080900280000031
其对应的信息量分别为
Figure FDA0003080900280000032
对Fi按照区域
Figure FDA0003080900280000033
执行感兴趣区域对齐池化，获取3个区域不同的细粒度局部特征
Figure FDA0003080900280000034
进行融合以获取多尺度局部特征
Figure FDA0003080900280000035
使用局部三元组损失
Figure FDA0003080900280000036
进行约束，分别增加一个批量归一化层BN(·)、一个线性层W和一个softmax层用于获取分类置信度
Figure FDA0003080900280000037
并计算分类损失
Figure FDA0003080900280000038
确保获取到的信息量大的区域
Figure FDA0003080900280000039
是车辆图像的关键性区域，设计区域建议损失函数L(I,C)对其进行约束。
7.根据权利要求6所述的方法，其特征在于，区域建议损失函数L(I,C)为：
L(I,C)＝∑f(Is-Ii)
其中，函数f(x)＝max(1-x,0)，Is为第s个区域的信息量，Ii为第i个区域的信息量。
8.根据权利要求6所述的方法，其特征在于，局部三元组损失
Figure FDA00030809002800000310
为：
Figure FDA00030809002800000311
局部分类损失
Figure FDA00030809002800000312
为：
Figure FDA00030809002800000313
对于单张图片，总局部分类损失为
Figure FDA00030809002800000314
9.根据权利要求1所述的方法，其特征在于，步骤S3中，车辆重识别网络模型的损失函数L为：
Figure FDA00030809002800000315
其中，
Figure FDA00030809002800000316
为全局三元组损失，
Figure FDA00030809002800000317
为局部三元组损失，L(I,C)为区域建议损失函数，
Figure FDA00030809002800000318
为全局分类损失，
Figure FDA00030809002800000319
为局部分类损失。
10.一种利用弱监督区域推荐的车辆重识别系统，其特征在于，包括：
数据模块，获取车辆图像数据，并将车辆图像数据设置为同一大小，分别构建车辆重识别训练集T、查询集Q与图库集G，对车辆重识别训练集T进行裁剪、翻转、旋转和归一化数据增强操作；
网络模块，设计弱监督区域推荐网络模型结构，包括骨干网络，全局分支网络和局部分支网络，采用批量训练方法将数据模块得到的车辆重识别训练集T输入骨干网络中获取特征映射Fi，将特征映射Fi输入至全局分支网络和局部分支网络，获取全局特征和多尺度局部特征；
训练模块，将数据模块获取的车辆训练集T输入网络模块设计的弱监督区域推荐网络模型结构中，使用适应性梯度下降算法以端到端的方式监督弱监督区域推荐网络模型结构的训练，得到训练好的弱监督区域推荐网络模型；
识别模块，将数据模块获取的车辆查询集Q与图库集G输入训练模块训练好的弱监督区域推荐网络模型，提取车辆的全局特征与局部特征，通过拼接融合的方式获取最终的特征，计算车辆查询集Q和图库集G的特征之间的余弦相似度，根据相似度大小获取车辆重识别结果。
CN202110566479.5A 2021-05-24 2021-05-24 一种利用弱监督区域推荐的车辆重识别方法 Active CN113177518B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110566479.5A CN113177518B (zh) 2021-05-24 2021-05-24 一种利用弱监督区域推荐的车辆重识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110566479.5A CN113177518B (zh) 2021-05-24 2021-05-24 一种利用弱监督区域推荐的车辆重识别方法

Publications (2)

Publication Number Publication Date
CN113177518A true CN113177518A (zh) 2021-07-27
CN113177518B CN113177518B (zh) 2023-04-28

Family

ID=76930010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110566479.5A Active CN113177518B (zh) 2021-05-24 2021-05-24 一种利用弱监督区域推荐的车辆重识别方法

Country Status (1)

Country Link
CN (1) CN113177518B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743359A (zh) * 2021-09-16 2021-12-03 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置
CN113887653A (zh) * 2021-10-20 2022-01-04 西安交通大学 一种基于三元网络的紧耦合弱监督学习的定位方法及系统
CN114359880A (zh) * 2022-03-18 2022-04-15 北京理工大学前沿技术研究院 一种基于智能学习模型的乘车体验增强方法、装置及云端
CN114359873A (zh) * 2022-01-06 2022-04-15 中南大学 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法
CN115457420A (zh) * 2022-11-10 2022-12-09 松立控股集团股份有限公司 一种基于无人机拍摄夜间低对比度的车辆重检测方法
CN116630726A (zh) * 2023-07-26 2023-08-22 成都大熊猫繁育研究基地 基于多模态的鸟类分类方法及系统
CN117319610A (zh) * 2023-11-28 2023-12-29 松立控股集团股份有限公司 基于高位全景相机区域增强的智慧城市道路监控方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516670A (zh) * 2019-08-26 2019-11-29 广西师范大学 基于场景级与区域建议自注意模块的目标检测方法
CN110555420A (zh) * 2019-09-09 2019-12-10 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法
CN111539469A (zh) * 2020-04-20 2020-08-14 东南大学 一种基于视觉自注意力机制的弱监督细粒度图像识别方法
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200285896A1 (en) * 2019-03-09 2020-09-10 Tongji University Method for person re-identification based on deep model with multi-loss fusion training strategy
CN110516670A (zh) * 2019-08-26 2019-11-29 广西师范大学 基于场景级与区域建议自注意模块的目标检测方法
CN110555420A (zh) * 2019-09-09 2019-12-10 电子科技大学 一种基于行人区域特征提取和重识别融合模型网络及方法
CN111539469A (zh) * 2020-04-20 2020-08-14 东南大学 一种基于视觉自注意力机制的弱监督细粒度图像识别方法
CN112818931A (zh) * 2021-02-26 2021-05-18 中国矿业大学 基于多粒度深度特征融合的多尺度行人重识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XINWEI HE等: "Triplet-Center Loss for Multi-View 3D Object Retrieval" *
梁大卫: "基于深度学习的行人姿态估计与重识别算法研究" *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743359B (zh) * 2021-09-16 2024-02-02 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置
CN113743359A (zh) * 2021-09-16 2021-12-03 重庆紫光华山智安科技有限公司 车辆重识别方法、模型训练方法及相关装置
CN113887653A (zh) * 2021-10-20 2022-01-04 西安交通大学 一种基于三元网络的紧耦合弱监督学习的定位方法及系统
CN113887653B (zh) * 2021-10-20 2024-02-06 西安交通大学 一种基于三元网络的紧耦合弱监督学习的定位方法及系统
CN114359873A (zh) * 2022-01-06 2022-04-15 中南大学 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法
CN114359873B (zh) * 2022-01-06 2024-04-26 中南大学 一种融合道路空间先验和区域级特征的弱监督车辆可行域分割方法
CN114359880A (zh) * 2022-03-18 2022-04-15 北京理工大学前沿技术研究院 一种基于智能学习模型的乘车体验增强方法、装置及云端
CN114359880B (zh) * 2022-03-18 2022-05-24 北京理工大学前沿技术研究院 一种基于智能学习模型的乘车体验增强方法、装置及云端
CN115457420A (zh) * 2022-11-10 2022-12-09 松立控股集团股份有限公司 一种基于无人机拍摄夜间低对比度的车辆重检测方法
CN116630726A (zh) * 2023-07-26 2023-08-22 成都大熊猫繁育研究基地 基于多模态的鸟类分类方法及系统
CN116630726B (zh) * 2023-07-26 2023-09-22 成都大熊猫繁育研究基地 基于多模态的鸟类分类方法及系统
CN117319610B (zh) * 2023-11-28 2024-01-30 松立控股集团股份有限公司 基于高位全景相机区域增强的智慧城市道路监控方法
CN117319610A (zh) * 2023-11-28 2023-12-29 松立控股集团股份有限公司 基于高位全景相机区域增强的智慧城市道路监控方法

Also Published As

Publication number Publication date
CN113177518B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Abbas et al. A comprehensive review of recent advances on deep vision systems
CN113177518A (zh) 一种利用弱监督区域推荐的车辆重识别方法
Kumar et al. Object-based image retrieval using the u-net-based neural network
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
Xie et al. Context-aware pedestrian detection especially for small-sized instances with Deconvolution Integrated Faster RCNN (DIF R-CNN)
Kobyshev et al. Matching features correctly through semantic understanding
Huang et al. Dual domain multi-task model for vehicle re-identification
Ma et al. Integrating orientation cue with EOH-OLBP-based multilevel features for human detection
Karim et al. Comparative analysis of feature extraction methods in satellite imagery
Mehrjardi et al. A survey on deep learning-based image forgery detection
Chen et al. A coarse-to-fine approach for vehicles detection from aerial images
Peng et al. Vehicle classification using sparse coding and spatial pyramid matching
Bahri et al. Real-time moving human detection using HOG and Fourier descriptor based on CUDA implementation
Dahouda et al. Neural architecture search net-based feature extraction with modular neural network for image classification of copper/cobalt raw minerals
Fritz et al. Building detection from mobile imagery using informative SIFT descriptors
Shen et al. Real-time human detection based on gentle MILBoost with variable granularity HOG-CSLBP
Mookdarsanit et al. Location estimation of a photo: A geo-signature mapreduce workflow
Jahlan et al. Mobile neural architecture search network and convolutional long short-term memory-based deep features toward detecting violence from video
Rani et al. ShortYOLO-CSP: a decisive incremental improvement for real-time vehicle detection
Hota et al. On-road vehicle detection by cascaded classifiers
Cai et al. Vehicle detection based on visual saliency and deep sparse convolution hierarchical model
Abdi et al. In-vehicle augmented reality TSR to improve driving safety and enhance the driver’s experience
Ugwu et al. An improved visual attention model for automated vehicle license plate number recognition using computer vision
Balamurugan et al. An integrated framework for abnormal event detection and video summarization using deep learning
Wang et al. A novel fine-grained method for vehicle type recognition based on the locally enhanced PCANet neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant