CN114639077A - 融合监控网络拓扑信息的车辆再识别方法、装置及设备 - Google Patents

融合监控网络拓扑信息的车辆再识别方法、装置及设备 Download PDF

Info

Publication number
CN114639077A
CN114639077A CN202011479725.5A CN202011479725A CN114639077A CN 114639077 A CN114639077 A CN 114639077A CN 202011479725 A CN202011479725 A CN 202011479725A CN 114639077 A CN114639077 A CN 114639077A
Authority
CN
China
Prior art keywords
vehicle
identification
image
identified
topology information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011479725.5A
Other languages
English (en)
Inventor
杨旭波
邹悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN202011479725.5A priority Critical patent/CN114639077A/zh
Publication of CN114639077A publication Critical patent/CN114639077A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种融合监控网络拓扑信息的车辆再识别方法、装置及设备，所述融合监控网络拓扑信息的车辆再识别方法包括：获取初始图像数据集并对所述初始图像数据集进行处理；将处理后的所述初始图像数据集作为车辆再识别预设卷积神经网络的输入，获取车辆再识别模型；将待识别的目标车辆图像输入所述车辆再识别模型，得到所述待识别的目标车辆图像的特征张量，并基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度，形成车辆再识别初步结果；对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果。本发明可以直接对交通监控视频进行车辆再识别，有效提高车辆再识别的准确率。

Description

融合监控网络拓扑信息的车辆再识别方法、装置及设备
技术领域
本发明属于计算机视觉技术领域，特别是涉及一种融合监控网络拓扑信息的车辆再识别方法、装置及设备。
背景技术
随着经济与科技的繁荣发展，一方面监控视频覆盖率越来越高，政府管理人员逐渐认识到基于图像的智能技术在公共安全、交通管理、打击犯罪、刑侦取证等多方面多场景的应用前景，如人脸识别、异常事件检测等，另一方面，居民汽车保有量越来越多，车辆逐渐成为了当前社会生活中不可或缺的一部分，是公共场景、交通道路上的重要参与部分，因此，面向车辆的相关视觉任务层出不穷，也受到了学术届和工业界的普遍重视。车辆再识别(Vehicle Re-Identification)是指对于出现在不重叠视图中的同一车辆进行再次身份识别，即判断采集自不同监控摄像头的汽车图像判断是否属于同一车辆，对交通管理、公共安全等领域具有积极意义。
针对于车辆再识别的研究主要分为三个阶段：二十世纪九十年代由于视频监控建设不完善且图像处理技术未成熟，普遍采用基于传感器的方法，由于硬件依赖，应用场景局限在高速公路，精度也有较大缺陷；二十一世纪初，图像处理技术日益成熟，研究者开始利用传统手工设计特征对车辆进行身份标识与匹配，首先利用传统的图像处理技术获得车辆特征属性，如颜色、边角信息等，然后将特征匹配问题转换为判断来自两个不同摄像机的两个车辆图像是否来自同一车辆的概率分类问题，训练分类器实现车辆再识别目标。2012年后，深度学习的发展如火如荼，促使了车辆再识别任务重回产研业的视野，也是是目前主流的车辆再识别方法所采取的主要手段，其主要步骤是构建深度学习网络架构，利用海量车辆图像数据对车辆特征进行有监督学习，将车辆图像学习映射到特征空间中，并计算车辆图像在特征空间中的度量相似性，认为越相似的车辆图像其身份越有可能为同一个。
现有相似的车辆再识别技术采取的主要方法有三种，一种是全局与局部特征结合，分别训练全局特征网络和局部特征网络得到对应特征，再对全局特征和局部特征分配合适权重，达到更好的特征映射关系，如PGAN等；一种是多特征网络拼接，即训练多个特征网络，然后将其训练得到的特征网络拼接到一起，作为最终的特征向量，如VehicleNet等；还有一种是利用多维度信息，如车型、车辆颜色、车牌号、时间戳等信息，将一次的再识别过程拆分成多步骤匹配过程，提高了车辆再识别的准确率，代表系统是PROVID。这些方法都具有一个统一的特性：需要训练多个神经网络，然后合理拼装后完成最终的再识别结果，整体流程需要较多手工对接操作，难以形成一套自动化的应用管线。
尽管有越来越多的研究者注意到车辆再识别问题带来的挑战，但目前业界所能实现的精度只是差强人意，其主要困难在于两点，一是车辆类间差异小，不同车辆可能只能依靠较小细节进行身份区分；二是成像差异大，同一车辆的不同图像可能存在角度、光照等较大不同。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种融合监控网络拓扑信息的车辆再识别方法、装置及设备，用于提高车辆再识别的准确率。
为实现上述目的及其他相关目的，本发明的实施例提供一种融合监控网络拓扑信息的车辆再识别方法，包括：获取初始图像数据集并对所述初始图像数据集进行处理；将处理后的所述初始图像数据集作为车辆再识别预设卷积神经网络的输入，获取车辆再识别模型；将待识别的目标车辆图像输入所述车辆再识别模型，得到所述待识别的目标车辆图像的特征张量，并基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度，形成车辆再识别初步结果；对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果。
于本发明的一实施例中，所述初始图像数据集包括：训练集和测试集；所述测试集包括查询集和图库集。
于本发明的一实施例中，所述对所述初始图像数据集进行处理包括：将初始图像数据进行水平翻转、随机擦除、增加随机补丁、颜色抖动中的任一种或多种组合。
于本发明的一实施例中，所述预设卷积神经网络的骨干网为基于IBN-Net的深度残差网络，并将基于IBN-Net的深度残差网络的平均池化层替换为自适应平均池化层，在最后的全连接层后添加一个批量归一化层用以减低特征维度，然后连接一个全连接层，输出最终的预测结果。
于本发明的一实施例中，所述预设卷积神经网络以三元组损失与交叉熵损失的混合损失函数计算损失；所述预设卷积神经网络使用随机梯度下降优化器计算梯度并迭代更新参数；采用预热学习率结合余弦退火调整学习率作为学习率调整策略；在深度残差网络的第三层和第四层中最后一半残差块的尾部分别增加非局部块用以捕获长距离依赖。
于本发明的一实施例中，所述基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度的一种实现方式包括：获取所述图库集中各图像的特征张量；使用预设卷积神经网络获得待识别的模板车辆图像的待查询特征张量；计算待识别的模板车辆图像的待查询特征张量与所述图库集中各图像的特征张量之间的欧几里得距离；基于所述欧几里得距离确定所述相似度，其中，欧几里得距离越小，相似度越高。
于本发明的一实施例中，所述对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果的一种实现方式包括：以无向图的形式维护监控网络拓扑结构信息；将相似度在预设值以上的待识别的模板车辆图像作为候选图像，并按从高到低的顺序保存；划分前k个候选图像为排序列表；基于自信策略确定所有候选图像的图像ID集合；基于各候选图像的图像 ID是否存在于预设候选图像ID集合中更新所述排序列表；根据更新的所述排序列表获得最终的车辆再识别结果：相似度最高且满足相似度阈值的的图像ID作为最终识别结果。
本发明的实施例还提供一种融合监控网络拓扑信息的车辆再识别装置，包括：车辆检测与追踪模块，用于获取初始图像数据集并对所述初始图像数据集进行处理；车辆再识别计算模块，用于将处理后的所述初始图像数据集作为车辆再识别预设卷积神经网络的输入，获取车辆再识别模型，并将待识别的目标车辆图像输入所述车辆再识别模型，得到所述待识别的目标车辆图像的特征张量，并基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度，形成车辆再识别初步结果，对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果。
于本发明的一实施例中，所述预设卷积神经网络的骨干网为基于IBN-Net的深度残差网络，并将基于IBN-Net的深度残差网络的平均池化层替换为自适应平均池化层，在最后的全连接层后添加一个批量归一化层用以减低特征维度，然后连接一个全连接层，输出最终的预测结果。
本发明的实施例还提供一种电子设备，包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行程序指令实现如上所述的融合监控网络拓扑信息的车辆再识别方法。
如上所述，本发明的融合监控网络拓扑信息的车辆再识别方法、装置及设备，具有以下有益效果：
本发明可以直接对交通监控视频进行车辆再识别，有效提高车辆再识别的准确率。
附图说明
图1显示为本发明的融合监控网络拓扑信息的车辆再识别方法的流程示意图。
图2显示为本发明的融合监控网络拓扑信息的车辆再识别装置的原理结构示意图。
图3显示为本发明的融合监控网络拓扑信息的车辆再识别装置中的运行原理示意图。
图4显示为本申请一实施例中的电子设备的结构示意图。
元件标号说明
10 电子设备
1101 处理器
1102 存储器
100 融合监控网络拓扑信息的车辆再识别装置
110 车辆检测与追踪模块
120 车辆再识别计算模块
S100～S400 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本实施例的目的在于提供一种融合监控网络拓扑信息的车辆再识别方法、装置及设备，用于提高车辆再识别的准确率。
以下将详细阐述本实施例的融合监控网络拓扑信息的车辆再识别方法、装置及设备的原理及实施方式，使本领域技术人员不需要创造性劳动即可理解本发明的融合监控网络拓扑信息的车辆再识别方法、装置及设备。
实施例1
如图1所示，本实施例提供一种融合监控网络拓扑信息的车辆再识别方法，包括：
步骤S100：获取初始图像数据集并对所述初始图像数据集进行处理；
步骤S200：将处理后的所述初始图像数据集作为车辆再识别预设卷积神经网络的输入，获取车辆再识别模型；
步骤S300：将待识别的目标车辆图像输入所述车辆再识别模型，得到所述待识别的目标车辆图像的特征张量，并基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度，形成车辆再识别初步结果；
步骤S400：对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果。
以下对本实施例融合监控网络拓扑信息的车辆再识别方法的步骤S100至步骤S400进行详细说明。
步骤S100：获取初始图像数据集并对所述初始图像数据集进行处理。
获取初始图像数据集，并对其进行划分、数据增强等预处理操作。
具体地，于本实施例中，所述初始图像数据集包括：训练集和测试集；所述测试集包括查询集和图库集。
于本实施例中，所述对所述初始图像数据集进行处理包括：将初始图像数据进行水平翻转、随机擦除、增加随机补丁、颜色抖动中的任一种或多种组合。
即于本实施例中，获得数据集后将数据集按合理比例划分为训练集、测试集，并进一步将测试集划分为查询集和图库集；对初始训练图像进行水平翻转增强操作，即将图片进行左右镜像翻转处理；对初始训练图像进行随机擦除增强操作，即将随机选取的矩形区域像素替换为随机值。
具体地，于本实施例中，准备用于车辆再识别任务的专门数据集，需要包括由多台交通监控摄像头拍下的大量车辆的多幅图片，具有完备的标注信息，且数据集按照合适比例划分为训练集、测试集，并进一步将训练集划分为查询集和图库集。本发明的实验阶段主要采用了开源数据集VeRi和VeRi-Wild进行训练。
加载训练集，并对训练集中的车辆图像做数据增强处理。具体来说，数据增强处理包括：
1)水平翻转，即将原图像镜像翻转，保存为新图像，并且水平翻转后得到的新图像的标注信息与原图像保持一致。
2)随机擦除，即按一定概率抽取原图像进行擦除处理，若原图像被选中进行随机擦除处理，则按照给定的面积比范围和高宽比，在原图像中随机选择一块矩形区域，将其像素值全部修改为随机值。
3)除此之外，还可以根据训练结果，尝试增加随机补丁、颜色抖动等多种数据增强手段。
步骤S200：将处理后的所述初始图像数据集作为车辆再识别预设卷积神经网络的输入，获取车辆再识别模型。
于本实施例中，所述预设卷积神经网络的骨干网为基于IBN-Net的深度残差网络，并将基于IBN-Net的深度残差网络的平均池化层替换为自适应平均池化层，在最后的全连接层后添加一个批量归一化层用以减低特征维度，然后连接一个全连接层，输出最终的预测结果。
进一步地，于本实施例中，所述预设卷积神经网络以三元组损失与交叉熵损失的混合损失函数计算损失；所述预设卷积神经网络使用随机梯度下降(Stochastic GradientDescent, SGD)优化器计算梯度并迭代更新参数；采用预热学习率(Warmup)结合余弦退火调整学习率(Cosine Annealing LR)作为学习率调整策略；在深度残差网络的第三层和第四层中最后一半残差块的尾部分别增加非局部块(Non-Local Block)用以用以增大感受野，捕捉长距离依赖，简单实现自注意力机制。
其中，替换部分批处理化处理为实例批量归一化(Instance BatchNormalization,IBN)，具体替换部分如图1所示，IBN将实例归一化(InstanceNormalization,IN)和批归一化(Batch Normalization,BN)的统一起来，即将输入均分给一个BN模块，一个IN模块，然后连接各自的输出作为整体输出。利用IBN本身的外观不变性，增强模型的泛化能力，减轻不同成像质量、背景的影响。
将ResNet-50中原本的平均池化层替换为自适应平均池化层，自动调整步长和内核大小，加速训练过程。
整个模型采用交叉熵损失函数和三元组损失函数的混合损失函数计算损失，即用交叉熵损失函数函数计算经Softmax得到的分类结果，使用三元组损失函数计算特征表征向量，将二者的损失值相加作为总损失值进行训练收敛。
采用随机梯度下降(Stochastic Gradient Descent,SGD)优化器，结合余弦退火调整学习率(Cosine Annealing LR)策略进行Warmup，更新参数，取得更优的训练效果。
步骤S300：将待识别的目标车辆图像输入所述车辆再识别模型，得到所述待识别的目标车辆图像的特征张量，并基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度，形成车辆再识别初步结果。
于本实施例中，所述基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度的一种实现方式包括：
1)获取所述图库集中各图像的特征张量；
2)使用预设卷积神经网络获得待识别的模板车辆图像的待查询特征张量；
3)计算待识别的模板车辆图像的待查询特征张量与所述图库集中各图像的特征张量之间的欧几里得距离；
4)基于所述欧几里得距离确定所述相似度，其中，欧几里得距离越小，相似度越高。
使用上述网络的到输入图像的特征值，将其与图库集图像的特征值做欧几里得距离计算，其具体计算公式为：
Figure 1
其中，f(a)和f(b)分别是两张车辆图像的特征张亮，n是特征维数，计算得到的距离值 d越小，相似度评分越高。
将图库集中与输入图像的相似度按从高到低的顺序排列，保存其前n(n>4)个识别结果，作为初步的识别结果候选列表。
步骤S400：对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果。
于本实施例中，所述对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果的一种实现方式包括：
1)以无向图的形式维护监控网络拓扑结构信息；
2)将相似度在预设值以上的待识别的模板车辆图像作为候选图像，并按从高到低的顺序保存；
3)划分前k个候选图像为排序列表；
4)基于自信策略确定所有候选图像的图像ID集合；
5)基于各候选图像的图像ID是否存在于预设候选图像ID集合中更新所述排序列表；
6)根据更新的所述排序列表获得最终的车辆再识别结果：相似度最高且满足相似度阈值的的图像ID作为最终识别结果。
具体地，获取车辆再识别结果的过程如下：
1)以无向图的形式维护监控网络拓扑结构信息；
2)将相似度评分在t以上的候选图像按从高到低的顺序保存；
3)划分前k(k>2)个候选图像为rank_list；
4)采用自信策略，即认为相似度评分最高的前两个结果是可以相信的，设置相信底线 trust_base，即找出rank_list[0]和rank_list[1]之间的所有路径及其节点，即所有候选图像的 camera_id集合，设为candidate_cids；
5)从索引2开始遍历rank_list，并维护一个初始值为0的变量drift_num，表示其camera_id 不属于candidate_cids的候选图像个数，对于每个候选图像：若所属camera_id存在于 candidate_cids，则为当前候选图像的相似度得分增加e；若不属于，drift_num加1；
6)按照最新相似度得分排序，并判断drift_num是否超过阈值，若超过，则降低e，trust_base减1，返回第5步；否则，输出最新rank_list作为结果。
本实施例中，在获取车辆再识别结果之后，可以根据车辆再识别结果调整训练参数，根据训练测试结果增加或减少数据增强手段，多次调优后得到最终的预设车辆再识别网络模型。
实施例2
如图2所示，本实施例一种融合监控网络拓扑信息的车辆再识别装置100，所述融合监控网络拓扑信息的车辆再识别装置100包括：车辆检测与追踪模块110和车辆再识别计算模块120。
于本实施例中，所述车辆检测与追踪模块110用于获取初始图像数据集并对所述初始图像数据集进行处理。
用户从视频流的图像帧中提取车辆的包围盒，并将其裁剪下来，作为预设车辆再识别网络的输入图像。
具体地，所述车辆检测与追踪模块110利用COCO开源数据集训练YOLOv5网络，实现对监控视频流中的车辆进行检测，并得到车辆包围盒。
于本实施例中，如图3所示，所述融合监控网络拓扑信息的车辆再识别装置100主要利用YOLOv5作为目标检测工具，使用上述实现的预设车辆再识别网络，利用DeepSORT作为目标跟踪工具，实现了直接处理监控视频流的三阶段车辆再识别装置。
于本实施例中，所述车辆检测与追踪模块110使用开源数据集COCO训练YOLOv5网络或者直接下载开源YOLOv5权重，并去除所有其它类别只保存车辆作为分类结果，构建YOLOv5的车辆目标检测器。所述车辆检测与追踪模块110转换开源数据集VeRi的格式为DeepSORT支持的数据集格式，然后用其训练DeepSORT深度外观模型，也可以直接下载开源的基于行人数据集的预训练模型，但后者准确度会受到影响，构建DeepSORT车辆跟踪器。
其中，所述车辆检测与追踪模块110利用DeepSORT算法实现在视频流中对车辆身份的稳定追踪：对YOLOv5检测到的满足置信度阈值的车辆包围盒图像进行非极大值抑制筛选，输入至DeepSORT进行预测匹配，经过级联匹配和IOU匹配后，同时更新追踪器和特征集，记录车辆ID。即车辆检测与追踪模块110首先使用YOLOv5作为目标检测网络，得到车辆检测结果后，输入至DeepSort算法模块实现对车辆的追踪。
此外，所述车辆检测与追踪模块110的其他具体实现的技术特征与实施例1中的融合监控网络拓扑信息的车辆再识别方法中步骤S100基本相同，实施例间可以通用的技术内容不作重复赘述。
于本实施例中，所述车辆再识别计算模块120用于将处理后的所述初始图像数据集作为车辆再识别预设卷积神经网络的输入，获取车辆再识别模型，并将待识别的目标车辆图像输入所述车辆再识别模型，得到所述待识别的目标车辆图像的特征张量，并基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度，形成车辆再识别初步结果，对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果。
所述车辆再识别计算模块120将上一步得到的车辆包围盒作为待查询车辆图像，与之前已有的车辆图像一起输入预设车辆再识别网络，得到待查询车辆图像与已存在车辆图像的之前的再识别关系，根据结果为待查询车辆分配身份。
于本实施例中，所述车辆再识别计算模块120将YOLOv5检测到的车辆包围盒图像输入上述的预设车辆再识别网络，获得车辆再识别结果，即车辆身份信息，若满足相似度阈值，则更新身份信息至DeepSORT的追踪ID列表，否则新建车辆身份。
所述车辆再识别计算模块120的具体实现的技术特征与实施例1中的融合监控网络拓扑信息的车辆再识别方法中步骤S200至步骤S400基本相同，实施例间可以通用的技术内容不作重复赘述。
此外，所述融合监控网络拓扑信息的车辆再识别装置100存储识别、追踪及身份信息的结果，并将信息打印在视频输出流中。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，车辆检测与追踪模块110 可以为单独设立的处理元件，也可以集成在电子终端的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述终端的存储器中，由上述终端的某一个处理元件调用并执行以上追踪计算模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital singnal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
实施例3
如图4所示，本实施例还提供一种电子设备10，所述电子设备10包括处理器1101、存储器1102。
所述电子装置100可以例如固定终端，例如服务器、台式机等；也可以是移动终端，例如笔记型电脑、智能手机或平板电脑等，也可以是车载终端等。
存储器1102通过系统总线与处理器1101连接并完成相互间的通信，存储器1102用于存储计算机程序，处理器1101耦接于所述显示器1003及存储器1002，处理器1101用于运行计算机程序，以使所述电子设备10执行实施例1所述的融合监控网络拓扑信息的车辆再识别方法。实施例1已经对所述融合监控网络拓扑信息的车辆再识别方法进行了详细说明，在此不再赘述。
所述的融合监控网络拓扑信息的车辆再识别方法可应用于多种类型的电子设备10。在示例性实施例中，所述电子设备10可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器、摄像头或其他电子元件实现，用于执行上述融合监控网络拓扑信息的车辆再识别方法。
存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器1101可以是通用处理器，包括中央处理器(Central ProcessingUnit，简称 CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本发明可以直接对交通监控视频进行车辆再识别，有效提高车辆再识别的准确率。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种融合监控网络拓扑信息的车辆再识别方法，其特征在于：包括：
获取初始图像数据集并对所述初始图像数据集进行处理；
将处理后的所述初始图像数据集作为车辆再识别预设卷积神经网络的输入，获取车辆再识别模型；
将待识别的目标车辆图像输入所述车辆再识别模型，得到所述待识别的目标车辆图像的特征张量，并基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度，形成车辆再识别初步结果；
对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果。
2.根据权利要求1所述的融合监控网络拓扑信息的车辆再识别方法，其特征在于：所述初始图像数据集包括：训练集和测试集；所述测试集包括查询集和图库集。
3.根据权利要求1或2所述的融合监控网络拓扑信息的车辆再识别方法，其特征在于：所述对所述初始图像数据集进行处理包括：将初始图像数据进行水平翻转、随机擦除、增加随机补丁、颜色抖动中的任一种或多种组合。
4.根据权利要求1述的融合监控网络拓扑信息的车辆再识别方法，其特征在于：所述预设卷积神经网络的骨干网为基于IBN-Net的深度残差网络，并将基于IBN-Net的深度残差网络的平均池化层替换为自适应平均池化层，在最后的全连接层后添加一个批量归一化层用以减低特征维度，然后连接一个全连接层，输出最终的预测结果。
5.根据权利要求4述的融合监控网络拓扑信息的车辆再识别方法，其特征在于：所述预设卷积神经网络以三元组损失与交叉熵损失的混合损失函数计算损失；所述预设卷积神经网络使用随机梯度下降优化器计算梯度并迭代更新参数；采用预热学习率结合余弦退火调整学习率作为学习率调整策略；在深度残差网络的第三层和第四层中最后一半残差块的尾部分别增加非局部块用以捕获长距离依赖。
6.根据权利要求1所述的融合监控网络拓扑信息的车辆再识别方法，其特征在于：所述基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度的一种实现方式包括：
获取所述图库集中各图像的特征张量；
使用预设卷积神经网络获得待识别的模板车辆图像的待查询特征张量；
计算待识别的模板车辆图像的待查询特征张量与所述图库集中各图像的特征张量之间的欧几里得距离；
基于所述欧几里得距离确定所述相似度，其中，欧几里得距离越小，相似度越高。
7.根据权利要求1所述的融合监控网络拓扑信息的车辆再识别方法，其特征在于：所述对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果的一种实现方式包括：
以无向图的形式维护监控网络拓扑结构信息；
将相似度在预设值以上的待识别的模板车辆图像作为候选图像，并按从高到低的顺序保存；
划分前k个候选图像为排序列表；
基于自信策略确定所有候选图像的图像ID集合；
基于各候选图像的图像ID是否存在于预设候选图像ID集合中更新所述排序列表；
根据更新的所述排序列表获得最终的车辆再识别结果：相似度最高且满足相似度阈值的的图像ID作为最终识别结果。
8.一种融合监控网络拓扑信息的车辆再识别装置，其特征在于：包括：
车辆检测与追踪模块，用于获取初始图像数据集并对所述初始图像数据集进行处理；
车辆再识别计算模块，用于将处理后的所述初始图像数据集作为车辆再识别预设卷积神经网络的输入，获取车辆再识别模型，并将待识别的目标车辆图像输入所述车辆再识别模型，得到所述待识别的目标车辆图像的特征张量，并基于所述特征张量确定所述待识别的模板车辆图像与图库集中各图像的相似度，形成车辆再识别初步结果，对所述车辆再识别初步结果进行排序，获得最终的车辆再识别结果。
9.根据权利要求8所述的融合监控网络拓扑信息的车辆再识别装置，其特征在于：所述预设卷积神经网络的骨干网为基于IBN-Net的深度残差网络，并将基于IBN-Net的深度残差网络的平均池化层替换为自适应平均池化层，在最后的全连接层后添加一个批量归一化层用以减低特征维度，然后连接一个全连接层，输出最终的预测结果。
10.一种电子设备，其特征在于：包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行程序指令实现如权利要求1至权利要求7任一权利要求所述的融合监控网络拓扑信息的车辆再识别方法。
CN202011479725.5A 2020-12-15 2020-12-15 融合监控网络拓扑信息的车辆再识别方法、装置及设备 Pending CN114639077A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011479725.5A CN114639077A (zh) 2020-12-15 2020-12-15 融合监控网络拓扑信息的车辆再识别方法、装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011479725.5A CN114639077A (zh) 2020-12-15 2020-12-15 融合监控网络拓扑信息的车辆再识别方法、装置及设备

Publications (1)

Publication Number Publication Date
CN114639077A true CN114639077A (zh) 2022-06-17

Family

ID=81944634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011479725.5A Pending CN114639077A (zh) 2020-12-15 2020-12-15 融合监控网络拓扑信息的车辆再识别方法、装置及设备

Country Status (1)

Country Link
CN (1) CN114639077A (zh)

Similar Documents

Publication Publication Date Title
US10691952B2 (en) Adapting to appearance variations when tracking a target object in video sequence
CN109902732B (zh) 车辆自动分类方法及相关装置
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
CN108108657B (zh) 基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN109816024B (zh) 一种基于多尺度特征融合与dcnn的实时车标检测方法
CN108197326B (zh) 一种车辆检索方法及装置、电子设备、存储介质
CN108647665B (zh) 基于深度学习的航拍车辆实时检测方法
CN108304798B (zh) 基于深度学习及运动一致性的街面秩序事件视频检测方法
CN108960266B (zh) 图像目标检测方法及装置
US10332028B2 (en) Method for improving performance of a trained machine learning model
CN109753913B (zh) 计算高效的多模式视频语义分割方法
KR102190527B1 (ko) 자동 영상 합성 장치 및 방법
Nasaruddin et al. A lightweight moving vehicle classification system through attention-based method and deep learning
CN113159043A (zh) 基于语义信息的特征点匹配方法及系统
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN117011563A (zh) 基于半监督联邦学习的道路损害巡检跨域检测方法及系统
CN115424217A (zh) 基于ai视觉的车辆智能识别方法、装置和电子设备
CN111860219A (zh) 一种高速占道判断方法、装置及电子设备
CN113177528B (zh) 基于多任务学习策略训练网络模型的车牌识别方法及系统
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
CN111160282A (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN114639077A (zh) 融合监控网络拓扑信息的车辆再识别方法、装置及设备
CN112487927B (zh) 一种基于物体关联注意力的室内场景识别实现方法及系统
CN115240163A (zh) 一种基于一阶段检测网络的交通标志检测方法及系统
CN113255601A (zh) 一种车辆重识别模型的训练方法、系统及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination