CN110826449A - 基于轻量型卷积神经网络的非机动车再识别目标检索方法 - Google Patents

Abstract

本发明提供基于轻量型卷积神经网络的非机动车再识别目标检索方法，包括以下步骤：(1)：从同一监控场景下采集多个摄像头的视频数据，并根据摄像头的具体分布位置截取有可能出现同一个目标的相应视频段；(2)：对不同视频段中出现相同目标进行抽帧，并保存为图片，再对图片中的目标进行标框，最后对目标图片进行编号整理成数据集；等其他步骤；本发明根据现有监控场景下的非机动车的视频数据，设计出一个资源占用少，识别率高的非机动车目标检索模型，工作人员只需提供待检索目标的图片，通过网络就能够在数据库自动识别、排序出所有的相似目标，由工作人员判断检索相似目标是否为真实目标，以此大幅提升工作效率同时极大减少了成本花销。

Description

基于轻量型卷积神经网络的非机动车再识别目标检索方法

技术领域

本发明属于计算机视觉分析技术领域，具体涉及基于轻量型卷积神经网络的非机动车再识别目标检索方法。

背景技术

再识别技术其主要任务是为了在视角不交叠的摄像头中，将检测到相同的目标图片进行识别匹配出来。现如今随着视频监控技术的日益普及，每天都有海量的视频数据生成。面对如此庞大的数据量，如果只通过人工的方法进行识别，不仅将花费大量的人力和时间，并且识别的效果也不是很理想。如何通过高效、快速和低成本的方法来获取有价值的人员信息显的尤为重要。

在当前众多交通监控视频中，有许多非机动车辆，如自行车，电动车，电动三轮车等。由于非机动车的灵活性大，价格低等特点成为了很多不法分子的逃逸工具。由于人和人骑车在其特征表征上存在较大的差异，如果仅采用现有的行人再识别技术直接进行识别显然会造成识别率不高的问题。

此外，现有的基于常规卷积神经网络方法如专利[CN109740480A]进行非机动车检索方法为了提升识别率，采用了很深，参数量很大的网络，虽然识别的效果还不错，但其比较难在资源受限的硬件平台上如嵌入式设备、移动终端等进行部署。

针对上述所存在的问题，需要设计出基于轻量型卷积神经网络的非机动车再识别目标检索方法，通过该方法来满足当前监控场景的实际应用需求。

发明内容

有鉴于此，本发明提出一种基于轻量型卷积神经网络的非机动车再识别目标检索方法，根据现有监控场景下的非机动车的视频数据，设计出一个资源占用少，识别率高的非机动车目标检索模型，工作人员只需提供待检索目标的图片，通过网络就能够在数据库自动识别、排序出所有的相似目标，由工作人员判断检索相似目标是否为真实目标，以此大幅提升工作效率同时极大减少了成本花销。

为实现上述目的，本发明提供如下技术方案：

本发明基于轻量型卷积神经网络的非机动车再识别目标检索方法，其包括数据集制作模块，网络训练模块以及模型测试模块。其中数据集制作模块主要用于将采集的监控视频数据制作成为训练数据集，当然也包括数据增广技术，其目的是为了增加训练数据的多样性，提升网络的识别率和增强网络的泛化性能；网络训练模块主要包含网络结构设计，其目的用于网络的训练以及目标图片特征的提取；模型测试模块主要用于测试训练模型性能指标，以及其资源的利用率。

基于轻量型卷积神经网络的非机动车再识别目标检索方法，大致包括以下步骤：

步骤(1)：从同一监控场景下采集多个摄像头的视频数据，并根据摄像头的具体分布位置截取有可能出现同一个目标的相应视频段；

步骤(2)：对不同视频段中出现相同目标进行抽帧，并保存为图片，再对图片中的目标进行标框，最后对目标图片进行编号整理成数据集；

步骤(3)：轻量型网络结构的设计，网络分别结合了MoblieNet和Inception网络的特点，构造了14层轻量型的卷积网络结构，并通过Am-Softmax作为损失函数；

步骤(4)：根据步骤(2)中的目标集合数，将四分之三的目标作为训练集，剩余的四分之一的目标作为测试集，并通过仿射变换、随机旋转、添加随机噪声、随机裁剪和颜色增强等数据增广方式对数据进行训练；

步骤(5)：通过测试不同生成模型的mAP和Rank-k指标，来获取性能表现最优的模型作为最终应用模型。

步骤(6)：工作人员将需要检索的目标图片作为最终模型的输入来获取该目标的特征向量a，然后通过相同的方法获取全部数据库中m张图片的特征向量集合B∈[b1,bm]，将a与B集合的全部向量进行逐一匹配后，然后通过对其相似度降序排列，找到前几个相似度大图片，并通过人工核实是否准确，来确定最终检测出数据库中的目标。

所述Am-Softmax是一个新型的损失函数，用于计算真实值和预测值之间的误差，它的特点是使得目标特征具有更小的类内距离，增加类间距离，增大训练难度，最终得到更优的训练模型。

所述mAP(mean Average Precision)平均精度均值衡量的是模型在所有测试集类别上的好坏，在相同测试集下模型的mAP值越大，表示其分类的效果越好。

所述Rank-k表示搜索结果中最靠前(置信度最高)的n张图有正确结果的概率。通过统计排名从第一到第k样本的累计正确结果的准确率，在相同的测试集下如果模型的Rank-k排名越前准确率越大，表明该模型的检索精度越高。

与现有技术相比，本发明的有益效果为：

现有的依靠安保人员通过人工查找海量视频去搜索非机动车目标的方法，会耗费较大的时间、人力、物力和财力。相比之下，本发明采用计算机视觉图像分析技术，可以自动在视频中检索可疑目标人物，不仅保证较高的识别率；而且通过使用轻量型的网络结构，能够使得检索的速度更快，成本更低；并大大地降低了人力成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中提供的一种基于轻量型卷积神经网络的非机动车再识别目标检索方法的整体流程图；

图2为本发明实施例中提供的轻量型网络中的block模块结构示意图。

图3为本发明实施例中提供的整体轻量型网络结构示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例中提供的一种基于轻量型卷积神经网络的非机动车再识别目标检索方法；如图1所示，其主要包括如下步骤：

步骤(1)：采集不同场景下的交通监控视频数据，在同一场景下包含多个监控摄像头，并且各个摄像头之间互不交叠。

步骤(2)：查找相同场景下各个摄像头的同一非机动车目标，并对其进行截取视频段。

(2.1)、对视频段进行抽帧成图片，由于各个路口，摄像头位置以及各非机动车通过速度不一样，因此需要对不同摄像头进行不等间隔采样，保证生成更多有效的图片。

(2.2)、对生成的图片进行标注，将图片中的人骑车实例通过以画紧致外接矩形框的形式进行标框，框以坐标的形式存在相应文本文件中。

(2.3)、将所有标好框的图片进行抠图，并将同一个人骑车的不同监控图片放在同一个路径文件夹目录下，并对其进行标号，整理成数据集，并将其以3：1的比例划分为训练集和测试集。例如，第一个人骑车的文件夹可以命名为0000。

步骤(3)：结合MoblieNet中使用深度可分离卷积减少网络参数和Inception中通过多尺度卷积核提取更多特征的特点，构造出轻量级神经网络结构如图2和图3所示。

(3.1)、如图2所示，是网络结构中的block模块。首先对于输入的特征图通过2×2的max pooling(最大池化层)进行降维，然后分别经过3个模块进行特征提取，第一个模块分为三个通道，其中第一个通道首先3×3的常规卷积，该卷积核用于特征图升维和特征抽象，然后BN层(Batch Normalization)对每个批次的数据进行归一化处理，最后再接一个3×3的深度可分离卷积和BN层对特征进行进一步提取。在第二个通道中，首先通过1×1的常规卷积进行升维，然后接一个3×3的深度可分离卷积和BN层。第三个通道直接接一个1×1的常规卷积进行升维，最后通过Eltwise(卷积层相加合并)将三个通道的特征进行合并。第二个模块也分为三个通道，其中第一个通道是分别接了两个3×3的深度可分离卷积和BN层，第二个通道是接一个3×3的深度可分离卷积和BN层，第三个通道通过残差进行连接，最后通过Eltwise进行合并。第三个模块和第二个模块一样，其目的是为了提取更深特征信息。

(3.2)、如图3所示，是整体的网络结构，假设输入图像的大小是160×80×3，首先图像通过两个3×3常规卷积核和BN层进行升维操作得到160×80×32的特征图，再先后经过四个block模块输出10×5×512的特征图，然后通过Global Pooling(全局池化层)进行降维得到1×1×512的特征图输入到FC(Fully Connected)全连接层中将特征图转成512×1的一维特征向量，最后输入到AM-Softmax进行分类。

步骤(4)：对步骤(2)所制作的数据集通过步骤(3)设计的轻量型网络进行训练，并通过mAP和Rank-k两个再识别性能指标对其所生成的模型进行测试，从中选出性能最好的模型作为最终系统部署模型。具体性能计算方法如下：

假设有n个测试ID，每个ID有m张图片，查询数据库有s张图片。

(4.1)、mAP的计算方法：首先从第i个ID中随机选出一张图片作为检索目标，其它m-1张图片放到数据库中根据特征计算第j张图片的排名序号d_ij，通过对应的排名序号计算其Precision_ij(置信度)，然后计算每个ID的AP，最后再计算该模型的mAP值。其具体计算公式如下：

(4.2)、Rank-k的计算方法：与步骤(4.1)相同的方法，首先计算第i个ID的第j张图片的排名序号，统计在排序结果前k个中有t_ik个准确目标，通常情况下k值为1，5，10，然后统计所有ID的在前k个中准确目标个数，最后计算对应的Rank-k。其具体计算公式如下：

步骤(5)：工作人员获取到需要检索的目标后通过上述最有的模型进行前向推理得到该目标的特征向量a(前向推理只需要提取FC层的输出)。

步骤(6)：通过上述相同的方法计算数据库中所有待匹配目标的特征向量集合B_j。

步骤(7)：对步骤(5)和步骤(6)的特征进行逐一匹配，并根据相似度大小进行降序排列，对于排序靠前的图片，工作人员再进行人工判断其与检索目标是否是同一个人。相似度计算公式如下：

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想，以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。

Claims (4)

1.基于轻量型卷积神经网络的非机动车再识别目标检索方法，其特征在于，包括以下步骤：

步骤(1)：从同一监控场景下采集多个摄像头的视频数据，并根据摄像头的具体分布位置截取有可能出现同一个目标的相应视频段；

步骤(2)：对不同视频段中出现相同目标进行抽帧，并保存为图片，再对图片中的目标进行标框，最后对目标图片进行编号整理成数据集；

步骤(3)：轻量型网络结构的设计，网络分别结合了MoblieNet和Inception网络的特点，构造了14层轻量型的卷积网络结构，并通过Am-Softmax作为损失函数；

步骤(4)：根据步骤(2)中的目标集合数，将四分之三的目标作为训练集，剩余的四分之一的目标作为测试集，并通过仿射变换、随机旋转、添加随机噪声、随机裁剪和颜色增强等数据增广方式对数据进行训练；

步骤(5)：通过测试不同生成模型的mAP和Rank-k指标，来获取性能表现最优的模型作为最终应用模型；

步骤(6)：工作人员将需要检索的目标图片作为最终模型的输入来获取该目标的特征向量a，然后通过相同的方法获取全部数据库中m张图片的特征向量集合B∈[b1，bm]，将a与B集合的全部向量进行逐一匹配后，然后通过对其相似度降序排列，找到前几个相似度大的图片，并通过人工核实是否准确，来确定最终检测出数据库中的目标。

2.根据权利要求1中所述的基于轻量型卷积神经网络的非机动车再识别目标检索方法，其特征在于，步骤(2)中的具体方法如下：

(2.1)、对视频段进行抽帧成图片，由于各个路口，摄像头位置以及各非机动车通过速度不一样，因此需要对不同摄像头进行不等间隔采样，保证生成更多有效的图片；

(2.2)、对生成的图片进行标注，将图片中的人骑车实例通过以画紧致外接矩形框的形式进行标框，框以坐标的形式存在相应文本文件中；

(2.3)、将所有标好框的图片进行抠图，并将同一个人骑车的不同监控图片放在同一个路径文件夹目录下，并对其进行标号，整理成数据集，并将其以3：1的比例划分为训练集和测试集。

3.根据权利要求1中所述的基于轻量型卷积神经网络的非机动车再识别目标检索方法，其特征在于，步骤(3)中的具体方法如下：

(3.1)、构建网络结构中的block模块；首先对于输入的特征图通过2×2的最大池化层进行降维，然后分别经过3个模块进行特征提取，第一个模块分为三个通道，其中第一个通道首先3×3的常规卷积，该卷积核用于特征图升维和特征抽象，然后BN层对每个批次的数据进行归一化处理，最后再接一个3×3的深度可分离卷积和BN层对特征进行进一步提取；在第二个通道中，首先通过1×1的常规卷积进行升维，然后接一个3×3的深度可分离卷积和BN层；第三个通道直接接一个1×1的常规卷积进行升维，最后通过Eltwise将三个通道的特征进行合并；第二个模块也分为三个通道，其中第一个通道是分别接了两个3×3的深度可分离卷积和BN层，第二个通道是接一个3×3的深度可分离卷积和BN层，第三个通道通过残差进行连接，最后通过Eltwise进行合并；第三个模块和第二个模块一样，其目的是为了提取更深特征信息；

(3.2)、构建整体的网络结构，假设输入图像的大小是160×80×3，首先图像通过两个3×3常规卷积核和BN层进行升维操作得到160×80×32的特征图，再先后经过四个block模块输出10×5×512的特征图，然后通过全局池化层进行降维得到1×1×512的特征图输入到FC全连接层中将特征图转成512×1的一维特征向量，最后输入到AM-Softmax进行分类。

4.根据权利要求1中所述的基于轻量型卷积神经网络的非机动车再识别目标检索方法，其特征在于，步骤(5)中的具体方法如下：

假设有n个测试ID，每个ID有m张图片，查询数据库有s张图片；

(5.1)、mAP的计算方法：首先从第i个ID中随机选出一张图片作为检索目标，其它m-1张图片放到数据库中根据特征计算第j张图片的排名序号d_ij，通过对应的排名序号计算其置信度Precision_ij，然后计算每个ID的AP，最后再计算该模型的mAP值；其具体计算公式如下：

(5.2)、Rank-k的计算方法：与步骤(5.1)相同的方法，首先计算第i个ID的第j张图片的排名序号，统计在排序结果前k个中有t_ik个准确目标，通常情况下k值为1，5，10，然后统计所有ID的在前k个中准确目标个数，最后计算对应的Rank-k；其具体计算公式如下：

Images