CN109344695A - 一种基于特征选择卷积神经网络的目标重识别方法和装置 - Google Patents
一种基于特征选择卷积神经网络的目标重识别方法和装置 Download PDFInfo
- Publication number
- CN109344695A CN109344695A CN201810921261.5A CN201810921261A CN109344695A CN 109344695 A CN109344695 A CN 109344695A CN 201810921261 A CN201810921261 A CN 201810921261A CN 109344695 A CN109344695 A CN 109344695A
- Authority
- CN
- China
- Prior art keywords
- characteristic pattern
- neural networks
- convolutional neural
- feature
- feature selecting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 98
- 238000000034 method Methods 0.000 title claims abstract description 62
- 238000012216 screening Methods 0.000 claims abstract description 10
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000012549 training Methods 0.000 claims description 24
- 230000008569 process Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000000644 propagated effect Effects 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 description 10
- 239000000523 sample Substances 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000011835 investigation Methods 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
- G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于特征选择卷积神经网络的目标重识别方法和装置，所述方法包括将待重识别的原始图像输入到设有特征图选择层的特征选择卷积神经网络中对目标进行重识别等步骤，所述特征图选择层分别设置在相邻的两个卷积层之间，所述特征图选择层用于接收上一层卷积层输出的特征图组，并对所接收的特征图组所包含的特征图进行筛选，并将经过筛选后的特征图组作为下一层卷积层的输入值。通过对特征图的筛选删除，对输出的特征图进行选择再将选择结果送入下一层卷积，可以减弱与重识别无关的、不具区分度的特征图在特征选择卷积神经网络中的传播，从而减少了无关信息的干扰，提高了网络提取鲁棒特征的能力。本发明广泛应用于图像识别技术领域。
Description
技术领域
本发明涉及图像识别技术领域，尤其是一种基于特征选择卷积神经网络的目标重识别方法和装置。
背景技术
术语解释：
车辆重识别问题：给定查询的车辆图片(Query Images)，从众多的截取自不同摄像机的候选车辆图片(Gallery Images)中，找出所有与查询图像属于同一车辆的图片，即是在多摄像头监控下的同一车辆匹配问题；
CMC：即CumulativeMatchCharacteristic，行人和车辆重识别性能评价方法。CMC将再识别问题看成是一种排序问题，CMC曲线的具体含义是指在候选行人/车辆库(Gallery)中检索待查询(Probe)的行人/车辆，前r个检索结果中包含正确匹配结果的比率；
mAP：即m个类别平均识别准确率的英文缩写。对于某个类别C，可能在多张图片上有该类别，则平均准确率AP(AveragePrecision)即每张图片上的Precision求和/含有类别C的图片数目。mAP定义为：上一步计算的所有类别的AP和/总的类别数目。
目标重识别的一个最典型的应用是在侦查等技术领域中针对车辆进行的重识别。出于侦查过程中对涉事车辆进行定位和追踪的需要，相关部门通过治安监控卡口和电子警察等卡口类视频监控设备获取高清车辆图像，然后利用目标重识别技术，以车辆作为目标，从所获取的车辆图像中得到车辆各种细节，从多张图像中匹配出目标车辆，进而完成分析车辆在路网中的行驶轨迹、挖掘车辆的出行规律等侦查工作。可见，目标重识别技术直接关系到侦查等工作是否能够顺利进行。
车辆的最显著特征是车牌号码，根据车牌号码可以唯一地确定一辆车辆。但是在实际识别过程中，经常会因涂改、伪造、拍摄不清晰甚至车辆根本无牌等因素的影响，导致无法通过车牌号码来识别车辆，在这种情况下，只能通过车辆的外观来识别车辆。
传统的目标重识别方案可以归类为度量学习和特征学习两类思路。其中，基于度量学习的方法是利用样本训练一个度量方法，通过学习一个合适的距离度量，在这个距离度量下能够使同类样本数据的相似度增大，非同类样本的相似度减小，即通过度量学习找到一个合理的特征空间映射，使得在新的空间中样本之间的特征分布更为合理，例如，Dikmen M等人所著的Pedestrian recognition with a learned metric(发表于LectureNotes in Computer Science)公开了一种基于马氏距离学习的方法，Joachims T等人所著的Optimizing search engines using clickthrough data(发表于ACM)公开了一种基于排序支持向量机(RankSVM)的方法，上述两篇论文所公开的方法就是基于度量学习的方法，这类方法通常需要人工设计特征，识别效果在一定程度上依赖于特征的提取，泛化能力较差。
基于特征学习的方法是将多种特征方法进行结合以获取更好的重识别效果，例如Yu G等人所著的An algorithm for fully affine invariant comparison(发表于ImageProcessing On Line)公开了一种利用目标的颜色特征、尺度不变特征等多种特征来进行重识别的方法。由于重识别问题对提取特征的鲁棒性要求很高，特别是在没有车牌信息且车辆特征差异不明显的情况下，传统的特征学习方法难以取得很好的识别效果。
针对度量学习和特征学习方法存在的缺陷，现有的较新的机技术方案是使用经过训练的神经网络对目标图像进行特征提取，从而进行对目标的重识别。例如Liu H等人所著的Deep relative distance learning:tell the difference between similarvehicles公开了一种利用三元组损失(Triplet Loss)作损失函数的神经网络方法，这种方法通过训练正负样本与中心样本的距离，达到类间方差最大化和类内方差最小化的目的；公开号为CN106709528A的专利文件基于多目标函数深度学习的车辆重识别方法及装置提供了一种基于多目标函数深度学习的车辆重识别方法，该方法通过Softmax函数对预置的深度学习网络框架进行训练，得到优化后的深度学习网络框架，再通过三元组损失函数对优化后的网络进行训练，得到目标深度学习网网络框架，根据此网络框架对车辆图像进行重识别。
但受到汽车同质化的影响，不同品牌和型号的车辆的外形和颜色等外观因素差异越来越不明显，也就是说，各种车辆外观之间的相同特征越来越多，而差异特征越来越少。在这种情况下，无论是传统的基于度量学习和特征学习的方法，还是现有的基于神经网络的识别方法，都不能很好地进行车辆的重识别。
发明内容
为了解决上述无法有效地识别相似目标的技术问题，本发明的目在于提供一种基于特征选择卷积神经网络的目标重识别方法和装置。
本发明所采取的第一技术方案是：
一种基于特征选择卷积神经网络的目标重识别方法，包括以下步骤：
S1.将待重识别的原始图像输入到特征选择卷积神经网络中；
S2.特征选择卷积神经网络对原始图像进行处理，从而提取并输出原始图像的特征向量；
S3.根据原始图像的特征向量，对目标进行重识别；
所述特征选择卷积神经网络包括多个卷积层，所述每个卷积层分别用于对各自的输入值进行处理，从而输出与输入值相应的特征图组，所述特征图组包括多个特征图；
所述特征选择卷积神经网络还包括至少一个特征图选择层，所述特征图选择层分别设置在相邻的两个卷积层之间，所述特征图选择层用于接收上一层卷积层输出的特征图组，并对所接收的特征图组所包含的特征图进行筛选，并将经过筛选后的特征图组作为下一层卷积层的输入值。
进一步地，所述步骤S3具体包括：
S31.计算原始图像的特征向量与预先取得的候选图像的特征向量之间的欧氏距离；
S32.将达到预设标准的欧氏距离所对应的候选图像作为原始图像的重识别结果。
进一步地，所述特征选择卷积神经网络对输入的多个原始图像进行批量处理，从而使特征图选择层接收到与各原始图像分别对应的多个特征图组，所述特征图选择层通过以下步骤来对所接收到的各特征图组进行筛选：
计算各特征图组的对应特征图之间的相似度；
将超过预设标准的相似度对应的特征图从各自的特征图组中删除。
进一步地，所述相似度为根据各特征图计算得到的协方差。
进一步地，所述特征图选择层通过以下步骤来对所接收到的各特征图组进行筛选：
将各特征图组中的对应特征图分别组合成待比较向量；
分别计算各待比较向量对应的协方差矩阵；
计算各协方差矩阵的迹；
将迹小于预设阈值的协方差矩阵所对应的待比较向量筛选出来，然后将被筛选出的待比较向量中的特征图从相应特征图组中删除。
进一步地，在执行步骤S1之前，还包括对特征选择卷积神经网络进行训练的步骤。
进一步地，所述对特征选择卷积神经网络进行训练的步骤，具体包括：
使用训练图像对特征选择卷积神经网络进行训练；
在训练过程中，记录特征选择卷积神经网络所进行的迭代总次数，并记录各特征图被特征图选择层筛选掉的次数。
进一步地，在执行对特征选择卷积神经网络进行训练的步骤之后、执行步骤S1之前，还包括对特征选择卷积神经网络进行测试的步骤。
进一步地，所述对特征选择卷积神经网络进行测试的步骤，具体包括：
根据训练过程中记录到的特征选择卷积神经网络所进行的迭代总次数和各特征图被特征图选择层筛选掉的次数，计算各特征图对应的比例值；
以各比例值作为对应特征图在特征选择卷积神经网络中前向传播的权重系数，对特征选择卷积神经网络进行测试。
本发明所采取的第二技术方案是：
一种基于特征选择卷积神经网络的目标重识别装置，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行第一技术方案所述方法。
本发明的有益效果是：通过对特征图的筛选删除，对输出的特征图进行选择再将选择结果送入下一层卷积，这样可以减弱与重识别无关的、不具区分度的特征图在特征选择卷积神经网络中的传播，从而减少了无关信息的干扰，提高了网络提取鲁棒特征的能力。
附图说明
图1为本发明实施例1方法的流程图；
图2为本发明实施例3系统的结构框图；
图3为本发明实施例3系统特征选择卷积神经网络的结构原理图；
图4为本发明实施例4装置的结构框图。
具体实施方式
实施例1
本实施例一种基于特征选择卷积神经网络的目标重识别方法，参照图1，包括以下步骤：
S1.将待重识别的原始图像输入到特征选择卷积神经网络中；
S2.特征选择卷积神经网络对原始图像进行处理，从而提取并输出原始图像的特征向量；
S3.根据原始图像的特征向量，对目标进行重识别；
所述特征选择卷积神经网络包括多个卷积层，所述每个卷积层分别用于对各自的输入值进行处理，从而输出与输入值相应的特征图组，所述特征图组包括多个特征图；
所述特征选择卷积神经网络还包括至少一个特征图选择层，所述特征图选择层分别设置在相邻的两个卷积层之间，所述特征图选择层用于接收上一层卷积层输出的特征图组，并对所接收的特征图组所包含的特征图进行筛选，并将经过筛选后的特征图组作为下一层卷积层的输入值。
在目标重识别技术问题中，通常将有关的图片分为查询图像和候选图像两种类型，通常有多张候选图像组成候选图像集。目标重识别技术的任务便是识别查询图像中所包含的目标与候选图像集中的哪一张或哪几张相匹配。因此本实施例中输入到特征选择卷积神经网络中的待重识别的原始图像，指的是查询图像以及候选图像。
在实际应用中，查询图像通常是监控摄像头等即时取得的图像，而候选图像集通常是事先已经取得的图像。判断查询图像和候选图像是否匹配的步骤，也就是步骤S3具体包括：
S31.计算原始图像的特征向量与预先取得的候选图像的特征向量之间的欧氏距离；
S32.将达到预设标准的欧氏距离所对应的候选图像作为原始图像的重识别结果。
通过特征选择卷积神经网络的处理，可以得到原始图像的特征向量featurequery和候选图像的特征向量featuregallery，通过它们之间的欧氏距离dist＝||featurequery-featuregallery||便可以判断原始图像和候选图像的匹配程度，一般地可以预设一个阈值作为标准，比较欧氏距离dist与阈值之间的大小即可得到重识别结果。
在本实施例中所用的特征选择卷积神经网络可以在现有卷积神经网络为基础经过改进后得到，所述改进是指在现有卷积神经网络的基础上设置至少一个特征图选择层。现有的卷积神经网络技术中，一种最典型的卷积神经网络为VGG16，它包括按一定顺序连接的卷积层、最大池化层等。将原始图像输入到VGG16中，依次经过每一层的卷积和池化等处理之后，便输出这个原始图像对应的特征向量，这个特征向量可以作为目标重识别的依据。
为了方便理解如何在VGG16网络中设置特征图选择层，首先说明VGG16网络的工作原理。VGG16的卷积层接收到输入到这个卷积层的输入值之后，对输入值进行卷积操作，在卷积过程中，通过一个卷积核所完成的卷积运算可以得到一个特征图，这个特征图实际上是输入值的一个特征组成成分。而VGG16的一个卷积层包含有多个具有不同参数的卷积核，因此输入值分别经过多个卷积核的卷积运算后，就得到了多个相应的特征图，即多个特征组成成分。用数学公式可表示为：
y＝w1x1+w2x2+...+wnxn，式中y为与输入样本对应的总体输入特征，即样本输入到神经网络后所得到的某一层卷积层的所有单通道特征图的相加，wjxj为输入值的各组成部分即特征图，n为特征图的个数。本实施例中，将多个特征图w1x1、w2x2……wnxn及其结合称为特征图组。
以对车辆的重识别为例，不同品牌和型号的车辆的外形和颜色等外观因素差异越来越不明显，这在数学上，就是两个分别来自不同车辆原始图像的输入特征y(k)和y(l)，它们可以分别表示为y(k)＝w1x1 (k)+w2x2 (k)+...+wnxn (k)和y(l)＝w1x1 (l)+w2x2 (l)+...+wnxn (l)，显然它们的差异可以看作是各自的特征图带来的，而移除它们的第j个特征图后，两个输入值之间的差异变化不明显，即也就是这表明，它们的j个特征图是具有高相似度的特征，若这两个输入值所对应的原始图像不同，则这部分的特征对区分两个原始图像会起到干扰作用，也就是说，如果两个原始图像实际上分别对应着不同的车辆，由于它们具有相似的特征，便会被误认为属于同一辆车辆，这也是现有的基于神经网络的重识别技术方案的缺陷。如果把这样的特征图删除掉，显然，特征图组中剩下的特征图更具区分性，将未被删除掉的特征图继续在特征选择卷积神经网络中进行传播，能够提高特征选择卷积神经网络的重识别能力。因此，寻找这样的特征图并减弱或丢弃，可以排除其对原始图像的识别干扰。
本实施例中，针对删除不具区分性的特征图的问题，在VGG16网络的卷积层之间设置特征图选择层，其中最优的技术方案是，在VGG16网络的每两个相邻卷积层之间都设置特征图选择层。特征图选择层的作用是将上一层卷积层所输出的特征图组中与重识别无关的、不具区分度的特征图删除或减弱，使它们不再在特征选择卷积神经网络中传播。VGG16网络经过设置特征图选择层的改进后，便成为本实施例中的特征选择卷积神经网络。当然，在本实施例启示下，本领域技术人员也可以在其他类型的卷积神经网络的基础上加入特征图选择层从而得到特征选择卷积神经网络。
VGG16的卷积层之间还设有池化层等以对卷积层所输出的特征图组进行池化处理，而本实施例所设置的特征图选择层并不会影响池化层的池化效果，因此依靠现有知识便可以设置好卷积层、池化层和特征图选择层之间的连接关系。本实施例所选择的一个较优的技术方案是，在VGG16网络的第3、第4和第5池化层之后分别设置特征图选择层，分别对第3、第4和第5池化层池化后的结果进行处理，然后将经过筛选的特征图组作为下一层卷积层的输入值。
由于每一特征图选择层与其相应的上下层卷积层的工作协调关系都是相似的，因此本实施例中“特征图选择层”既可以指多个特征图选择层组成的群体，也可以指某个单一的特征图选择层个体，这并不会影响对本发明的理解。
进一步作为优选的实施方式，所述特征选择卷积神经网络对输入的多个原始图像进行批量处理，从而使特征图选择层接收到与各原始图像分别对应的多个特征图组，所述特征图选择层通过以下步骤来对所接收到的各特征图组进行筛选：
计算各特征图组的对应特征图之间的相似度；
将超过预设标准的相似度对应的特征图从各自的特征图组中删除。
在重识别技术领域，通常会把多个原始图像进行批量处理，这些原始图像包括查询图像和候选图像等。每个原始图像输入到特征选择卷积神经网络后，会在特征选择卷积神经网络的各层传播，最后特征选择卷积神经网络输出这个原始图像的特征向量，而在传播过程中，每个原始图像都会使各卷积层产生相应的特征图组，因此各特征图选择层都会接收到相应的多个特征图组，这就为特征图选择层对特征图组中的特征图进行筛选提供了对比基础。
上文中已论述，两个输入样本的总体特征y(k)＝w1x1 (k)+w2x2 (k)+...+wnxn (k)和y(l)＝w1x1 (l)+w2x2 (l)+...+wnxn (l)中存在的近似的特征图它们的存在会影响特征选择卷积神经网络的重识别，因此应将满足条件的wjxj (k)和wjxj (l)从各自对应的特征图组y(k)＝w1x1 (k)+w2x2 (k)+...+wnxn (k)和y(l)＝w1x1 (l)+w2x2 (l)+...+wnxn (l)中删掉。但是对应的判断条件是模糊的。本实施例提供了一种判断wjxj (k)和wjxj (l)是否近似的标准，即以根据各特征图计算得到的协方差来作为相应特征图之间相似度。
在以协方差作为相似度的情况下，所述特征图选择层通过以下步骤来对所接收到的各特征图组进行筛选：
将各特征图组中的对应特征图分别组合成待比较向量；
分别计算各待比较向量对应的协方差矩阵；
计算各协方差矩阵的迹；
将迹小于预设阈值的协方差矩阵所对应的待比较向量筛选出来，然后将被筛选出的待比较向量中的特征图从相应特征图组中删除。
首先，特征图选择层将接收到的m个特征图组y(1)＝w1x1 (1)+w2x2 (1)+...+wnxn (1)、y(2)＝w1x1 (2)+w2x2 (2)+...+wnxn (2)、......y(m)＝w1x1 (m)+w2x2 (m)+...+wnxn (m)进行整理，从各特征图组中各抽取一个特征图出来组成待比较向量，由于每个特征图组包含n个特征图，因此可以得到n个待比较向量X1、X2、……Xn：
通过下式，分别求各待比较向量X1、X2、……Xn的协方差矩阵Σj,j＝1,2,...n：
根据各协方差矩阵Σj,j＝1,2,...n，分别求它们的迹tr(Σ1),tr(Σ2),...,tr(Σj),...,tr(Σn)。协方差矩阵的迹反映了协方差矩阵内各元素的相似程度，迹越小则相似程度越高。因此可以设定一个阈值ε，将协方差迹数小于阈值ε的对应特征图丢弃，否则，将其保留，即：
其中表示第i个特征图组的第j个特征图的数值。
假设有tr(Σ2)<ε，那么便是待比较向量X2中包含的特征图应当从各自的特征图组中去掉，因此各特征图组变为y(1)＝w1x1 (1)+w3x3 (1)+...+wnxn (1)、y(2)＝w1x1 (2)+w3x3 (2)+...+wnxn (2)、……y(m)＝w1x1 (m)+w3x3 (m)+...+wnxn (m)。去除了相似特征图的特征图组继续在特征选择卷积神经网络中传播，作为下一层卷积层的输入值。
实施例2
本实施例是针对实施例1所述的特征选择卷积神经网络的训练和测试的方法。
进一步作为优选的实施方式，在执行步骤S1之前，还包括对特征选择卷积神经网络进行训练的步骤，所述对特征选择卷积神经网络进行训练的步骤具体包括：
使用训练图像对特征选择卷积神经网络进行训练；
在训练过程中，记录特征选择卷积神经网络所进行的迭代总次数，并记录各特征图被特征图选择层筛选掉的次数。
进一步作为优选的实施方式，在执行对特征选择卷积神经网络进行训练的步骤之后、执行步骤S1之前，还包括对特征选择卷积神经网络进行测试的步骤，所述对特征选择卷积神经网络进行测试的步骤，具体包括：
根据训练过程中记录到的特征选择卷积神经网络所进行的迭代总次数和各特征图被特征图选择层筛选掉的次数，计算各特征图对应的比例值；
以各比例值作为对应特征图在特征选择卷积神经网络中前向传播的权重系数，对特征选择卷积神经网络进行测试。
由于本发明特征选择卷积神经网络中设置了特征图选择层，因此本实施例中也针对特征图选择层对现有的特征选择卷积神经网络训练和测试方法进行了改进。
在对特征选择卷积神经网络训练和测试时，由于特征选择卷积神经网络所进行的每一轮迭代中，各特征图选择层都会进行特征图的筛选。而在训练和测试中对于不同的批量原始图像输入，所得到的特征图相应的协方差均不同，因此一轮迭代所删除的特征图都是不同的。在训练过程中，记录特征选择卷积神经网络所进行的迭代总次数ctotal，并记录各特征图被特征图选择层筛选掉的次数cj。根据ctotal和cj，通过以下公式计算相应特征图对应的比例值αj：
式中pj的意义是第j个特征图在训练过程中被特征图选择层删除的概率，相应地αj的意义是第j个特征图在训练过程中不被删除的概率。如果特征图featureMapj在多轮训练过程中被多次删除，那么相应地αj越小，反之αj越大。以αj作为对应的第j个特征图在特征选择卷积神经网络中前向传播的权重系数，应用到测试过程中，也就是使featureMapj特征图featureMapj在前向传播的过程会乘以这个系数αj：
featureM apNj＝αj·featureM apj，
这样，能够使得测试过程中第j个特征图有更大或者更小的概率权重传播其信息，从而提高测试效果。
实施例3
本实施例提供了一个基于特征选择卷积神经网络的目标重识别系统，参照图2，本实施例系统包括车辆图像获取模块、特征提取模块和查询匹配模块。其中车辆图像获取模块可以是监控摄像头，特征提取模块是包含特征图选择层的特征选择卷积神经网络，查询匹配模块用于对特征选择卷积神经网络输出的特征向量进行匹配并输出匹配结果。
本实施例中包含特征图选择层的特征选择卷积神经网络的结构和原理参照图3和表1，图3所示的特征选择卷积神经网络结构中，虚线圈所指部分为特征图选择层，箭头所指的部分为特征图选择层的原理，即将特征图组中交叉符号所标记的特征图删除掉，然后将剩余的特征图所组成的特征图组作为下一层卷积层的输入值。
图3所示的特征选择卷积神经网络的各层结构，除了特征图选择层、全连接层和softmax层之外，其从左到右所示的各层分别与表1从上到下所列的各层一一对应。
表1
本实施例中的特征选择卷积神经网络可以将三层特征图选择层加入到VGG16网络得到。为了与特征图选择层匹配，可以将全连接层的神经元数目设为1024，避免了原VGG16网络的全连接层中高达4096的神经元数目所带来的特征异常稀疏、降低后续特征匹配效率的缺点。
实施例4
本实施例一种基于特征选择卷积神经网络的目标重识别装置，参照图4，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行实施例1或2所述方法，也可以加载实现实施例3所述系统。
本实施例的目标重识别装置，可执行本发明方法实施例1所提供的目标重识别方法，可执行方法实施例的任意组合实施步骤，具备该方法相应的功能和有益效果。
本发明主要应用在针对车辆的重识别，也可以应用于其他对目标的重识别。
本发明所取得的技术效果是：
1)对卡口图像应用效果好；
2)应用在对车辆的重识别时，不依赖车牌信息，能够对车辆外观差异较小的车辆图像实现快速的车辆重识别，对于车辆类型鲁棒性好，即使待查询的车辆类型没有包含在训练集中，也能达到较高的召回率；
3)通过对特征图的筛选删除，对输出的特征图进行选择再将选择结果送入下一层卷积，这样可以减弱与重识别无关的、不具区分度的特征图在特征选择卷积神经网络中的传播，从而减少了无关信息的干扰，提高了网络提取鲁棒特征的能力；
4)选择网络在VGG16的后三层的池化层作了特征图选择，整个模型更新的参数量减少，同时也减少了无关特征的干扰，所以训练收敛的速度可以加快且能收敛到一个更小的损失值，比原始的VGG16收敛速度更快；
5)网络泛化能力强，实现端到端的处理，训练简单应用方便。只要训练集的车辆类型选择适当，可以对各类车型实现较高准确率的车辆重识别，对完全不同于训练集的车辆类型也能达到较好的重识别效果，即CMC和mAP均较高；
6)特征图选择技术可以推广到类似的应用场景，如区分相似目标时，设置了特征图选择层的特征选择卷积神经网络可以聚焦在具有高度不同相似度的特征，减少其他相似特征的干扰。
以上是对本发明的较佳实施进行了具体说明，但对本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，包括以下步骤：
S1.将待重识别的原始图像输入到特征选择卷积神经网络中；
S2.特征选择卷积神经网络对原始图像进行处理，从而提取并输出原始图像的特征向量；
S3.根据原始图像的特征向量，对目标进行重识别；
所述特征选择卷积神经网络包括多个卷积层，所述每个卷积层分别用于对各自的输入值进行处理，从而输出与输入值相应的特征图组，所述特征图组包括多个特征图；
所述特征选择卷积神经网络还包括至少一个特征图选择层，所述特征图选择层分别设置在相邻的两个卷积层之间，所述特征图选择层用于接收上一层卷积层输出的特征图组，并对所接收的特征图组所包含的特征图进行筛选，并将经过筛选后的特征图组作为下一层卷积层的输入值。
2.根据权利要求1所述的一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，所述步骤S3具体包括：
S31.计算原始图像的特征向量与预先取得的候选图像的特征向量之间的欧氏距离；
S32.将达到预设标准的欧氏距离所对应的候选图像作为原始图像的重识别结果。
3.根据权利要求1或2所述的一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，所述特征选择卷积神经网络对输入的多个原始图像进行批量处理，从而使特征图选择层接收到与各原始图像分别对应的多个特征图组，所述特征图选择层通过以下步骤来对所接收到的各特征图组进行筛选：
计算各特征图组的对应特征图之间的相似度；
将超过预设标准的相似度对应的特征图从各自的特征图组中删除。
4.根据权利要求3所述的一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，所述相似度为根据各特征图计算得到的协方差。
5.根据权利要求4所述的一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，所述特征图选择层通过以下步骤来对所接收到的各特征图组进行筛选：
将各特征图组中的对应特征图分别组合成待比较向量；
分别计算各待比较向量对应的协方差矩阵；
计算各协方差矩阵的迹；
将迹小于预设阈值的协方差矩阵所对应的待比较向量筛选出来，然后将被筛选出的待比较向量中的特征图从相应特征图组中删除。
6.根据权利要求1所述的一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，在执行步骤S1之前，还包括对特征选择卷积神经网络进行训练的步骤。
7.根据权利要求6所述的一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，所述对特征选择卷积神经网络进行训练的步骤，具体包括：
使用训练图像对特征选择卷积神经网络进行训练；
在训练过程中，记录特征选择卷积神经网络所进行的迭代总次数，并记录各特征图被特征图选择层筛选掉的次数。
8.根据权利要求7所述的一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，在执行对特征选择卷积神经网络进行训练的步骤之后、执行步骤S1之前，还包括对特征选择卷积神经网络进行测试的步骤。
9.根据权利要求8所述的一种基于特征选择卷积神经网络的目标重识别方法，其特征在于，所述对特征选择卷积神经网络进行测试的步骤，具体包括：
根据训练过程中记录到的特征选择卷积神经网络所进行的迭代总次数和各特征图被特征图选择层筛选掉的次数，计算各特征图对应的比例值；
以各比例值作为对应特征图在特征选择卷积神经网络中前向传播的权重系数，对特征选择卷积神经网络进行测试。
10.一种基于特征选择卷积神经网络的目标重识别装置，其特征在于，包括存储器和处理器，所述存储器用于存储至少一个程序，所述处理器用于加载所述至少一个程序以执行权利要求1-9任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810921261.5A CN109344695B (zh) | 2018-08-14 | 2018-08-14 | 一种基于特征选择卷积神经网络的目标重识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810921261.5A CN109344695B (zh) | 2018-08-14 | 2018-08-14 | 一种基于特征选择卷积神经网络的目标重识别方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109344695A true CN109344695A (zh) | 2019-02-15 |
| CN109344695B CN109344695B (zh) | 2022-03-22 |
Family
ID=65296877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810921261.5A Active CN109344695B (zh) | 2018-08-14 | 2018-08-14 | 一种基于特征选择卷积神经网络的目标重识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109344695B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368911A (zh) * | 2020-03-03 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 一种图像分类方法、装置和计算机可读存储介质 |
| CN111506691A (zh) * | 2020-04-20 | 2020-08-07 | 杭州数澜科技有限公司 | 一种基于深度匹配模型的轨迹匹配方法和系统 |
| CN111918094A (zh) * | 2020-06-29 | 2020-11-10 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN112580665A (zh) * | 2020-12-18 | 2021-03-30 | 深圳赛安特技术服务有限公司 | 车款识别方法、装置、电子设备及存储介质 |
| CN112990144A (zh) * | 2021-04-30 | 2021-06-18 | 德鲁动力科技(成都)有限公司 | 一种用于行人重识别的数据增强方法及系统 |
| CN111506691B (zh) * | 2020-04-20 | 2024-05-31 | 杭州数澜科技有限公司 | 一种基于深度匹配模型的轨迹匹配方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160259994A1 (en) * | 2015-03-04 | 2016-09-08 | Accenture Global Service Limited | Digital image processing using convolutional neural networks |
| CN106355210A (zh) * | 2016-09-14 | 2017-01-25 | 华北电力大学（保定） | 基于深度神经元响应模式的绝缘子红外图像特征表达方法 |
| CN106971556A (zh) * | 2017-05-16 | 2017-07-21 | 中山大学 | 基于双网络结构的卡口车辆重识别方法 |
| CN107346409A (zh) * | 2016-05-05 | 2017-11-14 | 华为技术有限公司 | 行人再识别方法和装置 |
| CN107358246A (zh) * | 2017-07-20 | 2017-11-17 | 深圳市唯特视科技有限公司 | 一种使用卷积神经网络对物体进行细分类的方法 |
| CN107622229A (zh) * | 2017-08-29 | 2018-01-23 | 中山大学 | 一种基于融合特征的视频车辆重识别方法与系统 |
| CN108171247A (zh) * | 2017-12-21 | 2018-06-15 | 北京大学 | 一种车辆再识别方法及系统 |
| WO2018120000A1 (en) * | 2016-12-30 | 2018-07-05 | Nokia Technologies Oy | Artificial neural network |
-
2018
- 2018-08-14 CN CN201810921261.5A patent/CN109344695B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160259994A1 (en) * | 2015-03-04 | 2016-09-08 | Accenture Global Service Limited | Digital image processing using convolutional neural networks |
| CN107346409A (zh) * | 2016-05-05 | 2017-11-14 | 华为技术有限公司 | 行人再识别方法和装置 |
| CN106355210A (zh) * | 2016-09-14 | 2017-01-25 | 华北电力大学（保定） | 基于深度神经元响应模式的绝缘子红外图像特征表达方法 |
| WO2018120000A1 (en) * | 2016-12-30 | 2018-07-05 | Nokia Technologies Oy | Artificial neural network |
| CN106971556A (zh) * | 2017-05-16 | 2017-07-21 | 中山大学 | 基于双网络结构的卡口车辆重识别方法 |
| CN107358246A (zh) * | 2017-07-20 | 2017-11-17 | 深圳市唯特视科技有限公司 | 一种使用卷积神经网络对物体进行细分类的方法 |
| CN107622229A (zh) * | 2017-08-29 | 2018-01-23 | 中山大学 | 一种基于融合特征的视频车辆重识别方法与系统 |
| CN108171247A (zh) * | 2017-12-21 | 2018-06-15 | 北京大学 | 一种车辆再识别方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| WENHUA FANG等: "Vehicle Re-identification Collaborating Visual and Temporal-Spatial Network", 《ICIMCS"13 PROCEEDINGS OF THE FIFTH INTERNATIONAL CONFERENCE ON INTERNET MULTIMEDIA COMPUTING AND SERVICE》 * |
| 李熙莹等: "基于Edge Boxes的大型车辆车标检测与识别", 《计算机工程与应用》 * |
| 王盼盼等: "基于特征融合和L-M算法的车辆重识别方法", 《电子科技》 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111368911A (zh) * | 2020-03-03 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 一种图像分类方法、装置和计算机可读存储介质 |
| CN111368911B (zh) * | 2020-03-03 | 2021-03-02 | 腾讯科技（深圳）有限公司 | 一种图像分类方法、装置和计算机可读存储介质 |
| CN111506691A (zh) * | 2020-04-20 | 2020-08-07 | 杭州数澜科技有限公司 | 一种基于深度匹配模型的轨迹匹配方法和系统 |
| CN111506691B (zh) * | 2020-04-20 | 2024-05-31 | 杭州数澜科技有限公司 | 一种基于深度匹配模型的轨迹匹配方法和系统 |
| CN111918094A (zh) * | 2020-06-29 | 2020-11-10 | 北京百度网讯科技有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN112580665A (zh) * | 2020-12-18 | 2021-03-30 | 深圳赛安特技术服务有限公司 | 车款识别方法、装置、电子设备及存储介质 |
| CN112580665B (zh) * | 2020-12-18 | 2024-04-19 | 深圳赛安特技术服务有限公司 | 车款识别方法、装置、电子设备及存储介质 |
| CN112990144A (zh) * | 2021-04-30 | 2021-06-18 | 德鲁动力科技(成都)有限公司 | 一种用于行人重识别的数据增强方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109344695B (zh) | 2022-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109344695A (zh) | 一种基于特征选择卷积神经网络的目标重识别方法和装置 | |
| CN108108657B (zh) | 基于多任务深度学习的修正局部敏感哈希车辆检索方法 | |
| CN109816024A (zh) | 一种基于多尺度特征融合与dcnn的实时车标检测方法 | |
| CN107633255A (zh) | 一种深度学习模式下的岩石岩性自动识别分类方法 | |
| CN109583305A (zh) | 一种基于关键部件识别和细粒度分类的车辆重识别的先进方法 | |
| CN104615642B (zh) | 基于局部邻域约束的空间验证的错误匹配检测方法 | |
| CN1445722A (zh) | 基于内容的图像副本检测方法和装置 | |
| CN109886147A (zh) | 一种基于单网络多任务学习的车辆多属性检测方法 | |
| CN109993201A (zh) | 一种图像处理方法、装置和可读存储介质 | |
| CN110263712A (zh) | 一种基于区域候选的粗精行人检测方法 | |
| CN108647595A (zh) | 基于多属性深度特征的车辆重识别方法 | |
| CN114170418B (zh) | 一种以图搜图的汽车线束连接器多特征融合图像检索方法 | |
| CN110210625A (zh) | 基于迁移学习的建模方法、装置、计算机设备和存储介质 | |
| CN108415937A (zh) | 一种图像检索的方法和装置 | |
| CN110245697A (zh) | 一种表面脏污检测方法、终端设备及存储介质 | |
| CN108764302A (zh) | 一种基于颜色特征和词袋特征的票据图像分类方法 | |
| Zhao et al. | Center attention network for hyperspectral image classification | |
| CN103871044A (zh) | 一种图像签名生成方法和图像验证方法及装置 | |
| CN110188828A (zh) | 一种基于虚拟样本集成学习的图像来源鉴别方法 | |
| CN111753299A (zh) | 一种基于分组集成的不平衡恶意软件检测方法 | |
| Jaiswal et al. | Detection of copy-move forgery using hybrid approach of DCT and BRISK | |
| CN116366313A (zh) | 一种小样本异常流量检测方法和系统 | |
| CN113191359B (zh) | 基于支持与查询样本的小样本目标检测方法与系统 | |
| Liu et al. | Container-code recognition system based on computer vision and deep neural networks | |
| CN112418262A (zh) | 车辆再识别的方法、客户端及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| OL01 | Intention to license declared |