CN108229444A - 一种基于整体和局部深度特征融合的行人再识别方法 - Google Patents
一种基于整体和局部深度特征融合的行人再识别方法 Download PDFInfo
- Publication number
- CN108229444A CN108229444A CN201810132400.6A CN201810132400A CN108229444A CN 108229444 A CN108229444 A CN 108229444A CN 201810132400 A CN201810132400 A CN 201810132400A CN 108229444 A CN108229444 A CN 108229444A
- Authority
- CN
- China
- Prior art keywords
- feature
- pedestrian image
- pedestrian
- subregion
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000004927 fusion Effects 0.000 title claims abstract description 9
- 239000013598 vector Substances 0.000 claims abstract description 50
- 238000013135 deep learning Methods 0.000 claims abstract description 34
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 230000006870 function Effects 0.000 claims description 20
- 230000004913 activation Effects 0.000 claims description 18
- 210000002569 neuron Anatomy 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 7
- 208000011580 syndromic disease Diseases 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 102100038353 Gremlin-2 Human genes 0.000 description 1
- 101001032860 Mus musculus Gremlin-2 Proteins 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000031068 symbiosis, encompassing mutualism through parasitism Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种基于整体和局部深度特征融合的行人再识别方法，该方法包括：构建局部特征目标网络和整体特征目标网络；把训练行人图像子区域对输入局部特征目标网络，得到局部特征学习模型；把测试行人图像子区域输入局部特征学习模型，得到子区域特征向量；把训练行人图像整幅输入整体特征目标网络，得到整体特征学习模型；把测试行人图像整幅输入整体特征学习模型，得到整体特征向量；将子区域特征向量和整体特征向量组合形成最终特征表示，计算该行人图像与训练图像的相似度，得到行人识别结果。本发明充分利用深度学习的优势，挖掘行人图像的局部特征和整体特征，最终结合两种特征形成图像的特征向量，提高了行人再识别的匹配正确率。
Description
技术领域
本发明属于模式识别、人工智能领域，具体涉及一种基于整体和局部深度特征融合的行人再识别方法。
背景技术
随着计算机技术的发展，公共场所安装了大量的监控设备。人工操作难以在大量的监控数据中提取有效信息，利用计算机解决此问题已经成为必然趋势，因此近年来行人再识别技术被广泛关注。但是由于真实场景中行人外观、姿态以及外界环境的光线和拍摄角度变化较大，使得行人再识别技术面临着很大的挑战。
为了提高计算机对行人再识别的匹配正确率，经过多年的研究，人们提出了多种有效的方法。在特征表示方面，Gray等人提出了局部特征集合(Ensemble of LocalFeatures，ELF)。Liao等人提出了局部最大共生特征(Local Maximal Occurrence，LOMO)。在度量学习方法，Zheng等人提出了概率相对距离比较算法(Probabilistic RelativeDistance Comparison，PRDC)。Liao等人提出了一种交叉视角的二次性判别分析度量方法(Cross-view Quadratic Discriminant Analysis，XQDA)。
目前很多研究者将深度学习算法应用到行人再识别领域，并且取得了不错的效果。Xiao等人训练了一个分类模型并且提出了弃权函数来处理大量的类别。Zheng等人联合了分类摸型和验证模型，并且同时利用三个损失函数训练网络。Yi等人把一幅图像分为三个水平子区域，用子区域同时训练三个网络。Zheng等人提出利用生成式对抗网络产生标签，取得了较好的实验效果。深度学习方法已经达到了比较好的效果，大部分方法都是利用整幅图像作为输入提取整体特征，同时也有一些方法提取了局部特征，但都没有充分的挖掘出图像的特征表示方法。
发明内容
本发明的目的是要解决行人的整体特征或局部特征在深度学习中未被充分利用的技术问题，为此，本发明提供一种基于整体和局部深度特征融合的行人再识别方法。
为了实现所述目的，本发明提出的一种基于整体和局部深度特征融合的行人再识别方法包括以下步骤：
步骤S1，对预训练网络进行初始化，构建提取局部特征的局部特征目标网络；
步骤S2，把训练集的行人图像分别划分为n个水平子区域，对应位置的子区域为子区域对，把子区域对输入到所述局部特征目标网络中，得到局部特征学习模型；
步骤S3，把测试集的行人图像同样地划分为n个水平子区域，把每个子区域输入至所述局部特征学习模型中，得到子区域的特征向量pi(i＝1,2,…n)，其中，pi(i＝1,2,…n)表示第i个子区域的特征向量；
步骤S4，对预训练网络进行初始化，构建提取整体特征的整体特征目标网络；
步骤S5，基于构建的整体特征目标网络，把训练集的行人图像整幅输入至所述整体特征目标网络中，得到整体特征学习模型；
步骤S6，基于所述整体特征学习模型，把测试集的行人图像整幅输入至所述整体特征学习模型中，得到行人图像的整体特征向量B；
步骤S7，合并每幅行人图像的所有子区域特征向量形成行人图像的局部特征向量P，局部特征向量与整体特征向量B结合组成该行人图像的最终特征表示；
步骤S8，基于行人图像最终的特征表示，计算该行人图像与训练集中任意一幅图像间的相似度，相似度最高的被认为是相同的行人，得到行人识别结果。
可选地，所述步骤S1包括以下步骤：
步骤S11，获取m个已预先训练好的深度学习网络模型，并对其分别进行初始化，其中m为自然数，m＝2，3，…；
步骤S12，将初始化后的m个深度学习网络模型进行并行组合，并在m个网络模型的末端进行合并；
步骤S13，根据组合网络卷积层中神经元的激活值得到待建局部特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的局部特征目标网络结构。
可选地，所述步骤S12包括以下步骤：
步骤S121，将初始化后的m个深度学习网络模型进行并行组合，m个深度学习网络模型上下并行同时进行传播，共享权重，在末端生成特征向量f1、f2…fm；
步骤S122，将m个深度学习网络模型在末端进行合并形成平方层，在该层中计算得到特征向量f1、f2…fm之间的相似性fs；
步骤S123，在平方层后增加卷积层。
可选地，所述步骤S13包括以下步骤：
步骤S131，根据所述卷积层中神经元的激活值得到局部特征目标网络的预测概率yi：
其中，ai表示卷积层中第i个神经元的激活值；
步骤S132，根据所述预测概率将所述局部特征目标网络中的损失函数设置为LV，形成完整的局部特征目标网络结构，其中，损失函数LV表示为：
其中，pi表示子区域对正负概率值。
可选地，所述步骤S2包括以下步骤：
步骤S21，把训练集中的每一幅行人图像划分为n个水平子区域，定义相同行人的对应子区域为正子区域对，不同行人的对应子区域为负子区域对；
步骤S22，随机抽取子区域对，将子区域对进行预处理，然后分别输入到所述局部特征目标网络中的子网络中，得到局部特征学习模型。
可选地，所述步骤S3包括以下步骤：
步骤S31，把测试集中的每一幅行人图像同样地划分为n个水平子区域；
步骤S32，按照训练的方式将子区域进行预处理，然后分别输入至所述局部特征学习模型中，得到n个子区域各自的特征向量pi(i＝1,2,…n)。
可选地，所述步骤S4包括以下步骤：
步骤S41，获取已预先训练好的深度学习网络模型，并对其进行初始化；
步骤S42，在初始化后的深度学习网络模型后加入卷积层；
步骤S43，根据所述卷积层中神经元的激活值得到待建整体特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的整体特征目标网络结构。
可选地，所述步骤S43包括以下步骤：
步骤S431，根据所述卷积层中神经元的激活值得到整体特征目标网络的预测概率yj，表示为：
其中，aj表示卷积层中第j个神经元的激活值，C为行人图像的类别总数。
步骤S432，根据所述预测概率将所述整体特征目标网络中的损失函数设置为LI，形成完整的整体特征目标网络结构，其中，损失函数LI表示为：
其中，qj表示标签概率，K为类别标签总数。
可选地，所述步骤S5包括以下步骤：
步骤S51，把训练集中的每一幅行人图像进行预处理；
步骤S52，将预处理后的行人图像输入至所述整体特征目标网络中，经过学习得到整体特征学习模型。
可选地，所述步骤S6包括以下步骤：
步骤S61，将测试集中的行人图像进行预处理；
步骤S62，将预处理后的行人图像输入至所述整体特征目标网络中，得到行人图像的整体特征向量B。
本发明的有益效果为：本发明通过深度学习利用整体特征学习模型和局部特征学习模型获得行人图像的整体特征向量和局部特征向量，组合两种特征向量形成最终的特征表示，达到充分挖掘行人图像的特征表示的目的，从而提高行人再识别匹配的正确率。
需要说明的是，本发明得到了国家自然科学基金项目No.61501327、No.61711530240，天津市自然科学基金重点项目No.17JCZDJC30600，天津市应用基础与前沿技术研究计划青年基金项目No.15JCQNJC01700，天津师范大学“青年科研拔尖人才培育计划”No.135202RC1703，模式识别国家重点实验室开放课题基金No.201700001、No.201800002，中国国家留学基金No.201708120040、No.201708120039的资助。
附图说明
图1是根据本发明一实施例的一种基于整体和局部深度特征融合的行人再识别方法的流程图；
图2是根据本发明一实施例的基于深度学习的局部特征学习模型和整体特征学习模型示意图；
图3是根据本发明一实施例的局部特征、整体特征以及最终特征表示的形成方式示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
图1是根据本发明一实施例的一种基于整体和局部深度特征融合的行人再识别方法的流程图，下面以图1为例来说明本发明的一些具体实现流程。本发明是一种基于整体和局部深度特征融合的行人再识别方法，具体步骤包括：
步骤S1，对预训练网络进行初始化，构建提取局部特征的局部特征目标网络；
进一步地，所述步骤S1包括以下步骤：
步骤S11，获取m个已预先训练好的深度学习网络模型，并对其分别进行初始化，其中m为自然数，m＝2，3，…；
在本发明一实施例中，所采用的已预先训练好的深度学习网络模型为ResNet-50。
其中，所述初始化包括对于所述深度学习网络模型参数的初始化。
步骤S12，将初始化后的m个深度学习网络模型进行并行组合，并在m个网络模型的末端进行合并；
所述步骤S12包括以下步骤：
步骤S121，将初始化后的m个深度学习网络模型进行并行组合，m个深度学习网络模型上下并行同时进行传播，共享权重，在末端生成特征向量f1、f2…fm；
步骤S122，将m个深度学习网络模型在末端进行合并形成平方层，在该层中计算得到特征向量f1、f2…fm之间的相似性fs；
步骤S123，在平方层后增加卷积层。
下面以m＝2为例对于本方法进行说明。
进一步地，所述步骤S12包括以下步骤：
步骤S121，如图2(a)所示，将初始化后的2个深度学习网络模型进行并行组合，2个深度学习网络模型上下并行同时进行传播，共享权重，在末端生成具有2048维度的特征向量f1和f2；
步骤S122，将2个深度学习网络模型在末端进行合并形成平方层，如图2(a)所示，在该层中计算得到特征向量f1和f2之间的相似性fs：
fs＝(f1-f2)2
步骤S123，在平方层后增加卷积层，如图2(a)所示，所述卷积层卷积核的大小为1×1×2048×2。
步骤S13，根据组合网络卷积层中神经元的激活值得到待建局部特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的局部特征目标网络结构。
进一步地，所述步骤S13包括以下步骤：
步骤S131，根据所述卷积层中神经元的激活值得到局部特征目标网络的预测概率yi，表示为：
其中，ai表示最后一层卷积层中第i个神经元的激活值。
步骤S132，根据所述预测概率将所述局部特征目标网络中的损失函数设置为LV，形成完整的局部特征目标网络结构，其中，损失函数LV表示为：
其中，pi表示子区域对正负概率值，其是一个真实概率，如果输入的是正子区域对，那么p1＝1，p2＝0；如果输入的是负子区域对，那么p1＝0，p2＝1。
步骤S2，把训练集的行人图像分别划分为n个水平子区域，对应位置的子区域为子区域对，把子区域对输入到所述局部特征目标网络中，得到局部特征学习模型；
进一步地，所述步骤S2包括以下步骤：
步骤S21，把训练集中的每一幅行人图像划分为n个水平子区域，定义相同行人的对应子区域为正子区域对，不同行人的对应子区域为负子区域对；
在本发明一实施例中，每一幅行人图像分为3个水平子区域进行训练。
步骤S22，随机抽取子区域对，将子区域对进行预处理，然后分别输入到所述局部特征目标网络中的子网络中，比如如图2(a)所示的上下两个子网络，得到局部特征学习模型。
在本发明一实施例中，在进行预处理时，利用最近邻插值法将子区域扩展为p×p大小，比如256×256，然后将所有像素点的像素值减去所有子区域像素的均值，最后随机裁剪一个q×q大小，比如224×224的区域作为所述局部特征目标网络的输入，其中，p>q。
在本发明一实施例中，在对于所述局部特征学习模型进行训练时，采用梯度下降法进行迭代优化，迭代次数设置为75，前70次迭代的学习率设置为0.1，后五次迭代的学习率设置为0.01，优化过程中权重衰减值设置为0.0005，每次迭代的输入为24个样本。
步骤S3，把测试集的行人图像同样地划分为n个水平子区域，把每个子区域输入至所述局部特征学习模型中，得到子区域的特征向量pi(i＝1,2,…n)，其中，pi(i＝1,2,…n)表示第i个子区域的特征向量；
进一步地，所述步骤S3包括以下步骤：
步骤S31，把测试集中的每一幅行人图像同样地划分为n个水平子区域；
在本发明一实施例中，测试过程中每幅行人图像划分的子区域个数与训练时每幅行人图像划分的子区域个数相同，即n＝3。
步骤S32，按照训练的方式将子区域进行预处理，然后分别输入至所述局部特征学习模型中，得到n个子区域各自的特征向量pi(i＝1,2,…n)。
步骤S4，对预训练网络进行初始化，构建提取整体特征的整体特征目标网络；
进一步地，所述步骤S4包括以下步骤：
步骤S41，获取已预先训练好的深度学习网络模型，并对其进行初始化；
在本发明一实施例中，所采用的已预先训练好的深度学习网络模型ResNet-50。
其中，所述初始化包括对于所述深度学习网络模型参数的初始化。
步骤S42，在初始化后的深度学习网络模型后加入卷积层，如图2(b)所示，所述卷积层卷积核的大小为1×1×2048×C。
其中，C为行人图像的类别总数。
在本发明一实施例中，在CUHK03数据库中进行测试时C＝1367。
步骤S43，根据所述卷积层中神经元的激活值得到待建整体特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的整体特征目标网络结构。
进一步地，所述步骤S43包括以下步骤：
步骤S431，根据所述卷积层中神经元的激活值得到整体特征目标网络的预测概率yj，表示为：
其中，aj表示最后一层卷积层中第j个神经元的激活值。
步骤S432，根据所述预测概率将所述整体特征目标网络中的损失函数设置为LI，形成完整的整体特征目标网络结构，其中，损失函数LI表示为：
其中，qj是真实概率，如果第j个类别是真实标签，那么qj＝1，剩余的类别qj＝0，K为类别标签总数。
步骤S5，基于构建的整体特征目标网络，如图2(b)所示，把训练集的行人图像整幅输入至所述整体特征目标网络中，得到整体特征学习模型；
进一步地，所述步骤S5包括以下步骤：
步骤S51，把训练集中的每一幅行人图像进行预处理；
在本发明一实施例中，在进行预处理时，利用最近邻插值法将行人图像扩展为pˊ×pˊ大小，比如256×256，然后将所有像素点的像素值减去所有行人图像像素的均值，最后随机裁剪一个qˊ×qˊ大小，比如224×224的区域作为所述整体特征目标网络的输入。
步骤S52，将预处理后的行人图像输入至所述整体特征目标网络中，如图2(b)所示，经过学习得到整体特征学习模型。
步骤S6，基于所述整体特征学习模型，把测试集的行人图像整幅输入至所述整体特征学习模型中，得到行人图像的整体特征向量B；
进一步地，所述步骤S6包括以下步骤：
步骤S61，将测试集中的行人图像进行预处理；
在本发明一实施例中，该预处理的方法与训练时预处理的方法相同。
步骤S62，将预处理后的行人图像输入至所述整体特征目标网络中，得到行人图像的整体特征向量B。
在本发明一实施例中，将图2(b)中的f视为整体特征。
步骤S7，合并每幅行人图像的所有子区域特征向量形成行人图像的局部特征向量P，局部特征向量与整体特征向量B结合组成该行人图像的最终特征表示，其中的操作过程如图3所示；
进一步地，所述步骤S7包括以下步骤：
步骤S71，将每幅行人图像的所有子区域的特征向量进行权重相加形成该行人图像的局部特征向量P；
进一步地，所述局部特征向量P的组合方式为：
P＝α1p1+α2p2+…+αnpn
其中，n表示每幅行人图像划分得到的水平子区域的总个数，pi(i＝1,2,…n)表示每幅行人图像第i个子区域的特征向量，αi(i＝1,2,…n)用于控制第i个子区域的特征向量所占的权重大小。
在本发明一实施例中，由于将每幅行人图像分为3个子区域，因此可设置α1＝0.5，α2＝0.4，α3＝0.2。
步骤S72，将局部特征向量P和整体特征向量B进行合并形成该行人图像的最终特征表示F。
进一步地，所述行人图像的最终特征表示的组合方式为：
F＝[λP,βB]
其中，λ和β分别用于控制行人图像的局部特征向量和整体特征的向量权重，经过串联形成最终的特征表示F。
在本发明一实施例中，可设置λ＝β＝1。
步骤S8，基于行人图像最终的特征表示，计算该行人图像与训练集中任意一幅图像间的相似度，相似度最高的被认为是相同的行人，得到行人识别结果。
以网上公开的行人再识别大型数据库作为测试对象，在CUHK03数据库上测试时，本发明行人再识别匹配的平均正确率达到79.86％。本发明行人再识别方法运用整体特征与局部特征相融合的方法，很大程度地提高了行人再识别匹配正确率，由此可见本发明方法的有效性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
Claims (10)
1.一种基于整体和局部深度特征融合的行人再识别方法，其特征在于，所述方法包括以下步骤：
步骤S1，对预训练网络进行初始化，构建提取局部特征的局部特征目标网络；
步骤S2，把训练集的行人图像分别划分为n个水平子区域，对应位置的子区域为子区域对，把子区域对输入到所述局部特征目标网络中，得到局部特征学习模型；
步骤S3，把测试集的行人图像同样地划分为n个水平子区域，把每个子区域输入至所述局部特征学习模型中，得到子区域的特征向量pi(i＝1,2,…n)，其中，pi(i＝1,2,…n)表示第i个子区域的特征向量；
步骤S4，对预训练网络进行初始化，构建提取整体特征的整体特征目标网络；
步骤S5，基于构建的整体特征目标网络，把训练集的行人图像整幅输入至所述整体特征目标网络中，得到整体特征学习模型；
步骤S6，基于所述整体特征学习模型，把测试集的行人图像整幅输入至所述整体特征学习模型中，得到行人图像的整体特征向量B；
步骤S7，合并每幅行人图像的所有子区域特征向量形成行人图像的局部特征向量P，局部特征向量与整体特征向量B结合组成该行人图像的最终特征表示；
步骤S8，基于行人图像最终的特征表示，计算该行人图像与训练集中任意一幅图像间的相似度，相似度最高的被认为是相同的行人，得到行人识别结果。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：
步骤S11，获取m个已预先训练好的深度学习网络模型，并对其分别进行初始化，其中m为自然数，m＝2，3，…；
步骤S12，将初始化后的m个深度学习网络模型进行并行组合，并在m个网络模型的末端进行合并；
步骤S13，根据组合网络卷积层中神经元的激活值得到待建局部特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的局部特征目标网络结构。
3.根据权利要求2所述的方法，其特征在于，所述步骤S12包括以下步骤：
步骤S121，将初始化后的m个深度学习网络模型进行并行组合，m个深度学习网络模型上下并行同时进行传播，共享权重，在末端生成特征向量f1、f2…fm；
步骤S122，将m个深度学习网络模型在末端进行合并形成平方层，在该层中计算得到特征向量f1、f2…fm之间的相似性fs；
步骤S123，在平方层后增加卷积层。
4.根据权利要求2所述的方法，其特征在于，所述步骤S13包括以下步骤：
步骤S131，根据所述卷积层中神经元的激活值得到局部特征目标网络的预测概率yi：
其中，ai表示卷积层中第i个神经元的激活值；
步骤S132，根据所述预测概率将所述局部特征目标网络中的损失函数设置为LV，形成完整的局部特征目标网络结构，其中，损失函数LV表示为：
其中，pi表示子区域对正负概率值。
5.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：
步骤S21，把训练集中的每一幅行人图像划分为n个水平子区域，定义相同行人的对应子区域为正子区域对，不同行人的对应子区域为负子区域对；
步骤S22，随机抽取子区域对，将子区域对进行预处理，然后分别输入到所述局部特征目标网络中的子网络中，得到局部特征学习模型。
6.根据权利要求1所述的方法，其特征在于，所述步骤S3包括以下步骤：
步骤S31，把测试集中的每一幅行人图像同样地划分为n个水平子区域；
步骤S32，按照训练的方式将子区域进行预处理，然后分别输入至所述局部特征学习模型中，得到n个子区域各自的特征向量pi(i＝1,2,…n)。
7.根据权利要求1所述的方法，其特征在于，所述步骤S4包括以下步骤：
步骤S41，获取已预先训练好的深度学习网络模型，并对其进行初始化；
步骤S42，在初始化后的深度学习网络模型后加入卷积层；
步骤S43，根据所述卷积层中神经元的激活值得到待建整体特征目标网络的预测概率，并根据所述预测概率设置损失函数，形成完整的整体特征目标网络结构。
8.根据权利要求7所述的方法，其特征在于，所述步骤S43包括以下步骤：
步骤S431，根据所述卷积层中神经元的激活值得到整体特征目标网络的预测概率yj，表示为：
其中，aj表示卷积层中第j个神经元的激活值，C为行人图像的类别总数。
步骤S432，根据所述预测概率将所述整体特征目标网络中的损失函数设置为LI，形成完整的整体特征目标网络结构，其中，损失函数LI表示为：
其中，qj表示标签概率，K为类别标签总数。
9.根据权利要求1所述的方法，其特征在于，所述步骤S5包括以下步骤：
步骤S51，把训练集中的每一幅行人图像进行预处理；
步骤S52，将预处理后的行人图像输入至所述整体特征目标网络中，经过学习得到整体特征学习模型。
10.根据权利要求1所述的方法，其特征在于，所述步骤S6包括以下步骤：
步骤S61，将测试集中的行人图像进行预处理；
步骤S62，将预处理后的行人图像输入至所述整体特征目标网络中，得到行人图像的整体特征向量B。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810132400.6A CN108229444B (zh) | 2018-02-09 | 2018-02-09 | 一种基于整体和局部深度特征融合的行人再识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810132400.6A CN108229444B (zh) | 2018-02-09 | 2018-02-09 | 一种基于整体和局部深度特征融合的行人再识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108229444A true CN108229444A (zh) | 2018-06-29 |
| CN108229444B CN108229444B (zh) | 2021-10-12 |
Family
ID=62670878
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810132400.6A Active CN108229444B (zh) | 2018-02-09 | 2018-02-09 | 一种基于整体和局部深度特征融合的行人再识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108229444B (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345866A (zh) * | 2018-03-08 | 2018-07-31 | 天津师范大学 | 一种基于深度特征学习的行人再识别方法 |
| CN108960140A (zh) * | 2018-07-04 | 2018-12-07 | 国家新闻出版广电总局广播科学研究院 | 基于多区域特征提取和融合的行人再识别方法 |
| CN109117888A (zh) * | 2018-08-20 | 2019-01-01 | 北京旷视科技有限公司 | 目标对象识别方法及其神经网络生成方法以及装置 |
| CN109145759A (zh) * | 2018-07-25 | 2019-01-04 | 腾讯科技（深圳）有限公司 | 车辆属性识别方法、装置、服务器及存储介质 |
| CN109271870A (zh) * | 2018-08-21 | 2019-01-25 | 平安科技（深圳）有限公司 | 行人重识别方法、装置、计算机设备及存储介质 |
| CN109614853A (zh) * | 2018-10-30 | 2019-04-12 | 国家新闻出版广电总局广播科学研究院 | 一种基于身体结构划分的双线性行人再识别网络构建方法 |
| CN109635634A (zh) * | 2018-10-29 | 2019-04-16 | 西北大学 | 一种基于随机线性插值的行人再识别数据增强方法 |
| CN109635636A (zh) * | 2018-10-30 | 2019-04-16 | 国家新闻出版广电总局广播科学研究院 | 基于属性特征和加权的分块特征相融合的行人再识别方法 |
| CN109934177A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人再识别方法、系统及计算机可读存储介质 |
| CN110032940A (zh) * | 2019-03-13 | 2019-07-19 | 华中科技大学 | 一种视频行人重识别的方法和系统 |
| CN110084134A (zh) * | 2019-04-03 | 2019-08-02 | 东华大学 | 一种基于级联神经网络和特征融合的人脸考勤系统 |
| CN110334675A (zh) * | 2019-07-11 | 2019-10-15 | 山东大学 | 一种基于人体骨骼关键点分割和列卷积的行人重识别方法 |
| CN110378301A (zh) * | 2019-07-24 | 2019-10-25 | 北京中星微电子有限公司 | 行人重识别方法及系统 |
| CN110490060A (zh) * | 2019-07-10 | 2019-11-22 | 特斯联（北京）科技有限公司 | 一种基于机器学习硬件架构的安防前端视频设备 |
| CN110533184A (zh) * | 2019-08-31 | 2019-12-03 | 南京人工智能高等研究院有限公司 | 一种网络模型的训练方法及装置 |
| CN110619271A (zh) * | 2019-08-12 | 2019-12-27 | 浙江浩腾电子科技股份有限公司 | 一种基于深度区域特征连接的行人重识别方法 |
| CN110991533A (zh) * | 2019-12-03 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像识别方法、识别装置、终端设备及可读存储介质 |
| CN111238524A (zh) * | 2018-11-28 | 2020-06-05 | 驭势科技（北京）有限公司 | 视觉定位方法以及装置 |
| CN111680560A (zh) * | 2020-05-07 | 2020-09-18 | 南通大学 | 一种基于时空特征的行人再识别方法 |
| CN111914599A (zh) * | 2019-05-09 | 2020-11-10 | 四川大学 | 一种基于语义信息多层特征融合的细粒度鸟类识别方法 |
| CN112070100A (zh) * | 2020-09-11 | 2020-12-11 | 深圳力维智联技术有限公司 | 基于深度学习模型的图像特征识别方法、装置及存储介质 |
| CN112733814A (zh) * | 2021-03-30 | 2021-04-30 | 上海闪马智能科技有限公司 | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 |
| CN113408356A (zh) * | 2021-05-21 | 2021-09-17 | 深圳市广电信义科技有限公司 | 基于深度学习的行人重识别方法、装置、设备及存储介质 |
| CN117270479A (zh) * | 2023-11-21 | 2023-12-22 | 清远欧派集成家居有限公司 | 造型板多工序加工生产线监测方法及系统 |
| CN118570846A (zh) * | 2024-08-05 | 2024-08-30 | 杭州登虹科技有限公司 | 复杂场景下基于多模态信息辅助的人员重识别方法、装置和电子设备 |
| CN118570846B (zh) * | 2024-08-05 | 2024-10-29 | 杭州登虹科技有限公司 | 复杂场景下基于多模态信息辅助的人员重识别方法、装置和电子设备 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140285660A1 (en) * | 2010-08-18 | 2014-09-25 | Nearbuy Systems, Inc. | Target Localization Utilizing Wireless and Camera Sensor Fusion |
| CN105447465A (zh) * | 2015-11-25 | 2016-03-30 | 中山大学 | 基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法 |
| CN106250870A (zh) * | 2016-08-16 | 2016-12-21 | 电子科技大学 | 一种联合局部和全局相似性度量学习的行人再识别方法 |
| CN106415594A (zh) * | 2014-06-16 | 2017-02-15 | 北京市商汤科技开发有限公司 | 用于面部验证的方法和系统 |
| CN106778527A (zh) * | 2016-11-28 | 2017-05-31 | 中通服公众信息产业股份有限公司 | 一种基于三重损失的改进的神经网络行人再识别方法 |
| CN106874877A (zh) * | 2017-02-20 | 2017-06-20 | 南通大学 | 一种结合局部和全局特征的无约束人脸验证方法 |
| CN107220611A (zh) * | 2017-05-23 | 2017-09-29 | 上海交通大学 | 一种基于深度神经网络的空时特征提取方法 |
| CN107330416A (zh) * | 2017-07-10 | 2017-11-07 | 天津师范大学 | 一种基于判别结构测度学习的行人再识别方法 |
-
2018
- 2018-02-09 CN CN201810132400.6A patent/CN108229444B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140285660A1 (en) * | 2010-08-18 | 2014-09-25 | Nearbuy Systems, Inc. | Target Localization Utilizing Wireless and Camera Sensor Fusion |
| CN106415594A (zh) * | 2014-06-16 | 2017-02-15 | 北京市商汤科技开发有限公司 | 用于面部验证的方法和系统 |
| CN105447465A (zh) * | 2015-11-25 | 2016-03-30 | 中山大学 | 基于行人局部和整体融合匹配的无交叠视域摄像头之间的不完整行人匹配方法 |
| CN106250870A (zh) * | 2016-08-16 | 2016-12-21 | 电子科技大学 | 一种联合局部和全局相似性度量学习的行人再识别方法 |
| CN106778527A (zh) * | 2016-11-28 | 2017-05-31 | 中通服公众信息产业股份有限公司 | 一种基于三重损失的改进的神经网络行人再识别方法 |
| CN106874877A (zh) * | 2017-02-20 | 2017-06-20 | 南通大学 | 一种结合局部和全局特征的无约束人脸验证方法 |
| CN107220611A (zh) * | 2017-05-23 | 2017-09-29 | 上海交通大学 | 一种基于深度神经网络的空时特征提取方法 |
| CN107330416A (zh) * | 2017-07-10 | 2017-11-07 | 天津师范大学 | 一种基于判别结构测度学习的行人再识别方法 |
Cited By (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108345866A (zh) * | 2018-03-08 | 2018-07-31 | 天津师范大学 | 一种基于深度特征学习的行人再识别方法 |
| CN108345866B (zh) * | 2018-03-08 | 2021-08-24 | 天津师范大学 | 一种基于深度特征学习的行人再识别方法 |
| CN108960140B (zh) * | 2018-07-04 | 2021-04-27 | 国家新闻出版广电总局广播科学研究院 | 基于多区域特征提取和融合的行人再识别方法 |
| CN108960140A (zh) * | 2018-07-04 | 2018-12-07 | 国家新闻出版广电总局广播科学研究院 | 基于多区域特征提取和融合的行人再识别方法 |
| CN109145759A (zh) * | 2018-07-25 | 2019-01-04 | 腾讯科技（深圳）有限公司 | 车辆属性识别方法、装置、服务器及存储介质 |
| CN109145759B (zh) * | 2018-07-25 | 2023-04-18 | 腾讯科技（深圳）有限公司 | 车辆属性识别方法、装置、服务器及存储介质 |
| CN109117888A (zh) * | 2018-08-20 | 2019-01-01 | 北京旷视科技有限公司 | 目标对象识别方法及其神经网络生成方法以及装置 |
| CN109271870A (zh) * | 2018-08-21 | 2019-01-25 | 平安科技（深圳）有限公司 | 行人重识别方法、装置、计算机设备及存储介质 |
| CN109271870B (zh) * | 2018-08-21 | 2023-12-26 | 平安科技（深圳）有限公司 | 行人重识别方法、装置、计算机设备及存储介质 |
| CN109635634A (zh) * | 2018-10-29 | 2019-04-16 | 西北大学 | 一种基于随机线性插值的行人再识别数据增强方法 |
| CN109635634B (zh) * | 2018-10-29 | 2023-03-31 | 西北大学 | 一种基于随机线性插值的行人再识别数据增强方法 |
| CN109614853A (zh) * | 2018-10-30 | 2019-04-12 | 国家新闻出版广电总局广播科学研究院 | 一种基于身体结构划分的双线性行人再识别网络构建方法 |
| CN109635636A (zh) * | 2018-10-30 | 2019-04-16 | 国家新闻出版广电总局广播科学研究院 | 基于属性特征和加权的分块特征相融合的行人再识别方法 |
| CN109635636B (zh) * | 2018-10-30 | 2023-05-09 | 国家新闻出版广电总局广播科学研究院 | 基于属性特征和加权的分块特征相融合的行人再识别方法 |
| CN111238524B (zh) * | 2018-11-28 | 2021-12-14 | 驭势科技（北京）有限公司 | 视觉定位方法以及装置 |
| CN111238524A (zh) * | 2018-11-28 | 2020-06-05 | 驭势科技（北京）有限公司 | 视觉定位方法以及装置 |
| CN110032940A (zh) * | 2019-03-13 | 2019-07-19 | 华中科技大学 | 一种视频行人重识别的方法和系统 |
| CN110032940B (zh) * | 2019-03-13 | 2020-11-24 | 华中科技大学 | 一种视频行人重识别的方法和系统 |
| CN109934177A (zh) * | 2019-03-15 | 2019-06-25 | 艾特城信息科技有限公司 | 行人再识别方法、系统及计算机可读存储介质 |
| CN110084134A (zh) * | 2019-04-03 | 2019-08-02 | 东华大学 | 一种基于级联神经网络和特征融合的人脸考勤系统 |
| CN111914599A (zh) * | 2019-05-09 | 2020-11-10 | 四川大学 | 一种基于语义信息多层特征融合的细粒度鸟类识别方法 |
| CN111914599B (zh) * | 2019-05-09 | 2022-09-02 | 四川大学 | 一种基于语义信息多层特征融合的细粒度鸟类识别方法 |
| CN110490060B (zh) * | 2019-07-10 | 2020-09-11 | 特斯联（北京）科技有限公司 | 一种基于机器学习硬件架构的安防前端视频设备 |
| CN110490060A (zh) * | 2019-07-10 | 2019-11-22 | 特斯联（北京）科技有限公司 | 一种基于机器学习硬件架构的安防前端视频设备 |
| CN110334675A (zh) * | 2019-07-11 | 2019-10-15 | 山东大学 | 一种基于人体骨骼关键点分割和列卷积的行人重识别方法 |
| CN110334675B (zh) * | 2019-07-11 | 2022-12-27 | 山东大学 | 一种基于人体骨骼关键点分割和列卷积的行人重识别方法 |
| CN110378301B (zh) * | 2019-07-24 | 2024-01-19 | 北京中星微电子有限公司 | 行人重识别方法及系统 |
| CN110378301A (zh) * | 2019-07-24 | 2019-10-25 | 北京中星微电子有限公司 | 行人重识别方法及系统 |
| CN110619271A (zh) * | 2019-08-12 | 2019-12-27 | 浙江浩腾电子科技股份有限公司 | 一种基于深度区域特征连接的行人重识别方法 |
| CN110533184A (zh) * | 2019-08-31 | 2019-12-03 | 南京人工智能高等研究院有限公司 | 一种网络模型的训练方法及装置 |
| CN110991533A (zh) * | 2019-12-03 | 2020-04-10 | Oppo广东移动通信有限公司 | 图像识别方法、识别装置、终端设备及可读存储介质 |
| CN110991533B (zh) * | 2019-12-03 | 2023-08-04 | Oppo广东移动通信有限公司 | 图像识别方法、识别装置、终端设备及可读存储介质 |
| CN111680560A (zh) * | 2020-05-07 | 2020-09-18 | 南通大学 | 一种基于时空特征的行人再识别方法 |
| CN112070100A (zh) * | 2020-09-11 | 2020-12-11 | 深圳力维智联技术有限公司 | 基于深度学习模型的图像特征识别方法、装置及存储介质 |
| CN112733814B (zh) * | 2021-03-30 | 2021-06-22 | 上海闪马智能科技有限公司 | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 |
| CN112733814A (zh) * | 2021-03-30 | 2021-04-30 | 上海闪马智能科技有限公司 | 一种基于深度学习的行人徘徊滞留检测方法、系统及介质 |
| CN113408356A (zh) * | 2021-05-21 | 2021-09-17 | 深圳市广电信义科技有限公司 | 基于深度学习的行人重识别方法、装置、设备及存储介质 |
| CN117270479A (zh) * | 2023-11-21 | 2023-12-22 | 清远欧派集成家居有限公司 | 造型板多工序加工生产线监测方法及系统 |
| CN117270479B (zh) * | 2023-11-21 | 2024-02-06 | 清远欧派集成家居有限公司 | 造型板多工序加工生产线监测方法及系统 |
| CN118570846A (zh) * | 2024-08-05 | 2024-08-30 | 杭州登虹科技有限公司 | 复杂场景下基于多模态信息辅助的人员重识别方法、装置和电子设备 |
| CN118570846B (zh) * | 2024-08-05 | 2024-10-29 | 杭州登虹科技有限公司 | 复杂场景下基于多模态信息辅助的人员重识别方法、装置和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108229444B (zh) | 2021-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229444A (zh) | 一种基于整体和局部深度特征融合的行人再识别方法 | |
| CN110163110B (zh) | 一种基于迁移学习和深度特征融合的行人重识别方法 | |
| CN109034044B (zh) | 一种基于融合卷积神经网络的行人再识别方法 | |
| CN105069746B (zh) | 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统 | |
| CN108764308A (zh) | 一种基于卷积循环网络的行人重识别方法 | |
| CN110021051A (zh) | 一种基于生成对抗网络通过文本指导的人物图像生成方法 | |
| CN110223272A (zh) | 身体成像 | |
| CN108509910A (zh) | 基于fmcw雷达信号的深度学习手势识别方法 | |
| CN104268593A (zh) | 一种小样本情况下多稀疏表示的人脸识别方法 | |
| CN109344713B (zh) | 一种姿态鲁棒的人脸识别方法 | |
| CN109284767A (zh) | 一种基于增广样本和多流层的行人检索方法 | |
| CN104318215B (zh) | 一种基于域鲁棒卷积特征学习的交叉视角人脸识别方法 | |
| CN107292259A (zh) | 基于AdaRank的深度特征和传统特征的集成方法 | |
| CN108805149A (zh) | 一种视觉同步定位与地图构建的回环检测方法及装置 | |
| CN104298974A (zh) | 一种基于深度视频序列的人体行为识别方法 | |
| CN110210462A (zh) | 一种基于卷积神经网络的仿生海马认知地图构建方法 | |
| CN110008861A (zh) | 一种基于全局和局部特征学习的行人再识别方法 | |
| CN110210550A (zh) | 基于集成学习策略的图像细粒度识别方法 | |
| CN111881716A (zh) | 一种基于多视角生成对抗网络的行人重识别方法 | |
| CN110532914A (zh) | 基于精细特征学习的建筑物检测方法 | |
| CN109741301A (zh) | 一种更快的基于深度学习的密集目标计数方法 | |
| CN109145944A (zh) | 一种基于纵向三维图像深度学习特征的分类方法 | |
| Kishore et al. | Continuous sign language recognition from tracking and shape features using fuzzy inference engine | |
| CN114495163B (zh) | 基于类别激活映射的行人重识别生成学习方法 | |
| CN109740672A (zh) | 多流特征距离融合系统与融合方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230511 Address after: Room 101, 1st to 4th floors, Building 7, No. 13 Ronghua South Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing 102600 Patentee after: GUOQI (BEIJING) INTELLIGENT NETWORK ASSOCIATION AUTOMOTIVE RESEARCH INSTITUTE Co.,Ltd. Address before: 300387 Tianjin city Xiqing District West Binshui Road No. 393 Patentee before: TIANJIN NORMAL University |
|
| TR01 | Transfer of patent right |