CN108764096B - 一种行人重识别系统和方法 - Google Patents
一种行人重识别系统和方法 Download PDFInfo
- Publication number
- CN108764096B CN108764096B CN201810489200.6A CN201810489200A CN108764096B CN 108764096 B CN108764096 B CN 108764096B CN 201810489200 A CN201810489200 A CN 201810489200A CN 108764096 B CN108764096 B CN 108764096B
- Authority
- CN
- China
- Prior art keywords
- unit
- feature
- training
- local
- pedestrian
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开行人重识别系统,包括第一特征训练模块、第二特征训练模块、局部划分训练模块和识别模块;第一特征训练模块采用多尺度局部特征竞争选择技术构造新的分类器Cw;第一特征训练模块包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;第二特征训练模块获取整个神经网络的最优参数;局部划分训练模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记;识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类。
Description
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种行人重识别系统和方法。
背景技术
由于维护社会治安和实现智能交通的需要,视频监控系统得到了广泛应用,街道、车站、广场、超市、学校、医院等公共场所遍布摄像头。为了更加有效的对视频数据进行分析,一些智能技术如人脸识别技术等被用于为人工检索提供帮助。但是,目前大部分已安装的用于覆盖大场景的摄像头精度尚不足以保证拍摄的人脸清晰可辨,此时需要通过行人的整体视觉特征进行身份识别,这使得行人重识别技术在近年来得到高度关注。行人重识别的任务是在面部无法有效辨识的情况下,能够通过其他视觉特征识别,布设多个不同位置和不同角度的摄像头拍到的图像中的同一行人的身份。
可更进一步描述为:任意给出某行人在某个摄像头中的一次出现,可以自动在所有摄像头拍摄到的行人图像中正确检索该行人。
该技术的主要难度在于行人在不同背景、不同光照、不同视角、不同遮挡情况和不同品牌摄像头中呈现出较大的视觉差异。另外,由于自动行人检测方法带来的误差等原因,从场景中提取到的行人图像可能出现身体未对齐,或者部分区域缺失的情况。
由于深度学习在众多识别问题中表现出的压倒其他方法的优异性能,卷积神经网络被广泛应用于计算机视觉的各个领域,行人重识别领域也出现了许多基于深度学习的识别方法。多个研究表明,与传统的手工提取特征相比,
利用卷积神经网络自动学习到的特征空间能够更好的表征不同身份行人的差异性,从而大大提高行人重识别的精度。
另有研究表明,将行人图像划分为几个区域并提取局部特征,作为整体特征的补充,优于只采用整体特征的识别方法。
发明内容
本发明的目的在于提供一种行人重识别系统和方法,用以解决现有的计算机视觉技术对行人重识别的精度较低的问题。
为实现上述目的,本发明的技术方案为
一种行人重识别系统,包括第一特征训练模块、第二特征训练模块、局部划分训练模块和识别模块;
所述第一特征训练模块用于在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;所述第一特征训练模块包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第二特征训练模块用于在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
所述局部划分训练模块用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
其中,所述第一特征训练模块包括第一数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第一数据预处理单元用于将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
所述特征池化单元用于对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
所述特征降维单元用于对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
所述特征分类单元用于将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
所述新分类器构造单元用于将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
其中,所述第二特征训练模块包括归一化角度度量单元、最优参数获取单元和第一持续训练单元;
所述归一化角度度量单元用于将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
所述最优参数获取单元用于将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
所述第一持续训练单元用于将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
其中,所述局部划分训练模块包括第二数据预处理单元、第一训练模型及参数加载单元、分类器训练单元和第一训练单元;
所述第二数据预处理单元与所述第一数据预处理单元一致;
所述训练模型及参数加载单元用于加载训练模型及参数;
所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
其中,所述识别模块包括第三数据预处理单元、第二训练模型及参数加载单元、有效特征提取单元、两个图像距离度量单元和任意图像距离度量单元;
所述第三数据预处理单元与所述第一数据预处理单元一致;
所述第二训练模型及参数加载单元用于加载训练模型及参数;
所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
所述两个图像距离度量单元用于计算两行人图像的距离;
所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
一种行人重识别方法,包括步骤:
步骤1:所述第一特征训练模块在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;
步骤2:所述第二特征训练模块在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
步骤3:所述局部划分训练模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤4:所述识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
其中,所述第一特征训练模块在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw包括:
步骤1.1:所述第一数据预处理单元将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
步骤1.2:所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
步骤1.3:所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
步骤1.4:所述特征池化单元对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
步骤1.5:所述特征降维单元对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
步骤1.6:所述特征分类单元将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
步骤1.7:所述新分类器构造单元将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
其中,所述第二特征训练模块在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数包括:
步骤2.1:所述归一化角度度量单元将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
步骤2.2:所述最优参数获取单元将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
步骤2.3:所述第一持续训练单元将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
其中,所述局部划分训练模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck包括:
步骤3.1:所述第二数据预处理单元与所述第一数据预处理单元一致;
步骤3.2:所述训练模型及参数加载单元用于加载训练模型及参数;
步骤3.3:所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤3.4:所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
其中,所述识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征包括:
步骤4.1:所述第三数据预处理单元与所述第一数据预处理单元一致;
步骤4.2:所述第二训练模型及参数加载单元用于加载训练模型及参数;
步骤4.3:所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
步骤4.4:所述两个图像距离度量单元用于计算两行人图像的距离;
步骤4.5:所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
本发明具有如下优点:
一种行人重识别系统,包括第一特征训练模块、第二特征训练模块、局部划分训练模块和识别模块;
所述第一特征训练模块用于在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;所述第一特征训练模块包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第二特征训练模块用于在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
所述局部划分训练模块用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
利用卷积神经网络自动学习特征空间能够更好的表征不同身份行人的差异性,从而大大提高行人重识别的精度;将行人图像划分为几个区域并提取局部特征作为整体特征的补充,优于只采用整体特征的识别方法,可以提高行人重识别的精度。
附图说明
图1是本发明的行人重识别系统的功能模块图。
1-第一特征训练模块;2-第一特征训练模块;3-局部划分训练模块;4-识别模块。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例1
本实施例1的行人重识别系统,包括第一特征训练模块1、第二特征训练模块2、局部划分训练模块3和识别模块4;
所述第一特征训练模块1用于在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;所述第一特征训练模块1包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第二特征训练模块2用于在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
所述局部划分训练模块3用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述识别模块4将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
利用卷积神经网络自动学习特征空间能够更好的表征不同身份行人的差异性,从而大大提高行人重识别的精度;将行人图像划分为几个区域并提取局部特征作为整体特征的补充,优于只采用整体特征的识别方法,可以提高行人重识别的精度。
实施例2
进一步,在实施例1的基础上:
所述第一特征训练模块1包括第一数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第一数据预处理单元用于将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
所述特征池化单元用于对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
所述特征降维单元用于对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
所述特征分类单元用于将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
所述新分类器构造单元用于将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
所述第二特征训练模块2包括归一化角度度量单元、最优参数获取单元和第一持续训练单元;
所述归一化角度度量单元用于将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
所述最优参数获取单元用于将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
所述第一持续训练单元用于将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
所述局部划分训练模块3包括第二数据预处理单元、第一训练模型及参数加载单元、分类器训练单元和第一训练单元;
所述第二数据预处理单元与所述第一数据预处理单元一致;
所述训练模型及参数加载单元用于加载训练模型及参数;
所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
所述识别模块4包括第三数据预处理单元、第二训练模型及参数加载单元、有效特征提取单元、两个图像距离度量单元和任意图像距离度量单元;
所述第三数据预处理单元与所述第一数据预处理单元一致;
所述第二训练模型及参数加载单元用于加载训练模型及参数;
所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
所述两个图像距离度量单元用于计算两行人图像的距离;
所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
实施例3
进一步,在实施例2的基础上:
一种行人重识别方法,包括步骤:
步骤1:所述第一特征训练模块1在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;
步骤2:所述第二特征训练模块2在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
步骤3:所述局部划分训练模块3将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤4:所述识别模块4将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
所述第一特征训练模块1在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw包括:
步骤1.1:所述第一数据预处理单元将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
步骤1.2:所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
步骤1.3:所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
步骤1.4:所述特征池化单元对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
步骤1.5:所述特征降维单元对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
步骤1.6:所述特征分类单元将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
步骤1.7:所述新分类器构造单元将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
所述第二特征训练模块2在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数包括:
步骤2.1:所述归一化角度度量单元将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
步骤2.2:所述最优参数获取单元将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
步骤2.3:所述第一持续训练单元将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
所述局部划分训练模块3将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck包括:
步骤3.1:所述第二数据预处理单元与所述第一数据预处理单元一致;
步骤3.2:所述训练模型及参数加载单元用于加载训练模型及参数;
步骤3.3:所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤3.4:所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
所述识别模块4将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征包括:
步骤4.1:所述第三数据预处理单元与所述第一数据预处理单元一致;
步骤4.2:所述第二训练模型及参数加载单元用于加载训练模型及参数;
步骤4.3:所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
步骤4.4:所述两个图像距离度量单元用于计算两行人图像的距离;
步骤4.5:所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。
Claims (9)
1.一种行人重识别系统,其特征在于,包括第一特征训练模块(1)、第二特征训练模块(2)、局部划分训练模块(3)和识别模块(4);
所述第一特征训练模块(1)用于在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;所述第一特征训练模块(1)包括第一数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第二特征训练模块(2)用于在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
所述局部划分训练模块(3)用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个局部划分分类器Ck;
所述识别模块(4)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
所述第一数据预处理单元用于将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
所述特征池化单元用于对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
所述特征降维单元用于对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
所述特征分类单元用于将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
所述新分类器构造单元用于将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
2.根据权利要求1所述行人重识别系统,其特征在于,所述第二特征训练模块(2)包括归一化角度度量单元、最优参数获取单元和第一持续训练单元;
所述归一化角度度量单元用于将提取到的不同行人的特征映射到单位超球面上,从而保证在流型上特征的类间距离充分大同时类内距离更加紧凑;
所述最优参数获取单元用于将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
所述第一持续训练单元用于将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
3.根据权利要求2所述行人重识别系统,其特征在于,所述局部划分训练模块(3)包括第二数据预处理单元、第一训练模型及参数加载单元、分类器训练单元和第一训练单元;
所述第二数据预处理单元与所述第一数据预处理单元一致;
所述第一训练模型及参数加载单元用于加载训练模型及参数;
所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个局部划分分类器Ck;
所述第一训练单元用于在只允许Ck为可变参数时,用SGD方法反向传播训练至其收敛。
4.根据权利要求3所述行人重识别系统,其特征在于,所述识别模块(4)包括第三数据预处理单元、第二训练模型及参数加载单元、有效特征提取单元、两个图像距离度量单元和任意图像距离度量单元;
所述第三数据预处理单元与所述第一数据预处理单元一致;
所述第二训练模型及参数加载单元用于加载训练模型及参数;
所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
所述两个图像距离度量单元用于计算两行人图像的距离;
所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
5.一种行人重识别方法,用于权利要求4所述行人重识别系统,其特征在于,包括步骤:
步骤1:所述第一特征训练模块(1)在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;
步骤2:所述第二特征训练模块(2)在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
步骤3:所述局部划分训练模块(3)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个局部划分分类器Ck;
步骤4:所述识别模块(4)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
6.根据权利要求5所述行人重识别方法,其特征在于,所述第一特征训练模块(1)在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw包括:
步骤1.1:所述第一数据预处理单元将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
步骤1.2:所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
步骤1.3:所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
步骤1.4:所述特征池化单元对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
步骤1.5:所述特征降维单元对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
步骤1.6:所述特征分类单元将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
步骤1.7:所述新分类器构造单元将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
7.根据权利要求6所述行人重识别方法,其特征在于,所述第二特征训练模块(2)在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数包括:
步骤2.1:所述归一化角度度量单元将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
步骤2.2:所述最优参数获取单元将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
步骤2.3:所述第一持续训练单元将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
8.根据权利要求7所述行人重识别方法,其特征在于,所述局部划分训练模块(3)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个局部划分分类器Ck包括:
步骤3.1:所述第二数据预处理单元与所述第一数据预处理单元一致;
步骤3.2:所述第一训练模型及参数加载单元用于加载训练模型及参数;
步骤3.3:所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个局部划分分类器Ck;
步骤3.4:所述第一训练单元用于在只允许Ck为可变参数时,用SGD方法反向传播训练至其收敛。
9.根据权利要求8所述行人重识别方法,其特征在于,所述识别模块(4)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征包括:
步骤4.1:所述第三数据预处理单元与所述第一数据预处理单元一致;
步骤4.2:所述第二训练模型及参数加载单元用于加载训练模型及参数;
步骤4.3:所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
步骤4.4:所述两个图像距离度量单元用于计算两行人图像的距离;
步骤4.5:所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810489200.6A CN108764096B (zh) | 2018-05-21 | 2018-05-21 | 一种行人重识别系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810489200.6A CN108764096B (zh) | 2018-05-21 | 2018-05-21 | 一种行人重识别系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108764096A CN108764096A (zh) | 2018-11-06 |
CN108764096B true CN108764096B (zh) | 2022-04-29 |
Family
ID=64008564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810489200.6A Active CN108764096B (zh) | 2018-05-21 | 2018-05-21 | 一种行人重识别系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108764096B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110096947A (zh) * | 2019-03-15 | 2019-08-06 | 昆明理工大学 | 一种基于深度学习的行人再识别算法 |
CN111753583A (zh) * | 2019-03-28 | 2020-10-09 | 阿里巴巴集团控股有限公司 | 一种识别方法及装置 |
CN110163271B (zh) * | 2019-05-13 | 2020-12-01 | 武汉大学 | 一种基于球面投影网格和球面卷积的全景影像目标检测方法 |
CN110674685B (zh) * | 2019-08-19 | 2022-05-31 | 电子科技大学 | 一种基于边缘信息增强的人体解析分割模型及方法 |
CN111275055B (zh) * | 2020-01-21 | 2023-06-06 | 北京市商汤科技开发有限公司 | 网络训练方法及装置、图像处理方法及装置 |
CN111598067B (zh) * | 2020-07-24 | 2020-11-10 | 浙江大华技术股份有限公司 | 视频中重识别训练方法、重识别方法及存储装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709478A (zh) * | 2017-02-22 | 2017-05-24 | 桂林电子科技大学 | 一种行人图像特征分类方法和系统 |
CN107657281A (zh) * | 2017-09-28 | 2018-02-02 | 辽宁工程技术大学 | 一种基于改进的卷积神经网络的图像识别方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8725660B2 (en) * | 2009-07-30 | 2014-05-13 | Hewlett-Packard Development Company, L.P. | Applying non-linear transformation of feature values for training a classifier |
-
2018
- 2018-05-21 CN CN201810489200.6A patent/CN108764096B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106709478A (zh) * | 2017-02-22 | 2017-05-24 | 桂林电子科技大学 | 一种行人图像特征分类方法和系统 |
CN107657281A (zh) * | 2017-09-28 | 2018-02-02 | 辽宁工程技术大学 | 一种基于改进的卷积神经网络的图像识别方法 |
Also Published As
Publication number | Publication date |
---|---|
CN108764096A (zh) | 2018-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108764096B (zh) | 一种行人重识别系统和方法 | |
González et al. | On-board object detection: Multicue, multimodal, and multiview random forest of local experts | |
WO2019169816A1 (zh) | 一种用于精细化识别车辆属性的深度神经网络及训练方法 | |
Wojek et al. | Multi-cue onboard pedestrian detection | |
CN108460403A (zh) | 一种图像中多尺度特征融合的目标检测方法与系统 | |
CN102663411B (zh) | 一种目标人体识别方法 | |
Khan et al. | 3D model based vehicle classification in aerial imagery | |
CN103942577A (zh) | 视频监控中基于自建立样本库及混合特征的身份识别方法 | |
Walk et al. | Disparity statistics for pedestrian detection: Combining appearance, motion and stereo | |
CN111582178B (zh) | 基于多方位信息和多分支神经网络车辆重识别方法及系统 | |
Alvarez et al. | Road geometry classification by adaptive shape models | |
Lee et al. | Near-infrared-based nighttime pedestrian detection using grouped part models | |
CN107463917A (zh) | 一种基于改进的ltp与二维双向pca融合的人脸特征提取方法 | |
CN104200228A (zh) | 一种安全带识别方法与系统 | |
Zang et al. | Traffic lane detection using fully convolutional neural network | |
CN104008404B (zh) | 一种基于显著直方图特征的行人检测方法及系统 | |
CN109165698A (zh) | 一种面向智慧交通的图像分类识别方法及其存储介质 | |
Li et al. | Multi-view vehicle detection based on fusion part model with active learning | |
CN103150575A (zh) | 一种实时三维无标记人体姿态识别方法及系统 | |
CN110909582B (zh) | 一种人脸识别的方法及设备 | |
CN104008374A (zh) | 一种矿井图像中基于条件随机场的矿工检测方法 | |
CN116229511A (zh) | 基于金丝猴躯干特征提取的身份重识别方法 | |
CN110458234A (zh) | 一种基于深度学习的以图搜车方法 | |
CN114627500A (zh) | 一种基于卷积神经网络的跨模态行人重识别方法 | |
CN112613430B (zh) | 一种基于深度迁移学习的步态识别方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |