CN108764096A - 一种行人重识别系统和方法 - Google Patents

一种行人重识别系统和方法 Download PDF

Info

Publication number
CN108764096A
CN108764096A CN201810489200.6A CN201810489200A CN108764096A CN 108764096 A CN108764096 A CN 108764096A CN 201810489200 A CN201810489200 A CN 201810489200A CN 108764096 A CN108764096 A CN 108764096A
Authority
CN
China
Prior art keywords
feature
unit
training
pedestrian
grader
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810489200.6A
Other languages
English (en)
Other versions
CN108764096B (zh
Inventor
徐家臻
王勤业
邓伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong Normal University
Original Assignee
Huazhong Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong Normal University filed Critical Huazhong Normal University
Priority to CN201810489200.6A priority Critical patent/CN108764096B/zh
Publication of CN108764096A publication Critical patent/CN108764096A/zh
Application granted granted Critical
Publication of CN108764096B publication Critical patent/CN108764096B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Abstract

本发明公开行人重识别系统,包括第一特征训练模块、第二特征训练模块、局部划分训练模块和识别模块;第一特征训练模块采用多尺度局部特征竞争选择技术构造新的分类器Cw;第一特征训练模块包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;第二特征训练模块获取整个神经网络的最优参数;局部划分训练模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记;识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类。

Description

一种行人重识别系统和方法
技术领域
本发明涉及计算机视觉技术领域,具体涉及一种行人重识别系统和方法。
背景技术
由于维护社会治安和实现智能交通的需要,视频监控系统得到了广泛应用,街道、车站、广场、超市、学校、医院等公共场所遍布摄像头。为了更加有效的对视频数据进行分析,一些智能技术如人脸识别技术等被用于为人工检索提供帮助。但是,目前大部分已安装的用于覆盖大场景的摄像头精度尚不足以保证拍摄的人脸清晰可辨,此时需要通过行人的整体视觉特征进行身份识别,这使得行人重识别技术在近年来得到高度关注。行人重识别的任务是在面部无法有效辨识的情况下,能够通过其他视觉特征识别,布设多个不同位置和不同角度的摄像头拍到的图像中的同一行人的身份。
可更进一步描述为:任意给出某行人在某个摄像头中的一次出现,可以自动在所有摄像头拍摄到的行人图像中正确检索该行人。
该技术的主要难度在于行人在不同背景、不同光照、不同视角、不同遮挡情况和不同品牌摄像头中呈现出较大的视觉差异。另外,由于自动行人检测方法带来的误差等原因,从场景中提取到的行人图像可能出现身体未对齐,或者部分区域缺失的情况。
由于深度学习在众多识别问题中表现出的压倒其他方法的优异性能,卷积神经网络被广泛应用于计算机视觉的各个领域,行人重识别领域也出现了许多基于深度学习的识别方法。多个研究表明,与传统的手工提取特征相比,
利用卷积神经网络自动学习到的特征空间能够更好的表征不同身份行人的差异性,从而大大提高行人重识别的精度。
另有研究表明,将行人图像划分为几个区域并提取局部特征,作为整体特征的补充,优于只采用整体特征的识别方法。
发明内容
本发明的目的在于提供一种行人重识别系统和方法,用以解决现有的计算机视觉技术对行人重识别的精度较低的问题。
为实现上述目的,本发明的技术方案为
一种行人重识别系统,包括第一特征训练模块、第二特征训练模块、局部划分训练模块和识别模块;
所述第一特征训练模块用于在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;所述第一特征训练模块包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第二特征训练模块用于在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
所述局部划分训练模块用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
其中,所述第一特征训练模块包括第一数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第一数据预处理单元用于将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
所述特征池化单元用于对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
所述特征降维单元用于对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
所述特征分类单元用于将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
所述新分类器构造单元用于将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
其中,所述第二特征训练模块包括归一化角度度量单元、最优参数获取单元和第一持续训练单元;
所述归一化角度度量单元用于将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
所述最优参数获取单元用于将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
所述第一持续训练单元用于将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
其中,所述局部划分训练模块包括第二数据预处理单元、第一训练模型及参数加载单元、分类器训练单元和第一训练单元;
所述第二数据预处理单元与所述第一数据预处理单元一致;
所述训练模型及参数加载单元用于加载训练模型及参数;
所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
其中,所述识别模块包括第三数据预处理单元、第二训练模型及参数加载单元、有效特征提取单元、两个图像距离度量单元和任意图像距离度量单元;
所述第三数据预处理单元与所述第一数据预处理单元一致;
所述第二训练模型及参数加载单元用于加载训练模型及参数;
所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
所述两个图像距离度量单元用于计算两行人图像的距离;
所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
一种行人重识别方法,包括步骤:
步骤1:所述第一特征训练模块在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;
步骤2:所述第二特征训练模块在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
步骤3:所述局部划分训练模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤4:所述识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
其中,所述第一特征训练模块在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw包括:
步骤1.1:所述第一数据预处理单元将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
步骤1.2:所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
步骤1.3:所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
步骤1.4:所述特征池化单元对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
步骤1.5:所述特征降维单元对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
步骤1.6:所述特征分类单元将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
步骤1.7:所述新分类器构造单元将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
其中,所述第二特征训练模块在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数包括:
步骤2.1:所述归一化角度度量单元将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
步骤2.2:所述最优参数获取单元将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
步骤2.3:所述第一持续训练单元将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
其中,所述局部划分训练模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck包括:
步骤3.1:所述第二数据预处理单元与所述第一数据预处理单元一致;
步骤3.2:所述训练模型及参数加载单元用于加载训练模型及参数;
步骤3.3:所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤3.4:所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
其中,所述识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征包括:
步骤4.1:所述第三数据预处理单元与所述第一数据预处理单元一致;
步骤4.2:所述第二训练模型及参数加载单元用于加载训练模型及参数;
步骤4.3:所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
步骤4.4:所述两个图像距离度量单元用于计算两行人图像的距离;
步骤4.5:所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
本发明具有如下优点:
一种行人重识别系统,包括第一特征训练模块、第二特征训练模块、局部划分训练模块和识别模块;
所述第一特征训练模块用于在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;所述第一特征训练模块包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第二特征训练模块用于在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
所述局部划分训练模块用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述识别模块将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
利用卷积神经网络自动学习特征空间能够更好的表征不同身份行人的差异性,从而大大提高行人重识别的精度;将行人图像划分为几个区域并提取局部特征作为整体特征的补充,优于只采用整体特征的识别方法,可以提高行人重识别的精度。
附图说明
图1是本发明的行人重识别系统的功能模块图。
1-第一特征训练模块;2-第一特征训练模块;3-局部划分训练模块;4-识别模块。
具体实施方式
以下实施例用于说明本发明,但不用来限制本发明的范围。
实施例1
本实施例1的行人重识别系统,包括第一特征训练模块1、第二特征训练模块2、局部划分训练模块3和识别模块4;
所述第一特征训练模块1用于在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;所述第一特征训练模块1包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第二特征训练模块2用于在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
所述局部划分训练模块3用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述识别模块4将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
利用卷积神经网络自动学习特征空间能够更好的表征不同身份行人的差异性,从而大大提高行人重识别的精度;将行人图像划分为几个区域并提取局部特征作为整体特征的补充,优于只采用整体特征的识别方法,可以提高行人重识别的精度。
实施例2
进一步,在实施例1的基础上:
所述第一特征训练模块1包括第一数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第一数据预处理单元用于将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
所述特征池化单元用于对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
所述特征降维单元用于对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
所述特征分类单元用于将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
所述新分类器构造单元用于将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
所述第二特征训练模块2包括归一化角度度量单元、最优参数获取单元和第一持续训练单元;
所述归一化角度度量单元用于将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
所述最优参数获取单元用于将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
所述第一持续训练单元用于将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
所述局部划分训练模块3包括第二数据预处理单元、第一训练模型及参数加载单元、分类器训练单元和第一训练单元;
所述第二数据预处理单元与所述第一数据预处理单元一致;
所述训练模型及参数加载单元用于加载训练模型及参数;
所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
所述识别模块4包括第三数据预处理单元、第二训练模型及参数加载单元、有效特征提取单元、两个图像距离度量单元和任意图像距离度量单元;
所述第三数据预处理单元与所述第一数据预处理单元一致;
所述第二训练模型及参数加载单元用于加载训练模型及参数;
所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
所述两个图像距离度量单元用于计算两行人图像的距离;
所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
实施例3
进一步,在实施例2的基础上:
一种行人重识别方法,包括步骤:
步骤1:所述第一特征训练模块1在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;
步骤2:所述第二特征训练模块2在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
步骤3:所述局部划分训练模块3将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤4:所述识别模块4将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
所述第一特征训练模块1在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw包括:
步骤1.1:所述第一数据预处理单元将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
步骤1.2:所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
步骤1.3:所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
步骤1.4:所述特征池化单元对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
步骤1.5:所述特征降维单元对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
步骤1.6:所述特征分类单元将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
步骤1.7:所述新分类器构造单元将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
所述第二特征训练模块2在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数包括:
步骤2.1:所述归一化角度度量单元将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
步骤2.2:所述最优参数获取单元将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
步骤2.3:所述第一持续训练单元将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
所述局部划分训练模块3将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck包括:
步骤3.1:所述第二数据预处理单元与所述第一数据预处理单元一致;
步骤3.2:所述训练模型及参数加载单元用于加载训练模型及参数;
步骤3.3:所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤3.4:所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
所述识别模块4将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征包括:
步骤4.1:所述第三数据预处理单元与所述第一数据预处理单元一致;
步骤4.2:所述第二训练模型及参数加载单元用于加载训练模型及参数;
步骤4.3:所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
步骤4.4:所述两个图像距离度量单元用于计算两行人图像的距离;
步骤4.5:所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
虽然,上文中已经用一般性说明及具体实施例对本发明作了详尽的描述,但在本发明基础上,可以对之作一些修改或改进,这对本领域技术人员而言是显而易见的。因此,在不偏离本发明精神的基础上所做的这些修改或改进,均属于本发明要求保护的范围。

Claims (10)

1.一种行人重识别系统,其特征在于,包括第一特征训练模块(1)、第二特征训练模块(2)、局部划分训练模块(3)和识别模块(4);
所述第一特征训练模块(1)用于在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;所述第一特征训练模块(1)包括数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第二特征训练模块(2)用于在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
所述局部划分训练模块(3)用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述识别模块(4)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
2.根据权利要求1所述行人重识别系统,其特征在于,所述第一特征训练模块(1)包括第一数据预处理单元、主干网络设置单元、特征分组单元、特征池化单元、特征降维单元、特征分类单元和新分类器构造单元;
所述第一数据预处理单元用于将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
所述特征池化单元用于对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
所述特征降维单元用于对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
所述特征分类单元用于将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
所述新分类器构造单元用于将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
3.根据权利要求2所述行人重识别系统,其特征在于,所述第二特征训练模块(2)包括归一化角度度量单元、最优参数获取单元和第一持续训练单元;
所述归一化角度度量单元用于将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
所述最优参数获取单元用于将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
所述第一持续训练单元用于将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
4.根据权利要求3所述行人重识别系统,其特征在于,所述局部划分训练模块(3)包括第二数据预处理单元、第一训练模型及参数加载单元、分类器训练单元和第一训练单元;
所述第二数据预处理单元与所述第一数据预处理单元一致;
所述训练模型及参数加载单元用于加载训练模型及参数;
所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
5.根据权利要求4所述行人重识别系统,其特征在于,所述识别模块(4)包括第三数据预处理单元、第二训练模型及参数加载单元、有效特征提取单元、两个图像距离度量单元和任意图像距离度量单元;
所述第三数据预处理单元与所述第一数据预处理单元一致;
所述第二训练模型及参数加载单元用于加载训练模型及参数;
所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
所述两个图像距离度量单元用于计算两行人图像的距离;
所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
6.一种行人重识别方法,用于权利要求5所述行人重识别系统,其特征在于,包括步骤:
步骤1:所述第一特征训练模块(1)在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw;
步骤2:所述第二特征训练模块(2)在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数;
步骤3:所述局部划分训练模块(3)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤4:所述识别模块(4)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征。
7.根据权利要求6所述行人重识别方法,其特征在于,所述第一特征训练模块(1)在基于卷积神经网络的行人重识别方法中采用多尺度局部特征竞争选择技术构造新的分类器Cw包括:
步骤1.1:所述第一数据预处理单元将所有行人图像缩放至统一尺寸作为训练集,并将左右翻转后的图像加入所述训练集进行数据增强;所有数据训练时随机打散,将像素点RGB值减去图像均值做归一化到0至1之间;
步骤1.2:所述主干网络设置单元用ImageNet预训练的ResNet卷积神经网络作为主干网络,其中ResNet最后一个模组不做降采样,以提取行人图像的视觉特征共H/16×W/16×2048维;
步骤1.3:所述特征分组单元将H/16×W/16×2048维特征按n个尺度划分为n组,其中第i组将图像水平划分成si个部分,每个部分包含(M/si)×N×D维特征;
步骤1.4:所述特征池化单元对每个部分的特征进行全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dl维;
步骤1.5:所述特征降维单元对H/16×W/16×2048维特征整体应用全局最大池化和全局平均池化,并用1×1的卷积层进行维度缩减至dg维;
步骤1.6:所述特征分类单元将维度缩减后的每个H维局部特征分别送入各个局部分类器Ci进行分类,多个所述局部分类器Ci互相竞争筛选得到效果最好的k个局部特征;
步骤1.7:所述新分类器构造单元将k个所述局部特征与整体特征组合成一个嵌入特征,且在所述嵌入特征上构造新的分类器Cw。
8.根据权利要求7所述行人重识别方法,其特征在于,所述第二特征训练模块(2)在卷积神经网络的行人重识别方法的基础上获取整个神经网络的最优参数包括:
步骤2.1:所述归一化角度度量单元将提取到的不同行人的特征映射到单位超球面上,从而保证在该流型上特征的类间距离充分大同时类内距离更加紧凑;
步骤2.2:所述最优参数获取单元将k个分类器和分类器的损失函数之和作为总的损失函数,用SGD方法反向传播训练获取整个神经网络的最优参数;
步骤2.3:所述第一持续训练单元将所述损失函数训练至收敛;当学习速率为0.01时训练至少40个epoch,当学习速率为0.001训练至少20个epoch。
9.根据权利要求8所述行人重识别方法,其特征在于,所述局部划分训练模块(3)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck包括:
步骤3.1:所述第二数据预处理单元与所述第一数据预处理单元一致;
步骤3.2:所述训练模型及参数加载单元用于加载训练模型及参数;
步骤3.3:所述分类器训练单元用于将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元对多个局部特征进行标记,据此为每组特征降维单元输出的局部特征训练一个分类器Ck;
步骤3.4:所述第一训练单元用于在只允许Ck为可变参数的时,用SGD方法反向传播训练至其收敛。
10.根据权利要求9所述行人重识别方法,其特征在于,所述识别模块(4)将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征包括:
步骤4.1:所述第三数据预处理单元与所述第一数据预处理单元一致;
步骤4.2:所述第二训练模型及参数加载单元用于加载训练模型及参数;
步骤4.3:所述有效特征提取单元将数据通过加载的ResNet主干网络、特征分组单元、特征池化单元和特征降维单元提取到的特征经过局部划分分类器Ck进行分类,其中Ck分类为正例的特征为有效特征;
步骤4.4:所述两个图像距离度量单元用于计算两行人图像的距离;
步骤4.5:所述任意图像距离度量单元用于对于任意给定的行人图像计算其与所有候选行人图像的距离,并按照从小到大顺序排列作为识别结果。
CN201810489200.6A 2018-05-21 2018-05-21 一种行人重识别系统和方法 Active CN108764096B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810489200.6A CN108764096B (zh) 2018-05-21 2018-05-21 一种行人重识别系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810489200.6A CN108764096B (zh) 2018-05-21 2018-05-21 一种行人重识别系统和方法

Publications (2)

Publication Number Publication Date
CN108764096A true CN108764096A (zh) 2018-11-06
CN108764096B CN108764096B (zh) 2022-04-29

Family

ID=64008564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810489200.6A Active CN108764096B (zh) 2018-05-21 2018-05-21 一种行人重识别系统和方法

Country Status (1)

Country Link
CN (1) CN108764096B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096947A (zh) * 2019-03-15 2019-08-06 昆明理工大学 一种基于深度学习的行人再识别算法
CN110163271A (zh) * 2019-05-13 2019-08-23 武汉大学 一种基于球面投影网格和球面卷积的全景影像目标检测方法
CN110674685A (zh) * 2019-08-19 2020-01-10 电子科技大学 一种基于边缘信息增强的人体解析分割模型及方法
CN111598067A (zh) * 2020-07-24 2020-08-28 浙江大华技术股份有限公司 视频中重识别训练方法、重识别方法及存储装置
CN111753583A (zh) * 2019-03-28 2020-10-09 阿里巴巴集团控股有限公司 一种识别方法及装置
WO2021147199A1 (zh) * 2020-01-21 2021-07-29 北京市商汤科技开发有限公司 网络训练方法及装置、图像处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110029463A1 (en) * 2009-07-30 2011-02-03 Forman George H Applying non-linear transformation of feature values for training a classifier
CN106709478A (zh) * 2017-02-22 2017-05-24 桂林电子科技大学 一种行人图像特征分类方法和系统
CN107657281A (zh) * 2017-09-28 2018-02-02 辽宁工程技术大学 一种基于改进的卷积神经网络的图像识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110029463A1 (en) * 2009-07-30 2011-02-03 Forman George H Applying non-linear transformation of feature values for training a classifier
CN106709478A (zh) * 2017-02-22 2017-05-24 桂林电子科技大学 一种行人图像特征分类方法和系统
CN107657281A (zh) * 2017-09-28 2018-02-02 辽宁工程技术大学 一种基于改进的卷积神经网络的图像识别方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110096947A (zh) * 2019-03-15 2019-08-06 昆明理工大学 一种基于深度学习的行人再识别算法
CN111753583A (zh) * 2019-03-28 2020-10-09 阿里巴巴集团控股有限公司 一种识别方法及装置
CN110163271A (zh) * 2019-05-13 2019-08-23 武汉大学 一种基于球面投影网格和球面卷积的全景影像目标检测方法
CN110674685A (zh) * 2019-08-19 2020-01-10 电子科技大学 一种基于边缘信息增强的人体解析分割模型及方法
CN110674685B (zh) * 2019-08-19 2022-05-31 电子科技大学 一种基于边缘信息增强的人体解析分割模型及方法
WO2021147199A1 (zh) * 2020-01-21 2021-07-29 北京市商汤科技开发有限公司 网络训练方法及装置、图像处理方法及装置
CN111598067A (zh) * 2020-07-24 2020-08-28 浙江大华技术股份有限公司 视频中重识别训练方法、重识别方法及存储装置

Also Published As

Publication number Publication date
CN108764096B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN108764096A (zh) 一种行人重识别系统和方法
Bosquet et al. STDnet: Exploiting high resolution feature maps for small object detection
CN104166841B (zh) 一种视频监控网络中指定行人或车辆的快速检测识别方法
Rachmadi et al. Vehicle color recognition using convolutional neural network
US8213679B2 (en) Method for moving targets tracking and number counting
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN109961051A (zh) 一种基于聚类和分块特征提取的行人重识别方法
CN107133955B (zh) 一种多层次结合的协同显著性检测方法
CN107145867A (zh) 基于多任务深度学习的人脸及人脸遮挡物检测方法
CN110399856A (zh) 特征提取网络训练方法、图像处理方法、装置及其设备
CN106022285A (zh) 一种基于卷积神经网络的车款识别方法及装置
CN108921083A (zh) 基于深度学习目标检测的非法流动摊贩识别方法
CN109376637A (zh) 基于视频监控图像处理的人数统计系统
GB2502187A (en) Determining parking lot occupancy from digital camera images
CN101944174A (zh) 车牌字符的识别方法
CN102609719B (zh) 基于改进概率主题模型的地点图像识别方法
CN104504408A (zh) 一种人脸识别比对方法和实现该方法的系统
CN104504395A (zh) 基于神经网络实现人车分类的方法和系统
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN101694691A (zh) 一种人脸图像合成方法及装置
CN112800906A (zh) 一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法
CN110399882A (zh) 一种基于可变形卷积神经网络的文字检测方法
CN112784779A (zh) 一种基于特征金字塔多级特征融合的遥感影像场景分类方法
CN104112138A (zh) 物体颜色分类方法及装置
CN109472733A (zh) 基于卷积神经网络的图像隐写分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant