CN109447175A - 结合深度学习与度量学习的行人再识别方法 - Google Patents
结合深度学习与度量学习的行人再识别方法 Download PDFInfo
- Publication number
- CN109447175A CN109447175A CN201811320953.0A CN201811320953A CN109447175A CN 109447175 A CN109447175 A CN 109447175A CN 201811320953 A CN201811320953 A CN 201811320953A CN 109447175 A CN109447175 A CN 109447175A
- Authority
- CN
- China
- Prior art keywords
- pedestrian
- joint
- region
- distance
- pedestrian image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种结合深度学习与度量学习的行人再识别方法,其步骤包括:提取行人图像形变区域深度卷积特征;计算行人图像形变区域马氏和杰卡德距离度量;优化跨摄像机行人的距离度量。本发明借助区域提名网络,获取行人图像的局部形变区域,充分应用行人外观的局部形变区域的深度卷积特征,表示行人图像的多处细节信息,并结合行人图像形变区域的马氏距离和杰卡德距离,应用模拟退火算法,学习跨摄像机行人最优的距离函数,实现跨摄像机行人最优的距离度量,从而提高行人再识别的辨识力和鲁棒性。
Description
技术领域
本发明涉及机器学习与模式识别技术领域,具体涉及一种结合深度学习 与度量学习的行人再识别方法。
背景技术
大规模的智能视频监控系统在公共安全、智能交通、国防和军事等领域 广泛使用,在提高城市安全管理水平和维护社会稳定方面正发挥着越来越重 要的作用。该系统除满足图像/视频数据的采集、传输、存储和显示等基本要 求,更需要具备对图像/视频数据的智能分析功能。行人再识别作为其中一种 重要的智能视频分析技术,其任务是让计算机去判断出现于不同摄像机视域 下的行人图像是否为同一行人目标。
因监控场景的多变性和行人外观变化的复杂性,对行人再识别的研究极 具挑战性。当前对行人再识别的研究主要集中于两方面:一是提取具有辨识 力的特征来表示行人的外观,二是探索具有辨识力的距离度量学习方法。然 而,大多数手工提取的特征,如颜色、纹理、形状特征等,在进行跨摄像机 行人匹配时,或者辨识力不够,或者对视角变化不具有鲁棒性。深度卷积特 征虽然在一定程度上弥补了上述手工提取特征的不足,但因不同摄像机下行 人图像相应位置特征未对齐问题,严重影响行人再识别性能。而距离度量学习是从优化特征距离度量角度,虽然在一定程度上减轻了不同摄像机行人匹 配时的外观差异,但是只应用同一个数据集上有限的训练数据,难于获取具 有泛化能力的马氏距离度量模型。此外,因不同摄像机下行人外观的显著变 化,导致直接应用训练过程中获取的马氏距离度量去计算行人的特征距离时 产生的初始排序结果可能不够准确,从而影响行人再识别的性能。
发明内容
本发明的目的在于克服上述现有技术的缺陷,将行人图像的辨识特征提 取和特征距离优化相结合,提供了一种结合深度学习与度量学习的行人再识 别方法,能够充分地应用行人外观的局部形变区域的深度卷积特征,表示行 人图像的多处细节信息,并结合行人图像形变区域的马氏距离和杰卡德距离, 应用模拟退火算法,学习跨摄像机行人最优的距离函数,实现跨摄像机行人 最优的距离度量,从而提高行人再识别的辨识力和鲁棒性。
按照本发明所采用的技术方案,所述结合深度学习与度量学习的行人再 识别方法包括以下步骤:
步骤1,在行人标准姿态数据集上训练区域提名网络,将整张行人图像划 分成多个局部形变区域;
步骤2,应用多个行人再识别数据集的训练样本,训练具有多级卷积和池 化的深度卷积神经网络,获取整张行人图像区域,即全局区域,以及多个局 部形变区域的深度卷积特征;
步骤3,应用行人图像全局区域和多个局部形变区域提取的深度卷积特征, 学习行人图像全局区域和多个局部形变区域的马氏距离度量模型;
步骤4,基于行人图像全局区域和多个局部形变区域的马氏距离度量,借 助跨摄像机行人相互最近邻比较,获取行人图像全局区域和多个局部形变区 域的杰卡德距离度量;
步骤5,应用模拟退火算法将行人图像全局区域和多个局部形变区域的马 氏距离和杰卡德距离进行加权融合,得到跨摄像机行人优化的距离度量;相 同身份目标较不同身份目标,该距离度量更近。
具体的,步骤1中,应用区域提名网络,在包含各种各样行人姿态的行 人标准姿态数据集上进行训练,产生7个矩形区域候选,用于表示行人图像 的7个局部形变区域,其中包括3个大区域,即头肩区域、上身区域、下身 区域,和4个小区域,即左臂区域、右臂区域、左腿区域、右腿区域。
具体的,步骤1中训练区域提名网络包括以下步骤:
步骤1.1,从整张行人图像中定位14个体关节,包括:头关节、颈关节、 左肩关节、右肩关节、左肘关节、左腕关节、右肘关节、右腕关节、左髋关 节、右髋关节、左膝关节、左踝关节、右膝关节、右踝关节;应用全卷积结 构,将行人图像作为输入,对每个人体关节计算1个特征响应图,基于每个 人体关节的特征响应图,通过寻找具有最大特征值的位置坐标,实现每个人 体关节的定位;
步骤1.2,基于已定位的14个体关节,获取整张行人图像的3个大区域 和4个小区域,方法为:
14个已定位的体关节分配给3个大集合和4个小集合,所述3个大集合 分别为:头关节、颈关节、左肩关节、右肩关节组成的集合,左肩关节、右 肩关节、左肘关节、左腕关节、右肘关节、右腕关节、左髋关节、右髋关节 组成的集合,左髋关节、右髋关节、左膝关节、左踝关节、右膝关节、右踝 关节组成的集合;所述4个小集合分别为:左肩关节、左肘关节、左腕关节 组成的集合,右肩关节、右肘关节、右腕关节组成的集合,左髋关节、左膝 关节、左踝关节组成的集合,右髋关节、右膝关节、右踝关节组成的集合; 基于3个大集合和4个小集合包含的体关节的位置坐标,分别获取3个大区 域和4个小区域的边界框,用于表示行人图像的3个大区域和4个小区域。
具体的,步骤2中训练深度卷积神经网络包括以下步骤:
步骤2.1,在第一级卷积和池化阶段,输入图像经缩放后通过三个卷积层 和一个Inception模块,通过卷积输出第一级全局特征图;基于由区域提名网 络生成的所述3个大区域,从第一级全局特征图中池化出3个第一级大区域 特征图;
步骤2.2,在第二级卷积和池化阶段,第一级全局特征图和3个第一级大 区域特征图通过一个Inception模块,卷积输出第二级全局特征图和3个第二 级大区域特征图;基于由区域提名网络生成的所述4个小区域,从第二级全 局特征图池化出4个第二级小区域特征图;
步骤2.3,在第三级卷积和池化阶段,第二级全局特征图、第二级大区域 特征图、第二级小区域特征图通过一个Inception模块,再通过一个全局池化 层和一个内积层,将Inceptionn模块输出结果转换为一个特征向量;该层输出 第三级全局和7个局部区域特征向量,分别代表整张行人图像、3个大区域和 4个小区域的深度卷积特征。
具体的,步骤3中,马氏距离度量模型采用跨视图二次判别分析距离度 量学习方法,一方面用不同摄像机下的行人图像作为训练样本,学习一个低 维的子空间W=(w1,w2,...,wr)∈Rd×r,由r个d维的向量wi,i=1,2,...,r组成,其中 维度r小于维度d,另一方面在这个低维子空间里学习一个距离函数
dW(x,y)=(x-y)TW[(WT∑IW)-1-(WT∑EW)-1]WT(x-y),
其中(x,y)表示来自不同摄像机下的一对行人样本,x和y分别表示d维空间 的一个样本的特征向量,∑I和∑E分别表示相同身份行人间的协方差矩阵和不 同身份行人间的协方差矩阵。
具体的,步骤3中,基于整张行人图像全局区域和7个局部形变区域的 深度卷积特征,应用跨视图二次判别分析距离度量学习方法,学习相应区域 的马氏距离度量模型。
具体的,步骤4中,基于整张行人图像全局区域和7个局部形变区域的 马氏距离度量模型,计算相应区域的马氏距离,通过构建测试样本的相互k近 邻R(p,k)={gi|(gi∈N(p,k))∩(p∈N(gi,k))},其中N(p,k)表示测试样本p的k近邻, N(gi,k)表示查询样本gi的k近邻,查询集G={gi|i=1,2,...,N},定义测试样本p和 查询样本gi的杰卡德距离
具体的,步骤5中,学习一个加权的距离函数其中分别表示行人图像全局区域和7个局部形变区域马氏距离和杰卡德距 离的权重,分别表示行人图像全局区域和7个局部形变区域的马氏距 离和杰卡德距离,通过模拟退火算法学习使优化的跨摄像机行人图 像的绝对特征距离d满足:相同身份行人目标特征距离更近,不同身份行人目 标特征距离更远。
本发明的技术方案与现有技术相比,能够取得以下有益效果:
1、本发明借助区域提名网络,获取行人图像的局部形变区域,充分应用 行人外观的局部形变区域的深度卷积特征,表示行人图像的多处细节信息,, 能够使提取的行人图像特征更具辨识力和鲁棒性,有助于解决跨摄像机行人 图像相应位置特征未对齐问题;
2、在跨摄像机行人图像特征距离度量上,本发明结合行人图像形变区域 的马氏距离和杰卡德距离,应用模拟退火算法,学习跨摄像机行人最优的距 离函数,能够更为准确地计算跨摄像机行人图像之间的特征距离,有助于实 现跨摄像机行人图像的正确匹配。
附图说明
图1是本发明结合深度学习与度量学习的行人再识别方法的流程图。
图2是本发明行人图像的14个体关节和7个局部形变区域的示意图。
图3是本发明基于区域深度卷积特征的外观表示流程图。
图4是本发明Inception模块的流程图。
图5是本发明基于模拟退火加权距离融合的相似度度量流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚,以下结合附图,对本 发明进行进一步详细说明。
本发明的基本思路在于,提出一种结合深度学习与度量学习的行人再识 别方法,其流程图如图1所示。本发明首先在行人标准姿态数据集上训练区 域提名网络,用于把整张行人图像分成7个局部形变区域,包括头肩区域、 上身区域、下身区域、左臂区域、右臂区域、左腿区域、右腿区域。然后联 合多个行人再识别数据集,借助区域提名网络生成的局部形变区域,应用多 级卷积和池化的深度卷积网络,提取整张行人图像全局区域和若干局部区域 的深度卷积特征,用于表示行人图像的全身外观信息和多处细节外观信息。 进一步,基于行人图像全局和7个局部形变区域提取的深度卷积特征,应用 跨视图二次判别分析距离度量学习方法,学习行人图像全局和7个局部形变 区域的马氏距离度量模型,获取跨摄像机行人图像全局和局部形变区域的马 氏距离度量,并在此基础上,基于跨摄像机行人相互最近邻比较,获取行人 图像全局和7个局部形变区域的杰卡德距离。最后,将行人图像全局和7个 局部形变区域的马氏距离和杰卡德距离进行加权距离融合,并应用模拟退火 算法,学习相应行人图像全局和7个局部形变区域的距离权重系数,获取跨 摄像机行人优化的距离度量,用于跨摄像机行人的最佳匹配。
如图1所示,本发明提供的结合深度学习与度量学习的行人再识别方法 包括以下步骤:
步骤1,在行人标准姿态数据集上训练区域提名网络,将整张行人图像划 分成多个局部形变区域。应用区域提名网络,在包含各种各样行人姿态的行 人姿态基准数据集上进行训练,产生7个矩形区域候选,用于表示行人图像 的7个局部形变区域,其中包括3个大区域,即头肩区域、上身区域、下身 区域,和4个小区域,即左臂区域、右臂区域、左腿区域、右腿区域。训练 区域提名网络包括以下步骤:
步骤1.1,从整张行人图像中定位14个体关节,包括头关节、颈关节、 左肩关节、右肩关节、左肘关节、左腕关节、右肘关节、右腕关节、左髋关 节、右髋关节、左膝关节、左踝关节、右膝关节、右踝关节,如图2所示; 应用全卷积结构,将行人图像作为输入,对每个人体关节计算1个特征响应 图Fi(x,y),i=1,2,...,14。采用序列框架结构由粗到精的方式产生这些响应图,对 每个人体关节位置进行越来越精细的估计。基于每个人体关节的特征响应图, 通过寻找具有最大特征值的位置坐标[xi,yi],i=1,2,...,14,即:[xi,yi]=argmaxFi(x,y), 实现每个人体关节的定位;
步骤1.2,基于已定位的14个体关节,获取整张行人图像的3个大区域 和4个小区域。方法为:将上述14个体关节首先分配给3个大集合(包含较 多关节组合),分别为:和4 个的小集合(包括较少关节组合),分别为 如图2虚线框所示,14个体关 节在图中分别用节点序号1~14表示;然后基于3个大集合和4个小集合包含 的体关节的位置坐标[xi,yi],i=1,2,...,14,分别获取3个大区域和4个小区域的边 界框用于表示行人图像的3个大区域,即头肩区域 上身区域下身区域和4个小区域,即左臂区域右臂区域左腿区域右腿区域
步骤2,应用多个行人再识别数据集的训练样本,训练具有多级卷积和池 化的深度卷积神经网络,如图3所示,获取整张行人图像区域,即全局区域, 以及多个局部形变区域的深度卷积特征。深度神经网络包括3个卷积阶段和2 个池化阶段。从不同级卷积和池化阶段的全局特征中获取每个体区域局域特 征。本步骤中,训练深度卷积神经网络具体包括以下步骤:
步骤2.1,在第一级卷积和池化阶段,输入图像缩放到96*96大小后,通 过三个卷积层和图4所示的一个Inception模块,通过卷积输出第一级24*24 大小的全局特征图。基于由区域提名网络生成的3个大区域,从第一级全局 特征图中池化出3个24*24大小的第一级大区域特征图;
步骤2.2,在第二级卷积和池化阶段,第一级24*24大小的全局特征图和 3个24*24大小的第一级大区域特征图通过一个图4所示的Inception模块, 卷积输出12*12大小的第二级全局特征图和3个12*12第二级大区域特征图; 基于由区域提名网络生成的4个小区域,从第二级全局特征图池化出4个 12*12大小的第二级小区域特征图;
步骤2.3,在第三级卷积和池化阶段,12*12大小的第二级全局特征图、 12*12大小的第二级大区域特征图、12*12大小的第二级小区域特征图通过一 个图4所示的Inception模块,输出的每个特征图的维度降为6*6大小,再通 过一个全局池化层和一个内积层,将Inception模块输出结果转换为一个256 维特征向量。该层输出8个256维的第三级全局和7个局部形变区域特征向 量,分别代表整张行人图像、3个大区域和4个小区域的深度卷积特征。
步骤3,应用步骤2.3中获取的行人图像全局区域和多个局部形变区域提 取的256维深度卷积特征,学习行人图像全局区域和多个局部形变区域的马 氏距离度量模型。马氏距离度量模型采用跨视图二次判别分析距离度量学习 方法,跨视图二次判别分析一方面用不同摄像机下的行人图像的样本特征作 为训练数据{X,Y},X=(x1,x2,...,xn)∈Rd×n,Y=(y1,y2,...,yn)∈Rd×n,其中X和Y表示 源于不同摄像机的样本数据,都由特征维度为d的n个样本组成,学习一个低 维的子空间W=(w1,w2,...,wr)∈Rd×r,由r个d维的向量wi,i=1,2,...,r组成,其 中维度r小于维度d,另一方面在这个低维子空间里学习一个优化的距离函数
dW(x,y)=(x-y)TW[(WT∑IW)-1-(WT∑EW)-1]WT(x-y),
其中(x,y)表示来自不同摄像机下的一对行人样本,x和y分别表示d维空间 的一个样本的特征向量,∑I和∑E分别表示相同身份行人间的协方差矩阵和不 同身份行人间的协方差矩阵。基于步骤2.3整张行人图像全局区域和7个局部 形变区域的8个256维深度卷积特征,应用跨视图二次判别分析距离度量学 习方法,学习相应区域的马氏距离度量模型。基于在训练集学习获取的行人 图像全局区域和7个局部形变区域的马氏距离度量模型,在测试集中可获取 跨摄像机行人全局区域和7个形变区域的马氏距离度量。
步骤4,基于行人图像全局区域和多个局部形变区域的马氏距离度量,借 助跨摄像机行人相互最近邻比较,获取行人图像全局区域和多个局部形变区 域的杰卡德距离度量。基于整张行人图像全局区域和7个局部形变区域的马 氏距离度量模型,计算相应区域的马氏距离,通过构建测试样本的相互k近邻 R(p,k)={gi|(gi∈N(p,k))∩(p∈N(gi,k))},其中N(p,k)表示测试样本p的k近邻, N(gi,k)表示查询样本gi的k近邻,查询集G={gi|i=1,2,...,N},定义测试样本p和 查询样本gi的杰卡德距离基于步骤2.3的256 维的第三级全局和7个局部形变区域的特征向量,可获取跨摄像机行人图像 全局区域和7个局部形变区域的杰卡德距离度量。
步骤5,应用模拟退火算法将行人图像全局区域和多个局部形变区域的马 氏距离和杰卡德距离进行加权融合,获取跨摄像机行人优化的距离度量,如 图5所示。相同身份目标较不同身份目标,该距离度量更近。学习一个加权 的距离函数其中分别表示行人图像全局区域和7 个局部形变区域马氏距离和杰卡德距离的权重,分别表示行人图像全 局区域和7个局部形变区域的马氏距离和杰卡德距离,通过模拟退火算法学 习使优化的距离函数d满足:相同身份行人目标特征距离更近,不 同身份行人目标特征距离更远。通过优化以下的损失函数L最小实现这一目标:
其中约束条件为:
表示相同身份样本的归一化特征距离,表示不同身份样本 的归一化特征距离。引入正则项以避免不重要的比较小的wn。β为正则化参 数。上述优化问题通过模拟退火算法来实现。在算法的开始,损失函数L的权 重被初始化作为当前解Lcurrent,然后基于当前解Lcurrent产生新解Lnew。如果新解 的损失函数Lcurrent小于当前解的损失函数函数Lnew,接受新解Lnew。否则,以概 率接受新解。其实现细节如下:
输入:同类样本和不同类样本各个特征的归一化距离 正则化参数β,算法停止的最小温度Tmin。
输出:各个特征距离的权重
初始化:设置所有特征权重为0.5;
重复:
产生新解wnew
计算新解的损失函数值Lnew
如果Lnew<Lcurrent
Lcurrent=Lnew,wcurrent=wnew
否则ΔE=Lnew-Lcurrent,
如果P>0-1之间的随机数
Lcurrent=Lnew,wcurrent=wnew
结束条件
结束条件
T=T(1-冷却率)
直到T<Tmin。
以上为伪代码译成文字表达的形式,包括循环语句、条件语句,可供本 领域技术人员参考。
Claims (8)
1.结合深度学习与度量学习的行人再识别方法,其特征在于,包括以下步骤:
步骤1,在行人标准姿态数据集上训练区域提名网络,将整张行人图像划分成多个局部形变区域;
步骤2,应用多个行人再识别数据集的训练样本,训练具有多级卷积和池化的深度卷积神经网络,获取整张行人图像区域,即全局区域,以及多个局部形变区域的深度卷积特征;
步骤3,应用行人图像全局区域和多个局部形变区域提取的深度卷积特征,学习行人图像全局区域和多个局部形变区域的马氏距离度量模型;
步骤4,基于行人图像全局区域和多个局部形变区域的马氏距离度量,借助跨摄像机行人相互最近邻比较,获取行人图像全局区域和多个局部形变区域的杰卡德距离度量;
步骤5,应用模拟退火算法将行人图像全局区域和多个局部形变区域的马氏距离和杰卡德距离进行加权融合,得到跨摄像机行人优化的距离度量;相同身份目标较不同身份目标,该距离度量更近。
2.根据权利要求1所述的结合深度学习与度量学习的行人再识别方法,其特征在于,步骤1中,应用区域提名网络,在包含各种各样行人姿态的行人标准姿态数据集上进行训练,产生7个矩形区域候选,用于表示行人图像的7个局部形变区域,其中包括3个大区域,即头肩区域、上身区域、下身区域,和4个小区域,即左臂区域、右臂区域、左腿区域、右腿区域。
3.根据权利要求2所述的结合深度学习与度量学习的行人再识别方法,其特征在于,步骤1中,训练区域提名网络包括以下步骤:
步骤1.1,从整张行人图像中定位14个体关节,包括:头关节、颈关节、左肩关节、右肩关节、左肘关节、左腕关节、右肘关节、右腕关节、左髋关节、右髋关节、左膝关节、左踝关节、右膝关节、右踝关节;应用全卷积结构,将行人图像作为输入,对每个人体关节计算1个特征响应图,基于每个人体关节的特征响应图,通过寻找具有最大特征值的位置坐标,实现每个人体关节的定位;
步骤1.2,基于已定位的14个体关节,获取整张行人图像的3个大区域和4个小区域,方法为:
14个已定位的体关节分配给3个大集合和4个小集合,所述3个大集合分别为:头关节、颈关节、左肩关节、右肩关节组成的集合,左肩关节、右肩关节、左肘关节、左腕关节、右肘关节、右腕关节、左髋关节、右髋关节组成的集合,左髋关节、右髋关节、左膝关节、左踝关节、右膝关节、右踝关节组成的集合;所述4个小集合分别为:左肩关节、左肘关节、左腕关节组成的集合,右肩关节、右肘关节、右腕关节组成的集合,左髋关节、左膝关节、左踝关节组成的集合,右髋关节、右膝关节、右踝关节组成的集合;基于3个大集合和4个小集合包含的体关节的位置坐标,分别获取3个大区域和4个小区域的边界框,用于表示行人图像的3个大区域和4个小区域。
4.根据权利要求2所述的结合深度学习与度量学习的行人再识别方法,其特征在于,步骤2中,训练深度卷积神经网络包括以下步骤:
步骤2.1,在第一级卷积和池化阶段,输入图像经缩放后通过三个卷积层和一个Inception模块,通过卷积输出第一级全局特征图;基于由区域提名网络生成的所述3个大区域,从第一级全局特征图中池化出3个第一级大区域特征图;
步骤2.2,在第二级卷积和池化阶段,第一级全局特征图和3个第一级大区域特征图通过一个Inception模块,卷积输出第二级全局特征图和3个第二级大区域特征图;基于由区域提名网络生成的所述4个小区域,从第二级全局特征图池化出4个第二级小区域特征图;
步骤2.3,在第三级卷积和池化阶段,第二级全局特征图、第二级大区域特征图、第二级小区域特征图通过一个Inception模块,再通过一个全局池化层和一个内积层,将Inceptionn模块输出结果转换为一个特征向量;该层输出第三级全局和7个局部区域特征向量,分别代表整张行人图像、3个大区域和4个小区域的深度卷积特征。
5.根据权利要求1所述的结合深度学习与度量学习的行人再识别方法,其特征在于,步骤3中,马氏距离度量模型采用跨视图二次判别分析距离度量学习方法,一方面用不同摄像机下的行人图像作为训练样本,学习一个低维的子空间W=(w1,w2,...,wr)∈Rd×r,由r个d维的向量wi,i=1,2,...,r组成,其中维度r小于维度d,另一方面在这个低维子空间里学习一个距离函数
dW(x,y)=(x-y)TW[(WT∑IW)-1-(WT∑EW)-1]WT(x-y),
其中(x,y)表示来自不同摄像机下的一对行人样本,x和y分别表示d维空间的一个样本的特征向量,∑I和∑E分别表示相同身份行人间的协方差矩阵和不同身份行人间的协方差矩阵。
6.根据权利要求2所述的结合深度学习与度量学习的行人再识别方法,其特征在于,步骤3中,基于整张行人图像全局区域和7个局部形变区域的深度卷积特征,应用跨视图二次判别分析距离度量学习方法,学习相应区域的马氏距离度量模型。
7.根据权利要求2所述的结合深度学习与度量学习的行人再识别方法,其特征在于,步骤4中,基于整张行人图像全局区域和7个局部形变区域的马氏距离度量模型,计算相应区域的马氏距离,通过构建测试样本的相互k近邻R(p,k)={gi(gi∈N(p,k))∩(p∈N(gi,k))},其中N(p,k)表示测试样本p的k近邻,N(gi,k)表示查询样本gi的k近邻,查询集G={gii=1,2,...,N},定义测试样本p和查询样本gi的杰卡德距离
8.根据权利要求2所述的结合深度学习与度量学习的行人再识别方法,其特征在于,步骤5中,学习一个加权的距离函数其中 分别表示行人图像全局区域和7个局部形变区域马氏距离和杰卡德距离的权重,分别表示行人图像全局区域和7个局部形变区域的马氏距离和杰卡德距离,通过模拟退火算法学习使优化的跨摄像机行人图像的绝对特征距离d满足:相同身份行人目标特征距离更近,不同身份行人目标特征距离更远。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811320953.0A CN109447175A (zh) | 2018-11-07 | 2018-11-07 | 结合深度学习与度量学习的行人再识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811320953.0A CN109447175A (zh) | 2018-11-07 | 2018-11-07 | 结合深度学习与度量学习的行人再识别方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109447175A true CN109447175A (zh) | 2019-03-08 |
Family
ID=65550573
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811320953.0A Pending CN109447175A (zh) | 2018-11-07 | 2018-11-07 | 结合深度学习与度量学习的行人再识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109447175A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977837A (zh) * | 2019-03-20 | 2019-07-05 | 常熟理工学院 | 基于人体姿态不变特征的行人再识别方法 |
CN110309701A (zh) * | 2019-04-17 | 2019-10-08 | 武汉大学 | 一种基于跨视角同一区域的行人重识别方法 |
CN110458004A (zh) * | 2019-07-02 | 2019-11-15 | 浙江吉利控股集团有限公司 | 一种目标对象识别方法、装置、设备以及存储介质 |
CN111353443A (zh) * | 2020-03-02 | 2020-06-30 | 南京信息工程大学 | 一种基于跨视图核协同表示的行人再识别方法 |
CN111582354A (zh) * | 2020-04-30 | 2020-08-25 | 中国平安财产保险股份有限公司 | 图片识别方法、装置、设备及存储介质 |
CN113671938A (zh) * | 2021-08-20 | 2021-11-19 | 内蒙古民族大学 | 基于融合距离法的列车故障解析方法及系统 |
CN114374931A (zh) * | 2020-10-19 | 2022-04-19 | 中国移动通信集团重庆有限公司 | 基于近邻成分分析的度量学习的指纹定位方法 |
CN111582354B (zh) * | 2020-04-30 | 2024-07-02 | 中国平安财产保险股份有限公司 | 图片识别方法、装置、设备及存储介质 |
-
2018
- 2018-11-07 CN CN201811320953.0A patent/CN109447175A/zh active Pending
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109977837A (zh) * | 2019-03-20 | 2019-07-05 | 常熟理工学院 | 基于人体姿态不变特征的行人再识别方法 |
CN110309701A (zh) * | 2019-04-17 | 2019-10-08 | 武汉大学 | 一种基于跨视角同一区域的行人重识别方法 |
CN110309701B (zh) * | 2019-04-17 | 2022-08-05 | 武汉大学 | 一种基于跨视角同一区域的行人重识别方法 |
CN110458004A (zh) * | 2019-07-02 | 2019-11-15 | 浙江吉利控股集团有限公司 | 一种目标对象识别方法、装置、设备以及存储介质 |
CN110458004B (zh) * | 2019-07-02 | 2022-12-27 | 浙江吉利控股集团有限公司 | 一种目标对象识别方法、装置、设备以及存储介质 |
CN111353443A (zh) * | 2020-03-02 | 2020-06-30 | 南京信息工程大学 | 一种基于跨视图核协同表示的行人再识别方法 |
CN111582354A (zh) * | 2020-04-30 | 2020-08-25 | 中国平安财产保险股份有限公司 | 图片识别方法、装置、设备及存储介质 |
CN111582354B (zh) * | 2020-04-30 | 2024-07-02 | 中国平安财产保险股份有限公司 | 图片识别方法、装置、设备及存储介质 |
CN114374931A (zh) * | 2020-10-19 | 2022-04-19 | 中国移动通信集团重庆有限公司 | 基于近邻成分分析的度量学习的指纹定位方法 |
CN114374931B (zh) * | 2020-10-19 | 2023-12-15 | 中国移动通信集团重庆有限公司 | 基于近邻成分分析的度量学习的指纹定位方法 |
CN113671938A (zh) * | 2021-08-20 | 2021-11-19 | 内蒙古民族大学 | 基于融合距离法的列车故障解析方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447175A (zh) | 结合深度学习与度量学习的行人再识别方法 | |
CN107423730B (zh) | 一种基于语义折叠的人体步态行为主动检测识别系统和方法 | |
CN111666843B (zh) | 一种基于全局特征和局部特征拼接的行人重识别方法 | |
CN112101176B (zh) | 一种结合用户步态信息的用户身份识别方法及系统 | |
CN105447441B (zh) | 人脸认证方法和装置 | |
CN104881637B (zh) | 基于传感信息及目标追踪的多模信息系统及其融合方法 | |
CN105869178B (zh) | 一种基于多尺度组合特征凸优化的复杂目标动态场景无监督分割方法 | |
CN111126360A (zh) | 基于无监督联合多损失模型的跨域行人重识别方法 | |
CN109949368A (zh) | 一种基于图像检索的人体三维姿态估计方法 | |
CN104850825A (zh) | 一种基于卷积神经网络的人脸图像颜值计算方法 | |
CN111310668B (zh) | 一种基于骨架信息的步态识别方法 | |
CN110472495B (zh) | 一种基于图形推理全局特征的深度学习人脸识别方法 | |
CN112464730B (zh) | 一种基于域无关前景特征学习的行人再识别方法 | |
CN108629336A (zh) | 基于人脸特征点识别的颜值计算方法 | |
CN111680560A (zh) | 一种基于时空特征的行人再识别方法 | |
CN112232184A (zh) | 一种基于深度学习和空间转换网络的多角度人脸识别方法 | |
Tong et al. | Cross-view gait recognition based on a restrictive triplet network | |
Hu et al. | Hypergraph video pedestrian re-identification based on posture structure relationship and action constraints | |
CN112541421A (zh) | 一种开放空间的行人换装重识别方法 | |
CN113486751B (zh) | 一种基于图卷积和边缘权重注意力的行人特征提取方法 | |
Sajid et al. | Facial asymmetry-based feature extraction for different applications: a review complemented by new advances | |
CN109948422A (zh) | 一种室内环境调节方法、装置、可读存储介质及终端设备 | |
CN111783526B (zh) | 一种利用姿势不变和图结构对齐的跨域行人重识别方法 | |
CN110008902A (zh) | 一种融合基本特征和形变特征的手指静脉识别方法及系统 | |
Deng et al. | View-invariant gait recognition based on deterministic learning and knowledge fusion |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190308 |