CN113221854A - 一种基于多尺度深度特征的赤足足迹图像人身识别方法 - Google Patents

Abstract

本发明公开了一种基于多尺度深度特征的赤足足迹图像人身识别方法，涉及赤足图像识别以及深度学习技术领域，包括：获取赤足足迹图像，构建大型赤足足迹图像数据集；将所述赤足足迹图像数据集划分为训练集、验证集和测试集；对所述赤足足迹图像进行预处理；对预处理后的所述赤足足迹图像进行数据增强；构建用于赤足特征提取的深度神经网络；构建损失函数，使用度量学习方法对所述深度神经网络进行训练得到赤足图像人身识别模型；用所述赤足图像人身识别模型提取赤足特征进行人身识别。本方法能够同时涵盖从全局到局部的赤足特征，因此在应用于赤足图像的人身识别场景时，对性能有增益效果。

Description

一种基于多尺度深度特征的赤足足迹图像人身识别方法

技术领域

本发明涉及赤足图像识别以及深度学习技术领域，具体涉及一种基于多尺度深度特征的赤足足迹图像人身识别方法。

背景技术

随着信息化社会的日益发展，生物特征识别技术在金融、司法、国家安全等重要领域受到越来越广泛的重视。由于生物特征具有唯一性和永久性，利用人的行为特征来对人体进行识别，在信息安全方面及人身认定方面具有很高的应用价值。当前人体生物特征识别方面已经有很多技术涌现，包括：利用人体固有的生理特征来对人体进行识别的技术，比如指纹、人脸、虹膜识别等；利用人体的行为特征进行人身鉴定的技术，比如笔迹、声音、步态识别等。其中，赤足足迹作为一种独特的生物特征，同指纹一样反映了人体固有的生理特点，同时又因其非刻意、无感知、普遍性等遗留特点，在医疗和刑侦等领域都体现出了巨大的应用潜力。

目前已有利用人工智能对赤足足迹进行人身识别相关的研究，比如《基于人工智能的足迹识别与特征提取》以及《基于赤足足迹的身高分析及身份识别研究》。其中，前者根据三维重构后的立体足迹，人工提取足迹的区域关系特征和形状长度特征，然后使用传统的支持向量机方法对提取的特征进行立体足迹身份鉴别对比实验；后者从专门采集不同完整度的足底压力图像中人工提取足长、足宽等五种物理特征，同样使用支持向量机方法对融合特征进行分类。

上述方式使用的特征往往需要依赖人工分析、标画、提取，使得训练的数据量受到限制；传统基于支持向量机等技术的算法使得通过赤足识别人身的准确率有瓶颈，很难提高；而近年出现的少数基于深度学习的方法也只是笼统地将常见网络作用于足迹图像进行常规的特征提取，没有依据足迹结构特点进行针对性地特征提取，因此识别精度难以提升。

发明内容

针对现有技术存在的上述缺点，本发明根据赤足足迹的结构分布特征，提出了具有针对性的赤足足迹多尺度特征重构方法，其具有较高的识别效果。

为实现上述目的，本发明的技术方案为：一种基于多尺度深度特征的赤足足迹图像人身识别方法，包括：

获取赤足足迹图像，构建大型赤足足迹图像数据集；

将所述赤足足迹图像数据集划分为训练集、验证集和测试集；

对所述赤足足迹图像进行预处理；

对预处理后的所述赤足足迹图像进行数据增强；

构建用于赤足特征提取的深度神经网络；

构建损失函数，使用度量学习方法对所述深度神经网络进行训练得到赤足图像人身识别模型；

用所述赤足图像人身识别模型提取赤足特征进行人身识别。

进一步的，对所述赤足足迹图像进行预处理，具体为：

通过裁剪去除赤足足迹图像侧边的比例尺部分；

将所述赤足足迹图像变为灰度图像；

对所述灰度图像进行灰度变换；

灰度变换后的赤足足迹图像进行方向归一化处理；

方向归一化后的赤足足迹图像，在保持无缩放的状态下，以足迹中心为基准，裁剪出相同大小的图像，并统一进行缩放；

缩放后对赤足足迹图像进行灰度归一化处理；

灰度归一化后的图像矩阵进行格式转换，并对赤足足迹图像灰度范围进行缩减。

进一步的，对预处理后的所述赤足足迹图像进行数据增强，具体为：

对所述赤足足迹图像进行上下随机翻转；

对所述赤足足迹图像进行左右随机翻转；

对所述赤足足迹图像进行绕中心0～10度随机旋转；

对所述赤足足迹图像进行0.8～1.1倍的灰度随机变换。

进一步的，所述深度神经网络包括骨架网络，所述骨架网络采用深度残差网络ResNet50提取赤足特征，该骨架网络将ResNet50最后的平均池化层avg_pool以及全连接层FC去除，只保留底层的[Conv1,Conv2_x,Conv3_x,Conv4_x,Conv5_x]基础网络，逐步提取赤足足迹图像的底层特征至抽象特征，得到特征图S。

进一步的，所述深度神经网络包括特征重构网络，所述特征重构网络对特征图S在高度上进行了多尺度的划分，具体为：

将特征图作为一个整体，对应的是全局特征，得到特征图S₁大小为shape＝(D,h1,W)；

将特征图垂直分为两部分，对应的是前脚掌特征和后脚掌特征，得到特征子图S₂₁大小为shape＝(D,h2,W)和特征子图S₂₂大小为shape＝(D,h3,W)；

将特征图垂直分为三部分，对应的是(足趾+足跖)区特征、足弓区特征和足跟区特征，得到特征子图S₃₁大小为shape＝(D,h4,W)、特征子图S₃₂大小为shape＝(D,h5,W)和特征子图S₃₃大小为shape＝(D,h5,W)；

将特征图垂直分为五份；对应的是细节特征，得到特征子图S₄₁大小为shape＝(D,h6,W)、特征子图S₄₂大小为shape＝(D,h7,W)、特征子图S₄₃大小为shape＝(D,h7,W)、特征子图S₄₄大小为shape＝(D,h7,W)、特征子图S₄₅大小为shape＝(D,h7,W)；

通过全局平均池化GAP(Global Average Pooling)和全局最大池化GMP(GlobalMaximum Pooling)相结合，实现特征子图的统一变换：

其中S_ni代表某个特征子图，h,w代表在特征子图的后两个维度(即高度和宽度)上进行相应运算；

对统一变换后的每个特征分别进行全连接变换实现降维处理：

其中，×代表矩阵乘法，M_ni是一个矩阵，下标ni代表每个子特征变换时用到的变换矩阵都是不同的。

更进一步的，为了对每个赤足足迹进行人身信息的区分，通过度量学习方法，使用batch all triplet loss作为损失函数，将深度神经网络提取出来的每个赤足足迹图像的子特征与其他赤足足迹图像对应的子特征进行比对学习；所述损失函数的设计思想是，在每个batch中随机抽取P个人，每个人抽取K个足迹图像，然后将这P×K个赤足图像相互进行比对，使得同人的赤足足迹图像特征更加相近，不同人的赤足图像特征更加远离，具体的损失函数公式为：

其中，f代表用于比对的子特征向量，θ为深度神经网络参数，m为特征距离容许间隙，D为计算特征间距离的函数；该损失函数分别计算每一对同人足迹间的距离以及非同人足迹间的距离。

更进一步的，用所述赤足图像人身识别模型提取赤足特征进行人身识别，具体为：

将验证集和测试集中每个人的所有赤足足迹图像随机分为两部分，一部分作为检索库gallery，一部分为待检索图像probe；

对于一张待检索图像probe中的待检足迹图像p，把它与检索库gallery中的每个赤足足迹图像进行特征比对，假设与当前检索库gallery中的q图进行比对，两幅图像的人身特征向量分别为f_p和f_q，得到两个特征向量之间的距离为：

其中，f_pi与f_qi分别为特征f_p与特征f_q对应位置的元素值；

设检索库gallery共有n幅图，则比对后会得到待检足迹图像p与这n幅图之间的距离序列[d₁，d₂，...，d_n]；由于距离越小代表两幅图的特征越相近，因此对距离进行从小到大排序：

[τ₁，τ₂，...，τ_n]＝Sort([d₁，d₂，...，d_n]，by＝ascending)

其中d表示排序前的距离，τ表示排序后的距离；

将[τ₁，τ₂，...，τ_n]对应的图像标签依次取出，得到的结果[id₁，id₂，...，id_n]即为待检足迹图像p检索到的库中按照相似度从大到小排序的足迹所归属的人的id标签。

本发明由于采用以上技术方案，能够取得如下的技术效果：本发明使用ResNet50基础网络结合多尺度特征重构网络训练出性能较高的赤足图像人身识别模型。根据赤足结构组成的分布特点，对基础网络提取的特征在高度维度上进行1、2、3、5份的划分，且划分比例对应了足迹各部分分布的结构特点。使用这种划分方法能够同时涵盖从全局到局部的赤足特征，因此在应用于赤足图像的人身识别场景时，对性能有增益效果。

附图说明

图1为通过单枚足迹采集仪采集的赤足足迹高清图像；

图2为预处理后的赤足足迹图像；

图3为深度神经网络结构图；

图4为赤足足迹结构分区图；

图5为mAP指标的计算示例图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施方式，对本发明进行进一步详细说明。下面的实施例可以使本专业的技术人员更全面地理解本发明，但并不因此将本发明限制在所述的实施例范围之中。

本实施例提供一种基于多尺度深度特征的赤足足迹图像人身识别方法，具体可以包括：

S1.获取赤足足迹图像，构建大型赤足足迹图像数据集。

具体的，使用单枚足迹采集仪采集赤足足迹，每人采集静止站立时的左、右脚赤足足迹，数量在3-54枚足迹不等，通过单枚足迹采集仪采集后形成如图1所示的高清图像：形成的数据格式如下：

其中：

Si＝[图片1，图片2，图片3，…，图片P_i]代表第i个人采集的所有P_i张赤足足迹图片；

m代表总人数，优选m＝18380。

每张图以所归属的人的编号为图像类别标签。

采集的原始图片为分辨率可以为96dpi，格式可以为shape＝tuple(3,1291,640)的uint8形式的彩色图像；

S2.以人为单位，将赤足足迹图像数据集划分为训练集、验证集和测试集：

1)训练集：m_train＝6433，

2)验证集：m_val＝919，

3)测试集：m_test＝11028，

其中，这三部分数据集中采集的人员均无交集。

S3.对所述赤足足迹图像进行预处理，可以采用如下步骤：

1)通过裁剪去除图像侧边的比例尺部分；

2)将图像变为灰度图像；

3)对图像进行灰度变换：gray＝255-gray；

4)将赤足足迹按照脚尖朝上、脚跟在下方式进行方向归一化；

5)在保持图像无缩放的状态下，以足迹中心为基准，裁剪出shape＝(1,886,399)大小的图像，并统一缩放至shape＝(1,660,300)大小；

6)对图像进行灰度归一化：(gray_min,gray_max)->(0,255)；

7)将图像矩阵的uint8格式的数据变为float32格式，并对图像灰度范围进行缩减：(0,255)->(0,1.0)。

经预处理后的图像如图2所示。

S4.对预处理后的所述赤足足迹图像进行数据增强；

具体的，为了提升网络泛化性，采用如下的数据增强手段来扩充数据多样性：

1)上下随机翻转；

2)左右随机翻转；

3)0～10度绕中心随机角度旋转；

4)0.8～1.1倍的灰度随机变换。

S5.构建用于赤足特征提取的深度神经网络。

需要说明的是，本发明采用了深度神经网络来提取赤足图像特征。该网络主要包括两个部分：1.用于特征提取的骨架网络；2.用于多尺度特征提取和组合的重构网络，其网络整体结构参见图3所示。

骨架网络，采用深度残差网络ResNet50作为提取赤足特征的骨架网络。将ResNet50网络最后的平均池化层avg_pool以及全连接层FC去除，只保留底层的[Conv1,Conv2_x,Conv3_x,Conv4_x,Conv5_x]这部分基础网络。由于网络中堆叠了大量的卷积层和激活层，模型能够逐步提取图像的底层特征(如边缘特征、形状特征)至抽象特征(如足迹的人身特征)。具体的网络结构和特征提取过程参见下表：

经过Conv5_x卷积层的运算之后，骨架网络部分最终输出的特征图S大小可以为：shape＝(2048,21,10)。

特征重构网络，由于赤足足迹从脚跟到脚尖具有明显的结构分区，主要包括足跖区、足跖区、足弓区和足跟区，参见图4。从图中可见，足迹的各分区大致满足垂直的分布规律，且每一个分区都能够反映一定的结构特征。比如，足跖区不同脚趾间的间距、脚趾前缘的形态、足跖区的压力重心分布、足弓区的足迹宽度、足跟区面积和重心位置等等，都反映出了每个人的个体特征。

如果将足迹特征视为一个整体进行学习和训练，显然会弱化足迹局部特征的影响，使得网络对局部具有代表性特征的学习变得困难。因此，根据足迹的大体结构和各部分比例，对经骨架网络得到的特征图在高度上进行了多尺度的划分，包括如下几种划分方式：

1)将特征图作为一个整体，不进行垂直划分，这样对应的是全局特征。得到的特征图S₁大小可以为shape＝(2048,21,10)；

2)将特征图垂直分为两部分，其中上半部分占比60％，下半部分占比40％。因为以足弓中心为基点，划分前后脚掌的大致比例是6:4，因此按照这个比例划分后，得到的两个特征子图分别对应了前脚掌特征和后脚掌特征。得到特征子图S₂₁大小可以为shape＝(2048,13,10)，特征子图S₂₂大小可以为shape＝(2048,8,10)；

3)将特征图垂直分为三部分，其中中间和底部两部分占比相同，顶部占比略大。如此划分的目的是将特征图大体对应到(足趾+足跖)区、足弓区和足跟区三部分。这样网络会逐步学习到这三个部分的局部特征。得到的特征子图S₃₁大小可以为shape＝(2048，9，10)，特征子图S₃₂大小可以为shape＝(2048，6，10)，特征子图S₃₃大小可以为shape＝(2048，6，10)；

4)将特征图垂直分为五份。如此划分目的是补充更多的细节特征，从而配合上述不同尺度的特征子图，涵盖从全局到局部的多尺度特征划分。得到的特征子图除S₄₁的大小可以为shape＝(2048，5，10)之外，其他的特征图(S₄₂，S₄₃，...，S₄₅)的大小均可以为shape＝(2048，4，10)。

最终得到了[S₁，[S₂₁，S₂₂]，[S₃₁，S₃₂，S₃₃]，[S₄₁，S₄₂，S₄₃，S₄₄，S₄₅]]共计11个特征子图，每一个特征子图的大小均为shape＝(2048，h，10)，其中每个子图对应的h大小不同。

为了统一处理所有的特征子图，使用GAP(Global Average Pooling)和GMP(Global Maximum Pooling)相结合，实现特征子图的统一变换：

其中S_ni代表某个特征子图，h，w代表在特征子图的后两个维度(即高度和宽度)上进行相应运算。

经过该变换后，所有的特征子图的大小都从shape＝(2048，h，10)变为shape＝(2048)。

由于2048维的特征尺寸过大，对每个特征分别进行全连接变换，将特征变为256维：

其中，×代表矩阵乘法，M_ni是一个256×2048的矩阵，下标ni代表每个子特征变换时用到的变换矩阵都是不同的，因此该部分操作也称为Separate Fully Connection。

因此，经过上述变换后，每个赤足图像经神经网络提取出了11个256维的子特征。

S6.构建损失函数，使用度量学习方法对所述深度神经网络进行训练得到赤足图像人身识别模型。

为了对每个赤足足迹进行人身信息的区分，采用了度量学习方法，使用batch alltriplet loss作为损失函数，将神经网络提取出来的每个赤足图像的子特征与其他赤足图像对应的子特征进行比对学习。该损失函数的设计思想是，在每个batch中随机抽取P个人，每个人抽取K个足迹图像，然后将这P×K个赤足图像相互进行比对，使得同人的足迹图像特征更加相近，不同人的赤足图像特征更加远离。具体的损失函数公式为：

其中，f代表用于比对的子特征向量，θ为深度神经网络参数，m为特征距离容许间隙，D为计算特征间距离的函数。该损失函数分别计算每一对同人足迹间的距离以及非同人足迹间的距离，目标是同人足迹的间距足够小，非同人足迹的间距足够大。在的实现中，可以使P＝8，K＝3，m＝0.2，D采用欧式距离。

S7.用所述赤足图像人身识别模型提取赤足特征进行人身识别。

首先，为了测试，将验证集和测试集中每个人的所有足迹图像随机分为两部分，一部分作为检索库gallery，一部分为待检索图像probe。

由于一个赤足图像按照前述网络会提取出11个256维子特征，因此在推理阶段将所有子特征连接在一起，形成一个11*256＝2816维的特征，作为该赤足足迹图像的完整人身特征：

f＝concate([S″₁，S″₂₁，S″₂₂，S″₃₁，S″₃₂，S″₃₃，S″₄₁，S″₄₂，S″₄₃，S″₄₄，S″₄₅])＝[f₁，f₂，...，f₂₈₁₆]

对于一张probe集合中的待检足迹图像p，把它与gallery库中的每个足迹图像进行特征比对。假设与当前gallery库中的q图进行比对，设两幅图像的人身特征向量分别为f_p和f_q，计算两个特征向量之间的距离采用如下欧式距离计算公式：

其中，f_pi与f_qi为特征f_p与特征f_q对应位置的元素值。

设gallery库共有n幅图，则比对后会得到图像p与这n幅图之间的距离序列[d₁，d₂，...，d_n]。由于距离越小代表两幅图的特征越相近，因此对距离进行从小到大排序：

[τ₁，τ₂，...，τ_n]＝Sort([d₁，d₂，...，d_n]，by＝ascending)

其中d表示排序前的距离，τ表示排序后的距离。

将[τ₁，τ₂，...，τ_n]对应的图像标签依次取出，得到的结果[id₁，id₂，...，id_n]即为图像p检索到的库中按照相似度从大到小排序的足迹所归属的人的id标签。通常，以检索到的库中排在第一位的图像所归属的人的标签id为待检索图像p的最终标签。

进一步的，使用图像检索技术中的CMC和mAP指标对赤足图像的人身识别方法进行评估：

1)CMC曲线(Cumulative Matching Characteristic)：

累计匹配特性曲线CMC，一般用Rank-1,Rank-5，…等表达，用于反映检索查中准确率。其中Rank-N代表计算查询结果内排序前N个结果中存在正确标签的比率。CMC曲线是一种细粒度度量，显示了精度随等级的变化。通常情况下，检索排名越靠前，效果越好，CMC的曲线面积(Area Under Curve)越大。本发明分别采用Rank-1,Rank-5,Rank-10来进行评测。

2)mAP指标：

由于CMC曲线中Rank-N指标只考虑了查询结果中正确标签的比例，而未考虑正确标签在排名中的顺序，因此使用mAP指标来给出更为准确的查询结果评价，如图5所示。

在使用相同的ResNet50基础网络的情况下，分别采用softmax Cross EntropyLoss和ArcFace Loss两种损失函数与本发明所提方法进行比对，参加下表：

从三者的对比结果中可见，本发明方法在赤足的人身识别准确率上远超其他两种算法。从Rank-1到Rank-10指标均高于其他两种算法，其中Rank-1有10％左右的提升，且mAP指标也体现出了绝对的优势。

对比实验结果表明，相比于其他两种基于全局特征进行深度学习的常规算法，本发明依据赤足的结构特点进行多尺度特征重构的方法，在识别效果上有了很大的提升，学习到的特征泛化性更强、算识别精度更高，因此证明了本文方法在赤足识别上的有效性。

本发明的实施例有较佳的实施性，并非是对本发明任何形式的限定。本发明实施例中描述的技术特征或技术特征的组合不应当被认为是孤立的，它们可以被互相组合从而达到更好的技术效果。本发明优选实施方式的范围也可以包括另外的实现，且这应被发明实施例所属技术领域的技术人员所理解。

Claims (7)

1.一种基于多尺度深度特征的赤足足迹图像人身识别方法，其特征在于，包括：

获取赤足足迹图像，构建大型赤足足迹图像数据集；

将所述赤足足迹图像数据集划分为训练集、验证集和测试集；

对所述赤足足迹图像进行预处理；

对预处理后的所述赤足足迹图像进行数据增强；

构建用于赤足特征提取的深度神经网络；

构建损失函数，使用度量学习方法对所述深度神经网络进行训练得到赤足图像人身识别模型；

用所述赤足图像人身识别模型提取赤足特征进行人身识别。

2.根据权利要求1所述一种基于多尺度深度特征的赤足足迹图像人身识别方法，其特征在于，对所述赤足足迹图像进行预处理，具体为：

通过裁剪去除赤足足迹图像侧边的比例尺部分；

将所述赤足足迹图像变为灰度图像；

对所述灰度图像进行灰度变换；

灰度变换后的赤足足迹图像进行方向归一化处理；

方向归一化后的赤足足迹图像，在保持无缩放的状态下，以足迹中心为基准，裁剪出相同大小的图像，并统一进行缩放；

缩放后对赤足足迹图像进行灰度归一化处理；

灰度归一化后的图像矩阵进行格式转换，并对赤足足迹图像灰度范围进行缩减。

3.根据权利要求1所述一种基于多尺度深度特征的赤足足迹图像人身识别方法，其特征在于，对预处理后的所述赤足足迹图像进行数据增强，具体为：

对所述赤足足迹图像进行上下随机翻转；

对所述赤足足迹图像进行左右随机翻转；

对所述赤足足迹图像进行绕中心0～10度随机旋转；

对所述赤足足迹图像进行0.8～1.1倍的灰度随机变换。

4.根据权利要求1所述一种基于多尺度深度特征的赤足足迹图像人身识别方法，其特征在于，所述深度神经网络包括骨架网络，所述骨架网络采用深度残差网络ResNet50提取赤足特征，该骨架网络将ResNet50最后的平均池化层avg_pool以及全连接层FC去除，只保留底层的[Conv1，Conv2_x，Conv3_x，Conv4_x，Conv5_x]基础网络，逐步提取赤足足迹图像的底层特征至抽象特征，得到特征图S。

5.根据权利要求1或4所述一种基于多尺度深度特征的赤足足迹图像人身识别方法，其特征在于，所述深度神经网络包括特征重构网络，所述特征重构网络对特征图S在高度上进行了多尺度的划分，具体为：

将特征图作为一个整体，对应的是全局特征，得到特征图S₁大小为shape＝(D，h1，W)；

将特征图垂直分为两部分，对应的是前脚掌特征和后脚掌特征，得到特征子图S₂₁大小为shape＝(D，h2，W)和特征子图S₂₂大小为shape＝(D，h3，W)；

将特征图垂直分为三部分，对应的是(足趾+足跖)区特征、足弓区特征和足跟区特征，得到特征子图S₃₁大小为shape＝(D，h4，W)、特征子图S₃₂大小为shape＝(D，h5，W)和特征子图S₃₃大小为shape＝(D，h5，W)；

将特征图垂直分为五份；对应的是细节特征，得到特征子图S₄₁大小为shape＝(D，h6，W)、特征子图S₄₂大小为shape＝(D，h7，W)、特征子图S₄₃大小为shape＝(D，h7，W)、特征子图S₄₄大小为shape＝(D，h7，W)、特征子图S₄₅大小为shape＝(D，h7，W)；

通过全局平均池化GAP和全局最大池化GMP相结合，实现特征子图的统一变换：

其中S_ni代表某个特征子图，h，w代表在特征子图的后两个维度上进行相应运算；

对统一变换后的每个特征分别进行全连接变换实现降维处理：

其中，×代表矩阵乘法，M_ni是一个矩阵，下标ni代表每个子特征变换时用到的变换矩阵都是不同的。

6.根据权利要求1所述一种基于多尺度深度特征的赤足足迹图像人身识别方法，其特征在于，为了对每个赤足足迹进行人身信息的区分，通过度量学习方法，使用batchalltriplet loss作为损失函数，将深度神经网络提取出来的每个赤足足迹图像的子特征与其他赤足足迹图像对应的子特征进行比对学习；所述损失函数的设计思想是，在每个batch中随机抽取P个人，每个人抽取K个足迹图像，然后将这P×K个赤足图像相互进行比对，使得同人的赤足足迹图像特征更加相近，不同人的赤足图像特征更加远离，具体的损失函数公式为：

其中，f代表用于比对的子特征向量，θ为深度神经网络参数，m为特征距离容许间隙，D为计算特征间距离的函数；该损失函数分别计算每一对同人足迹间的距离以及非同人足迹间的距离。

7.根据权利要求1所述一种基于多尺度深度特征的赤足足迹图像人身识别方法，其特征在于，用所述赤足图像人身识别模型提取赤足特征进行人身识别，具体为：

将验证集和测试集中每个人的所有赤足足迹图像随机分为两部分，一部分作为检索库gallery，一部分为待检索图像probe；

对于一张待检索图像probe中的待检足迹图像p，把它与检索库gallery中的每个赤足足迹图像进行特征比对，假设与当前检索库gallery中的q图进行比对，两幅图像的人身特征向量分别为f_p和f_q，得到两个特征向量之间的距离为：

其中，f_pi与f_qi分别为特征f_p与特征f_q对应位置的元素值；

设检索库gallery共有n幅图，则比对后会得到待检足迹图像p与这n幅图之间的距离序列[d₁，d₂，...，d_n]；由于距离越小代表两幅图的特征越相近，因此对距离进行从小到大排序：

[τ₁，τ₂，…，τ_n]＝Sort([d₁，d₂，…，d_n]，by＝ascending)

其中d表示排序前的距离，τ表示排序后的距离；

将[τ₁，τ₂，...，τ_n]对应的图像标签依次取出，得到的结果[id₁，id₂，...，id_n]即为待检足迹图像p检索到的库中按照相似度从大到小排序的足迹所归属的人的id标签。

Images