CN112100429B - 一种足迹压力图像检索方法 - Google Patents

Abstract

本发明公开了一种足迹压力图像检索方法，包括：1、足迹压力图像数据集采集并进行预处理操作；2、建立由K层多尺度自注意卷积模块构成的特征提取网络；步骤3、建立由全局特征分支、残缺性评分掩模分支构成的残缺性评分模块；步骤4、建立由共同可见特征提取模块、局部特征池化模块和三元组损失函数构成的特征比对模块；步骤5、进行网络的训练、参数优化和测试。本发明采用多尺度自注意卷积的足迹压力图像检索方法，能够有效的提取足迹压力图像检索的判别性特征，同时针对足迹图像不完整的问题，采用残缺性评分模型，能够降低网络对残缺部分的关注度，有效地抑制残缺图像对于检索过程中产生的影响。

Description

一种足迹压力图像检索方法

技术领域

本发明涉及图像检索和图像处理、深度学习领域，是一种基于多尺度自注意卷积的足迹压力图像检索方法。

背景技术

在生物识别领域，人的各种外在和内在特征如人脸、虹膜、指纹、步态等均可用于人的身份识别。目前在犯罪现场的证据提取过程之中，现场足迹是最常见的重要犯罪线索之一，它们在案情分析中有着不可替代的作用。

研究表明，由于每个人的足迹都有自己的特点，具有唯一性。在以往的足迹比对工作中，大多通过足迹专家对采集的犯罪嫌疑人的足迹与犯罪现场的足迹进行人工比对，来进行人员验证，但是由于足迹图像比对的复杂性，以及现场采集的数据常存在的不完整性，在很大程度上增大了比对的难度。另外，足迹比对多是依赖于专家的知识经验，往往存在着较大的主观性，距离足迹自动比对识别还存在一定的差距。

发明内容

本发明为避免上述现有技术存在的不足之处，提供一种足迹压力图像检索方法，以期能获取更具有判别性的多尺度细粒度特征，同时有效抑制部分缺失而导致的类间距离减小，类内距离增大的现象，从而有效地能降低网络对残缺部分的关注度，提升足底压力图像检索精度。

本发明为解决技术问题采用如下技术方案：

本发明一种足迹压力图像检索方法的特点是按如下步骤进行：

步骤1、足迹压力图像数据集采集并进行预处理操作；

步骤1.1、采集赤足足迹压力图像作为数据样本；

步骤1.2、将所述数据样本中的赤足足迹压力图像通过去噪、部分镜像、角度校正、图像尺寸调整、脚印对齐、擦除增广的预处理操作，从而得到预处理后的数据样本；

步骤1.3、对预处理后的数据样本进行归一化操作，得到归一化后的数据样本，并每个样本定义身份标签；

步骤2、建立由K层多尺度自注意卷积模块构成的特征提取网络，任意第k层多尺度自注意卷积模块由B个并行分支，任意第b个并行分支是由降维卷积层、平均池化层和自适应注意模块构成；

步骤2.1、从所述归一化后的数据样本中选取E个不同身份标签所对应的样本，任意第e 个身份标签的样本选取a个，从而构成一个批次，记为第k个批次；

从所述第k个批次中选取E个不同身份标签所对应的一个样本作为E个锚样本，从第k 个批次的锚样本以外的第e个身份标签所对应的a-1个样本中选取差值最大的一个样本作为第e个身份标签的正样本，并从第k个批次的其他E-1个身份标签分别所对应的a-1个样本中选取差值最小的一个样本作为第e个身份标签的负样本；同理选出所有E个不同身份标签所对应的正样本和负样本；

由所述第k个批次中所有的锚样本、正样本和负样本构成第k个样本集记为X_k∈R^{H ×W×C}；其中，C为样本通道数，H为样本高度，W为样本宽度；

步骤2.2、所述第k个样本集X_k分别通过B个分支中共享参数的降维卷积层得到相应的 B个特征，其中所述第k个样本集X_k通过第b个分支的降维卷积层处理后得到第b个特征记为X_k,b∈R^H×W×(C/2)；b∈B；

第b个分支中的平均池化层以采样率r＝2b对所述第b个特征X_k,b进行下采样操作，从而得到第b个下采样特征T_k,b；

第b个分支中的自适应注意模块对第b个下采样特征T_k,b分别进行两个降维卷积操作得到相应的特征P_k,b Q_k,b∈R^H×W×(C/4)；

对所述特征P_k,b和Q_k,b的尺寸分别进行调整，得到调整后的特征记为P_k,b′和Q′_k,b∈R^N×(C/4)，其中，N＝HW；

所述自适应注意模块对第b个下采样特征T_k,b按照卷积核大小为ks₁，步长大小为ks₁，扩展率大小为ks₁，填充大小为ks₁进行空洞卷积操作得到特征V_k∈R^H×W×C；

所述自适应注意模块将调整后的特征P_k,b′的转置和Q′_k,b相乘并通过Softmax层处理后，得到包含高阶统计信息的自适应权重特征S_k∈R^N×N；

所述自适应注意模块对特征V_k的尺寸进行调整，得到调整后的特征记为V′_k∈R^{N ×C}，并与自适应权重特征S_k相乘得到特征T′_k,b；

所述自适应注意模块对第b个下采样特征T_k,b和特征T′_k,b相加后得到的特征再使用双线性插值以采样率r＝2b进行上采样操作，从而得到特征G_k,b；

步骤2.3、对B个分支得到的特征{G_k,b}_{b＝1,2,…,B}进行合并操作得到合并特征f_k；

步骤2.4、重复K次步骤2.1到步骤2.3操作得到K个批次输出的合并特征{f_k}_{k＝1,2,…,K}并作为输出特征集F；

步骤3、建立由全局特征分支、残缺性评分掩模分支构成的残缺性评分模块；

步骤3.1、所述全局特征分支由步长大小为s，扩展率为s，填充大小为s的卷积、批归一化处理、激活函数Tanh构成，并对所述输出特征集F进行通道的一半压缩，从而得到三个全局特征M₁、M₂、M₃，其中，M₁为锚全局特征，M₂为正样本全局特征，M₃为负样本全局特征；

步骤3.2、所述残缺性评分掩模分支是由步长大小为s2，扩展率为s2，填充大小为s2的卷积、批归一化处理，Sigmoid函数构成，并对所述输出特征集F进行通道的一半压缩，从而得到三个残缺性评分掩模Y₁、Y₂、Y₃，其中，Y₁为锚掩模Y₁、Y₂为正样本特征掩模、Y₃为负样本掩模；

步骤4、建立由共同可见特征提取模块、局部特征池化模块和三元组损失函数构成的特征比对模块；

步骤4.1、所述共同可见特征提取模块利用式(1)和式(2)对三个残缺性评分掩模Y₁、Y₂、Y₃进行处理，得到同类样本共同残缺性评分矩阵C₁和异类样本共同残缺性评分矩阵C₂：

C₁＝Y₁×Y₂ (1)

C₂＝Y₁×Y₃ (2)

所述共同可见特征提取模块将同类样本共同残缺性评分矩阵C₁分别与锚全局特征M₁、正样本全局特征M₂相乘，得到同类样本共同可见特征Z₁、Z₂；

再将异类样本共同残缺性评分矩阵C₂分别与锚全局特征M₁、负样本全局特征M₃相乘，得到异类样本共同可见特征Z₃、Z₄；

步骤4.2、所述局部特征池化模块使用u×u大小的滑动窗口对同类样本共同可见特征 Z₁、Z₂以及异类样本共同可见特征Z₃、Z₄分别进行局部采样，得到相应的局部特征

d表示Z_i特征图宽度和长度的乘积，其中，L_ij表示第i个共同可见特征Z_i上所采样的第j个的局部特征；

为局部特征个数；u为步长；对所述局部特征池化模块对局部特征

分别进行最大池化和平均池化操作，并将对应的最大池化结果和平均池化结果相加得到处理后的局部特征

最后将处理后的局部特征

分别进行拼接后得到具有判别性的共同可见特征{h_i}_i＝1,2,3,4；

步骤4.3、计算第1个共同可见特征h₁和第2个共同可见特征h₂之差的L2范数的平方并作为同类样本间距D_ap，以及第3个共同可见特征h₃和第4个共同可见特征h₄之差的L2范数的平方作为异类样本间距D_an；

以同类样本间距D_ap和异类样本间距D_an作为所述三元组损失函数的输入，并利用梯度下降算法对由特征提取网络、残缺性评分模块和特征比对模块所构成的整体网络进行迭代和参数更新，使得所述三元组损失函数值不断减小，从而得到最优足迹压力图像检索模型用于实现足迹压力图像的检索。

与已有技术相比，本发明的有益效果体现在：

1、本发明将图像处理、深度学习、与足底压力图像的检索相结合。在图像预处理方面：足迹压力图像通过去噪、部分镜像、角度校正、图像尺寸调整、脚印对齐、擦除增广等预处理操作，有效的清洗了样本数据集；在网络结构方面：基于多尺度自注意卷积的足迹压力图像检索算法由多尺度自注意卷积模块构成的特征提取网络、残缺性评分模块、特征比对模块组成，与传统方法相比，有效的提取了稳健的、更有判别性的细粒度特征，同时有效的抑制了残缺图像对于检索的影响；

2、本发明通过对足迹压力图像进行去噪、角度校正、图像尺寸调整、脚印对齐等预处理操作；通过图像去噪是有效的抑制了噪声在检索中带来的干扰，通过先验知识可以缓解左右脚检索过程中带来的影响，通过图像尺寸调整更有效地满足网络的输入，通过角度校正和脚印对齐可以有效解决特征不对其对特征检索的影响；

3、本发明利用多尺度自注意卷积模块构成的特征提取网络，提出的自适应多尺度卷积模块能利用上下文感知增加对重要信息的关注，提取多尺度的判别性特征，同时有效的抑制了不重要的信息，使其可以嵌入高级语义的同时捕获丰富的内容特征；从而有效的获取了具有判别性的检索特征；

4、本发明利用残缺性评分模块有效的标定出特征的残缺性情况，根据比对图像之间的残缺性情况可以提取出两者的共同可见区域特征进行比对，降低了网络对残缺部分的关注度，有效的较小了残缺图像比对造成的类间距离较小，类内距离增大，有效地抑制了残缺图像对于检索过程中产生的影响；

5、本发明利用特征比对模块进行提取共同可见区域特征进行比对，在训练过程中有效的拉近了同类别样本之间的距离，拉开了异类样本之间的间距，使其能在进行特征测试的时候提取更多判别性特征；从而有效的抑制了残缺足迹图像对于检索过程的影响；

附图说明

图1是本发明中的足迹压力图像检索的整体流程图；

图2a是本发明中的多尺度自注意卷积模块结构图；

图2b是本发明中自适应注意模块(self-attention module，SAM)模块结构图；

图2c是本发明中多尺度自注意卷积的足迹压力图像检索网络结构图。

具体实施方式

本实施例中，一种足迹压力图像检索方法，是使用多尺度自注意卷积模块来提取多尺度判别性特征，同时使用残缺性评分模块有效的抑制了残缺足底压力图像对于检索性能的影响。本发明使用的数据集包含1000张赤足足迹压力图像数据，预处理后包含5584张赤足足迹压力图像数据。具体的说，该足迹压力图像检索包括如下步骤：

步骤1、足迹压力图像数据集采集并进行预处理操作；

步骤1.1、采集赤足足迹压力图像作为数据样本；

步骤1.2、将数据样本中的赤足足迹压力图像通过去噪、部分镜像、角度校正、图像尺寸调整、脚印对齐、擦除增广的预处理操作，从而得到预处理后的数据样本；

步骤1.2.1、由于在采集的数据样本存在部分噪声，所以这里需要对足迹外区域进行去噪操作。首先通过使用水平扫描线从上到下逐行统计压力点的个数，这里设置上扫描线阈值为 50，当压力点个数大于等于50的时候，认为找到了足迹压力图像最小外接矩形的上边界线，如果压力点个数小于50就认为该压力为噪声，同理，可以从下到上、从左到右、从右到左依次找到下边界线、左边界线、右边界线，通过上下左右四条边界线，确定出足迹压力图像的最小外接矩形区域，然后对于区域外的压力点全部置0；

步骤1.2.2、由于先验知识可以知道左脚在镜像之后基本和右脚一致，这里对所有的左脚足迹压力图像使用垂直镜像操作，避免左右脚的不一致对检索过程带来的影响；

步骤1.2.3、通过步骤1.2.1可以确定出足迹图像的最小外接矩形区域，通过最小外接矩形，可以找出水平线与最小外接矩形之间的夹角，如果3a所示，根据夹角的角度可以对足迹压力图像进行仿射变换使其校正至水平；

步骤1.2.4、为了更好的，满足网络输入的要求，这里把原始图像大小为250x150的足迹压力图像尺寸大小调整为224x224；

步骤1.2.5、为了避免提取的足迹图像特征不对齐，造成较大的比对误差，这里将步骤 1.2.3校正至水平的足迹压力图像进行对齐操作。首先再次确定出水平脚印的最小外接矩形，为了实现更好的对齐，这里对足迹图像进行水平移动和上下移动，使其最小外接矩形的右下角位置进行对齐，从而实现足迹压力图先的对齐操作；

步骤1.2.6、由于残缺足迹图像会加大比对过程之中足迹图像类内的差异。为了更好的训练本发明所提出的残缺性评分模块，较小残缺足迹图像对检索带来的影响，这里随机在足迹压力图像区域选取不定大小的矩形区域进行特征擦除；

步骤1.3、对预处理后的数据样本进行归一化操作，得到归一化后的数据样本，并每个样本定义身份标签；

步骤1.4、将上述数据样本按照6：4的比例分为训练集和测试集，然后将训练集在预处理过程中进行擦除增广，并将测试集按照4：6再分为测试查询集和测试数据库，并分别为每个数据样本定义身份标签；

步骤2、建立由K层多尺度自注意卷积模块构成的特征提取网络，任意第k层多尺度自注意卷积模块由B个并行分支，任意第b个并行分支是由降维卷积层、平均池化层和自适应注意模块构成；通过使用多尺度自注意卷积模块能够有效根据上下文信息动态学习判别性多尺度特征，同时有效的抑制了不重要的信息，使其可以嵌入高级语义的同时捕获丰富的内容特征。K的取值范围为[4,10]；

步骤2.1、从归一化后的数据样本中选取E个不同身份标签所对应的样本，任意第e个身份标签的样本选取a个，从而构成一个批次，记为第k个批次；

从第k个批次中选取E个不同身份标签所对应的一个样本作为E个锚样本，从第k个批次的锚样本以外的第e个身份标签所对应的a-1个样本中选取差值最大的一个样本作为第e 个身份标签的正样本，并从第k个批次的其他E-1个身份标签分别所对应的a-1个样本中选取差值最小的一个样本作为第e个身份标签的负样本；同理选出所有E个不同身份标签所对应的正样本和负样本；

由第k个批次中所有的锚样本、正样本和负样本构成第k个样本集记为X_k∈R^H×W×C；其中，C为样本通道数，H为样本高度，W为样本宽度；

步骤2.2、第k个样本集X_k分别通过B个分支中共享参数的降维卷积层得到相应的B个特征，其中第k个样本集X_k通过第b个分支的降维卷积层处理后得到第b个特征记为 X_k,b∈R^H×W×(C/2)；b∈B；

第b个分支中的平均池化层以采样率r＝2b对第b个特征X_k,b进行下采样操作，从而得到第b个下采样特征T_k,b；

第b个分支中的自适应注意模块对第b个下采样特征T_k,b分别进行两个降维卷积操作得到相应的特征P_k,b Q_k,b∈R^H×W×(C/4)；

对特征P_k,b和Q_k,b的尺寸分别进行调整，得到调整后的特征记为P_k,b′和Q′_k,b∈R^{N ×(C/4)}，其中，N＝HW；

自适应注意模块对第b个下采样特征T_k,b按照卷积核大小为ks₁，步长大小为ks₁，扩展率大小为ks₁，填充大小为ks₁进行空洞卷积操作得到特征V_k∈R^H×W×C；

自适应注意模块将调整后的特征P_k,b′的转置和Q′_k,b相乘并通过Softmax层处理后，得到包含高阶统计信息的自适应权重特征S_k∈R^N×N；

自适应注意模块对特征V_k的尺寸进行调整，得到调整后的特征记为V′_k∈R^N×C，并与自适应权重特征S_k相乘得到特征T′_k,b；

自适应注意模块对第b个下采样特征T_k,b和特征T′_k,b相加后得到的特征再使用双线性插值以采样率r＝2b进行上采样操作，从而得到特征G_k,b；

步骤2.3、对B个分支得到的特征{G_k,b}_{b＝1,2,…,B}进行合并操作得到合并特征f_k；

步骤2.4、重复K次步骤2.1到步骤2.3操作得到K个批次输出的合并特征{f_k}_{k＝1,2,…,K}并作为输出特征集F；

步骤3、足迹图像的部分缺失会导致类间距离减小，类内距离增大，增加图像检索的难度。为了能够很好的处理图像缺失对图像检索的影响，本文提出了残缺性评分模块(Incomplete scoring module，ISM)，能够降低网络对残缺部分的关注度，有效地抑制了残缺图像对于检索过程中产生的影响。建立由全局特征分支、残缺性评分掩模分支构成的残缺性评分模块；

步骤3.1、全局特征分支由步长大小为s，扩展率为s，填充大小为s的卷积、批归一化处理、激活函数Tanh构成，并对输出特征集F进行通道的一半压缩，从而得到三个全局特征 M₁、M₂、M₃，其中，M₁为锚全局特征，M₂为正样本全局特征，M₃为负样本全局特征；

步骤3.2、残缺性评分掩模分支是由步长大小为s2，扩展率为s2，填充大小为s2的卷积、批归一化处理，Sigmoid函数构成，并对输出特征集F进行通道的一半压缩，从而得到三个残缺性评分掩模Y₁、Y₂、Y₃，其中，Y₁为锚掩模Y₁、Y₂为正样本特征掩模、Y₃为负样本掩模；残缺性评分掩模分支能有效的表示出其对应的足迹区域的残缺性情况，根据比对图像之间的残缺情况弱化两者残缺程度相差较大的部分：

Y_j＝Conv(BN(Sigmoid(F_j)))，j＝1,2,3 (1)

步骤4、建立由共同可见特征提取模块、局部特征池化模块和三元组损失函数构成的特征比对模块；

步骤4.1、共同可见特征提取模块利用式(2)和式(3)对三个残缺性评分掩模Y₁、Y₂、Y₃进行处理，得到同类样本共同残缺性评分矩阵C₁和异类样本共同残缺性评分矩阵C₂：

C₁＝Y₁×Y₂ (2)

C₂＝Y₁×Y₃ (3)

共同可见特征提取模块将同类样本共同残缺性评分矩阵C₁分别与锚全局特征M₁、正样本全局特征M₂相乘，得到同类样本共同可见特征Z₁、Z₂；

再将异类样本共同残缺性评分矩阵C₂分别与锚全局特征M₁、负样本全局特征M₃相乘，得到异类样本共同可见特征Z₃、Z₄；

步骤4.2、局部特征池化模块使用u×u大小的滑动窗口对同类样本共同可见特征Z₁、Z₂以及异类样本共同可见特征Z₃、Z₄分别进行局部采样，得到相应的局部特征

d表示Z_i特征图宽度和长度的乘积，其中，L_ij表示第i个共同可见特征Z_i上被采样的的第j 个的局部特征；

为局部特征个数；u为步长；对局部特征池化模块对局部特征

分别进行最大池化和平均池化操作，并将对应的最大池化结果和平均池化结果相加得到处理后的局部特征

最后将处理后的局部特征

分别进行拼接后得到具有判别性的共同可见特征{h_i}_i＝1,2,3,4；

步骤4.3、计算第1个共同可见特征h₁和第2个共同可见特征h₂之差的L2范数的平方并作为同类样本间距D_ap，以及第3个共同可见特征h₃和第4个共同可见特征h₄之差的L2范数的平方作为异类样本间距D_an；

以同类样本间距D_ap和异类样本间距D_an作为三元组损失函数的输入，并利用梯度下降算法对由特征提取网络、残缺性评分模块和特征比对模块所构成的整体网络进行迭代和参数更新，使得三元组损失函数值不断减小，从而得到最优足迹压力图像检索模型用于实现足迹压力图像的检索。在测试阶段对于两张比对的足迹图像，通过ISM模块求出两者之间的共同残缺性评分矩阵，根据共同残缺性评分矩阵求出两者对应区域的全局特征，最后使用全局特征进行特征比对检索。

Claims (1)

1.一种足迹压力图像检索方法，其特征是按如下步骤进行：

步骤1、足迹压力图像数据集采集并进行预处理操作；

步骤1.1、采集赤足足迹压力图像作为数据样本；

步骤1.2、将所述数据样本中的赤足足迹压力图像通过去噪、部分镜像、角度校正、图像尺寸调整、脚印对齐、擦除增广的预处理操作，从而得到预处理后的数据样本；

步骤1.3、对预处理后的数据样本进行归一化操作，得到归一化后的数据样本，并每个样本定义身份标签；

步骤2、建立由K层多尺度自注意卷积模块构成的特征提取网络，任意第k层多尺度自注意卷积模块由B个并行分支，任意第b个并行分支是由降维卷积层、平均池化层和自适应注意模块构成；

步骤2.1、从所述归一化后的数据样本中选取E个不同身份标签所对应的样本，任意第e个身份标签的样本选取a个，从而构成一个批次，记为第k个批次；

从所述第k个批次中选取E个不同身份标签所对应的一个样本作为E个锚样本，从第k个批次的锚样本以外的第e个身份标签所对应的a-1个样本中选取差值最大的一个样本作为第e个身份标签的正样本，并从第k个批次的其他E-1个身份标签分别所对应的a-1个样本中选取差值最小的一个样本作为第e个身份标签的负样本；同理选出所有E个不同身份标签所对应的正样本和负样本；

由所述第k个批次中所有的锚样本、正样本和负样本构成第k个样本集记为X_k∈R^H×W×C；其中，C为样本通道数，H为样本高度，W为样本宽度；

步骤2.2、所述第k个样本集X_k分别通过B个分支中共享参数的降维卷积层得到相应的B个特征，其中所述第k个样本集X_k通过第b个分支的降维卷积层处理后得到第b个特征记为X_k,b∈R^H×W×(C/2)；b∈B；

第b个分支中的平均池化层以采样率r＝2b对所述第b个特征X_k,b进行下采样操作，从而得到第b个下采样特征T_k,b；

第b个分支中的自适应注意模块对第b个下采样特征T_k,b分别进行两个降维卷积操作得到相应的特征P_k,b Q_k,b∈R^H×W×(C/4)；

对所述特征P_k,b和Q_k,b的尺寸分别进行调整，得到调整后的特征记为P_k,b′和Q′_k,b∈R^{N ×(C/4)}，其中，N＝HW；

所述自适应注意模块对第b个下采样特征T_k,b按照卷积核大小为ks₁，步长大小为ks₁，扩展率大小为ks₁，填充大小为ks₁进行空洞卷积操作得到特征V_k∈R^H×W×C；

所述自适应注意模块将调整后的特征P_k,b′的转置和Q′_k,b相乘并通过Softmax层处理后，得到包含高阶统计信息的自适应权重特征S_k∈R^N×N；

所述自适应注意模块对特征V_k的尺寸进行调整，得到调整后的特征记为V′_k∈R^N×C，并与自适应权重特征S_k相乘得到特征T′_k,b；

所述自适应注意模块对第b个下采样特征T_k,b和特征T′_k,b相加后得到的特征再使用双线性插值以采样率r＝2b进行上采样操作，从而得到特征G_k,b；

步骤2.3、对B个分支得到的特征{G_k,b}_{b＝1,2,…,B}进行合并操作得到合并特征f_k；

步骤2.4、重复K次步骤2.1到步骤2.3操作得到K个批次输出的合并特征{f_k}_{k＝1,2,…,K}并作为输出特征集F；

步骤3、建立由全局特征分支、残缺性评分掩模分支构成的残缺性评分模块；

步骤3.1、所述全局特征分支由步长大小为s，扩展率为s，填充大小为s的卷积、批归一化处理、激活函数Tanh构成，并对所述输出特征集F进行通道的一半压缩，从而得到三个全局特征M₁、M₂、M₃，其中，M₁为锚全局特征，M₂为正样本全局特征，M₃为负样本全局特征；

步骤3.2、所述残缺性评分掩模分支是由步长大小为s2，扩展率为s2，填充大小为s2的卷积、批归一化处理，Sigmoid函数构成，并对所述输出特征集F进行通道的一半压缩，从而得到三个残缺性评分掩模Y₁、Y₂、Y₃，其中，Y₁为锚掩模Y₁、Y₂为正样本特征掩模、Y₃为负样本掩模；

步骤4、建立由共同可见特征提取模块、局部特征池化模块和三元组损失函数构成的特征比对模块；

步骤4.1、所述共同可见特征提取模块利用式(1)和式(2)对三个残缺性评分掩模Y₁、Y₂、Y₃进行处理，得到同类样本共同残缺性评分矩阵C₁和异类样本共同残缺性评分矩阵C₂：

C₁＝Y₁×Y₂ (1)

C₂＝Y₁×Y₃ (2)

所述共同可见特征提取模块将同类样本共同残缺性评分矩阵C₁分别与锚全局特征M₁、正样本全局特征M₂相乘，得到同类样本共同可见特征Z₁、Z₂；

再将异类样本共同残缺性评分矩阵C₂分别与锚全局特征M₁、负样本全局特征M₃相乘，得到异类样本共同可见特征Z₃、Z₄；

步骤4.2、所述局部特征池化模块使用u×u大小的滑动窗口对同类样本共同可见特征Z₁、Z₂以及异类样本共同可见特征Z₃、Z₄分别进行局部采样，得到相应的局部特征

d表示Z_i特征图宽度和长度的乘积，其中，L_ij表示第i个共同可见特征Z_i上所采样的第j个的局部特征；

为局部特征个数；u为步长；对所述局部特征池化模块对局部特征

分别进行最大池化和平均池化操作，并将对应的最大池化结果和平均池化结果相加得到处理后的局部特征

最后将处理后的局部特征

分别进行拼接后得到具有判别性的共同可见特征{h_i}_i＝1,2,3,4；

步骤4.3、计算第1个共同可见特征h₁和第2个共同可见特征h₂之差的L2范数的平方并作为同类样本间距D_ap，以及第3个共同可见特征h₃和第4个共同可见特征h₄之差的L2范数的平方作为异类样本间距D_an；

以同类样本间距D_ap和异类样本间距D_an作为所述三元组损失函数的输入，并利用梯度下降算法对由特征提取网络、残缺性评分模块和特征比对模块所构成的整体网络进行迭代和参数更新，使得所述三元组损失函数值不断减小，从而得到最优足迹压力图像检索模型用于实现足迹压力图像的检索。

Images