CN113656623A - 基于时序移位和多分支时空增强网络的成趟足迹图像检索方法 - Google Patents

基于时序移位和多分支时空增强网络的成趟足迹图像检索方法 Download PDF

Info

Publication number
CN113656623A
CN113656623A CN202110940231.0A CN202110940231A CN113656623A CN 113656623 A CN113656623 A CN 113656623A CN 202110940231 A CN202110940231 A CN 202110940231A CN 113656623 A CN113656623 A CN 113656623A
Authority
CN
China
Prior art keywords
branch
footprint
layer
image
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110940231.0A
Other languages
English (en)
Inventor
唐俊
吴正建
王年
朱明�
张艳
鲍文霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202110940231.0A priority Critical patent/CN113656623A/zh
Publication of CN113656623A publication Critical patent/CN113656623A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，与现有技术相比解决了成趟足迹图像之间有效的时空特征少、难以聚合不同类别的差异性特征的缺陷。本发明包括以下步骤：训练数据的获取；构建成趟足迹图像检索模型；对训练数据进行预处理；成趟足迹图像检索模型的训练；待检索成趟足迹图像的获取；成趟足迹图像的检索。本发明提高了成趟足迹图像的检索速度和准确率。

Description

基于时序移位和多分支时空增强网络的成趟足迹图像检索 方法
技术领域
本发明涉及足迹图像处理技术领域，具体来说是基于时序移位和多分支时空增强网络的成趟足迹图像检索方法。
背景技术
近年来，随着计算机技术的快速发展，人工智能也有了新的突破，比如行人重识别技术可以实现跨境追踪；目标检测技术可以应用在汽车的自动驾驶上。而足迹识别技术作为一种可以识别个人身份的新型生物技术，在鉴别身份、侦查案件上有巨大的发展潜力。与传统的视频监控、指纹识别、人脸识别相比，足迹同样具有唯一性，并且不易伪装。
目前足迹检验技术虽然取得一定的进展，但存在一定的问题。传统的人体足迹检验技术一直依靠足迹专家根据自身长期的经验去提取特征，而不同的专家提取特征的方法各不相同，没有统一的标准。
目前在深度学习领域关于成趟足迹图像检索的方法有两种，一种是结合步法特征的成趟足迹识别方法、一种是基于时空运动和特征融合的足迹图像检索方法。前者虽然可以实现成趟足迹图像的识别，但利用的特征太少并没有最大化模型的识别效果，并且这仅仅是一个分类算法实用性不高；后者是一种检索算法，但是只能保证单种鞋的检索，一旦涉及跨模态的检索效果不甚理想。
发明内容
本发明的目的是为了解决现有技术中成趟足迹图像之间有效的时空特征少、难以聚合不同类别的差异性特征的缺陷，提供一种基于时序移位和多分支时空增强网络的成趟足迹图像检索方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，包括以下步骤：
11)训练数据的获取：获取成趟足迹压力图像作为训练数据；
12)构建成趟足迹图像检索模型：建立基于时序移位和多分支时空增强网络的成趟足迹图像检索模型；
13)对训练数据进行预处理：对训练数据进行中心化处理；
14)成趟足迹图像检索模型的训练：利用中心化处理后的训练数据对成趟足迹图像检索模型进行训练；
15)待检索成趟足迹图像的获取：获取待检索成趟足迹图像，并进行预处理；
16)成趟足迹图像的检索：将预处理后的待检索成趟足迹图像输入训练后的成趟足迹图像检索模型，完成对成趟足迹图像的检索。
所述构建成趟足迹图像检索模型包括以下步骤：
21)设定成趟足迹图像检索模型的第一层为左右脚判别模块；
22)设定成趟足迹图像检索模型的第二层为多分支空间特征提取模块；
23)设定成趟足迹图像检索模型的第三层为时序移位模块；
24)设定成趟足迹图像检索模型的第四层为多分支时序特征提取模块。
所述训练数据的获取包括以下步骤：
31)获取成趟足迹压力图像；
32)对成趟足迹压力图像进行去噪，并分割成单帧图像样本数据，每个单帧图像样本数据中有且仅有一个脚印，得到一个成趟足迹压力图像的样本集d＝{dx|x＝1,2,3,…,X}，dx表示第x帧样本数据，1≤x≤X，X表示该成趟足迹压力图像分割的帧数，取12～15；
33)重复上述操作得到该采集者的样本集f＝{fy|y＝1,2,3,…,Y}，fy表示第y趟样本数据，Y表示采集者采集的总趟数，取6或9；
34)重复采集，得到包含所有采集者的样本集D＝{D|k＝1,2,3,…,K}，K是总人数；
35)定义标签信息，该标签用于区分D中不同的足迹样本的ID。
所述对训练数据进行预处理包括以下步骤：
41)将分割后的成趟足底压力图像蓝色通道处像素值为255的点全部去除；
42)逐列扫描分割后的成趟足底压力图像，设像素平均值大于5的列是足迹图像的有效列，按列寻找，并将列的位置数值保存起来；
43)将第一列位置作为切割后的成趟足底压力图像脚长的起始值，并将最后一列位置作为切割后的成趟足底压力图像脚长的结束值，根据切割后足迹图像脚长的开始和脚长的结束，向左右两边等距离延伸拓展填补像素值，使得高宽比为1:1，左右两边填补的像素数目分别为NL和NR，其表达式如下：
NL＝[250-(L2-L1)]/2，
NR＝250-(L2-L1)-NL，
其中，L1为切割后成趟足底压力图像脚长的起始值，L2是切割后成趟足底压力图像脚长的结束值，NL为左边填补的像素点数值,NR为右边填补的像素点数值，完成对训练数据的规整操作；
44)逐行扫描规整后的成趟足底压力图像，设像素平均值大于5的行是足迹图像的有效行，按行寻找并将行的位置数值给保存起来；
45)将第一行位置作为规整后的成趟足底压力图像脚宽的起始值，并将最后一行位置作为规整后的成趟足底压力图像脚宽的结束值，根据规整后足迹图像脚宽的开始和脚宽的结束，向上下两边等距离延伸拓展填补像素值，使得高宽比为1:1，上下两边填补的像素数目分别为NU和ND，其表达式如下：
NU＝[250-(L4-L3)]/2，
ND＝250-(L4-L3)-NU，
其中，L3为规整后成趟足底压力图像脚宽的起始值，L4是规整后成趟足底压力图像脚宽的结束值,NU为上边填补的像素点数值，ND为下边填补的像素点数值，完成对训练数据的中心化操作。
所述成趟足迹图像检索模型的训练包括以下步骤：
51)将规整、中心化处理后的训练数据输入成趟足迹图像检索模型的第一层，此时成趟足迹图像检索模型的输入特征维度是(B,T,C,H,W)，B是批次大小，T是每个批次送入的帧数，C取3表示红绿蓝RGB三通道，H和W为空间分辨率；假定B、T分别取16、8，此时网络输入特征维度是(16,8,3,224,224)；
52)训练数据经过成趟足迹图像检索模型的左右脚判别模块，生成三个支路，分别是支路1同时包含左右脚数据、支路2仅包含右脚数据以及支路3仅包含左脚数据；支路1、支路2、支路3的特征维度分别是(16,8,3,224,224)、(16,4,3,224,224)、(16,4,3,224,224)；
53)针对三个支路的数据训练多分支空间特征提取模块，获取更加细化的空间特征信息，其中，每个分支由n层卷积核的卷积神经网络构成，每层按顺序依次包括卷积层、激励层和池化层；
54)训练时序移位模块，针对支路1的输出不进行时序移位处理，针对支路2和支路3在多分支空间特征提取模块的输出Z′2、Z′3训练时序移位模块；
55)训练多分支时序特征提取模块，训练长短期记忆网络LSTM和全连接层组成的多分支时序特征提取模块；
56)多分支时序特征提取模块输出对应的表征特征Hn，每个训练图像对应的Hn包含类别标签和特征，同时计算损失函数并通过网络反向传播，更新网络中每一层的参数，最后得到最优训练后的成趟足迹检索模型。
所述针对三个支路的数据训练多分支空间特征提取模块，包括以下步骤：
61)利用循环特征提取方法建立支路1对应的空间特征提取模块分支，得到相应的输出Z′1；其中循环特征提取方法如下：
611)通过for循环将支1路的输出每帧依次作为第一层卷积层的输入，第一层由步长为4、填充补0值为2、滤波器大小为11*11的卷积层组成；得到Z11的特征维度为(16,64,27,27)；
激活函数选用Leaky ReLU，其表达式如下：
Figure BDA0003214529350000041
池化层选用最大池化，步长为2、滤波器大小为3*3；
通过计算输出Z11的特征维度为(16,64,27,27)，其计算公式如下：
((M-K+2P)/S)+1，
((M-K)/S)+1，
其中，M是输入图片的空间分辨率大小，为H或者W，K是滤波器大小，P是补零的数量，S是步幅；
612)将Z11作为第二层卷积层的输入，第二层由步长为1、填充补0值为2，滤波器大小为5*5的卷积层；激活函数和池化层选择Leaky ReLU和最大池化；得到Z12的特征维度为(16,192,13,13)；
613)将Z12作为第三层卷积层的输入，第三层由步长为3、填充补0值为1，滤波器大小为3*3的卷积层组成，激活函数选择Leaky ReLU，得到输出Z13的特征维度为(16,384,13,13)；
614)将Z13作为全连接层的输入，最后得到输出Z1的特征维度为(16,2048)；
615)在for循环内将每次的输出Z1增加一个时间维度,特征维度变为(16,1,2048)，在时间维度上将8个张量进行拼接，如下式所示，得到输出Z′1的特征维度是(16,8,2048)；
Z1'＝concat((Z1,Z2,Z3,Z4,Z5,Z6,Z7,Z8),dim＝1)；
62)利用循环特征提取方法构建支路2、支路3的空间特征提取模块分支，得到对应的输出Z′2、Z′3的特征维度都是(16,4,192,13,13)。
所述训练时序移位模块包括以下步骤：
71)利用时序移位方法建立支路2对应的时序移位模块分支，得到输出Z″2；其中时序移位方法如下：
711)时序移位模块TSM在操作过程中给定一个参数div，由下式表示：
fold＝C//div
C是通道数，div是给定的参数，fold表示对哪些通道操作进行时序移位，C、div、fold分别取192、8、24；
设置一个和Z′2维度相同的全0张量out，特征维度是(B,T,C,H,W)；
722)在前fold通道上将Z′2的后T-1帧的特征赋给全0张量out，其他特征不动，完成特征的左移，其公式如下：
out[:,:-1,:fold,:,:]＝X[:,1:,:fold,:,:]；
723)在[fold,2*fold]通道上将Z′2的前T-1帧的特征赋给全0张量out，其他特征不动，完成特征的右移，其公式如下：
out[:,1:,fold:2*fold,:,:]＝X[:,:-1,fold:2*fold,:,:]；
724)在剩余通道上将Z′2的T帧的特征赋给全0张量out，完成所有移位操作，最后得到的张量out就是输入X时序移位后的输出，其公式如下：
out[:,:,2*fold:,:,:]＝X[:,:,2*fold:,:,:]，
725)重复步骤721)至步骤724)构建一个一层卷积神经网络层，通过循环处理每帧依次输入，最后得到输出Z″2，特征维度是(16,4,2048)；
726)重复步骤721)至步骤725)建立支路3对应的时序移位模块，得到对应的输出Z″3，特征维度是(16,4,2048)。
所述训练多分支时序特征提取模块包括以下步骤：
81)初始化LSTM网络，输入特征维度是2048，隐藏层和记忆层特征维度都是512，RNN层数为1；
82)将三个支路的输出Z′1、Z″2、Z″3作为输入送入LSTM网络，得到三个输出Output、Hn和Cn，它们分别是最后一层输出门、隐藏层和记忆层的输出；将输出Output[-1,:,:]处理送入全连接层得到输出Out；
83)将三个支路得到的两个输出对应相加得到最终的结果作为网络的输出，其表达式如下：
Out＝Out1+Out2+Out3，
Hn＝Hn1+Hn2+Hn3，
其中，网络输出Hn包含训练图像的类别标签和特征，Out作为参数来更新损失函数。
有益效果
本发明的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，与现有技术相比提高了成趟足迹图像的检索速度和准确率。其优点主要体现在以下几点：
(1)本发明将传统图像处理方法、视频深度理解方法与成趟足迹图像的检索相结合，构成一个完整且高效的成趟足迹图像检索框架。在预处理方面：重置优化成趟足迹样本的格式，从而让数据集与网络更适配；在网络结构方面：成趟足迹图像检索模型是由左右脚判别模块、多分支空间特征提取模块、时序移位模块、多分支时序特征提取模块组成，与以往的足迹检索方法相比，在提高了成趟足迹图像检索效率和准确性的同时，可以更好的实现跨模态检索。
(2)本发明的预处理模块包括去噪、切割、规整化和中心化，这有助于网络提取更加有效的时空特征，从而训练出更好的网络模型。
(3)本发明的多分支空间特征提取模块的网络层数较浅，并且使用的卷积核较小，有助于更好的提取成趟足迹图像中的更具有区分性的压力信息和纹理轮廓信息。
(4)本发明的左右脚判别模块将成趟足迹分成左右脚、仅左脚和仅右脚三个部分，有助于网络更好的提取不同类别的差异性特征。
(5)本发明的时序移位模块在部分通道上对相邻图像帧进行移位，在不增加计算量的前提下，实现时域上的建模。
(6)本发明的多分支时序特征提取模块使用了LSTM，配合左右脚判别模块和时序移位模块，网络可以提取更有效的时空特征，实现更准确、更高效的检索。
附图说明
图1为本发明的方法顺序图；
图2为本发明所涉及的时序移位模块原理图；
图3为本发明所涉及的时序移位和多分支时空增强网络框架图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，包括以下步骤：
第一步，训练数据的获取：获取成趟足迹压力图像作为训练数据。在实验室环节，数据集通过自行采集和处理得到。采集者在压力板上正常姿势行走，软件对压力板传递过来的数据进行处理，得到一个成趟足迹压力图像并保存在电脑上。改变鞋子的种类(共6类)、调整负重状态(共3种)，重复采集操作，可以得到该采集者的所有数据。总数据为360类约有19400张成趟足迹图像，处理后约有233280张单帧图像，每张图像都带有人员ID的类别标签。训练集为200类约有129600张单帧图像，测试集为160类约有103600张数据，其中测试底库集为160类约有69120张单帧图像，测试查询集也为160类约有34560张单帧图像。其具体步骤如下：
(1)获取成趟足迹压力图像；
(2)对成趟足迹压力图像进行去噪，并分割成单帧图像样本数据，每个单帧图像样本数据中有且仅有一个脚印，得到一个成趟足迹压力图像的样本集d＝{dx|x＝1,2,3,…,X}，dx表示第x帧样本数据，1≤x≤X，X表示该成趟足迹压力图像分割的帧数，取12～15；
(3)重复上述操作得到该采集者的样本集f＝{fy|y＝1,2,3,…,Y}，fy表示第y趟样本数据，Y表示采集者采集的总趟数，取6或9；
(4)重复采集，得到包含所有采集者的样本集D＝{D|k＝1,2,3,…,K}，K是总人数；
(5)定义标签信息，该标签用于区分D中不同的足迹样本的ID。
第二步，构建成趟足迹图像检索模型：建立基于时序移位和多分支时空增强网络的成趟足迹图像检索模型。
如图3所示，整个成趟足迹图像检索模型由四个模块有序排列组成。左右脚判别模块将成趟足迹分成左右脚、仅左脚和仅右脚三个部分，有助于网络更好的提取不同类别的差异性特征；多分支空间特征提取模块的网络层数较浅，并且使用的卷积核较小，有助于更好的提取成趟足迹图像中的更具有区分性的压力信息和纹理轮廓信息；时序移位模块在部分通道上对相邻图像帧进行移位，在不增加计算量的前提下，实现时域上的建模；多分支时序特征提取模块使用了LSTM，配合左右脚判别模块和时序移位模块，网络可以提取更有效的时空特征，实现更准确、更高效的检索。
其具体步骤如下：
(1)设定成趟足迹图像检索模型的第一层为左右脚判别模块；
(2)设定成趟足迹图像检索模型的第二层为多分支空间特征提取模块；
(3)设定成趟足迹图像检索模型的第三层为时序移位模块；
(4)设定成趟足迹图像检索模型的第四层为多分支时序特征提取模块。
第三步，对训练数据进行预处理：对训练数据进行中心化处理。这一过程实际上是一个对齐足迹特征的过程，更有利于卷积神经网络提取有效特征。所述对训练数据进行预处理包括以下步骤：
(1)将分割后的成趟足底压力图像蓝色通道处像素值为255的点全部去除；
(2)逐列扫描分割后的成趟足底压力图像，设像素平均值大于5的列是足迹图像的有效列，按列寻找，并将列的位置数值给保存起来；
(3)将第一列位置作为切割后的成趟足底压力图像脚长的起始值，并将最后一列位置作为切割后的成趟足底压力图像脚长的结束值，根据切割后足迹图像脚长的开始和脚长的结束，向左右两边等距离延伸拓展填补像素值，使得高宽比为1:1，左右两边填补的像素数目分别为NL和NR，其表达式如下：
NL＝[250-(L2-L1)]/2，
NR＝250-(L2-L1)-NL，
其中，L1为切割后成趟足底压力图像脚长的起始值，L2是切割后成趟足底压力图像脚长的结束值，NL为左边填补的像素点数值,NR为右边填补的像素点数值，完成对训练数据的规整操作；
(4)逐行扫描规整后的成趟足底压力图像，设像素平均值大于5的行是足迹图像的有效行，按行寻找，并将行的位置数值给保存起来；
(5)将第一行位置作为规整后的成趟足底压力图像脚宽的起始值，并将最后一行位置作为规整后的成趟足底压力图像脚宽的结束值，根据规整后足迹图像脚宽的开始和脚宽的结束，向上下两边等距离延伸拓展填补像素值，使得高宽比为1:1，上下两边填补的像素数目分别为NU和ND，其表达式如下：
NU＝[250-(L4-L3)]/2，
ND＝250-(L4-L3)-NU，
其中，L3为规整后成趟足底压力图像脚宽的起始值，L4是规整后成趟足底压力图像脚宽的结束值,NU为上边填补的像素点数值，ND为下边填补的像素点数值，完成对训练数据的中心化操作。
第四步，成趟足迹图像检索模型的训练：利用中心化处理后的训练数据对成趟足迹图像检索模型进行训练。
与单种鞋的检索相比，跨鞋检索对网络模型的要求更高。跨鞋使得训练数据的种类增多，通过网络得到特征的类内差距增大类间差距变小，这将大大增大跨鞋检索的难度。对训练数据统一进行规整和中心化操作，除去质量较差的足迹图像，重置足迹图像大小，有利于多分支空间特征提取模块提取更具有区分性的空间特征，同时减少因池化操作而造成的特征缺失。左右脚移位模块和时序移位模块的灵活组合使得提取的特征更加细化，最后连接多分支空间特征提取模块完成时空建模，更好的提取训练数据的时空特征，从而大大提高跨鞋检索的准确率。
所述成趟足迹图像检索模型的训练包括以下步骤：
(1)将规整、中心化处理后的训练数据输入成趟足迹图像检索模型的第一层，此时成趟足迹图像检索模型的输入特征维度是(B,T,C,H,W)，B是批次大小，T是每个批次送入的帧数，C取3表示红绿蓝RGB三通道，H和W为空间分辨率；假定B、T分别取16、8，此时网络输入特征维度是(16,8,3,224,224)。
(2)训练数据经过成趟足迹图像检索模型的左右脚判别模块，生成三个支路，分别是支路1同时包含左右脚数据、支路2仅包含右脚数据以及支路3仅包含左脚数据；支路1、支路2、支路3的特征维度分别是(16,8,3,224,224)、(16,4,3,224,224)、(16,4,3,224,224)。对输入进行上述分块处理更有利于聚合不同类别的差异性特征，从而大大提高检索的准确率。
(3)针对三个支路的数据训练多分支空间特征提取模块，获取更加细化的空间特征信息，其中，每个分支由n层卷积核的卷积神经网络构成，每层按顺序依次包括卷积层、激励层、池化层和。
针对三个支路的数据训练多分支空间特征提取模块，包括以下步骤：
首先，利用循环特征提取方法建立支路1对应的空间特征提取模块分支，得到相应的输出Z′1；其中循环特征提取方法如下：
A1)通过for循环将支1路的输出每帧依次作为第一层卷积层的输入，第一层由步长为4、填充补0值为2、滤波器大小为11*11的卷积层组成；得到Z11的特征维度为(16,64,27,27)。
激活函数选用Leaky ReLU，其表达式如下：
Figure BDA0003214529350000111
池化层选用最大池化，步长为2、滤波器大小为3*3；
通过计算输出Z11的特征维度为(16,64,27,27)，其计算公式如下：
((M-K+2P)/S)+1，
((M-K)/S)+1，
其中，M是输入图片的空间分辨率大小，为H或者W，K是滤波器大小，P是补零的数量，S是步幅。
激活函数选用Leaky ReLU可以加速收敛速度，并且不会出现ReLU函数进入负区间后，导致神经元不学习的问题。使用最大池化可以缩小特征图的同时减少网络参数，并且与平均池化相比，最大池化可以减少卷积层参数误差造成估计均值的偏移，更多的保留足迹图像的纹理信息。
A2)将Z11作为第二层卷积层的输入，第二层由步长为1、填充补0值为2，滤波器大小为5*5的卷积层；激活函数和池化层选择Leaky ReLU和最大池化；得到Z12的特征维度为(16,192,13,13)。在进入激活层前进行归一化处理，避免“梯度弥散”，加速网络训练。
A3)将Z12作为第三层卷积层的输入，第三层由步长为3、填充补0值为1，滤波器大小为3*3的卷积层组成，激活函数选择Leaky ReLU，得到输出Z13的特征维度为(16,384,13,13)；
A4)将Z13作为全连接层的输入，最后得到输出Z1的特征维度为(16,2048)；
A5)在for循环内将每次的输出Z1增加一个时间维度,特征维度变为(16,1,2048)，在时间维度上将8个张量进行拼接，如下式所示，得到输出Z1'的特征维度是(16,8,2048)；
Z′1＝concat((Z1,Z2,Z3,Z4,Z5,Z6,Z7,Z8),dim＝1)。
最后，利用循环特征提取方法构建支路2、支路3的空间特征提取模块分支，得到对应的输出Z′2、Z′3的特征维度都是(16,4,192,13,13)。
(4)训练时序移位模块，针对支路1的输出不进行时序移位处理，针对支路2和支路3在多分支空间特征提取模块的输出Z′2、Z′3训练时序移位模块。
构建时序移位模块TSM(Temporal Shift Module)，部分通道在时间维度上进行移位，便于相邻图像之间的信息交换，完成时域建模。TSM的具体实现思路如下：
如图2所示，首先考虑一个普通的卷积运算。输入X是一个无限长一维向量，核大小为3的一维卷积，卷积的权值是W＝(w1,w2,w3)。卷积算子Y＝Conv(W,X)可以写成Yi＝w1Xi-1+w2Xi+w3Xi+1。
因此可以将卷积的运算解耦为两个步骤:移位和乘法累加。将输入X移动-1，0，+1，然后分别乘以w1，w2,，w3，它们的和是Y。形式上，移位操作如下所示：
Figure BDA0003214529350000121
乘加运算如下所示：
Y＝w1X-1+w2X0+w3X1
第一步移位可以免费执行，因为它只需要一个偏移地址指针。虽然第二步的计算开销更大，但是时间移位模块TSM将乘法累加合并到下面的2D中卷积。时序移位模块TSM在不增加计算量的情况下能够用2D的计算量达到3D的效果，同时完成时序建模有助于后面的多分支时序特征提取模块更好的提取有效的时序特征。
训练时序移位模块包括以下步骤：
(1)利用时序移位方法建立支路2对应的时序移位模块分支，得到输出Z″2；其中时序移位方法如下：
B1)时序移位模块TSM在操作过程中给定一个参数div，由下式表示：
fold＝C//div
C是通道数，div是给定的参数，fold表示对哪些通道操作进行时序移位，C、div、fold分别取192、8、24；
设置一个和Z′2维度相同的全0张量out，特征维度是(B,T,C,H,W)；
B2)在前fold通道上将Z′2的后T-1帧的特征赋给全0张量out，其他特征不动，完成特征的左移，其公式如下：
out[:,:-1,:fold,:,:]＝X[:,1:,:fold,:,:]；
B3)在[fold,2*fold]通道上将Z′2的前T-1帧的特征赋给全0张量out，其他特征不动，完成特征的右移，其公式如下：
out[:,1:,fold:2*fold,:,:]＝X[:,:-1,fold:2*fold,:,:]；
B4)在剩余通道上将Z′2的T帧的特征赋给全0张量out，完成所有移位操作，最后得到的张量out就是输入X时序移位后的输出，其公式如下：
out[:,:,2*fold:,:,:]＝X[:,:,2*fold:,:,:]，
B5)重复步骤B1)至步骤B4)构建一个一层卷积神经网络层，通过循环处理每帧依次输入，最后得到输出Z″2，特征维度是(16,4,2048)；
(2)重复步骤B1)至步骤B5)建立支路3对应的时序移位模块，得到对应的输出Z″3，特征维度是(16,4,2048)。
(5)训练多分支时序特征提取模块，训练长短期记忆网络LSTM和全连接层组成的多分支时序特征提取模块。
训练多分支时序特征提取模块包括以下步骤：
C1)初始化LSTM网络，输入特征维度是2048，隐藏层和记忆层特征维度都是512，RNN层数为1；
C2)将三个支路的输出Z′1、Z″2、Z″3作为输入送入LSTM网络，得到三个输出Output、Hn和Cn，它们分别是最后一层输出门、隐藏层和记忆层的输出；将输出Output[-1,:,:]处理送入全连接层得到输出Out；
C3)将三个支路得到的两个输出对应相加得到最终的结果作为网络的输出，其表达式如下：
Out＝Out1+Out2+Out3，
Hn＝Hn1+Hn2+Hn3。
其中，网络输出Hn包含训练图像的类别标签和特征，Out作为参数来更新损失函数。
(6)多分支时序特征提取模块输出对应的表征特征Hn，每个训练图像对应的Hn包含类别标签和特征，同时计算损失函数并通过网络反向传播，更新网络中每一层的参数，最后得到最优训练后的成趟足迹检索模型。
第五步，待检索成趟足迹图像的获取：获取待检索成趟足迹图像，并进行预处理。
第六步，成趟足迹图像的检索：将预处理后的待检索成趟足迹图像输入训练后的成趟足迹图像检索模型，完成对成趟足迹图像的检索。
在实验室环节测试时，首先将测试底库集Gallery中足迹图像送入网络，得到对应的表征特征和类别标签存入数据库中。然后进行测试，将测试查询集Query中足迹图像送入网络，得到对应的表征特征，并将其与数据库中所有的特征进行欧式距离的比较。欧式距离越小表示两者相似度越高，数据库中欧式距离最小的那个图像就是检索结果。如果两者的标签一致表示检索成功，否则检索失败。
对于检索问题常用Rank1和MAP值来评估模型的性能。因此将查询集的所有图像都分别作为待检索图像得出检索结果并求平均值求得该测试集上的Rank1和MAP值。
表1赤足数据集两种方法的实验结果对比表
Figure BDA0003214529350000151
表1为训练集为赤足数据集时两种算法的对比实验结果，对比方法是基于时空运动和特征融合的足迹图像检索方法即Base，本专利的方法为Shift_8。Train、Test分别表示训练集和测试集。barefoot、cloth、leather、sport分别表示赤足数据集、布鞋数据集、皮鞋数据集、运动鞋数据集。如表1所示本专利的有益效果在于：
在单种鞋的检索上，MAP提高了3.91％，Rank1提高了2.16％。
在跨鞋检索上，测试集是布鞋数据集时，MAP提高了17.98％，Rank1提高了16.13％。测试集是皮鞋数据集时，MAP提高了14.86％，Rank1提高了13.80％。测试集是运动鞋数据集时，MAP提高了14.67％，Rank1提高了16.35％。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

Claims (8)

1.一种基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，包括以下步骤：
11)训练数据的获取：获取成趟足迹压力图像作为训练数据；
12)构建成趟足迹图像检索模型：建立基于时序移位和多分支时空增强网络的成趟足迹图像检索模型；
13)对训练数据进行预处理：对训练数据进行中心化处理；
14)成趟足迹图像检索模型的训练：利用中心化处理后的训练数据对成趟足迹图像检索模型进行训练；
15)待检索成趟足迹图像的获取：获取待检索成趟足迹图像，并进行预处理；
16)成趟足迹图像的检索：将预处理后的待检索成趟足迹图像输入训练后的成趟足迹图像检索模型，完成对成趟足迹图像的检索。
2.根据权利要求1所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，所述构建成趟足迹图像检索模型包括以下步骤：
21)设定成趟足迹图像检索模型的第一层为左右脚判别模块；
22)设定成趟足迹图像检索模型的第二层为多分支空间特征提取模块；
23)设定成趟足迹图像检索模型的第三层为时序移位模块；
24)设定成趟足迹图像检索模型的第四层为多分支时序特征提取模块。
3.根据权利要求1所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，所述训练数据的获取包括以下步骤：
31)获取成趟足迹压力图像；
32)对成趟足迹压力图像进行去噪，并分割成单帧图像样本数据，每个单帧图像样本数据中有且仅有一个脚印，得到一个成趟足迹压力图像的样本集d＝{dx|x＝1,2,3,…,X}，dx表示第x帧样本数据，1≤x≤X，X表示该成趟足迹压力图像分割的帧数，取12～15；
33)重复上述操作得到该采集者的样本集f＝{fy|y＝1,2,3,…,Y}，fy表示第y趟样本数据，Y表示采集者采集的总趟数，取6或9；
34)重复采集，得到包含所有采集者的样本集D＝{D|k＝1,2,3,…,K}，K是总人数；
35)定义标签信息，该标签用于区分D中不同的足迹样本的ID。
4.根据权利要求1所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，所述对训练数据进行预处理包括以下步骤：
41)将分割后的成趟足底压力图像蓝色通道处像素值为255的点全部去除；
42)逐列扫描分割后的成趟足底压力图像，设像素平均值大于5的列是足迹图像的有效列，按列寻找，并将列的位置数值保存起来；
43)将第一列位置作为切割后的成趟足底压力图像脚长的起始值，并将最后一列位置作为切割后的成趟足底压力图像脚长的结束值，根据切割后足迹图像脚长的开始和脚长的结束，向左右两边等距离延伸拓展填补像素值，使得高宽比为1:1，左右两边填补的像素数目分别为NL和NR，其表达式如下：
NL＝[250-(L2-L1)]/2，
NR＝250-(L2-L1)-NL，
其中，L1为切割后成趟足底压力图像脚长的起始值，L2是切割后成趟足底压力图像脚长的结束值，NL为左边填补的像素点数值,NR为右边填补的像素点数值，完成对训练数据的规整操作；
44)逐行扫描规整后的成趟足底压力图像，设像素平均值大于5的行是足迹图像的有效行，按行寻找并将行的位置数值给保存起来；
45)将第一行位置作为规整后的成趟足底压力图像脚宽的起始值，并将最后一行位置作为规整后的成趟足底压力图像脚宽的结束值，根据规整后足迹图像脚宽的开始和脚宽的结束，向上下两边等距离延伸拓展填补像素值，使得高宽比为1:1，上下两边填补的像素数目分别为NU和ND，其表达式如下：
NU＝[250-(L4-L3)]/2，
ND＝250-(L4-L3)-NU，
其中，L3为规整后成趟足底压力图像脚宽的起始值，L4是规整后成趟足底压力图像脚宽的结束值,NU为上边填补的像素点数值，ND为下边填补的像素点数值，完成对训练数据的中心化操作。
5.根据权利要求1所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，所述成趟足迹图像检索模型的训练包括以下步骤：
51)将规整、中心化处理后的训练数据输入成趟足迹图像检索模型的第一层，此时成趟足迹图像检索模型的输入特征维度是(B,T,C,H,W)，B是批次大小，T是每个批次送入的帧数，C取3表示红绿蓝RGB三通道，H和W为空间分辨率；假定B、T分别取16、8，此时网络输入特征维度是(16,8,3,224,224)；
52)训练数据经过成趟足迹图像检索模型的左右脚判别模块，生成三个支路，分别是支路1同时包含左右脚数据、支路2仅包含右脚数据以及支路3仅包含左脚数据；支路1、支路2、支路3的特征维度分别是(16,8,3,224,224)、(16,4,3,224,224)、(16,4,3,224,224)；
53)针对三个支路的数据训练多分支空间特征提取模块，获取细化的空间特征信息，其中，每个分支由n层卷积核的卷积神经网络构成，每层按顺序依次包括卷积层、激励层和池化层；
54)训练时序移位模块，针对支路1的输出不进行时序移位处理，针对支路2和支路3在多分支空间特征提取模块的输出Z′2、Z′3训练时序移位模块；
55)训练多分支时序特征提取模块，训练长短期记忆网络LSTM和全连接层组成的多分支时序特征提取模块；
56)多分支时序特征提取模块输出对应的表征特征Hn，每个训练图像对应的Hn包含类别标签和特征，同时计算损失函数并通过网络反向传播，更新网络中每一层的参数，最后得到训练后最优的成趟足迹检索模型。
6.根据权利要求5所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，所述针对三个支路的数据训练多分支空间特征提取模块，包括以下步骤：
61)利用循环特征提取方法建立支路1对应的空间特征提取模块分支，得到相应的输出Z′1；其中循环特征提取方法如下：
611)通过for循环将支1路的输出每帧依次作为第一层卷积层的输入，第一层由步长为4、填充补0值为2、滤波器大小为11*11的卷积层组成；得到Z11的特征维度为(16,64,27,27)；
激活函数选用Leaky ReLU，其表达式如下：
Figure FDA0003214529340000041
池化层选用最大池化，步长为2、滤波器大小为3*3；
通过计算输出Z11的特征维度为(16,64,27,27)，其计算公式如下：
((M-K+2P)/S)+1，
((M-K)/S)+1，
其中，M是输入图片的空间分辨率大小，为H或者W，K是滤波器大小，P是补零的数量，S是步幅；
612)将Z11作为第二层卷积层的输入，第二层由步长为1、填充补0值为2，滤波器大小为5*5的卷积层；激活函数和池化层选择Leaky ReLU和最大池化；得到Z12的特征维度为(16,192,13,13)；
613)将Z12作为第三层卷积层的输入，第三层由步长为3、填充补0值为1，滤波器大小为3*3的卷积层组成，激活函数选择Leaky ReLU，得到输出Z13的特征维度为(16,384,13,13)；
614)将Z13作为全连接层的输入，最后得到输出Z1的特征维度为(16,2048)；
615)在for循环内将每次的输出Z1增加一个时间维度,特征维度变为(16,1,2048)，在时间维度上将8个张量进行拼接，如下式所示，得到输出Z1'的特征维度是(16,8,2048)；
Z1'＝concat((Z1,Z2,Z3,Z4,Z5,Z6,Z7,Z8),dim＝1)；
62)利用循环特征提取方法构建支路2、支路3的空间特征提取模块分支，得到对应的输出Z′2、Z′3的特征维度都是(16,4,192,13,13)。
7.根据权利要求5所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，所述训练时序移位模块包括以下步骤：
71)利用时序移位方法建立支路2对应的时序移位模块分支，得到输出Z″2；其中时序移位方法如下：
711)时序移位模块TSM在操作过程中给定一个参数div，由下式表示：
fold＝C//div，
C是通道数，div是给定的参数，fold表示对哪些通道操作进行时序移位，C、div、fold分别取192、8、24；
设置一个和Z′2维度相同的全0张量out，特征维度是(B,T,C,H,W)；
722)在前fold通道上将Z′2的后T-1帧的特征赋给全0张量out，其他特征不动，完成特征的左移，其公式如下：
out[:,:-1,:fold,:,:]＝X[:,1:,:fold,:,:]；
723)在[fold,2*fold]通道上将Z′2的前T-1帧的特征赋给全0张量out，其他特征不动，完成特征的右移，其公式如下：
out[:,1:,fold:2*fold,:,:]＝X[:,:-1,fold:2*fold,:,:]；
724)在剩余通道上将Z′2的T帧的特征赋给全0张量out，完成所有移位操作，最后得到的张量out就是输入X时序移位后的输出，其公式如下：
out[:,:,2*fold:,:,:]＝X[:,:,2*fold:,:,:]，
725)重复步骤721)至步骤724)构建一个一层卷积神经网络层，通过循环处理每帧依次输入，最后得到输出Z″2，特征维度是(16,4,2048)；
726)重复步骤721)至步骤725)建立支路3对应的时序移位模块，得到对应的输出Z″3，特征维度是(16,4,2048)。
8.根据权利要求5所述的基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，所述训练多分支时序特征提取模块包括以下步骤：
81)初始化LSTM网络，输入特征维度是2048，隐藏层和记忆层特征维度都是512，RNN层数为1；
82)将三个支路的输出Z′1、Z″2、Z″3作为输入送入LSTM网络，得到三个输出Output、Hn和Cn，它们分别是最后一层输出门、隐藏层和记忆层的输出；将输出Output[-1,:,:]处理送入全连接层得到输出Out；
83)将三个支路得到的两个输出对应相加得到最终的结果作为网络的输出，其表达式如下：
Out＝Out1+Out2+Out3，
Hn＝Hn1+Hn2+Hn3，
其中，网络输出Hn包含训练图像的类别标签和特征，Out作为参数来更新损失函数。
CN202110940231.0A 2021-08-17 2021-08-17 基于时序移位和多分支时空增强网络的成趟足迹图像检索方法 Pending CN113656623A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110940231.0A CN113656623A (zh) 2021-08-17 2021-08-17 基于时序移位和多分支时空增强网络的成趟足迹图像检索方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110940231.0A CN113656623A (zh) 2021-08-17 2021-08-17 基于时序移位和多分支时空增强网络的成趟足迹图像检索方法

Publications (1)

Publication Number Publication Date
CN113656623A true CN113656623A (zh) 2021-11-16

Family

ID=78479329

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110940231.0A Pending CN113656623A (zh) 2021-08-17 2021-08-17 基于时序移位和多分支时空增强网络的成趟足迹图像检索方法

Country Status (1)

Country Link
CN (1) CN113656623A (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237416A1 (en) * 2006-04-11 2007-10-11 Yasunori Taguchi Resolution enhancing method and apparatus of video
US20130162625A1 (en) * 2011-12-23 2013-06-27 Michael L. Schmit Displayed Image Improvement
US20170337221A1 (en) * 2016-05-03 2017-11-23 Republic of Korea (National Forensic Service Director Ministry of Public Administration and Sec Footprint search method and system
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及系统
CN111639719A (zh) * 2020-06-08 2020-09-08 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111782857A (zh) * 2020-07-22 2020-10-16 安徽大学 基于混合注意力密集网络的足迹图像检索方法
CN113220926A (zh) * 2021-05-06 2021-08-06 安徽大学 基于多尺度局部注意力增强网络的足迹图像检索方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070237416A1 (en) * 2006-04-11 2007-10-11 Yasunori Taguchi Resolution enhancing method and apparatus of video
US20130162625A1 (en) * 2011-12-23 2013-06-27 Michael L. Schmit Displayed Image Improvement
US20170337221A1 (en) * 2016-05-03 2017-11-23 Republic of Korea (National Forensic Service Director Ministry of Public Administration and Sec Footprint search method and system
CN110263697A (zh) * 2019-06-17 2019-09-20 哈尔滨工业大学（深圳） 基于无监督学习的行人重识别方法、装置及介质
CN111311635A (zh) * 2020-02-08 2020-06-19 腾讯科技（深圳）有限公司 一种目标定位方法、装置及系统
CN111639719A (zh) * 2020-06-08 2020-09-08 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111782857A (zh) * 2020-07-22 2020-10-16 安徽大学 基于混合注意力密集网络的足迹图像检索方法
CN113220926A (zh) * 2021-05-06 2021-08-06 安徽大学 基于多尺度局部注意力增强网络的足迹图像检索方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
刘玉泽;方欣欣;暴田叶;: "基于二维主分量分析的成趟足迹特征提取方法", 内蒙古工业大学学报(自然科学版), no. 02, 15 June 2009 (2009-06-15) *
陈扬;曾诚;程成;邹恩岑;顾建伟;陆悠;奚雪峰;: "一种基于CNN的足迹图像检索与匹配方法", 南京师范大学学报(工程技术版), no. 03, 20 September 2018 (2018-09-20) *

Similar Documents

Publication Publication Date Title
CN111553193B (zh) 一种基于轻量级深层神经网络的视觉slam闭环检测方法
CN113077471B (zh) 一种基于u型网络的医学图像分割方法
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN113065402B (zh) 一种基于变形注意力机制的人脸检测方法
CN109447123B (zh) 一种基于标签一致性约束与拉伸正则化字典学习的行人再识别方法
CN114998220B (zh) 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法
CN113033454B (zh) 一种城市视频摄像中建筑物变化的检测方法
CN109871892A (zh) 一种基于小样本度量学习的机器人视觉认知系统
Wan et al. Generative adversarial multi-task learning for face sketch synthesis and recognition
CN113220926B (zh) 基于多尺度局部注意力增强网络的足迹图像检索方法
CN113269224A (zh) 一种场景图像分类方法、系统及存储介质
CN108416795B (zh) 基于排序池化融合空间特征的视频动作识别方法
CN112668486A (zh) 一种预激活残差深度可分离卷积网络面部表情识别方法、装置和载体
CN113449671A (zh) 一种多尺度多特征融合的行人重识别方法及装置
CN116704188A (zh) 一种基于改进U-Net网络的不同容重小麦籽粒图像分割算法
CN116704611A (zh) 一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法
CN112863650A (zh) 一种基于卷积与长短期记忆神经网络的心肌病识别系统
CN116883741A (zh) 一种基于金字塔注意力机制的小样本虫害检测方法
Li et al. Deformable medical image registration based on unsupervised generative adversarial network integrating dual attention mechanisms
Nie Face expression classification using squeeze-excitation based VGG16 network
CN113656623A (zh) 基于时序移位和多分支时空增强网络的成趟足迹图像检索方法
CN114821632A (zh) 一种遮挡行人重识别方法
CN113537032A (zh) 一种基于图片分块丢弃的分集多支路行人重识别方法
CN113283428A (zh) 一种基于fce-ssd方法的图像目标检测方法
CN113011506A (zh) 一种基于深度重分形频谱网络的纹理图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination