CN112257662A - 一种基于深度学习的压力足迹图像检索系统 - Google Patents

一种基于深度学习的压力足迹图像检索系统 Download PDF

Info

Publication number
CN112257662A
CN112257662A CN202011259109.9A CN202011259109A CN112257662A CN 112257662 A CN112257662 A CN 112257662A CN 202011259109 A CN202011259109 A CN 202011259109A CN 112257662 A CN112257662 A CN 112257662A
Authority
CN
China
Prior art keywords
footprint
features
pressure
network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011259109.9A
Other languages
English (en)
Inventor
张艳
孙永胜
高梓健
王陈飞
唐俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN202011259109.9A priority Critical patent/CN112257662A/zh
Publication of CN112257662A publication Critical patent/CN112257662A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40—Spoof detection, e.g. liveness detection
    • G06V40/45—Detection of the body part being alive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度学习的压力足迹图像检索系统，包括数据预处理、最优网络训练、入库和检索功能三个阶段，本发明通过深度学习的方法设计了一种足迹特征学习网络对压力足迹数据进行拟合训练，并将训练好的模型进行迁移，将足迹检索智能化，同时整个过程不需要人的干预，就能得到较好的性能，解决了传统的人力检索方式不但耗时耗力，而且参有专家的一些主观因素，所以结果往往是不稳定的。

Description

一种基于深度学习的压力足迹图像检索系统
技术领域
本发明涉及身份认证技术领域，具体为一种基于深度学习的压力足迹图像检索系统。
背景技术
在生物识别技术飞速发展的今天，足迹作为重要的生物特征逐渐被研究和应用，但现阶段足迹的检索工作大多停留在利用足迹专家的相关专业知识进行足迹对比来进行信息的确认。这种传统的人力检索方式不但耗时耗力，而且参有专家的一些主观因素，所以结果往往是不稳定的。
为摆脱人力进行足迹检索的缺陷和不足，本发明通过深度学习的方法设计了一种足迹特征学习网络对压力足迹数据进行拟合训练，并将训练好的模型进行迁移，将足迹检索智能化，同时整个过程不需要人的干预，就能得到较好的性能。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种基于深度学习的压力足迹图像检索系统，解决了现阶段足迹的检索工作大多停留在利用足迹专家的相关专业知识进行足迹对比来进行信息的确认。这种传统的人力检索方式不但耗时耗力，而且参有专家的一些主观因素，所以结果往往是不稳定的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种基于深度学习的压力足迹图像检索系统，包括监管区域、闸机通道、足迹采集器和足迹认证系统，在所述的监管区域进入通道和外出通道各设置一台闸机通道，并在所述的闸机通道的进入端设置足迹采集器；该基于深度学习的压力足迹图像检索系统包括数据预处理、最优网络训练、入库和检索功能三个阶段。
作为优化，所述的数据预处理包括压力数据采集、去噪、数据统一化三步；
所述压力数据采集：首先，被采集人员以正常姿态走上压力采集板上并双脚保持站立状态持续1-2秒以获取相对稳定的足迹特征，然后走下采集仪器并转身等待下一次的采集，采集状态同上；我们按照一个来回算一趟，每个人共采集十趟，最后形成二十张足迹图像；
所述的去噪：由于采集环境以及电流对压力传感器等影响，采集数据过程中或多或少存在数据噪声干扰；为了减少噪声的干扰，需对足迹压力数据进行滤波；由于噪声点大都以离散点的形式出现，不会出现数据杂点聚集现象，因此采用方法：压力足迹以当前压力点为中心，构建一个3×3的滤波窗口，统计滤波窗口内有压力值的个数，如果压力值的个数小于一定的阈值，则将此压力点剔除；
所述的数据统一化三步：由于在采集数据的过程中我们采用来回转身采集的方式，因为这样采集不仅很大程度上节约每个人的采集时间，而且减少被采集人员的运动量，正因为每个人所采集的足迹图像中的脚印方向是交替相反的，这种足迹在方向上的不统一会对后面网络的训练造成较大的消极影响，直接导致系统的整体性能的恶化；因此在数据预处理阶段，对采集的所有图像进行去噪处理后又进行了足迹方向的统一化，使所有的足迹方向统一向上。
作为优化，所述的最优网络训练：数据集划分，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知ID信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络；
足迹特征学习网络模型：在模型的训练阶段，训练集中的所有图片依次经过卷积块(Convolution+Relu+BN)进行特征的提取，然后经过最大池化层(MaxPool)减低特征的尺寸以及增加特征的非线性化表达，这样做的目的可以有效的减少计算的开销；当维度变成28×28×512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征；
为了防止浅层特征的丢失，将主干网络第三个卷积块分流出一个支流后接卷积块和池化层变成维度大小为7×7×2048，我们对主干网络的第四个卷积块的特征图也进行同样的操作；然后将三个维度大小为7×7×2048的支流特征图分别进行一个池化，将特征变成1×1×2048，分别经过全连接层得到大小为1×1×1024的特征图，通过损失以及网络的反向梯度更新来优化特征；最后，再分别进行SoftMax层对输出的维度求概率，概率越大表示检索到对应正确ID信息的可能性就越大，并通过查询集来对网络进行测试，逐步对网络进行多次的迭代优化，从而找到性能最后的网络模型以便后续的使用；
在整个网络的优化过程，网络逐渐学习到不同对象足迹的浅层特征(足迹轮廓)和深层特征(压力分布)，这个过程可以看作是相关足迹专家在学习足迹知识的一个过程，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力。
作为优化，所述的入库和检索功能中的入库：
在找到最优模型并在支持集的作用下可以建立起一个较大的数据库，数据库里存放着不同对象的压力足迹信息以及相对应的ID信息，但是一个更加庞大的数据库会更有利于整个系统性能的提升，所以我们设计了一个可进行入库的功能；
当已知足迹图像和对象的ID信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的ID信息进行入库；随着数据库的不断扩大，数据库中的数据出现多样化，使整个系统的性能不断提高；
检索：检索功能是该系统的核心功能；当有一张未知ID信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的ID信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关信息。
(三)有益效果
本发明提供了一种基于深度学习的压力足迹图像检索系统。具备以下有益效果：
本发明，提供了一种基于深度学习的压力足迹图像检索系统，在使用时，首先对工作人员进行压力数据进行采集，然后对足迹压力数据进行滤波，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知ID信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络，在模型的训练阶段，训练集中的所有图片依次经过卷积块(Convolution+Relu+BN)进行特征的提取，当维度变成28×28×512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力；当已知足迹图像和对象的ID信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的ID信息进行入库；当有一张未知ID信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的ID信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关信息。
附图说明
图1为本发明的整个压力足迹图像检索系统的流程图。
图2为本发明的单趟足迹采集展示图。
图3为本发明的足迹翻转展示图。
图4为本发明的脚印统一方向算法流程图。
图5为本发明的足迹特征学习网络模型图。
图6为本发明的检索流程图。
图7为本发明的系统铺设示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1-7所示，本发明提供一种技术方案：一种基于深度学习的压力足迹图像检索系统，包括监管区域、闸机通道、足迹采集器和足迹认证系统，在所述的监管区域进入通道和外出通道各设置一台闸机通道，并在所述的闸机通道的进入端设置足迹采集器；该基于深度学习的压力足迹图像检索系统包括数据预处理、最优网络训练、入库和检索功能三个阶段。
在本实施例中，所述的数据预处理包括压力数据采集、去噪、数据统一化三步；
所述压力数据采集：首先，被采集人员以正常姿态走上压力采集板上并双脚保持站立状态持续1-2秒以获取相对稳定的足迹特征，然后走下采集仪器并转身等待下一次的采集，采集状态同上；我们按照一个来回算一趟，每个人共采集十趟，最后形成二十张足迹图像；
所述的去噪：由于采集环境以及电流对压力传感器等影响，采集数据过程中或多或少存在数据噪声干扰；为了减少噪声的干扰，需对足迹压力数据进行滤波；由于噪声点大都以离散点的形式出现，不会出现数据杂点聚集现象，因此采用方法：压力足迹以当前压力点为中心，构建一个3×3的滤波窗口，统计滤波窗口内有压力值的个数，如果压力值的个数小于一定的阈值，则将此压力点剔除；
所述的数据统一化三步：由于在采集数据的过程中我们采用来回转身采集的方式，因为这样采集不仅很大程度上节约每个人的采集时间，而且减少被采集人员的运动量，正因为每个人所采集的足迹图像中的脚印方向是交替相反的，这种足迹在方向上的不统一会对后面网络的训练造成较大的消极影响，直接导致系统的整体性能的恶化；因此在数据预处理阶段，对采集的所有图像进行去噪处理后又进行了足迹方向的统一化，使所有的足迹方向统一向上。
在本实施例中，所述的最优网络训练：数据集划分，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知ID信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络；
足迹特征学习网络模型：在模型的训练阶段，训练集中的所有图片依次经过卷积块(Convolution+Relu+BN)进行特征的提取，然后经过最大池化层(MaxPool)减低特征的尺寸以及增加特征的非线性化表达，这样做的目的可以有效的减少计算的开销；当维度变成28×28×512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征；
为了防止浅层特征的丢失，将主干网络第三个卷积块分流出一个支流后接卷积块和池化层变成维度大小为7×7×2048，我们对主干网络的第四个卷积块的特征图也进行同样的操作；然后将三个维度大小为7×7×2048的支流特征图分别进行一个池化，将特征变成1×1×2048，分别经过全连接层得到大小为1×1×1024的特征图，通过损失以及网络的反向梯度更新来优化特征；最后，再分别进行SoftMax层对输出的维度求概率，概率越大表示检索到对应正确ID信息的可能性就越大，并通过查询集来对网络进行测试，逐步对网络进行多次的迭代优化，从而找到性能最后的网络模型以便后续的使用；
在整个网络的优化过程，网络逐渐学习到不同对象足迹的浅层特征(足迹轮廓)和深层特征(压力分布)，这个过程可以看作是相关足迹专家在学习足迹知识的一个过程，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力。
在本实施例中，所述的入库和检索功能中的入库：
在找到最优模型并在支持集的作用下可以建立起一个较大的数据库，数据库里存放着不同对象的压力足迹信息以及相对应的ID信息，但是一个更加庞大的数据库会更有利于整个系统性能的提升，所以我们设计了一个可进行入库的功能；
当已知足迹图像和对象的ID信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的ID信息进行入库；随着数据库的不断扩大，数据库中的数据出现多样化，使整个系统的性能不断提高；
检索：检索功能是该系统的核心功能；当有一张未知ID信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的ID信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关信息。
工作原理：
在使用时，首先对工作人员进行压力数据进行采集，然后对足迹压力数据进行滤波，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知ID信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络，在模型的训练阶段，训练集中的所有图片依次经过卷积块(Convolution+Relu+BN)进行特征的提取，当维度变成28×28×512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力；当已知足迹图像和对象的ID信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的ID信息进行入库；当有一张未知ID信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的ID信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关信息。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种基于深度学习的压力足迹图像检索系统，包括监管区域、闸机通道、足迹采集器和足迹认证系统，在所述的监管区域进入通道和外出通道各设置一台闸机通道，并在所述的闸机通道的进入端设置足迹采集器；其特征在于：该基于深度学习的压力足迹图像检索系统包括数据预处理、最优网络训练、入库和检索功能三个阶段。
2.根据权利要求1所述的一种基于深度学习的压力足迹图像检索系统，其特征在于：所述的数据预处理包括压力数据采集、去噪、数据统一化三步；
所述压力数据采集：首先，被采集人员以正常姿态走上压力采集板上并双脚保持站立状态持续1-2秒以获取相对稳定的足迹特征，然后走下采集仪器并转身等待下一次的采集，采集状态同上；我们按照一个来回算一趟，每个人共采集十趟，最后形成二十张足迹图像；
所述的去噪：由于采集环境以及电流对压力传感器等影响，采集数据过程中或多或少存在数据噪声干扰；为了减少噪声的干扰，需对足迹压力数据进行滤波；由于噪声点大都以离散点的形式出现，不会出现数据杂点聚集现象，因此采用方法：压力足迹以当前压力点为中心，构建一个3×3的滤波窗口，统计滤波窗口内有压力值的个数，如果压力值的个数小于一定的阈值，则将此压力点剔除；
所述的数据统一化三步：由于在采集数据的过程中我们采用来回转身采集的方式，因为这样采集不仅很大程度上节约每个人的采集时间，而且减少被采集人员的运动量，正因为每个人所采集的足迹图像中的脚印方向是交替相反的，这种足迹在方向上的不统一会对后面网络的训练造成较大的消极影响，直接导致系统的整体性能的恶化；因此在数据预处理阶段，对采集的所有图像进行去噪处理后又进行了足迹方向的统一化，使所有的足迹方向统一向上。
3.根据权利要求2所述的一种基于深度学习的压力足迹图像检索系统，其特征在于：所述的最优网络训练：数据集划分，将所有的数据集按照训练集、支持集和查询集进行4：4：2的比例进行划分，其中训练集中的所有样本用来训练；支持集用来构造数据库，数据库的作用是提供一个较大的数据对比库对未知ID信息的对象特征进行对比找到对应相似度最大的特征信息；查询集用来当前模型的训练情况，通过不断地测试找到最优网络；
足迹特征学习网络模型：在模型的训练阶段，训练集中的所有图片依次经过卷积块(Convolution+Relu+BN)进行特征的提取，然后经过最大池化层(MaxPool)减低特征的尺寸以及增加特征的非线性化表达，这样做的目的可以有效的减少计算的开销；当维度变成28×28×512的时候外接一个卷积块，这样做的目的是为了更好的提取足迹的特征；因为足迹同其他的图片不一样的是足迹的轮廓特征在足迹的特征表达中占据非常重要的地位，然而当卷积层数越深的时候，网络提取的特征则更侧重于足迹的高层语义特征，比如足迹中的压力分布状态等，同时深层网络的特征提取会忽略掉足迹的浅层特征，如足迹的轮廓特征和纹理等特征；
为了防止浅层特征的丢失，将主干网络第三个卷积块分流出一个支流后接卷积块和池化层变成维度大小为7×7×2048，我们对主干网络的第四个卷积块的特征图也进行同样的操作；然后将三个维度大小为7×7×2048的支流特征图分别进行一个池化，将特征变成1×1×2048，分别经过全连接层得到大小为1×1×1024的特征图，通过损失以及网络的反向梯度更新来优化特征；最后，再分别进行SoftMax层对输出的维度求概率，概率越大表示检索到对应正确ID信息的可能性就越大，并通过查询集来对网络进行测试，逐步对网络进行多次的迭代优化，从而找到性能最后的网络模型以便后续的使用；
在整个网络的优化过程，网络逐渐学习到不同对象足迹的浅层特征(足迹轮廓)和深层特征(压力分布)，这个过程可以看作是相关足迹专家在学习足迹知识的一个过程，当找到最优的网络模型时，整个网络已经具备了足迹专家的“专业知识”，变成一个机器人“足迹专家”；此时，该模型具备了能够快速检索出足迹信息的能力。
4.根据权利要求1所述的一种基于深度学习的压力足迹图像检索系统，其特征在于：所述的入库和检索功能中的入库：
在找到最优模型并在支持集的作用下可以建立起一个较大的数据库，数据库里存放着不同对象的压力足迹信息以及相对应的ID信息，但是一个更加庞大的数据库会更有利于整个系统性能的提升，所以我们设计了一个可进行入库的功能；
当已知足迹图像和对象的ID信息时，我们可以通过最优网络对足迹图像进行前向推理，生成对应的足迹特征，然后将足迹特征以及对应的ID信息进行入库；随着数据库的不断扩大，数据库中的数据出现多样化，使整个系统的性能不断提高；
检索：检索功能是该系统的核心功能；当有一张未知ID信息的压力足迹图像时，我们迫切的想知道这张脚印的“主人”是谁，这时候只需要要把这张待检索图片输入到最优网络进行简单的计算就可以得到对应的足迹特征，然年将足迹特征与数据库中的足迹特征一一对比，找出数据库中与待检索图片最为相似的前20个对象的足迹特征，并将其对应的ID信息进行输出，从而给出检索的结果，我们可以通过检索结果来进一步确认待检索图像的相关信息。
CN202011259109.9A 2020-11-12 2020-11-12 一种基于深度学习的压力足迹图像检索系统 Pending CN112257662A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011259109.9A CN112257662A (zh) 2020-11-12 2020-11-12 一种基于深度学习的压力足迹图像检索系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011259109.9A CN112257662A (zh) 2020-11-12 2020-11-12 一种基于深度学习的压力足迹图像检索系统

Publications (1)

Publication Number Publication Date
CN112257662A true CN112257662A (zh) 2021-01-22

Family

ID=74266980

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011259109.9A Pending CN112257662A (zh) 2020-11-12 2020-11-12 一种基于深度学习的压力足迹图像检索系统

Country Status (1)

Country Link
CN (1) CN112257662A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795081A (zh) * 2023-01-20 2023-03-14 安徽大学 一种基于多通道融合的跨域残缺足迹图像检索系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104434128A (zh) * 2014-12-25 2015-03-25 中国科学院合肥物质科学研究院 一种基于足底压力分布信息的左右脚动态识别方法
CN106055573A (zh) * 2016-05-20 2016-10-26 西安邮电大学 一种多示例学习框架下的鞋印图像检索方法及系统
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
CN106682233A (zh) * 2017-01-16 2017-05-17 华侨大学 一种基于深度学习与局部特征融合的哈希图像检索方法
CN106845516A (zh) * 2016-12-07 2017-06-13 大连海事大学 一种基于多样本联合表示的足迹图像识别方法
CN106981106A (zh) * 2016-01-15 2017-07-25 广州地铁集团有限公司 防逃票检测方法、检测系统及其系统
CN107016414A (zh) * 2017-04-10 2017-08-04 大连海事大学 一种脚印的识别方法
KR101767380B1 (ko) * 2016-05-03 2017-08-11 대한민국 족적 조회 방법 및 시스템
KR20170095062A (ko) * 2016-02-12 2017-08-22 대한민국(관리부서: 행정자치부 국립과학수사연구원장) 족흔 검색 자료 제공 방법
CN107423715A (zh) * 2017-07-31 2017-12-01 大连海事大学 一种基于多特征联合决策的脚印自动识别方法
CN109583452A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
CN110795972A (zh) * 2018-08-03 2020-02-14 杭州海康威视数字技术股份有限公司 行人身份识别方法、装置、设备及存储介质
CN111177446A (zh) * 2019-12-12 2020-05-19 苏州科技大学 一种用于足迹图像检索的方法
CN111639719A (zh) * 2020-06-08 2020-09-08 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111782857A (zh) * 2020-07-22 2020-10-16 安徽大学 基于混合注意力密集网络的足迹图像检索方法
CN111914107A (zh) * 2020-07-29 2020-11-10 厦门大学 一种基于多通道注意力区域扩展的实例检索方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104434128A (zh) * 2014-12-25 2015-03-25 中国科学院合肥物质科学研究院 一种基于足底压力分布信息的左右脚动态识别方法
WO2017020741A1 (zh) * 2015-08-06 2017-02-09 阿里巴巴集团控股有限公司 图像检索、获取图像信息及图像识别方法、装置及系统
CN106981106A (zh) * 2016-01-15 2017-07-25 广州地铁集团有限公司 防逃票检测方法、检测系统及其系统
KR20170095062A (ko) * 2016-02-12 2017-08-22 대한민국(관리부서: 행정자치부 국립과학수사연구원장) 족흔 검색 자료 제공 방법
KR101767380B1 (ko) * 2016-05-03 2017-08-11 대한민국 족적 조회 방법 및 시스템
CN106055573A (zh) * 2016-05-20 2016-10-26 西安邮电大学 一种多示例学习框架下的鞋印图像检索方法及系统
CN106845516A (zh) * 2016-12-07 2017-06-13 大连海事大学 一种基于多样本联合表示的足迹图像识别方法
CN106682233A (zh) * 2017-01-16 2017-05-17 华侨大学 一种基于深度学习与局部特征融合的哈希图像检索方法
CN107016414A (zh) * 2017-04-10 2017-08-04 大连海事大学 一种脚印的识别方法
CN107423715A (zh) * 2017-07-31 2017-12-01 大连海事大学 一种基于多特征联合决策的脚印自动识别方法
CN109583452A (zh) * 2017-09-29 2019-04-05 大连恒锐科技股份有限公司 一种基于赤足足迹的人身同一认定方法和系统
CN110795972A (zh) * 2018-08-03 2020-02-14 杭州海康威视数字技术股份有限公司 行人身份识别方法、装置、设备及存储介质
CN111177446A (zh) * 2019-12-12 2020-05-19 苏州科技大学 一种用于足迹图像检索的方法
CN111639719A (zh) * 2020-06-08 2020-09-08 安徽大学 基于时空运动和特征融合的足迹图像检索方法
CN111782857A (zh) * 2020-07-22 2020-10-16 安徽大学 基于混合注意力密集网络的足迹图像检索方法
CN111914107A (zh) * 2020-07-29 2020-11-10 厦门大学 一种基于多通道注意力区域扩展的实例检索方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
TANAPON KEATSAMARN等: "Footprint Identification using Deep Learning", 《2018 11TH BIOMEDICAL ENGINEERING INTERNATIONAL CONFERENCE (BMEICON)》 *
王乔: "基于赤足足迹的身高分析及身份识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
鲍文霞等: "基于空间聚合加权卷积神经网络的力触觉足迹识别", 《东南大学学报(自然科学版)》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795081A (zh) * 2023-01-20 2023-03-14 安徽大学 一种基于多通道融合的跨域残缺足迹图像检索系统

Similar Documents

Publication Publication Date Title
CN110533084B (zh) 一种基于自注意力机制的多尺度目标检测方法
CN111259786B (zh) 一种基于视频的外观和运动信息同步增强的行人重识别方法
CN110287777B (zh) 一种自然场景下的金丝猴躯体分割算法
CN110245720B (zh) 一种基于深度学习的柑橘病虫害智能诊断方法及系统
CN111696101A (zh) 一种基于SE-Inception的轻量级茄科病害识别方法
CN111914611A (zh) 城市绿地高分遥感监测方法与系统
Termritthikun et al. NU-InNet: Thai food image recognition using convolutional neural networks on smartphone
CN111339924B (zh) 一种基于超像素和全卷积网络的极化sar图像分类方法
CN113011288A (zh) 一种基于Mask RCNN算法的遥感建筑物检测方法
CN113988147B (zh) 基于图网络的遥感图像场景多标签分类方法及装置、多标签检索方法及装置
CN111753682A (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN112329536A (zh) 一种基于交替对抗迁移学习的单样本人脸识别方法
CN107832753B (zh) 一种基于四值权重与多重分类的人脸特征提取方法
CN115187786A (zh) 一种基于旋转的CenterNet2目标检测方法
CN112528845A (zh) 一种基于深度学习的物理电路图识别方法及其应用
CN116704611A (zh) 一种基于运动特征混合和细粒度多阶段特征提取的跨视角步态识别方法
CN116071676A (zh) 一种基于注意力导向金字塔融合的红外小目标检测方法
CN113657472B (zh) 一种基于子空间学习的多源遥感数据融合方法
CN111666813A (zh) 一种基于非局部信息的三维卷积神经网络的皮下汗腺提取方法
CN111462090A (zh) 一种多尺度图像目标检测方法
CN114882351A (zh) 一种基于改进YOLO-V5s的多目标检测与跟踪方法
CN112257662A (zh) 一种基于深度学习的压力足迹图像检索系统
CN113888505A (zh) 一种基于语义分割的自然场景文本检测方法
CN111488797B (zh) 一种行人再识别方法
CN116682043B (zh) 基于SimCLR无监督深度对比学习异常视频清洗方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210122

RJ01 Rejection of invention patent application after publication