CN109583452A - 一种基于赤足足迹的人身同一认定方法和系统 - Google Patents

一种基于赤足足迹的人身同一认定方法和系统 Download PDF

Info

Publication number
CN109583452A
CN109583452A CN201710903980.XA CN201710903980A CN109583452A CN 109583452 A CN109583452 A CN 109583452A CN 201710903980 A CN201710903980 A CN 201710903980A CN 109583452 A CN109583452 A CN 109583452A
Authority
CN
China
Prior art keywords
data
barefoot
training
identification
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710903980.XA
Other languages
English (en)
Other versions
CN109583452B (zh
Inventor
董波
于昕晔
陈伟卿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
DALIAN EVERSPRY SCI & TECH Co Ltd
Original Assignee
DALIAN EVERSPRY SCI & TECH Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DALIAN EVERSPRY SCI & TECH Co Ltd filed Critical DALIAN EVERSPRY SCI & TECH Co Ltd
Priority to CN201710903980.XA priority Critical patent/CN109583452B/zh
Publication of CN109583452A publication Critical patent/CN109583452A/zh
Application granted granted Critical
Publication of CN109583452B publication Critical patent/CN109583452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明是关于一种基于赤足足迹的人身同一认定方法和系统，属于足迹处理领域。技术方案：步骤如下：A1、录入赤足或穿袜足迹数据；A2、统一足迹数据属性；A3、数据预处理；A4、制作赤足图像数据集；A5、数据训练与特征提取；A6、验证、训练模型调整与认定。有益效果是：本发明所述的基于赤足足迹的人身同一认定方法和系统可以解决由于犯罪现场中常用来作为人身同一认定的生物物证，通过机器学习CNN网络进行训练，得到人身同一认定算法的模型，将从犯罪现场得到的赤足足迹作为测试图像输入到这个模型，就可以进行人生同一认定。本发明方案带来的有益效果是可以辅助公安部门进行案件的分析和推进，提高公安部门解决案件的效率。

Description

一种基于赤足足迹的人身同一认定方法和系统
技术领域
本发明涉及足迹处理领域，尤其涉及一种基于赤足足迹的人身同一认定方法和系统。
背景技术
随足迹数据，作为公安部四大生物物证之一(其他三个，DNA、指纹、人脸)，在案件侦破与犯罪抓捕过程中起着关键性的作用。其中足迹数据也包括穿鞋足迹、赤足足迹以及穿袜足迹。在许多领域中的专家一直在探索和研究这四大生物物证，比如文献“Asurveyoffingerprint classification Part II.Knowledge-Based Systems”中指纹的提取和比较，文献“Asurvey of2D face recognition techniques”中的人脸识别的探索，文献“Acomparison ofDNAextraction methods forhigh-throughputDNAanalyses”中的DNA提取的研究等。虽然DNA、指纹、人脸可以达到人身同一认定的目的，但是由于这些物证非常容易被破坏，在案件现场不容易提取，而足迹是非常容易留下的生物物证，穿鞋足迹只能得到嫌疑人犯罪时所穿的鞋子种类及大小，可以推测出犯罪嫌疑人的一些特征，无法做到人身同一认证，但是可以通过赤足足迹中提取出的特征，进行识别，就可以进行人身同一认定。
发明内容
为了通过已知的赤足或者穿袜足迹数据与赤足或者穿袜足迹数据的从属，来判定未知从属赤足或者穿袜足迹的拥有者，达到人身认定的目的，本发明提供一种基于赤足足迹的人身同一认定方法和系统。技术方案如下：
一种基于赤足足迹的人身同一认定方法，步骤如下：
A1、录入赤足或穿袜足迹数据；
A2、统一足迹数据属性；
A3、数据预处理；
A4、制作赤足图像数据集；
A5、数据训练、验证及训练模型调整；
A6、若满足闭集条件，则做闭集认定，否则做开集检索。
进一步的，所述数据预处理包括处理包含杂质信息的图像和调整训练前数据；
处理包含杂质信息的图像步骤如下：
B1、人工剪裁：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；
B2、自动方式：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做x/y方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。
调整训练前数据步骤如下：
C1、数据分类，将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道；
C2、模型匹配，假定模型对输入的图像要求为M×N，M是图像的行数，N是图像的列数，输入的图像大小经过分辨率归一后，同人赤足或者穿袜足迹的大小已定，将输入图像直接通过插值的方式，归一到M×N；
假定所有输入图像中，最小尺寸的大小为Mmin×Nmin，首先以该尺寸，将所有图像插值归一到Mmin×Nmin，若最小尺寸小于M×N，则进行补零，若最小尺寸大于M×N，则对每幅图像采用随机或者固定位置的切割，每幅切割图像尺寸为M×N，共D份。
进一步的，步骤A4中，将完成预处理的赤足图像数据集定义为两个部分：
(1)训练集：用于机器学习，每个待认定人的赤足或者穿袜足迹的数据采样，每个数据带有从属信息；
(2)待识别集：用于测试与验证，每个赤足或者穿袜足迹的数据采样没有从属信息；
数据应该满足：
(1)待识别集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；
(2)保证待识别数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；
(3)用于做训练的数据，每个人的数据，不同种类的至少10组以上，训练的个体数量在万人级，可以做开集认定，否则只能做闭集认定。
进一步的，步骤A5中对已经完成预处理的二维图像数据，进行：
D1、基于CNN网络训练；
D2、用部分验证数据测试，假定认定准确率不足n％，则认为网络结构需要调整，进行步骤D3，否则进行步骤D4；
D3、对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若
a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；
b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；
C.把每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。
D4、获得基于CNN网络的赤足或者穿袜足迹图像认定模型A，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Ta，即可获得二维赤足或者穿袜足迹图像的降维特征，不存在二维足迹的，则给出与降维特征大小一致的全零向量。
进一步的，所述闭集认定步骤如下：
E1、输入：A、B，Ta，Tb，待认定样本I，输出：I的标签；
E2、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤E3做处理，一维数据按照步骤E4处理；
E3、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；
E4、假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。
进一步的，所述开集检索步骤如下：
F1、输入：A、B，Ta，Tb，待认定样本I，输出：按照与I相似度排序的标签列表与对应的相似性数据；
F2、提取训练库中所有的检索特征，并做特征维度归一；
F3、用步骤F2中提取特征的方法，提取I的检索特征；
F4、评估所有个体赤足或者穿袜足迹特征与I的相似性：对训练库中任意人体的检索特征，分别计算I的检索特征与每个特征的相关性，将最高的相关性作为I与该个体的相似性；
F5、基于相似性做排序。
进一步的，步骤F2采用以下方法：
F21、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤F22做处理，一维数据按照步骤F23做处理；
F22、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，通过A、Ta进行特征提取，得到特征Fa；
F23、假定一维数据是空集，则将Fa作为最终的检索特征Fb，否则，利用Fa、B、Tb做特征提取，可以得到检索特征Fb。
本发明还包括一种基于赤足足迹的人身同一认定系统，包括：
足迹录入模块：录入赤足或穿袜足迹数据；
足迹数据统一模块：统一足迹数据属性；
数据预处理模块：进行数据预处理；
赤足图像数据集模块：制作赤足图像数据集；
数据训练、验证及训练模型调整：对数据进行训练与特征提取，验证、训练模型调整与认定。
闭集认定模块：认定样本的归属人，在训练库中有对应的训练样本，结果是识别出的人；
开集检索模块：认定样本的归属人，是否在训练库中有对应的训练样本并不确定，结果是依据特征的相似度排序，给出量化后的相似度。
进一步的，所述足迹录入模块包括：
动态赤足或者穿袜足迹数据采集模块：采集反映每时每刻赤足或者穿袜足迹的变化，体现的是某个时刻下的赤足或者穿袜足迹状态；
静态赤足或者穿袜足迹数据采集模块：采集反映客观赤足或者穿袜足迹的稳定特征，体现的是整体脚底的平衡状态。
进一步的，所述数据预处理模块包括：
人工剪裁模块：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；
自动处理模块：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做x/y方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。
本发明的有益效果是：
本发明所述的基于赤足足迹的人身同一认定方法和系统可以解决由于犯罪现场中常用来作为人身同一认定的生物物证，如：DNA、指纹、人脸等，在案件现场上由于嫌疑人主观意识容易被销毁，所以导致这些生物物证不容易提取，而足迹是非常容易留下的生物物证，赤足足迹中提取出的特征，通过机器学习CNN网络进行训练，得到人身同一认定算法的模型，将从犯罪现场得到的赤足足迹作为测试图像输入到这个模型，就可以进行人生同一认定。本发明方案带来的有益效果是可以辅助公安部门进行案件的分析和推进，提高公安部门解决案件的效率。
附图说明
图1为包含杂质信息的足迹图像；
图2为赤足或者穿袜足迹4个关键点示意图；
图3为剪裁区域示意图；
图4为本发明方法流程示意图。
具体实施方式
实施例1
一种基于赤足足迹的人身同一认定方法，步骤如下：
A1、录入赤足或穿袜足迹数据；
A2、统一足迹数据属性；
A3、数据预处理；
A4、制作赤足图像数据集；
A5、数据训练、验证及训练模型调整；
A6、若满足闭集条件，则做闭集认定，否则做开集检索。
进一步的，所述数据预处理包括处理包含杂质信息的图像和调整训练前数据；
处理包含杂质信息的图像步骤如下：
B1、人工剪裁：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；
B2、自动方式：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做x/y方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。
调整训练前数据步骤如下：
C1、数据分类，将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道；
C2、模型匹配，假定模型对输入的图像要求为M×N，M是图像的行数，N是图像的列数，输入的图像大小经过分辨率归一后，同人赤足或者穿袜足迹的大小已定，将输入图像直接通过插值的方式，归一到M×N；
假定所有输入图像中，最小尺寸的大小为Mmin×Nmin，首先以该尺寸，将所有图像插值归一到Mmin×Nmin，若最小尺寸小于M×N，则进行补零，若最小尺寸大于M×N，则对每幅图像采用随机或者固定位置的切割，每幅切割图像尺寸为M×N，共D份。
进一步的，步骤A4中，将完成预处理的赤足图像数据集定义为两个部分：
(1)训练集：用于机器学习，每个待认定人的赤足或者穿袜足迹的数据采样，每个数据带有从属信息；
(2)待识别集：用于测试与验证，每个赤足或者穿袜足迹的数据采样没有从属信息；
数据应该满足：
(1)待识别集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；
(2)保证待识别数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；
(3)用于做训练的数据，每个人的数据，不同种类的至少10组以上，训练的个体数量在万人级，可以做开集认定，否则只能做闭集认定。
进一步的，步骤A5中对已经完成预处理的二维图像数据，进行：
D1、基于CNN网络训练；
D2、用部分验证数据测试，假定认定准确率不足n％，则认为网络结构需要调整，进行步骤D3，否则进行步骤D4；
D3、对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若
a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；
b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；
c.把每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。
D4、获得基于CNN网络的赤足或者穿袜足迹图像认定模型A，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Ta，即可获得二维赤足或者穿袜足迹图像的降维特征，不存在二维足迹的，则给出与降维特征大小一致的全零向量。
进一步的，所述闭集认定步骤如下：
E1、输入：A、B，Ta，Tb，待认定样本I，输出：I的标签；
E2、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤E3做处理，一维数据按照步骤E4处理；
E3、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；
E4、假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。
6.如权利要求1所述的基于赤足足迹的人身同一认定方法，其特征在于，
所述开集检索步骤如下：
F1、输入：A、B，Ta，Tb，待认定样本I，输出：按照与I相似度排序的标签列表与对应的相似性数据；
F2、提取训练库中所有的检索特征，并做特征维度归一；
F3、用步骤F2中提取特征的方法，提取I的检索特征；
F4、评估所有个体赤足或者穿袜足迹特征与I的相似性：对训练库中任意人体的检索特征，分别计算I的检索特征与每个特征的相关性，将最高的相关性作为I与该个体的相似性；
F5、基于相似性做排序。
7.如权利要求6所述的基于赤足足迹的人身同一认定方法，其特征在于，
步骤F2采用以下方法：
F21、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤F22做处理，一维数据按照步骤F23做处理；
F22、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，通过A、Ta进行特征提取，得到特征Fa；
F23、假定一维数据是空集，则将Fa作为最终的检索特征Fb，否则，利用Fa、B、Tb做特征提取，可以得到检索特征Fb。
实施例2
一种基于赤足足迹的人身同一认定系统，包括：
足迹录入模块：录入赤足或穿袜足迹数据；
足迹数据统一模块：统一足迹数据属性；
数据预处理模块：进行数据预处理；
赤足图像数据集模块：制作赤足图像数据集；
数据训练、验证及训练模型调整：对数据进行训练与特征提取，验证、训练模型调整与认定。
闭集认定模块：认定样本的归属人，在训练库中有对应的训练样本，结果是识别出的人；
开集检索模块：认定样本的归属人，是否在训练库中有对应的训练样本并不确定，结果是依据特征的相似度排序，给出量化后的相似度。
进一步的，所述足迹录入模块包括：
动态赤足或者穿袜足迹数据采集模块：采集反映每时每刻赤足或者穿袜足迹的变化，体现的是某个时刻下的赤足或者穿袜足迹状态；
静态赤足或者穿袜足迹数据采集模块：采集反映客观赤足或者穿袜足迹的稳定特征，体现的是整体脚底的平衡状态。
进一步的，所述数据预处理模块包括：
人工剪裁模块：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；
自动处理模块：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做x/y方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。
实施例3：
作为一种新的实施例或者实施例1的补充。
一种基于赤足足迹的人身同一认定方法，方案如下：
1.数据要求：
1)赤足或者穿袜足迹数据获取：
(1)动态赤足或者穿袜足迹数据：该类数据是通过采集设备采集到的实时赤足或者穿袜足迹数据，体现的是某个时刻下的赤足或者穿袜足迹状态，更能反映每时每刻赤足或者穿袜足迹的变化；
(2)静态赤足或者穿袜足迹数据：数据是通过采集设备采集到的某段时间段内赤足或者穿袜足迹平均状态，体现的是整体脚底的平衡状态，更能反映客观赤足或者穿袜足迹的稳定特征。
其中，赤足或者穿袜足迹数据包括但不限于一维压力轨迹数据、二维实时动态赤足或者穿袜足迹(有或者无压力信息)、三维赤足或者穿袜足迹形状点云数据。
2)数据属性统一(类型)：
(1)实时动态数据需要通过某段时间的平均处理，转换成静态数据，在平均过程中，无法获取的动态数据做特征提取，直接形成一维数据做训练或者测试；
(2)对于可以获取行走过程中步幅特征信息的数据，要通过自动特征提取，以同名点轨迹的方式形成一维数据，做训练或者测试。
3)数据属性统一(维度)：
(1)对三维点云数据，采用仿真碰撞的方法，构建虚拟硬质成痕客体，记录三维脚(有形变，非刚体)与客体碰撞的点集，记录点集到成痕客体的垂直距离，以高度为信息形成高度图；
(2)二维赤足或者穿袜足迹数据，对于背景复杂的痕迹图，可以生成或者采集多种含赤足或者穿袜足迹的背景图用于训练，也可以进行人工或者自动去除背景的方式提出赤足或者穿袜足迹前景图；
(3)一维数据认为是经过初始特征提取的量，可以经过降维投影，与其他数据特征结合使用。
4)数据预处理：
(1)由于每个赤足或者穿袜足迹的采集方式不同(包括但不限于采集以不同，采集条件不同)，导致分辨率的不同以及背景的不同。体现在图像上即不同采集仪得到的脚印图像的大小不一致，背景也不一致，部分脚印图像上除目标脚印外还包含其他杂质信息。具体包含杂质信息的图像参考附图1。
这里通过人工剪裁的方进行目标区域提取，然后将所有图像归一化到统一大小，以确保后续算法的可行性，具体操作如下：
a.人工剪裁：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，此4点的位置与定义参考附图2，每幅图按照这四个关键点做外切矩形再进行剪裁即可，如附图3所示；
b.自动方式：通过批量数据的训练，来对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做x/y方向的归一即可，训练的特征包括但不限于角点、点间的相互关系，甚至整幅图，方式包括但不限于基于深度学习的全卷积网络(FCN)、基于图像几何变换(仿射、透视等)的同名点配准。
(2)训练前数据调整：这是与后续训练模型相关的，由于进行训练的数据集里，数据意义不在同一等级(特征级、数据级)，ii.且数据级的图像与模型的输入要求并不能完全保证一致，因此做以下处理：
a.数据分类，将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道；
b.模型匹配，假定模型对输入的图像(向量，向量行或者列方向维度为1)要求为M×N，M是图像的行数，N是图像的列数，输入的图像大小经过分辨率归一后，同人赤足或者穿袜足迹的大小已定，但不同人赤足或者穿袜足迹的大小还是有差别，所以：
i)将输入图像直接通过插值的方式，归一到M×N；
ii)假定所有输入图像中，最小尺寸的大小为Mmin×Nmin，首先以该尺寸，将所有图像插值归一到Mmin×Nmin，若最小尺寸小于M×N，则进行补零，若最小尺寸大于M×N，则对每幅图像采用随机或者固定位置的切割，每幅切割图像尺寸为M×N，共D份。
2.制作赤足图像数据集：
1)将完成预处理的赤足图像数据集定义为两个部分：
(1)训练集：用于机器学习用，每个待认定人的赤足或者穿袜足迹的数据采样，每个数据带有从属信息(标签)；
(2)待识别集：用于测试与验证，每个赤足或者穿袜足迹的数据采样没有从属信息(验证集有，但是用来判断方法认定精度)。
2)其中，各部分对数据的要求：
(1)待识别集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；
(2)要保证待识别数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；
(3)用于做训练的数据，每个人的数据，不同种类的至少10组(左右脚各5组)以上，训练的个体数量在万人级，可以做开集认定，否则只能做闭集认定。
3.数据训练、验证及训练模型调整：
1)对已经完成预处理的二维图像数据，进行：
(1)基于CNN网络的训练(若采用现有网络，可以用fine-tuning方式训练)，网络要求：
a.输入输出要求：输入层大小不得低于128*128，彩色图，即有3个通道，距离最后端激活层最近的全连接层不得低于4096维(特征维度要求)，输出层数量与训练的个体数量一致；
b.框架要求：卷积层在5个以上；
c.参数要求：卷积核服从高斯分布；
d.参考模型：AlexNet，LeNet。
(2)用部分验证数据测试，假定认定准确率不足80％，则认为网络结构需要调整，进行第(3)步，否则进行第(4)步；
(3)对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若
a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；
b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；
c.把每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。
(4)至此，获得基于CNN网络的赤足或者穿袜足迹图像认定模型A，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Ta，即可获得二维赤足或者穿袜足迹图像的降维特征，不存在二维足迹的，则给出与降维特征大小一致的全零向量.
2)对已经完成预处理后的一维特征数据(对于不存在一维特征的，不参与该步骤，直接以二维足迹特征为最后特征)，进行：
(1)二维赤足或者穿袜足迹数据降维特征与一维特征的合并，形成整体特征；
(2)针对整体特征，完成基于CNN网络的训练(若采用现有网络，可以用fine-tuning方式训练)，网络要求：
a.输入输出要求：输入层大小不得低于1*1024维，单通道，距离最后端激活层最近的全连接层不得高于输入层维度(特征维度要求)，输出层数量与训练的个体数量一致；
b.框架要求：卷积层在3个以上；
c.参数要求：卷积核服从高斯分布。
(3)用部分验证数据测试，假定认定准确率不足80％，则认为网络结构需要调整，进行第(4)步，否则进行第(5)步；
(4)对任意一组特征而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若：
a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；
b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；
c.每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。
(5)至此，获得基于CNN网络的赤足或者穿袜足迹特征认定模型B，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Tb，即可获得赤足或者穿袜足迹数据的降维特征。
4.若满足闭集条件，则做闭集认定，否则做开集检索：
1)闭集认定：要认定样本(测试数据)的归属人，在训练库中有对应的训练样本，结果是识别出的人(ID、名称均可)。
闭集：假如训练个体的数量达不到万级，认为学习特征达不到开集认定的要求，只可以用训练好的A、B模型结合来做闭集认定：
(1)输入：A、B，Ta，Tb，待认定(测试)样本I，输出：I的标签；
(2)进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照(3)做处理，一维数据按照(4)做处理；
(3)假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；
(4)假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。
2)开集检索：要认定样本(测试数据)的归属人，是否在训练库中有对应的训练样本并不确定，结果是依据特征的相似度排序，给出量化后的相似度。
开集：假如训练个体的数量超过万级，认为学习特征达到开集认定的要求，可以用训练好的A、B模型进行特征提取，然后通过特征比对来做开集检索：
(1)输入：A、B，Ta，Tb，待认定(测试)样本I，输出：按照与I相似度排序的标签列表与对应的相似性数据；
(2)提取训练库中所有的检索特征，并做特征维度归一，具体方式为：
a.进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照b做处理，一维数据按照c做处理；
b.假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，通过A、Ta进行特征提取，得到特征Fa；
c.假定一维数据是空集，则将Fa作为最终的检索特征Fb，否则，利用Fa、B、Tb做特征提取，可以得到检索特征Fb；
(3)用(2)中提取特征的方法，提取I的检索特征；
(4)评估所有个体赤足或者穿袜足迹特征与I的相似性：对训练库中任意人体的检索特征，分别计算I的检索特征与每个特征的相关性，将最高的相关性作为I与该个体的相似性；
(5)基于相似性做排序。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于赤足足迹的人身同一认定方法，其特征在于，步骤如下：
A1、录入赤足或穿袜足迹数据；
A2、统一足迹数据属性；
A3、数据预处理；
A4、制作赤足图像数据集；
A5、数据训练、验证及训练模型调整；
A6、若满足闭集条件，则做闭集认定，否则做开集检索。
2.如权利要求1所述的基于赤足足迹的人身同一认定方法，其特征在于，
所述数据预处理包括处理包含杂质信息的图像和调整训练前数据；
处理包含杂质信息的图像步骤如下：
B1、人工剪裁：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；
B2、自动方式：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做x/y方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。
调整训练前数据步骤如下：
C1、数据分类，将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道；
C2、模型匹配，假定模型对输入的图像要求为M×N，M是图像的行数，N是图像的列数，输入的图像大小经过分辨率归一后，同人赤足或者穿袜足迹的大小已定，将输入图像直接通过插值的方式，归一到M×N；
假定所有输入图像中，最小尺寸的大小为Mmin×Nmin，首先以该尺寸，将所有图像插值归一到Mmin×Nmin，若最小尺寸小于M×N，则进行补零，若最小尺寸大于M×N，则对每幅图像采用随机或者固定位置的切割，每幅切割图像尺寸为M×N，共D份。
3.如权利要求1或2所述的基于赤足足迹的人身同一认定方法，其特征在于，步骤A4中，将完成预处理的赤足图像数据集定义为两个部分：
(1)训练集：用于机器学习，每个待认定人的赤足或者穿袜足迹的数据采样，每个数据带有从属信息；
(2)待识别集：用于测试与验证，每个赤足或者穿袜足迹的数据采样没有从属信息；
数据应该满足：
(1)待识别集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；
(2)保证待识别数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；
(3)用于做训练的数据，每个人的数据，不同种类的至少10组以上，训练的个体数量在万人级，可以做开集认定，否则只能做闭集认定。
4.如权利要求1或2所述的基于赤足足迹的人身同一认定方法，其特征在于，步骤A5中对已经完成预处理的二维图像数据，进行：
D1、基于CNN网络训练；
D2、用部分验证数据测试，假定认定准确率不足n％，则认为网络结构需要调整，进行步骤D3，否则进行步骤D4；
D3、对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对，若
a.某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；
b.相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接直接将该层作为全连接层重新训练，简化模型；
C.把每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。
D4、获得基于CNN网络的赤足或者穿袜足迹图像认定模型A，然后规定距离最后端激活层最近的全连接层输出作为每幅图的特征，利用PCA对所有采集对象的所有赤足或者穿袜足迹特征做降维处理，假定PCA投影矩阵为Ta，即可获得二维赤足或者穿袜足迹图像的降维特征，不存在二维足迹的，则给出与降维特征大小一致的全零向量。
5.如权利要求1所述的基于赤足足迹的人身同一认定方法，其特征在于，
所述闭集认定步骤如下：
E1、输入：A、B，Ta，Tb，待认定样本I，输出：I的标签；
E2、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤E3做处理，一维数据按照步骤E4处理；
E3、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，利用A进行认定，可以得到基于A的标签La，通过A、Ta进行特征提取，得到特征Fa；
E4、假定一维数据是空集，则直接采用La做最终认定标签L，否则，利用Fa与B进行认定，可以得到基于B的标签Lb，将Lb做最终认定标签L。
6.如权利要求1所述的基于赤足足迹的人身同一认定方法，其特征在于，
所述开集检索步骤如下：
F1、输入：A、B，Ta，Tb，待认定样本I，输出：按照与I相似度排序的标签列表与对应的相似性数据；
F2、提取训练库中所有的检索特征，并做特征维度归一；
F3、用步骤F2中提取特征的方法，提取I的检索特征；
F4、评估所有个体赤足或者穿袜足迹特征与I的相似性：对训练库中任意人体的检索特征，分别计算I的检索特征与每个特征的相关性，将最高的相关性作为I与该个体的相似性；
F5、基于相似性做排序。
7.如权利要求6所述的基于赤足足迹的人身同一认定方法，其特征在于，
步骤F2采用以下方法：
F21、进行数据属性统一、预处理，转换为一维或者二维图像数据，二维数据按照步骤F22做处理，一维数据按照步骤F23做处理；
F22、假定二维数据是空集，则给出与训练特征维度一致的全零向量Fa，否则，通过A、Ta进行特征提取，得到特征Fa；
F23、假定一维数据是空集，则将Fa作为最终的检索特征Fb，否则，利用Fa、B、Tb做特征提取，可以得到检索特征Fb。
8.一种基于赤足足迹的人身同一认定系统，其特征在于，包括：
足迹录入模块：录入赤足或穿袜足迹数据；
足迹数据统一模块：统一足迹数据属性；
数据预处理模块：进行数据预处理；
赤足图像数据集模块：制作赤足图像数据集；
数据训练、验证及训练模型调整：对数据进行训练与特征提取，验证、训练模型调整与认定。
闭集认定模块：认定样本的归属人，在训练库中有对应的训练样本，结果是识别出的人；
开集检索模块：认定样本的归属人，是否在训练库中有对应的训练样本并不确定，结果是依据特征的相似度排序，给出量化后的相似度。
9.如权利要求8所述的基于赤足足迹的人身同一认定系统，其特征在于，
所述足迹录入模块包括：
动态赤足或者穿袜足迹数据采集模块：采集反映每时每刻赤足或者穿袜足迹的变化，体现的是某个时刻下的赤足或者穿袜足迹状态；
静态赤足或者穿袜足迹数据采集模块：采集反映客观赤足或者穿袜足迹的稳定特征，体现的是整体脚底的平衡状态。
10.如权利要求8所述的基于赤足足迹的人身同一认定系统，其特征在于，
所述数据预处理模块包括：
人工剪裁模块：需要标记出赤足或者穿袜足迹足趾内缘突点、足趾外缘突点、足跟后缘突点，最长趾前缘突点4个点的位置，每幅图按照这四个关键点做外切矩形再进行剪裁；
自动处理模块：通过批量数据的训练，对赤足或者穿袜足迹图像做自动同名点的标记，每幅图按照4个点的尺度做x/y方向的归一，训练的特征包括角点、点间的相互关系，甚至整幅图，方式包括基于深度学习的全卷积网络、基于图像几何变换的同名点配准。
CN201710903980.XA 2017-09-29 2017-09-29 一种基于赤足足迹的人身同一认定方法和系统 Active CN109583452B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710903980.XA CN109583452B (zh) 2017-09-29 2017-09-29 一种基于赤足足迹的人身同一认定方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710903980.XA CN109583452B (zh) 2017-09-29 2017-09-29 一种基于赤足足迹的人身同一认定方法和系统

Publications (2)

Publication Number Publication Date
CN109583452A true CN109583452A (zh) 2019-04-05
CN109583452B CN109583452B (zh) 2021-02-19

Family

ID=65914541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710903980.XA Active CN109583452B (zh) 2017-09-29 2017-09-29 一种基于赤足足迹的人身同一认定方法和系统

Country Status (1)

Country Link
CN (1) CN109583452B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257662A (zh) * 2020-11-12 2021-01-22 安徽大学 一种基于深度学习的压力足迹图像检索系统
CN112508062A (zh) * 2020-11-20 2021-03-16 普联国际有限公司 一种开集数据的分类方法、装置、设备及存储介质
CN112801055A (zh) * 2021-04-01 2021-05-14 湖南云星人工智能研究院有限公司 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
WO2021115123A1 (zh) * 2019-12-12 2021-06-17 苏州科技大学 一种用于足迹图像检索的方法
CN113221854A (zh) * 2021-06-11 2021-08-06 公安部物证鉴定中心 一种基于多尺度深度特征的赤足足迹图像人身识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070229522A1 (en) * 2000-11-24 2007-10-04 Feng-Feng Wang System and method for animal gait characterization from bottom view using video analysis
CN101167086A (zh) * 2005-05-31 2008-04-23 实物视频影像公司 用于安全应用的人体检测和跟踪
KR101288949B1 (ko) * 2012-06-20 2013-07-24 동국대학교 산학협력단 신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치
CN104574426A (zh) * 2015-02-03 2015-04-29 大连恒锐科技股份有限公司 基于赤足或穿袜足迹图像的人身特征分析的方法及装置
CN105023027A (zh) * 2014-04-18 2015-11-04 大连恒锐科技股份有限公司 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法
CN106951906A (zh) * 2017-03-22 2017-07-14 重庆市公安局刑事警察总队 鞋底花纹多维度分类与识别的综合分析方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070229522A1 (en) * 2000-11-24 2007-10-04 Feng-Feng Wang System and method for animal gait characterization from bottom view using video analysis
CN101167086A (zh) * 2005-05-31 2008-04-23 实物视频影像公司 用于安全应用的人体检测和跟踪
KR101288949B1 (ko) * 2012-06-20 2013-07-24 동국대학교 산학협력단 신발 발자국 이미지를 이용한 사용자 인식방법 및 그 장치
CN105023027A (zh) * 2014-04-18 2015-11-04 大连恒锐科技股份有限公司 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法
CN104574426A (zh) * 2015-02-03 2015-04-29 大连恒锐科技股份有限公司 基于赤足或穿袜足迹图像的人身特征分析的方法及装置
CN106951906A (zh) * 2017-03-22 2017-07-14 重庆市公安局刑事警察总队 鞋底花纹多维度分类与识别的综合分析方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MEHRDAD HEYDARZADEH，ET AL.: "Gaits Analysis Using Pressure Image for Subject Identification", 《2017 IEEE EMBS INTERNATIONAL CONFERENCE ON BIOMEDICAL & HEALTH INFORMATICS》 *
王欣: "基于卷积神经网络与足底压力信息的步态识别", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021115123A1 (zh) * 2019-12-12 2021-06-17 苏州科技大学 一种用于足迹图像检索的方法
US11809485B2 (en) 2019-12-12 2023-11-07 Suzhou University of Science and Technology Method for retrieving footprint images
CN112257662A (zh) * 2020-11-12 2021-01-22 安徽大学 一种基于深度学习的压力足迹图像检索系统
CN112508062A (zh) * 2020-11-20 2021-03-16 普联国际有限公司 一种开集数据的分类方法、装置、设备及存储介质
CN112801055A (zh) * 2021-04-01 2021-05-14 湖南云星人工智能研究院有限公司 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
CN112801055B (zh) * 2021-04-01 2021-06-22 湖南云星人工智能研究院有限公司 一种基于薄膜压力传感器阵列的无人超市定位跟踪方法
CN113221854A (zh) * 2021-06-11 2021-08-06 公安部物证鉴定中心 一种基于多尺度深度特征的赤足足迹图像人身识别方法
CN113221854B (zh) * 2021-06-11 2024-07-09 公安部物证鉴定中心 一种基于多尺度深度特征的赤足足迹图像人身识别方法

Also Published As

Publication number Publication date
CN109583452B (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
CN109583452A (zh) 一种基于赤足足迹的人身同一认定方法和系统
CN107423690B (zh) 一种人脸识别方法及装置
CN109800794B (zh) 一种外观相似目标的跨相机重识别融合方法及系统
Feng et al. Robust and efficient algorithms for separating latent overlapped fingerprints
Liu et al. A contrario comparison of local descriptors for change detection in very high spatial resolution satellite images of urban areas
CN112633297B (zh) 目标对象的识别方法、装置、存储介质以及电子装置
CN101251894A (zh) 基于红外热成像的步态特征提取方法和步态识别方法
Kadkhodaei et al. Automatic segmentation of multimodal brain tumor images based on classification of super-voxels
CN103984920B (zh) 一种基于稀疏表示与多特征点的三维人脸识别方法
CN106326834B (zh) 人体性别自动识别方法及装置
CN114758362A (zh) 基于语义感知注意力和视觉屏蔽的换衣行人重识别方法
CN114067444A (zh) 基于元伪标签和光照不变特征的人脸欺骗检测方法和系统
CN109583273A (zh) 一种海量足底压力数据的分析处理系统
CN116543152A (zh) 一种基于对象增强的高分辨率遥感图像语义分割方法
JP2009163682A (ja) 画像識別装置及びプログラム
Sajid et al. The role of facial asymmetry in recognizing age-separated face images
CN107533547A (zh) 产品索引编排方法及其系统
CN109523484B (zh) 一种基于分形特征的手指静脉血管网络修复方法
CN109166093B (zh) 一种图像显著区域检测方法
EP1810216B1 (en) 3d object recognition
Vezzetti et al. Application of geometry to rgb images for facial landmark localisation-a preliminary approach
CN113505716B (zh) 静脉识别模型的训练方法、静脉图像的识别方法及装置
CN114373144B (zh) 一种用于高速视频中圆形标识点的自动识别方法
CN109376746A (zh) 一种图片识别方法及系统
CN104778479B (zh) 一种基于稀疏编码提取子的图像分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant