CN109101983B - 一种基于深度学习的鞋样及足迹关键点检测方法 - Google Patents

一种基于深度学习的鞋样及足迹关键点检测方法 Download PDF

Info

Publication number
CN109101983B
CN109101983B CN201810870908.6A CN201810870908A CN109101983B CN 109101983 B CN109101983 B CN 109101983B CN 201810870908 A CN201810870908 A CN 201810870908A CN 109101983 B CN109101983 B CN 109101983B
Authority
CN
China
Prior art keywords
point
footprint
predicted
shoe
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810870908.6A
Other languages
English (en)
Other versions
CN109101983A (zh
Inventor
孙晰锐
于昕晔
李岱熹
崔均健
赵晓蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian Everspry Sci & Tech Co ltd
Original Assignee
Dalian Everspry Sci & Tech Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian Everspry Sci & Tech Co ltd filed Critical Dalian Everspry Sci & Tech Co ltd
Priority to CN201810870908.6A priority Critical patent/CN109101983B/zh
Publication of CN109101983A publication Critical patent/CN109101983A/zh
Application granted granted Critical
Publication of CN109101983B publication Critical patent/CN109101983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度学习的鞋样及足迹关键点检测方法，包括：S1.获得鞋样/足迹数据库：利用爬虫技术，爬取鞋样数据图片，获得鞋样图片后，使用人工标定方式标注关键点，生成鞋样数据集；足迹数据集包括现场足迹数据和嫌疑人足迹样本数据；S2.设定网络模型；S3.计算损失函数，提出基于鞋底/足迹轮廓的损失函数；S4.训练网络模型，采用部分网络结构调整的迁移学习模式进行训练；S5.将图像尺寸归一化后输入已训练好的网络模型中，输出的结果坐标标记在原图上。利用深度学习网络，提取关键点信息，使得计算机标注足迹或者鞋样图像成为可能，极大减轻了人力成本。

Description

一种基于深度学习的鞋样及足迹关键点检测方法
技术领域
本发明涉及一种基于深度学习的关键点检测方法，具体说是一种基于深度学习的鞋样及足迹关键点检测方法。
背景技术
足迹信息在现代的刑侦勘测领域起到举足轻重的作用，是现场勘验的重要物证之一。通过鞋底在承痕体反映的痕迹特征，不仅可以初步分析和刻画出人的大致身高、体重、年龄等自然信息，还可以通过鞋底磨损信息反映人的行走姿态、重心等特征。鞋样的鞋底花纹信息可补全残缺的足迹信息，并可通过对照，恢复足迹的残缺花纹和磨损区域，对足迹鉴定起到了极大的辅助对比作用。传统的检测足迹关键点方法使用图像处理的方式，背景噪声对算法有很大的影响，且只能应用在嫌疑人足迹上，对现场足迹和鞋样都不支持。
基于深度学习的算法，有学者研究了目标检测方法，这种方法只考虑了目标的位置信息，但是无法知道物体的具体和细节方位朝向，(例如检测出画面的狗，但并不知道狗的眼睛和尾巴在哪里)。另一种实现方式是基于深度学习的图像分割检测方法，这种方法可以将检测物体以蒙版(mask)的方式体现。对检测目标的轮廓刻画较好，尤其在多目标的复杂场景下，语义理解更为突出，但同样也无法解决目标的细节位置。
发明内容
为了克服现有技术存在的上述缺陷，本申请提供一种基于深度学习的鞋样及足迹关键点检测方法，利用深度学习网络，提取关键点信息，使得计算机标注足迹或者鞋样图像成为可能，极大减轻了人力成本。
为实现上述目的，本申请的技术方案为：一种基于深度学习的鞋样及足迹关键点检测方法，包括：
S1.获得鞋样/足迹数据库：利用爬虫技术，爬取鞋样数据图片，获得鞋样图片后，使用人工标定方式标注关键点，生成鞋样数据集；足迹数据集包括现场足迹数据和嫌疑人足迹样本数据；
S2.设定网络模型；
S3.计算损失函数：提出基于鞋底/足迹轮廓的损失函数；
S4.训练网络模型：采用部分网络结构调整的迁移学习模式进行训练；
S5.将图像尺寸归一化后输入已训练好的网络模型中，输出的结果坐标标记在原图上。
进一步的，本申请还包括：S6.评价结果指标的步骤，包括：左右脚判定、主方向判定、有效面积比值和误差率。
进一步的，步骤S1中最终形成的数据库格式为：
DataSet：{image：[图像1，图像2，图像3，…，图像n]
label：[人工标定点1，人工标定点2，人工标定点n]}
所述图像n:格式为大小等于224*224*3的uint8形式的矩阵；
人工标定点n:格式为[上点坐标x，上点坐标y，下点坐标x，下点坐标y，内点坐标x，内点坐标y，外点坐标x，外点坐标y]。
进一步的，步骤S2中设定网络模型，该网络模型为残差网络模块结合增强网络模块实现，残差网络模块在浅层网络中加入恒等映射层。
进一步的，步骤S3计算损失函数由以下判定项组成：
A)预测点和标定点的位置差异判定：
Figure GDA0001793068280000021
其中
Figure GDA0001793068280000022
表示预测点的x坐标，
Figure GDA0001793068280000023
表示标注点的x坐标，
Figure GDA0001793068280000024
表示预测点的y坐标，
Figure GDA0001793068280000025
表示标注点的y坐标，i＝1表示上点，i＝2表示下点，i＝3表示内点，i＝4表示外点；该项描述了预测各点坐标和标定值的差异，并使用指数函数模型将值域约束在[0,+∞)；
B)预测上、下点距离和标定上、下点距离判定:
Figure GDA0001793068280000026
其中
Figure GDA0001793068280000027
是预测上点的坐标，
Figure GDA0001793068280000028
是预测下点的坐标；
Figure GDA0001793068280000029
是标定上点坐标，
Figure GDA00017930682800000210
是标定下点坐标；该项主要描述预测点和标定点的距离差异，并使用指数函数模型将值域约束在[0,+∞)；
C)预测内、外点距离和标定内、外点距离判定:
Figure GDA00017930682800000211
其中其中
Figure GDA00017930682800000212
是预测内点的坐标，
Figure GDA00017930682800000213
是预测外点的坐标；
Figure GDA00017930682800000214
是标定内点坐标，
Figure GDA00017930682800000215
是标定外点坐标；该项主要描述预测内点和外点与标定点的位置差异，并使用指数函数模型将值域约束在[0,+∞)；
D)主方向预测判定项：
Figure GDA00017930682800000216
该项主要描述了预测的上下点形成的向量与标注的上下点形成的向量的余弦距离，该项值域[0,1]。
更进一步的，基于鞋底/足迹轮廓的损失函数计算方法为：
LossME(xpre,ypre,xlab,ylab)＝MEall+0.3*ME12+0.1*ME34+0.2*Mdir (5)
Loss取值范围[0,+∞)，预测结果和标定值越接近，Loss越趋近0。
更进一步的，步骤S4训练过程为：将图像输入尺寸进行归一化处理，图像输入后进行4方向子图生成，分批输入网络优化损失函数，直到收敛，训练模型完成。
作为更进一步的，S6.1、左右脚判断方法具体为：设A为上点、B为下点、C为内点、D为外点；
鞋样图：左右脚的判定方法为，C点在A点的左边则为左脚，否则为右脚；数学判定方法：向量AB和向量AC的叉乘结果，大于0为左脚，小于0为右脚；拍照鞋底时，存在镜像因素，所以左右脚判别与嫌疑人或现场的痕迹图是相反的；
足迹图：左右脚的判定方法为，C点在A点的左边则为右脚，否则为左脚；数学判定方法：向量AB和向量AC的叉乘结果，大于0为右脚，小于0为左脚；计算该评价指标时，统计所有测试图的左右判断正确率。
S6.2、主方向判定方法具体为：鞋样/足迹的主方向是由鞋跟到鞋尖的所指方向，通过比较预测裁剪图和标注裁剪图的角度差异，确定鞋子的偏离程度。
作为更进一步的，S6.3、有效面积比计算方法具体为：四个关键点所围成的矩形框生成裁剪图，评估裁剪图的位置准确性，则利用矩形区域的面积来计算：
Figure GDA0001793068280000031
公式中S1表示预测矩形框区域的像素个数，S2表示人工标注区域的像素个数，S3表示交叠区域的像素个数；IoU为有效面积比；当预测结果和标注结果有重叠时，IoU在0～1之间；当预测结果和标注结果完全一致时，IoU＝1；当预测结果和标注结果没有共同区域时，IoU＝0；
S6.4、误差率计算标注坐标点和预测坐标点的平均差异；
Figure GDA0001793068280000032
公式，Ti表示手工绘制的点归一化坐标，Pi表示预测坐标，评价结果“差异率”是坐标差的绝对值的平均，是一个数，越小说明了测量结果与人工标注越接近。
本发明由于采用以上技术方案，能够取得如下的技术效果：
1.提出关键点，来描述足迹或鞋样的位置、倒正、左右等信息，
2.利用深度学习网络，提取关键点信息，使得计算机标注足迹或者鞋样图像成为可能，极大减轻了人力成本。
3提出了客观有效的评价指标，增加了本申请的结果评价指标描述。
附图说明
图1为上下内外四个关键点标出示意图；
图2为现场足迹数据图；
图3为嫌疑人足迹数据图；
图4为网络模型结构示意图；
图5为图4中部分示意图；
图6为图4中部分示意图；
图7为图4中部分示意图；
图8为图4中部分示意图；
图9为图4中部分示意图；
图10为训练网络模型流程图；
图11为步骤S5流程图；
图12为鞋底与足迹对比图；
图13为主方向判定中参考图；
图14为有效面积比计算中参考图；
图15-17分别为实验结果中鞋样、现场足迹及嫌疑人足迹示意图，其中左侧为输入的测试图像，右侧图像为使用本方法预测的关键点进行原图剪裁的结果图。
图中：A.上点；B.下点；C.内点；D.外点。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细的描述：以此为例对本专利做进一步的描述说明。
本实施例提供一种基于深度学习的鞋样及足迹关键点检测方法，包括如下步骤：
S0、定义鞋样/足迹关键点：
将鞋样数据的上下内外四个关键点标出，如图1。通过时间的积累，获得大量的鞋样图片及对应的关键点信息；将大量的鞋样数据分为训练库和测试库，并且将训练库和测试库的图像归一化到224*224*3的大小；
足迹数据分为现场足迹数据和嫌疑人足迹数据，使用人工标定的方式，将足迹数据的上下内外四个关键点标出，其中，上点是足尖最上沿，下点是足跟最下沿点，内点是脚掌跖趾区最内侧，外点是脚掌跖趾区最外侧，上点、下点的连线垂直于内点外点的连线。图2位现场足迹数据，图3为嫌疑人足迹数据。将数据分为训练库和测试库，同样的，训练库与测试库的图像要归一化到224*224*3的大小。
S1、获得鞋样/足迹数据库：
利用现有的爬虫技术，爬取鞋样数据图片，获得鞋样图片后，使用人工标定方式标注关键点，生成鞋样数据集。
足迹数据分为现场足迹数据和嫌疑人足迹样本数据，分别由现场勘验系统和足迹采集仪采集得到。
所述鞋样数据和足迹数据的80％用于训练，10％用于验证测试，10％用于盲测。数据保证所有的图像均通过人工标注和复查。
最终形成的数据库格式为：
DataSet：{
image：[图像1，图像2，图像3，…，图像n]
label：[人工标定点1，人工标定点2，人工标定点n]
}
其中：
图像n:格式为大小等于224*224*3的uint8(8位无符号整形)形式的矩阵。
人工标定点n:格式为[上点坐标x，上点坐标y，下点坐标x，下点坐标y，内点坐标x，内点坐标y，外点坐标x，外点坐标y]
S2、设定网络模型，提出了一个新型便于提取足迹关键点的网络模型。该网络模型为残差网络(ResNet)模块结合增强网络(InceptionNet)模块实现。
首先，ResNet网络中的模型在浅层网络中加入恒等映射层，不仅增加了网络的深度，且有效避免了梯度消失的情况。该模型可以更好的描述图像的深层特征。
第二，增强网络(InceptionNet)模型，ResNet模型增加了图像特征的深度信息，那么InceptionNet模型增加了特征的广度信息，从直观的模型输出来看，分别通过连接1*1、3*3、5*5的卷积核卷积的结果，可激活更小的图像特征区域，直接增加了特征的感受野。
因此本发明结合了两个网络的优势，结合了网络的深度和广度的描述能力，提出了新的足迹关键点提取网络。该网络适用于各种尺寸、方向的足迹图像，比单一的浅层网络的特征描述更加丰富，大幅度提升了预测的准确性。
该网络模型的构建流程为：
S2-1网络输入(batchsize,224,224,3)的张量。其中batchsize为输入图像数量或者图像对应的特征数量，每个图像或特征调整为224*224*3；
S2-2进一步地，开始构建网络，建立补零层(ZeroPadding)，将张量输出边界补充0，得到的张量定义为卷积1补零层(conv1_zeropadding)；
S2-3进一步地，将conv1_zeropadding进行64个卷积运算，卷积核7*7,得到的张量定义为卷积层1(conv1)；
S2-4进一步地，将conv1进行规范化(BatchNormalization)，得到规范化卷积层1(bn_conv1)；
S2-5进一步地，将bn_conv1进行规范化的后续层(Scale)运算，得到后续卷积层1(scale_conv1)；
S2-6进一步地，将scale_conv1用激活函数(Relu)激活得到卷积1激活层(conv1_relu)；
S2-7进一步地，将conv1_relu进行最大值池化(MaxPooling)计算，得到池化层1(pool1)；
S2-8进一步地，将pool1进行ResNet的卷积模块(conv_block)计算，输出张量大小是pool1的1/4，命名为卷积模块a1(a1_conv_block)；
S2-9进一步地，将a1_conv_block进行ResNet的恒等残差模块(identity_block)计算，输出张量的大小与a1_conv_block相同，命名为卷积模块b2(b2_conv_block)、卷积模块c2(c2_conv_block)；
S2-10进一步地，c2_conv_block进行conv_block计算，命名为卷积模块a3(a3_conv_block)；
S2-11进一步地，进行7次identity_block计算，输出为卷积模块b3-7(b3_7_conv_block)；
S2-12进一步地，进行一次conv_block计算，输出张量大小为b3_7_conv_block的1/4，命名卷积模块a4(a4_conv_block)；
S2-13进一步地，进行35次identity_block计算，提取深度特征信息，输出卷积模块b4-35(b4_35_conv_block)；
S2-14进一步地，进行一次conv_block和两次identity_block计算，输出卷积模块a5-c(a5_c_conv_block)；
S2-15进一步地，进行两次增强(Incept)计算，输出特征与输入特征一致,输出增强模块a6-a(a6_a_incept_block)；
S2-16进一步地，进行平均池化(AveragePooling)和全连接(Dense)输出，输出为关键点的归一化坐标。
具体模型如图4-9：图中具体名词解释：
Input：输入层。
ZeroPadding2D：对二维输入的边界填充0，以控制卷积以后的特征图的大小。
Relu：激活函数
MaxPooling2D：为空域信号施加最大值池化
Res：残差网络模型
Conv2D：二维卷积层
BatchNormalization：规范化层
Scale：规范化层的后续层
Inception：增强网络
Activation：激活层对一个层的输出施加激活函数
AveragePooling2D：为空域信号施加平均值池化
Concatenate：融合层
Dropout：每次更新参数时按一定概率随机断开输入神经元，用于防止过拟合
Flatten：把多维的输入一维化
Dense：全连接层
S3、计算损失函数，提出基于鞋底(足迹)轮廓的损失函数：FootLoss。由以下几个判定项组成：
A)预测点和标定点的位置差异判定项：
Figure GDA0001793068280000061
其中
Figure GDA0001793068280000062
表示预测点的x坐标，
Figure GDA0001793068280000063
表示标注点的x坐标，
Figure GDA0001793068280000064
表示预测点的y坐标，
Figure GDA0001793068280000065
表示标注点的y坐标。i＝1表示上点，i＝2表示下点，i＝3表示内点，i＝4表示外点。该项描述了预测各点坐标和标定值的差异，并使用指数函数模型将值域约束在[0,+∞)。该项物理意义是：预测的上点、下点、内点和外点的坐标与标定的坐标差异越小，结果越低。
B)预测上下点距离和标定上下点距离判定项:
Figure GDA0001793068280000066
其中
Figure GDA0001793068280000067
是预测上点的坐标，
Figure GDA0001793068280000068
是预测的下点的坐标。
Figure GDA0001793068280000069
是标定上点坐标，
Figure GDA00017930682800000610
是标定的下点坐标。该项主要描述预测点和标定点的距离差异，并使用指数函数模型将值域约束在[0,+∞)。该项的物理意义是：预测的上下两点距离和标定的上下亮点距离越小，结果越低。
C)预测内外点距离和标定内外点距离判定项:
Figure GDA00017930682800000611
其中其中
Figure GDA00017930682800000612
是预测内点的坐标，
Figure GDA00017930682800000613
是预测的外点的坐标。
Figure GDA00017930682800000614
是标定内点坐标，
Figure GDA0001793068280000071
是标定的外点坐标。该项主要描述预测内点和外点与标定点的位置差异，并使用指数函数模型将值域约束在[0,+∞)。该项的物理意义是：预测的内点(外点)和标定的内点(外点)距离越小，结果越低。
D)主方向预测判定项：
Figure GDA0001793068280000072
该项主要描述了预测的上下点形成的向量与标注的上下点形成的向量的余弦距离，该项值域[0,1]。物理意义是，预测上下点的方向和标注的方向的差异，差异越小，结果越接近0.E)Foot Loss计算方法：
LossME(xpre,ypre,xlab,ylab)＝MEall+0.3*ME12+0.1*ME34+0.2*Mdir (5)
Loss取值范围[0,+∞)，预测结果和标定值越接近，Loss越趋近0。该计算法方法不仅考虑了预测值和输出值的平均差异，如(1)，还增加了鞋样(鞋底花纹)的实际意义，如公式(2)(3)(4)。
S4、训练网络模型，网络的训练采用部分网络结构微调(finetuning)的迁移学习模式。图像输入尺寸需归一化成224*224*3，图像输入后进行4方向子图生成，分批输入网络优化损失函数(Loss)，直到收敛，训练模型完成；训练过程如图10。
S5、测试过程；测试时，同样需要将图像尺寸归一化成224*224*3，输入已训练好的网络模型中，产出结果坐标标记在原图上，通过后续算法生成裁剪图。测试流程图如图11：
S6、评价结果指标：
客观评价指标可以归结以下几个方面：
1.左右脚的判定准确率(LR)；
2.主方向判定(MD)；
3.有效面积比值(IoU)；
4.误差率(Error)。
S6.1、左右脚判断(LR)
拍照鞋底时，存在镜像因素，所以左右脚判别与嫌疑人或现场的痕迹图是相反的。如图12所示，均为C点在图像的左侧。左边是左脚鞋底拍照图，右边是嫌疑人右脚足迹样本。
鞋样图为例，左右脚的判定方法为，A点在上B点在下C点在A点的左边则为左脚，否则为右脚。数学判定方法：向量AB和向量AC的叉乘结果，大于0为左脚，小于0为右脚。
而足迹图像不存在镜像问题，左右脚的判定方法为，A点在上B点在下C点在A点的左边则为右脚，否则为左脚。数学判定方法：向量AB和向量AC的叉乘结果，大于0为右脚，小于0为左脚。计算该评价指标时，统计所有测试图的左右判断正确率。
S6.2、主方向判定(MD)
以鞋样为例，鞋样的主方向是由鞋跟到鞋尖的所指方向，通过比较预测裁剪图和标注裁剪图的角度差异，确定鞋子的偏离程度。足迹数据的主方向判定同理。如图13所示，图中“圆点”是标注点，可以理解为正确答案，“叉号”是预测位置。分别连接足尖和足跟标注点，圆点与圆点相连的右侧线段表示人工标记鞋子的主方向，叉号与叉号相连的左侧线段表示预测的鞋子主方向。两条线段之间的夹角则表明预测结果与人工结果的方向差异，角度越小说明算法对鞋子的方向感知越强。
S6.3、有效面积比(IoU)
关键点所围成的矩形框可以生成裁剪图，这里为了比较预测结果和标注结果，需要比对生成裁剪图的区域信息，效果如图14所示。这里评估裁剪图的位置准确性，则可以利用这矩形区域的面积来计算。
Figure GDA0001793068280000081
公式中S1表示预测矩形框区域的像素个数，S2表示人工标注区域的像素个数，S3表示交叠区域的像素个数。IoU是有效面积比(Interaction over union)。从上图可以看出，评估结果在0～1之间。当预测结果和标注结果完全一致时，IoU＝1；当预测结果和标注结果没有共同区域时，IoU＝0。
S6.4、误差率(Error)，计算标注坐标点和预测坐标点的平均差异。
Figure GDA0001793068280000082
Ti表示手工绘制的点归一化坐标，Pi表示预测坐标，评价结果“差异率”是坐标差的绝对值的平均，是一个数，越小说明了算法结果与人工标注越接近。
表2.1误差率与主观评价的结合
Figure GDA0001793068280000083
可基本满足提取需求的等级是2级左右。
实验结果为：
鞋样如图15，现场足迹如图16，嫌疑人足迹如图17，以上分别为鞋样、现场足迹及嫌疑人足迹的实验结果，左侧为输入的测试图像，圆点为人工标记关键点，叉点为本方法预测关键点，右侧图像为使用本方法预测的关键点进行原图剪裁的结果。
下面的表格表示了鞋样、现场足迹及嫌疑人足迹在左右脚判定、主方向、误差率及有效面积比值上的结果。
鞋样 现场足迹 嫌疑人足迹
左右脚判定LR 100％ 77.95％ 99.4％
主方向MD 2.8 17.90 3.12
误差率Error 0.66％ 3.1％ 1.07％
有效面积比值IoU 86.6％ 68.53％ 89.66％
在鞋样数据库上，本发明的结果在左右脚判定达到100％，方向判定达到2.8，误差率达到0.66％，有效面积比值达到86.6％；在现场足迹数据库上，本发明的结果在左右脚判定达到77.95％，方向判定达到17.90，误差率达到3.1％，有效面积比值达到68.53％；在嫌疑人足迹数据库上，本发明的结果在左右脚判定达到99.4％，方向判定达到3.12，误差率达到1.07％，有效面积比值达到89.66％。
以上所述，仅为本发明创造较佳的具体实施方式，但本发明创造的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明创造披露的技术范围内，根据本发明创造的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明创造的保护范围之内。

Claims (8)

1.一种基于深度学习的鞋样及足迹关键点检测方法，其特征在于，包括：
S1.获得鞋样/足迹数据库；
S2.设定网络模型；
S3.计算损失函数：提出基于鞋底/足迹轮廓的损失函数；
S4.训练网络模型：采用部分网络结构调整的迁移学习模式进行训练；
S5.将图像输入已训练好的网络模型中，输出的结果坐标标记在原图上；
步骤S2中设定网络模型，该网络模型为残差网络模块结合增强网络模块实现，残差网络模块在浅层网络中加入恒等映射层，网络模型的构建流程为：
S2-1确定网络输入的张量；
S2-2开始构建网络，建立补零层，将张量输出边界补充0，得到的张量定义为卷积1补零层；
S2-3将卷积1补零层进行64个卷积运算，卷积核7*7,得到的张量定义为卷积层1；
S2-4将卷积层1进行规范化，得到规范化卷积层1；
S2-5将规范化卷积层1进行规范化的后续层运算，得到后续卷积层1；
S2-6将后续卷积层1用激活函数激活，得到卷积1激活层；
S2-7将卷积1激活层进行最大值池化计算，得到池化层1；
S2-8将池化层1进行残差网络的卷积模块计算，输出张量大小是池化层1的1/4，命名为卷积模块a1；
S2-9将卷积模块a1进行残差网络的恒等残差模块计算，输出张量的大小与卷积模块a1相同，命名为卷积模块b2、卷积模块c2；
S2-10卷积模块c2进行卷积模块计算，命名为卷积模块a3；
S2-11进行7次恒等残差模块计算，输出为卷积模块b3-7；
S2-12进行一次卷积模块计算，输出张量大小为卷积模块b3-7的1/4，命名卷积模块a4；
S2-13进行35次恒等残差模块计算，提取深度特征信息，输出卷积模块b4-35；
S2-14进行一次卷积模块和两次恒等残差模块计算，输出卷积模块a5-c；
S2-15进行两次增强计算，输出特征与输入特征一致,输出增强模块a6-a；
S2-16进行平均池化和全连接输出，输出为关键点的归一化坐标。
2.根据权利要求1所述一种基于深度学习的鞋样及足迹关键点检测方法，其特征在于，本申请还包括：S6.评价结果指标的步骤，包括：左右脚判定、主方向判定、有效面积比值和误差率。
3.根据权利要求1所述一种基于深度学习的鞋样及足迹关键点检测方法，其特征在于：步骤S1中获得鞋样图片后，使用人工标定方式标注关键点，生成鞋样数据集；足迹数据集包括现场足迹数据和嫌疑人足迹样本数据。
4.根据权利要求1或3所述一种基于深度学习的鞋样及足迹关键点检测方法，其特征在于，步骤S1中最终形成的数据库格式为：
DataSet：{image：[图像1，图像2，图像3，…，图像n]
label：[人工标定点1,人工标定点2,…,人工标定点n]}
所述图像n:格式为大小等于224*224*3的uint8形式的矩阵；
人工标定点n:格式为[上点坐标x，上点坐标y，下点坐标x，下点坐标y，内点坐标x，内点坐标y，外点坐标x，外点坐标y]。
5.根据权利要求1所述一种基于深度学习的鞋样及足迹关键点检测方法，其特征在于，步骤S3计算损失函数由以下判定项组成：
A)预测点和标定点的位置差异判定：
Figure FDA0002632915700000021
其中
Figure FDA0002632915700000022
表示预测点的x坐标，
Figure FDA0002632915700000023
表示标注点的x坐标，
Figure FDA0002632915700000024
表示预测点的y坐标，
Figure FDA0002632915700000025
表示标注点的y坐标，i＝1表示上点，i＝2表示下点，i＝3表示内点，i＝4表示外点；该项描述了预测各点坐标和标定值的差异，并使用指数函数模型将值域约束在[0,+∞)；
B)预测上、下点距离和标定上、下点距离判定:
Figure FDA0002632915700000026
其中
Figure FDA0002632915700000027
是预测上点的坐标，
Figure FDA0002632915700000028
是预测下点的坐标；
Figure FDA0002632915700000029
是标定上点坐标，
Figure FDA00026329157000000210
是标定下点坐标；该项描述了预测点和标定点的距离差异，并使用指数函数模型将值域约束在[0,+∞)；
C)预测内、外点距离和标定内、外点距离判定:
Figure FDA00026329157000000211
其中其中
Figure FDA00026329157000000212
是预测内点的坐标，
Figure FDA00026329157000000213
是预测外点的坐标；
Figure FDA00026329157000000214
是标定内点坐标，
Figure FDA00026329157000000215
是标定外点坐标；该项描述了预测内、外点与标定点的位置差异，并使用指数函数模型将值域约束在[0,+∞)；
D)主方向预测判定项：
Figure FDA00026329157000000216
该项描述了预测的上下点形成的向量与标注的上下点形成的向量的余弦距离，该项值域[0,1]。
6.根据权利要求5所述一种基于深度学习的鞋样及足迹关键点检测方法，其特征在于，基于鞋底/足迹轮廓的损失函数计算方法为：
LossME(xpre,ypre,xlab,ylab)＝MEall+0.3*ME12+0.1*ME34+0.2*Mdir (5)
LossME取值范围[0,+∞)，预测结果和标定值越接近，LossME越趋近0。
7.根据权利要求1所述一种基于深度学习的鞋样及足迹关键点检测方法，其特征在于，步骤S4训练过程为：将图像输入尺寸进行归一化处理，图像输入后进行4方向子图生成，分批输入损失函数中，直到收敛，训练模型完成。
8.根据权利要求2所述一种基于深度学习的鞋样及足迹关键点检测方法，其特征在于，本申请中的关键点包括：上点、下点、内点、外点；S6.1、左右脚判断方法具体为：设A为上点、B为下点、C为内点；
鞋样图：左右脚的判定方法为，C点在A点的左边则为左脚，否则为右脚；数学判定方法：向量AB和向量AC的叉乘结果，大于0为左脚，小于0为右脚；
足迹图：左右脚的判定方法为，C点在A点的左边则为右脚，否则为左脚；数学判定方法：向量AB和向量AC的叉乘结果，大于0为右脚，小于0为左脚；计算评价指标时，统计所有测试图的左右判断正确率；
S6.2、主方向判定方法具体为：鞋样/足迹的主方向是由鞋跟到鞋尖的所指方向，通过比较预测裁剪图和标注裁剪图的角度差异，确定鞋子的偏离程度；
S6.3、有效面积比计算方法具体为：四个关键点所围成的矩形框生成裁剪图，评估裁剪图的位置准确性，则利用矩形区域的面积来计算：
Figure FDA0002632915700000031
公式中S1表示预测矩形框区域的像素个数，S2表示人工标注区域的像素个数，S3表示交叠区域的像素个数；IoU为有效面积比；当预测结果和标注结果有重叠时，IoU在0～1之间；当预测结果和标注结果完全一致时，IoU＝1；当预测结果和标注结果没有共同区域时，IoU＝0；
S6.4、误差率计算标注坐标点和预测坐标点的平均差异；
Figure FDA0002632915700000032
公式，Ti表示手工绘制的点归一化坐标，Pi表示预测坐标，评价结果“差异率”是坐标差的绝对值的平均，是一个数，越小说明测量结果与人工标注越接近。
CN201810870908.6A 2018-08-02 2018-08-02 一种基于深度学习的鞋样及足迹关键点检测方法 Active CN109101983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810870908.6A CN109101983B (zh) 2018-08-02 2018-08-02 一种基于深度学习的鞋样及足迹关键点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810870908.6A CN109101983B (zh) 2018-08-02 2018-08-02 一种基于深度学习的鞋样及足迹关键点检测方法

Publications (2)

Publication Number Publication Date
CN109101983A CN109101983A (zh) 2018-12-28
CN109101983B true CN109101983B (zh) 2020-10-30

Family

ID=64848554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810870908.6A Active CN109101983B (zh) 2018-08-02 2018-08-02 一种基于深度学习的鞋样及足迹关键点检测方法

Country Status (1)

Country Link
CN (1) CN109101983B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886257B (zh) * 2019-01-30 2022-10-18 四川长虹电器股份有限公司 一种ocr系统中采用深度学习矫正发票图片分割结果的方法
CN109978935A (zh) * 2019-03-28 2019-07-05 江南大学 一种基于深度学习和傅里叶域分析的图像深度估计算法
CN110795623B (zh) * 2019-10-10 2022-10-14 深圳供电局有限公司 一种图像增强训练方法及其系统、计算机可读存储介质
CN111080615B (zh) * 2019-12-12 2023-06-16 创新奇智(重庆)科技有限公司 基于卷积神经网络的pcb缺陷检测系统及检测方法
CN113642551A (zh) * 2020-04-27 2021-11-12 北京达佳互联信息技术有限公司 指甲关键点检测方法、装置、电子设备及存储介质
CN113252666A (zh) * 2021-04-30 2021-08-13 大连恒锐科技股份有限公司 能够同时采集多角度鞋面图像的足迹采集仪及其图像处理方法
CN113221795B (zh) * 2021-05-24 2024-05-14 大连恒锐科技股份有限公司 用于视频中鞋样特征提取、融合与比对的方法及其装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023027A (zh) * 2014-04-18 2015-11-04 大连恒锐科技股份有限公司 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN106355138A (zh) * 2016-08-18 2017-01-25 电子科技大学 基于深度学习和关键点特征提取的人脸识别方法
CN106845377A (zh) * 2017-01-10 2017-06-13 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN106845516A (zh) * 2016-12-07 2017-06-13 大连海事大学 一种基于多样本联合表示的足迹图像识别方法
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023027A (zh) * 2014-04-18 2015-11-04 大连恒锐科技股份有限公司 基于多次反馈机制的现场鞋底痕迹花纹图像检索方法
CN105718879A (zh) * 2016-01-19 2016-06-29 华南理工大学 基于深度卷积神经网络的自由场景第一视角手指关键点检测方法
CN106355138A (zh) * 2016-08-18 2017-01-25 电子科技大学 基于深度学习和关键点特征提取的人脸识别方法
CN106845516A (zh) * 2016-12-07 2017-06-13 大连海事大学 一种基于多样本联合表示的足迹图像识别方法
CN106845377A (zh) * 2017-01-10 2017-06-13 北京小米移动软件有限公司 人脸关键点定位方法及装置
CN108229318A (zh) * 2017-11-28 2018-06-29 北京市商汤科技开发有限公司 手势识别和手势识别网络的训练方法及装置、设备、介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Distinctive Image Features From scale invariant keypoints;Lowe D G;《International Journal of Computer Vision》;20041231;全文 *
一种基于深度残差网络的车型识别方法;刘敦强等;《计算机技术与发展》;20180531;第28卷(第5期);摘要，第2.1部分 *

Also Published As

Publication number Publication date
CN109101983A (zh) 2018-12-28

Similar Documents

Publication Publication Date Title
CN109101983B (zh) 一种基于深度学习的鞋样及足迹关键点检测方法
US10013803B2 (en) System and method of 3D modeling and virtual fitting of 3D objects
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
CN108197587B (zh) 一种通过人脸深度预测进行多模态人脸识别的方法
KR101917515B1 (ko) 물체 인식 장치, 물체 인식 방법 및 프로그램
US20060126941A1 (en) Face region estimating device, face region estimating method, and face region estimating program
CN108447061B (zh) 商品信息处理方法、装置、计算机设备和存储介质
CN109253722B (zh) 融合语义分割的单目测距系统、方法、设备及存储介质
CN106920245B (zh) 一种边界检测的方法及装置
CN108268838A (zh) 人脸表情识别方法及人脸表情识别系统
CN111932552B (zh) 一种主动脉建模的方法及装置
CN114081471B (zh) 一种基于三维图像与多层感知的脊柱侧弯cobb角测量方法
CN110264444A (zh) 基于弱分割的损伤检测方法及装置
CN109508661A (zh) 一种基于物体检测和姿态估计的举手者检测方法
CN110263662B (zh) 一种基于分级的人体轮廓关键点和关键部位识别方法
CN104732520A (zh) 一种胸部数字影像的心胸比测量算法及系统
CN109308462B (zh) 一种指静脉和指节纹感兴趣区域定位方法
CN110020627A (zh) 一种基于深度图与特征融合的行人检测方法
CN113378812A (zh) 一种基于Mask R-CNN和CRNN的数字表盘识别方法
Liu et al. Image reconstruction of electrical impedance tomography based on optical image-guided group sparsity
CN111784660B (zh) 一种用于人脸图像的正脸程度的分析方法和系统
JP6845929B2 (ja) 三次元計測装置、および方法
CN110008902B (zh) 一种融合基本特征和形变特征的手指静脉识别方法及系统
CN110334677A (zh) 一种基于人体骨骼关键点检测和非均等分区的行人重识别方法
KR20200066125A (ko) 영상의 유사도 예측 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant