CN111340098B - 基于鞋印图像的STA-Net年龄预测方法 - Google Patents

Abstract

本发明图像处理、深度学习以及刑侦技术领域，公开了基于鞋印图像的STA‑Net年龄预测方法，先将待测鞋印图像经评分模型进行数据评估，评估高于预设值代表待测鞋印图像质量合格；随后将质量合格的待测鞋印图像进行预处理操作，所述预处理操作包括去噪、中心化、伪彩化；预处理后的待测鞋印图像输入经STA‑Net网络训练得到预测模型进行年龄预测，得到最终的预测年龄。图像评分模型、图像预处理模型能够对待测鞋印图像进行筛选与去躁处理，将不同来源的数据转化为满足网络输入的数据；STA‑Net回归网络能够根据鞋印图像预测出年龄信息，相比于传统的预测方法，提高了预测的效率以及准确率。

Description

基于鞋印图像的STA-Net年龄预测方法

技术领域

本发明涉及图像处理、深度学习以及刑侦技术领域，尤其涉及一种基于鞋印图像的STA-Net年龄预测方法。

背景技术

鞋印图像受足部骨骼，后天生活习惯等影响具有唯一性和独特性，并且相对于指纹痕迹等其他痕迹来说更加不容易伪装。除了纯粹的科研意义，在商业和执法中也有着诸多应用，如监管、安全、刑侦领域等，传统基于鞋印图像的年龄预测都是依靠专家经验或者相关线性拟合算法，例如现有技术中申请号为CN201510054720.0的一种基于穿鞋足迹图像的人身特征分析的方法及装置，这些方法不仅耗时久而且准确率低。

随着深度学习的兴起，作为其技术核心的神经网络具有很强的学习能力，不仅可以降低数据分析和处理的成本，而且可以提高效率，增加由鞋印图像直接预测年龄的准确度。

发明内容

本发明针对现有技术的不足，提供一种将深度学习与基于鞋印图像的年龄预测相结合，形成了一套完整的年龄预测框架，不仅耗时短，而且大幅度提高了预测准确率。

本发明通过以下技术手段实现解决上述技术问题的：一种基于鞋印图像的STA-Net年龄预测方法，待测鞋印图像经年龄预测框架得到对应的预测年龄，具体包括以下步骤：

S1、评分模型：待测鞋印图像经评分模型进行数据评估，与评分模型预先设置的预设值进行比较，评估高于预设值代表待测鞋印图像质量合格，可以进行年龄预测，评估低于预设值代表待测鞋印图像质量不合格，给用户不可进行预测的反馈；

S2、图像预处理模型：将质量合格的待测鞋印图像进行预处理操作，所述预处理操作包括去噪、中心化、伪彩化；

S3、预测模型：将预处理后的待测鞋印图像输入经STA-Net网络训练得到预测模型进行年龄预测，得到最终的预测年龄。

本发明的优点在于：

1.图像预处理模型能够一定程度上去除鞋印图像的噪声，强化鞋印区域信息不明显的区域，并且能将不同来源的数据转化为满足网络输入的数据。

2.图像评分模型能够综合鞋印图像缺损，像素值大小，噪声等问题为图像评分，判断鞋印图像能否进行年龄预测。

3.STA-Net回归网络能够根据鞋印图像预测出年龄信息，相比于传统的预测方法，提高了预测的效率以及准确率。

附图说明

图1为本发明年龄预测框架搭建过程的流程图。

图2为不合格鞋印图像的示例图之一。

图3为不合格鞋印图像的示例图之一。

图4为本发明预处理操作的效果图。

图5为本发明STA-Net网络结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明年龄预测框架搭建过程的流程图，本发明所采用的数据集包含100000余张鞋印数据，共包含50000人，每个人至少两张，包含不同种类的鞋底花纹，每张图像都带有年龄标签。具体包括以下步骤：

1.获取鞋印图像总数据并按照99:1的比例化分为训练验证集数据与测试集数据两部分，两部分没有相同人员的数据，且每张鞋印图像均对应附带年龄标签。

2.首先将步骤1划分出的训练验证集数据进行数据筛选，删除噪声过大以及鞋印残缺严重的数据如图2-3所示，其次剔除年龄标签不合理的数据，使年龄范围分布在10-80岁之间，让年龄成正态分布，最终筛选出60000余张鞋印数据。

3.将第2步筛选出的训练验证集数据按照8：2的比例划分为训练集以及验证集，对两个数据集进行相同的预处理。

预处理步骤为：首先对图像重置大小为256*128(像素点)，之后进行二值化、otsu去噪，去噪算法的核心思想是利用寻找阈值的方式将噪声背景与前景信息分离并去除。

其次是图像的中心化，由于鞋印图像在图中位置分布不均匀，该问题会导致网络提取无用的特征，所以设计了中心化算法消除该问题，具体思想是使用等效矩形代替鞋印区域，将等效矩形的中点平移到图像中心来实现中心化的效果。

最后是伪彩化，由于数据在采集的过程中由于压力的不同会出现深浅不一的压力信息，原始黑白数据压力数据不明显，所以本发明将单通道黑白数据按照比例关系转化为伪彩图，对压力特征进行了增强。最终经过预处理的数据如图4所示(a、b、c、d依次为原图、去噪图、中心画图、伪彩图)。

4.将经过预处理的训练集数据输入STA-Net中进行模型训练得到一个初步模型。

5.将经过预处理的验证集数据输入初步模型中进行年龄预测，得到预测结果，将验证集预测结果与验证集年龄标签进行对比，根据误差大小进一步调整网络参数，得到优化模型。

6.针对步骤2中筛选出的合格数据，逐张计算鞋印图像在像素平均值、信息比例、有效信息比例、平均像素亮度、有效平均像素亮度五方面的得分，将每类得分按照权重形式叠加，得到总得分，统计总得分的最小值，对最小值进行适当放缩，得到评分模型的预设值。

评分模块的具体原理为：针对不同的鞋印图像，通过计算鞋印图像像素平均值、信息比例、有效信息比例、平均像素亮度、有效平均像素亮度五方面的得分情况，并将每类得分按照权重形式叠加，通过总得分与预设值进行评分比较，达到筛选有效鞋印图像的目的。

其中，像素平均值：首先，对不同的鞋印图像调整至统一尺寸，然后统计该鞋印的像素总和S，再用像素总和S除以图像总的像素点数，就提到了像素平均值。通过观察发现，完整图像的像素总和一般比残缺不完整的图像的像素总和要大很多，进而像素平均值也比不完整残缺的图像要大很多。所以像素平均值可以作为图像分类得分的一个重要数值指标。

信息比例：将不同的鞋印图像调整至统一尺寸后，再统计该鞋印图像当中有像素点的个数，这里的有像素点指的是像素值大于0的点的个数。统计完有像素点的个数P后，再将P除以图像的所有像素点数(包含0像素值点与不为0像素值点的所有像素点数)。因为不完整的图像，必然存在部分的残缺，比如只有前脚掌鞋印而没有后脚掌鞋印，缺失了部分信息，这样的图像的信息比例相比于完整图像的信息比例来说更加偏低，所以信息比例可做为图像分类得分的一个重要数值指标。

有效信息比例：将不同的鞋印图像调整至统一尺寸后，再统计该鞋印图像当中有效像素点的个数，这里的有像素点指的是像素值大于50的点的个数。统计完有效像素点的个数M后，再将M除以图像的所有像素点数(包含0像素值点与不为0像素值的所有像素点数)，就得到了有效信息比例。这里的阈值设为50是根据观察得出，之所以计算有效信息比例，是因为部分的鞋印图像包含了好多噪声，且这些噪声不属于鞋印的一部分，这样的图像在计算信息比例时也会得出很高的值，针对此类图像，设置一个阈值，将像素值大于50的点才作为有效的像素点，这样即使如鞋印图像不完整，但是噪声很多，所求出的有效信息比例依然很低。有效信息比例不仅能够弥补信息比例的不足，而且也能使得图像分类变得更加精确。

平均像素亮度：将不同的鞋印图像调整至统一尺寸后，再计算鞋印图像的像素总和S，再用像素总和S除以图像的非零像素点的总个数，就得到了平均像素亮度。通过观察发现，完整的鞋印图像的亮度一般更高，纹路也更加清晰。平均像素亮度能够挑选出完整的亮度更高的鞋印图像。

有效像素亮度：将不同的鞋印图像调整至统一尺寸后，设置像素值大于或等于50的点为有效像素点，计算有效像素点的像素个数以及有效像素点的像素总和，再将有像素点的总和除以有效像素点个数就得到了有效像素亮度。有些鞋印图像的鞋印部分比较清晰，亮度也比较高，但是周围可能存在部分噪声，这样在计算平均像素亮度的时候，会导致值变得更低，而不能正确的将这样的图分为完整图像。有效像素亮度则避免了这个问题，因为有效像素亮度不计算像素值小于50的像素点，这样可减少噪声对完整图像分类的影响。

7.将测试集数据输入评分模块，此时，评分模块可以判断当前图像是否存在噪声过大，残缺严重等问题，不接收问题数据，并给用户进行反馈。若当前测试图像评分高于预设值则可以进行预测，反之则不可，由评分模块筛选出的合格数据输入步骤5中的优化模型里得到最终预测的年龄，并与测试集年龄标签上的真实值对比，实现测试目的。

如图5所示，上述STA-Net网络由3个部分组成：

特征提取部分：包含四个不同深度的空洞卷积模块，卷积模块的步长为1，卷积核大小为3，空洞卷积系数为2,使用lReLU作为激活函数，则每个步长下卷积的结果如公式(1)、(2)所示(其中l、m、u为滤波器尺寸，j、k为分别为输入图像长，宽尺寸，W为共享权重，bias为偏置)；

其中:j∈[0,H_in),k∈[0,W_in),u∈[0,C_in) (1)

O为Leaky-ReLU激活函数：

每层的输出尺寸如公式(3)所示(其中H_n、W_n分别为输入第n层的特征图长度与宽度，C_n为该卷积层的深度，Y_n为第n层卷积层的输出，p为填充的像素数，k是卷积核大小，d为空洞卷积系数，s为步长)；

使用空洞卷积层替代了传统的卷积模块，能够扩大感受野，准确定位特征信息。

注意力机制部分：通过公式(4)对卷积部分提取的特征图进行掩膜叠加得到一个有效特征更加明显的特征图：

Y_o＝Y+sigmoid(Y)*Y

其中sigmoid(Y)为：

在空洞卷积之后使用了特征掩膜强化了网络对有效特征的关注度。

全连接回归部分：首先是一个含有4096个节点的全连接层，其次将其输出的包含4096个特征向量平均切成8片，每片单独进行年龄回归，最后将预测的8个年龄进行权重叠加计算出最终年龄，如公式(5)所示：

Age＝w₁*age₁+w₂*age₂+w₃*age₃+.....+w₇*age₇+w₈*age₈ (5)

修改了传统回归网络全连接层单层回归的方式，将全连接层拆分成多模块回归多个年龄，最终将多年龄以权重相加的形式得出预测年龄。

一种基于鞋印图像的STA-Net年龄预测方法，将待测鞋印图像经年龄预测框架得到对应的预测年龄，具体包括以下步骤：

S1、评分模型：待测鞋印图像经评分模型进行数据评估，与评分模型预先设置的预设值进行比较，评估高于预设值代表待测鞋印图像质量合格，可以进行年龄预测，评估低于预设值代表待测鞋印图像质量不合格，给用户不可进行预测的反馈；

S2、图像预处理模型：将质量合格的待测鞋印图像进行预处理操作，所述预处理操作包括去噪、中心化、伪彩化；

本发明在图像处理方面，首先提出一种鞋印图像评价方法，准确的评价出鞋印图像的残缺，噪声等问题，其次针对鞋印图像提出一整套预处理方法，使不同来源的数据能够满足网络的输入要求。

S3、预测模型：将预处理后的待测鞋印图像输入优化预测模型进行年龄预测，得到最终的预测年龄。

本发明在网络结构方面，使用空洞卷积层替代了传统的卷积模块，能够扩大感受野，准确定位特征信息。在空洞卷积之后使用了特征掩膜强化了网络对有效特征的关注度。最后还修改了传统回归网络全连接层单层回归的方式，将全连接层拆分成多模块回归多个年龄，最终将多年龄以权重相加的形式得出预测年龄。

需要说明的是，在本文中，如若存在第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (4)

1.一种基于鞋印图像的STA-Net年龄预测方法，其特征在于，待测鞋印图像经年龄预测框架得到对应的预测年龄，具体包括以下步骤：

S1、评分模型：待测鞋印图像经评分模型进行数据评估，与评分模型预先设置的预设值进行比较，评估高于预设值代表待测鞋印图像质量合格，可以进行年龄预测，评估低于预设值代表待测鞋印图像质量不合格，给用户不可进行预测的反馈；

S2、图像预处理模型：将质量合格的待测鞋印图像进行预处理操作，所述预处理操作包括去噪、中心化、伪彩化；

S3、预测模型：将预处理后的待测鞋印图像输入经STA-Net网络训练得到预测模型进行年龄预测，得到最终的预测年龄；

步骤S3中STA-Net网络由3个部分组成：

1)特征提取部分，包含四个不同深度的空洞卷积模块，卷积模块的步长为1，卷积核大小为3，空洞卷积系数为2，使用lReLU作为激活函数，则每个步长下卷积的结果如公式(1)、(2)所示，其中l、m、u为滤波器尺寸，j、k为分别为输入图像长、宽尺寸，W为共享权重，bias为偏置；

其中:j∈[0,H_in),k∈[0,W_in),u∈[0,C_in)(1)

O为Leaky-ReLU激活函数：

每层的输出尺寸如公式(3)所示，其中H_n、W_n分别为输入第n层的特征图长度与宽度，C_n为该卷积层的深度，Y_n为第n层卷积层的输出，p为填充的像素数，k是卷积核大小，d为空洞卷积系数，s为步长；

2)注意力机制部分，通过公式(4)对卷积部分提取的特征图进行掩膜叠加得到一个有效特征更加明显的特征图：

Y_o＝Y+sigmoid(Y)*Y

其中sigmoid(Y)为：

3)全连接回归部分，首先是一个含有4096个节点的全连接层，其次将其输出的包含4096个特征向量平均切成8片，每片单独进行年龄回归，最后将预测的8个年龄进行权重叠加计算出最终年龄，如公式(5)所示：

Age＝w₁*age₁+w₂*age₂+w₃*age₃+.....+w₇*age₇+w₈*age₈ (5) 。

2.如权利要求1所述的基于鞋印图像的STA-Net年龄预测方法，其特征在于，步骤S1中评分模型的具体内容如下：

1)五种数值的计算：

a.像素平均值：将待测鞋印图像调整至统一尺寸，统计该待测鞋印图像的像素总和S，用S除以该待测鞋印图像的像素点数，得到像素平均值；

b.信息比例：将待测鞋印图像调整至统一尺寸，再统计该待测鞋印图像中像素值大于0的像素点个数P，将P除以该待测鞋印图像的所有像素点数，得到信息比例值；

c.有效值比例：将待测鞋印图像调整至统一尺寸，再统计该待测鞋印图像中像素值大于50的像素点个数M，将M除以该待测鞋印图像的所有像素点数，得到有效值比例值；

d.平均像素亮度：将待测鞋印图像调整至统一尺寸，再计算鞋印图像的像素总和S，用像素总和S除以图像的非零像素点的总个数，就得到了平均像素亮度；

e.有效像素亮度：将待测鞋印图像调整至统一尺寸，设置像素值大于或等于50的点为有效像素点，计算有效像素点的像素个数以及有效像素点的像素总和，再将有像素点的总和除以有效像素点个数就得到了有效像素亮度；

2)图像判断：将上述五类得分数据按照权重形式叠加，得到总得分，与预先设置的预设值进行比较，待测鞋印图像评分高于预设值则可以进行年龄预测，反之则给用户不可进行预测的反馈。

3.如权利要求2所述的基于鞋印图像的STA-Net年龄预测方法，其特征在于，步骤S2中的预处理操作具体包括：首先将待测鞋印图像重置大小为256*128像素点的图片，之后进行二值化处理并通过otsu去噪，其次使用等效矩形代替待测鞋印图像中的鞋印区域，将等效矩形的中点平移到所述图片中心来实现待测鞋印图像的中心化的效果，最后将单通道黑白数据按照比例关系转化为伪彩图。

4.如权利要求1-3任意一项所述的基于鞋印图像的STA-Net年龄预测方法，其特征在于，所述年龄预测框架的搭建方法，包括以下步骤：

1)分类过程：首先对不同年龄的鞋印图像按照不同的比例划分为训练集、验证集以及测试集，每张鞋印图像均对应附带年龄标签；

2)数据筛选过程：将步骤1划分出的训练集以及验证集数据进行数据筛选，删除噪声过大以及鞋印残缺严重的数据，其次剔除年龄标签不合理的数据，使年龄范围分布在10-80岁之间，让年龄成正态分布；

3)训练过程：对训练集数据进行所述预处理操作，其次根据数据的特点调整网络的相关参数；最后将经过预处理的数据输入STA-Net中进行模型训练，得到一个初步的预测模型；

4)验证过程：对验证集数据进行所述预处理操作，其次将经过预处理的数据输入所述预测模型得到年龄的预测值，最后通过对比年龄标签上的真实值与预测值之间的误差进一步调整网络参数，得到优化预测模型；

5)评分预设过程：对经步骤2筛选过的训练集数据、验证集数据中的鞋印图像分别进行像素平均值、信息比例、有效信息比例、平均像素亮度、有效平均像素亮度的计算，并将总得分的最小值，设定为评分模型的预设值；

6)测试过程：将测试集数据逐张经评分模型评估，高于预设值代表鞋印图像质量合格，可以进行年龄预测，低于预设值不可进行预测，对质量达标的鞋印图像进行所述预处理操作，将预处理完的鞋印图像输入所述优化预测模型中得到最终的预测年龄，与测试集年龄标签上的真实值对比。