CN111382629B - 基于卷积神经网络的足迹识别及信息挖掘方法及系统 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的足迹识别及信息挖掘方法及系统，该系统包括：采集模块，包括压力传感器和摄像头，采集待测人员的足迹图像及生物信息；预测模块，对采集到的足迹图像进行预处理及特征提取，得到身份信息或预测的生物信息；显示模块，显示预测模块得到的身份信息或预测的生物信息；传输模块，将预测模块得到的身份信息或预测的生物信息传输至其他设备端显示。本发明提供的基于卷积神经网络技术的足迹识别及信息挖掘方法及系统，通过具有方向和尺度信息的卷积层构成的卷积神经网络实现，有效的提高了足迹识别和信息挖掘的准确率。

Description

基于卷积神经网络的足迹识别及信息挖掘方法及系统

技术领域

本发明涉及生物识别与信息挖掘技术领域，具体涉及一种基于卷积神经网络的足迹识别及信息挖掘方法及系统。

背景技术

足迹识别及信息挖掘是生物特征识别技术的一种新型的识别技术，主要是利用图像采集模块采集赤足或者其他形式的足迹图像，从而对足迹图像进行身份识别及信息挖掘。

足迹是人自重和人体肌力通过脚作用于地面等物质客体上形成的痕迹。足迹按照是否有深度或高度信息可分为立体足迹与平面足迹。立体足迹包含丰富的生理特征和行为特征，是足迹检验鉴定方面的重要研究对象。赤脚足迹具有广泛性、唯一性、稳定性、可采集性的特点，为足迹的模式识别技术和足迹信息挖掘提供了依据和广阔的空间。但是当前的技术对足迹的分析还存在着识别率低，信息挖掘分析准确性不高的问题。

因此，如何提出一种足迹识别和信息挖掘的方法，提高足迹识别和信息挖掘的准确率成为足迹研究领域的重要课题。

发明内容

针对现有技术中的缺陷，本发明提供一种基于卷积神经网络的足迹识别及信息挖掘方法及系统。

一方面，本发明提出一种基于卷积神经网络的足迹识别及信息挖掘方法，包括：

建立并训练预测模型，包括足迹识别和信息挖掘模型；

进一步的，预测模型为具有方向和尺度信息的卷积层构成的卷积神经网络，其中，该卷积神经网络中具有方向和尺度信息的卷积层中的卷积模板是具有方向和尺度的函数，包括高斯函数或Gabor函数；

更进一步的，Gabor函数为：

其中，x代表横坐标，y代表纵坐标，λ代表Gabor函数的尺度信息，θ代表Gabor函数的方向信息，ψ代表相位，σ代表高斯包路线的标准差，γ代表空间长宽比，且x′＝x cosθ+ysinθ；y′＝-x sinθ+y cosθ。

采集待测对象的足迹图像及生物信息；

对足迹图像进行预处理，得到图像数据信息；

进一步的，预处理包括：

对足迹图像进行裁剪、压缩和归一化，其中，归一化为：

其中，x是输入数据，mean是均值，std是方差，x₁是输出数据。

预处理得到的图像数据信息输入预测模型进行特征提取，得到生物信息。

显示该生物信息；

进一步的，该步骤包括：

在本设备端直接显示生物信息；

或通过无线网络传输到其他设备端显示生物信息；

更进一步的，生物信息为通过足迹识别和信息挖掘得到的身份信息或根据足迹图像预测的生物信息。

另一方面，本发明提出了一种基于卷积神经网络的足迹识别及信息挖掘系统，包括：

采集模块，包括压力传感器和摄像头，采集待测对象的足迹图像及生物信息；

预测模块，利用足迹识别和信息挖掘模型对采集到的足迹图像进行预处理及特征提取，得到待测对象的身份信息或预测的生物信息；

进一步的，预测模块预置一预测模型，该预测模型为具有方向和尺度信息的卷积层构成的卷积神经网络，实现足迹识别和信息挖掘，其中，该具有方向和尺度信息的卷积层中的卷积模板是具有方向和尺度的函数，包括高斯函数或Gabor函数。

显示模块，显示预测模块得到的身份信息或预测的生物信息；以及

传输模块，将预测模块得到的身份信息或预测的生物信息传输至设备端显示。

从上述发明内容可以看出，本发明至少具有以下有益效果之一：

(1)系统的图像及信息获得模块不仅可以获得足迹图像，而且也可以获得身高、体重等可测量信息。从而可以一次性获得多标签的数据，应用更加广泛，比如健康指导及刑侦破案。

(2)系统的同一个模型预测模块可以对足迹图像进行提取特征，不仅可以得到其身份信息，而且可以预测出其他身高、体重、年龄、性别等信息，减少了多个模型对信息的预测，提高了信息预测的效率。

(3)系统的显示及传输模块分别提供了更加便利的显示功能，不仅可以通过设备获得预测数据，也可以将预测数据发送到移动端，为测试人员提供更方便的预览功能和远程服务功能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一实施例基于卷积神经网络的足迹识别及信息挖掘方法的流程示意图；

图2为本发明另一实施例基于具有方向和尺度信息的卷积层构成的卷积神经网络的示意图；

图3为本发明又一实施例基于卷积神经网络的足迹图像及信息挖掘系统的显示及传输数据结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明一实施例提供了一种基于卷积神经网络的足迹识别及信息挖掘方法，请参照图1，为本发明一实施例基于卷积神经网络的足迹识别及信息挖掘方法的流程图，由图所示，本发明提供的基于卷积神经网络的足迹识别及信息挖掘方法，包括：

首先，建立并训练预测模型，该预测模型包括足迹识别和信息挖掘模型；

一些实施例中，该预测模型为具有方向和尺度信息的卷积层构成的卷积神经网络。

然后，采集待测对象的足迹图像及生物信息；

本实施例中，足迹图像及其他生物信息(包括身高、体重、年龄、性别等信息)主要通过压力传感器及摄像头等工具获得。

之后，对采集到的足迹图像进行预处理，得到图像数据信息；

本实施例中，预处理主要对足迹图像进行处理，预处理的方式主要包括裁剪、图像压缩和归一化，其中归一化的公式如下：

其中，x是输入，mean是均值，std是方差，x₁是输出。

接着，预处理得到的图像数据信息输入预测模型进行特征提取，得到生物信息；

本实施例中，特征提取主要是对预处理后的图像数据信息进行提取特征，卷积神经网络是一种端到端的学习方式，经过卷积神经网络就可以得到其身份信息和预测的生物信息，比如身份ID、年龄、体重、性别和身高等。最后，显示该生物信息；

一些实施例中，生物信息为通过足迹识别和信息挖掘得到的身份信息或根据足迹图像预测的生物信息；

本实施例中，经过卷积神经网络得到的身份信息及预测的诸如身份ID、年龄、体重、性别和身高等生物信息最终显示在设备端或通过网络显示到其他的移动设备端。

基于上述实施例，明显可知，本发明通过预测模型完成主要的信息挖掘，一些实施例中，预测模型为具有方向和尺度信息的卷积层构成的卷积神经网络，进一步的，该卷积神经网络中具有方向和尺度信息的卷积层中的卷积模板是具有方向和尺度的函数，优选的，包括高斯函数或Gabor函数。

本实施例中，以Gabor函数为例，在此对预测模型的建立和训练过程作出进一步的详细说明，详细的网络结构请参照图2，为本发明一实施例基于具有方向和尺度信息的卷积层构成的卷积神经网络结构的流程示意图。

如图2所示，在上述实施例的基础上，进一步地，建立预测模型的步骤包括：

预测模型所使用的是现有的卷积神经网络结构，但是在卷积层的操作中，本发明使用具有方向和尺度信息的卷积层。

具有方向和尺度的卷积层中的卷积模板可以是高斯函数，Gabor函数等其他具有方向和尺度信息的函数产生的卷积模板，本实施例以Gabor函数为例进行说明。

以Gabor函数产生的卷积模板，对输入图像进行滤波处理，在这里即是卷积操作。在整个卷积网络结构中，把普通卷积层都更换成Gabor卷积层。

Gabor卷积模板具有特定的方向和尺度，针对图像中的方向和尺度信息提取特征更具有针对性，能提取到图像的方向和尺度信息。

Gabor函数是复值函数(包括实部和虚部)，其形式如下：

其中，Gabor函数的实部如下：

Gabor函数的虚部如下：

在本实施例中，主要用Gabor函数的实部完成卷积层计算，其中：

x′＝x cosθ+y sinθ；y′＝-x sinθ+y cosθ

在这里，x代表横坐标，y代表纵坐标，λ代表Gabor函数的尺度信息，ψ代表相位，σ代表高斯包路线的标准差，γ代表空间长宽比，其中，θ代表着Gabor函数的方向信息，λ代表着Gabor函数的尺度信息，Gabor函数产生的卷积模板就具有方向和尺度信息。

进一步的，对由Gabor函数构成的预测模型的训练过程包括：

将训练数据经过预处理送入卷积网络中，卷积网络结构分为前向传播和反向传播，前向传播主要进行卷积及非线性等操作，最后输出预测目标，预测目标与标签进行计算一个损失函数，根据损失函数及梯度下降，更新前一层的参数W(权重矩阵)和b(误差矩阵)及Gabor函数的参数。一直迭代上述过程，直到损失函数的值下降到0或者极小值，更新完成，模型训练完成。

本实施例中，在Gabor卷积中，Gabor函数的参数θ和参数λ可以进行学习更新，更新方式如下：

其中，L是损失函数，α是学习率。

采用具有方向和尺度的卷积神经网络，不仅可以更好的利用图像本身的方向和尺度信息，而且也可以减少卷积层的参数量，比如一个5*5、10*10、100*100的卷积模板，普通卷积层的参数分别是25、100、10000个，而采用Gabor函数产生5*5、10*10、100*100的卷积模板，参数只有5个，这将大大减少了卷积层的参数量。

另外，本发明用同一个网络结构进行多个任务的预测，在这里多个任务包括身份的识别和身高、年龄、体重、性别等信息的预测。

预测模型在基于上述具有方向和尺度的卷积网络结构完成预测模型的训练。

本发明另一实施例提供了一种基于卷积神经网络的足迹识别及信息挖掘系统，请参照图3，为本发明另一实施例的基于卷积神经网络的足迹识别及信息挖掘系统的显示及传输数据的总体结构示意图，如图3所示，在上述各实施例的基础上，进一步地，系统显示及传输数据包括：

采集模块，包括压力传感器和摄像头，采集待测对象的足迹图像及生物信息；

本实施例中，该系统通过压力传感器和摄像头，采集待测人员的足迹图像及生物信息。

预测模块，利用足迹识别和信息挖掘模型对采集到的足迹图像进行预处理及特征提取，得到待测对象的身份信息或预测的生物信息；

进一步的，预测模块预置上述预测模型，详细描述已在上述实施例中体现，在此不做赘述；

本实施例中，系统内预置的预测模型通过足迹识别和信息挖掘对采集到的足迹图像进行预处理及特征提取得到待测人员的身份信息或预测的生物信息进而显示。

显示模块，显示预测模块得到的身份信息或预测的生物信息；

本实施例中，在系统的显示模块中，本发明可以实现两个主要功能：第一个功能是足迹的识别，判断是否是注册过的人员；第二个功能是通过足迹图像对待测人员进行其他生物信息的预测，比如身高、体重、年龄和性别等。

在系统显示模块中，具有上述描述的功能模块显示功能。

以及传输模块，将预测模块得到的身份信息或预测的生物信息传输至设备端显示；

本实施例中，本系统还具有数据传输功能，在上述描述的功能模块得到的数据可以发送到移动端APP上显示。

本发明提供的基于卷积神经网络的足迹识别及信息挖掘方法及系统。通过采集模块获得待测对象的足迹图像及其他生物信息，根据建立好的足迹识别及信息挖掘模型对待测足迹图像进行预测，从而识别出待测对象的身份及预测其他身高、体重、年龄、性别等信息。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (7)

1.一种基于卷积神经网络的足迹识别及信息挖掘方法，其特征在于，包括：

建立并训练预测模型，包括足迹识别模型和信息挖掘模型；

采集待测对象的足迹图像及生物信息；

对所述足迹图像进行预处理，得到图像数据信息；

所述预处理得到的图像数据信息输入所述预测模型进行特征提取，得到预测生物信息；

显示所述预测生物信息；

其中，所述预测生物信息为根据所述足迹图像预测的生物信息，所述预测生物信息包括身高、体重、年龄、性别和身份信息；

其中，所述预测模型为具有方向和尺度信息的卷积层构成的卷积神经网络，所述卷积神经网络中具有方向和尺度信息的卷积层中的卷积模板是具有方向和尺度的函数，包括Gabor函数，所述Gabor函数为：

其中，x代表横坐标，y代表纵坐标，λ代表Gabor函数的尺度信息，θ代表Gabor函数的方向信息，ψ代表相位，σ代表高斯包路线的标准差，γ代表空间长宽比，且x′＝x cosθ+y sinθ；y′＝-x sinθ+y cosθ，在Gabor卷积中，Gabor函数的参数θ和参数λ通过如下方式进行学习更新：

其中，L是损失函数，α是学习率。

2.根据权利要求1所述的基于卷积神经网络的足迹识别及信息挖掘方法，其特征在于，所述卷积神经网络中具有方向和尺度的函数还包括高斯函数。

3.根据权利要求1所述的基于卷积神经网络的足迹识别及信息挖掘方法，其特征在于，所述预处理包括：

对足迹图像进行裁剪、压缩和归一化，所述归一化为：

其中，x是输入数据，mean是均值，std是方差，x₁是输出数据。

4.根据权利要求1所述的基于卷积神经网络的足迹识别及信息挖掘方法，其特征在于，显示所述预测生物信息包括：

在本设备端直接显示所述预测生物信息；

或通过无线网络传输到其他设备端显示所述预测生物信息。

5.一种基于卷积神经网络的足迹识别及信息挖掘系统，其特征在于，包括：

采集模块，包括压力传感器和摄像头，采集待测对象的足迹图像及生物信息；

预测模块，利用足迹识别模型和信息挖掘模型对采集到的足迹图像进行预处理及特征提取，得到待测对象的预测生物信息；

显示模块，显示所述预测模块得到的身份信息或预测的生物信息；以及

传输模块，将所述预测模块得到的身份信息或预测的生物信息传输至设备端显示；

其中，所述预测生物信息为根据所述足迹图像预测的生物信息，所述预测生物信息包括身高、体重、年龄、性别和身份信息；

其中，所述预测模型为具有方向和尺度信息的卷积层构成的卷积神经网络，所述卷积神经网络中具有方向和尺度信息的卷积层中的卷积模板是具有方向和尺度的函数，包括Gabor函数，所述Gabor函数为：

其中，x代表横坐标，y代表纵坐标，λ代表Gabor函数的尺度信息，θ代表Gabor函数的方向信息，ψ代表相位，σ代表高斯包路线的标准差，γ代表空间长宽比，且x′＝x cosθ+y sinθ；y′＝-x sinθ+y cosθ，在Gabor卷积中，Gabor函数的参数θ和参数λ通过如下方式进行学习更新：

其中，L是损失函数，α是学习率。

6.根据权利要求5所述的基于卷积神经网络的足迹识别及信息挖掘系统，其特征在于，所述预测模块预置一预测模型，实现足迹识别和信息挖掘。

7.根据权利要求5所述的基于卷积神经网络的足迹识别及信息挖掘系统，其特征在于，所述卷积神经网络中具有方向和尺度的函数还包括高斯函数。

Images