CN109567313B - 一种具有生物特征识别功能的智能鞋垫 - Google Patents

Abstract

一种具有生物特征识别功能的智能鞋垫，包括：信号传输模块，包括产品端信号传输处理模块、上位机端信号传输处理模块；信号预处理模块，对信号进行二维重建与去噪；信号分析模块，包括运动状态监控模块、身体客观状态监控模块；信号交互模块，包括压力信息可视化模块。该鞋垫在满足正常鞋垫具有的功能以外，还具有采集足底压力和信息的功能，与用户的客户端相连，使用户在行走的过程中可以得知自己的生物特征。

Description

一种具有生物特征识别功能的智能鞋垫

技术领域

本发明涉及一种智能鞋垫，具体说是一种具有生物特征识别功能的智能鞋垫。

背景技术

随着电子技术的不断发展及人们生活质量的提高，人们开始对我们的日常穿戴提出了更高的要求，智能穿戴发展迅速，智能鞋垫就是其中的一种。

目前智能鞋垫的功能基本局限于人体指标(如：温度、湿度、重量、脉搏等)的测量、加热除湿服务和简单告警，典型的产品如智能电加热鞋垫等。但是这些产品大多功能单一、无法满足人们对智能产品的要求。可见，如何通过技术对其进行改进，以发挥智能鞋垫的最大功能，进而更好地为人们的生活工作服务便显得刻不容缓。

发明内容

本申请提供了一种具有生物特征识别功能的智能鞋垫，该鞋垫在满足正常鞋垫具有的功能以外，还具有采集足底压力和信息的功能，与用户的客户端相连，使用户在行走的过程中可以得知自己的生物特征。

本申请的技术方案是：一种具有生物特征识别功能的智能鞋垫，包括：

信号传输模块，包括产品端信号传输处理模块、上位机端信号传输处理模块；

信号预处理模块，对信号进行二维重建与去噪；

信号分析模块，包括运动状态监控模块、身体客观状态监控模块；

信号交互模块，包括压力信息可视化模块。

进一步的，产品端信号传输处理模块，控制芯片在激活后：

A、对存储芯片中的RAM区域分为3个区域，分别是：存储当前足迹信号xc的RAM区，存储上一次采集的足迹信号xl的RAM区，差分信号RAM区；

B、当进行足迹信号采集后，更新每个区域的信号内容，计算xl与xc的差，将差值按照列方向降维成1维数据后，如果整体差值小于设定阈值，则不进行通信中断，或不对通信模块供电，否则通信中断，保存至动态分配的区域，等待发送；

C、控制芯片采用中断方式做信号传输，没有中断信号则不进行信号发送。

进一步的，上位机端信号传输处理模块，具体是：

A.对接收数据的存储内存置空，只保留两个存储区，一个是实时足迹信号区，一个是平均足迹信号区；

B.当接收到信号后，通过信号叠加的方式对实时足迹信号做恢复，并更新平均足迹信号区；基于实时足迹信号的成趟足迹构建。

进一步的，上述智能鞋垫还包括：稳压模块，来做电压控制，具体方式是：

a)将可充电的电池或者具有充电功能的电子器件，每个鞋垫中放置n个；

b)利用逻辑电路构建一个开关，当某个电池电量充足时，将断开现在的充电电路转到另一条充电电路；

c)先利用压力将机械能转换为电能供稳压源充电，等待稳压源充电足够进行以后，对所有模块所初始化。

进一步的，运动状态监控模块，具体包括：

当前运动状态评估模块，基于步速判断当前运动属于哪种运动状态；

运动状态统计模块，统计每种运动状态的时间以及切换频率；

运动方式反馈模块，对运动方式是否正确进行反馈；

运动计划安排模块，对运动方式给出合理性建议。

更进一步的，身体客观状态监控模块，具体包括：基于CNN的赤足或穿袜足迹的身高判定系统、基于CNN的赤足或穿袜足迹的体重判定系统，基于CNN的赤足或穿袜足迹的性别判定系统。

作为更进一步的，基于CNN的赤足或穿袜足迹的身高判定系统，具体包括：

S1：将赤足或穿袜足迹图像进行预处理；

S2：对预处理后图像的进行身高段分类，所述身高段分类具体包括：

S21：将身高数据离散化；

S22：制作数据集；

S23：构建身高分类网络；

S24：基于区间概率进行身高判断；设身高区间为M＝{m₁,m₂,...,m_N}，隶属于各个区间的概率为P＝{p₁,p₂,...,p_N}，则最后预测的身高区间为

分别表示区间m_i的上边界和下边界；

作为更进一步的，基于CNN的赤足或穿袜足迹的体重判定系统，包括：

S1：获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理；

S2：制作赤足图像数据集；

S3：数据训练与特征提取：

S4：根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的体重。

作为更进一步的，基于CNN的赤足或穿袜足迹的性别判定系统，包括：

S1：获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理；

S2：制作赤足图像数据集；

S3：数据训练与特征提取：

S4：根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的性别。

作为更进一步的，压力信息可视化模块，具体是：

S1：将足底压力信号灰度值化，构建足底压力数据灰度图像；

S2：将足底压力数据灰度图像进行超像素重构；

S3：将重构后的高像素灰度图伪彩色化，分别获得足底接触伪彩图和足底压力云图。

本发明的有益效果是：本发明设计的鞋垫可以在满足正常鞋垫有的功能以外，具有采集足底压力和信息的功能，与用户的客户端相连，使用户在行走的过程中可以得知自己的生物特征，如：身高、体重、体态生活状态及运动状态等，使用户可以随时掌握自己的身体情况，既方便又实用。

附图说明

本发明共有附图6幅：

图1为足底压力可视化流程图；

图2为实施例中超像素重构CNN网络结构图；

图3为足底接触伪彩编码函数；

图4为足底接触伪彩图；

图5为足底压力云图编码函数；

图6为足底压力云图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

实施例1

本实施例提供一种具有生物特征识别功能的智能鞋垫，包括：

信号传输模块，包括产品端信号传输处理模块、上位机端信号传输处理模块；

产品端信号传输处理模块，控制芯片在激活后：

A、对存储芯片中的RAM区域分为3个区域，分别是：存储当前足迹信号xc的RAM区，存储上一次采集的足迹信号xl的RAM区，差分信号RAM区；

B、当进行足迹信号采集后，更新每个区域的信号内容，计算xl与xc的差，将差值按照列方向降维成1维数据后，如果整体差值小于设定阈值，则不进行通信中断，或不对通信模块供电，否则通信中断，保存至动态分配的区域，等待发送；(这里实际上保证的是能不发送尽量不发送，发送出去的都是有效的信号，包含的信息量是最大的)；

C、控制芯片采用中断方式做信号传输，没有中断信号则不进行信号发送。

上位机端信号传输处理模块，具体是：

A.对接收数据的存储内存置空，只保留两个存储区，一个是实时足迹信号区，一个是平均足迹信号区；

B.当接收到信号后，通过信号叠加的方式对实时足迹信号做恢复，并更新平均足迹信号区；基于实时足迹信号的成趟足迹构建。

信号预处理模块，对信号进行二维重建与去噪；去噪的方式包括但不限于小尺度的高斯滤波、均值滤波等；

信号分析模块，包括运动状态监控模块、身体客观状态监控模块；

信号交互模块，包括压力信息可视化模块；

稳压模块，来做电压控制，具体方式是：

a)将可充电的电池或者具有充电功能的电子器件，每个鞋垫中放置两个；

b)利用逻辑电路构建一个开关，当某个电池电量充足时，将断开现在的充电电路转到另一条充电电路；

c)先利用压力将机械能转换为电能供稳压源充电，等待稳压源充电足够进行以后，对所有模块所初始化。

本实施例智能鞋垫中的传感器大多属于压电材料，这种材料受到压力作用时会在两端面间出现电压，有无机与有机两种。为了产品的柔软性、舒适性考虑，一般采用无机的压电材料，这种材料是纳米压电材料，当具有非中心对称性的纤锌矿结构材料(如氮化镓和氮化铟等)受到外加应力时，由于晶体中离子的极化而在材料内产生压电电势。采用柔性布线方式将传感器做连接，保证了线不易断、且线路间的电磁信号干扰足够小；该智能鞋垫与客户端进行通讯，使用户通过客户端即可了解各种信息。

实施例2

本实施例提供一种运动状态监控模块，具体包括：

提供数据模块：行走过程中的动态足迹数据，包括但不限于压力图、动力轨迹等，每只脚的足迹数据采样率在25Hz以上。

a)当前运动状态评估模块：

i.对运动状态做分类，分为7类：坐、静止站立、正常行走、慢速走、快速走、有氧跑步、无氧跑步，乘坐交通工具的状态除了骑行以外均认为是坐；

ii.依据活动项目每小时消耗能量与运动状态，对运动状态做量化规定：

R＝E/E_avg

R为某种运动状态的运动量，E为该运动每小时消耗的能量(单位千卡)，E_avg为采集对象正常行走每小时消耗的能量(单位千卡)；

以下是各个运动状态消耗能量参考值：

A.坐，0.3；

B.站立，0.4；

C.正常行走，1.0；

D.慢速走，0.6；

E.快速走，2.2；

F.有氧跑步，2.6；

G.无氧跑步，2.7。

这里量化的方法是，将正常行走所消耗的能量作为参考值，其他活动过程的运动状态与参考值做比，取小数点后1位四舍五入即可得到运动状态的量化情况。

iii.基于步速的运动状态判定方法：

A.首先每隔Δt秒(人在无氧跑步的过程中，时速极限在每秒10米左右，左右脚需要各自采集5次以上，这里按照奈奎斯特采样率，认为每秒状态评估10次，即0.1秒更新一次运动状态)采集同为左脚或者右脚的足迹数据，二维数据按照列有限原则降维成一维数据，定义为数据集P＝{p₁,p₂,...,p_n}；

B.然后按照采集时间先后顺序计算数据集P的导数集合，P'＝{p₂-p₁,p₃-p₂,...,p_n-p_n-1}，将P'作为该时间间隔下的运动状态；

C.令同状态导数统计集合为P_m，当没有状态记录时，P_m＝{}，P_m＝P'，执行A；否则，P_m＝P_m∪P'，用归一化相关函数来评估本次导数与导数集合的相关性，假如相关性的绝对值的最大值大于Δ，认为状态重复，执行D1，否则执行D2；

D.D1：根据导数的长度来计算状态重复的时间t，用来评估步速，步速＝1/t，并将步速做反馈，将导数集合清空，进行下一次运动状态的信息采集；

D2：将两次导数做集合合并，判断集合长度，假定集合长度超过规定的长度，认为步速为0，则清空导数集合，进行下一次数据的采集与评估；

E.每判定步速一次，执行一次运动状态的估计，对于中等体态的成年人而言，步速在Δa(如0.5)以内的为站立或者坐，步速在(1～2)Δa的为慢速走，步速在(2～3)Δa的为正常走，步速在(3～4)Δa的为快速走，步速为(4～5)Δa的为有氧跑步，步速为5Δa以上的为无氧跑步。假定除了足迹信息外，还可以提供体态信息(偏瘦、正常、偏胖、肥胖等)，可以依据体态情况，对步速做调整，调整方式是：正常以下不用做调整，偏胖以及肥胖将步速在(3～3.6)Δa的定义为快速走，(3～4)Δa的为有氧跑步，4Δa以上定义为无氧跑步；

F.如果足迹信息是与压力相关的，且步速为0时，可以通过计算D1的均值来体现某个时间段的压力状态，假如压力值低于某个阈值，认为是现在的状态是坐，否则为静止站立，阈值的定义与压力传感器的敏感度与量化位数有关。

b)运动状态统计模块：

这里统计的对象特征有以下几个：

i.某个运动状态在某时间段的持续时间，比如截止到现在为止，今天正常行走的时间；

ii.不同运动状态间切换的频率，比如截止到现在为止从静止站立到无氧跑步，今天出现这样状态变化的次数；

iii.不同运动状态在某个时间段内的出现概率分布，比如正常行走状态有较大概率分布在一天的那些时间段。

具体统计方法：

i.数据预处理与去噪：由于人在行走过程中，行走状态并不是完全理想的，所以运动状态的评估过程可能会出现状态的跳变、不合理现象，将这种评估的运动状态成为噪声，为了获取更客观的运动数据，具体方法是：

A.对某个时间段内的运动状态做规定，定义为1～7，速度越快，标签数值越大；

B.统计每个不同状态每次发生到结束的持续时间，假如某个状态仅持续了几个采样时间(为采样时间的10倍以内)，认为这个状态是跳变的，将该状态修改为时间维度上与该状态最接近的运动状态；

C.统计每个状态的变化，依据状态的连续变化准则做问题状态评估，若连续的运动状态中出现4个以上的状态跨度，认为该时间段内的运动状体存在问题，将该部分的运动状态置空，不做统计。

ii.基于运动状态的时间统计，在给定时间段的基础上：获取某个时间段经过预处理的运动状态，然后按照不同的运动状态做时间累加，获得所有运动状态的时间；

iii.切换频率统计，在给定时间段的基础上：获取某个时间段经过预处理的运动状态，然后对运动状态做差分，按照不同的差分值做次数统计，获得切换频率统计；

iv.运动状态的时间概率密度统计，这里按照天为单位做概率密度的统计与更新，具体方式是：

A.将每天的统计最小单位定为小时，即每小时做一次运动状态的统计；

B.在每个统计间隔里，将运动状态所处的占时比，作为状态概率，比如在7点到8点，有两种运动状态，分别是正常行走与慢跑，正常行走共有38分钟，慢跑有22分钟，则正常行走的概率为63％，慢跑的概率为37％。

c)运动方式反馈模块：

主要反馈点在于：

i.运动的协调与对称性：

A.在同时提供定左右脚足迹数据的前提下，对任意方向的数据向量进行镜像变换；

B.用计算状态评估集合的方式，计算左右脚两个方向的同状态下的数据向量；

C.计算不同方向数据向量的相关度，相关性越大，协调性与对称性越好，反之越差。

ii.运动的程度评估与合理性判断：

A.对每天的运动状态做统计，每小时正常行走的能量消耗为300千卡，其他状态依据量化后的运动状态与正常行走能量消耗相乘，即可得到各自的能量消耗，以此来评估一天的能量消耗，这里，认为坐、站立的能量消耗不列入能量消耗统计(非运动能量消耗)，则每天的运动量在300以内，认为运动量不足，300～600运动量适度(健康)，600以上可以达到塑身目的(塑身)，2000以上的运动量认为略高，需要适度控制，3000以上认为运动量过高，建议降低运动量；

B.对每种运动状态的切换频率做统计，每种运动状态切换频率越高(平均每1个小时更换一次运动状态)，认为过于频繁，不利于稳定新陈代谢，跨级别的运动切换次数越多，这里主要针对长时间的高能量运动后马上进入静止状态(从有氧运动到坐)，认为对人体运动神经与器官的放松有负面作用，会引起肌肉酸痛等情况。

iii.运动方式对身体的损害度评估：

A.运动协调性越大，认为对身体的损害越低，协调性越低，则损害度越高，这里构建y＝exp(x)的评估模型，x为协调性，y为损害度；

B.超过合理运动量越高，对身体损害程度越大，这里构建y＝log(x)的评估模型，x为每天的运动状态消耗能量统计值，y为损害程度；

C.整体跑步时间越长，对膝盖的损伤程度越大，这里构建y＝1/(1+e^-x+1/24)的评估模型，平均每天跑步时间为24x，y为损害程度。

d)运动计划安排模块：

这里将运动目标定为：健康、塑身、运动员(每天的运动消耗能力2000千卡以上)

三种状态，运动量依次增加。

安排方法：

i.在给定运动目标的前提下，对安排对象做至少一周的运动状态统计与运动方式反馈；

ii.假如已经达到运动目标，则执行iii，否则，执行iv；

iii.按照现有的运动状态(运动频次、每天运动消耗、每小时的运动状态分布频率)做整理，直接制定为期1周的运动计划；

iv.判断现在的运动量与运动目标的运动等级差距，若相差1个以上运动等级，执行v，否则执行vi；

v.将目标降低一个等级；

vi.依据现有的运动状态(运动频次、每天运动消耗、每小时的运动状态分布)，按照目标每天的运动消耗以及现阶段每天的消耗比做加权分配，然后在不影响每天运动状态分布的条件下，将部分运动状态做随机提升，比如7点到8点原来的运动状态是正常行走，现在改为快速走，按照此种方式提前制定1周的运动计划；

vii.对完成一周的运动状态做统计，假如已经完成运动目标，则对与原有计划不符的做调整，按照统计结果制定为期半月的运动计划，否则对与原有计划不符的做调整后继续按照vi的方式制定1周的运动计划。

本申请实现了：

a)基于短时足迹数据的运动状态评估与分类；

b)通过实时运动状态，统计某个时间段的运动状态；

c)基于统计运动状态，给出更合理的运动方式。

实施例3

本实施例提供一种基于CNN的赤足或穿袜足迹的身高判定系统，具体为：

S1：将赤足或穿袜足迹图像进行预处理；

A、赤足或穿袜足迹图像矫正：由于图像采集过程中，每个人站位不同导致图像有偏斜。应用PCA算法将赤足灰度图像进行旋转矫正。首先设定一个灰度阈值θ，然后对灰度图像的每一个像素进行遍历，如果灰度值大于θ，则将该像素的位置信息储存到特征矩阵中，具体是一个n行2列的矩阵，n的值等于该灰度图像中像素值大于θ的像素个数，第一列代表像素的位置信息，第二列代表位置信息。在此基础上对特征矩阵进行PCA运算可得到两个二维的特征向量，这两个特征向量相互正交，即为原图中足迹的两个方向向量，通过选择变换即可将图像矫正。

B、基于特征点的足迹分割：经过PCA图像矫正后边缘处噪声也被相应的旋转至图像内部，因此在图像旋转后对其进行降噪处理。为了保证原图信息不损失，本实施例通过基于阈值的像素分割确定足迹边缘的四个关键点，足趾内缘突点，足趾外缘突点，足跟后缘突点，最长趾前缘突点，来确定足迹的大体位置，然后通过裁剪的方式，将边缘噪声裁剪掉，并将其补0。具体步骤如下：

SB1：将PCA矫正后图像作为输入input。

SB2：对图像input进行逐列扫描，并返回每列最大值，保存至M向量中。

SB3：搜索内外缘突点。

SB3.1：设定像素分割阈值θ；

SB3.2：对M向量从左至右依次扫描；

SB3.3：如果元素M_i＞θ，则终止扫描，并返回数值i记为i_l；

SB3.4：对M向量从右至左依次扫描；

SB3.5：如果元素M_i＞θ，则终止扫描，并返回数值i记为i_r。

SB4：对图像input进行逐行扫描，并返回每列最大值，保存至向量M中。

SB5：搜索前后缘突点。

SB5.1：设定像素分割阈值θ；

SB5.2：对M向量从上至下依次扫描；

SB5.3：如果元素M_i＞θ，则终止扫描，并返回数值i记为i_t；

SB5.4：对M向量从下至上依次扫描；

SB5.5：如果元素M_i＞θ，则终止扫描，并返回数值i记为i_b。

SB6：通过i_b，i_t，i_l，i_r四个关键点对足迹图像进行裁剪。

SB7：结束.

S2：对预处理后图像的进行身高段分类，所述身高段分类具体包括：

S21：将身高数据离散化：首先男性和女性的身高在分布上有很大差别，因此所构建的预测模型将男性和女性分别研究。其次将人群按照不同身高段进行分类。本实施例根据身高段不同将男性分为五组，将女性也分为五组。对于不在以下身高段的人群暂不研究，分类的图表如表1所示：

表1身高分类区间

男	身高	女	身高	编码
					M1	[165,170)	W1	[150,155)	[1,0,0,0,0]
M2	[170,175)	W2	[155,160)	[0,1,0,0,0]
					M3	[175,180)	W3	[160,165)	[0,0,1,0,0]
M4	[180,185)	W4	[160,170)	[0,0,0,1,0]
					M5	[185,190)	W5	[170,175]	[0,0,0,0,1]

S22:制作数据集,将完成预处理的数据集分为两类，男性数据和女性数据。针对每一类，又各自定义两个部分：

a)训练集：用于深度学习用，每个赤足或者穿袜足迹数据采样带有从属身高信息(标签)；

b)验证集：用于验证深度学习结果的好坏，每个赤足或者穿袜足迹数据采样带有从属身高信息(不参与训练用来衡量体重判定的准确度)。

S23：构建身高分类网络；使用训练集的数据针对男性和女性分别构建一个基于Alexnet网络架构的卷积神经网络，对赤足或穿袜足迹图像进行分类；该网络输入为赤足或穿袜足迹图像，输出为属于某一个身高段的概率值。网络结构参数如表2所示。各层之间激活函数我们采用Relu激活函数(Rectified linear unit,修正线性单元)，各层参数初始化采用截断正态分布进行，其均值为0，方差为0.1，该网络采用自适应学习率优化算法Adadelta进行优化，学习率为η＝0.5，动量参数为γ＝0.9。

表2改进Alexnet各层网络参数

这里，Conv代表卷积层，Max_pooling代表池化层，Fc代表全连接层。

S24：基于区间概率进行身高判断，在身高分类网络中通过一个改进的AlexNet卷积神经网络，得到的赤足或穿袜足迹图像属于某个身高段的概率值，在此基础上基于各个区间的概率值，对区间合并，使用验证集来预测该赤足或穿袜足迹的身高范围；设身高区间为M＝{m₁,m₂,...,m_N}，隶属于各个区间的概率为P＝{p₁,p₂,...,p_N}，则最后预测的身高区间为

分别表示区间m_i的上边界和下边界；

实施例4

本实施例提供一种基于CNN的赤足或穿袜足迹的体重判定系统，具体是：

S1：获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理；

S2：制作赤足图像数据集；

1)将完成预处理的赤足图像数据集分为两个部分：

(1)训练集：用于深度学习的训练过程，每个赤足足迹数据采样带有从属体重信息，这个体重信息就是这个赤足或穿袜足迹的标签；

(2)验证集：用于验证深度学习结果的好坏。每个赤足或者穿袜足迹数据采样带有从属体重信息，但是验证集不参与训练，只是用来衡量体重判定的准确度。

2)其中，各部分对数据的要求：

(1)验证集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；

(2)要保证验证数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；

(3)用于做训练的数据，每个人的数据，不同种类的至少10组(左右脚各5组)以上，训练的个体数量在万人级。

S3：数据训练与特征提取：整体按照两个阶段做训练与特征提取：

1)训练数据准备：

对已经完成预处理后的男性和女性训练集和验证集的二维图像数据，依照标签(从属体重信息)进行分组分类(整体的上下界由标准体重对照表得到，对于男性样本，对于女性样本，本实施例中可以用n＝5,k＝5进行解释说明)：

A组：0类：储存体重＜m(kg)的样本；1类：储存体重≥m(kg)的样本；

B1组：0类：储存体重＜m-5(kg)的样本；1类：储存体重≥m-5(kg)的样本；

B2组：0类：储存体重＜m-10(kg)的样本；1类：储存体重≥m-10(kg)的样本；

B3组：0类：储存体重＜m-15(kg)的样本；1类：储存体重≥m-15(kg)的样本；

B4组：0类：储存体重＜m-20(kg)的样本；1类：储存体重≥m-20(kg)的样本；

B5组：0类：储存体重＜m-25(kg)的样本；1类：储存体重≥m-25(kg)的样本；

C1组：0类：储存体重＜m+5(kg)的样本；1类：储存体重≥m+5(kg)的样本；

C2组：0类：储存体重＜m+10(kg)的样本；1类：储存体重≥m+10(kg)的样本；

C3组：0类：储存体重＜m+15(kg)的样本；1类：储存体重≥m+15(kg)的样本；

C4组：0类：储存体重＜m+20(kg)的样本；1类：储存体重≥m+20(kg)的样本；

C5组：0类：储存体重＜m+25(kg)的样本；1类：储存体重≥m+25(kg)的样本；

采用这种分组方式主要是因为经过实验得出利用足迹样本训练的网络对于2分类的正确率最高，分类结果更准确，另外使用多个2分类网络迭代的方式也可以减轻网络压力，简化网络结构，从而减小单个网络的训练难度。

2)分组进行基于CNN网络的训练，此处使用改进的AlexNet网络，网络改进如下：

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层。

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

其中，conv代表卷积层，pooling代表池化层，fc代表全连接层，relu代表激活函数；

各层网络参数：

conv1:卷积核大小：5*5；卷积核数量：16；卷积步长：2；权重初始化方式：xavier

pooling1:核大小：2*2；卷积步长：1

conv2:卷积核大小：3*3；卷积核数量：32；卷积步长：1；权重初始化方式：xavier

pooling2:核大小：2*2；卷积步长：1

conv3:卷积核大小：3*3；卷积核数量：64；卷积步长：1；权重初始化方式：xavier

conv4:卷积核大小：3*3；卷积核数量：128；卷积步长：1；权重初始化方式：xavier

fc5:神经元个数：1024；权重初始化方式：xavier

fc6:输出通道数：2；权重初始化方式：xavier

(2)通过训练及验证结果调整网络：

利用初始网络进行一次完整训练之后，用验证数据测试，假定体重判定准确率不足80％，则认为网络结构需要调整，调整方法如下：

对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对:

a.若某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；

b.若相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接将该层作为全连接层重新训练，简化模型；

c.若每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。

进行循环训练与测试，不断调整网络结构及参数，当测试结果中体重判定准确率大于80％则网络调整结束，保存训练得到的网络模型。

3)至此，获得训练好的基于CNN网络的赤足图像体重判定模型MA,MB1,MB2,MB3,MB4,MB5,MC1,MC2,MC3,MC4,MC5；FA,FB1,FB2,FB3,FB4,FB5,FC1,FC2,FC3,FC4,FC5。其中，M开头为男性体重判定模型；F开头为女性体重判定模型。

S4：体重判定：根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的体重；

体重判定步骤：首先用训练好的MA(FA)模型进行特征提取，规定距离最后端激活层最近的全连接层输出作为每幅图的特征，然后将此特征输入特征分类器softmax，输出赤足图像属于各个类别的概率，以此来判定赤足图像的拥有者的体重类别，然后根据判定出的类别决定继续使用MB(FB)或MC(FC)类的模型进行区间缩小，接着使用MB(FB)或MC(FC)类的模型重复进行特征提取、分类的过程，逐步缩小体重区间范围，根据各步骤的判别结果的相互关系给出赤足图像的拥有者的体重的具体数值：

1)输入：MA(FA)，待判定(测试)样本I，输出：I的拥有者的体重；

2)通过MA(FA)进行特征提取，得到I的分类特征Ma(Fa)；

3)将Ma(Fa)输入特征分类器softmax中，输出I属于各个类别(此处共2类)的概率；

4)选择概率值最大的类别作为待判定(测试)样本I的从属类别；

5)若经过模型MA(FA)得到的从属类别为0，则输入MB1(FB1)和待判定(测试)样本I，重复2)、3)、4)然后进行6)步；若得到从属类别为1，则输入MC1(FC1)和待判定(测试)样本I，重复2)、3)、4)然后进行7)步；

6)若经过模型MB1(FB1)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-5)/2(kg)；若从属类别0，则输入MB2(FB2)和待判定(测试)样本I，重复2)、3)、4)然后进行8)步；

7)若经过模型MC1(FC1)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+5)/2(kg)；若从属类别1，则输入MC2(FC2)和待判定(测试)样本I，重复2)、3)、4)然后进行9)步；

8)若经过模型MB2(FB2)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-15)/2(kg)；若从属类别0，则输入MB3(FB3)和待判定(测试)样本I，重复2)、3)、4)然后进行10)步；

9)若经过模型MC2(FC2)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+15)/2(kg)；若从属类别1，则输入MC3(FC3)和待判定(测试)样本I，重复2)、3)、4)然后进行11)步；

10)若经过模型MB3(FB3)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-25)/2(kg)；若从属类别0，则输入MB4(FB4)和待判定(测试)样本I，重复2)、3)、4)然后进行12)步；

11)若经过模型MC3(FC3)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+25)/2(kg)；若从属类别1，则输入MC4(FC4)和待判定(测试)样本I，重复2)、3)、4)然后进行13)步；

12)若经过模型MB4(FB4)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-35)/2(kg)；若从属类别0，则输入MB5(FB5)和待判定(测试)样本I，重复2)、3)、4)然后进行14)步；

13)若经过模型MC4(FC4)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+35)/2(kg)；若从属类别1，则输入MC5(FC5)和待判定(测试)样本I，重复2)、3)、4)然后进行15)步；

14)若经过模型MB5(FB5)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-45)/2＝42.5kg；若从属类别0，则输出待判定(测试)样本I的拥有者的体重小于40kg(30kg)；

15)若经过模型MC5(FC5)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+45)/2(kg)；若从属类别1，则输出待判定(测试)样本I的拥有者的体重大于90kg(80kg)。

实施例5

本实施例提供一种基于CNN的赤足或穿袜足迹的性别判定系统，具体是：

S1：获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理；

S2：制作赤足图像数据集；

1)将完成预处理的赤足图像数据集分为两个部分：

(1)训练集：用于深度学习的训练过程，每个赤足足迹数据采样带有从属性别信息，这个性别信息就是这个赤足或穿袜足迹的标签；

(2)验证集：用于验证深度学习结果的好坏。每个赤足或者穿袜足迹数据采样带有从属性别信息，但是验证集不参与训练，只是用来衡量性别判定的准确度；

2)其中，各部分对数据的要求：

(1)验证集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；

(2)要保证验证数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；

(3)用于做训练的数据，每个人的数据，不同种类的至少10组(左右脚各5组)以上，训练的个体数量在万人级。

S3：数据训练与特征提取：整体按照两个阶段做训练与特征提取：

3)训练数据准备：

对已经完成预处理后的训练集和验证集的二维图像数据，依照标签(从属性别信息)分为2组：

4)分组进行基于CNN网络的训练，此处使用改进的AlexNet网络，网络改进如下：

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层。

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

其中，conv代表卷积层，pooling代表池化层，fc代表全连接层，relu代表激活函数；

各层网络参数：

conv1:卷积核大小：5*5；卷积核数量：16；卷积步长：2；权重初始化方式：xavier

pooling1:核大小：2*2；卷积步长：1

conv2:卷积核大小：3*3；卷积核数量：32；卷积步长：1；权重初始化方式：xavier

pooling2:核大小：2*2；卷积步长：1

conv3:卷积核大小：3*3；卷积核数量：64；卷积步长：1；权重初始化方式：xavier

conv4:卷积核大小：3*3；卷积核数量：128；卷积步长：1；权重初始化方式：xavier

fc5:神经元个数：1024；权重初始化方式：xavier

fc6:输出通道数：2；权重初始化方式：xavier

(3)通过训练及验证结果调整网络：

利用初始网络进行一次完整训练之后，用验证数据测试，假定性别判定准确率不足80％，则认为网络结构需要调整，调整方法如下：

对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对:

a.若某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或者直接将该层作为全连接层重新训练；

b.若相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接将该层作为全连接层重新训练，简化模型；

c.若每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。

进行循环训练与测试，不断调整网络结构及参数，当测试结果中性别判定准确率大于80％则网络调整结束，保存训练得到的网络模型。

3)至此，获得训练好的基于CNN网络的赤足图像性别判定模型A。

S4：根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的性别。

性别判定步骤：首先用训练好的A模型进行特征提取，规定距离最后端激活层最近的全连接层输出作为每幅图的特征，然后将此特征输入特征分类器softmax，输出赤足图像属于各个类别的概率，以此来判定赤足图像的拥有者的性别：

1)输入：A，待判定(测试)样本I，输出：I的拥有者的性别；

2)通过模型A提取I的分类特征；

3)将I的分类特征输入特征分类器softmax中，输出I属于各个类别(此处共2类)的概率4)选择概率值最大的类别作为待判定(测试)样本I的从属类别。如类别0的概率在所有类别中最大，则待判定(测试)样本I的拥有者为女性；类别1的概率在所有类别中最大，则待判定(测试)样本I的拥有者为男性。

上述中的步骤S1：获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理，具体为：

1)赤足或者穿袜足迹图像数据获取：

(1)动态赤足或者穿袜足迹数据：该类数据是通过采集设备采集到的实时赤足或者穿袜足迹数据，体现的是某个时刻下的赤足或者穿袜足迹状态，更能反映每时每刻赤足或者穿袜足迹的变化；

(2)静态赤足或者穿袜足迹数据：数据是通过采集设备采集到的某段时间内赤足或者穿袜足迹平均状态，体现的是整体脚底的平衡状态，更能反映客观赤足或者穿袜足迹的稳定特征。

其中，赤足或者穿袜足迹数据包括但不限于一维压力轨迹数据、二维实时动态赤足或者穿袜足迹(有或者无压力信息)、三维赤足或者穿袜足迹形状点云数据。

2)数据属性统一(类型)：

(1)实时动态数据需要通过某段时间的平均处理，转换成静态数据，在平均过程中，无法获取的动态数据做特征提取，直接形成一维数据做训练或者测试；

(2)对于可以获取行走过程中步幅特征信息的数据，要通过自动特征提取，以同名点轨迹的方式形成一维数据，做训练或者测试。

3)数据属性统一(维度)：

(1)对三维点云数据，采用仿真碰撞的方法，构建虚拟硬质成痕客体，记录三维脚(有形变，非刚体)与客体碰撞的点集，记录点集到成痕客体的垂直距离，以高度为信息形成高度图；

(2)二维赤足或者穿袜足迹数据，对于背景复杂的痕迹图，可以生成或者采集多种含赤足或者穿袜足迹的背景图用于训练，也可以进行人工或者自动去除背景的方式提出赤足或者穿袜足迹前景图；

(3)一维数据认为是经过初始特征提取的量，可以经过降维投影，与其他数据特征结合使用。

4)数据预处理：

(1)由于每个赤足或者穿袜足迹的采集方式不同(包括但不限于采集以不同，采集条件不同)，导致分辨率的不同以及背景的不同。体现在图像上即不同采集仪得到的脚印图像的大小不一致，背景也不一致，部分脚印图像上除目标脚印外还包含其他杂质信息。

这里通过人工剪裁的方法进行目标区域提取，然后将所有图像归一化到统一大小，以确保后续算法的可行性，具体操作如下：

a.人工剪裁：需要标记出赤足或者穿袜足迹最左、最右、最上和最下4个点的位置，每幅图按照上下点的横坐标+10，左右点的纵坐标+10进行矩形剪裁即可，；

b.将剪裁后的图像通过补0的方式填补成正方形图像(以补0前图像长宽值中较大值为正方形边长)，最后将得到的正方形图像统一归一化后续模型所需的输入图像的尺寸(一般为正方形)。

(2)训练前数据调整：这是与后续训练模型相关的，由于进行训练的数据集里，数据意义不在同一等级(特征级、数据级)，所以需要进行数据分类。将得到的数据按照一维特征、二维图像区分，二维图像中是灰度图的，要全部通过通道合并的方式转换为彩色图，即有3个颜色通道。

实施例6

本实施例提供一种压力信息可视化模块，具体是：

S1：将足底压力信号灰度值化，构建足底压力数据灰度图像；

具体包括：

1)足底压力数据归一化：由于压力传感器有效工作区间处于线性区域，因此采用线性归一化方法。通常足底压力传感器排列为矩阵形式，设采集到的压力数据为矩阵X(X_ij表示矩阵X的元素)，归一化的后的矩阵为

(

表示矩阵

中元素)。

2)足底压力数据灰度变换：足底压力数据经过归一化处理后变换到[0,1]的区间内，在此基础上将压力数据灰度化，通过灰度变换将归一化的数据映射到[0,255]区间内；为了能够增强图像对比度本申请采用分段线性变换，设灰度图像上任意一点为g(i,j)，灰度变换公式为：

S2：将足底压力数据灰度图像进行超像素重构；

具体包括：

1)灰度图插值增扩；应用双三次插值方法，将灰度化的足底压力数据插值到期望像素值得大小。在本实施例中我们应用双三次插值,将通过压力传感器获得的85×85的灰度图像，插值到256×256的大小。

2)基于CNN网络进行超像素重构：利用一个端到端的卷积神经网络实现超像素重构，在低分辨的图像上截取一个较大的图像块，然后通过一个N层卷积网络的映射，将其映射到一个较小图像块中，并通过这些较小的图像块重构成高分辨率图像。其训练步骤如下：

步骤1：超像素神经网络结构：本实施例定义了一个4层的卷积神经网络,其前馈计算迭代格式如下：

公式中G为经过插值后的灰度图像,W为神经网络的权向量，B为神经网络的偏置，其中W数据格式4阶张量；对于每个W在计算卷积时，其x和y方向的步长皆为1。

W₁＝[1，3，3，32],B₁＝[32]；W₂＝[32，3，3，64],B₂＝[32]

W₃＝[64，3，3，64],B₃＝[64]；W₄＝[64，3，3，1],B₁＝[1]

步骤2：计算损失函数：在这个端到端的卷积网络中，需要优化的参数为θ＝{W_i,B_i}(i＝1～4)；选用的目标函数为均方根误差函数，其表达式如下:

这里L(θ)代表损失函数，即重构的高分辨图像与真实的高分辨图像相差的大小，损失函数越小，证明重构的高分辨图像越接近于真实的高分辨图像，n代表训练样本的大小，Y_i代表低分辨图像，X_i代表真实的高分辨图像，F(Y_i,θ)表示一个映射，输入低分辨图像，映射到一个高分辨率图像上；

步骤3：参数初始化；采用截断正态分布进行，其均值为0，方差为0.1；

步骤4：采用自适应学习率调整优化算法AdaDelta，学习率为η＝0.5，动量参数为γ＝0.9。

S3：将重构后的高像素灰度图伪彩色化，根据使用功能不同设计了两种不同的伪彩色编码函数，分别是足底接触伪彩图和足底压力云图；

所述足底接触伪彩图的编码函数为：

式中R,G,B分别代表伪彩图的三个通道，x代表灰度图像的灰度值；其编码函数图像如图3所示，最后生成的“接触伪彩图”如图4所示，通过该编码方式能看到足底与地面实际接触的区域，通过该图可以为判定人体行走姿态是否正确提供参考。

所述足底压力云图的编码函数为：

R＝255e^0.01(x-255)

式中R,G,B分别代表伪彩图的三个通道，x代表灰度图像的灰度值；其编码函数图像如图5所示，最后生成的“足底压力云图”如图6所示。该编码函数采用非线性映射，具有一阶可导的特点。经过该编码函数生成的伪彩图，颜色变化更加平缓，能够有效的反映出足底不同位置的压力大小。与图3做对比可以发现，该图能够反映出当前脚掌的压力重心，进而判断当前的行走姿态。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种具有生物特征识别功能的智能鞋垫，其特征在于，包括：

信号传输模块，包括产品端信号传输处理模块、上位机端信号传输处理模块；

信号预处理模块，对信号进行二维重建与去噪；

信号分析模块，包括运动状态监控模块、身体客观状态监控模块；

信号交互模块，包括压力信息可视化模块；

产品端信号传输处理模块，控制芯片在激活后：

A、对存储芯片中的RAM区域分为3个区域，分别是：存储当前足迹信号xc的RAM区，存储上一次采集的足迹信号xl的RAM区，差分信号RAM区；

B、当进行足迹信号采集后，更新每个区域的信号内容，计算xl与xc的差，将差值按照列方向降维成1维数据后，如果整体差值小于设定阈值，则不进行通信中断，或不对通信模块供电，否则通信中断，保存至动态分配的区域，等待发送；

C、控制芯片采用中断方式做信号传输，没有中断信号则不进行信号发送。

2.根据权利要求1所述一种具有生物特征识别功能的智能鞋垫，其特征在于，上位机端信号传输处理模块，具体是：

A.对接收数据的存储内存置空，只保留两个存储区，一个是实时足迹信号区，一个是平均足迹信号区；

B.当接收到信号后，通过信号叠加的方式对实时足迹信号做恢复，并更新平均足迹信号区；基于实时足迹信号的成趟足迹构建。

3.根据权利要求1-2任一种所述一种具有生物特征识别功能的智能鞋垫，其特征在于，上述智能鞋垫还包括：稳压模块，来做电压控制，具体方式是：

a)将可充电的电池或者具有充电功能的电子器件，每个鞋垫中放置n个；

b)利用逻辑电路构建一个开关，当某个电池电量充足时，将断开现在的充电电路转到另一条充电电路；

c)先利用压力将机械能转换为电能供稳压源充电，等稳压源充足后，对所有模块所初始化。

4.根据权利要求1所述一种具有生物特征识别功能的智能鞋垫，其特征在于，运动状态监控模块，具体包括：

当前运动状态评估模块，基于步速判断当前运动属于哪种运动状态；

运动状态统计模块，统计每种运动状态的时间以及切换频率；

运动方式反馈模块，对运动方式是否正确进行反馈；

运动计划安排模块，对运动方式给出合理性建议。

5.根据权利要求1所述一种具有生物特征识别功能的智能鞋垫，其特征在于，身体客观状态监控模块，具体包括：基于CNN的赤足或穿袜足迹的身高判定系统、基于CNN的赤足或穿袜足迹的体重判定系统，基于CNN的赤足或穿袜足迹的性别判定系统。

6.根据权利要求5所述一种具有生物特征识别功能的智能鞋垫，其特征在于，基于CNN的赤足或穿袜足迹的身高判定系统，具体包括：

S1：将赤足或穿袜足迹图像进行预处理；

S2：对预处理后图像的进行身高段分类，所述身高段分类具体包括：

S21：将身高数据离散化；

S22：制作数据集；

S23：构建身高分类网络；

S24：基于区间概率进行身高判断；设身高区间为M＝{m₁,m₂,...,m_N}，隶属于各个区间的概率为P＝{p₁,p₂,...,p_N}，则最后预测的身高区间为

分别表示区间m_i的上边界和下边界；

7.根据权利要求5所述一种具有生物特征识别功能的智能鞋垫，其特征在于，基于CNN的赤足或穿袜足迹的体重判定系统，包括：

S1：获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理；

S2：制作赤足图像数据集；

S3：数据训练与特征提取，此处使用改进的AlexNet网络，具体结构如下：

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

其中，conv代表卷积层，pooling代表池化层，fc代表全连接层，relu代表激活函数；

(2)通过训练及验证结果调整网络：利用初始网络进行一次完整训练之后，用验证数据测试，假定体重判定准确率不足N％，则认为网络结构需要调整；

至此，获得训练好的基于CNN网络的赤足图像体重判定模型MA,MB1,…,MBk,MC1,MC2,…MCk；FA,FB1,FB2,…,FBk,FC1,FC2,…,FCk，其中，M开头为男性体重判定模型；F开头为女性体重判定模型；

S4：根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的体重。

8.根据权利要求5所述一种具有生物特征识别功能的智能鞋垫，其特征在于，基于CNN的赤足或穿袜足迹的性别判定系统，包括：

S1：获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理；

S2：制作赤足图像数据集；

S3：数据训练与特征提取：此处使用改进的AlexNet网络，具体结构如下：

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

其中，conv代表卷积层，pooling代表池化层，fc代表全连接层，relu代表激活函数；

(2)通过训练及验证结果调整网络：利用初始网络进行一次完整训练之后，用验证数据测试，假定性别判定准确率不足N％，则认为网络结构需要调整；

S4：根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的性别。

9.根据权利要求1所述一种具有生物特征识别功能的智能鞋垫，其特征在于，压力信息可视化模块，具体是：

S1：将足底压力信号灰度值化，构建足底压力数据灰度图像；

S2：采用超像素神经网络进行超像素重构；

步骤1：超像素神经网络结构：定义了一个N层的卷积神经网络,其前馈计算迭代格式如下：

公式中G为经过插值后的灰度图像，W为神经网络的权向量，B为神经网络的偏置，

其中W数据格式N阶张量；对于每个W在计算卷积时，其x和y方向的步长皆为1；

步骤2：计算损失函数：在这个端到端的卷积网络中，需要优化的参数为θ＝{W_i,B_i}(i＝1～N)；选用的目标函数为均方根误差函数，其表达式如下:

这里L(θ)代表损失函数，即重构的高分辨图像与真实的高分辨图像相差的大小，损失函数越小，证明重构的高分辨图像越接近于真实的高分辨图像，n代表训练样本的大小，Y_i代表低分辨图像，X_i代表真实的高分辨图像，F(Y_i,θ)表示一个映射，输入低分辨图像，映射到一个高分辨率图像上；

步骤3：参数初始化；采用截断正态分布进行；

步骤4：采用自适应学习率调整优化算法AdaDelta；

S3：将重构后的高像素灰度图伪彩色化，分别获得足底接触伪彩图和足底压力云图。

Images