CN109583272B

CN109583272B - 一种能够获取人体生活状态的足迹系统

Info

Publication number: CN109583272B
Application number: CN201710903862.9A
Authority: CN
Inventors: 董波; 郭宝珠; 张吉昌; 于昕晔
Original assignee: Dalian Everspry Sci & Tech Co ltd
Current assignee: Dalian Everspry Sci & Tech Co ltd
Priority date: 2017-09-29
Filing date: 2017-09-29
Publication date: 2020-10-30
Anticipated expiration: 2037-09-29
Also published as: CN109583272A

Abstract

本发明公开了一种能够获取人体生活状态的足迹系统，包括：精神状态评估模块，基于客观信息、客观校准信息与所呈现步态判断用户的精神状态；生活方式评估模块，通过用户每种运动状态的持续时间、评估对象的客观信息，对用户的生活方式进行综合评估和原因分析；饮食状态评估模块，依据体重变化趋势，来评估用户的饮食情况；综合评估模块，综合分析用户的饮食习惯、生活方式和精神状态的评估结果，若三项均未显示需要调整，则输出用户目前的生活状态为良好；否则，则输出用户目前的生活状态需要调整，并输出具体需要调整的项及该项的具体分析结果。本申请利用获取到的用户足迹样本自动分析用户的生物特征，进而对用户的生活状态进行评估。

Description

一种能够获取人体生活状态的足迹系统

技术领域

本发明涉及一种获取人体生活状态的系统，具体说是一种能够获取人体生活状态的足迹系统。

背景技术

随着经济的发展及人们对健康意识的提高，越来越多的人开始以定期体检或随身携带各类便携式的监测设备的方式来获知自己的身体健康状况。采用可随身携带的监测设备进行健康监测与管理可节约医护人力资源。

人们从小养成自己独有的生活状态，如作息习惯、运动习惯等。一个人的健康与其生活状态密切相关，因而，生活状态是反映一个人健康状况的重要标准。然而，在实际的医疗治疗过程中，人们往往忽略了生活状态，而生活状态的恢复很大成度上才是痊愈的真正指标之一。目前，穿戴式产品风起云涌，但多数医疗保健穿戴式产品功能单一，仅是对体温、心率等简单的生理参数或步数、里程数等的测量，缺乏对生活状态的监测。

发明内容

本申请提供了一种能够获取人体生活状态的足迹系统，利用获取到的用户足迹样本自动分析用户的生物特征，包括性别、身高、体重、年龄、步态，并在此基础上进行统计分析，进而对用户的生活状态进行评估。

本申请的技术方案是：一种能够获取人体生活状态的足迹系统，包括：

精神状态评估模块，基于客观信息、客观校准信息与所呈现步态判断用户的精神状态；

生活方式评估模块，通过用户每种运动状态的持续时间、评估对象的客观信息，对用户的生活方式进行综合评估和原因分析；

饮食状态评估模块，依据体重变化趋势，来评估用户的饮食情况；

综合评估模块，综合分析用户的饮食习惯、生活方式和精神状态的评估结果，若三项均未显示需要调整，则输出用户目前的生活状态为良好；否则，则输出用户目前的生活状态需要调整，并输出具体需要调整的项及该项内的具体分析结果。

进一步的，上述系统，还包括生成生活状态分析总结报告模块，将所有获取到的足迹数据、生物特征数据和评估结果保存起来；不同用户的足迹数据能用来重新训练深度学习网络，提高生物特征判定的准确性和可靠性；同一用户不同时段的人体生物特征数据能用来做对比分析，给出用户生活状态的变化情况。

进一步的，所述精神状态评估模块、生活方式评估模块、饮食状态评估模块输入带有时间标签的实时足迹图像序列，所述实时足迹图像序列，包括有压力反应图与无压力反应图，根据有压力反应图与无压力反应图评估用户事先录入的客观信息，所述客观信息，包括用户录入的身高、年龄、体重、性别。

进一步的，精神状态评估模块，包括：

a)基于CNN网络的客观信息校准，具体是：

i.预处理：序列图的整合，将实时足迹转化为完整足迹；

ii.利用预训练好的模型做身高、年龄、体重的判定(性别不用)，超过阈值则进行修正；如当判定年龄与输入年龄相差超过1岁时，修正录入信息，当判定身高与输入身高超过2cm时，修正录入信息，当判定体重与输入体重超过10kg时，修正录入信息。

b)基于足迹的步态信息挖掘，具体是：

i.定义步态类别；

ii.基于海量数据做实时或者完整足迹的步态类别判定，产生判定模型MA,MB,MC；

iii.定义步态与年龄关联性分类；

iv.将带有时间标签的实时足迹图像序列输入事先训练好的模型MA,MB,MC中；

v.通过模型MA,MB,MC对足迹图像序列进行特征提取和分类，输出判定结果；由MA,MB,MC的判定结果确定步态类别；

vi.根据定义的步态与年龄关联性分类关系得到足迹图像反馈的年龄信息。

c)基于客观信息、客观校准信息与所呈现步态判断精神状态。

进一步的，判断精神状态的具体步骤是：

i.对于短时间段(少于一周的)的步态年龄反馈：客观信息的年龄为x，校准信息为

步态挖掘的年龄为

ii.对于长时间段(最少以周为单位)的步态年龄挖掘：记录每次步态反映的年龄，求平均值，得到用户的步态年龄

从而得到用户的实际呈现年龄x′，这里对呈现年龄做定义：当x′＞x，认为用户性格偏向稳重，差距越大越成熟，当x′＝x时，认为用户是同年龄应该有的步态，当x′＜x，认为用户心态十分乐观，差距越大越轻浮；

iii.结合短时间段与长时间段的步态年龄做差异变化统计：

1)对连续N个短时间段的

组成步态年龄集合

计算与

的差异集合

2)统计dx_f的归一化标准差，标准差越大，认为情绪越不稳定，精神状态越不好；

3)dx_f大于0的频次高代表该时间段内休息时间不足，导致不精神；

dx_f小于0的频次高代表该时间段内过于活跃，需要控制情绪，以免影响正常生活状态。

进一步的，生活方式评估模块，包括：

a)计算体质指数BMI，依据指数做用户初始体态的评估(过轻、正常、肥胖、过重)；

b)通过客观信息来确认是否为女性，若为女性则进行c)，否则将高跟鞋判定标志置为0，进行d)；

c)通过实时足迹序列来判定是否穿高跟鞋，如果穿高跟鞋，则高跟鞋判定标志置为1，否则置为0；

d)假定高跟鞋标志为0，进行e)，假定高跟鞋标志为1，则通过运动状态统计来评估生活方式是否需要调整，具体判定方法是：

将带有时间标签的实时足迹图像序列的运动状态的判定结果根据对应标记的采集时间的先后顺序进行排列，统计用户穿高跟鞋的累计时长，以及穿高跟鞋期间包含的运动状态；若穿高跟鞋累计时间超过m小时，则需要休息；若穿高跟鞋期间包含了跑的运动状态，则需要休息。

e)对生活方式做反馈，反馈依据是：

1)对实时足迹图像序列按照标记的采集时间的先后顺序进行排列，对每种运动状态从属的时间段进行统计(如：8:20——8:30，用户在跑，8:30——11:30，用户在坐着，12:20——13:30，用户在跑，13:30——17:30，用户在坐着，17:30——17:40，用户在静止站立……)，将每种运动状态从属的时间段进行累加得到一天内每种运动状态的持续时间(如用户每天跑40分钟；坐8小时，走1小时……)。

2)得到用户一天内每种运动状态的持续时间、评估对象的客观信息(用户自己录入的身高、年龄、体重、性别)，对用户的生活方式进行综合评估和原因分析：见下表。

进一步的，对用户的生活方式进行综合评估和原因分析，具体为：

表1

更进一步的，饮食状态评估模型，包括：

a)计算体质指数BMI，依据指数做用户初始体态的评估，包括过轻、正常、肥胖、过重；

b)对短时间段的足迹序列做基于压力足迹的体重估计，每隔T幅图，估计一次体重w，每隔P小时做一次体重的平均，获得每天的体重数值集合w＝{w₁,w₂,w₃,...,w_i,...,w_R}，采集多天体重数值集合，用每天的集合进行固定时刻的体重平均，得到用户每天稳定体重集合

以此类推，可以获得每周、每月的体重集合与每个时间点的体重状态分布；

c)依据现有的体重变化趋势，来评估用户的身体状态变化(在还没有完整一周或者一月的体重信息统计前提下，不实施该功能)：

i.计算体重变化趋势，计算对象是每周、每月的平均体重增量Δw；

ii.依据每周、每月的Δw，反馈下周或者下个月，在同样生活状态下的身体变化。

d)对于每天的体重进行实时变化统计并根据体重统计结果进行饮食状态评估(在还没有完整一天的体重信息统计前提下，不实施该功能)：

作为更进一步的，对于每天的体重进行实时变化统计，具体是：

i.对于任意时刻的估计体重

与平均体重集合中的同时刻体重

做差，得到体重差Δw_i；

ii.若Δw_i＞n＞0且用户初始体态为肥胖或过重，则进行iii；若Δw_i＜-n＜0且用户初始体态为过轻或正常，则进行iv；

iii.如果体重测定过程在用餐时间，则提醒少食高热量食物，否则提醒进行适量运动，减少零食热量摄入；

iv.如果体重测定过程在用餐时间，则提醒适当摄入高热量食物，多摄入高蛋白食物，否则提醒进行适当的塑身运动或者休息，尽量避免高强度活动。

作为更进一步的，

A.训练深度学习步态脚部动作网络模型MA：

a.获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理；

b.制作赤足图像数据集；

c.数据训练与特征提取：此处使用改进的AlexNet网络，具体结构如下：

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

其中，conv代表卷积层，pooling代表池化层，fc代表全连接层，relu代表激活

函数；

(2)通过训练及验证结果调整网络：利用初始网络进行一次完整训练之后，用验证数据测试，假定步态脚部动作判定准确率不足N％，则认为网络结构需要调整；

d.根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的步态脚部动作；

B.训练深度学习步态腿部动作网络模型MB

b.制作赤足图像数据集；

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

其中，conv代表卷积层，pooling代表池化层，fc代表全连接层，relu代表激活函数；

(2)通过训练及验证结果调整网络：利用初始网络进行一次完整训练之后，用验证数据测试，假定步态腿部动作判定准确率不足N％，则认为网络结构需要调整；

d.根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的步态腿部动作；

C.训练深度学习步态摆臂情况网络模型MC

b.制作赤足图像数据集；

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

(3)通过训练及验证结果调整网络：利用初始网络进行一次完整训练之后，用验证数据测试，假定步态摆臂情况判定准确率不足N％，则认为网络结构需要调整；

d.根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的步态摆臂情况动作。

本发明的有益效果是：本申请用户只需要进行简单的足迹采集操作，就可以自动分析并计算用户的相关生物特征信息，给出用户当前生活状态的评估，本发明依照定量的生物特征进行生活状态判定，使得判定结果更准确，并且判定过程全自动无需人为干预，使用户使用起来简单方便，数据进行储存之后方便后续更加深入的分析和比对。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

实施例1

本实施例提供一种能够获取人体生活状态的足迹系统，包括：

1.精神状态评估模块；评估模块的输入：带有时间标签的实时足迹图像序列(对于同一个人而言，不可能出现短时的多传感器采集图像集，故认为同人序列的图像来源是统一的)，包括有压力反应与无压力反应两类图，评估对象的客观信息(用户自己录入的身高、年龄、体重、性别)。

a)基于CNN网络的客观信息校准：

i.预处理：序列图的整合，将实时足迹转化为完整足迹；

ii.利用预训练好的模型做身高、年龄、体重的判定(性别不用)，当判定年龄与输入年龄相差超过1岁时，修正录入信息，当判定身高与输入身高超过2cm时，修正录入信息，当判定体重与输入体重超过10Kg时，修正录入信息。

b)基于足迹的步态信息挖掘：

S1：定义步态类别(如分为75类具体分类方式如下)；

A.脚部动作5类：A1：严重内起(明显内八，大于θ₁，小于θ₂)、A2：略微内起(内八，步角大于θ₂，小于θ₃)、A3：正常；A4：略微外起(外八，步角大于θ₄，小于θ₅)、A5：严重外起(明显外八，步角小于θ₆，大于θ₅)，其中θ₃＞θ₂＞θ₁＞θ₆＞θ₅＞θ₄；

B.腿部动作5类：B1：正常行走，B2：严重o型腿(步宽在λ₁与λ₂之间)，B3：o型腿(步宽在λ₂与λ₃之间)，B4：x型腿(步宽在λ₃与λ₄之间)，B5：严重x型腿(步宽在λ₄与λ₅之间)，其中λ₅＞λ₄＞λ₃＞λ₂＞λ₁；

C.摆臂情况3类：C1：小摆臂(行走过程两臂角度小于ψ₁)，C2：正常摆臂(角度在ψ₁到ψ₂之间)，C3.大摆臂(角度在ψ₂以上)，其中ψ₂＞ψ₁；

将A、B、C中的类别进行排列组合共形成75个步态类别，如k1＝(A1,B1,C1)；k2＝(A1,B1,C2)；k3＝(A1,B1,C3)；…….k75＝(A5,B5,C3)；

S2：基于海量数据做实时或者完整足迹的步态类别学习，得到深度学习步态判定MA,MB,MC；

S3：定义步态与年龄关联性分类：根据事先大量的已知步态和年龄的带标签数据的统计结果，得到步态类别与年龄段的从属关系，如拥有k1类步态的年龄主要分布在20～30岁；

S4：将带有时间标签的实时足迹图像序列输入事先训练好的模型MA,MB,MC中；

S5：通过模型MA,MB,MC对足迹图像序列进行特征提取和分类，输出判定结果；由MA,MB,MC的判定结果确定步态类别；

S6：根据定义的步态与年龄关联性分类关系得到足迹图像反馈的年龄信息。

c)基于客观信息、客观校准信息与所呈现步态判断精神状态：

i.对于短时(少于一周)的步态年龄反馈：客观信息的年龄为x，校准信息为

步态挖掘的年龄为

ii.对于长时间(最少以周为单位)的步态年龄挖掘，记录每次步态反映的年龄，求平均值，得到测试对象的步态年龄

从而得到用户的实际呈现年龄x′，这里对呈现年龄做定义：当x′＞x，认为评价对象性格偏向稳重，差距越大越成熟，当x′＝x时，认为评价对象是同年龄应该有的步态，当x′＜x，认为评价对象心态十分乐观，差距越大越轻浮；

iii.结合短时与长时间的步态年龄做差异变化统计：

1)对连续N个短时的

组成步态年龄集合

计算与

的差异集合

3)统计dx_f大于0的频次，频次高代表该时间段内休息时间不足，导致不精神，累计小于0的频次，频次高代表该时间段内过于活跃，需要控制情绪，以免影响正常生活状态。

2.生活方式评估模块：评估模块的输入：带有时间标签的实时足迹图像序列(对于同一个人而言，不可能出现短时的多传感器采集图像集，故认为同人序列的图像来源是统一的，)，包括有压力反应与无压力反应两类图，评估对象的客观信息(用户自己录入的身高、年龄、体重、性别)。

a)计算体质指数BMI(BodyMassIndex)，依据指数做用户初始体态的评估(过轻、正常、肥胖、过重)；

b)通过客观信息来确认是否是女性，若为女性则进行c)，否则将高跟鞋判定标志置为0，进行d)；

d)假定高跟鞋标志为0，进行e)，假定高跟鞋标志为1，则通过运动状态统计来评估生活方式是否需要调整，具体判定方法是：将带有时间标签的实时足迹图像序列的运动状态的判定结果根据对应标记的采集时间的先后顺序进行排列，统计用户穿高跟鞋的累计时长，以及穿高跟鞋期间包含的运动状态。若穿高跟鞋累计时间长度超过m小时，则需要休息；若穿高跟鞋期间包含了跑的运动状态，则需要休息。

e)对生活方式做反馈，反馈依据是：

1)对实时足迹图像序列按照标记的采集时间的先后顺序进行排列，，对每种运动状态从属的时间段进行统计(如：8:20——8:30，用户在快跑，8:30——11:30，用户在坐着，12:20——13:30，用户在慢跑，13:30——17:30，用户在坐着，17:30——17:40，用户在静止站立……)，将每种运动状态从属的时间段进行累加得到一天内每种运动状态的持续时间(如用户每天跑40分钟；坐8小时，走1小时……)。

2)得到的用一天内每种运动状态的持续时间、评估对象的客观信息(用户自己录入的身高、年龄、体重、性别)，对用户的生活方式进行综合评估和原因分析。

3.饮食状态评估模型：评估模块的输入：带有时间标签的实时足迹图像序列(对于同一个人而言，不可能出现短时的多传感器采集图像集，故认为同人序列的图像来源是统一的)，包括有压力反应与无压力反应两类图，评估对象的客观信息(用户自己录入的身高、年龄、体重、性别)。

b)对短时的足迹序列做基于压力足迹的体重估计，每隔T幅图，估计一次体重w，每隔P小时做一次体重的平均，可以获得每天的体重数值集合w＝{w₁,w₂,w₃,...,w_i,...,w_R}，采集的天数越多，可以用每天的集合进行固定时刻的体重平均，得到用户每天稳定体重集合

i.对于任意时刻的估计体重

与平均体重集合中的同时刻体重

做差，得到体重差Δw_i；

iii.假如体重测定过程在用餐时间，则提醒少食高热量食物，否则提醒进行适量运动，减少零食热量摄入；

iv.假如体重测定过程在用餐时间，则提醒适当摄入高热量食物，多摄入高蛋白食物，否则提醒进行适当的塑身运动或者休息，尽量避免高强度活动。

4.综合分析得到的用户的饮食习惯、生活方式和精神状态的评估结果，得到若三项均未显示需要调整，则输出用户目前的生活状态为良好；否则，则输出用户目前的生活状态需要调整，并输出具体需要调整的项(饮食习惯、生活方式、精神状态中的一项、两项或者所有)及该项内的具体分析结果。

5.生成生活状态分析总结报告，包括1,2,3,4中得到的所有数据和结论；将所有获取到的足迹数据以及通过生活状态分析算法得到的所有生物特征数据和评估结果保存起来。不同用户的足迹数据可以用来重新训练深度学习网络，提高生物特征判定的准确性和可靠性；同一用户不同时段的人体生物特征数据可以用来做对比分析，给出用户生活状态的变化情况。

优选的，网络模型MA,MB,MC，具体模型训练过程如下；

A.训练深度学习步态脚部动作网络模型MA

b.制作赤足图像数据集；

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

(4)通过训练及验证结果调整网络：利用初始网络进行一次完整训练之后，用验证数据测试，假定步态脚部动作判定准确率不足N％，则认为网络结构需要调整；

B.训练深度学习步态腿部动作网络模型MB

b.制作赤足图像数据集；

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

C.训练深度学习步态摆臂情况网络模型MC

b.制作赤足图像数据集；

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

(5)通过训练及验证结果调整网络：利用初始网络进行一次完整训练之后，用验证数据测试，假定步态摆臂情况判定准确率不足N％，则认为网络结构需要调整；

d.根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的步态摆臂情况动作；

优选的，判断是否穿了高跟鞋的步骤是：

S1：基于海量数据和CNN做实时或者完整足迹的是否穿了高跟鞋类别学习，得到深度学习关于是否穿了高跟鞋判定网络模A，具体结构如下：

初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

S2：将带有时间标签的实时足迹图像序列输入事先训练好的模型A中；

S3：通过模型A对足迹图像序列进行特征提取和分类，输出A对每张足迹图像是否穿高跟鞋的判定结果；

实施例2

本实施例提供一种事先训练好的深度学习年龄网络模型B，具体是：

S1：获取赤足或者穿袜足迹图像数据，并对图像数据进行预处理；

S2：制作赤足图像数据集；

S3：数据训练与特征提取，此处使用改进的AlexNet网络，具体结构如下：

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

(2)通过训练及验证结果调整网络：利用初始网络进行一次完整训练之后，用验证数据测试，假定年龄判定准确率不足N％，则认为网络结构需要调整；

至此，获得训练好的基于CNN网络的赤足图像年龄判定模型MAge，FAge。其中，M开头为男性年龄判定模型；F开头为女性年龄判定模型，其中年龄模型以5岁为一个类；

S4：根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的年龄。

实施例3

本实施例提供一种事先训练好的深度学习体重网络模型C，具体是：

S2：制作赤足图像数据集；

1)将完成预处理的赤足图像数据集分为两个部分：

(1)训练集：用于深度学习的训练过程，每个赤足足迹数据采样带有从属体重信息，这个体重信息就是这个赤足或穿袜足迹的标签；

(2)验证集：用于验证深度学习结果的好坏。每个赤足或者穿袜足迹数据采样带有从属体重信息，但是验证集不参与训练，只是用来衡量体重判定的准确度

2)其中，各部分对数据的要求：

(1)验证集的数据维度不得高于训练集数据维度，待识别集的数据信息量不得高于训练集数据的信息量；

(2)要保证验证数据的信息完整性，有效信息数据维度不得低于识别数据集的特征维度；

(3)用于做训练的数据，每个人的数据，不同种类的至少10组(左右脚各5组)以上，训练的个体数量在万人级。

S3：数据训练与特征提取：整体按照两个阶段做训练与特征提取：

1)训练数据准备：

对已经完成预处理后的男性和女性训练集和验证集的二维图像数据，依照标签(从属体重信息)进行分组分类(整体的上下界由标准体重对照表得到，对于男性样本，对于女性样本，本实施例中可以用n＝5,k＝5进行解释说明)：

A组：0类：储存体重＜m(kg)的样本；1类：储存体重≥m(kg)的样本；

B1组：0类：储存体重＜m-5(kg)的样本；1类：储存体重≥m-5(kg)的样本；

B2组：0类：储存体重＜m-10(kg)的样本；1类：储存体重≥m-10(kg)的样本；

B3组：0类：储存体重＜m-15(kg)的样本；1类：储存体重≥m-15(kg)的样本；

B4组：0类：储存体重＜m-20(kg)的样本；1类：储存体重≥m-20(kg)的样本；

B5组：0类：储存体重＜m-25(kg)的样本；1类：储存体重≥m-25(kg)的样本；

C1组：0类：储存体重＜m+5(kg)的样本；1类：储存体重≥m+5(kg)的样本；

C2组：0类：储存体重＜m+10(kg)的样本；1类：储存体重≥m+10(kg)的样本；

C3组：0类：储存体重＜m+15(kg)的样本；1类：储存体重≥m+15(kg)的样本；

C4组：0类：储存体重＜m+20(kg)的样本；1类：储存体重≥m+20(kg)的样本；

C5组：0类：储存体重＜m+25(kg)的样本；1类：储存体重≥m+25(kg)的样本；

采用这种分组方式主要是因为经过实验得出利用足迹样本训练的网络对于2分类的正确率最高，分类结果更准确，另外使用多个2分类网络迭代的方式也可以减轻网络压力，简化网络结构，从而减小单个网络的训练难度。

2)分组进行基于CNN网络的训练，此处使用改进的AlexNet网络，网络改进如下：

(1)初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层。

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

各层网络参数：

conv1:卷积核大小：5*5；卷积核数量：16；卷积步长：2；权重初始化方式：xavier

pooling1:核大小：2*2；卷积步长：1

conv2:卷积核大小：3*3；卷积核数量：32；卷积步长：1；权重初始化方式：xavier

pooling2:核大小：2*2；卷积步长：1

conv3:卷积核大小：3*3；卷积核数量：64；卷积步长：1；权重初始化方式：xavier

conv4:卷积核大小：3*3；卷积核数量：128；卷积步长：1；权重初始化方式：xavier

fc5:神经元个数：1024；权重初始化方式：xavier

fc6:输出通道数：2；权重初始化方式：xavier

(2)通过训练及验证结果调整网络：

利用初始网络进行一次完整训练之后，用验证数据测试，假定体重判定准确率不足80％，则认为网络结构需要调整，调整方法如下：

对任意一幅图而言，将每层卷积层结果输出，用每层卷积的结果与其他图像的同层卷积结果做相关比对:

a.若某层级出现相关性明显变大的情况，则降低该层级以及其后端的卷积核尺寸，或

者直接将该层作为全连接层重新训练；

b.若相关性随层级深入，逐渐变高，但某层级后相关性变化不大，则直接将该层作为全连接层重新训练，简化模型；

c.若每层级的相关性均很小，则提高与输入层级接近的卷积核大小，或者增加卷积层数量，直至出现其他情况为止。

进行循环训练与测试，不断调整网络结构及参数，当测试结果中体重判定准确率大于80％则网络调整结束，保存训练得到的网络模型。

3)至此，获得训练好的基于CNN网络的赤足图像体重判定模型MA,MB1,MB2,MB3,MB4,MB5,MC1,MC2,MC3,MC4,MC5；FA,FB1,FB2,FB3,FB4,FB5,FC1,FC2,FC3,FC4,FC5。其中，M开头为男性体重判定模型；F开头为女性体重判定模型。

S4：体重判定：根据任意一张赤足或者穿袜足迹图像判定该图像的拥有者的体重；

体重判定步骤：首先用训练好的MA(FA)模型进行特征提取，规定距离最后端激活层最近的全连接层输出作为每幅图的特征，然后将此特征输入特征分类器softmax，输出赤足图像属于各个类别的概率，以此来判定赤足图像的拥有者的体重类别，然后根据判定出的类别决定继续使用MB(FB)或MC(FC)类的模型进行区间缩小，接着使用MB(FB)或MC(FC)类的模型重复进行特征提取、分类的过程，逐步缩小体重区间范围，根据各步骤的判别结果的相互关系给出赤足图像的拥有者的体重的具体数值：

1)输入：MA(FA)，待判定(测试)样本I，输出：I的拥有者的体重；

2)通过MA(FA)进行特征提取，得到I的分类特征Ma(Fa)；

3)将Ma(Fa)输入特征分类器softmax中，输出I属于各个类别(此处共2类)的概率；

4)选择概率值最大的类别作为待判定(测试)样本I的从属类别；

5)若经过模型MA(FA)得到的从属类别为0，则输入MB1(FB1)和待判定(测试)样本I，重复2)、3)、4)然后进行6)步；若得到从属类别为1，则输入MC1(FC1)和待判定(测试)样本I，重复2)、3)、4)然后进行7)步；

6)若经过模型MB1(FB1)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-5)/2(kg)；若从属类别0，则输入MB2(FB2)和待判定(测试)样本I，重复2)、3)、4)然后进行8)步；

7)若经过模型MC1(FC1)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+5)/2(kg)；若从属类别1，则输入MC2(FC2)和待判定(测试)样本I，重复2)、3)、4)然后进行9)步；

8)若经过模型MB2(FB2)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-15)/2(kg)；若从属类别0，则输入MB3(FB3)和待判定(测试)样本I，重复2)、3)、4)然后进行10)步；

9)若经过模型MC2(FC2)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+15)/2(kg)；若从属类别1，则输入MC3(FC3)和待判定(测试)样本I，重复2)、3)、4)然后进行11)步；

10)若经过模型MB3(FB3)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-25)/2(kg)；若从属类别0，则输入MB4(FB4)和待判定(测试)样本I，重复2)、3)、4)然后进行12)步；

11)若经过模型MC3(FC3)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+25)/2(kg)；若从属类别1，则输入MC4(FC4)和待判定(测试)样本I，重复2)、3)、4)然后进行13)步；

12)若经过模型MB4(FB4)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-35)/2(kg)；若从属类别0，则输入MB5(FB5)和待判定(测试)样本I，重复2)、3)、4)然后进行14)步；

13)若经过模型MC4(FC4)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+35)/2(kg)；若从属类别1，则输入MC5(FC5)和待判定(测试)样本I，重复2)、3)、4)然后进行15)步；

14)若经过模型MB5(FB5)得到的从属类别为1，则输出待判定(测试)样本I的拥有者的体重为(2m-45)/2＝42.5kg；若从属类别0，则输出待判定(测试)样本I的拥有者的体重小于40kg(30kg)；

15)若经过模型MC5(FC5)得到的从属类别为0，则输出待判定(测试)样本I的拥有者的体重为(2m+45)/2(kg)；若从属类别1，则输出待判定(测试)样本I的拥有者的体重大于90kg(80kg)。

实施例4

本实施例提供一种事先训练好的深度学习身高网络模型D，具体是：

S1：将赤足或穿袜足迹图像进行预处理；

A、赤足或穿袜足迹图像矫正：由于图像采集过程中，每个人站位不同导致图像有偏斜。应用PCA算法将赤足灰度图像进行旋转矫正。首先设定一个灰度阈值θ，然后对灰度图像的每一个像素进行遍历，如果灰度值大于θ，则将该像素的位置信息储存到特征矩阵中，具体是一个n行2列的矩阵，n的值等于该灰度图像中像素值大于θ的像素个数，第一列代表像素的位置信息，第二列代表位置信息。在此基础上对特征矩阵进行PCA运算可得到两个二维的特征向量，这两个特征向量相互正交，即为原图中足迹的两个方向向量，通过选择变换即可将图像矫正。

B、基于特征点的足迹分割：经过pca图像矫正后边缘处噪声也被相应的旋转至图像内部，因此在图像旋转后对其进行降噪处理。为了保证原图信息不损失，本实施例通过基于阈值的像素分割确定足迹边缘的四个关键点，足趾内缘突点，足趾外缘突点，足跟后缘突点，最长趾前缘突点，来确定足迹的大体位置，然后通过裁剪的方式，将边缘噪声裁剪掉，并将其补0。具体步骤如下：

SB1：将PCA矫正后图像作为输入input。

SB2：对图像input进行逐列扫描，并返回每列最大值，保存至M向量中。

SB3：搜索内外缘突点。

SB3.1：设定像素分割阈值θ；

SB3.2：对M向量从左至右依次扫描；

SB3.3：如果元素M_i＞θ，则终止扫描，并返回数值i记为i_l；

SB3.4：对M向量从右至左依次扫描；

SB3.5：如果元素M_i＞θ，则终止扫描，并返回数值i记为i_r。

SB4：对图像input进行逐行扫描，并返回每列最大值，保存至向量M中。

SB5：搜索前后缘突点。

SB5.1：设定像素分割阈值θ；

SB5.2：对M向量从上至下依次扫描；

SB5.3：如果元素M_i＞θ，则终止扫描，并返回数值i记为i_t；

SB5.4：对M向量从下至上依次扫描；

SB5.5：如果元素M_i＞θ，则终止扫描，并返回数值i记为i_b。

SB6：通过i_b，i_t，i_l，i_r四个关键点对足迹图像进行裁剪。

SB7：结束。

S2：对预处理后图像的进行身高段分类，所述身高段分类具体包括：

S21：将身高数据离散化：首先男性和女性的身高在分布上有很大差别，因此所构建的预测模型将男性和女性分别研究。其次将人群按照不同身高段进行分类。本实施例根据身高段不同将男性分为五组，将女性也分为五组。对于不在以下身高段的人群暂不研究，分类的图表如表1所示：

表1身高分类区间

男	身高	女	身高	编码
					M1	[165,170)	W1	[150,155)	[1,0,0,0,0]
M2	[170,175)	W2	[155,160)	[0,1,0,0,0]
					M3	[175,180)	W3	[160,165)	[0,0,1,0,0]
M4	[180,185)	W4	[160,170)	[0,0,0,1,0]
					M5	[185,190)	W5	[170,175]	[0,0,0,0,1]

S22:制作数据集,将完成预处理的数据集分为两类，男性数据和女性数据。针对每一类，又各自定义两个部分：

a)训练集：用于深度学习用，每个赤足或者穿袜足迹数据采样带有从属身高信息(标签)；

b)验证集：用于验证深度学习结果的好坏，每个赤足或者穿袜足迹数据采样带有从属身高信息(不参与训练用来衡量体重判定的准确度)。

S23：构建身高分类网络；使用训练集的数据针对男性和女性分别构建一个基于Alexnet网络架构的卷积神经网络，对赤足或穿袜足迹图像进行分类；该网络输入为赤足或穿袜足迹图像，输出为属于某一个身高段的概率值。网络结构参数如表2所示。各层之间激活函数我们采用Relu激活函数(Rectifiedlinearunit,修正线性单元)，各层参数初始化采用截断正态分布进行，其均值为0，方差为0.1，该网络采用自适应学习率优化算法Adadelta进行优化，学习率为η＝0.5，动量参数为γ＝0.9。

表2改进Alexnet各层网络参数

这里，Conv代表卷积层，Max_pooling代表池化层，Fc代表全连接层。

S24：基于区间概率进行身高判断，在身高分类网络中通过一个改进的AlexNet卷积神经网络，得到的赤足或穿袜足迹图像属于某个身高段的概率值，在此基础上基于各个区间的概率值，对区间合并，使用验证集来预测该赤足或穿袜足迹的身高范围；设身高区间为M＝{m₁,m₂,...,m₅}，隶属于各个区间的概率为P＝{p₁,p₂,...,p₅}，则最后预测的身高区间为

分别表示区间m_i的上边界和下边界；

实施例5

本实施例提供一种事先训练好的深度学习运动状态网络模型F，具体是：

S1：对运动状态类别做定义(如分为4类走，跑，静止站立，坐)；

S2：基于海量数据做实时或者完整足迹的运动状态类别学习，得到深度学习运动状态判定网络模型F，具体结构是：

初始网络：

网络构成：4层卷积层，2层池化层，2层全连接层；

网络连接：

conv1+pooling1+relu→conv2+pooling2+relu→conv3+relu→conv4+relu→fc5→fc6

S3：将带有时间标签的实时足迹图像序列输入事先训练好的模型F中；

S4：通过模型F对足迹图像序列进行特征提取和分类，输出F对每张足迹图像的运动状态判定结果；

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims

1.一种能够获取人体生活状态的足迹系统，其特征在于，包括：

综合评估模块，综合分析用户的饮食习惯、生活方式和精神状态的评估结果，若三项均未显示需要调整，则输出用户目前的生活状态为良好；否则，则输出用户目前的生活状态需要调整，并输出具体需要调整的项及该项的具体分析结果；

所述精神状态评估模块、生活方式评估模块、饮食状态评估模块输入带有时间标签的实时足迹图像序列，所述实时足迹图像序列，包括有压力反应图与无压力反应图，根据有压力反应图与无压力反应图评估用户事先录入的客观信息，所述客观信息，包括用户录入的身高、年龄、体重、性别。

2.根据权利要求1所述一种能够获取人体生活状态的足迹系统，其特征在于，上述系统，还包括生成生活状态分析总结报告模块，将所有获取到的足迹数据、生物特征数据和评估结果保存起来；不同用户的足迹数据能用来重新训练深度学习网络，提高生物特征判定的准确性和可靠性；同一用户不同时段的人体生物特征数据能用来做对比分析，给出用户生活状态的变化情况。

3.根据权利要求1所述一种能够获取人体生活状态的足迹系统，其特征在于，精神状态评估模块，包括：

a)基于CNN网络的客观校准信息，具体是：

i.预处理：序列图的整合，将实时足迹转化为完整足迹；

ii.利用预训练好的模型做身高、年龄、体重的判定，超过阈值则进行修正；

b)基于足迹的步态信息挖掘，具体是：

i.定义步态类别；

iii.定义步态与年龄关联性分类；

vi.根据定义的步态与年龄关联性分类关系得到足迹图像反馈的年龄信息；

c)基于客观信息、客观校准信息与所呈现步态判断精神状态；

上述MA为训练深度学习步态脚部动作网络模型，MB为训练深度学习步态腿部动作网络模型，MC为训练深度学习步态摆臂情况网络模型。

4.根据权利要求3所述一种能够获取人体生活状态的足迹系统，其特征在于，判断精神状态的具体步骤是：

i.对于短时间段的步态年龄反馈：客观信息的年龄为x，校准信息为