CN113887335B - 基于多尺度时空层级网络的跌倒风险实时评估系统和方法 - Google Patents
基于多尺度时空层级网络的跌倒风险实时评估系统和方法 Download PDFInfo
- Publication number
- CN113887335B CN113887335B CN202111068519.XA CN202111068519A CN113887335B CN 113887335 B CN113887335 B CN 113887335B CN 202111068519 A CN202111068519 A CN 202111068519A CN 113887335 B CN113887335 B CN 113887335B
- Authority
- CN
- China
- Prior art keywords
- risk
- time
- layer
- sample
- samples
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012216 screening Methods 0.000 claims abstract description 18
- 230000005021 gait Effects 0.000 claims description 57
- 238000012502 risk assessment Methods 0.000 claims description 52
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 18
- 238000013527 convolutional neural network Methods 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 16
- 230000006978 adaptation Effects 0.000 claims description 13
- 238000012360 testing method Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 7
- 239000013598 vector Substances 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 3
- 125000002015 acyclic group Chemical group 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 7
- 230000006870 function Effects 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000007774 longterm Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 206010017577 Gait disturbance Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Signal Processing (AREA)
- Probability & Statistics with Applications (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明涉及可穿戴计算领域，为基于多尺度时空层级网络的跌倒风险实时评估系统和方法，包括数据预处理模块、层级评估网络、批次转换与投票机制模块，其中层级评估网络包括第一层跌倒风险评估模块、多尺度时空特征提取模块和第二层跌倒风险评估模块，其中第二层跌倒风险评估模块包括对抗域适应结构和样本跌倒风险输出结构。本发明为高风险样本提供二次筛选的机会，减小高风险样本漏检的概率，同时优化模型在跨被试情景下面对未知样本的表现，并且利用少步态数据进行投票，实现实时评估的目的。
Description
技术领域
本发明涉及可穿戴计算领域，具体涉及基于多尺度时空层级网络的跌倒风险实时评估系统和方法。
背景技术
跌倒作为全球范围内老年人意外受伤最常见的原因之一，具有发生频率高、治疗费用高、康复时间长等特点，严重影响老年人的健康与日常生活。长期实时地监测跌倒风险能有效降低老年人跌倒的发生率，提高老年人的生活质量。目前国内外常用评估老年人跌倒风险的传统方法包括观察、量表问卷和运动功能测试等，受场地和费用的影响无法长期实时地对老年人的跌倒风险进行评估。而传感器和可穿戴技术发展迅速，可穿戴设备具有小型化和便携的特点，适合长期穿戴并可实时、远程评估老年人的跌倒风险，节省成本。
深度学习在评估跌倒风险的少步态实时性上有突破性进展，目前机器学习的方法需要通过对多步态的数据进行人工特征提取，在实时性上有所不足，且需要先验知识和经验。现有的基于深度学习方法的跌倒风险评估多采用惯性传感器(IMU)部署在身体的多个部位，不利于长期穿戴，舒适性低，并且没有关注高风险样本漏检的危害性；一些方法没有考虑跨被试的应用场景，无法确保在面对未知样本时同样表现优异；同时目前没有方法针对足底压力的跌倒风险评估模型在跨被试场景中进行建模，未充分利用足压监测的舒适性、便携性和足压信息与跌倒风险的关联性。
发明内容
为解决现有技术所存在的技术问题，本发明提供基于多尺度时空层级网络的跌倒风险实时评估系统和方法，通过层级网络为高风险样本提供二次筛选的机会，减小高风险样本漏检的概率，并基于实际生理意义提取多尺度足压时空特征，同时优化模型在跨被试情景下面对未知样本的表现，并且利用少步态数据进行投票，实现实时评估的目的。
本发明评估系统采用以下技术方案来实现：基于多尺度时空层级网络的跌倒风险实时评估系统，包括：数据预处理模块、层级评估网络、批次转换与投票机制模块，其中层级评估网络包括第一层跌倒风险评估模块、多尺度时空特征提取模块和第二层跌倒风险评估模块；
数据预处理模块，用于对采集到的原始足压数据进行步态切分、归一化处理，通过重叠两个步态来扩充足压数据量，得到若干个包含三个步态的少步态足压数据；
第一层跌倒风险评估模块，用于对预处理后的少步态足压数据进行第一次跌倒风险评估分类，筛选出高风险样本、低风险样本和临界样本，筛选出来的高风险样本样本直接输出等待批次转换，筛选出来的低风险样本和临界样本输入多尺度时空特征提取模块；
多尺度时空特征提取模块，用于对筛选出来的低风险样本和临界样本提取多尺度时空特征，作为第二层跌倒风险评估模块的输入；
第二层跌倒风险评估模块，用于对输入的多尺度时空特征行对抗域适应的训练，减少足压数据个体差异，筛选出高风险样本、低风险样本，输出结果等待批次转换；
批次转换与投票模块在样本跌倒风险输出结构之后，用于接收来自第一层跌倒风险评估模块与第二层跌倒风险评估模块的样本分类结果，按照时间顺序以S个样本为一批进行划分批次，并以预定的阈值P对各个批次进行投票分类。
本发明评估方法在本发明的跌倒风险实时评估系统的基础上实现，包括以下步骤：
步骤1、对采集到的原始足压数据进行步态切分、归一化处理，通过重叠两个步态扩充数据量，得到若干个包含三个步态的少步态足压数据；
步骤2、对预处理后的少步态足压数据进行第一次跌倒风险评估分类，筛选出高风险样本、低风险样本和临界样本，筛选出来的高风险样本直接输出等待批次转换；
步骤3、对筛选出来的低风险样本和临界样本提取多尺度足压时空特征；
步骤4、对输入的多尺度时空特征行对抗域适应的训练，减少足压数据个体差异，筛选出高风险样本、低风险样本，输出结果等待批次转换；
步骤5、两次跌倒风险评估结果按照时间序列排列，以7个样本为一批进行划分，批次之间不重叠；每一个批次以50％的阈值独立进行投票，得到并实时输出相应批次的七个样本的风险评估结果：高风险批或低风险批。
本发明与现有技术相比，具有如下优点和有益效果：
1、本发明通过层级网络对老年人跌倒风险进行评估，双层评估模块与样本标签的重新定义降低了高风险样本漏检的概率，为高风险样本提供了二次筛选的机会，为模型自身提供了自我纠错的能力，不是简单地进行单次二分类，减小实际应用时的危害。
2、本发明通过使用域适应的深度学习方法实现基于足底压力数据的跌倒风险评估系统和方法，省去了构造特征工程所需的成本且避免了有限的先验知识对模型评估能力的限制，在老年人跨被试上进行跌倒风险评估，面对未知样本时的泛化能力能够得到保证。
3、本发明在第二层跌倒风险评估模块的输入提取了多尺度足压时空特征，相较于传统的固定卷积尺寸，本发明的多尺度卷积尺寸与实际生理意义相结合，具有一定的可解释性，并且能够更加全面地反映足底压力的信息。
4、本发明使用三个步态作为样本长度，在批次转换与投票模块以7个样本作为一批进行投票，与传统机器学习方法相比，九个步态大大减少所需数据量，能够实时少步态地反馈老年人跌倒风险，可以及时地对老年人进行提示和预警，提高其生活质量。
附图说明
图1是本发明实施例中老年人跌倒风险实时评估系统的结构框图；
图2是本发明实施例中标签分析的流程图；
图3是本发明实施例中的足压时空域特征提取示意图；
图4是本本发明实施例中多尺度足压时空特征输入对抗域适应结构的示意图；
图5是本发明实施例中的层级评估网络结构流程示意图。
具体实施方式
下面将结合附图和实施例，对本发明技术方案做进一步详细描述，显然所描述的实施例是本发明一部分实施例，而不是全部的实施例，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明建立了连续足压-跌倒风险数据库，纳入48位65岁以上老年人的足压数据，标签由Berg量表、TUGT、半年及一年内跌倒史共同确定。其中，Berg量表也称为BergBalance Scale(BBS)，通过14个科学动作评估受试者的平衡能力，得分越低受试者的平衡能力越差，跌倒风险越大；TUGT全称为Timed Up and Go Test，通过记录受试者从椅子坐立态开始起身往返3米距离并重新坐于椅子这个过程的总时间，用于评估受试者的跌倒风险，用时越长受试者的跌倒风险越高。
实施例
如图1所示，本实施例为基于多尺度时空层级网络的跌倒风险实时评估系统，包括数据预处理模块、层级评估网络、批次转换与投票机制模块，其中层级评估网络包括第一层跌倒风险评估模块、多尺度时空特征提取模块和第二层跌倒风险评估模块，其中第二层跌倒风险评估模块包括对抗域适应结构和样本跌倒风险输出结构。本实施只需输入在时序上连续排列的七个样本(九个步态数据)的十六通道足压数据，并在输出端按照预定阈值进行投票，即可输出该批数据下的跌倒风险，可以在长期的足压数据采集过程中实时地反馈跌倒风险，大大减少特征工程所需的工程量和传统监测所需成本，为高风险样本提供二次评估的机会，减小高风险样本漏检的概率，同时优化模型在跨被试情景下面对未知样本的表现，并且利用少步态数据进行投票，实现实时评估的目的。
数据预处理模块用于对采集到的原始足压数据进行步态切分、归一化处理，通过重叠两个步态来扩充足压数据量，得到若干个包含三个步态的少步态足压数据。通过二阶差分法提取完整步态的起始点，识别出每一个步态的时间轴坐标，基于该坐标数据以窗口长度为三个步态的滑动窗口对原始足压数据进行切分，每一个窗口包含16个通道的三步时序信号，对每一个通道分别进行归一化处理，将原始足压数据通过归一化映射到[0,1]范围内。另外通过重叠两个步态扩充足压数据量，即每一个样本包含三个步态的少步态足压数据(以此类推，连续两个样本包含4个少步态足压数据)，以实现根据足压数据进行跌倒风险评估模型的实时监测与及时反馈，最终输入层级评估网络的数据为若干个包含三个步态的足压数据样本。
本实施例基于自建的老年人跌倒风险数据集进行测试，纳入数据集的标准为65岁以上能独立行走且无特殊疾病的老年人，采集每一位老年人2分钟以上正常行走过程的足压数据，最终建立48人的数据集。采集足压数据的可穿戴设备为智能鞋系统，包含单脚设有8个柔性传感器的传感鞋垫、数据传输模块等结构，以20Hz的采样频率进行数据采集。本实施例将16个通道的足压数据纵向排列为16×L的二维张量，L代表足压信号在时间上的长度，每一行代表一个传感器在时序上的连续足压信号。
跌倒风险是一类需要长期监测的生理特征，常见的显性诱因有光线昏暗、路面不平、下肢肌肉力量不足等，隐性诱因包括不易察觉的步态不平衡，因此通过长期监测老年人的足底压力数据，可以全面地反映其步态状况，进而及时反馈跌倒风险。具有跌倒高风险的老年人并非行走过程中的每一个步态都为风险步态，而是同时包含正常步态与异常步态。因此通过少步态的实时评估(局部数据)不会忽略这些异常步态，若使用长时间段的数据(全局数据)作为输入则有可能导致关键异常信息被忽略，进而识别不出高风险样本。
基于此，本实施例中从各个老年人的足压数据进行3个步态长度的划分，输入二维张量调整尺寸至16*69。以少步态的数据进行模型训练，实际应用时即可频率更高地实时反馈跌倒风险，解决关键风险信息被忽略的问题。
第一层跌倒风险评估模块采用偏置卷积神经网络CNN，用于对预处理后的少步态足压数据进行第一次风险评估，将易于区分的高风险样本进行一次筛选，被识别为高风险样本的数据直接输出至样本跌倒风险输出结构等待批次转换，剩余未被识别出的高风险样本、低风险样本和临界样本(包含高风险样本与低风险样本)输入多尺度时空特征提取模块进行多尺度时空特征提取。第一层跌倒风险评估模块为二分类任务：类别1)高风险样本、类别2)低风险样本及临界样本。
具体地，第一层跌倒风险评估模块采用的偏置卷积神经网络CNN由两层卷积池化结构和全连接层构成，两层卷积池化结构的每一层都连接BN层和LeakyReLU层；全连接层为展开的384维特征向量，包含1个维度为100的隐层和一个输出层，输出层采用sofmax函数进行二分类，输出层经过有两个输出节点，分别为高风险与非高风险(低风险及临界样本)。
本实施例中，识别为高风险的样本直接进入样本跌倒风险输出结构，未被评估为高风险的样本进入多尺度时空特征提取模块和第二层跌倒风险评估模块进行二次评估，确保高风险样本能够筛选出来。在层级网络的第一层跌倒风险评估模块中被错分的低风险样本与临界样本，虽然在实际应用中危害性不如高风险被漏检的危害性大，但同样会影响模型的分类表现和泛化性能，因此在第一层跌倒风险评估模块的关键任务是减小低风险样本和临界样本被错分的概率。
偏置卷积神经网络CNN的建模方法包括步骤：对传统的二值交叉熵损失函数添加偏重因子t进行优化，使得高风险部分的损失函数权重增大，并通过实验对比得到最优的权重因子，使卷积神经网络CNN在训练过程中偏向于将输入样本识别为非高风险样本，降低输入的低风险样本在第一层跌倒风险评估模块被错检为高风险样本而直接输出网络的概率，降低该类错误对整体模型造成的影响。
具体地，采用反向传播算法训练偏置卷积神经网络CNN，优化器采用Adam优化器，学习率设置为0.001，并实行学习率衰减操作，batchsize设置为32，epoch设置为30，损失函数选择优化后的二值交叉熵函数。训练时使用的偏置二值交叉熵函数如下：
L1(p,q)＝-plogq-(1-p)(1-logq)×t，t∈(1,∞)
其中，p为风险标签，q为输出的预测结果，t为偏重因子，t∈(1,∞)，考虑工作量，t取1至20的正整数，其中通过t从1到20的实验中发现当t＝19时，效果最优。t为一大于1的正实数，增大损失函数中第二项的权重，使第一层跌倒风险评估模型的训练过程中偏向于将第二项最小化，进而使分类趋向于正常样本，从而在第一层跌倒风险评估模型减小样本被分为高风险样本的概率，减小正常样本错分的几率，通过不断调整t的取值，确定最优的损失函数方程。高风险样本即使被错分，也可通过第二层跌倒风险评估模型进行修正。
本实施例中，在第一、第二层跌倒风险评估模块均采用LOSO(Leave-One-Subject-Out)进行测试，即训练过程中循环留出一个老年人的所有数据作为测试集，剩余老年人的足压数据作为训练集进行训练，训练集与测试集无重合部分，避免信息泄露，以此实现跨被试测试的目的，验证实际应用中模型面对未知样本时的泛化能力。
如图2所示，为风险标签分析的流程图。临界样本是根据老人的Berg量表得分、TUGT结果与既往跌倒史结论所表示的风险等级是否一致筛选得出，表示为其Berg量表得分标签与TUGT结果、既往跌倒史结论所表示的风险等级不一致的一批样本。其中，筛选标准如下：以Berg量表得分作为主要标签，依据该老年人的连续足压数据定义其跌倒风险等级，以40分为阈值判断是高风险还是低风险，Berg量表得分大于40分的为低风险，Berg量表得分小于40分的为高风险；TUGT结果定义：根据研究和参与者的不同，划分为高风险跌倒的阈值时间各不相同，本实验中划分TUGT大于18s的为高风险，TUGT小于18s的为低风险；既往跌倒史结论定义：具有既往跌倒史的为高风险，不具有既往跌倒史为高风险；若Berg量表得分与TUGT结果、跌倒史结论所表示的风险等级不一致，则将该样本在第一层评估模块中确定为临界样本，若一致，则保留原始标签。其中通过主要标签方法Berg量表得分确定该受试者真实的跌倒风险等级，辅助标签方法为综合TUGT与既往跌倒史的情况，共同确定Berg量表得分为38-47之间的样本为临界样本。为了保证整体模型的准确率与易检性，在第一层跌倒风险评估模块中将临界样本与低风险样本进行组合，使偏置卷积神经网络CNN能够更准确识别出部分易于区分的高风险样本。
多尺度时空特征提取模块MS(Multi-ScaleSpatio-temporal FeatureExtraction)用于结合双足行走过程中的实际生理意义，对第一层跌倒风险评估模块输出的其未识别出的高风险样本、低风险样本和临界样本(包含高风险样本与低风险样本)进行提取多尺度足压时空特征，提取的多尺度足压时空特征输入第二层跌倒风险评估模块进行对抗域适应的训练。多尺度足压时空特征包括：单足单传感器时序特征、单足多传感器时序特征、双足多传感器时空特征。
时空特征与双足行走过程中的实际生理意义相结合的解释如下：单足单传感器时序特征表征老年用户行走过程中单足某一个点在时间上的特征，共包括十六个传感器通道的时序特征，如大拇指区域在三个步态时间内的压力变化特征；单足多传感器时序特征表征老年用户行走过程中单足某一片区域在时间上的特征，共包括左右脚两类时序特征，如整个前脚掌区域在多步态之间的关联特征；双足多传感器时空特征表征老年用户行走过程中双足多传感器在空间上的特征和双足多传感器在时序上的特征，如左右脚在空间上的对称性、脚后跟区域在连续多个步态上的一致性等。
如图3所示，本实施例中，多尺度时空特征提取模块包含三个不同尺度的卷积核：1×20、8×4、16×2，分别提取单足单传感器时序特征、单足多传感器时序特征、双足多传感器时空特征。1×20一维卷积核的步长设置为1，可提取每个传感器通道的时序特征，表示卷积核视野包含单只脚某个传感器在时序上20个采样点的范围；8×4矩形卷积核的步长设置为8，可提取左右足各自的空间特征即左右足8通道之间的关联特征，表示卷积核视野包含某只脚所有传感器在时序上4个采样点的范围；16×2矩形卷积核可提取双足空间上的关联性，以三个维度的尺寸进行较为全面的特征提取，保证有效信息的抓取，表示卷积核视野包含两只脚所有传感器在时序上2个采样点的范围，基于此全面地提取了足压信号的时空特征。提取后的多尺度时空特征作为输入进入第二层跌倒风险评估模块。
第二层跌倒风险评估模块，用于对输入的多尺度时空特征行对抗域适应的训练，减少足压数据个体差异，筛选出高风险样本、低风险样本，输出结果等待批次转换。其包括对抗域适应结构DG-DANN(Domain Generation on Domain Adaptive Neural Network)和样本跌倒风险输出结构。不同的老年人具有各自独有的特征，如体重、足底形态、行走习惯、发力方式等，这些个体差异的存在，会导致传统模型在不同老年人评估时准确率低，泛化性能差。对抗域适应结构将域分类器与梯度反转层全连接，使其反向传播过程中梯度反转，通过标签分类器Cl(Label Classifier)与域分类器Cd(Domain Classifier)的对抗中拉齐样本的特征分布，混淆样本的特征分布，缩小不同老年人之间在特征空间中特征向量的距离，减小足压数据的个体差异，对在第一层跌倒风险评估模块中未被识别为高风险的样本进行第二次跌倒风险评估并输出结果，为高风险样本提供了二次筛选机会，减小漏检概率。样本跌倒风险输出结构实时接收来自第一、第二层跌倒风险评估模块的输出，按照时间顺序将样本的结果进行排列，每一个受试者的所有样本都各自对应一个风险评估结果。第二层跌倒风险评估模块为二分类任务：类别1)高风险样本；类别2)低风险样本。其中输入的临界样本返回为其原始标签，即高风险或低风险。
进一步地，本实施例中，对对抗域适应结构DG-DANN进行了优化，通过不同尺寸的卷积核提取双足与单足的时空特征作为对抗域适应结构的输入，分别输入标签分类器Cl与域分类器Cd，其中域分类器后连接梯度反转层，用于反向传播时梯度取反，两个分类器的损失函数相加作为第二层分类器的总损失函数，训练好的标签分类器用于测试。
具体地，把多尺度时空特征提取模块提取的特征向量feature f分别输入两个子网络：标签分类器Cl与域分类器Cd，两个分类器分别得到两个loss函数，记为loss Ly和lossLd。其中前向传播中特征提取器抓取的k个足压特征为feature f特征向量。函数loss Ly表示如下：
Ly(p,q)＝-(p(n)logq(n)+p(h)logq(h))
其中，p(n)与p(h)分别表示足压训练样本中低风险与高风险的概率，q(n)与q(h)分别代表输出预测为低风险与高风险的概率。在域分类器Cd中为多分类任务，即需要判断每一个足压数据属于哪一个受试者，其中输出的所有概率和为1，将概率最大的类别作为最终的输出，函数Ld表示如下：
其中，ci为训练样本空间中的第i个域分布，即某一个足压样本的域标签，目标分布为p(ci)，预测分布为q(ci)，zi为前向传播中特征提取器抓取的k个足压特征，称为feature f特征向量，共k维，表示为zi，i＝1,2,…k，其中p(ci)定义为：
其中e为一个无限不循环小数。
在域分类器前添加一层梯度反转层，使反向传播时梯度反转，令足压数据无法分辨自身来自于哪一个受试者，最终整个模型的训练结果令损失函数下降，带来两个趋势，其一是增大Ld，即混淆样本之间领域的分布，其二是减小Ly，提升风险分类的准确度。在对抗的情况下，减小被试域分布的差异被识别的可能性，在一定程度上让模型达到了跨被试的效果。
进一步地，本实施例采用反向传播算法训练对抗域适应足压分类网络，优化器采用Adam优化器，训练30个epoch，学习率设置为0.001，并实行学习率衰减操作，batchsize设置为32。
批次转换与投票模块在样本跌倒风险输出结构之后，用于接收来自第一层跌倒风险评估模块与第二层跌倒风险评估模块的样本分类结果，以步态的时间顺序将各样本进行排列，将按照时间顺序排列的样本构建成投票批次，以S个样本作为一批，S∈[3,11]，直至留一的测试受试者数据全部遍历完毕。基于划分好的投票批次，各个批次独立进行投票分类，根据投票阈值P将该批所有样本分为高风险批次或者低风险批次，其中P∈[10％,70％]。
优选地，S＝7、P＝50％，即在七个样本中，若高风险样本个数大于或等于四个，则该批被识别为高风险批，若低风险样本个数大于或等于四个，则该批被识别为低风险批。基于此，老年人将能够在九步中即时得到一个跌倒风险评估结果，并不断累积更新，实现了跌倒风险评估的实时性。
基于相同的发明构思，本实施例还提出基于多尺度时空层级网络的跌倒风险实时评估方法，包括以下步骤：
步骤1、对采集到的原始足压数据进行步态切分、归一化处理，通过重叠两个步态扩充数据量，得到若干个包含三个步态的少步态足压数据；
步骤2、对预处理后的少步态足压数据进行第一次跌倒风险评估分类，筛选出高风险样本、低风险样本和临界样本，筛选出来的高风险样本样本直接输出等待批次转换；
步骤3、对筛选出来的低风险样本和临界样本提取多尺度足压时空特征；
步骤4对输入的多尺度时空特征行对抗域适应的训练，减少足压数据个体差异，筛选出高风险样本、低风险样本，输出结果等待批次转换；
步骤5、两次跌倒风险评估结果按照时间序列排列，以7个样本为一批进行划分，批次之间不重叠；每一个批次以50％的阈值独立进行投票，得到并实时输出相应批次的七个样本的风险评估结果：高风险批或低风险批。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (7)
1.基于多尺度时空层级网络的跌倒风险实时评估系统，其特征在于，包括：数据预处理模块、层级评估网络、批次转换与投票机制模块，其中层级评估网络包括第一层跌倒风险评估模块、多尺度时空特征提取模块和第二层跌倒风险评估模块；
数据预处理模块，用于对采集到的原始足压数据进行步态切分、归一化处理，通过重叠两个步态来扩充足压数据量，得到若干个包含三个步态的少步态足压数据；
第一层跌倒风险评估模块，用于对预处理后的少步态足压数据进行第一次跌倒风险评估分类，筛选出高风险样本、低风险样本和临界样本，筛选出来的高风险样本直接输出等待批次转换，筛选出来的低风险样本和临界样本输入多尺度时空特征提取模块；
多尺度时空特征提取模块，用于对筛选出来的低风险样本和临界样本提取多尺度时空特征，作为第二层跌倒风险评估模块的输入；
第二层跌倒风险评估模块，用于对输入的多尺度时空特征行对抗域适应的训练，减少足压数据个体差异，筛选出高风险样本、低风险样本，输出结果等待批次转换；
批次转换与投票模块在样本跌倒风险输出结构之后，用于接收来自第一层跌倒风险评估模块与第二层跌倒风险评估模块的样本分类结果，按照时间顺序以S个样本为一批进行划分批次，并以预定的阈值P对各个批次进行投票分类；
第一层跌倒风险评估模块采用偏置卷积神经网络CNN，由两层卷积池化结构和全连接层构成，两层卷积池化结构的每一层都连接BN层和LeakyReLU层；全连接层为展开的384维特征向量，包含隐层和输出层，输出层采用sofmax函数进行二分类；
第二层跌倒风险评估模块，包括对抗域适应结构、样本跌倒风险输出结构；对抗域适应结构通过标签分类器与域分类器的对抗消除足压数据的个体差异，样本跌倒风险输出结构接收来自第一、第二层跌倒风险评估模块的输出，按照时间顺序将样本的结果进行排列；
对抗域适应结构把不同尺寸的卷积核提取双足与单足的时空特征分别输入标签分类器与域分类器，域分类器后连接梯度反转层，用于反向传播时梯度取反，标签分类器的损失函数与域分类器的损失函数相加作为第二层分类器的总损失函数，训练好的标签分类器用于测试；
标签分类器的损失函数Ly表示如下：
Ly(p,q)＝-(p(n)logq(n)+p(h)logq(h))
其中，p(n)与p(h)分别表示足压训练样本中低风险与高风险的概率，q(n)与q(h)分别代表输出预测为低风险与高风险的概率；
域分类器的损失函数Ld表示如下：
其中，ci为训练样本空间中的第i个域分布，即某一个足压样本的域标签，目标分布为p(ci)，预测分布为q(ci)，zi为前向传播中特征提取器抓取的k个足压特征，称为feature f特征向量，共k维，表示为zi，i＝1,2,…k，其中p(ci)定义为：
其中，e为一个无限不循环小数。
2.根据权利要求1所述的跌倒风险实时评估系统，其特征在于，对采集到的原始足压数据进行步态切分、归一化处理包括步骤：
通过二阶差分法提取完整步态的起始点，识别出每一个步态的时间轴坐标，基于该坐标数据以窗口长度为三个步态的滑动窗口对原始足压数据进行切分，每一个窗口包含若干个通道的三步时序信号，对每一个通道分别进行归一化处理，将原始足压数据通过归一化映射到[0,1]范围内。
3.根据权利要求1所述的跌倒风险实时评估系统，其特征在于，偏置卷积神经网络CNN的建模方法包括步骤：对二值交叉熵损失函数添加偏重因子t进行优化，使得高风险部分的损失函数权重增大，通过不断调整t的取值得到最优的二值交叉熵损失函数方程。
4.根据权利要求3所述的跌倒风险实时评估系统，其特征在于，二值交叉熵损失函数如下：
L1(p,q)＝-plogq-(1-p)(1-logq)×t，t∈(1,∞)
其中，p为风险标签，q为输出的预测结果，t为偏重因子，t为一大于1的正实数，增大损失函数中第二项的权重，通过不断调整t的取值，确定最优的损失函数方程。
5.根据权利要求1所述的跌倒风险实时评估系统，其特征在于，多尺度时空特征提取模块包含三个不同尺度的卷积核：1×20、8×4、16×2，分别用于提取单足单传感器时序特征、单足多传感器时序特征、双足多传感器时空特征。
6.根据权利要求1所述的跌倒风险实时评估系统，其特征在于，S为3-11，阈值P为10％-70％。
7.基于多尺度时空层级网络的跌倒风险实时评估方法，其特征在于，所述评估方法基于权利要求1所述的评估系统实施，包括以下步骤：
步骤1、对采集到的原始足压数据进行步态切分、归一化处理，通过重叠两个步态扩充数据量，得到若干个包含三个步态的少步态足压数据；
步骤2、对预处理后的少步态足压数据进行第一次跌倒风险评估分类，筛选出高风险样本、低风险样本和临界样本，筛选出来的高风险样本直接输出等待批次转换；
步骤3、对筛选出来的低风险样本和临界样本提取多尺度足压时空特征；
步骤4对输入的多尺度时空特征行对抗域适应的训练，减少足压数据个体差异，筛选出高风险样本、低风险样本，输出结果等待批次转换；
步骤5、两次跌倒风险评估结果按照时间序列排列，以7个样本为一批进行划分，批次之间不重叠；每一个批次以50％的阈值独立进行投票，得到并实时输出相应批次的七个样本的风险评估结果：高风险批或低风险批。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111068519.XA CN113887335B (zh) | 2021-09-13 | 2021-09-13 | 基于多尺度时空层级网络的跌倒风险实时评估系统和方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111068519.XA CN113887335B (zh) | 2021-09-13 | 2021-09-13 | 基于多尺度时空层级网络的跌倒风险实时评估系统和方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113887335A CN113887335A (zh) | 2022-01-04 |
| CN113887335B true CN113887335B (zh) | 2024-04-02 |
Family
ID=79009237
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111068519.XA Active CN113887335B (zh) | 2021-09-13 | 2021-09-13 | 基于多尺度时空层级网络的跌倒风险实时评估系统和方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113887335B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114694252B (zh) * | 2022-03-30 | 2023-04-28 | 电子科技大学 | 一种老年人跌倒风险预测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110367991A (zh) * | 2019-06-27 | 2019-10-25 | 东南大学 | 一种老年人跌倒风险评估方法 |
| CN111801939A (zh) * | 2018-02-20 | 2020-10-20 | 电子护理公司 | 用于实时跌倒风险评估的经连接自助服务终端 |
| CN113057627A (zh) * | 2021-03-18 | 2021-07-02 | 华南理工大学 | 基于弱足cop特征的步态特征提取方法及跌倒风险判别系统 |
-
2021
- 2021-09-13 CN CN202111068519.XA patent/CN113887335B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111801939A (zh) * | 2018-02-20 | 2020-10-20 | 电子护理公司 | 用于实时跌倒风险评估的经连接自助服务终端 |
| CN110367991A (zh) * | 2019-06-27 | 2019-10-25 | 东南大学 | 一种老年人跌倒风险评估方法 |
| CN113057627A (zh) * | 2021-03-18 | 2021-07-02 | 华南理工大学 | 基于弱足cop特征的步态特征提取方法及跌倒风险判别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113887335A (zh) | 2022-01-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Automatic detection of diabetic retinopathy in retinal fundus photographs based on deep learning algorithm | |
| KR20190030151A (ko) | 영상 분석 방법, 장치 및 컴퓨터 프로그램 | |
| CN106295124A (zh) | 利用多种图像检测技术综合分析基因子图相似概率量的方法 | |
| CN104615894A (zh) | 一种基于k近邻标签特定权重特征的中医诊断方法及系统 | |
| CN109522961A (zh) | 一种基于字典深度学习的半监督图像分类方法 | |
| CN116344050B (zh) | 一种基于多维度健康管理模型的评测方法 | |
| CN114566282B (zh) | 一种基于超声心动图检测报告的治疗决策系统 | |
| CN110367991A (zh) | 一种老年人跌倒风险评估方法 | |
| CN113887335B (zh) | 基于多尺度时空层级网络的跌倒风险实时评估系统和方法 | |
| CN111340098B (zh) | 基于鞋印图像的STA-Net年龄预测方法 | |
| CN115527608A (zh) | 一种肠道年龄预测方法和系统 | |
| CN117315379B (zh) | 面向深度学习的医学影像分类模型公平性评估方法及装置 | |
| CN109583272B (zh) | 一种能够获取人体生活状态的足迹系统 | |
| CN110427987A (zh) | 一种关节炎患者的足底压力特征识别方法和系统 | |
| Balgetir et al. | Detection of ataxia in low disability MS patients by hybrid convolutional neural networks based on images of plantar pressure distribution | |
| CN111711816B (zh) | 基于可察知编码效应强度的视频客观质量评价方法 | |
| CN113171082A (zh) | 一种前束交叉韧带损伤评估方法及装置 | |
| CN109359580B (zh) | 基于深度学习的足迹鉴别与步态检测方法及其装置 | |
| Davis et al. | Extending the utility of artiodactyl postcrania for species-level identifications using multivariate morphometric analyses | |
| CN114913585A (zh) | 融合面部表情的居家老人摔倒检测方法 | |
| Balaji et al. | Plant Infirmity Detection Using Vgg-16 Convolutional Neural Network | |
| CN113255462A (zh) | 步态评分方法、系统、计算机程序产品及可读存储介质 | |
| Islamadina et al. | Performance of deep learning benchmark models on thermal imagery of pain through facial expressions | |
| Felix et al. | Automatic Classification of Amyotrophic Lateral Sclerosis through Gait Dynamics | |
| CN113616209A (zh) | 基于时空注意力机制的精神分裂症患者甄别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |