CN115568823A - 一种人体平衡能力评估的方法、系统和装置 - Google Patents
一种人体平衡能力评估的方法、系统和装置 Download PDFInfo
- Publication number
- CN115568823A CN115568823A CN202211151053.4A CN202211151053A CN115568823A CN 115568823 A CN115568823 A CN 115568823A CN 202211151053 A CN202211151053 A CN 202211151053A CN 115568823 A CN115568823 A CN 115568823A
- Authority
- CN
- China
- Prior art keywords
- depth
- joint
- feature vector
- node
- calculating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 239000013598 vector Substances 0.000 claims abstract description 145
- 210000000988 bone and bone Anatomy 0.000 claims abstract description 39
- 230000008569 process Effects 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000008859 change Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000015654 memory Effects 0.000 claims description 10
- 238000011156 evaluation Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 230000007787 long-term memory Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 210000003414 extremity Anatomy 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 210000003108 foot joint Anatomy 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 206010008190 Cerebrovascular accident Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 208000006011 Stroke Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 206010008129 cerebral palsy Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000018883 loss of balance Diseases 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4005—Detecting, measuring or recording for evaluating the nervous system for evaluating the sensory system
- A61B5/4023—Evaluating sense of balance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
- G06V40/25—Recognition of walking or running movements, e.g. gait recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Animal Behavior & Ethology (AREA)
- Social Psychology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Molecular Biology (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Physiology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供了一种人体平衡能力评估的方法、系统和装置，所述方法的步骤包括：基于压力板测得受试者在第一时段，即站立过程中的身体压力中心数据；将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量；使用Kinect设备采集受试者在第二时段，即行走过程中的深度图像数据和骨骼关节点位置数据；将深度图像数据输入到预设的图像处理模型中得到深度特征向量；通过骨骼关节点位置数据计算姿势特征向量和运动特征向量，再通过姿势特征向量和运动特征向量计算普通特征向量；将所述站立平衡特征向量、深度特征向量和普通特征向量输入到预设的分类器中，输出平衡能力评分。
Description
技术领域
本发明涉及人体平衡能力评估技术领域，尤其涉及一种人体平衡能力评估的方法、系统和装置。
背景技术
平衡能力是人体保持直立、行走以及完成各种运动的基本保障，是维持各种日常生活正常进行的基本条件。引发平衡能力失调的因素有很多，包括高龄、脑卒中后遗症、脑瘫和帕金森病等，其中高龄的因素最为常见。平衡能力的失调容易导致跌倒的行为。平衡能力的失调还会引起多种并发症，给患者及其家庭、社会带来沉重的负担。目前，我国正在步入老龄化社会，老年人口比重逐年上升，这对人体平衡能力的评估和康复提出挑战。
目前，人体平衡能力的评估多数还是采用传统的目测法或量表法，依赖于医生或专家的判断经验，这就导致了很大的主观性。并且，随着老年人口增多，医疗资源难以满足需求。随着网络技术的提升的发展，人们可以远程地进行平衡能力的评估，通过摄像头拍照等上传信息，再接受来自医生或专家的反馈，但是这还是需要依靠医生或专家，同时大大增加了医生或专家的工作量。因此现有技术缺乏一种能够代替医生或专家进行评估，降低医疗资源的需求，同时提供可靠的评估结果的方法。
发明内容
鉴于此，本发明的实施例提供了一种人体平衡能力的评估方法，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种人体平衡能力评估的方法，所述方法的步骤包括：
基于压力板测得受试者在第一时段的压力中心数据，所述压力中心数据为受试者通过压力板测得的在第一时段内压力中心点的集合；
将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量；
基于Kinect设备采集受试者在第二时段内行走过程的深度图像数据和骨骼关节点位置数据，所述骨骼关节点位置数据为受试者在第二时段内行走过程中各个关节点的位置；
将深度图像数据输入到预设的图像处理模型中得到深度特征向量；
基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量，基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量，基于姿势特征向量和运动特征向量计算普通特征向量；
将所述站立平衡特征向量、深度特征向量和普通特征向量输入到预设的分类器中，输出平衡能力评分。
采用上述方案，本方案首先通过压力板采集受试者在一段时间的压力中心变化，通过Kinect设备采集受试者在行走过程的深度图像数据和骨骼关节点位置数据，再基于压力中心数据、深度图像数据和骨骼关节点位置数据生成站立平衡特征向量、深度特征向量、姿势特征向量和运动特征向量，在将多种特征输入到分类器中得到评分，本方案综合考虑了有关于人体平衡的各个维度的特征，保证最终输出评分的精准度，减少对医生或专家的依赖，减低医疗资源的需求，同时提供了客观可靠的评估结果。
受试者在第一时段内站立与压力板上，处于站立状态。
在本发明的一些实施方式中，所述图像处理模型包括顺序连接的深度卷积网络和长短期记忆网络，所述深度图像数据包括多张深度图像，所述深度图像在采集过程中，基于时间顺序采集，所述将深度图像数据输入到预设的图像处理模型中得到深度特征向量的步骤包括：
获取每张深度图像中各个像素点的深度值，基于每张深度图像中所有像素点的深度值构建对应每张深度图像的输入向量；
将每张图像对应的输入向量分别输入到深度卷积网络中，得到对应每张图像的过渡向量；
将全部过渡向量输入到长短期记忆网络中，得到对应深度图像数据的深度特征向量。
在本发明的一些实施方式中，所述压力板每隔第一时长采集一次压力中心点，在将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量的步骤中，具体表现为：将所述压力中心点标记为二维坐标点，将多个二维坐标点输入到时域卷积网络模型中得到站立平衡特征向量。
在本发明的一些实施方式中，所述基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量的步骤包括：
在所述第二时段的时间范围内，每隔第二时长记录一次各个关节点的位置，并基于各个关节点的位置计算每两个关节点之间的距离；
获取多次计算得到的相同两个关节点的多个距离值，计算相同两个关节点的多个距离值的平均值和/或方差，作为该两个关节点的最终距离参数；
基于每隔第二时长记录的各个关节点的位置，计算当前时刻三个关节点构成的关节角度值；
获取多次计算得到的相同三个关节点的多个关节角度值，计算相同三个关节点的多个关节角度值的平均值和/或方差，作为该三个关节点的最终关节角度参数；
将多个最终距离参数和多个最终关节角度参数作为姿势特征向量各个维度的参数构建姿势特征向量。
在本发明的一些实施方式中，所述关节点包括左脚节点、右脚节点、根节点和胸节点，所述基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量的步骤包括：
基于受试者在第二时段内左脚节点和右脚节点的运动轨迹确定抬脚高度差参数、步长差参数、步宽差参数和步速参数；
基于受试者在第二时段内左脚节点-根节点-右脚节点形成角度的变化，确定肢体角度参数；
基于受试者在第二时段内胸节点和根节点的位置变化确定躯干偏移差参数；
将抬脚高度差参数、步长差参数、步宽差参数、步速参数、肢体角度参数和躯干偏移差参数作为运动特征向量各个维度的参数构建运动特征向量。
受试者在所述第二时段内处于行走状态。
在本发明的一些实施方式中，在基于姿势特征向量和运动特征向量计算普通特征向量的步骤中，将姿势特征向量和运动特征向量各个维度的参数进行组合，得到普通特征向量。
在本发明的一些实施方式中，在基于受试者在第二时段内胸节点和根节点的位置变化确定躯干偏移差参数的步骤中，获取第二时段内每隔第二时长的胸节点和根节点的位置，计算第二时段内每隔第二时长的胸节点和根节点在x轴和y轴所构成平面的距离，计算第二时段内每隔第二时长的多个距离值的平均值和/或方差作为躯干偏移差参数。
本发明还提供一种人体平衡能力评估系统，所述系统包括：
压力中心采集模块，用于基于压力板测得受试者在第一时段的压力中心数据，所述压力中心数据为受试者通过压力板测得的在第一时段内压力中心点的集合；
平衡特征计算模块，用于将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量；
行走特征采集模块，用于基于Kinect设备采集受试者在第二时段内行走过程的深度图像数据和骨骼关节点位置数据，所述骨骼关节点位置数据为受试者在第二时段内行走过程中各个关节点的位置；
深度特征计算模块，用于将深度图像数据输入到预设的图像处理模型中得到深度特征向量；
普通特征计算模块，用于基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量，基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量，基于姿势特征向量和运动特征向量计算普通特征向量；
评分模块，用于将所述站立平衡特征向量、深度特征向量和普通特征向量输入到预设的分类器中，输出平衡能力评分。
本发明还提供一种人体平衡能力评估装置，该装置包括计算机设备该装置包括计算机设备和与计算机相连的压力板和Kinect设备。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明人体平衡能力评估的方法一种实施方式的示意图；
图2为本发明人体平衡能力评估的方法另一种实施方式的示意图；
图3为关节点的示意图；
图4为一种人体平衡能力评估装置的示意图；
图5为时域卷积网络模型的工作流程示意图；
图6为图像处理模型的工作流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为解决以上问题，如图1、2所示，本发明提出一种人体平衡能力评估的方法；所述方法的步骤包括：
步骤S110，基于压力板测得受试者在第一时段的压力中心数据，所述压力中心数据为受试者通过压力板测得的在第一时段内压力中心点的集合；
在本发明的一些实施方式中，所述压力板可以为通过压力分布传感器感应受试者站立在压力板上时的压力分布，并计算压力中心点对应的的二维坐标，在具体实施过程中，将压力板的平面建立为二维坐标系，在二维坐标系中匹配压力中心点所对应的坐标位置，得到每个压力中心点对应的的二维坐标。
如图4所示，在具体实施过程中，所述压力板为矩形，矩形长为a，宽为b，将矩形的重心作为二维坐标系的原点，在矩形的四个角处分别设置压力传感器，四个压力传感器分别设置于S1、S2、S3和S4处，根据压力传感器的参数，基于如下公式计算压力中心点的二维坐标：
横坐标＝(b/2)*((F1+F2-F3-F4)/(F1+F2+F3+F4))；
纵坐标＝(a/2)*((F1+F3-F2-F4)/(F1+F2+F3+F4))；
其中，F1、F2、F3和F4分别为设置于S1、S2、S3和S4处的压力传感器的压力参数。
步骤S120，将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量；
在本发明的一些实施方式中，所述时域卷积网络模型包括多个卷积模块，每个卷积模块均包括至少一个卷积层。
步骤S210，基于Kinect设备采集受试者在第二时段内行走过程的深度图像数据和骨骼关节点位置数据，所述骨骼关节点位置数据为受试者在第二时段内行走过程中各个关节点的位置；
在本发明的一些实施方式中，所述Kinect设备为微软的Kinect设备，各个所述关节点的位置如图3所示；
在图3中，0为根节点，1为胸节点，2为颈节点，3为头节点，4为左肩节点，5为左肘节点，6为左手节点，7为右肩节点，8为右肘节点，9为右手节点，10为左臀节点，11为左膝节点，12为左脚节点，13为右臀节点，14为右膝节点，15为右脚节点。
在本发明的一些实施方式中，每个关节点的位置均为通过Kinect设备获取的三维坐标。
步骤S220，将深度图像数据输入到预设的图像处理模型中得到深度特征向量；
在本发明的一些实施方式中，所述深度图像数据为基于Kinect设备在第二时段内采集的多张深度图像，每张深度图像包括多个像素点，每个像素点均设置有深度值。
步骤S230，基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量，基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量，基于姿势特征向量和运动特征向量计算普通特征向量；
步骤S300，将所述站立平衡特征向量、深度特征向量和普通特征向量输入到预设的分类器中，输出平衡能力评分。
在本发明的一些实施方式中，所述预设的分类器可以为随机森林分类器。
在具体实施过程中，本方案的评分可以表示为分类，初始分类根据医学界普遍使用的Berg平衡分级标准划分为12类，并使用1-12个数字表示。其中1到4类代表平衡能力差，有很高的跌倒风险；5到8类代表平衡能力有一定的缺失，跌倒风险为中等；9-12类代表平衡能力正常或在可以接受的范围内，跌倒风险较低。分类器根据特征的差异有效地把不同的人归到不同的类别。在不断采集数据的过程中，可以通过进一步模型训练，优化初始分类。
采用上述方案，本方案首先通过压力板采集受试者在一段时间的压力中心变化，通过Kinect设备采集受试者在行走过程的深度图像数据和骨骼关节点位置数据，再基于压力中心数据、深度图像数据和骨骼关节点位置数据生成站立平衡特征向量、深度特征向量、姿势特征向量和运动特征向量，在将多种特征输入到分类器中得到评分，本方案综合考虑了有关于人体平衡的各个维度的特征，保证最终输出评分的精准度，减少了对医生或专家的依赖，减低医疗资源的需求，同时提供了可靠的评估结果。
在具体实施过程中，Kinect设备主要由深度摄像头、红外摄像头、RGB摄像头等组成，识别的范围在0.5-4.5m，基于TOF技术来实现深度摄影识别等功能，通过Kinect的SDK工具包可获取所需的深度图像数据和骨骼关节点位置数据。
如图4所示，在具体实施过程中，利用微软Kinect设备采集行走过程的深度图像信息和骨骼关节点位置数据信息，行走测试在在一条1米宽、6米长的人行道上，人行道的两端分别设置Kinect设备，得到第二时段内的深度图像数据和骨骼关节点位置数据；各个关节点的位置均为三维坐标，坐标轴原点在Kinect的摄像头。
在具体实施过程中，可以使用更多的Kinect设备，按照双目模式或多目模式排列，从而得到更精确的结果。
在本发明的一些实施方式中，所述图像处理模型包括顺序连接的深度卷积网络和长短期记忆网络，所述深度图像数据包括多张深度图像，所述将深度图像数据输入到预设的图像处理模型中得到深度特征向量的步骤包括：
获取每张深度图像中各个像素点的深度值，基于每张深度图像中所有像素点的深度值构建对应每张深度图像的输入向量；
将每张图像对应的输入向量分别输入到深度卷积网络中，得到对应每张图像的过渡向量；
将全部过渡向量输入到长短期记忆网络中，得到对应深度图像数据的深度特征向量。
在本发明的一些实施方式中，基于每张深度图像中所有像素点的深度值构建对应每张深度图像的输入向量的步骤中，将深度图像中每个像素点的深度值作为输入向量各个维度的参数，构建对应该深度图像的输入向量。
采用上述方案，所述深度卷积网络可以为Resnect18网络结构，所述深度卷积网络包括输入层、卷积层、激活函数和池化层，深度卷积网络部分是用来对每一帧图片数据进行特征提取，长短记忆网络部分(LSTM)利用深度卷积部分提取出来的图片特征进行进一步的深度特征提取。
在本发明的一些实施方式中，所述压力板每隔第一时长采集一次压力中心点，在将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量的步骤中，将所述压力中心点标记为二维坐标点，将多个二维坐标点输入到时域卷积网络模型中得到站立平衡特征向量。
采用上述方案，压力中心点的位置数据是用来代表人体压力中心的变化，人体压力中心的变化在一定程度上会反应人体的晃动程度，平衡能力好的晃动幅度很小。通过采集一段时间的压力中心的位置数据，基于受试者在压力板上进行站立的实测数据，体现平衡特征向量的可靠性。
在具体实施过程中，利用压力板采集压力中心点的步骤可以为睁眼双足站立测试和/或闭眼双足站立测试，每项测试时间为30秒。
在本发明的一些实施方式中，所述基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量的步骤包括：
在所述第二时段的时间范围内，每隔第二时长记录一次各个关节点的位置，并基于各个关节点的位置计算每两个关节点之间的距离；
获取多次计算得到的相同两个关节点的多个距离值，计算相同两个关节点的多个距离值的平均值和/或方差，作为该两个关节点的最终距离参数；
在本发明的一些实施方式中，所述两个关节点的距离值为基于关节点的当前三维坐标，通过欧氏距离的计算方法得到的距离值。
基于每隔第二时长记录的各个关节点的位置，计算当前时刻三个关节点构成的关节角度值；
在本发明的一些实施方式中，所述关节点包括右臀节点、根节点、左臀节点和胸节点，所述三个关节点构成的关节角包括右臀节点与根节点连线和根节点与胸节点连线的夹角、左臀节点与根节点连线和根节点与胸节点连线的夹角以及左臀节点与根节点连线和根节点与右臀节点连线的夹角。
获取多次计算得到的相同三个关节点的多个关节角度值，计算相同三个关节点的多个关节角度值的平均值和/或方差，作为该三个关节点的最终关节角度参数；
将多个最终距离参数和多个最终关节角度参数作为姿势特征向量各个维度的参数构建姿势特征向量。
采用上述方案，根据受试者各个关节点的位置计算姿势特征向量，通过关节点的位置能够精确定位受试者的姿势，保证姿势获取的准确度。
在本发明的一些实施方式中，所述关节点包括左脚节点、右脚节点、胸节点和根节点，所述基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量的步骤包括：
基于受试者在第二时段内左脚节点和右脚节点的运动轨迹确定抬脚高度差参数、步长差参数、步宽差参数和步速参数；
在本发明的一些实施方式中，当受试者左右脚均在地面时，左脚节点和右脚节点的y轴参数为0，当左脚节点和右脚节点的其中任一个的y轴参数由0增长到最大值，再回到0时，即受试者抬脚迈步，然后再回落到地面，则认为受试者迈出一步；
在计算抬脚高度差参数的步骤中，将相邻两步的y轴参数由0增长到的最大值作差，得到相邻两步的高度差，计算多个高度差的平均值和/或方差，作为抬脚高度差参数；
在计算步长差参数的步骤中，将受试者迈出一步时，左足关节点与右足关节点在z轴的距离作为步长，计算相邻两步的步长的差值，再计算多个相邻两步步长差值的平均值和/或方差，作为步长差参数；
在计算步长差参数的步骤中，将受试者迈出一步时，左足关节点与右足关节点在x轴的距离作为步宽，计算相邻两步的步宽的差值，再计算多个相邻两步步宽差值的平均值和/或方差，作为步宽差参数；
在计算受试者的步速的步骤中，统计受试者迈出的步数，基于步数和第二时段的时长计算受试者的步速。
基于受试者在第二时段内左脚节点-根节点-右脚节点形成角度的变化，确定肢体角度参数；
在本发明的一些实施方式中，在基于受试者在第二时段内左脚节点-根节点-右脚节点形成角度的变化，确定肢体角度参数的步骤中，
每当受试者迈出一步时，获取该时刻由左脚节点与根节点连线和根节点与右脚节点连线的夹角，计算相邻两步的夹角差值，并计算多个相邻两步的夹角差值的平均值和/或方差，作为肢体角度参数。
基于受试者在第二时段内胸节点和根节点的位置变化确定躯干偏移差参数；
将抬脚高度差参数、步长差参数、步宽差参数、步速参数、肢体角度参数和躯干偏移差参数作为运动特征向量各个维度的参数构建运动特征向量。
在本发明的一些实施方式中，在将抬脚高度差参数、步长差参数、步宽差参数、步速参数、肢体角度参数和躯干偏移差参数作为运动特征向量各个维度的参数构建运动特征向量的步骤中，若抬脚高度差参数、步长差参数、步宽差参数、步速参数、肢体角度参数和躯干偏移差参数中的任一个参数包括两个值，则每个值作为运动特征向量一个维度的参数。
在本发明的一些实施方式中，在基于姿势特征向量和运动特征向量计算普通特征向量的步骤中，将姿势特征向量和运动特征向量各个维度的参数进行组合，得到普通特征向量。
在本发明的一些实施方式中，将姿势特征向量和运动特征向量各个维度的参数顺序连接，得到普通特征向量。
在本发明的一些实施方式中，在基于受试者在第二时段内胸节点和根节点的位置变化确定躯干偏移差参数的步骤中，获取第二时段内每隔第二时长的胸节点和根节点的位置，计算第二时段内每隔第二时长的时刻胸节点和根节点在x轴和y轴所构成平面的距离，计算第二时段内每隔第二时长的多个距离值的平均值和/或方差，作为躯干偏移差参数。
在具体实施过程中，本方案的步骤还包括在测试受试者之前录入受试者的基本信息，所述基本信息包括姓名、性别和年龄。
本发明实施例还提供一种人体平衡能力评估系统，所述系统包括：
压力中心采集模块，用于基于压力板测得受试者在第一时段的压力中心数据，所述压力中心数据为受试者通过压力板测得的在第一时段内压力中心点的集合；
平衡特征计算模块，用于将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量；
行走特征采集模块，用于基于Kinect设备采集受试者在第二时段内行走过程的深度图像数据和骨骼关节点位置数据，所述骨骼关节点位置数据为受试者在第二时段内行走过程中各个关节点的位置；
深度特征计算模块，用于将深度图像数据输入到预设的图像处理模型中得到深度特征向量；
普通特征计算模块，用于基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量，基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量，基于姿势特征向量和运动特征向量计算普通特征向量；
评分模块，用于将所述站立平衡特征向量、深度特征向量和普通特征向量输入到预设的分类器中，输出平衡能力评分。
如图5、6所示，在本发明的一些实施方式中，本方案的时域卷积网络模型和图像处理模型均为虚线预先完成训练的模型，在对模型的训练步骤中，通过预设的训练数据集和测试数据集对时域卷积网络模型和图像处理模型进行训练，在训练过程中以交叉熵函数作为损失函数，采用反向传播的方法更新时域卷积网络模型和图像处理模型的参数。
现有技术的测试人体平衡能力的方法中，主要是基于测力台测量人体静态站立的压力中心指标来分析或者基于光学三维运动捕捉系统来获取三维运动影像信息进行分析。前者只从静态站立的角度来分析，不够全面；后者依靠高度精确的光学三维运动捕捉系统来获取精准的数据，但是仪器价格昂贵，不能普及到家庭或社区中去。本发明的方法结合了站立和行走过程的数据进行分析，效果准确，而且设备仪器价格较为便宜，便于推广到社区和家庭中去。
本发明将测试者的站立压力中心位置数据、行走中的深度图像数据输入预先建立好的时域卷积网络模型以及卷积网络和长短记忆网络模型，分别获取站立平衡特征和深度特征，同时利用骨骼关节点信息通过计算获取普通特征，再将这些特征通过随机森林分类器进行评分。
本发明实施例还提供一种人体平衡能力评估装置，该装置包括计算机设备与计算机相连的压力板和Kinect设备。所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法所实现的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述人体平衡能力评估的方法所实现的步骤。所述计算机程序被执行时，采集压力板测得的压力中心数据和Kinect设备采集的深度图像数据和骨骼关节点位置数据；并执行上述S110-S300的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种人体平衡能力评估的方法，其特征在于，所述方法的步骤包括：
基于压力板测得受试者在第一时段的压力中心数据，所述压力中心数据为受试者通过压力板测得的在第一时段内压力中心点的集合；
将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量；
基于Kinect设备采集受试者在第二时段内行走过程的深度图像数据和骨骼关节点位置数据，所述骨骼关节点位置数据为受试者在第二时段内行走过程中各个关节点的位置；
将深度图像数据输入到预设的图像处理模型中得到深度特征向量；
基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量，基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量，基于姿势特征向量和运动特征向量计算普通特征向量；
将所述站立平衡特征向量、深度特征向量和普通特征向量输入到预设的分类器中，输出平衡能力评分。
2.根据权利要求1所述的人体平衡能力评估的方法，其特征在于，所述图像处理模型包括顺序连接的深度卷积网络和长短期记忆网络，所述深度图像数据包括多张深度图像，所述将深度图像数据输入到预设的图像处理模型中得到深度特征向量的步骤包括：
获取每张深度图像中各个像素点的深度值，基于每张深度图像中所有像素点的深度值构建对应每张深度图像的输入向量；
将每张图像对应的输入向量分别输入到深度卷积网络中，得到对应每张图像的过渡向量；
将全部过渡向量输入到长短期记忆网络中，得到对应深度图像数据的深度特征向量。
3.根据权利要求1所述的人体平衡能力评估的方法，其特征在于，所述压力板每隔第一时长采集一次压力中心点，在将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量。
4.根据权利要求3所述的人体平衡能力评估的方法，其特征在于，基于每张深度图像中所有像素点的深度值构建对应每张深度图像的输入向量的步骤中，将深度图像中每个像素点的深度值作为输入向量各个维度的参数，构建对应该深度图像的输入向量。
5.根据权利要求1所述的人体平衡能力评估的方法，其特征在于，所述基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量的步骤包括：
在所述第二时段的时间范围内，每隔第二时长记录一次各个关节点的位置，并基于各个关节点的位置计算每两个关节点之间的距离；
获取多次计算得到的相同两个关节点的多个距离值，计算相同两个关节点的多个距离值的平均值和/或方差，作为该两个关节点的最终距离参数；
基于每隔第二时长记录的各个关节点的位置，计算当前时刻三个关节点构成的关节角度值；
获取多次计算得到的相同三个关节点的多个关节角度值，计算相同三个关节点的多个关节角度值的平均值和/或方差，作为该三个关节点的最终关节角度参数；
将多个最终距离参数和多个最终关节角度参数作为姿势特征向量各个维度的参数构建姿势特征向量。
6.根据权利要求1所述的人体平衡能力评估的方法，其特征在于，所述关节点包括左脚节点、右脚节点、根节点和胸节点，所述基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量的步骤包括：
基于受试者在第二时段内左脚节点和右脚节点的运动轨迹确定抬脚高度差参数、步长差参数、步宽差参数和步速参数；
基于受试者在第二时段内左脚节点-根节点-右脚节点形成角度的变化，确定肢体角度参数；
基于受试者在第二时段内胸节点和根节点的位置变化确定躯干偏移差参数；
将抬脚高度差参数、步长差参数、步宽差参数、步速参数、肢体角度参数和躯干偏移差参数作为运动特征向量各个维度的参数构建运动特征向量。
7.根据权利要求1所述的人体平衡能力评估的方法，其特征在于，在基于姿势特征向量和运动特征向量计算普通特征向量的步骤中，将姿势特征向量和运动特征向量各个维度的参数进行组合，得到普通特征向量。
8.根据权利要求6所述的人体平衡能力评估的方法，其特征在于，在基于受试者在第二时段内胸节点和根节点的位置变化确定躯干偏移差参数的步骤中，获取第二时段内每隔第二时长的胸节点和根节点的位置，计算第二时段内每隔第二时长的胸节点和根节点在x轴和y轴所构成平面的距离，计算第二时段内每隔第二时长的多个距离值的平均值和/或方差作为躯干偏移差参数。
9.一种人体平衡能力评估系统，所述系统包括：
压力中心采集模块，用于基于压力板测得受试者在第一时段的压力中心数据，所述压力中心数据为受试者通过压力板测得的在第一时段内压力中心点的集合；
平衡特征计算模块，用于将所述压力中心数据输入到预设的时域卷积网络模型中，得到站立平衡特征向量；
行走特征采集模块，用于基于Kinect设备采集受试者在第二时段内行走过程的深度图像数据和骨骼关节点位置数据，所述骨骼关节点位置数据为受试者在第二时段内行走过程中各个关节点的位置；
深度特征计算模块，用于将深度图像数据输入到预设的图像处理模型中得到深度特征向量；
普通特征计算模块，用于基于骨骼关节点位置数据中各个关节点的相对位置计算姿势特征向量，基于骨骼关节点位置数据中骨骼关节点的位置变化计算运动特征向量，基于姿势特征向量和运动特征向量计算普通特征向量；
评分模块，用于将所述站立平衡特征向量、深度特征向量和普通特征向量输入到预设的分类器中，输出平衡能力评分。
10.一种人体平衡能力评估装置，其特征在于，该装置包括计算机设备和与计算机相连的压力板和Kinect设备。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211151053.4A CN115568823B (zh) | 2022-09-21 | 2022-09-21 | 一种人体平衡能力评估的方法、系统和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211151053.4A CN115568823B (zh) | 2022-09-21 | 2022-09-21 | 一种人体平衡能力评估的方法、系统和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115568823A true CN115568823A (zh) | 2023-01-06 |
| CN115568823B CN115568823B (zh) | 2024-06-25 |
Family
ID=84581986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211151053.4A Active CN115568823B (zh) | 2022-09-21 | 2022-09-21 | 一种人体平衡能力评估的方法、系统和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115568823B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116509333A (zh) * | 2023-05-20 | 2023-08-01 | 中国医学科学院阜外医院 | 基于双目图像的人体平衡能力评估方法、系统及设备 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006262917A (ja) * | 2005-03-22 | 2006-10-05 | Institute Of Physical & Chemical Research | 身体動揺を測定する装置、方法及びプログラム |
| CN102930133A (zh) * | 2012-09-24 | 2013-02-13 | 安徽埃力智能科技有限公司 | 一体化平衡与步态快速评估系统及评估方法 |
| CN106667493A (zh) * | 2017-01-22 | 2017-05-17 | 河北大学 | 人体平衡性评估系统及评估方法 |
| WO2017158569A1 (en) * | 2016-03-18 | 2017-09-21 | Tata Consultancy Services Limited | Kinect based balance analysis using single leg stance (sls) exercise |
| CN107871116A (zh) * | 2016-09-23 | 2018-04-03 | 塔塔咨询服务有限公司 | 用于确定人的姿势平衡的方法和系统 |
| IN201821025901A (zh) * | 2018-07-11 | 2020-01-17 | Tata Consultancy Services Limited | |
| CN112861624A (zh) * | 2021-01-05 | 2021-05-28 | 哈尔滨工业大学（威海） | 一种人体姿态检测方法、系统、存储介质、设备及终端 |
| KR20210064999A (ko) * | 2019-11-26 | 2021-06-03 | 주식회사 네오펙트 | 이종의 센서가 구비된 균형 훈련 시스템 및 균형 훈련 시스템에 의해 수행되는 올바른 자세를 판단하기 위한 방법 |
| CN114010466A (zh) * | 2021-10-29 | 2022-02-08 | 汕头大学 | 一种适用于下肢康复训练的助行器及其使用方法 |
-
2022
- 2022-09-21 CN CN202211151053.4A patent/CN115568823B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006262917A (ja) * | 2005-03-22 | 2006-10-05 | Institute Of Physical & Chemical Research | 身体動揺を測定する装置、方法及びプログラム |
| CN102930133A (zh) * | 2012-09-24 | 2013-02-13 | 安徽埃力智能科技有限公司 | 一体化平衡与步态快速评估系统及评估方法 |
| WO2017158569A1 (en) * | 2016-03-18 | 2017-09-21 | Tata Consultancy Services Limited | Kinect based balance analysis using single leg stance (sls) exercise |
| CN107871116A (zh) * | 2016-09-23 | 2018-04-03 | 塔塔咨询服务有限公司 | 用于确定人的姿势平衡的方法和系统 |
| CN106667493A (zh) * | 2017-01-22 | 2017-05-17 | 河北大学 | 人体平衡性评估系统及评估方法 |
| IN201821025901A (zh) * | 2018-07-11 | 2020-01-17 | Tata Consultancy Services Limited | |
| KR20210064999A (ko) * | 2019-11-26 | 2021-06-03 | 주식회사 네오펙트 | 이종의 센서가 구비된 균형 훈련 시스템 및 균형 훈련 시스템에 의해 수행되는 올바른 자세를 판단하기 위한 방법 |
| CN112861624A (zh) * | 2021-01-05 | 2021-05-28 | 哈尔滨工业大学（威海） | 一种人体姿态检测方法、系统、存储介质、设备及终端 |
| CN114010466A (zh) * | 2021-10-29 | 2022-02-08 | 汕头大学 | 一种适用于下肢康复训练的助行器及其使用方法 |
Non-Patent Citations (3)
| Title |
|---|
| 唐增;孟明;孙曜;王新栋;: "基于多模态信息的平衡能力评估方法", 杭州电子科技大学学报, no. 06, 15 December 2013 (2013-12-15), pages 114 - 117 * |
| 李昕迪;朱国强;: "基于Kinect的人体姿势识别算法与实现", 自动化技术与应用, no. 02, 25 February 2016 (2016-02-25), pages 121 - 125 * |
| 邢阳辉 等: "下肢不等长对步态影响的实验分析", 医用生物力学, 15 December 2016 (2016-12-15), pages 501 - 505 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116509333A (zh) * | 2023-05-20 | 2023-08-01 | 中国医学科学院阜外医院 | 基于双目图像的人体平衡能力评估方法、系统及设备 |
| CN116509333B (zh) * | 2023-05-20 | 2024-02-02 | 中国医学科学院阜外医院 | 基于双目图像的人体平衡能力评估方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115568823B (zh) | 2024-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111368810B (zh) | 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法 | |
| CN109815907B (zh) | 一种基于计算机视觉技术的仰卧起坐姿态检测与指导方法 | |
| CN107194987B (zh) | 对人体测量数据进行预测的方法 | |
| US10839550B2 (en) | Non-transitory computer-readable recording medium for storing skeleton estimation program, skeleton estimation device, and skeleton estimation method | |
| CN103099602B (zh) | 基于光学识别的体质检测方法与系统 | |
| CN107754225A (zh) | 一种智能健身教练系统 | |
| US20100312143A1 (en) | Human body measurement system and information provision method using the same | |
| CN104274183A (zh) | 动作信息处理装置 | |
| CN107103298A (zh) | 基于图像处理的引体向上计数系统及计数方法 | |
| US20180184947A1 (en) | Integrated Goniometry System and Method for Use of Same | |
| CN111012353A (zh) | 一种基于人脸关键点识别的身高检测方法 | |
| CN110074788B (zh) | 一种基于机器学习的身体数据获取方法和装置 | |
| CN111883229B (zh) | 一种基于视觉ai的智能运动指导方法及系统 | |
| JP2000251078A (ja) | 人物の３次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 | |
| CN112933581A (zh) | 一种基于虚拟现实技术的体育动作评分方法与装置 | |
| CN110477921B (zh) | 基于骨架折线Ridge回归的身高测量方法 | |
| CN115568823A (zh) | 一种人体平衡能力评估的方法、系统和装置 | |
| CN110349206A (zh) | 一种人体对称性检测的方法和相关装置 | |
| CN117115922A (zh) | 坐位体前屈评测方法、系统、电子设备和存储介质 | |
| CN109740458B (zh) | 一种基于视频处理的体貌特征测量方法及系统 | |
| CN115331304A (zh) | 一种跑步识别方法 | |
| Nahavandi et al. | A low cost anthropometric body scanning system using depth cameras | |
| CN111079597A (zh) | 三维信息检测方法及电子设备 | |
| JP2021099666A (ja) | 学習モデルの生成方法 | |
| WO2023162223A1 (ja) | 学習プログラム、生成プログラム、学習方法および生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |