CN113496216A - 一种基于骨骼关键点的多角度跌倒高危识别方法及系统 - Google Patents

一种基于骨骼关键点的多角度跌倒高危识别方法及系统 Download PDF

Info

Publication number
CN113496216A
CN113496216A CN202110768806.5A CN202110768806A CN113496216A CN 113496216 A CN113496216 A CN 113496216A CN 202110768806 A CN202110768806 A CN 202110768806A CN 113496216 A CN113496216 A CN 113496216A
Authority
CN
China
Prior art keywords
gait
data
risk
module
key points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110768806.5A
Other languages
English (en)
Other versions
CN113496216B (zh
Inventor
刘怡欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202110768806.5A priority Critical patent/CN113496216B/zh
Publication of CN113496216A publication Critical patent/CN113496216A/zh
Application granted granted Critical
Publication of CN113496216B publication Critical patent/CN113496216B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06T3/02—
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Abstract

本发明公开了一种基于骨骼关键点的多角度跌倒高危识别方法及系统，涉及医疗图像数据处理的技术领域，包括采集人群正常步行速度的视频流，并获取原始帧图像序列集，其中，所述视频流是在一个方向获取的；基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的骨骼关键点、步态轮廓图；对骨骼关键点进行仿射变换，获取不同角度骨骼关键点；基于每一不同角度骨骼关键点的坐标，获取相应的步态数据、关节屈曲数据和骨架特征图；建立步态识别网络，将获取得数据输入步态识别网络进行跌倒高危，获取跌倒高危结果以及与其相关的预测值，实现低成本、快速、客观地筛查识别跌倒高危个体，并实现跌倒高危潜在个体的预测。

Description

一种基于骨骼关键点的多角度跌倒高危识别方法及系统
技术领域
本发明涉及医疗图像数据处理的技术领域，具体涉及一种基于骨骼关键点的多角度跌倒高危识别方法及系统。
背景技术
随着我国人口结构正快速进入老龄化阶段，同时老龄人群对生活质量和身体健康方面的需求日益提高，二者的压力与我国经济、社会以及医疗照护资源分布不平衡现实导致了巨大的供需鸿沟。跌倒已经成为50岁以上人群因伤致死的首位原因，也被认为是严重的公共卫生问题。跌倒受害者遭受的常见伤害为股骨，胫骨或腓骨或脚踝骨折，老年人群骨折后往往导致长期卧床，肺部感染，营养不良，失能，住院时间延长等不良预后。更为重要的是老年患者跌倒严重影响预期寿命；前瞻性研究提示60岁以上发生跌倒后发生严重骨折者，1年内死亡率低为25％，而对照组为4％。另一方面，老年跌倒以及跌倒后骨折极大的加重了社会家庭照护负担。
与跌倒相关的常见危险因素包括：衰老导致的步态稳定性下降、视听觉功能下降、肌肉力量下降、骨骼退化、平衡功能减退等；神经系统疾病、心血管疾病、眼部疾患、骨关节疾患、足部疾患、心理和认知功能疾患等；使用镇静药物、精神类药物、心血管药物等；抑郁、焦虑、情绪不佳等及其导致的与社会隔离等。对危险因素进行全面评估对后，采取相应预防措施包括提高健康意识、了解健康知识、养成良好行为习惯、消除环境中的跌倒隐患、适当使用辅助工具，调整药物计划，进行科学运动锻炼特别是增加力量和平衡训练可显著改善整体预后
目前已有一些相对简易的测试用于跌倒风险评估，如180°转弯测试、站立行走测试。但完成这些测试至少需要数分钟时间，检测者需要面对面的提示并观察受试者。
有不少学者指出步态模式与跌倒风险有很强的联系，步速，步速变异性，步幅，步幅平衡性等参数与衰弱显著相关。Erik E.Stone等的实验使用了部分步态图像参数，但其系统仍需至少2个深度感受摄像头等外设。在检索范围内尚未发现有实验或专利将数据收集系统建立在单独的普通摄像头上，并通过机器学习算法建立步态识别模块，并以用之进行跌倒风险识别。
因此需要一种客观、易及、自报告且非接触式的实时老年衰弱评估跌倒高危方法可减轻基层健康管理压力，使得有限的干预资源更为精准的投放，便于通过更加方便的方式实现跌倒风险高频次、大规模的监测，从整体上提升老年群体的生活质量和预期寿命。
发明内容
发明人经研究发现，现有的跌倒风险识别技术和工具在进行评估预测过程时，流程时间较长，且设备需要至少2个摄像头等外设来采集并纪录数据，在大规模数据采集时，其耗时费力可及性不佳，不便于开展且成本较高。
有鉴于此，为解决现有技术中的上述问题，本发明提供了一种基于骨骼关键点的多角度跌倒高危识别方法及系统，以实现相对低成本、快速、客观地筛查识别跌倒高危个体，并实现跌倒高危潜在个体的预测。
第一方面，本发明实施例提供一种基于骨骼关键点的多角度跌倒高危识别方法，该方法包括步骤：
S10：采集人群正常步行速度的视频流，并获取原始帧图像序列集；其中，所述视频流是在一个方向获取的；
S20：基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始图像帧对应的骨骼关键点；
S30：根据关键点信息和原始图像，获取每一原始帧图像对应的人体步态轮廓图；
S40：在提取关键点信息和轮廓图的过程中，都需要对图像信息进行仿射变换处理，以获取不同角度下较为准确的骨骼关键点和轮廓图；
S50：基于骨骼关键点的坐标序列，进而可获取相应的经典的步态数据、关节屈曲数据和骨架特征图；
S60：基于特征提取模块和分类网络建立步态识别体系，将经典步态数据、关节屈曲数据、骨架特征图和步态轮廓图输入步态识别体系进行跌倒高危，获取跌倒高危结果以及与其相关的预测值；
S70：将识别结果和预测值发送至与原始帧图像序列集对应的用户。
在本方案中，为了克服现有不能实现多角度对人体图像关键点的识别，通过引入仿射变化来获得不同角度的骨骼关键点，此外本方案中仅需要通过采集设备采集人群的步行视频通过步态识别网络来讲采集的步行视频数据转换为人群个体对应的跌倒高危结果，可以通过一个视频采集设备实现跌倒高危识别，其能以相对低成本，较为快速、客观地筛查跌倒风险较高的潜在老年个体和老年个体。
在一个可能的实施方式中，需要对图像信息进行仿射变换处理，以获取不同角度下较为准确的骨骼关键点，还包括步骤：
S401：基于空间变换网络中的卷积层对输入的所述桢级骨骼关键点图像信息进行学习，获取特征空间变换的参数；
S402：通过所述特征空间变换的参数构建一个映射输入特征的采样网络；
S403：建立特征空间变换的参数与骨骼关键点仿射变换前、后坐标的关系式；
S404：设置单人姿态检测器，将骨骼关键点仿射变换后的坐标输入所述单人姿态检测器模块，基于空间逆变换网络对所述单人姿态检测器模块输出进行处理获取不同角度骨骼关键点坐标。
在本方案中，映射输入特征，通过空间变换网络可以显式地学习特征不变性，可以校正初始检测时人体姿态识别检测框的误差，通过空间逆变换网络对所述单人姿态检测器模块输出进行处理可以建立不同角度均可实现的，可靠性更高骨骼关键点提取流程。
在一个可能的实施方式中，所述不同角度骨骼关键点至少包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、左足尖和右足尖；每一个特征点由一个三维向量(x，y，z)表示，如图13所示，其中，x和y表示特征点在所述步态轮廓图中相应的坐标值，z则表示该特征点在所述步态轮廓图中是否可见，其中对于z可设置相应的检测节点，赋值并给予z相应的该关节遮挡、未遮挡、未检测到该关节点来优化步态轮廓图的识别。
在一个可能的实施方式中，所述仿射变换处理如下：
Figure BDA0003151764560000031
其中，θ1，θ2和θ3均为二维向量，
Figure BDA0003151764560000032
和
Figure BDA0003151764560000033
分别为仿射变换前、后的坐标值；
根据逆变换因子γ实现坐标映射，γ可以通过变化参数θ求解，仿射变换后，其表达式为：
Figure BDA0003151764560000034
[γ1γ2]＝[θ1θ2]-1
γ3＝-1×[γ1γ2]θ3
获取每个周期的右足步幅、步幅变异系数和步幅对称系数，其表达式为：
Figure BDA0003151764560000035
Figure BDA0003151764560000041
Figure BDA0003151764560000042
其中，l右足为每个周期的右足步幅，i为步行周期。
Figure BDA0003151764560000043
为步行周期，ly为每个周期的右足步幅，
Figure BDA0003151764560000044
为右足步行周期的步幅数；
计算关键关节屈曲角度，其中，右膝关节屈曲角度表达式为：
Figure BDA0003151764560000045
在一个可能的实施方式中，在基于每一不同角度骨骼关键点的坐标，获取相应的经典步态数据、关节屈曲数据和骨架特征图中，还包括步骤：
S501：基于所述单人姿态检测器于采集步行周期和足部起始、结束以及其他步态相位的时间参数；
S502：基于所述单人姿态检测器采集臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标；
S503：根据上述步态相位时间参数和人体部位坐标序列计算获得步幅数据、步幅变异系数和步幅对称系数；根据所述臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标计算获取膝关节、髋关节、踝关节、肩关节和肘关节的屈曲角度变化序列。
在一个可能的实施方式中，基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的骨骼关键点、步态轮廓图；骨骼关键点所述步态轮廓图的获取与处理中，还包括步骤：
S310：设置特征提取模块，将标准化后的原始图像与其对应的所述人体关键特征点的坐标一同输入所述特征提取模块，其中，所述特征提取模块对应一个特征金字塔网络模块；
S320：基于姿态模板，通过引入仿射矩阵将所述步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；
S330：基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。
在本方案中，通过引入仿射矩阵将检测到的人体实例姿态与姿势模板对齐，将不规范的人体姿势变得更加规整，此外，通过提取关键点置信图和部分亲和场两种骨架特征，关键点置信图获得信图的通道维度，部分亲和场则利用一个二维的矢量场描述两不同关节点之间的相关性。对于人类肢体区域每两个关节点，使用一个2维向量编码一个关节点到另一个关节点的方向，以进行两相关部位的正确连接。
在一个可能的实施方式中，在基于特征提取模块和分类网络建立步态识别体系，将经典步态数据、关节屈曲数据、骨架特征图和步态轮廓图输入步态识别体系进行跌倒高危，获取跌倒高危结果以及与其相关的预测值中，包括步骤：
S601：首先设置帧级特征提取模块(经训练的)，将每一原始帧步态轮廓图和骨架特征图的最大值级联，等待作为后续模块的输入信息；
S602：随后将序列中所有级联的帧级信息(包含轮廓和骨架特征)输入水平金字塔模块，水平金字塔模块输出内容再级联经典步态数据以及关节屈曲数据，称之特征映射(即步态轮廓序列级特征)，将作为分类网络的输入数据；
S603：使用分类模块，计算训练集和测试集(按照跌倒高危状态标记)中不同序列特征映射间的距离；按照距离不断调整分类模块网络参数，使得同类序列间(跌倒高危状态，即健康，跌倒高危前期及跌倒高危)差异最小化，不同类序列间差异最大化；
S604：分类模块的训练过程完成后，固定整个分类模块的参数；后续即可使用完成训练的分类模块，进行未标记的映射特征的跌倒高危状态识别。
本方案中，不刻意限制步态轮廓图序列间的顺序，而是将步态序列图像视为一个集合，利用深度网络自身的特性对步态轮廓图的形状进行学习，在提取个体的步态特征的同时学习步态轮廓图序列间的时空域信息。
在一个可能的实施方式中，在将识别结果和预测值发送至与获取原始帧图像序列集对应的个人中，包括步骤：
S701：获得跌倒高危状态识别结果、经典步态数据、医学建议和时间信息跌倒高危状态识别结果；
S702：关联跌倒高危状态识别结果、经典步态数据、医学建议和时间信息与原始图像序列对应的个人信息；
S703：打包个人信息与匹配的跌倒高危状态识别结果、经典步态数据、医学建议发送给用户；跌倒高危状态识别结果；
其中，所述个人信息至少包括：性别、年龄和历史疾病数据；
其中，风险预测至少根据时间信息、步态数据和跌倒高危状态识别结果预测跌倒高危病症风险；
其中，所述医师建议至少根据时间信息、步态数据和跌倒高危状态识别结果做调整。
本方案中，对于跌倒高危的识别具体为通过将采集的图像与个人信息匹配，用户可获取与其匹配的相关信息，其包含了自身的各种信息，系统针对用户的个人信息以及历史症状信息，可预测跌倒高危症状情况，能更合理的给出指导意见。
第二方面，本发明实施例提供一种基于骨骼关键点的多角度高危识别系统，该系统包括：
数据前端处理模块，用于采集人群正常步行速度的视频流，并获取原始帧图像序列集；并基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的骨骼关键点、步态轮廓图；在提取关键点信息和轮廓图的过程中，需要对图像信息进行仿射变换处理，以获取不同角度下较为准确的骨骼关键点和轮廓图骨骼关键点骨骼关键点；基于骨骼关键点的坐标序列，进而可获取相应的经典的步态数据、关节屈曲数据和骨架特征图骨骼关键点，其中，所述数据前端处理模块采集一个方向的视频数据；
步态识别模块，即输入步态识别网络，将骨架特征图、步态轮廓图、经典步态数据和关节屈曲数据，输出序列步态特征映射的模块；
分类模块：即应用机器学习原理，输入序列步态特征映射，输出跌倒高危状态识别结果的模块；
识别结果输出终端，用于获取与用户原始帧图像序列集匹配的跌倒高危状态识别结果；
其中，数据前端处理模块、步态特征提取模块、分类模块和识别结果输出终端通信连接，所述数据前端处理模块输出端连接所述步态特征提取模块输入端，所述步态特征提取模块输出端连接所述分类模块，所述分类模块输出端连接识别结果输出终端。
此外，本系统还包括服务器，所述服务器用于判断数据前端处理模块采集用户生理关键信息数据是否缺失，若缺失关键信息数据，则识别结果输出终端将缺失数据发送至用户补充或根据数据前端处理模块通过所述视频流生成生理关键信息数据，再发送至服务器，其中，所述生理关键信息至少包括身高、体重、血压、运动量和睡眠状况。
可以理解的是，数据前端处理模块包括但不限于，网络摄像头，监控摄像头，红外线摄像头，其他有图像采集功能的智能终端或非智能终端等设备。具体出示的预测结果其告知方式(可以是短信，纸张，电子邮件)，或将结果显示与图像采集分离的设备。
本发明与现有技术相比，具有如下的优点和有益效果：
1、本发明一种基于骨骼关键点的多角度跌倒高危识别方法及系统，克服了现阶段多数老年步态方法数据采集源于携带式或地面式感应外设或2个及以上深度感受摄像头设备实现，仅通过一个采集采集设备采集行走视频数据即可进行跌倒高危，具有较好的便捷性可及性。
2、本发明一种基于骨骼关键点的多角度跌倒高危识别方法及系统，可显著改善老年医学评估的可及性与便捷性，扩大老年综合干预有效保障人群，提升医疗服务质量；有助于将有限的医疗干预资源精准使用，提升成本效益。
3、本发明一种基于骨骼关键点的多角度跌倒高危识别方法及系统，其采集数据相较于多个传感器需要纪录不同角度的姿态需要较多时间，其能在一个摄影方向快速采集数据便于实现大规模高频次的开展，能以相对低成本，较为快速、客观地筛查存在跌倒高危风险的老年个体。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：
图1为本发明实施例中的基于骨骼关键点的多角度跌倒高危识别方法的流程图；
图2为本发明实施例中的步骤S40的一具体流程图；
图3为本发明实施例中的步骤S50的一具体流程图；
图4为本发明实施例中的步骤S30的另一具体流程图；
图5为本发明实施例中的步骤S60的一具体流程图；
图6为本发明实施例中的步骤S70的一具体流程图；
图7为本发明实施例中的基于基于骨骼关键点的多角度跌倒高危识别系统结构框图；
图8为本发明实施例中的轮廓图提取实例图；
图9为本发明实施例中的关键点信息提取实例图；
图10为本发明实施例中的一种识别结果示例图；
图11为本发明实施例中的基于骨骼关键点的多角度跌倒高危识别系统结构示意图；
图12为本发明实施例中的步态关键点信息与原图融合示意图；
图13为本发明实施例中的人体轮廓分割示意图；
图14为本发明实施例中的姿态模板示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清除、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例
由于我国人口结构正快速进入深度老龄化，跌倒高危及跌倒高危前期在老年人群发生率高；医养机构、社保体系及家庭负担沉重；而干预的资源相对有限，跌倒高危评估需要高频次、大规模的开展。
迫切需要一种低成本，较为快速、客观地筛查跌倒高危老年个体的方法和系统来改善老年医学评估的可及性和便捷性。
如图1所示，本发明提供了一种基于骨骼关键点的多角度跌倒高危识别方法，包括如下步骤：
S10：采集人群正常步行速度的视频流，并获取原始帧图像序列集；
具体地，原始视频提取后在前端通过封装算法，记录数据包括了1段或多段测试人群的正常速度步行视频。可通过使用普通监控摄像头，手机摄像头或其他视频采集设备实现。
S20：基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始图像帧对应的骨骼关键点；
基于卷积神经网络为基础通过人体姿态识别算法优化参数。
根据关键点信息和原始图像，获取每一原始帧图像对应的人体步态轮廓图；
具体地，如图4所示，设置特征提取模块，将标准化后的原始图像与其对应的人体关键特征点的坐标一同输入特征提取模块，其中，特征提取模块对应一个特征金字塔网络模块；基于姿态模板，通过引入仿射矩阵将步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。
在提取骨骼关键点和人体步态轮廓图过程中，对图像信息进行仿射变换处理，获取不同角度下的骨骼关键点和人体步态轮廓图；
具体的，如图2所示，在本步骤中，通过如下步骤实现：
基于空间变换网络中的卷积层对输入的桢级骨骼关键点图像信息进行学习，获取特征空间变换的参数；
具体地，首先由空间变换网络中的卷积层对输入进行学习，得到用于特征空间变换的参数θ，利用该参数可建立一个采样网格，映射输入特征，通过空间变换网络可以显式地学习特征不变性，校正检测框的误差。
通过特征空间变换的参数构建一个映射输入特征的采样网络；；
建立特征空间变换的参数与骨骼关键点仿射变换前、后坐标的关系式；
仿射变换操作如下所示：
Figure BDA0003151764560000091
其中，θ1，θ2和θ3均为二维向量，
Figure BDA0003151764560000092
和
Figure BDA0003151764560000093
分别为仿射变换前、后的坐标值。
设置单人姿态检测器，将骨骼关键点仿射变换后的坐标输入单人姿态检测器模块，基于空间逆变换网络对单人姿态检测器模块输出进行处理获取不同角度骨骼关键点坐标。
具体地，为了得到真实的骨骼关键点坐标，还需要将单人姿态检测器模块的输出经过空间逆变换网络该操作，可将骨骼关键点坐标映射至原始空间坐标。根据逆变换因子Y实现坐标映射，Y可以通过变化参数θ求解，具体如下：
Figure BDA0003151764560000094
[γ1γ2]＝[θ1θ2]-1
γ3＝-1×[γ1γ2]θ3
基于骨骼关键点的坐标序列，进而可获取相应的经典的步态数据、关节屈曲数据和骨架特征图；
如图3所示，该步骤具体还包括步骤：
基于单人姿态检测器于采集步行周期和足部起始、结束以及其他步态相位的时间参数；
基于单人姿态检测器采集臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标；；
根据上述步态相位时间参数和人体部位坐标序列计算获得步幅数据、步幅变异系数和步幅对称系数；根据臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标计算获取膝关节、髋关节、踝关节、肩关节和肘关节的屈曲角度变化序列。
针对每一个人体实例共提取19个关键特征点坐标，分别为：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、左足尖及右足尖。其中每一个特征点由一个三维向量(x，y，z)表示，x和y表示特征点在步态图像中相应的坐标值，z则表示该特征点在步态图像中是否可见。z＝0时表示网络并没有检测到对应的关节点；z＝1表示网络检测出关节点，但该关节点被遮挡不可见；z＝3表示检测到的关节点未被遮挡，可以看见。
提取步长，步长变异系数和步长对称性等参数。以右足为例，取单人姿态检测器测得在步行周期中右足固定时间开始点为t1，右足固定结束时间为t2，右足移动结束(下一周期固定开始)时间为t3，l右足为每个周期的右足步幅，i为步行周期。
Figure BDA0003151764560000101
为步行周期。
Figure BDA0003151764560000102
Figure BDA0003151764560000103
Figure BDA0003151764560000104
计算关节屈曲角度，其中，右膝关节屈曲角度表达式为：
Figure BDA0003151764560000105
其中，ly为每个周期的右足步幅，
Figure BDA0003151764560000106
为右足步行周期的步幅数。
具体地，如图4所示，还包括步骤：
如图12所示，设置特征提取模块，将标准化后的原始图像与其对应的人体关键特征点的坐标一同输入特征提取模块，其中，特征提取模块对应一个特征金字塔网络模块；
通过分割模块进行骨姿态分割人体轮廓，具体地，分割模块以密集连接的方式提取特征，并在密集连接模块的末端添加上采样操作，使其可以将特征的分辨率恢复至原始输入的大小，以完成分割任务。首先将标准化后的图片与其对应的人体实例关键特征点坐标值一起作为特征提取模块的输入，该网络中的特征提取模块为一个特征金字塔网络，在特征提取模块，为了减少整个模型参数的数量，首先需要经过1个卷积核大小为7×7，步长为2的卷积层和1个最大池化操作，将输入特征的分辨率由512×512减小至128×128。然后经过4个残差模块提取多尺度的特征；残差模块是由多个残差单元堆叠而成的。接着对提取到的深层特征进行3×3的卷积操作，为了更好地融合上下文信息，每一个卷积操作的输入均为上一个卷积层的输出以及与其对应的残差模块的输出经过1×1卷积后相加的结果。
基于姿态模板，通过引入仿射矩阵将步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；
具体来说，为了将个特征金字塔网络模块的提取到的特征坐标与原始特征相对应，中提通过一个基于骨骼关键点的对齐模块，以此来实现仿射对齐。该仿射对齐操作通过一个仿射矩阵将检测到的人体实例姿态与姿势模板对齐，将不规范的人体姿势变得更加规整，其中姿态模板包括但不限于半身姿态模板、正面全身姿态模板、左侧姿态模板和右侧姿态模板。
其中，如图14所示，仿射变换时，需对图片是否进行了左右翻转，其具体计算方式为：
H*＝argHmin||H·P-Pμ||
其中，P表示输入样本的姿势，Pu表示姿势模板，H表示压缩系数。
基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。
基于特征提取模块和分类网络建立步态识别体系，将经典步态数据、关节屈曲数据、骨架特征图和步态轮廓图输入步态识别体系进行跌倒高危，获取跌倒高危结果以及与其相关的预测值；
如图11，具体来说，识别结果(跌倒高危以及正常)与相应阳性预测值。识别结果打包后发送回移动端或其他客户端，并显示相应结果。
如图5所示，本步骤具体为：
首先设置帧级特征提取模块(经训练的)，将每一原始帧步态轮廓图和骨架特征图的最大值级联，等待作为后续模块的输入信息。
其中，基础网络其不刻意限制步态轮廓图序列间的顺序，而是将步态序列图像视为一个集合，利用深度网络自身的特性对步态轮廓图的形状进行学习，在提取个体的步态特征的同时学习步态轮廓图序列间的时空域信息。因此不需要额外统计图像的时间序列等参数，减少了计算负荷量。
随后将序列中所有级联的帧级信息(包含轮廓和骨架特征)输入水平金字塔模块，水平金字塔模块输出内容再级联经典步态数据以及关节屈曲数据，称之特征映射(即步态轮廓序列级特征)，将作为分类网络的输入数据。
首先每一帧步态图像都需要经过3个连续的帧级特征提取模块，接着提取每一帧图像中的最大值级联后作为样本的序列级特征，将序列级特征经过水平金字塔模块，将水平金字塔模块模块得到的特征映射作为步态识别网络的输出，通过计算训练集和测试集特征映射之间的距离实现步态识别，通过一个注意力模块优化全局特征，接着提取每一帧的最大值并级联作为样本的序列级特征，最后将提取到的序列级特征经过水平金字塔模块模块得到网络的输出。
在利用注意力机制提取序列级特征中，通过利用输入的全局特征学习每个像素对应的不同权重，然后利用学习到的权重对优化帧级特征，最后提取每一帧图像特征的最大值并将其级联作为Att-GaitSet网络中的序列级特征。具体来说，首先将原始的输入特征分别经过三个不同的统计函数，并将该结果与原始输入级联后经过一个1×1的卷积层得到不同像素对应的权重，将该权重与原始输入特征进行点乘运算后即可得到优化后的帧级特征。最后将优化的帧级特征经过一个统计函数，得到每帧步态图像的最大值，最后将每一个步态序列的最大值级联得到每个样本对应的序列级特征。
具体地，GaiSet网络中的1个帧级特征提取模块由2个卷积操作和1个最大池化操作组成。HPM模块，该模块首先对序列级特征进行s次维度的reshape，s初始值为5。每一个reshape后的特征映射通过全局池化将3维特征投影至1维特征，如下公式所示，还需要对每一个1维特征分别进行全连接操作将所有的特征映射至判别空间，最终每个样本均会得到一个维度为
Figure BDA0003151764560000121
的2维特征。
fs，t＝maxpool(z8，t)+avgpool(zs，t)
其中，maxpool(·)和avgpool(·)分别表示全局最大池化和全局平均池化。
Figure BDA0003151764560000122
训练阶段，将HPM模块得到的特征映射作为GaitSet网络的输出，使用TripletLoss作为损失函数优化网络参数。Triplet Loss为一个三元组损失函数，表示为<a，p，n>，其中a表示目标样本，又称为锚点(Anchor)，p和n分别表示与锚点相同类别的正样本(Positive)、与锚点不同类别的负样本(Negative)，Triplet Loss表达式为：
Z＝max{x·H[x，median(x)，mean(x)，max(x)]}
其中a为一个可调节的阈值参数；当[·]大于0时，损失函数为该值，否则损失函数的值为0。
在利用残差连接提取帧级特征时，由于GaitSet中卷积层比较少，所以无法很好地提取深层特征，但如果直接通过叠加卷积操作增加网络深度，可能会导致“梯度消失”问题。He等人提出一种残差网络ResNet，该网络通过堆叠残差单元而形成，基本残差单元通过前馈神经网络和跳跃连接实现，跳跃连接指通过恒等映射(Identity Mapping)将某个卷积层的输入与其输出进行叠加。假设ResNet网络中第个卷积层所得到的特征映射为，则第l+1个卷积层得到的特征映射为：
xl+1＝F(xl)+H(xl)
其中F(xl)表示非线性残差函数，H(xl)则表示恒等映射，即H(xl)＝xl。
与普通卷积组成的帧级特征提取模块相比，优化后的帧级特征提取模块在不增加隐藏层的情况下加深网络深度，因此可以学习到更深层的特征。并且因为网络层中特征映射个数是逐渐增加的，在一定程度上也可以保证特征的表征能力。
针对基础网络GaitSet中在提取序列级特征时，并未考虑特征全局信息的不足之处，本章提出一个注意力模块优化了基础网络中的序列级特征提取模块，首先利用输入的全局特征学习每个像素对应的不同权重，然后利用学习到的权重对优化帧级特征，最后提取每一帧图像特征的最大值并将其级联作为Att-GaitSet网络中的序列级特征。
具体地，首先将原始的输入特征分别经过三个不同的统计函数median(·)、mean(·)和max(·)，并将该结果与原始输入级联后经过一个1×1的卷积层得到不同像素对应的权重，将该权重与原始输入特征进行点乘运算后即可得到优化后的帧级特征。最后将优化的帧级特征经过一个统计函数，得到每帧步态图像的最大值，最后将每一个步态序列的最大值级联得到每个样本对应的序列级特征，其表达式如下：
Z＝max{x·H[x，median(x)，mean(x)，max(x)]}
其中x表示原始帧级特征，[·]表示级联操作，H表示一个1×1的卷积操作。
基础网络GaitSet中使用Triplet Loss作为损失函数。基本的Triplet Loss中会存在很多Easy Triplet，即在训练时得到的三元组<a，p，n>中，锚点a和p正样本的距离很近，但与负样本的距离很远，在这种情况下得到的损失为0，这样的训练没有意义，并且不利于模型的收敛。所以Att-GaitSet模型中通过结合HardTriplet Loss与Softmax Loss两种损失函数作为该模型的损失函数。
Hard Triplet Loss是在Triplet Loss的基础上改进的。具体来说，每次训练时网络会从训练集中随机选取P个不同的样本，并且从每一个样本中随机抽取K个不同视角的步态序列，所以训练时每一个批次(batch)中一共包含P*K个样本。对于每一个锚点，HardTriplet Loss仅选取其相应的最难正样本和最难负样本，组成一个最难三元组(HardTriplet)。其表达式为：
Figure BDA0003151764560000141
其中，X表示一个训练批次，数据点
Figure BDA0003151764560000142
表示在一个批次中的第i个样本的第j个步态序列，α则是实验中用于控制正负样本距离所设置的一个阈值，α初始设置为0.2。
虽然使用Hard Triplet Loss可以显式地优化网络，在减少同类样本距离的同时增大不同类样本的距离。但是仅使用Hard Triplet Loss作为损失函数时，网络比较容易过拟合，而且使用Hard Triplet Loss训练时模型的收敛具有很大的随机性。当特征间的距离为0时，就会出现损失函数在阈值附近波动的情况，此时模型便不会优化模型，即不会再减少类
Figure BDA0003151764560000143
内距离也不会增大类间距离。考虑到步态识别是通过区别不同样本的步态特征进行身份识别，即判断两个步态序列是否属于同一个人体实例，本质上依然属于一种分类任务，所以引入常用于分类任务的损失函数Softmax Loss。Softmax Loss在训练时通过不断缩小预测类别和真实类别之间的距离对网络模型进行优化，其目的是使得每一个类的预测类别都趋近于真实的类别，其表达式为：
其中xi表示属于第j类的第i个特征，yi表示样本的真实类别，W和b则分别表示特征维度中最后一层的权重以及偏置项。
Att-GaitSet网络中使用的损失函数为Hard Triplet Loss与Softmax Loss的加权和，通过融合多损失函数的方法可以共同约束所提取的步态特征的有效性。
L＝α LBH(θ；x)+βL8
其中α和β分别为两损失函数对应的权值，α和β的初始值设置为0.5。
在GaiSet网络中由帧级特征提取模块由2个卷积操作和1个最大池化操作组成，对特征序列进行s次维度的reshape处理，将处理后通过全局池化将3维特征投影至1维特征每个样本均会得到一个维度为
Figure BDA0003151764560000151
的2维特征。使用Triplet Loss作为损失函数优化网络参数使得同类样本之间的距离尽可能小，而不同类别样本间的距离尽可能的大，即让训练样本中来自同一个人体实例的特征距离变小，而来自不同人体实例的特征距离变大。
在前期训练分类模块的过程中，用分类模块计算已经标记的跌倒危险程度的训练集和测试集中不同序列特征映射间的距离；按照距离不断调整分类模块网络参数，使得同类序列间(跌倒高危状态，即健康，跌倒高危前期及跌倒高危)差异最小化，不同类序列间差异最大化，分类模块的训练过程完成后，固定整个分类模块的参数；后续即可使用完成训练的分类模块，进行未标记的映射特征的跌倒高危状态识别。
将识别结果和预测值发送至与原始帧图像序列集对应的用户。
如图6与图10所示，具体的过程包括：
获得跌倒高危状态识别结果、经典步态数据、医学建议和时间信息跌倒高危状态识别结果；
关联跌倒高危状态识别结果、经典步态数据、医学建议和时间信息与原始图像序列对应的个人信息；
打包个人信息与匹配的跌倒高危状态识别结果、经典步态数据、医学建议发送给用户；跌倒高危状态识别结果；
其中，个人信息至少包括：性别、年龄和历史疾病数据；
其中，风险预测至少根据时间信息、步态数据和跌倒高危状态识别结果预测跌倒高危病症风险；
其中，医师建议至少根据时间信息、步态数据和跌倒高危状态识别结果做调整。
此外，已发表文献和方法无完全适合方法识别前期处理数据，前期研究中选取现有步态识别网络gait-set为基础，通过添加注意力模块、调整损失函数类型以及卷积层参数后，在自采视频集(老年队列随访数据，随访确证有跌倒事件)的测试中表现除了较好的ROC曲线下面积(Receiver Operating Characteristic，检验方法真阳性率及假阳性率为纵横坐标的曲线，其曲线下面积越大检验效能越高)，敏感性，特异性和阳性预测值。
具体地，如表1所示，为步态跌倒高危算法表现为：
Figure BDA0003151764560000161
此外，如图7所示，本发明提供一种基于骨骼关键点的多角度跌倒高危识别系统，本系统中包括了数据前端处理模块710、步态特征提取模块720、分类模块730和识别结果输出终端740，本系统根据图1的步骤来实现数据前端处理模块710、步态特征提取模块720、分类模块730和识别结果输出终端740之间的信息交互与处理，其中，数据前端处理模块710输出端连接步态特征提取模块720输入端，步态特征提取模块720输出端连接分类模块730，分类模块730输出端连接识别结果输出终端740。
此外，本系统还包括服务器用于补充用户基本信息完善评估效果，所述服务器用于判断数据前端处理模块采集用户生理关键信息数据是否缺失，若缺失关键信息数据，则识别结果输出终端将缺失数据发送至用户补充或根据数据前端处理模块通过所述视频流生成生理关键信息数据，再发送至服务器，其中，所述生理关键信息至少包括身高、体重、血压、运动量和睡眠状况。
请参阅图8和图9，图8为本发明实施例中的轮廓图提取实例图，图9为本发明实施例中的关键点信息提取实例图。通过在选取Pose2Seg为基础，并对其进行改进，首先引入姿态仿射对齐机制，实现多个角度的图像的准确定位，并将分割模块修改为全卷积式的密集连接后显著改善了原方式边缘较粗糙的缺点。
通过OCHuman外部数据集对其进行训练测试后，得到表2数据。
Figure BDA0003151764560000162
表2
鉴于测试结果，明显得出本发明的轮廓提取精确度超过其他现有算法。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种基于骨骼关键点的多角度跌倒高危识别方法，其特征在于，包括：
采集人群正常步行速度的视频流，并获取原始帧图像序列集；其中，所述视频流是在一个方向获取的；
基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的骨骼关键点；
根据关键点信息和原始图像，获取每一原始帧图像对应的人体步态轮廓图；
在提取骨骼关键点和人体步态轮廓图过程中，对图像信息进行仿射变换处理，获取不同角度下的骨骼关键点和人体步态轮廓图；
基于骨骼关键点的坐标序列，获取相应的步态数据、关节屈曲数据和骨架特征图；
基于特征提取模块和分类网络建立步态识别体系，将步态数据、关节屈曲数据和骨架特征图输入步态识别体系进行跌倒高危识别，获取跌倒高危识别结果以及与其相关的预测值；
将识别结果和预测值发送至与原始帧图像序列集对应的用户。
2.根据权利要求1所述的一种基于骨骼关键点的多角度跌倒高危识别方法，其特征在于，在提取骨骼关键点和人体步态轮廓图过程中，对图像信息进行仿射变换处理，获取不同角度下的骨骼关键点和人体步态轮廓图，包括：
基于空间变换网络中的卷积层对输入的所述骨骼关键点进行学习，获取特征空间变换的参数；
通过所述特征空间变换的参数构建一个映射输入特征的采样网络；
建立特征空间变换的参数与骨骼关键点仿射变换前、后坐标的关系式；
设置单人姿态检测器，将骨骼关键点仿射变换后的坐标输入所述单人姿态检测器模块，基于空间逆变换网络对所述单人姿态检测器模块输出进行处理获取不同角度骨骼关键点坐标。
3.根据权利要求2所述的一种基于骨骼关键点的多角度跌倒高危识别方法，其特征在于，不同角度人体关键特征点至少包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左臀、右臀、左膝、右膝、左踝、右踝、左足尖和右足尖；每一个特征点由一个三维向量(x，y，z)表示，其中，x和y表示特征点在所述步态轮廓图中相应的坐标值，z则表示该特征点在所述步态轮廓图中是否可见。
4.根据权利要求3所述的一种基于骨骼关键点的多角度跌倒高危识别方法，其特征在于，所述仿射变换处理如下：
Figure FDA0003151764550000011
其中，θ1，θ2和θ3均为二维向量，
Figure FDA0003151764550000021
和
Figure FDA0003151764550000022
分别为仿射变换前、后的坐标值；
根据逆变换因子γ实现坐标映射，γ可以通过变化参数θ求解，仿射变换后，其表达式为：
Figure FDA0003151764550000023
[γ1 γ2]＝[θ1 θ2]-1
γ3＝-1×[γ1 γ2]θ3
获取每个周期的右足步幅、步幅变异系数和步幅对称系数，其表达式为：
Figure FDA0003151764550000024
Figure FDA0003151764550000025
Figure FDA0003151764550000026
其中，l右足为每个周期的右足步幅，i为步行周期，
Figure FDA0003151764550000027
为步行周期，ly为每个周期的右足步幅，
Figure FDA0003151764550000028
为右足步行周期的步幅数；
计算关键关节屈曲角度，其中，右膝关节屈曲角度表达式为：
Figure FDA0003151764550000029
5.根据权利要求2所述的一种基于骨骼关键点的多角度跌倒高危识别方法，其特征在于，基于骨骼关键点的坐标序列，获取相应的步态数据、关节屈曲数据和骨架特征图中，获取所述步态数据和关节屈曲数据包括：
基于所述单人姿态检测器于采集步行周期和足部起始、结束、以及其他步态相位的时间参数；
基于所述单人姿态检测器采集臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标；
根据上述所述步态相位的时间参数和人体部位坐标序列计算获得步幅数据、步幅变异系数和步幅对称系数；根据所述臀部坐标、膝部坐标、足部坐标、肩部坐标、肘部坐标和踝部坐标计算获取膝关节、髋关节、踝关节、肩关节和肘关节的屈曲角度变化序列。
6.根据权利要求1所述的一种基于骨骼关键点的多角度跌倒高危识别方法，其特征在于，根据关键点信息和原始图像，获取每一原始帧图像对应的人体步态轮廓图中，所述人体步态轮廓图的获取与处理中，包括：
设置轮廓提取模块，将标准化后的原始帧图像和关键点信息输入所述轮廓提取模块；
基于姿态模板，通过引入仿射矩阵将所述人体步态轮廓图中的人体实例姿态与姿态模板仿射对齐获得骨架特征图；
基于人体实例分割模型提取骨架特征图的关键点置信图和部分亲和场。
7.根据权利要求1所述的一种基于骨骼关键点的多角度跌倒高危识别方法，其特征在于，基于特征提取模块和分类网络建立步态识别体系，将步态数据、关节屈曲数据和骨架特征图输入步态识别体系进行跌倒高危，获取跌倒高危结果以及与其相关的预测值，包括：
在特征提取模块中，首先设置帧级特征提取模块，将每一原始帧步态轮廓图和骨架特征图的最大值级联，等待作为后续模块的输入信息；
随后将序列中所有级联的帧级信息输入水平金字塔模块，水平金字塔模块输出内容再级联步态数据以及关节屈曲数据，记为特征映射，并其将作为分类网络的输入数据；
使用分类模块，计算训练集和测试集中不同序列特征映射间的距离；按照距离不断调整分类模块网络参数，使得同类序列间差异最小化，不同类序列间差异最大化；训练过程完成，固定整个分类模块的参数；后续即可使用完成训练的分类模块，进行未标记的映射特征的跌倒高危状态识别。
8.根据权利要求1所述的一种基于骨骼关键点的多角度跌倒高危识别方法，其特征在于，在将识别结果和预测值发送至与获取原始帧图像序列集对应的用户中，包括：
获得跌倒高危状态识别结果、步态数据、医学建议和时间信息；
关联跌倒高危状态识别结果、经典步态数据、医学建议和时间信息与原始图像序列对应的个人信息；
打包个人信息与匹配的的跌倒高危状态识别结果、步态数据、医学建议和跌倒高危状态识别结果发送给用户；
其中，所述个人信息至少包括：性别、年龄和历史疾病数据；
其中，所述医学建议至少根据时间信息、步态数据和跌倒高危状态识别结果做调整。
9.一种基于骨骼关键点的多角度跌倒高危识别系统，其特征在于，包括：
数据前端处理模块：用于采集人群正常步行速度的视频流，并获取原始帧图像序列集；并基于人体姿态识别算法，对每一原始帧图像进行处理，获取每一原始帧图像对应的骨骼关键点、步态轮廓图；在提取关键点信息和轮廓图的过程中，对图像信息进行仿射变换处理，获取不同角度下的骨骼关键点和轮廓图；基于骨骼关键点的坐标序列，获取相应的步态数据、关键屈曲数据和骨架特征图，其中，所述数据前端处理模块采集一个方向的视频数据；
步态特征提取模块：用于将骨架特征图、步态轮廓图、步态数据和关节屈曲数据输出序列步态特征映射；
分类模块：用于输入序列步态特征映射，输出跌倒高危状态识别结果；
识别结果输出终端：用于获取与用户原始帧图像序列集匹配的跌倒高危状态识别结果；
其中，数据前端处理模块、步态特征提取模块、分类模块和识别结果输出终端通信连接，所述数据前端处理模块输出端连接所述步态特征提取模块输入端，所述步态特征提取模块输出端连接所述分类模块，所述分类模块输出端连接识别结果输出终端。
10.根据权利要求9所述的一种基于骨骼关键点的多角度跌倒高危识别系统，其特征在于，还包括服务器，所述服务器用于判断数据前端处理模块采集用户生理关键信息数据是否缺失，若缺失关键信息数据，则识别结果输出终端将缺失数据发送至用户补充或根据数据前端处理模块通过所述视频流生成生理关键信息数据，再发送至服务器，其中，所述生理关键信息至少包括身高、体重、血压、运动量和睡眠状况。
CN202110768806.5A 2021-08-31 2021-08-31 一种基于骨骼关键点的多角度跌倒高危识别方法及系统 Active CN113496216B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110768806.5A CN113496216B (zh) 2021-08-31 2021-08-31 一种基于骨骼关键点的多角度跌倒高危识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110768806.5A CN113496216B (zh) 2021-08-31 2021-08-31 一种基于骨骼关键点的多角度跌倒高危识别方法及系统

Publications (2)

Publication Number Publication Date
CN113496216A true CN113496216A (zh) 2021-10-12
CN113496216B CN113496216B (zh) 2023-05-05

Family

ID=77995808

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110768806.5A Active CN113496216B (zh) 2021-08-31 2021-08-31 一种基于骨骼关键点的多角度跌倒高危识别方法及系统

Country Status (1)

Country Link
CN (1) CN113496216B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114469072A (zh) * 2021-12-08 2022-05-13 四川大学华西第二医院 用摄像机自动预测婴儿心理发育的方法
CN115050101A (zh) * 2022-07-18 2022-09-13 四川大学 一种基于骨骼和轮廓特征融合的步态识别方法
CN115563556A (zh) * 2022-12-01 2023-01-03 武汉纺织大学 一种基于智能可穿戴设备的人体体态预测方法
CN115868966A (zh) * 2022-12-12 2023-03-31 北京顺源辰辰科技发展有限公司 一种智能行动辅助系统和智能行动辅助方法
CN115909394A (zh) * 2022-10-25 2023-04-04 珠海视熙科技有限公司 一种坐姿识别的方法、装置、智能台灯及计算机存储介质
CN115937743A (zh) * 2022-12-09 2023-04-07 武汉星巡智能科技有限公司 基于图像融合的婴幼儿看护行为识别方法、装置及系统
CN115969356A (zh) * 2022-12-12 2023-04-18 北京顺源辰辰科技发展有限公司 一种基于智能滑轨的多模态的行为监测方法和装置
CN116597426A (zh) * 2023-05-26 2023-08-15 北京中科睿途科技有限公司 一种司乘人员安全状态的识别方法和装置
CN117100255A (zh) * 2023-10-25 2023-11-24 四川大学华西医院 一种基于神经网络模型进行防摔倒判定的方法和相关产品

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140148733A1 (en) * 2012-04-27 2014-05-29 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
CN108338790A (zh) * 2017-01-24 2018-07-31 首都医科大学 步态分析及跌倒评估系统
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法
CN110974182A (zh) * 2019-12-30 2020-04-10 中国科学院合肥物质科学研究院 一种基于生物电阻抗法的肌少症风险评估系统
US20200211154A1 (en) * 2018-12-30 2020-07-02 Altumview Systems Inc. Method and system for privacy-preserving fall detection
CN111539327A (zh) * 2020-04-23 2020-08-14 四川大学华西医院 基于步态信息的轻度认知障碍识别方法及设备
CN111898574A (zh) * 2020-08-05 2020-11-06 复旦大学附属中山医院 一种起立行走测试分析系统及方法
CN112070027A (zh) * 2020-09-09 2020-12-11 腾讯科技（深圳）有限公司 网络训练、动作识别方法、装置、设备及存储介质
US20210049353A1 (en) * 2019-08-17 2021-02-18 Nightingale.ai Corp. Ai-based physical function assessment system
CN112434655A (zh) * 2020-12-07 2021-03-02 安徽大学 一种基于自适应置信度图卷积网络的步态识别方法
CN112861769A (zh) * 2021-03-02 2021-05-28 武汉爱科森网络科技有限公司 一种智能养老监控预警系统和方法
CN113057627A (zh) * 2021-03-18 2021-07-02 华南理工大学 基于弱足cop特征的步态特征提取方法及跌倒风险判别系统

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140148733A1 (en) * 2012-04-27 2014-05-29 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
US20170143240A1 (en) * 2012-04-27 2017-05-25 The Curators Of The University Of Missouri Activity analysis, fall detection and risk assessment systems and methods
CN108338790A (zh) * 2017-01-24 2018-07-31 首都医科大学 步态分析及跌倒评估系统
CN112784662A (zh) * 2018-12-30 2021-05-11 奥瞳系统科技有限公司 基于视频的跌倒风险评价系统
US20200211154A1 (en) * 2018-12-30 2020-07-02 Altumview Systems Inc. Method and system for privacy-preserving fall detection
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法
US20210049353A1 (en) * 2019-08-17 2021-02-18 Nightingale.ai Corp. Ai-based physical function assessment system
CN110974182A (zh) * 2019-12-30 2020-04-10 中国科学院合肥物质科学研究院 一种基于生物电阻抗法的肌少症风险评估系统
CN111539327A (zh) * 2020-04-23 2020-08-14 四川大学华西医院 基于步态信息的轻度认知障碍识别方法及设备
CN111898574A (zh) * 2020-08-05 2020-11-06 复旦大学附属中山医院 一种起立行走测试分析系统及方法
CN112070027A (zh) * 2020-09-09 2020-12-11 腾讯科技（深圳）有限公司 网络训练、动作识别方法、装置、设备及存储介质
CN112434655A (zh) * 2020-12-07 2021-03-02 安徽大学 一种基于自适应置信度图卷积网络的步态识别方法
CN112861769A (zh) * 2021-03-02 2021-05-28 武汉爱科森网络科技有限公司 一种智能养老监控预警系统和方法
CN113057627A (zh) * 2021-03-18 2021-07-02 华南理工大学 基于弱足cop特征的步态特征提取方法及跌倒风险判别系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
BROOKE SALZMAN: "Gait and Balance Disorders in Older Adults", AM FAM PHYSICIAN *
E. E. STONE 等: "Fall Detection in Homes of Older Adults Using the Microsoft Kinect", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS *
HAO-SHU FANG 等: "RMPE: Regional Multi-person Pose Estimation", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), *
X. LV 等: "Human Gait Analysis Method Based on Sample Entropy Fusion AlphaPose Algorithm", 2021 33RD CHINESE CONTROL AND DECISION CONFERENCE (CCDC) *
ZHANG W 等: "Review of Gait, Cognition, and Fall Risks with Implications for Fall Prevention in Older Adults with Dementia", DEMENT GERIATR COGN DISORD *
刘逸萌: "基于足底压力分布的老年人跌倒风险深度预测模型研究", 中国优秀硕士学位论文全文数据库 (医药卫生科技辑) *
王中岐: "基于机器视觉的跌倒检测报警系统的设计与实现", 中国优秀硕士学位论文全文数据库 (社会科学Ⅰ辑) *
苏凯: "人体特征点检测算法的鲁棒性研究", 中国优秀硕士学位论文全文数据库 (信息科技辑) *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114469072A (zh) * 2021-12-08 2022-05-13 四川大学华西第二医院 用摄像机自动预测婴儿心理发育的方法
CN114469072B (zh) * 2021-12-08 2023-08-08 四川大学华西第二医院 用摄像机自动预测婴儿心理发育的方法
CN115050101A (zh) * 2022-07-18 2022-09-13 四川大学 一种基于骨骼和轮廓特征融合的步态识别方法
CN115050101B (zh) * 2022-07-18 2024-03-22 四川大学 一种基于骨骼和轮廓特征融合的步态识别方法
CN115909394A (zh) * 2022-10-25 2023-04-04 珠海视熙科技有限公司 一种坐姿识别的方法、装置、智能台灯及计算机存储介质
CN115909394B (zh) * 2022-10-25 2024-04-05 珠海视熙科技有限公司 一种坐姿识别的方法、装置、智能台灯及计算机存储介质
CN115563556A (zh) * 2022-12-01 2023-01-03 武汉纺织大学 一种基于智能可穿戴设备的人体体态预测方法
CN115937743B (zh) * 2022-12-09 2023-11-14 武汉星巡智能科技有限公司 基于图像融合的婴幼儿看护行为识别方法、装置及系统
CN115937743A (zh) * 2022-12-09 2023-04-07 武汉星巡智能科技有限公司 基于图像融合的婴幼儿看护行为识别方法、装置及系统
CN115868966A (zh) * 2022-12-12 2023-03-31 北京顺源辰辰科技发展有限公司 一种智能行动辅助系统和智能行动辅助方法
CN115969356A (zh) * 2022-12-12 2023-04-18 北京顺源辰辰科技发展有限公司 一种基于智能滑轨的多模态的行为监测方法和装置
CN116597426A (zh) * 2023-05-26 2023-08-15 北京中科睿途科技有限公司 一种司乘人员安全状态的识别方法和装置
CN117100255A (zh) * 2023-10-25 2023-11-24 四川大学华西医院 一种基于神经网络模型进行防摔倒判定的方法和相关产品
CN117100255B (zh) * 2023-10-25 2024-01-23 四川大学华西医院 一种基于神经网络模型进行防摔倒判定的方法和相关产品

Also Published As

Publication number Publication date
CN113496216B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN113496216B (zh) 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
Kour et al. Computer-vision based diagnosis of Parkinson’s disease via gait: A survey
CN110287825B (zh) 一种基于关键骨骼点轨迹分析的摔倒动作检测方法
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
Huan et al. Deep convolutional neural networks for classifying body constitution based on face image
CN112101235B (zh) 一种基于老年人行为特征的老年人行为识别检测方法
CN113488163B (zh) 一种基于机器视觉的肌少症识别方法、装置、设备及介质
CN114269243A (zh) 跌倒风险评价系统
WO2021217906A1 (zh) 基于步态特征的体态检测方法、装置、设备及存储介质
CN114387666A (zh) 一种基于人体关键点的图卷积网络跌倒检测方法
CN113688740B (zh) 一种基于多传感器融合视觉的室内姿势检测方法
Jin et al. Estimating human weight from a single image
CN114550299A (zh) 基于视频的老年人日常生活活动能力评估系统和方法
Sardari et al. View-invariant pose analysis for human movement assessment from rgb data
CN112102951B (zh) 一种基于人体体态估计算法的健康监测方法和装置
CN117542474A (zh) 基于大数据的远程护理监测系统及方法
Scott et al. From kinematics to dynamics: Estimating center of pressure and base of support from video frames of human motion
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN115147768B (zh) 一种跌倒风险评估方法及系统
CN104331705B (zh) 融合时空信息的步态周期自动检测方法
CN113271848B (zh) 身体健康状态影像分析装置、方法以及系统
CN113255462A (zh) 步态评分方法、系统、计算机程序产品及可读存储介质
Wu et al. MassNet: A Deep Learning Approach for Body Weight Extraction from A Single Pressure Image
Xiang et al. Single camera based gait analysis method with scaled and image coordinate key-points
JP2020124367A5 (zh)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant