CN117038006A - 一种上下肢骨科术后康复训练ai辅助诊断决策的方法 - Google Patents

一种上下肢骨科术后康复训练ai辅助诊断决策的方法 Download PDF

Info

Publication number
CN117038006A
CN117038006A CN202310903157.4A CN202310903157A CN117038006A CN 117038006 A CN117038006 A CN 117038006A CN 202310903157 A CN202310903157 A CN 202310903157A CN 117038006 A CN117038006 A CN 117038006A
Authority
CN
China
Prior art keywords
human body
rehabilitation
distance
training
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310903157.4A
Other languages
English (en)
Inventor
蔡稼阳
赵小博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jindou Yunyixing Technology Xi'an Co ltd
Original Assignee
Jindou Yunyixing Technology Xi'an Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jindou Yunyixing Technology Xi'an Co ltd filed Critical Jindou Yunyixing Technology Xi'an Co ltd
Priority to CN202310903157.4A priority Critical patent/CN117038006A/zh
Publication of CN117038006A publication Critical patent/CN117038006A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明属于机器视觉、卷积神经网络和骨科术后康复的交叉学科领域,公开了一种上下肢骨科术后康复训练AI辅助诊断决策的方法及系统,包括患者康复训练行为识别;人体关键点与中心点的距离计算;运动特征分析;康复指标信息提取;结果输出和远程反馈。本发明利用可在商业边缘计算设备上运行的BlazePose实时人体姿态追踪算法和Google跨平台人工智能工作管线框架MediaPipe可扩展开源框架,并结合现代数字信号处理理论和骨科术后康复训练医学实践等将人体肢体关键点的实时运动参数进行数字化、可视化、智能化,在不需要贴身运动传感器等硬件单元的情况下,提供了一种具有轻量化、可便携、非接触式、非穿戴式等显著优点的术后康复训练AI辅助诊断、AI辅助决策的方法。

Description

一种上下肢骨科术后康复训练AI辅助诊断决策的方法
技术领域
本发明属于机器视觉、卷积神经网络和骨科术后康复的交叉学科技术领域,尤其涉及一种基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、辅助决策的方法。
背景技术
目前,功能锻炼是骨科患者术后康复的一项重要内容,骨科患者的手术医师和康复治疗师会根据患者的手术情况和体质情况制定出适当的功能锻炼计划,通过正确的康复训练,使患者的肢体恢复其运动功能。目前上下肢骨科术后康复训练的主要形式是借助康复器械和训练系统辅助患者进行主动、被动和主被动的上下肢康复训练。由于骨科术后康复训练周期长和康复训练医疗器械资源有限,实际情况下往往不能满足患者进行术后康复功能锻炼、术后康复诊断、康复评定和康复风险评估的迫切需求。
通过上述分析,现有技术存在的问题及缺陷为:
(1)康复器械和训练系统资源有限:由于骨科术后康复训练所需的康复器械和训练系统资源有限,无法满足所有患者进行康复训练的需求。这可能导致一些患者无法及时获得必要的康复训练和治疗。
(2)长期康复训练周期:骨科术后康复训练通常需要较长的时间来恢复肢体的运动功能。然而,由于康复资源有限,一些患者可能无法持续接受足够长时间的康复训练,影响了康复效果。
(3)缺乏个性化定制:目前的康复器械和训练系统通常是通用设计,无法满足每个患者的个体差异和特定需求。不同患者在手术情况、体质状态和康复目标上存在差异,因此需要个性化的康复方案和定制化的训练器械。
(4)康复诊断和评估不完善:现有技术在骨科术后康复诊断和评估方面存在不足。缺乏准确的诊断方法和评估指标,导致康复进展无法科学、客观地监测和评估,难以制定合理的康复计划。
(5)康复风险评估不全面:当前的康复系统往往缺乏全面的康复风险评估,无法充分考虑患者在康复过程中可能面临的风险因素。这可能导致康复过程中的并发症和不良事件发生,影响康复效果。
(6)康复训练、评估设备成本高:当前术后康复、评估设备均存在研发、设计、生产等成本居高不下,医院采购成本投入高,患者使用成本巨大,多数患者在失去工作、自理能力的情况下往往无法支撑持续使用、一次购置等的费用,现实情况下不利于使更多骨科患者得到普惠。
(7)医疗资源、护工人员有限以及用工成本高:每位骨科患者在治疗周期中均需要一定数量的医疗资源配套,大多数医院往往存在医疗资源、人力、护工、场所等不足,急需一种能替代部分医疗资源消耗的全新方式。
(8)患者术后康复期间关键信息沟通的数字化智能化程度有限:多数骨科患者在术后康复期间与医院、医师、康复治疗师等的信息沟通仍停留在如电话沟通、面对面等传统方式上,远程化、数字化、网络化、智能化的程度有限。
发明内容
针对现有技术存在的问题,本发明提供了一种基于BlazePose(On-device Real-time Body Pose tracking)人体关键点识别算法的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策的方法。本发明利用可在边缘计算设备上运行的BlazePose实时人体姿态追踪算法和Google跨平台人工智能工作管线框架MediaPipe可扩展开源框架,并结合现代数字信号处理理论和骨科术后康复训练医学实践等将人体肢体关键点的实时运动参数进行数字化、可视化、智能化,在不需要贴身运动传感器等硬件单元的情况下,提供了一种具有轻量化、可便携、非接触式、非穿戴式等显著优点的上下肢骨科患者术后康复训练AI辅助诊断、AI辅助决策的方法,该方法具体包括如下步骤:
1)患者康复训练行为识别:患者依据术后康复训练计划在高清摄像头前3米处进行上肢、下肢、上下肢协同行为训练,持续获取、存储康复行为训练时BlazePose算法输出的人体33个关键点的真实世界坐标值(X,Y,Z);
2)人体关键点与中心点的距离计算:根据真实世界坐标值(X,Y,Z)计算出人体33个关键点与BlazePose算法坐标系原点即人体中心点的距离,绘制出人体姿态33个关键点的实时中心点距离变化曲线图;
3)运动特征分析:选取变化曲线图中有效的训练时段数据送入运动特征分析模块进行时域特征值提取、频域特征值和功率谱熵特征值提取;
4)康复指标信息提取:基于人体姿态33个关键点的时域、频域、功率谱熵特征值智能分析患者康复行为训练时的上下肢肌力水平和关节活动度信息,可测算出患者的康复指标包括步幅、步频、摆臂频率、摆臂幅度、膝关节活动度、肘关节活动度、肩关节活动度、平衡感知、身体协调度;
5)结果输出和远程反馈:输出康复诊断评定信息,与AI医院、AI康复中心的远程患者病例数据库和康复训练预定计划系统对接,实现患者康复指标信息的实时更新和实时反馈。
进一步,所述步骤1)中的患者康复训练行为识别:利用可在边缘设备上运行的BlazePose(On-device Real-time Body Pose tracking)实时人体姿态追踪算法和Google跨平台人工智能工作管线框架MediaPipe可扩展开源框架对患者上下肢术后康复行为训练的视频流进行推理以获得每一帧图像人体33个关键点的真实世界坐标值(X,Y,Z)。具体实现的方式是实时推理出人体和关键部位如脸部和躯体的区域,再对关键区域进行关键点特征推理,识别出人体姿态的33个关键点,其余为图像背景可进行模糊化处理。
进一步,所述的步骤2)中人体关键点与人体中心点的距离计算:实时计算出33个人体关键点与人体中心点的距离值并存储到数据结构体中,实时存储的各关键点与中心点距离变化值通过曲线图进行绘制并显示到用户交互界面,人体关键点与人体中心点距离值的计算公式为
进一步,所述的步骤3)中的选取人体中心点距离变化值曲线图的有效时段数据送入运动特征分析进行特征值计算,有效的训练时段数据包括头部、肩部、肘部、手腕部、臀部、膝部、脚腕部和足跟部关键点。
进一步,所述的步骤3)中的时域特征值提取包括提取如下特征值:
最大值:人体关键点与人体中心点的最大距离;
最小值:人体关键点与人体中心点的最小距离;
峰峰值:人体关键点与人体中心点的最大距离和最大距离的差值即变化范围;
均值:人体关键点与人体中心点距离的平均值;
方差:人体关键点与人体中心点距离变化的动态分量;
标准差:人体关键点与人体中心点距离变化的离散程度;
均方值:人体关键点与人体中心点距离变化的信号能量;
均方根值:人体关键点与人体中心点距离的有效值反映变化的能量强度和稳定性;
峭度:人体关键点与人体中心点距离变化的冲击特性和平缓程度;
偏度:人体关键点与人体中心点距离变化的非对称性;
峰值因子:人体关键点与人体中心点距离的峰值在波形中的极端程度;
脉冲因子:人体关键点与中心点距离的峰值与整流平均值的比值;
波形因子:人体关键点与中心点距离的有效值Root-Mean-Square(RMS)与整流平均值的比值;
裕度因子:人体关键点与中心点距离的峰值与方根幅值的比值。
进一步,所述的步骤3)中的频域特征值和功率谱熵特征值提取包括提取如下特征值:
峰值频率:人体关键点与人体中心点距离的时域波形在频谱分析中幅值最大的信号频率;
重心频率:人体关键点与人体中心点距离的时域波形在频谱分析中分量较大的信号成分的频率;
均方频率:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱主频带位置分布;
均方根频率:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱主频带位置分布;
频率方差:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱能量集中/分散程度;
频率标准差:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱能量集中/分散程度;
功率谱熵:人体关键点与人体中心点距离的时域波形在频域上能量分布复杂程度的定量描述。
进一步,所述的步骤4)康复指标信息提取中的智能分析患者康复行为训练时的上下肢肌力水平和关节活动度信息并测算出患者的康复指标包括步幅、步频、摆臂频率、摆臂幅度、膝关节活动度、肘关节活动度、肩关节活动度、平衡感知、身体协调度,用于患者的康复诊断和康复评定,具体的康复指标信息包含如下:
上肢肌力水平:一共分为六级,数字越小肌力越弱,五级为正常水平,零级为无肌力;
下肢肌力水平:一共分为六级,数字越小肌力越弱,五级为正常水平,零级为无肌力;
肩关节活动度:肩关节主要活动范围为前屈0度至90度,后伸0度至45度;
肘关节活动度:肘关节主要活动为屈伸活动,活动范围为0度(伸)至140度(屈);
膝关节活动度:膝关节主要活动为伸膝0度,膝过伸15度,屈膝0度至145度;
平衡感知:测量康复运动训练时的肢体平衡感,是否出现身体倾斜、平衡感退化;
身体协调度:测量康复运动训练时的左右肢体力度和幅度的一致性和偏差度;
步幅:依据康复运动训练时推算的身高和步频计算出步幅,范围为60至75厘米;
步频:测量康复运动训练时的步频,正常无负重踏步时范围为90至125步每分钟;
摆臂频率:测量康复运动训练时的摆臂频率,正常无负重踏步时范围为90至125次每分钟;
摆臂幅度:该康复指标信息等同于人体肩关节活动度,单位为角度,范围为正90度至负45度。
进一步,所述的步骤5)结果输出和远程反馈中,上下肢骨科术后康复训练AI辅助诊断软件具备同步加密的康复指标信息到云端AI医院数据库的功能,首先通过TCP/IP网络协议发送经Rivest-Shamir-Adleman(RSA)算法加密的AI辅助康复诊断评定信息到AI医院、AI康复中心的远程患者病例数据库和康复训练预定计划系统,其次在云端服务器实现患者康复指标信息、康复训练预定计划的实时更新、远程反馈和康复风险评估。
结合上述的技术方案和解决的技术问题,本发明所要保护的技术方案所具备的优点及积极效果为:
第一、本发明通过基于深度学习理论的人工智能预先训练神经网络模型BlazePose人体关键点快速识别算法将人体肢体关键点的实时运动参数进行立体坐标化、数字归一化、三维可视化和人工智能化,并结合现代数字信号处理理论和骨科术后康复训练医学实践对骨科术后患者的康复训练结果进行实时肢体运动推理和指标量化分析,基于肢体康复训练大模型的输出结果为患者的下一步康复训练计划提供专业化的建议和规划,从而实现了骨科术后康复训练的AI辅助诊断和AI辅助决策,本发明的技术方案与传统的康复训练评估系统有着显著的区别,在无需专业骨科医师和康复治疗师在场的情况下,患者不需要佩戴、绑定任何贴身传感器设备,在不借助各种接触式康复器械的辅助下即可进行康复训练评估,精准地输出患者的肢体康复状态指标。本发明所保护的技术方案为现有的骨科术后康复训练体系提供了一种全新的AI辅助方式,可大量节省医疗资源和人力护工资源成本,可使更多的患者得到专业化的AI辅助诊断、康复评定和康复风险评估等前所未有的人工智能增值服务。
第二,不同于现有的上下肢骨科术后站立、运动康复训练器械设备体积大、占地大、研发投入巨大、体型笨重等特点,本发明具有轻量化、占地面积小、可轻松便携的显著特点。本发明不与患者的身体直接进行物理接触,无需患者穿戴、绑定运动传感器采集设备,不会给患者的肢体带来不适感,因此本发明具有非接触式、非穿戴式的显著优点。本发明操作简单,可以在不需要专业的康复医生和治疗师在场的情况下即可进行上下肢骨科术后康复训练并获得AI辅助诊断、康复评定和康复风险评估,患者可以在出院后进行居家康复训练并得到专业的康复诊断和评定反馈。本发明具有硬件成本优势,适合于大规模普及,能使更多的上下肢骨科术后患者在出院后居家护理、休养、恢复的情况下也能接受专业、便捷、可定制化的康复训练指导、诊断、评定和风险评估等术后康复服务。
第三,作为本发明的权利要求的创造性辅助证据,还体现在以下几个重要方面:
本发明的技术方案转化后的预期收益和商业价值为:本发明保护的技术方案转化后的成果主要以软件程序的形式出现,该软件算法和可执行代码可在多种商业边缘计算单元进行简易部署,可服务于骨科术后康复患者等人群,能产生持续的商业价值和经济效益并能服务于社会。
本发明的技术方案填补了国内外业内技术空白:本发明所保护的技术方案在国内外骨科医疗康复领域均处于前瞻性、颠覆性的预先研究阶段,具有技术上的先发优势并具备在AI医疗康复场景应用的独特优势,特别是对推动AI在未来医疗康复、大健康、数字医疗领域的大规模人工智能场景落地有积极的效果。
本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题:AI影像处理和AI视频应用在医疗康复领域在对减轻社会医疗资源紧张等方面有显著的促进作用,但实际情况下仍存在信任度、准确度、专业度的质疑,而本发明所保护的技术方案在现有人工智能、深度学习获得极大技术突破的前提下进一步提升了AI医疗康复技术在骨科术后康复训练评估领域的可行性和可信度,使康复训练评估系统实现了前所未有的的AI辅助诊断、AI辅助决策的诸多智能化功能。
本发明的技术方案是否克服了技术偏见:本发明所保护的技术方案克服了传统康复训练评估系统完全依赖于接触式的传感器硬件单元或肢体必须绑定辅助器械等技术偏见,使非接触、非穿带辅助设备、便携式、占地小的骨科术后康复训练评估方式成为现实。
附图说明
图1是本发明实施例提供的基于BlazePose人体关键点识别算法的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法的技术实现流程图;
图2是本发明实施例提供的基于BlazePose人体关键点识别算法的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法的康复训练评测患者、辅助人员的具体操作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如图1所示,为本发明基于BlazePose(On-device Real-time Body Posetracking)人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断方法的流程,具体包括以下步骤:
1)患者康复训练行为识别:患者依据术后康复训练计划在高清摄像头前3米处进行上肢、下肢、上下肢协同行为训练,持续获取、存储康复行为训练时BlazePose算法输出的人体姿态33个关键点的真实世界坐标值(X,Y,Z)。
所述步骤1)中的患者康复训练行为识别:利用可在边缘设备上运行的BlazePose实时人体姿态追踪算法和Google跨平台人工智能工作管线框架MediaPipe可扩展开源框架对患者上下肢术后康复行为训练的视频流进行推理以获得每一帧图像人体33个关键点的真实世界坐标值(X,Y,Z)。具体实现的方式是实时推理出人体和关键部位如脸部和躯体的区域,再对关键区域进行关键点特征推理,识别出人体姿态的33个关键点,其余为图像背景可进行模糊化处理。
进一步,在上述步骤1)中上肢、下肢、上下肢协同行为训练是指患者在术后能自行站立或借助于人工肢体的情况下进行主动摆臂、踏步的行为训练模式,患者根据自身恢复情况和医师、治疗师指定的合理的康复训练计划定期在高清摄像头前3米处进行上肢、下肢、上下肢协同行为训练,本发明完成持续高精度高分辨率采样、获取、存储康复行为训练时BlazePose算法输出的人体姿态33个关键点的真实世界坐标值(X,Y,Z)。
2)人体关键点与中心点的距离计算:根据真实世界坐标值(X,Y,Z)计算出人体33个关键点与BlazePose算法坐标系原点即人体中心点的距离,绘制出人体姿态33个关键点的实时中心点距离变化曲线图。
所述的步骤2)中人体关键点与人体中心点的距离计算:实时计算出33个人体关键点与人体中心点的距离值并存储到程序的数据结构体中,实时存储的各关键点与中心点距离变化值通过曲线图进行绘制并显示到用户交互界面,人体关键点与人体中心点距离值的计算公式为人体姿态两个关键点A和B的距离值的计算公式为根据人体姿态3个相邻关键点A、B、C的三维坐标值(Xa,Ya,Za)、(Xb,Yb,Zb)、(Xc,Yc,Zc)计算角点B的夹角值α的过程为:设m,n是两个不为0的向量,它们的夹角为α
A.由向量公式:cosα=m*n/|m||n|
B.若向量用坐标表示,m=(X1,Y1,Z1),n=(X2,Y2,Z2),X1=(Xa-Xb),Y1=(Ya-Yb),Z1=(Za-Zb),X2=(Xc-Xb),Y2=(Yc-Yb),Z2=(Zc-Zb),则m*n=(X1*X2+Y1*Y2+Z1*Z2),
C.将以上数据代入得到:
3)运动特征分析:选取变化曲线图中有效的训练时段数据送入运动特征分析模块进行时域特征值提取、频域特征值和功率谱熵特征值的提取。
所述的步骤3)中的选取人体中心点距离变化值曲线图的有效时段数据送入运动特征分析进行特征值计算,有效的训练时段数据包括头部、肩部、肘部、手腕部、臀部、膝部、脚腕部和足跟部关键点的运动数据。运动特征分析模块完成对有效的训练时段数据的时域特征值的计算和提取包括提取如下特征值:
最大值MAX:人体关键点与人体中心点的最大距离;
最小值MIN:人体关键点与人体中心点的最小距离;
峰峰值Peak-to-Peak:人体关键点与人体中心点的最大距离和最大距离的差值即变化范围;
均值Mean:人体关键点与人体中心点距离的平均值;
方差Variance:人体关键点与人体中心点距离变化的动态分量;
标准差Standard Deviation:人体关键点与人体中心点距离变化的离散程度;
均方值Mean Square Value:人体关键点与人体中心点距离变化的信号能量;
均方根值Root mean square(RMS):人体关键点与人体中心点距离的有效值反映变化的能量强度和稳定性;
峭度Kurtosis:人体关键点与人体中心点距离变化的冲击特性和平缓程度;
偏度Skewness:人体关键点与人体中心点距离变化的非对称性;
峰值因子Peakfactor:人体关键点与人体中心点距离的峰值在波形中的极端程度;
脉冲因子Pulse factor:人体关键点与中心点距离的峰值与整流平均值的比值;
波形因子Waveform factor:人体关键点与中心点距离的有效值(RMS)与整流平均值的比值;
裕度因子Clearance factor:人体关键点与中心点距离的峰值与方根幅值的比值。
所述的步骤3)中的运动特征分析模块完成对有效的训练时段数据的频域特征值和功率谱熵特征值的计算、提取包括提取如下特征值:
峰值频率Peak frequency:人体关键点与人体中心点距离的时域波形在频谱分析中幅值最大的信号频率;
重心频率Gravity frequency:人体关键点与人体中心点距离的时域波形在频谱分析中分量较大的信号成分的频率;
均方频率Mean square frequency:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱主频带位置分布;
均方根频率RMS frequency:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱主频带位置分布;
频率方差Frequency variance:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱能量集中/分散程度;
频率标准差Standard deviation of frequency:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱能量集中/分散程度;
功率谱熵Power spectral entropy:人体关键点与人体中心点距离的时域波形在频域上能量分布复杂程度的定量描述。
4)康复指标信息提取:基于人体姿态33个关键点的时域、频域、功率谱熵特征值智能分析患者康复行为训练时的上下肢肌力水平和关节活动度信息,可测算出患者的康复指标包括步幅、步频、摆臂频率、摆臂幅度、膝关节活动度、肘关节活动度、肩关节活动度、平衡感知、身体协调度。
所述的步骤4)康复指标信息提取中的智能分析患者康复行为训练时的上下肢肌力水平和关节活动度信息并测算出患者的康复指标包括步幅、步频、摆臂频率、摆臂幅度、膝关节活动度、肘关节活动度、肩关节活动度、平衡感知、身体协调度,用于患者的康复诊断和康复评定,具体的康复指标信息包含如下:
上肢肌力水平:一共分为六级,数字越小肌力越弱,五级为正常水平,零级为无肌力;
下肢肌力水平:一共分为六级,数字越小肌力越弱,五级为正常水平,零级为无肌力;
肩关节活动度:肩关节主要活动范围为前屈0度至90度,后伸0度至45度;
肘关节活动度:肘关节主要活动为屈伸活动,活动范围为0度(伸)至140度(屈);
膝关节活动度:膝关节主要活动为伸膝0度,膝过伸15度,屈膝0度至145度;
平衡感知:测量康复运动训练时的肢体平衡感,是否出现身体倾斜、平衡感退化;
身体协调度:测量康复运动训练时的左右肢体力度和幅度的一致性和偏差度;
步幅:依据康复运动训练时推算的身高和步频计算出步幅,范围为60至75厘米;
步频:测量康复运动训练时的步频,正常无负重踏步时范围为90至125步每分钟;
摆臂频率:测量康复运动训练时的摆臂频率,正常无负重踏步时范围为90至125次每分钟;
摆臂幅度:该康复指标信息等同于人体肩关节活动度,单位为角度,范围为正90度至负45度。
所述的步骤4)中的康复指标信息和参数由雷达图、柱状图的方式进行显示,可以让患者能对自身的康复训练状态有一个可量化的、清晰的、直观的判断,有利于增强患者的康复信心和主动性。
5)结果输出和远程反馈:输出康复诊断评定信息,与AI医院、AI康复中心的远程患者病例数据库和康复训练预定计划系统对接,实现患者康复指标信息的实时更新和实时反馈。
所述的步骤5)结果输出和远程反馈中,上下肢骨科术后康复训练AI辅助诊断软件具备同步加密的康复指标信息到云端AI医院数据库的功能,首先通过TCP/IP网络协议发送经Rivest-Shamir-Adleman(RSA)算法加密的患者AI辅助康复诊断评定信息到AI医院、AI康复中心的远程患者病例数据库和康复训练预定计划系统,充分保障患者数据传输的安全性,充分保护患者的个人隐私权和个人信息安全,其次在云端服务器实现患者康复指标信息、康复训练预定计划的实时更新、远程反馈和康复风险评估以及患者康复计划的制定、反馈和调整。
将本发明应用实施例提供的基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策的方法应用于计算机设备,所述计算机设备包括存储器、中央处理器和图形处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法所有技术步骤的程序代码。
将本发明应用实施例提供的基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断方法应用于信息数据处理终端、商业边缘设备等,所述信息数据处理终端用于实现所述基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法的摄像头数据采集、AI推理、中间数据分析、康复指标反馈、康复诊断和康复决策。
本发明实施例提供的基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、辅助决策的方法不同于现有的上下肢骨科术后站立、运动康复训练器械设备体积大、占地大、笨重等特点,本发明具有轻量化、占地面积小、可轻松便携的显著特点。本发明不与患者的身体直接进行物理接触,无需患者穿戴、绑定传感器采集设备,不会给患者的肢体带来不适感,因此本发明具有非接触式、非穿戴式、不依赖贴身传感器硬件等设备的显著优点。本发明操作简单,可以在不需要专业的康复医生和治疗师在场的情况下即可进行上下肢骨科术后康复训练并获得AI辅助诊断、康复评定和康复风险评估,患者可以在出院后进行居家康复训练并得到专业的康复诊断和评定反馈。本发明具有硬件成本优势,适合于大规模普及,能使更多的上下肢骨科术后患者在出院后居家护理、休养、恢复的情况下也能接受专业、便捷、可定制化的康复训练指导、诊断、评定和风险评估等术后康复服务。
本发明实施例提供的方法是一个基于BlazePose人体关键点识别的便携式非接触式上下肢骨科术后康复训练AI辅助诊断与决策系统,其核心创新点在于实时捕捉和分析患者康复训练过程中的关键点,提取特征值并智能分析康复指标,实现远程反馈。该系统可以分为以下模块:
1)数据采集模块:通过高清摄像头捕捉患者康复训练行为,并持续获取BlazePose算法输出的33个关键点的真实世界坐标值(X,Y,Z)。
2)关键点处理模块:计算关键点与人体中心点的距离,绘制实时中心点距离变化曲线图。
3)运动特征分析模块:对曲线图中有效的训练时段数据进行时域特征值提取、频域特征值和功率谱熵特征值提取。
4)康复指标提取模块:根据关键点特征值智能分析患者康复行为训练时的肌力水平和关节活动度信息,计算康复指标。
5)结果输出与远程反馈模块:输出康复诊断评定信息,与AI医院、AI康复中心的远程患者病例数据库和康复训练预定计划系统对接,实现患者康复指标信息的实时更新和实时反馈。
该发明的优点在于:
1.非接触式检测,无创伤,高安全性;
2.定量化评估,提供客观准确的康复指标,可实现长期监测;
3.远程诊疗,与医院数据库和康复中心对接,实现患者信息实时更新和反馈;
4.人工智能辅助,通过AI算法分析大量运动特征数据,准确判断患者康复情况,实现AI辅助诊断和决策;
5.便携化,可在家中自行进行康复训练和评估;
积极效果:
1.详细记录患者康复过程,为制定个体化康复计划提供依据;
2.减轻医护人员工作量,实现智能化管理;
3.提高康复训练效果和患者依从性;
4.缩短康复周期,减少就医次数,降低医疗成本;
5.可在全国范围内进行远程康复诊疗和技术交流;
6.利用大数据分析终身改善康复方案和指南。
该方法为骨科术后康复与康复医学发展提供重要支撑,有广阔的应用前景。
实施例1:
假设患者A在ACL(前交叉韧带)重建手术后需要进行康复训练。患者A在AI康复中心按照康复训练计划进行上下肢协同行为训练,如单腿平衡训练和蹲起训练。在训练过程中,系统通过高清摄像头捕捉患者A的动作,并实时获取33个关键点的真实世界坐标值。通过关键点处理模块,系统计算出关键点与人体中心点的距离,并绘制实时中心点距离变化曲线图。接着,运动特征分析模块提取时域特征值、频域特征值和功率谱熵特征值。通过康复指标提取模块,系统计算出患者A的康复指标。最后,系统将结果输出并与AI医院和AI康复中心的远程患者病例数据库对接,实现患者康复指标信息的实时更新和反馈。
实施例2:
患者B在肩关节置换手术后需要进行康复训练。患者B在家中按照康复训练计划进行上肢行为训练,如肩关节外旋训练和平举训练。患者B将高清摄像头放在距离自己3米处,系统通过摄像头捕捉患者B的动作,并实时获取33个关键点的真实世界坐标值。通过关键点处理模块,系统计算出关键点与人体中心点的距离,并绘制实时中心点距离变化曲线图。接着,运动特征分析模块提取时域特征值、频域特征值和功率谱熵特征值。通过康复指标提取模块,系统计算出患者B的康复指标。最后,系统将结果输出并与AI医院和AI康复中心的远程患者病例数据库对接,实现患者康复指标信息的实时更新和反馈。
应当注意,本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现;软件部分可以存储在存储器中,由适当的指令执行系统,例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现,例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现,也可以用由各种类型的中央处理器、图形处理器、显卡等执行的软件实现,也可以由上述硬件电路和软件的结合例如固件来实现。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法,其特征在于,利用BlazePose算法实时捕捉并分析患者康复训练过程中的33个关键点坐标,进一步提取时域、频域和功率谱熵特征值,智能分析患者的肌力水平和关节活动度康复指标,实现康复诊断评定信息的输出与远程反馈,提高康复训练的针对性和效果。
2.如权利要求1所述基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法,其特征在于,所述方法包括如下步骤:
1)患者康复训练行为识别:患者依据术后康复训练计划在高清摄像头前3米处进行上肢、下肢、上下肢协同行为训练,持续获取、存储康复行为训练时BlazePose算法输出的人体33个关键点的真实世界坐标值(X,Y,Z);
2)人体关键点与中心点的距离计算:根据真实世界坐标值(X,Y,Z)计算出人体33个关键点与BlazePose算法坐标系原点即人体中心点的距离,绘制出人体姿态33个关键点的实时中心点距离变化曲线图;
3)运动特征分析:选取变化曲线图中有效的训练时段数据送入运动特征分析模块进行时域特征值提取、频域特征值和功率谱熵特征值提取;
4)康复指标信息提取:基于人体33个关键点的时域、频域、功率谱熵特征值智能分析患者康复行为训练时的上下肢肌力水平和关节活动度信息,可测算出患者的康复指标包括步幅、步频、摆臂频率、摆臂幅度、膝关节活动度、肘关节活动度、肩关节活动度、平衡感知、身体协调度;
5)结果输出和远程反馈:输出康复诊断评定信息,与AI医院、AI康复中心的远程患者病例数据库和康复训练预定计划系统对接,实现患者康复指标信息的实时更新和实时反馈。
3.如权利要求1所述基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法,其特征在于,所述步骤1)中患者康复训练行为识别:利用可在边缘设备上运行的BlazePose实时人体姿态追踪算法和Google跨平台人工智能工作管线框架MediaPipe可扩展开源框架对视频流进行推理以获得每一帧图像人体33个关键点的真实世界坐标值(X,Y,Z)。
4.如权利要求1所述基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法,其特征在于,所述步骤2)中人体关键点与人体中心点的距离计算:实时计算出33个人体关键点与人体中心点的距离值并存储到数据结构体中,实时存储的各关键点与中心点距离变化值通过曲线图进行绘制并显示到用户交互界面,人体关键点与人体中心点距离值的计算公式为
5.如权利要求1所述基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法,其特征在于,所述步骤3)中的选取人体中心点距离变化值曲线图的有效时段数据送入运动特征分析进行特征值计算,有效的训练时段数据包括头部、肩部、肘部、手腕部、臀部、膝部、脚腕部和足跟部关键点;
所述的步骤3)中的时域特征值提取包括提取如下特征值:
最大值:人体关键点与人体中心点的最大距离;
最小值:人体关键点与人体中心点的最小距离;
峰峰值:人体关键点与人体中心点的最大距离和最大距离的差值即变化范围;
均值:人体关键点与人体中心点距离的平均值;
方差:人体关键点与人体中心点距离变化的动态分量;
标准差:人体关键点与人体中心点距离变化的离散程度;
均方值:人体关键点与人体中心点距离变化的信号能量;
均方根值:人体关键点与人体中心点距离的有效值反映变化的能量强度和稳定性;
峭度:人体关键点与人体中心点距离变化的冲击特性和平缓程度;
偏度:人体关键点与人体中心点距离变化的非对称性;
峰值因子:人体关键点与人体中心点距离的峰值在波形中的极端程度;
脉冲因子:人体关键点与中心点距离的峰值与整流平均值的比值;
波形因子:人体关键点与中心点距离的有效值(RMS)与整流平均值的比值;
裕度因子:人体关键点与中心点距离的峰值与方根幅值的比值;
所述的步骤3)中的频域特征值和功率谱熵特征值提取包括提取如下特征值:
峰值频率:人体关键点与人体中心点距离的时域波形在频谱分析中幅值最大的信号频率;
重心频率:人体关键点与人体中心点距离的时域波形在频谱分析中分量较大的信号成分的频率;
均方频率:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱主频带位置分布;
均方根频率:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱主频带位置分布;
频率方差:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱能量集中/分散程度;
频率标准差:人体关键点与人体中心点距离的时域波形在频谱分析中功率谱能量集中/分散程度;
功率谱熵:人体关键点与人体中心点距离的时域波形在频域上能量分布复杂程度的定量描述。
6.如权利要求1所述基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法,其特征在于,所述步骤4)康复指标信息提取中的智能分析患者康复行为训练时的上下肢肌力水平和关节活动度信息并测算出患者的康复指标包括步幅、步频、摆臂频率、摆臂幅度、膝关节活动度、肘关节活动度、肩关节活动度、平衡感知、身体协调度,用于患者的康复诊断和康复评定,具体的康复指标信息包含如下:
上肢肌力水平:一共分为六级,数字越小肌力越弱,五级为正常水平,零级为无肌力;
下肢肌力水平:一共分为六级,数字越小肌力越弱,五级为正常水平,零级为无肌力;
肩关节活动度:肩关节主要活动范围为前屈0度至90度,后伸0度至45度;
肘关节活动度:肘关节主要活动为屈伸活动,活动范围为0度(伸)至140度(屈);
膝关节活动度:膝关节主要活动为伸膝0度,膝过伸15度,屈膝0度至145度;
平衡感知:测量康复运动训练时的肢体平衡感,是否出现身体倾斜、平衡感退化;
身体协调度:测量康复运动训练时的左右肢体力度和幅度的一致性和偏差度;
步幅:依据康复运动训练时推算的身高和步频计算出步幅,范围为60至75厘米;
步频:测量康复运动训练时的步频,正常无负重踏步时范围为90至125步每分钟;
摆臂频率:测量康复运动训练时的摆臂频率,正常无负重踏步时范围为90至125次每分钟;
摆臂幅度:该康复指标信息等同于人体肩关节活动度,单位为角度,范围为正90度至负45度。
7.如权利要求1所述基于BlazePose人体关键点识别的便携型非接触式上下肢骨科术后康复训练AI辅助诊断、AI辅助决策方法,其特征在于,所述步骤5)结果输出和远程反馈中,上下肢骨科术后康复训练AI辅助诊断、AI辅助决策软件具备同步加密的康复指标信息到云端AI医院数据库的功能,首先通过TCP/IP网络协议发送Rivest-Shamir-Adleman(RSA)算法加密的AI辅助康复诊断评定信息到AI医院、AI康复中心的远程患者病例数据库和康复训练预定计划系统,其次在云端服务器实现患者康复指标信息、康复训练预定计划的实时更新、远程反馈和康复风险评估。
8.一种基于BlazePose人体关键点识别的便携式非接触式上下肢骨科术后康复训练AI辅助诊断与决策系统,其特征在于,包括:
1)数据采集模块:通过高清摄像头捕捉患者康复训练行为,并持续获取BlazePose算法输出的33个关键点的真实世界坐标值(X,Y,Z);
2)关键点处理模块:计算关键点与人体中心点的距离,绘制实时中心点距离变化曲线图;
3)运动特征分析模块:对曲线图中有效的训练时段数据进行时域特征值提取、频域特征值和功率谱熵特征值提取。
9.如权利要求7所述的AI辅助诊断与决策系统,其特征在于,还包括:
康复指标提取模块:根据关键点特征值智能分析患者康复行为训练时的肌力水平和关节活动度信息,计算康复指标,包括步幅、步频、摆臂频率、摆臂幅度、膝关节活动度、肘关节活动度、肩关节活动度、平衡感知、身体协调度。
10.如权利要求7所述的AI辅助诊断与决策系统,其特征在于,还包括:
结果输出与远程反馈模块:输出康复诊断评定信息,与AI医院、AI康复中心的远程患者病例数据库和康复训练预定计划系统对接,实现患者康复指标信息的实时更新和实时反馈。
CN202310903157.4A 2023-07-21 2023-07-21 一种上下肢骨科术后康复训练ai辅助诊断决策的方法 Pending CN117038006A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310903157.4A CN117038006A (zh) 2023-07-21 2023-07-21 一种上下肢骨科术后康复训练ai辅助诊断决策的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310903157.4A CN117038006A (zh) 2023-07-21 2023-07-21 一种上下肢骨科术后康复训练ai辅助诊断决策的方法

Publications (1)

Publication Number Publication Date
CN117038006A true CN117038006A (zh) 2023-11-10

Family

ID=88636387

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310903157.4A Pending CN117038006A (zh) 2023-07-21 2023-07-21 一种上下肢骨科术后康复训练ai辅助诊断决策的方法

Country Status (1)

Country Link
CN (1) CN117038006A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690583A (zh) * 2024-02-01 2024-03-12 吉林大学 基于物联网的康复护理交互式管理系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722643A (zh) * 2012-05-28 2012-10-10 天津大学 用于下肢肌电假肢控制的多信息融合运动模式识别方法
CN108853946A (zh) * 2018-07-10 2018-11-23 燕山大学 一种基于Kinect的健身指导训练系统及方法
CN110464357A (zh) * 2019-08-13 2019-11-19 马佳鑫 一种康复过程质量监测方法及系统
US20220126189A1 (en) * 2019-04-04 2022-04-28 South China University Of Technology Multimodal human-robot interaction system for compensation movement of hemiplegic upper limb
CN115631532A (zh) * 2022-09-13 2023-01-20 江苏科技大学 一种康复训练系统中训练动作分类与完成度评分方法
CN115797972A (zh) * 2022-12-02 2023-03-14 福寿康智慧(上海)医疗养老服务有限公司 一种居于ai图像识别判定四肢运动能力的系统
CN115862809A (zh) * 2022-12-16 2023-03-28 郑州大学第一附属医院 一种基于大数据的智能康复护理设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102722643A (zh) * 2012-05-28 2012-10-10 天津大学 用于下肢肌电假肢控制的多信息融合运动模式识别方法
CN108853946A (zh) * 2018-07-10 2018-11-23 燕山大学 一种基于Kinect的健身指导训练系统及方法
US20220126189A1 (en) * 2019-04-04 2022-04-28 South China University Of Technology Multimodal human-robot interaction system for compensation movement of hemiplegic upper limb
CN110464357A (zh) * 2019-08-13 2019-11-19 马佳鑫 一种康复过程质量监测方法及系统
CN115631532A (zh) * 2022-09-13 2023-01-20 江苏科技大学 一种康复训练系统中训练动作分类与完成度评分方法
CN115797972A (zh) * 2022-12-02 2023-03-14 福寿康智慧(上海)医疗养老服务有限公司 一种居于ai图像识别判定四肢运动能力的系统
CN115862809A (zh) * 2022-12-16 2023-03-28 郑州大学第一附属医院 一种基于大数据的智能康复护理设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白敬, 等: "基于工作空间测量的居家脑卒中患者上肢康复训练评估系统", 仪器仪表学报, no. 04, 15 April 2018 (2018-04-15), pages 77 - 84 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690583A (zh) * 2024-02-01 2024-03-12 吉林大学 基于物联网的康复护理交互式管理系统及方法
CN117690583B (zh) * 2024-02-01 2024-04-09 吉林大学 基于物联网的康复护理交互式管理系统及方法

Similar Documents

Publication Publication Date Title
Chu et al. Artificial intelligence of things in sports science: weight training as an example
US11266341B2 (en) Measuring dynamic body movement
CN110464357B (zh) 一种康复过程质量监测方法及系统
US20210275109A1 (en) System and method for diagnosing and notification regarding the onset of a stroke
CN117038006A (zh) 一种上下肢骨科术后康复训练ai辅助诊断决策的方法
CN104484574A (zh) 一种基于四元数的实时人体姿态监督训练矫正系统
CN113974612B (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
CN115346670A (zh) 基于姿态识别的帕金森病评级方法、电子设备及介质
Bahle et al. Recognizing hospital care activities with a coat pocket worn smartphone
Xia et al. Security analysis of sports injury medical system based on internet of health things technology
TWI505228B (zh) 一種自主復健動作量化評估系統
KR20140132864A (ko) 스트레스 변화에 따른 신체 및 심리 변화의 동영상 이용 간이 측정 방법 및 이를 이용한 힐링서비스
Mohamed et al. Automated Upper Limb Motor Functions Assessment System Using One-Class Support Vector Machine
CN115841863A (zh) 康复训练计划生成和康复训练系统
Cunha et al. An IoMT architecture for patient rehabilitation based on low-cost hardware and interoperability standards
CN116230159A (zh) 膝关节运动损伤康复方法及系统
Sprint et al. Designing wearable sensor-based analytics for quantitative mobility assessment
Hnoohom et al. Recognition of shoulder exercise activity based on efficientnet using smartwatch inertial sensors
Chang et al. A fall risk prediction system based on 3D space human skeleton torso images
Li et al. Dynamic monitoring method of physical training intensity based on wearable sensors
Begum et al. Cloud-scope: a modern patient monitoring and analysis system
Pham et al. A summative scoring system for evaluation of human kinematic performance
Chou et al. Rehabilitation evaluation system for rotator cuff repairs-develop a limitable pendulum exercise brace
Baptista et al. Motion Analysis in Neurological Rehabilitation: From the Lab to the Clinic
Hao Design and Implementation of Athlete’s Knee Health Monitoring System Based on Cloud Computing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination