CN117912682A - 基于视觉识别的膝关节前交叉韧带评估方法 - Google Patents
基于视觉识别的膝关节前交叉韧带评估方法 Download PDFInfo
- Publication number
- CN117912682A CN117912682A CN202310953023.3A CN202310953023A CN117912682A CN 117912682 A CN117912682 A CN 117912682A CN 202310953023 A CN202310953023 A CN 202310953023A CN 117912682 A CN117912682 A CN 117912682A
- Authority
- CN
- China
- Prior art keywords
- muscle
- knee
- evaluation
- score
- affected
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 96
- 210000001264 anterior cruciate ligament Anatomy 0.000 title claims abstract description 32
- 230000000007 visual effect Effects 0.000 title claims abstract description 20
- 210000003127 knee Anatomy 0.000 title claims description 49
- 210000003205 muscle Anatomy 0.000 claims abstract description 169
- 230000008859 change Effects 0.000 claims abstract description 84
- 210000002414 leg Anatomy 0.000 claims abstract description 51
- 210000000629 knee joint Anatomy 0.000 claims abstract description 46
- 210000003141 lower extremity Anatomy 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000007637 random forest analysis Methods 0.000 claims abstract description 25
- 208000025674 Anterior Cruciate Ligament injury Diseases 0.000 claims abstract description 10
- 210000000689 upper leg Anatomy 0.000 claims description 86
- 230000000694 effects Effects 0.000 claims description 50
- 238000012360 testing method Methods 0.000 claims description 29
- 230000009471 action Effects 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 11
- 210000003314 quadriceps muscle Anatomy 0.000 claims description 10
- 210000000115 thoracic cavity Anatomy 0.000 claims description 9
- 238000012935 Averaging Methods 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims description 6
- 244000309466 calf Species 0.000 claims description 5
- 210000003423 ankle Anatomy 0.000 claims description 4
- 210000000038 chest Anatomy 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 241001227561 Valgus Species 0.000 claims description 3
- 230000036541 health Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims 2
- 241000469816 Varus Species 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 7
- 238000004364 calculation method Methods 0.000 description 23
- 230000006378 damage Effects 0.000 description 14
- 238000012549 training Methods 0.000 description 14
- 210000002683 foot Anatomy 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 208000027418 Wounds and injury Diseases 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000003066 decision tree Methods 0.000 description 4
- 208000014674 injury Diseases 0.000 description 4
- 238000013210 evaluation model Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 206010061223 Ligament injury Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000009194 climbing Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000009916 joint effect Effects 0.000 description 2
- 208000030175 lameness Diseases 0.000 description 2
- 210000004417 patella Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000008961 swelling Effects 0.000 description 2
- 206010028289 Muscle atrophy Diseases 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000008407 joint function Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000003041 ligament Anatomy 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000020763 muscle atrophy Effects 0.000 description 1
- 201000000585 muscular atrophy Diseases 0.000 description 1
- 210000002967 posterior cruciate ligament Anatomy 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 210000001139 rectus abdominis Anatomy 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000013077 scoring method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Abstract
本发明实施例公开了一种基于视觉识别的膝关节前交叉韧带评估方法,涉及康复状态检测技术领域。所述方法包括获取深度摄像头采集的测试者的人体图像;根据所述人体图像,计算测试者的评估节点的数据,其中所述评估节点包括膝关节角度、患侧与健侧下肢肌力变化率、患侧与健侧单腿支撑时间变化率、以及患侧与健侧肌肉围度变化率中的至少两个;根据所述评估节点的数据,计算所述评估节点的得分;将所述评估节点的得分输入至预先构建好的随机森林模型中,得到前交叉韧带损伤风险得分。本发明实施例利用多个指标评估相对比较全面,准确度高,基于视觉识别实现膝关节前交叉韧带的评估,不受仪器限制,操作简便。
Description
技术领域
本发明涉及康复状态检测技术领域,特别是指一种基于视觉识别的膝关节前交叉韧带评估方法。
背景技术
前交叉韧带(Anterior cruciate ligament,ACL)损伤发生率多年来居高不下,是运动人群在运动过程中产生的后果较为严重的损伤之一。ACL发生后,通常需要9-12个月的运动能力恢复时间。在恢复过程中,为了制定患者后续治疗和康复计划,需要对患者进行多方面评估和检查。评估检查方法大多使用等速肌力测试、惯性传感器、CT(ComputedTomography,电子计算机断层扫描)、关节镜等方法对前交叉韧带损伤程度和康复程度进行评估。而常用方法多存在操作繁琐、仪器等限制。
中国发明专利申请CN112294267A公开了一种骨科膝关节交叉韧带检测系统,所述系统包括髌骨固定基座、刻度测量尺支架、刻度测量尺、胫骨固定基座、可视数字张力器和固定绑带。该发明使用方便,能协助临床医生对稳定膝关节前后向移动的前后交叉韧带的损伤、松弛度做出快速数据化检测,降低人工判断出现的误诊、漏诊率,同时也使伤者可以准确的了解自身膝关节稳定状态。
该发明通过固定支架、刻度测量尺等辅助装置对韧带损伤进行评估测量,但增加了检测的装备步骤,以至使检测较为繁琐。
中国发明专利申请CN113171082A公开了一种前束交叉韧带损伤评估方法及装置,上述方法包括:获取待检测者的Opti Knee膝关节三维运动数据;将所述的Opti Knee膝关节三维运动数据输入至预设的损伤评估模型中,以使所述损伤评估模型根据所述OptiKnee膝关节三维运动数据对所述待检测者的前束交叉韧带进行损伤评估。通过实施该发明实施例能够实现前束交叉韧带损伤的自动评估,提高前束交叉韧带损伤评估效率。
该发明通过提取三维运动数据后,运用已有的损伤评估模型进行损伤评估,受制于Opti Knee软件本身操作的复杂性,其评估步骤有一定繁琐。
发明内容
有鉴于此,本发明实施例提供一种操作简便、准确度高的基于视觉识别的膝关节前交叉韧带评估方法。
一种基于视觉识别的膝关节前交叉韧带评估方法,包括:
步骤1:获取深度摄像头采集的测试者的人体图像;
步骤2:根据所述人体图像,计算测试者的评估节点的数据,其中所述评估节点包括膝关节角度、患侧与健侧下肢肌力变化率、患侧与健侧单腿支撑时间变化率、以及患侧与健侧肌肉围度变化率中的至少两个;
步骤3:根据所述评估节点的数据,计算所述评估节点的得分;
步骤4:将所述评估节点的得分输入至预先构建好的随机森林模型中,得到前交叉韧带损伤风险得分。
本发明实施例的基于视觉识别的膝关节前交叉韧带评估方法,根据人体图像,计算得到测试者的评估节点的数据,进而计算得到评估节点的得分,最后将该得分输入至预先构建好的随机森林模型中,得到前交叉韧带损伤风险得分,其中评估节点包括膝关节角度、患侧与健侧下肢肌力变化率、患侧与健侧单腿支撑时间变化率、以及患侧与健侧肌肉围度变化率中的至少两个,这样多个指标评估相对比较全面,准确度高;并且本发明实施例基于视觉识别实现膝关节前交叉韧带的评估,不受仪器限制,操作简便。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明的基于视觉识别的膝关节前交叉韧带评估方法的流程示意图;
图2为本发明中测试者的关节标记点的示意图,其中(a)为人体侧面图,(b)为人体正面图;
图3为本发明中评估步骤的示意图;
图4为本发明中评估节点的示意图;
图5为本发明中伸膝时膝关节屈曲角速度-时间曲线图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本发明实施例提供一种基于视觉识别的膝关节前交叉韧带评估方法,如图1所示,包括:
步骤1:获取深度摄像头采集的测试者的人体图像;
本步骤中,通过摄像头采集测试者的人体图像,该摄像头优选为具有3D功能的深度摄像头。
步骤2:根据所述人体图像,计算测试者的评估节点的数据,其中所述评估节点包括膝关节角度、患侧与健侧下肢肌力变化率、患侧与健侧单腿支撑时间变化率、以及患侧与健侧肌肉围度变化率中的至少两个;
步骤3:根据所述评估节点的数据,计算所述评估节点的得分;
步骤4:将所述评估节点的得分输入至预先构建好的随机森林模型中,得到前交叉韧带损伤风险得分。
本发明实施例的基于视觉识别的膝关节前交叉韧带评估方法,根据人体图像,计算得到测试者的评估节点的数据,进而计算得到评估节点的得分,最后将该得分输入至预先构建好的随机森林模型中,得到前交叉韧带损伤风险得分,其中评估节点包括膝关节角度、患侧与健侧下肢肌力变化率、患侧与健侧单腿支撑时间变化率、以及患侧与健侧肌肉围度变化率中的至少两个,这样多个指标评估相对比较全面,准确度高;并且本发明实施例基于视觉识别实现膝关节前交叉韧带的评估,不受仪器限制,操作简便。
具体实施时,本发明实施例的评估步骤可以如图3所示,分别进行身体形态测量(体态测量)和动作测试,身体形态测量用于测量腿部围度,包括大腿围度和小腿围度,动作测试可以包括单腿平衡和单腿下蹲,单腿平衡用于分别检测两次闭眼单腿站立时间,单腿下蹲用于检测膝关节角度、下肢肌力等数据。
在测试中,受试者需穿紧身衣物进行如下步骤测试:①身体形态测量(肌肉围度测量):小腿围度(小腿最丰满处)、大腿围度(测量大腿最上部位,臀折线以下);②(闭眼)单腿平衡:受试者双臂自然下垂,双腿并拢,面向正前方站立,分别进行两次的单腿平衡测试。仪器指令开始后,立即闭眼,并使用习惯支撑脚单脚站立,另一条腿屈曲,使得脚底离开地面,并且抬离地面的脚或者腿不能与站立脚或站立腿接触。从离地脚离地开始计时,到离地脚接触地面或支撑脚移动结束计时;③单腿下/深蹲:受试者听从仪器指示,进行三次的单腿深蹲。在测试中,受试者单腿站立,双臂交叉,非站立腿放置于身后,直视前方然后缓慢弯曲膝盖。建议受试者动作过程中保持平衡,不要向前倾,尝试下蹲至膝盖屈曲90°左右。在测试前,受试者必须进行至少三次连续的单腿深蹲练习,膝盖屈曲尝试达到90°。
本发明实施例中,评估节点可以如图4所示,单腿下蹲对应的评估节点包括膝关节屈曲角速度、下肢肌力和膝关节角度,其中膝关节角度包括膝外翻角度、膝屈曲角度和膝内翻角度;(闭眼)单腿平衡对应的评估节点包括单腿平衡支撑时间;体态测量用于肌肉围度对比,其对应的评估节点包括大腿围度和小腿围度。
下面根据测试动作的不同,分别对各评估节点的数据获取(上述步骤2)和得分计算(上述步骤3)进行逐一说明。
(一)当所述评估节点包括膝关节角度、患侧与健侧下肢肌力变化率时
当所述评估节点包括膝关节角度、患侧与健侧下肢肌力变化率时,所述获取深度摄像头采集的测试者的人体图像(步骤1),可以包括:
步骤11:获取深度摄像头采集的测试者完成预设测试动作的人体图像,其中该预设测试动作为单腿下蹲;
本步骤中,单腿下蹲动作前面已有描述,此处不再赘述。
此时,所述根据所述人体图像,计算测试者的评估节点的数据(步骤2),可以包括:
步骤21:从所述人体图像中提取测试者的关节标记点的空间坐标数据;
本步骤中,可利用视觉识别系统从所述人体图像中提取测试者的关节标记点时间序列对应下的空间坐标数据,具体提取方法可采用本领域常规技术,此处不再赘述。
作为一种可选的实施例,所述测试者的关节标记点可以包括至少20个标记点,分别为:头、颈椎上端、颈椎中部、颈椎下端、胸椎中端、腰椎上端、腰椎中部、骶骨、左/右肩、左/右肘、左/右腕、左/右髋、左/右膝、左/右踝。
提取的空间坐标数据例如可以如下:
ιi=(xi,yi,zi)表示第i个关节标记点的坐标,测试者的关节标记点集合表示为R(x,y,z)。在测试过程中采集得到人体图像各时间序列中的20个关节标记点的空间坐标数据。1号点为第一颈椎(C1);2号点为第四颈椎(C4);3号点为第七颈椎(C7);10号点为第六胸椎(T6);11号点为第十二胸椎(T12);12号点为第三腰椎(L3);13号点为骶椎上缘。
测试者的关节标记点及编号可以如表1和图2所示。
表1关节标记点及编号
本发明中所定义的关节标记点通常对应人体上有一定自由度的关节或体表骨性标志物定义,通过对人体关节点在三维空间相对位置的计算,来估计人体当前状态,由于人体结构的特殊性,标记点之间的连线只以人体结构相连。
步骤22:根据所述空间坐标数据,计算测试者的关节角数据;
作为一种可选的实施例,所述关节角数据可以包括至少16个关节角的数据,所述关节角包括:颈上部、颈曲、左/右肩、左/右肘、胸上部、胸曲、腰上部、腰曲、左/右脊柱底部、左/右髋、左/右膝。
测试者身体关节角定义
由于人体肌肉工作时固定点不同,分为近固定、远固定、上固定、下固定和无固定。肌肉起止点具体定义为:肌肉靠近躯干或靠近人体正中面的附着点称为起点,远离躯干或远离正中面的附着点称为止点,肌肉起点和止点是恒定的。肌肉收缩时,若起点相对固定称为近固定,若止点相对固定称为远固定;躯干肌(如腹直肌)与人体长轴相平行,这些肌肉收缩时,若上端的附着点相对固定称为上固定,若下端的附着点相对固定称为下固定,上端和下端都不固定则称为无固定收缩。
在本发明中,静止时姿势和动作识别仅采用下固定方式,因此关节角及其起止点和中间点如表2所示:
表2关节角定义
序号 | 名称 | 起点 | 中间 | 终点 |
1 | 颈上部 | 头 | 颈椎上端 | 颈椎中部 |
2 | 颈曲 | 颈椎上端 | 颈椎中部 | 颈椎下端 |
3 | 胸上部 | 颈椎中部 | 颈椎下端 | 胸椎中部 |
4 | 胸曲 | 颈椎下端 | 胸椎中部 | 腰椎上端 |
5 | 腰上部 | 胸椎中部 | 腰椎上端 | 腰椎中部 |
6 | 腰曲 | 腰椎上端 | 腰椎中部 | 骶椎 |
7 | 右脊柱底部 | 腰椎中部 | 骶椎 | 右髋 |
8 | 左脊柱底部 | 腰椎中部 | 骶椎 | 左髋 |
9 | 右肘 | 右肩 | 右肘 | 右腕 |
10 | 右肩 | 脊柱上部 | 右肩 | 右肘 |
11 | 右髋 | 脊柱底部 | 右髋 | 右膝 |
12 | 右膝 | 右髋 | 右膝 | 右踝 |
13 | 左肘 | 左肩 | 左肘 | 左腕 |
14 | 左肩 | 脊柱上部 | 左肩 | 左肘 |
15 | 左髋 | 骶椎 | 左髋 | 左膝 |
16 | 左膝 | 左髋 | 左膝 | 左踝 |
测试者身体关节角计算
此处,可根据常规数学算法,利用所述空间坐标数据,计算测试者身体的关节角数据。例如,运用标记点ιik0、ιik和ιik1表示关节点k的空间角度θk,ιik0和ιik1表示关节点临近的两个标记点,其关节角度计算如下:
ιik0=(xik0,yik0,zik0),表示第ik0个标记点的坐标
ιik=(xik,yik,zik),表示第ik个标记点的坐标
ιik1=(xik1,yik1,zik1),表示第ik1个标记点的坐标
向量m=(x1,y1,z1),n=(x2,y2,z2)
(1)x1,y1,z1=(xik0-xik),(yik0-yik),(zik0-zik)
(2)x2,y2,z2=(xik1-xik),(yik1-yik),(zik1-zik)
具体实施时,提取测试者身体关节标记点的空间坐标,通过建模还原测试者完成测试动作的质量,并计算出测试者身体关节标记点的运动轨迹、16个关节点的角度,并保存测试者测试过程中的影像信息。
经过摄像机和系统提取和计算测试者的关节标记点的时间序列对应下的空间坐标数据R,关节角对应的角度数据θ。
此处,为提高后续评估的准确性,还可以对计算得到的数据进行预处理,预处理具体可以如下:
关节标记点的空间坐标数据的预处理:
在训练系统自动识别关节标记点时,除运用来源的数据集外,系统还可以基于公司自身的运动锻炼动作库对识别系统进行训练。区别于开源动作库,该动作库囊括了大量测试动作和锻炼动作,能够提高本系统对标记点的识别精度。
进行标记点识别后,可以先进行数据降噪处理,运用小波阈值法降噪之后,根据标记点坐标和时间序列,得到标记点加速度,依据人体能够达到的加速度上限以及专家讨论结果,再次设定数据极限值,若超过极限值,则删除该数据。经过这两次处理,得到更加符合人体的标记点序列。
测试时,受试者根据系统提示进行动作和姿势的变化,系统对采集和处理后得到的数据进行后续的计算。
关节(空间)角数据的预处理:
测试时,受试者根据系统提示进行动作和姿势的变化,得到空间标记点序列数据,通过点到角计算从而得到关节角序列数据。计算得到关节角(角度)后,可以根据专家和项目人员讨论设定阈值,删除不合理关节角度,从而减少不合理角度出现频率,得到更加符合人体关节活动模式的序列。
步骤23:根据所述关节角数据,计算测试者的评估节点的数据。
这样,经过上述步骤21-23,即可实现根据人体图像,计算得到测试者的评估节点(膝关节角度、患侧与健侧下肢肌力变化率)的数据。
对于膝关节屈曲角速度
所述膝关节角度可以包括膝关节屈曲角速度;此时,所述根据所述评估节点的数据,计算所述评估节点的得分(步骤3),可以包括:
步骤31:根据所述膝关节屈曲角速度,绘制角速度-时间曲线;
本步骤中,可以根据视觉识别得到的膝关节屈曲角速度集合,做角速度-时间曲线。膝关节屈曲角速度可以由膝关节屈曲角度除以时间计算得到,膝关节屈曲角度可以由上述步骤21-23计算得到。
步骤32:从所述角速度-时间曲线中得到波峰和波谷的数量和位置;
作为一种可选的实施例,本步骤32可以包括:
步骤321:将膝关节屈曲角速度做循环对比并筛选,筛选条件为:设某帧角速度为ω1,满足ω1>ω0且ω1>ω2,ω0为ω1前一帧所得到的角速度,ω2为ω1后一帧所得到的角速度,输出满足筛选条件的角速度及其时间点,为一个或多个波峰点位;
步骤322:提取所述波峰点位中角速度最大的点位作为最高波峰,以该时间点位为中心,向两侧剔除相邻预设数量帧以内的多个点位,记录剩余点位的角速度和时间点,得到角速度-时间曲线中波峰的数量和位置;
本步骤中,帧的预设数量可以根据需要灵活设计,例如可以为10、12、15、20等。
步骤323:运用同样方法得到角速度-时间曲线中波谷的数量和位置。
这样,经过上述步骤321-323,即可较为方便的从角速度-时间曲线中得到波峰和波谷的数量和位置。
步骤33:如果膝关节在伸膝时所述角速度-时间曲线中出现波峰-波谷-波峰的曲线特征,则判定为前交叉韧带异常,赋值0分,否则,赋值100分。
发明人在研究过程中发现,正常曲线为在整体曲线的三分之一曲线左右时,应出现峰值,曲线坡度为凸型。若未在三分之一处出现峰值,曲线坡度为凹型,则说明用力困难。
由于前交叉韧带损伤,膝关节在伸膝时前部和两侧不稳定,角速度曲线中部区域出现平台样改变(如图5所示),即前交叉韧带损伤的曲线特征为:伸膝时,在角速度曲线中部出现一段平台异常曲线,即为出现波峰-波谷-波峰的曲线特征。也就是说,在膝关节屈曲30°-60°时出现波谷,可以判定为膝关节前交叉韧带异常。
本发明实施例中,评估节点膝关节屈曲角速度的评分方法采用赋值评分,若判定前交叉韧带异常,则赋值0分,若未判定出前交叉韧带异常,则赋值100分。
对于膝关节角度
所述膝关节角度可以包括膝关节外翻角度、膝关节屈曲角度、膝关节内翻角度、髋屈曲中的至少一种或多种。这些评估节点的数据可以由前述步骤21-23计算得到,其得分计算可以采用查表方式得到。
具体实施时,这些评估节点属于膝关节活动度检测,可以按照正常、低风险、高风险和受限四个评价级别,对关节活动度进行评分评级,具体评分表可以如表3所示。
表3膝关节角度评价及得分范围
对于下肢肌力
所述患侧与健侧下肢肌力变化率可以包括患侧与健侧下肢股内侧肌肌力变化率,此时,所述根据所述关节角数据,计算测试者的评估节点的数据(步骤23),可以包括:
步骤231:根据所述关节角数据,计算得到左侧股骨内旋活动度、右侧股骨内旋活动度、左髋活动度和右髋活动度;
本发明实施例中,左侧股骨内旋活动度、左侧股骨外旋活动度、右侧股骨内旋活动度、右侧股骨外旋活动度、右髋活动度、左髋活动度,这六个指标的指标活动公式可以如表4所示。
表4指标活动公式
指标 | 动作 | 公式 |
3 | 左侧股骨内旋活动度 | 角15(起始位-峰值位)所得正值在水平面投影绝对值Y |
4 | 左侧股骨外旋活动度 | 角15(起始位-峰值位)所得负值在水平面投影绝对值Y |
5 | 右侧股骨内旋活动度 | 角11(起始位-峰值位)所得正值在水平面投影绝对值Y |
6 | 右侧股骨外旋活动度 | 角11(起始位-峰值位)所得负值在水平面投影绝对值Y |
7 | 右髋活动度 | 角11(起始位-峰值位)在矢状面投影绝对值X |
8 | 左髋活动度 | 角15(起始位-峰值位)在矢状面投影绝对值X |
注:上表中的角即为前述表2中的关节角。
步骤232:将所述左侧股骨内旋活动度和左髋活动度求平均得到左股内侧肌的肌肉指标得分,将所述右侧股骨内旋活动度和右髋活动度求平均得到右股内侧肌的肌肉指标得分;
本发明实施例中,左股内侧肌、右股内侧肌、左股外侧肌、右股外侧肌、左股直肌、右股直肌,这六块肌肉的肌肉指标得分计算公式可以如表5所示。
表5肌肉指标得分计算公式
肌肉 | 公式 |
左股内侧肌 | 指标(3+8)/2 |
右股内侧肌 | 指标(5+7)/2 |
左股外侧肌 | 指标(4+8)/2 |
右股外侧肌 | 指标(6+7)/2 |
左股直肌 | 指标8 |
右股直肌 | 指标7 |
步骤233:根据所述左股内侧肌的肌肉指标得分和右股内侧肌的肌肉指标得分,计算得到所述患侧与健侧下肢股内侧肌肌力变化率;
本步骤中,左股内侧肌的肌肉指标得分和右股内侧肌的肌肉指标得分中一者即代表患侧下肢股内侧肌肌力,另一者即代表健侧下肢股内侧肌肌力,对该两者进行数学运算即可得到患侧与健侧下肢股内侧肌肌力变化率。
变化率的计算可以采用本领域常规计算方法,如患侧下肢股内侧肌肌力减去健侧下肢股内侧肌肌力后,除以健侧下肢股内侧肌肌力,之后取绝对值得到的百分数即为该变化率。
对于该评估节点患侧与健侧下肢股内侧肌肌力变化率的得分计算,可以采用查表方式得到,具体可以参见表6。
表6肌肉评分(变化率)及得分范围
评价 | 得分范围 | 变化率(%) |
正常 | 100-85 | 0≤X<20 |
低风险 | 84-75 | 20≤X<40 |
高风险 | 74-60 | 40≤X<50 |
受限 | 59-0 | X≥50 |
和/或,所述患侧与健侧下肢肌力变化率可以包括患侧与健侧下肢股外侧肌肌力变化率,所述根据所述关节角数据,计算测试者的评估节点的数据(步骤23),可以包括:
步骤231’:根据所述关节角数据,计算得到左侧股骨外旋活动度、右侧股骨外旋活动度、左髋活动度和右髋活动度;
本步骤具体可以参见前述表4;
步骤232’:将所述左侧股骨外旋活动度和左髋活动度求平均得到左股外侧肌的肌肉指标得分,将所述右侧股骨外旋活动度和右髋活动度求平均得到右股外侧肌的肌肉指标得分;
本步骤具体可以参见前述表5;
步骤233’:根据所述左股外侧肌的肌肉指标得分和右股外侧肌的肌肉指标得分,计算得到所述患侧与健侧下肢股外侧肌肌力变化率。
本步骤中,左股外侧肌的肌肉指标得分和右股外侧肌的肌肉指标得分中一者即代表患侧下肢股外侧肌肌力,另一者即代表健侧下肢股外侧肌肌力,对该两者进行数学运算即可得到患侧与健侧下肢股外侧肌肌力变化率。
患侧与健侧下肢股外侧肌肌力变化率的计算方法与前述步骤233中患侧与健侧下肢股内侧肌肌力变化率相同;对于该评估节点患侧与健侧下肢股外侧肌肌力变化率的得分计算,可以采用查表方式得到,具体同样可以参见前述表6。
和/或,所述患侧与健侧下肢肌力变化率可以包括患侧与健侧下肢股直肌肌力变化率,所述根据所述关节角数据,计算测试者的评估节点的数据(步骤23),可以包括:
步骤231”:根据所述关节角数据,计算得到左髋活动度和右髋活动度;
本步骤具体可以参见前述表4;
步骤232”:将所述左髋活动度作为左股直肌的肌肉指标得分,将所述右髋活动度作为右股直肌的肌肉指标得分;
本步骤具体可以参见前述表5;
步骤233”:根据所述左股直肌的肌肉指标得分和右股直肌的肌肉指标得分,计算得到所述患侧与健侧下肢股直肌肌力变化率。
本步骤中,左股直肌的肌肉指标得分和右股直肌的肌肉指标得分中一者即代表患侧下肢股直肌肌力,另一者即代表健侧下肢股直肌肌力,对该两者进行数学运算即可得到患侧与健侧下肢股直肌肌力变化率。
患侧与健侧下肢股直肌肌力变化率的计算方法与前述步骤233中患侧与健侧下肢股内侧肌肌力变化率相同;对于该评估节点患侧与健侧下肢股直肌肌力变化率的得分计算,可以采用查表方式得到,具体同样可以参见前述表6。
(二)当所述评估节点包括患侧与健侧单腿支撑时间变化率时
当所述评估节点包括患侧与健侧单腿支撑时间变化率时,所述获取深度摄像头采集的测试者的人体图像(步骤1),可以包括:
步骤11’:获取深度摄像头采集的测试者完成预设测试动作的人体图像,其中该预设测试动作为闭眼单腿平衡。
本步骤中,单腿平衡动作前面已有描述,此处不再赘述。患侧与健侧单腿支撑时间可以从人体图像中获取。
患侧与健侧单腿支撑时间变化率的计算可以采用本领域常规计算方法,如患侧单腿支撑时间减去健侧单腿支撑时间,除以健侧单腿支撑时间,之后取绝对值得到的百分数即为该变化率。
对于该评估节点患侧与健侧单腿支撑时间变化率的得分计算,可以采用查表方式得到,具体可以参见表7。
表7单腿支撑时间变化率及得分范围
评价 | 得分范围 | 变化率(%) |
正常 | 100-85 | 0≤X<15 |
低风险 | 84-75 | 15≤X<40 |
高风险 | 74-60 | 40≤X<60 |
受限 | 59-0 | X≥60 |
(三)当所述评估节点包括患侧与健侧肌肉围度变化率时
本发明实施例中,患侧与健侧肌肉围度变化率可以包括患侧与健侧大腿肌肉围度变化率和/或患侧与健侧小腿肌肉围度变化率。
当所述评估节点包括患侧与健侧肌肉围度变化率时,所述获取深度摄像头采集的测试者的人体图像(步骤1),可以包括:
步骤11”:获取深度摄像头采集的测试者进行身体形态测量的人体图像;
本步骤中,身体形态测量前面已有描述,此处不再赘述。
此时,所述根据所述人体图像,计算测试者的评估节点的数据(步骤2),可以包括:
步骤21”:从所述人体图像中提取腿部正面轮廓和腿部侧面轮廓;
上述身体形态测量中,可以取正面、左侧面、右侧面准备状态下的人体图像,本步骤中,从这些人体图像中分别提取出大腿正面轮廓、小腿正面轮廓、大腿侧面轮廓、小腿侧面轮廓。
步骤22”:测得腿部正面轮廓最粗处记为2a,测得腿部侧面轮廓最粗处记为2b;
本步骤中,前述准备状态可以为双腿合拢,双手自然下垂。正面姿势中,测得大腿轮廓最粗处记为2a1,小腿轮廓最粗处记为2a2。侧面姿势中,大腿轮廓最粗处记为b1,小腿轮廓最粗处记为b2。
步骤23”:以a、b分别为椭圆的半长轴和半短轴进行模拟,计算该椭圆周长,取周长的一半与长轴之和作为腿部肌肉围度;
本步骤中,具体来说,可以取周长的一半与长轴之和分别作为大腿前侧外周长S1(大腿围度)和小腿后侧外周长S2(小腿围度),相关公式如下:
椭圆周长:
其中,a:半长轴,b:半短轴,c:半焦距,e:离心率,e=c/a;
腿部肌肉围度:
步骤24”:根据所述腿部肌肉围度,计算测试者的患侧与健侧肌肉围度变化率。
前述步骤21”-23”已经模拟出腿部肌肉围度(可以分别得到大腿前侧肌肉围度和小腿后侧肌肉围度),本步骤24”对比患侧和健侧的腿部肌肉围度,计算测试者的患侧与健侧肌肉围度变化率,该变化率的计算可以采用本领域常规计算方法,如患侧肌肉围度减去健侧肌肉围度,除以健侧肌肉围度,之后取绝对值得到的百分数即为该变化率。该变化率d计算公式可以为:
对于该评估节点患侧与健侧肌肉围度变化率的得分计算,可以采用查表方式得到,具体可以参见表8。
表8肌肉围度变化率及得分范围
至此,得到所有评估节点的得分后,即可执行步骤4:将所述评估节点的得分输入至预先构建好的随机森林模型中,得到前交叉韧带损伤风险得分。
随机森林(Random forest,RF)模型是利用多棵树对样本进行训练并预测的一种分类器,随机选择特征数目,随机选择训练数据,对同一个预测数据取出现次数最多的预测标签为最终预测标签。随机森林模型的构建为本领域常规技术,例如主要步骤如下:
(1)输入样本集D=(x1,x2,…,xn,y),随机抽取其20%为测试集,80%为训练集。
(2)采取Bootstrap自助法随机抽取数据集,进行n次随机采样,得到包含n个样本的训练数据集Gx(Dn)。
(3)随机选择m个特征变量训练模型节点,m应小于自变量的个数。在m个特征变量中,选择最优的特征变量个数作为划分决策树的左右子树的依据。
(4)使用训练数据集Dn训练n棵决策树回归模型Gx(Dn),可以得到n棵决策树的结果,计算其算数平均值即为RF模型的最终结果。
(5)随机森林构建过程中,主要参数包括决策树的个数ntree以及特征变量个数mtry。ntree一般应该大于100,mtry应小于总特征变量,取值方法多依据于经验公式,但依据经验值不一定可以得到最优的回归模型。因此,本发明实施例在构建RF模型的过程中,选择网格搜索的方法,得到构建RF模型的最优参数如表9所示:
表9参数表格
1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | |
ntree | 200 | 400 | 600 | 200 | 600 | 500 | 1000 | 200 | 1000 | 500 | 600 | 800 |
mtry | 3 | 3 | 3 | 4 | 3 | 4 | 6 | 3 | 5 | 5 | 3 | 5 |
作为一种可选的实施例,所述随机森林模型可以为采用最优角度残差旋转法进行偏差校正的随机森林模型。
RF算法在预测过程中,当观测值较小时,预测值可能被高估,观测值较大时,预测值可能被低估。因此采用最优角度旋转法进行偏差校正。该方法是计算观测值与预测值的残差值,建立残差值与预测值之间的拟合直线,将拟合线旋转至Y=0的位置,然后通过寻找一个最优角度,使总体的均方误差最小,以达到对原始预测结果进行偏差校正的目的。最终基于偏差校正的随机森林法,依据模型自变量中是否添加CWSI指数分别构建了综合模型BRF。具体采用的校正方法可以如下:
(1)构建RF模型Ytrain=RF(Xtrain),Xtrain为训练集自变量,Ytrain为训练集因变量。输出RF模型的训练集的预测值/>
(2)输出训练集的观测值与预测值的残差同时,以残差值Rtrain为因变量,样本数据为自变量构建残差模型RFres为Rtrain=RFtrain(Xtrain)。
(3)输出步骤(1)中测试集的预测值以及测试集的预测残差值/> Xtest为测试集自变量。
(4)以训练集的预测残差值以及训练集的预测值/>拟和简单线性回归线式中a、b为常量,并找到这条拟合线旋转至/>的角度,假设为θ。
(5)在(θ-α,θ+α)找到最佳角度,式中α为角度,本发明实施例取值为10°,使训练集中的预测误差最小,保存这个值,假设为θ*。
(6)使用θ*的旋转矩阵用来估计残差,将旋转后的估计残差值与预测值进行求和,得到最终的预测值即为得分。
得到总得分后,即为前交叉韧带损伤风险得分/评级,具体如表10所示:
表10总得分评级
评价 | 得分范围 |
正常 | 100-85 |
低风险 | 84-75 |
高风险 | 74-60 |
受限 | 59-0 |
下面对本发明实施例的基于视觉识别的膝关节前交叉韧带评估方法进行举例说明,即在一个具体的例子中,得到的各评估节点的得分可以如表11所示:
表11举例得分表格
本发明实施例与其他方案对比:
目前前交叉韧带评分表格主要为Kujala和Lysholm膝关节功能评估量表,Kujala膝关节量表主要包括跛行(5分)、患者支撑(5分)、步行(5分)、爬楼梯(10分)、下蹲(5分)、跑步(10分)、跳跃(10分)、长时间屈膝坐下(10分)、疼痛(10分)、肿胀(10分)、髌骨活动程度(10分)、大腿肌肉萎缩(5分)和膝关节屈曲程度(5分)等13项问题,满分100分,分数越高功能越好;Lysholm膝关节评估量表,该表由8个项目组成,其中包括跛行(5分)、支撑(5分)、爬楼梯(10分)、下蹲(5分)、不稳定(25分)、交锁(15分)、疼痛(25分)、肿胀(10分),满分100分。
本发明实施例与Kujala量表对比,准确率为92.85%;与Lysholm量表对比,准确率为94.01%。
综上,本发明实施例的基于视觉识别的膝关节前交叉韧带评估方法,首先获取深度摄像头采集的测试者的人体图像,然后根据所述人体图像,计算测试者的评估节点的数据,其中所述评估节点包括膝关节角度、患侧与健侧下肢肌力变化率、患侧与健侧单腿支撑时间变化率、以及患侧与健侧肌肉围度变化率中的至少两个,之后根据所述评估节点的数据,计算所述评估节点的得分,最后将所述评估节点的得分输入至预先构建好的随机森林模型中,得到前交叉韧带损伤风险得分。这样,本发明实施例通过对测试动作:单腿下蹲、单腿平衡和体态测量,通过患侧和健侧的对比,对患者当下的损伤康复状态进行评估,多个指标评估相对比较全面,准确度高;并且本发明实施例基于视觉识别实现膝关节前交叉韧带的评估,不受仪器限制,操作简便。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于视觉识别的膝关节前交叉韧带评估方法,其特征在于,包括:
步骤1:获取深度摄像头采集的测试者的人体图像;
步骤2:根据所述人体图像,计算测试者的评估节点的数据,其中所述评估节点包括膝关节角度、患侧与健侧下肢肌力变化率、患侧与健侧单腿支撑时间变化率、以及患侧与健侧肌肉围度变化率中的至少两个;
步骤3:根据所述评估节点的数据,计算所述评估节点的得分;
步骤4:将所述评估节点的得分输入至预先构建好的随机森林模型中,得到前交叉韧带损伤风险得分。
2.根据权利要求1所述的方法,其特征在于,当所述评估节点包括膝关节角度、患侧与健侧下肢肌力变化率时,所述步骤1包括:
步骤11:获取深度摄像头采集的测试者完成预设测试动作的人体图像,其中该预设测试动作为单腿下蹲;
所述步骤2包括:
步骤21:从所述人体图像中提取测试者的关节标记点的空间坐标数据;
步骤22:根据所述空间坐标数据,计算测试者的关节角数据;
步骤23:根据所述关节角数据,计算测试者的评估节点的数据。
3.根据权利要求2所述的方法,其特征在于,所述测试者的关节标记点包括至少20个标记点,分别为:头、颈椎上端、颈椎中部、颈椎下端、胸椎中端、腰椎上端、腰椎中部、骶骨、左/右肩、左/右肘、左/右腕、左/右髋、左/右膝、左/右踝;
和/或,所述关节角数据包括至少16个关节角的数据,所述关节角包括:颈上部、颈曲、左/右肩、左/右肘、胸上部、胸曲、腰上部、腰曲、左/右脊柱底部、左/右髋、左/右膝。
4.根据权利要求2所述的方法,其特征在于,所述膝关节角度包括膝关节屈曲角速度;
所述步骤3包括:
步骤31:根据所述膝关节屈曲角速度,绘制角速度-时间曲线;
步骤32:从所述角速度-时间曲线中得到波峰和波谷的数量和位置;
步骤33:如果膝关节在伸膝时所述角速度-时间曲线中出现波峰-波谷-波峰的曲线特征,则判定为前交叉韧带异常,赋值0分,否则,赋值100分。
5.根据权利要求4所述的方法,其特征在于,所述步骤32包括:
步骤321:将膝关节屈曲角速度做循环对比并筛选,筛选条件为:设某帧角速度为ω1,满足ω1>ω0且ω1>ω2,ω0为ω1前一帧所得到的角速度,ω2为ω1后一帧所得到的角速度,输出满足筛选条件的角速度及其时间点,为一个或多个波峰点位;
步骤322:提取所述波峰点位中角速度最大的点位作为最高波峰,以该时间点位为中心,向两侧剔除相邻预设数量帧以内的多个点位,记录剩余点位的角速度和时间点,得到角速度-时间曲线中波峰的数量和位置;
步骤323:运用同样方法得到角速度-时间曲线中波谷的数量和位置。
6.根据权利要求2所述的方法,其特征在于,所述膝关节角度包括膝关节外翻角度、膝关节屈曲角度、膝关节内翻角度、髋屈曲中的至少一种或多种。
7.根据权利要求2所述的方法,其特征在于,所述患侧与健侧下肢肌力变化率包括患侧与健侧下肢股内侧肌肌力变化率,所述步骤23包括:
步骤231:根据所述关节角数据,计算得到左侧股骨内旋活动度、右侧股骨内旋活动度、左髋活动度和右髋活动度;
步骤232:将所述左侧股骨内旋活动度和左髋活动度求平均得到左股内侧肌的肌肉指标得分,将所述右侧股骨内旋活动度和右髋活动度求平均得到右股内侧肌的肌肉指标得分;
步骤233:根据所述左股内侧肌的肌肉指标得分和右股内侧肌的肌肉指标得分,计算得到所述患侧与健侧下肢股内侧肌肌力变化率;
和/或,所述患侧与健侧下肢肌力变化率包括患侧与健侧下肢股外侧肌肌力变化率,所述步骤23包括:
步骤231’:根据所述关节角数据,计算得到左侧股骨外旋活动度、右侧股骨外旋活动度、左髋活动度和右髋活动度;
步骤232’:将所述左侧股骨外旋活动度和左髋活动度求平均得到左股外侧肌的肌肉指标得分,将所述右侧股骨外旋活动度和右髋活动度求平均得到右股外侧肌的肌肉指标得分;
步骤233’:根据所述左股外侧肌的肌肉指标得分和右股外侧肌的肌肉指标得分,计算得到所述患侧与健侧下肢股外侧肌肌力变化率;
和/或,所述患侧与健侧下肢肌力变化率包括患侧与健侧下肢股直肌肌力变化率,所述步骤23包括:
步骤231”:根据所述关节角数据,计算得到左髋活动度和右髋活动度;
步骤232”:将所述左髋活动度作为左股直肌的肌肉指标得分,将所述右髋活动度作为右股直肌的肌肉指标得分;
步骤233”:根据所述左股直肌的肌肉指标得分和右股直肌的肌肉指标得分,计算得到所述患侧与健侧下肢股直肌肌力变化率。
8.根据权利要求1所述的方法,其特征在于,当所述评估节点包括患侧与健侧单腿支撑时间变化率时,所述步骤1包括:
步骤11’:获取深度摄像头采集的测试者完成预设测试动作的人体图像,其中该预设测试动作为闭眼单腿平衡。
9.根据权利要求1所述的方法,其特征在于,所述患侧与健侧肌肉围度变化率包括患侧与健侧大腿肌肉围度变化率和/或患侧与健侧小腿肌肉围度变化率;
当所述评估节点包括患侧与健侧肌肉围度变化率时,所述步骤1包括:
步骤11”:获取深度摄像头采集的测试者进行身体形态测量的人体图像;
所述步骤2包括:
步骤21”:从所述人体图像中提取腿部正面轮廓和腿部侧面轮廓;
步骤22”:测得腿部正面轮廓最粗处记为2a,测得腿部侧面轮廓最粗处记为2b;
步骤23”:以a、b分别为椭圆的半长轴和半短轴进行模拟,计算该椭圆周长,取周长的一半与长轴之和作为腿部肌肉围度;
步骤24”:根据所述腿部肌肉围度,计算测试者的患侧与健侧肌肉围度变化率。
10.根据权利要求1所述的方法,其特征在于,所述随机森林模型为采用最优角度残差旋转法进行偏差校正的随机森林模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310953023.3A CN117912682A (zh) | 2023-07-31 | 2023-07-31 | 基于视觉识别的膝关节前交叉韧带评估方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310953023.3A CN117912682A (zh) | 2023-07-31 | 2023-07-31 | 基于视觉识别的膝关节前交叉韧带评估方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117912682A true CN117912682A (zh) | 2024-04-19 |
Family
ID=90694376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310953023.3A Pending CN117912682A (zh) | 2023-07-31 | 2023-07-31 | 基于视觉识别的膝关节前交叉韧带评估方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117912682A (zh) |
-
2023
- 2023-07-31 CN CN202310953023.3A patent/CN117912682A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112603295B (zh) | 一种基于可穿戴传感器的康复评估方法和系统 | |
Demers et al. | The effect of stance width and anthropometrics on joint range of motion in the lower extremities during a back squat | |
JP7109612B2 (ja) | 代償運動の原因部位を特定するための方法、システム、プログラム、及びコンピュータ装置、並びに、代償運動を解消するための方法、及びシステム | |
Berry et al. | Resisted side stepping: the effect of posture on hip abductor muscle activation | |
Almosnino et al. | Three-dimensional knee joint moments during performance of the bodyweight squat: effects of stance width and foot rotation | |
US20190298253A1 (en) | Joint disorder diagnosis with 3d motion capture | |
Hallaceli et al. | Normal hip, knee and ankle range of motion in the Turkish population | |
Bauman et al. | Femoral neck anteversion in ballerinas. | |
CN112489762B (zh) | 基于数值模拟的女子举重运动员腰骶关节的生物力学分析方法 | |
Barker-Davies et al. | Single leg squat ratings by clinicians are reliable and predict excessive hip internal rotation moment | |
Mackenzie et al. | Relationship between extrinsic factors and the acromio-humeral distance | |
CN115497626A (zh) | 基于关节点识别的身体健康评估方法 | |
Olivier et al. | Single-leg squat delicacies—the position of the nonstance limb is an important consideration | |
KR20090109413A (ko) | 체형진단시스템 및 그 방법 | |
Sarabadani Tafreshi et al. | Comparing scapular position and scapular dyskinesis in individuals with and without rounded shoulder posture | |
US20230218199A1 (en) | A system for assessing human movement and balance | |
CN117912682A (zh) | 基于视觉识别的膝关节前交叉韧带评估方法 | |
CN114668387A (zh) | 基于运动特征和知识图谱的人体肌骨健康状况分析方法 | |
Thote et al. | Simulation and analysis of leg length discrepancy and it’s effect on muscles | |
Jeong et al. | Stretching position can affect levator scapular muscle activity, length, and cervical range of motion in people with a shortened levator scapulae | |
CN113012812A (zh) | 一种膝、踝关节以及足底压力数据整合方法及系统 | |
Maddox | A Biomechanical Analysis of Back Squats: Motion Capture, Electromygraphy, and Musculoskeletal Modeling | |
Keith et al. | Anthropometric Predictors of Conventional Deadlift Kinematics and Kinetics: A Preliminary Study | |
Daher et al. | Functional Assessment of Patients with Adult Spinal Deformity: Too complicated or a must-have? | |
Leard et al. | Intrarater and interrater reliability of 22 clinical measures associated with lower quarter malalignment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication |