CN117731243A - 基于步态数据特征的足部运动损伤辅助诊断方法及系统 - Google Patents
基于步态数据特征的足部运动损伤辅助诊断方法及系统 Download PDFInfo
- Publication number
- CN117731243A CN117731243A CN202410182882.1A CN202410182882A CN117731243A CN 117731243 A CN117731243 A CN 117731243A CN 202410182882 A CN202410182882 A CN 202410182882A CN 117731243 A CN117731243 A CN 117731243A
- Authority
- CN
- China
- Prior art keywords
- foot
- injury
- gait
- gait data
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005021 gait Effects 0.000 title claims abstract description 142
- 230000006378 damage Effects 0.000 title claims abstract description 102
- 208000027418 Wounds and injury Diseases 0.000 title claims abstract description 98
- 208000014674 injury Diseases 0.000 title claims abstract description 98
- 238000003745 diagnosis Methods 0.000 title claims abstract description 84
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000033001 locomotion Effects 0.000 claims abstract description 88
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 238000012795 verification Methods 0.000 claims abstract description 9
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000010276 construction Methods 0.000 claims abstract description 6
- 238000000691 measurement method Methods 0.000 claims abstract description 5
- 210000002683 foot Anatomy 0.000 claims description 121
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000012549 training Methods 0.000 claims description 20
- 210000001872 metatarsal bone Anatomy 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 16
- 238000001914 filtration Methods 0.000 claims description 15
- 210000003423 ankle Anatomy 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 13
- 210000000459 calcaneus Anatomy 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 230000035945 sensitivity Effects 0.000 claims description 10
- 238000002405 diagnostic procedure Methods 0.000 claims description 8
- 239000003550 marker Substances 0.000 claims description 8
- 238000005259 measurement Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 210000000629 knee joint Anatomy 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 3
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 2
- 238000005452 bending Methods 0.000 claims 1
- 210000000988 bone and bone Anatomy 0.000 claims 1
- 208000025978 Athletic injury Diseases 0.000 abstract description 11
- 206010041738 Sports injury Diseases 0.000 abstract description 10
- 238000011161 development Methods 0.000 abstract description 6
- 208000017899 Foot injury Diseases 0.000 abstract description 3
- 206010061225 Limb injury Diseases 0.000 abstract description 3
- 210000003141 lower extremity Anatomy 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 210000003041 ligament Anatomy 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 210000000474 heel Anatomy 0.000 description 4
- 210000000452 mid-foot Anatomy 0.000 description 4
- 101001123538 Nicotiana tabacum Putrescine N-methyltransferase 1 Proteins 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000004744 fore-foot Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000006735 deficit Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 208000034657 Convalescence Diseases 0.000 description 1
- 206010065433 Ligament rupture Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 210000004233 talus Anatomy 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000002303 tibia Anatomy 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
本发明提供一种基于步态数据特征的足部运动损伤辅助诊断方法及系统,该方法包括:数据预处理、步态数据特征空间构建、损伤辅助诊断及其有效性验证;本发明解决了现有足部运动损伤诊疗中存在的智能、精准的诊断方法短缺之问题;在受试者足部运动信息采集的基础上,基于海德堡足部测量方法对自然行走过程中关节的活动度进行精细化描述,建立足部损伤的步态数据特征空间,实现针对足部运动损伤的辅助诊断;该方法与系统为量化、综合、便捷的足部损伤诊断提供了一种新型有效的智能辅助工具,同时,也为足部康复辅具研制、下肢外骨骼机器人研发等相关领域的研究与应用提供了必要的人体测量学依据。
Description
技术领域
本发明涉及人体运动特征分析与智能辅助诊断技术领域,特别是指一种基于步态数据特征的足部运动损伤辅助诊断方法及系统。
背景技术
较髋关节、膝关节而言,足部面最小,且承受着人体几乎全部的体重,作为人类行走、跑步、弹跳等高频动作的重要负重支点,足部无疑是人体最易受伤的关节。
如是现状,突显出传统临床诊疗在时间、空间、标准化,以及精准性水平上的局限性。人体运动学参数精准检测技术的日臻成熟,为距跟骨间韧带断裂等足部运动损伤的辅助诊断提供了客观、有效的数据支撑,同时,也为损伤的智能辅助诊断方法与系统构建提供了可能。
目前,尽管医学领域已对足踝部运动损伤的发病机制、诊疗与康复方法进行了广泛的研究,但受限于临床领域经验为主导的“描述医学”方式,尚未形成量化、精准的“解释医学”智能诊断模式。
发明内容
本发明要解决的技术问题是提供一种基于步态数据特征的足部运动损伤辅助诊断方法及系统,以解决现有足部运动损伤诊疗中存在的智能、精准的诊断方法短缺之问题。旨在有标注数据描述足部运动损伤组及对照组的步态数据特征、构建针对足部运动损伤的辅助诊断方法及系统,为量化、综合、便捷的足部损伤诊断提供了一种新型有效的智能辅助工具,同时,也为足部康复辅具研制、下肢外骨骼机器人研发等相关领域的研究与应用提供了必要的人体测量学依据。
为解决上述技术问题,本发明提供如下技术方案:
一种基于步态数据特征的足部运动损伤辅助诊断方法,所述方法包括:
采集受试者在自然行走过程中的步态运动信息进行预处理;
基于预处理后的步态运动信息,对损伤组与对照组在8个维度上的步态数据特征进行计算,构建步态数据特征空间;
构建时空Transformer网络,利用损伤组与对照组的步态数据特征组成训练集对网络进行训练,实现足部运动损伤辅助诊断。
进一步地,在实现足部运动损伤辅助诊断后,所述方法还包括:
构建混淆矩阵,记录损伤辅助诊断结果的真阳性、假阳性、真阴性、假阴性数量;
计算足部运动损伤辅助诊断方法的敏感性和特异性,形成受试者工作特征曲线,通过受试者工作特征曲线下面积验证决策方法的有效性。
进一步地,所述采集受试者的步态运动信息,包括:
基于海德堡足部测量方法,建立覆盖膝关节部分、足部部分、足部的足踝部运动测量模型;基于所述足踝部运动测量模型,通过光学运动捕捉系统采集受试者的步态数据。
进一步地,所述对采集到的步态运动信息进行预处理,包括:
对所采集的步态运动信息进行低通数字滤波,降低原始运动信息的噪声;
依据人体步态的共性特征及受试者个体实际运动情况,将滤波处理后的运动信息按照跟骨背侧标记点空间坐标位置进行步态周期自动分割;
构建插值模型,将步态周期的采样点个数进行标准化处理。
进一步地,所述构建步态数据特征空间,包括:
针对足部运动损伤的步态数据特征进行提取,所提取的步态数据特征包括:胫-距骨屈曲角度、前足-跟外展角度、足部内侧拱角、足部外侧拱角、旋转角度、前足-踝旋外角度、内-外足中旋角、踝-跟伸缩距离。
进一步地,所述实现足部运动损伤辅助诊断,包括:
将损伤组与对照组步态数据特征整合,形成足部运动损伤辅助诊断模型的训练集;
构建基于时空Transformer网络的足部运动损伤辅助诊断方法,将训练集输入到网络中,学习从步态数据特征到损伤决策的映射关系;
优化决策网络参数,反复迭代,直到输出符合损失函数要求和精度要求的判别结果为止。
相应地,为解决上述技术问题,本发明还提供如下技术方案:
一种基于步态数据特征的足部运动损伤辅助诊断系统,所述系统包括:
数据预处理模块,所述数据预处理模块用于对采集的步态运动信息进行原始数据滤波,依据人体步态的共性特征及受试者个体实际运动情况,将滤波处理后的运动信息按照特征标记点空间坐标位置进行步态周期自动分割,并进行步态周期标准化处理;
步态数据特征空间构建模块,所述步态数据特征空间构建模块用于按照步态周期分割及标准化结果,对损伤组与对照组在8个维度上的步态数据特征进行计算,构建步态数据特征空间,同时根据8个维度上的步态数据特征与标记点的空间关系,构建步态数据特征关系矩阵;
损伤辅助诊断模块,所述损伤辅助诊断模块用于构建时空Transformer网络,利用损伤组与对照组步态数据特征组成训练集对网络进行训练,实现足部运动损伤辅助诊断功能。
方法及系统有效性验证模块,所述方法及系统有效性验证模块用于构建混淆矩阵,计算足部运动损伤辅助诊断模型的敏感性和特异性,通过受试者工作特征曲线下面积验证决策方法的有效性验证决策模型的有效性。
本发明的上述技术方案的有益效果如下:
本发明针对现有足部运动损伤诊疗中存在的智能、精准的诊断方法短缺之问题,提供了一种基于步态数据特征的足部运动损伤辅助诊断方法及系统,本发明所涉及的足踝部运动信息来源于基于红外摄像机的光学运动捕捉系统,在此基础上经数据预处理后,针对损伤组与对照组构建步态数据特征空间,以所构建步态数据特征为训练集,研发针对足部运动损伤的辅助诊断方法与系统及其有效性验证方法,进而为足部运动损伤的诊断提供一种优质、高效的智能化辅助工具。
本发明的基于步态数据特征的足部运动损伤辅助诊断方法及系统可以有效提升足踝步态数据特征精准化描述水平,实现量化、精确的足部运动损伤决策,为足部运动损伤提供一种智能化的辅助诊断工具,广泛应用于足部运动损伤的急性期诊断、康复期测评、智能辅具研制等多个相关方面,通过构建量化、精准的“解释医学”诊断模型、算法及系统,助力我国相关领域临床医学的发展。
本发明的基于步态数据特征的足部运动损伤辅助诊断方法及系统结合先进智能科学技术为国内运动医学与康复事业引入学科交叉式新思维,有助于探索与建立“医工结合”模式下完备的面向运动损伤患者的智能服务理论与算法,有助于提升我国医疗器械、健康交互装备等领域的标准化、流程化工程应用及创新建设水平,对于加强“新一代人工智能”在医疗领域的新技术、新业态、新模式具有重要的理论意义,同时,对于我国智能化医疗服务建设具有促进作用。
附图说明
图1为本发明基于步态数据特征的足部运动损伤辅助诊断方法及系统的整体流程示意图;
图2为本发明基于步态数据特征的足部运动损伤辅助诊断方法及系统中的时空Transformer模块的整体网络结构图;
图3为本发明基于步态数据特征的足部运动损伤辅助诊断方法及系统中的时空Transformer模块中的一个时空模块单元的结构示意图;
图4为本发明基于步态数据特征的足部运动损伤辅助诊断方法及系统中的时空Transformer模块中的空间Transformer模块的网络结构图;
图5为本发明基于步态数据特征的足部运动损伤辅助诊断方法及系统中的时空Transformer模块中的时间Transformer模块的网络结构图;
图6为本发明基于步态数据特征的足部运动损伤辅助诊断方法及系统的模块图。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将结合附图及具体实施例进行详细描述。
第一实施例
本实施例提供一种基于步态数据特征的足部运动损伤辅助诊断方法,该基于步态数据特征的足部运动损伤辅助诊断方法包括:
S101,采集受试者的步态运动信息;
需要说明的是,在本实施例中,上述S101具体为:
基于海德堡足部测量方法,建立覆盖膝关节部分、踝关节部分、足部三个部分12个骨性标志点的足踝部运动测量模型;基于所述足踝部运动测量模型,通过基于红外摄像机的光学运动捕捉系统采集受试者的步态运动信息。
S102,对采集到的步态运动信息进行预处理;
需要说明的是,在本实施例中,上述S102具体包括以下过程:
1、对所采集的步态数据进行低通数字滤波,降低采集系统、环境、标记点(Marker)移位、遮挡等因素所造成的噪声;
2、依据人体步态的共性特征及受试者个体实际运动情况,将滤波处理后的运动信息按照跟骨背侧标记点空间坐标位置进行步态周期自动分割;
3、通过按比例插值的方法,将每个步态周期内的采样点数进行标准化处理。
S103,基于预处理后的步态运动信息,对损伤组与对照组在8个维度上的步态数据特征进行计算,构建步态数据特征空间和步态数据特征关系矩阵;
需要说明的是,在本实施例中,上述S103具体为:
1、针对足部运动损伤的步态数据特征进行提取,所提取的步态数据特征包括:胫-距骨屈曲角度、前足-跟外展角度、足部内侧拱角、足部外侧拱角、旋转角度、前足-踝旋外角度、内-外足中旋角、踝-跟伸缩距离。
2、根据8个维度上的步态数据特征与S101中提及的12个骨性标志点的空间关系,构建其之间的特征关系矩阵,将该矩阵与其转置矩阵相乘得到8个维度上的步态数据特征的关系矩阵,其中对角线元素均设定为0。
S104,构建时空Transformer网络,利用损伤组与对照组步态数据特征组成训练集对网络进行训练,实现足部运动损伤辅助诊断;
需要说明的是,在本实施例中,上述S105具体包括以下过程:
1、将损伤组与对照组的步态数据特征整合,形成足部运动损伤辅助诊断模型的训练集;
2、构建基于时空Transformer网络的足部运动损伤辅助诊断方法,将训练集输入到网络中,学习从步态数据特征到损伤决策的映射关系;
3、优化决策网络参数,反复迭代,直到输出符合损失函数要求的判别结果为止,以此实现精确的足部运动损伤辅助诊断,解决智能、精准的诊断方法缺失之问题。
S105,计算受试者工作曲线下面积,评价验证决策方法及系统的有效性。
需要说明的是,在本实施例中,上述S106具体包括以下过程:
1、构建混淆矩阵,记录损伤辅助诊断结果的真阳性(True Positive,TP)、假阳性(False Positive,FP)、真阴性(True Negative,TN)、假阴性(False Negative,FN)数量;
2、根据一系列二分类的分界值,计算足部运动损伤辅助诊断方法的敏感性和特异性,以敏感性为纵坐标,特异性为横坐标,绘制受试者工作特征(Receiver OperatingCharacteristic,ROC)曲线;
3、计算受试者工作特征曲线下面积(Area Under Curve,AUC),评价验证决策方法的有效性。
综上,本实施例提出了一种基于步态数据特征的足部运动损伤辅助诊断方法,主要是针对基于红外摄像机的光学运动捕捉系统所采集到的步态运动信息,建立具有人体运动测量依据的步态数据特征空间和步态数据特征关系矩阵,构建基于时空Transformer网络的足部运动损伤辅助诊断模型,并通过受试者工作特征曲线对其有效性进行验证,进而提供一种进行足部运动损伤诊断的智能辅助工具,以解决了现有足部运动损伤诊疗中存在的智能、精准的诊断方法短缺之问题。
第二实施例
请参阅图1,本实施例提供一种基于步态数据特征的足部运动损伤辅助诊断方法,该方法如图1所示,包括以下步骤:
S101,构建步态运动信息的预处理方法;
需要说明的是,在本实施例中,上述S101具体为:
首先,利用巴特沃斯低通滤波器对足踝部原始运动信息进行数字滤波,具体滤波方法为:
经基于红外摄像机的光学运动捕捉系统所采集得到的足踝部原始运动信息中无可避免地存在着高频噪声,因此本方法及系统采用一阶零延时巴特沃斯低通滤波器进行数字滤波,采样频率100Hz,通带的截止频率0.01Hz,阻带的截止频率20Hz,用于平滑高频噪声,降低原始数据中的干扰信息。
其次,建立具有个体针对性的步态周期自动分割方法,将自然步行过程按步态周期进行分割,具体分割方法为:
足跟着地是上一步态周期结束,当前步态周期开始的主要标志,从空间运动特征来看,此刻足跟背侧到达整个步态运动中的一个极低点,因此,本方法以位于跟骨背侧的CCL标记点在空间固定坐标系下Z轴方向上的极小值点作为量化分割点划分步态周期。
而后,构建基于比例插值的步态周期采样点标准化处理方法,具体标准化处理方法为:
按步态周期相对时间轴从起始(零时刻)到结束等分为100个新采样点,如果新采样点与原采样点时间重合,则新采样点的值与原值相等;如果新采样点与原采样点时间不重合,则新采样点的值为:
其中,为新采样点的值,/>为新采样点的时间点,/>和/>分别为与新采样点时间点前后临近的两个原采样时间点,/>和/>分别为原采样时间点/>和/>所对应的值。
S102,构建基于海德堡足部测量方法的步态数据特征空间和步态数据特征关系矩阵;
需要说明的是,在本实施例中,本实施例的特征空间所涉及的步态数据特征包括:胫-距骨屈曲角度、前足-跟外展角度、足部内侧拱角、足部外侧拱角、旋转角度、前足-踝旋外角度、内-外足中旋角、踝-跟伸缩距离8个维度:
(A)胫-距骨屈曲角度,具体为:以内踝标记点(MML)到外踝标记点(LML)为转动轴,从内外侧踝标记点(MML、LML)连接线中点到内外侧髁标记点(MEP、LEP)连接线中点构成的胫骨轴在转动轴垂直平面上的投影和从P点到舟骨标记点(NAV)构成的距骨轴在转动轴垂直平面上的投影之间的夹角,其中,;
(B)前足-跟外展角度,具体为:以内踝标记点(MML)到外踝标记点(LML)为转动轴,从第1跖骨远端标记点(DMT1)到第5跖骨远端标记点(DMT5)构成的前足轴在转动轴垂直平面上的投影和从跟骨内侧标记点(MCL)到跟骨外侧标记点(LCL)构成的跟骨轴在转动轴垂直平面上的投影之间的夹角;
(C)足部内侧拱角,具体为:从舟骨标记点(NAV)到第1跖骨远端标记点(DMT1)构成的前段足内侧轴和从舟骨标记点(NAV)到跟骨内侧标记点(MCL)构成的后段足内侧轴之间的夹角,其中,转动轴为前段足内侧轴与后段足内侧轴的公垂线;
(D)足部外侧拱角,具体为:以第1跖骨近端标记点(PMT1)到第5跖骨近端标记点(PMT5)为转动轴,从第5跖骨近端标记点(PMT5)到第5跖骨远端标记点(DMT5)构成的前段足外侧轴在转动轴垂直平面上的投影和从第5跖骨近端标记点(PMT5)到跟骨外侧标记点(LCL)构成的后段足外侧轴在转动轴垂直平面上的投影之间的夹角;
(E)旋转角度,具体为:以P点到舟骨标记点(NAV)为转动轴,从内踝标记点(MML)到外踝标记点(LCL)构成的足部轴线在转动轴垂直平面上的投影和从跟骨内侧标记点(MCL)到跟骨外侧标记点(LCL)构成的跟部轴线在转动轴垂直平面上的投影之间的夹角;
(F)前足-踝旋外角度,具体为:以P点到舟骨标记点(NAV)为转动轴,从内踝标记点(MML)到外踝标记点(LCL)构成的足部轴线在转动轴垂直平面上的投影和从第1跖骨远端标记点(DMT1)到从第5跖骨远端标记点(DMT5)构成的前足轴线在转动轴垂直平面上的投影之间的夹角;
(G)内-外足中旋角,具体为:以中段足中点(由舟骨标记点(NAV)和第1、5跖骨近端标记点(PMT1、PMT5)构成的三角形中心)到前足中点()连接线和第1、5跖骨远端标记点(DMT1、DMT5)连接线的平行线所构成平面的垂直向上方向为转动轴,从第1跖骨近端标记点(PMT1)到第1跖骨远端标记点(DMT1)构成的内足轴线在转动轴垂直平面上的投影和从第5跖骨近端标记点(PMT5)到第5跖骨远端标记点(DMT5)构成的外足轴线在转动轴垂直平面上的投影之间的夹角;
(H)踝-跟伸缩距离,具体为:外踝标记点(LCL)与跟骨外侧标记点(LCL)之间的距离。
本实施例的特征空间所涉及的步态数据特征关系矩阵由以下方式获得:
建立8个维度上的步态数据特征与S101中提及的12个骨性标志点的特征关系矩阵,将该矩阵与其转置矩阵相乘得到8个维度上的步态数据特征的关系矩阵,其中对角线元素均设定为0。
S103,建立基于时空Transformer网络的足部运动损伤辅助诊断模型与算法;
需要说明的是,在本实施例中,如图2所示,本方法采用时空Transformer网络模型进行足部运动损伤的辅助诊断,该网络模型具有链式结构,在链式结构中的每个时空Transformer网络(S-T Transformer Block)结构重复,单元的状态在链式结构中依次传递,只与网络进行少量的线性交互,信息易于在S-T Transformer block单元之间流动,因此,该网络结构具有较好的时序记忆性。
如图3所示,每个S-T Transformer Block单元中主要有两部分组成,分别是空间Transformer(Spatial Transformer)和时间Transformer(Temporal Transformer)模块。
如图4所示,空间Transformer模块由空间-时间位置嵌入层、固定图卷积层、动态图卷积层和信息融合的门机制组成。每个空间Transformer单元由5步操作组成,具体包括:
将上一个单元的输出/>输入到空间Transformer模块中的空间位置嵌入单元(Positional Embedding),通过其中的空间位置矩阵/>(根据步态数据关系特征矩阵初始化得到)学习得到嵌入式特征/>;
将嵌入式特征/>送入基于切比雪夫多项式近似的固定图卷积层(GraphConvolution),根据学习到的权重和预定义的图,学习结构感知的节点特征,得到结构感知节点特征/>;
将嵌入式特征矩阵/>通过对应的权重矩阵/>投射到三个潜在子空间(查询子空间Q,关键子空间K,值子空间V),得到对应的子空间特征向量/>,然后通过点积得到图中节点的空间依赖关系,最后通过空间以来关系/>和值子空间向量得到节点特征/>;
将更新的节点特征/>送入前馈神经网络结构(Feed Forward Network)中,从而改善以所学节点特征/>为条件的分类预测,得到改善后的特征/>;
将改善后的特征/>和结构感知节点特征/>通过sigmoid门结构进行加权融合,得到空间Transformer模块的输出/>,将其送入到随后的时间Transformer模块中去,即/>。
如图5所示,时间Transformer模块由空间-时间位置嵌入层动态图卷积层和信息融合的门机制组成。每个空间Transformer单元由3步操作组成,具体包括:
将空间Transformer的输出/>输入到时间Transformer模块中的时间位置嵌入单元(Positional Embedding),通过其中的时间位置矩阵/>(根据独热时间编码初始化得到)学习得到嵌入式特征/>;
将嵌入式特征矩阵/>通过对应的权重矩阵/>投射到三个潜在子空间(查询子空间Q,关键子空间K,值子空间V),得到对应的子空间特征向量/>,然后通过点积得到图中节点的时间依赖关系,最后通过空间以来关系/>和值子空间向量更新得到节点特征/>;
将更新的节点特征/>送入前馈神经网络结构(Feed Forward Network)中,从而改善以所学节点特征/>为条件的分类预测,得到改善后的特征/>进行输出,将其送入到随后的下一个S-T Transformer Block单元或者分类层中,即/>;
基于时空Transformer网络的足部运动损伤辅助诊断算法具体如下:
输入:样本集;样本集数据维度X_dim;STTN网络参数:邻接矩阵A;输出通道数in_channels;Transformer通道数embed_size;训练轮数epochs;Spatial-temporal block堆叠层数num_layers;输入时间维度T_dim;Transformer head数量head。
输出:分类结果(有/足部韧带无损伤)。
步骤1:样本集输入,并初始化STTN网络存储状态;
步骤2:通过一个1×1的卷积层对样本集输入进行聚合;
步骤3:将输入的特征向量通过空间信息嵌入层整合获得空间嵌入特征;
步骤4:将空间嵌入特征分别送入空间Transformer模块的固定图卷积层和动态图卷积层中学习对应的空间特征;
步骤5:将动态图卷积层中学习得到的空间特征通过三层前馈神经网络来对STTN网络中空间Transformer模块的参数进行更新;
步骤6:通过线性投影和sigmiod激活函数融合两个卷积层分别学习到的空间特征;
步骤7:将融合后的空间特征向量通过时间信息嵌入层整合获得时间嵌入特征;
步骤8:将时间嵌入特征送入时间Transformer模块的动态图卷积层中学习对应的时间特征;
步骤9:将得到的时间特征通过三层前馈神经网络来对STTN网络中时间Transformer模块的参数进行更新;
步骤10:将空间Transformer模块中融合得到的空间特征向量与时间Transformer模块中更新后的时间特征进行整合,得到下一个时空卷积模块的输入时空特征;
步骤11:基于网络中设定的时空卷积模块的数量进行迭代,如果下一模块认为时空卷积模块,进入步骤3继续迭代;如果下一模块为分类层模块,进入分类层模块进行分类;
步骤12:分类层基于最后一个时空卷积模块提取的时空特征,利用两个1×1卷积层实现分类,输出分类结果。
S104,构建基于受试者工作特征曲线的有效性验证方法;
需要说明的是,在本实施例中,上述S104具体为:
首先,建立决策模型的混淆矩阵。混淆矩阵以矩阵的形式将数据集中的记录按照真实的类别与决策模型预测的类别进行汇总,其中,矩阵的行表示真实值,矩阵的列表示预测值,本决策模型的混淆矩阵形式具体如下:
其中,TP(True Positive):将足部韧带正常预测为正常的数量;FN(FalseNegative):将足部韧带正常预测为损伤的数量;FP(False Positive):将足部运动损伤预测为正常的数量;TN(True Negative):将足部运动损伤预测为损伤的数量。
其次,构建受试者工作特征曲线。由混淆矩阵可进一步计算得到四个数据,具体包括:
① 准确率(Accuracy,ACC),用于计算决策模型所有判断正确的结果占总观测值的比重,其中,
② 精确率(Precision,PPV),用于计算决策模型判断是足部韧带正常的所有结果中,预测正确的比重,其中,
③ 敏感性(Sensitivity,TPR),用于计算真实值是足部韧带正常的所有结果中,预测正确的比重,其中,
④ 特异性(Specificity,TNR),用于计算真实值是足部运动损伤的所有结果中,预测正确的比重,其中,
通过综合不同临界点时的真阳性率和假阳性率,并以不同截断点的敏感性(TPR)为纵坐标,特异性(FPR)()为横坐标,构建受试者工作特征曲线,该曲线通过构图法反映了不同临界值条件下敏感性和特异性之间的关系。
最后,通过计算ROC曲线下面积(AUC)来判断决策的正确率,AUC值越大,则表明决策的正确率越高。
综上,本实施例针对现有足部运动损伤诊疗中存在的智能、精准的诊断方法短缺之问题,提供了一种基于步态数据特征的足部运动损伤辅助诊断方法及系统,本发明所涉及的足踝部运动信息来源于基于红外摄像机的光学运动捕捉系统,在此基础上经数据预处理后,针对损伤组与对照组构建步态数据特征空间,以步态数据特征为训练集,研发针对足部运动损伤的辅助诊断方法与系统及其有效性验证方法,有效提升足踝步态数据特征精准化描述水平,实现量化、精确的足部运动损伤决策的同时,为足部运动损伤的诊断提供一种优质、高效的智能化辅助工具。
第三实施例
请参阅图5,本实施例提供一种基于步态数据特征的足部运动损伤辅助诊断系统,该基于步态数据特征的足部运动损伤辅助诊断系统包括:
步态运动信息预处理模块,所述步态运动信息预处理模块用于对采集的步态运动信息进行原始数据滤波,依据人体步态的共性特征及受试者个体实际运动情况,将滤波处理后的运动信息按照特征标记点空间坐标位置进行步态周期自动分割,并进行步态周期标准化处理;
步态数据特征空间构建模块,所述步态数据特征空间构建模块用于按照步态周期分割及标准化结果,对损伤组与对照组在8个维度上的步态数据特征进行计算,构建步态数据特征空间和步态数据特征关系矩阵;
损伤辅助诊断模块,所述损伤辅助诊断模块用于构建时空Transformer网络,利用损伤组与对照组的步态数据特征作为训练集对网络进行训练,实现足部运动损伤辅助诊断功能;
方法及系统有效性验证模块,所述方法及系统有效性验证模块用于构建混淆矩阵,计算足部运动损伤辅助诊断模型的敏感性和特异性,形成受试者工作特征曲线,通过受试者工作特征曲线下面积验证决策方法的有效性验证决策模型的有效性。
本实施例的基于步态数据特征的足部运动损伤辅助诊断系统与上述实施例的基于步态数据特征的足部运动损伤辅助诊断方法相互对应,其中,本实施例的基于步态数据特征的足部运动损伤辅助诊断系统中的各模块单元所实现的功能与上述方法中的各流程步骤一一对应;故,在此不再赘述。
此外,需要说明的是,本领域内的技术人员应明白,本发明的实施例可提供为方法、装置、或计算机程序产品。因此,本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上,使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
还需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
最后需说明的是,以上所述是本发明的优选实施方式,应当指出,尽管已描述了本发明的优选实施例,但对于本领域普通技术人员来说,一旦得知了本发明的基本创造性概念,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。所以,所附权利要求意欲解释为包括优选实施例,以及落入本发明实施例范围的所有变更和修改。
Claims (7)
1.一种基于步态数据特征的足部运动损伤辅助诊断方法,其特征在于,所述基于步态数据特征的足部运动损伤辅助诊断方法包括:
采集受试者在自然行走过程中的步态运动信息进行预处理;
基于预处理后的步态运动信息,对损伤组与对照组在8个步态数据特征维度上进行计算,构建步态数据特征空间;
构建时空Transformer网络,以损伤组与对照组的步态数据特征作为训练集对网络进行训练,实现足部运动损伤辅助诊断。
2.如权利要求1所述的基于步态数据特征的足部运动损伤辅助诊断方法,其特征在于,在实现足部运动损伤辅助诊断后,所述方法还包括:
构建混淆矩阵,记录损伤辅助诊断结果的真阳性、假阳性、真阴性、假阴性数量;
计算足部运动损伤辅助诊断方法的敏感性和特异性,形成受试者工作特征曲线,通过受试者工作特征曲线下面积验证决策方法的有效性。
3.如权利要求1所述的基于步态数据特征的足部运动损伤辅助诊断方法,其特征在于,所述采集受试者的步态运动信息,包括:
基于海德堡足部测量方法,建立覆盖膝关节部分、踝关节部分和足部的足踝部运动测量模型;基于所述足踝部运动测量模型,通过光学运动捕捉系统采集受试者的运动信息;其中,
膝关节部分测量的特征点包括:沿膝关节弯曲轴最大距离方向的膝关节内、外侧标记点;
足部部分测量的特征点包括:沿踝骨转动轴最大距离方向的内踝标记点和沿踝骨转动轴最大距离方向的外踝标记点;
足部测量的特征点包括:跟骨内、外、背侧最凸出位置标记点,从矢状面观察轴线与地面约成45°的舟骨标记点,第1、5跖骨近端标记点和远端标记点。
4.如权利要求1所述的基于步态数据特征的足部运动损伤辅助诊断方法,其特征在于,所述对采集到的步态运动信息进行预处理,包括:
对所采集的步态运动信息进行低通数字滤波,降低原始运动信息的噪声;
依据人体步态的共性特征及受试者个体实际运动情况,将滤波处理后的运动信息按照跟骨背侧标记点空间坐标位置进行步态周期自动分割;
构建插值模型,将步态周期的采样点个数进行标准化处理。
5.如权利要求4所述的基于步态数据特征的足部运动损伤辅助诊断方法,其特征在于,所述构建步态数据特征空间,包括:
针对足部运动损伤的步态数据特征进行提取,所提取的步态数据特征包括:胫-距骨屈曲角度、前足-跟外展角度、足部内侧拱角、足部外侧拱角、旋转角度、前足-踝旋外角度、内-外足中旋角、踝-跟伸缩距离;
针对上述8个步态数据特征与12个根骨背侧标记点的关系矩阵,提取出8个步态数据特征的关系矩阵。
6.如权利要求1所述的基于步态数据特征的足部运动损伤辅助诊断方法,其特征在于,所述实现足部运动损伤辅助诊断,包括:
将损伤组与对照组的步态数据特征作为足部运动损伤辅助诊断模型的训练集;
构建基于时空Transformer网络的足部运动损伤辅助诊断方法,将训练集输入到网络中,学习从步态数据特征到损伤决策的映射关系;
优化决策网络参数,反复迭代,直到输出符合损失函数要求和精度要求的判别结果为止。
7.一种基于步态数据特征的足部运动损伤辅助诊断系统,其特征在于,所述基于步态数据特征的足部运动损伤辅助诊断系统包括:
数据预处理模块,所述数据预处理模块用于对采集的步态运动信息进行原始数据滤波,依据人体步态的共性特征及受试者个体实际运动情况,将滤波处理后的运动信息按照特征标记点空间坐标位置进行步态周期自动分割,并进行步态周期标准化处理;
步态数据特征空间构建模块,所述步态数据特征空间构建模块用于按照步态周期分割及标准化结果,对损伤组与对照组在8个维度上的步态数据特征进行计算,构建步态数据特征空间,得到步态数据特征关系矩阵;
损伤辅助诊断模块,所述损伤辅助诊断模块用于构建时空Transformer网络,利用损伤组与对照组步态数据特征作为训练集对网络进行训练,实现足部运动损伤辅助诊断功能;
方法及系统有效性验证模块,所述方法及系统有效性验证模块用于构建混淆矩阵,计算足部运动损伤辅助诊断模型的敏感性和特异性,形成受试者工作特征曲线,通过受试者工作特征曲线下面积验证决策方法的有效性验证决策模型的有效性。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410182882.1A CN117731243A (zh) | 2024-02-19 | 2024-02-19 | 基于步态数据特征的足部运动损伤辅助诊断方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410182882.1A CN117731243A (zh) | 2024-02-19 | 2024-02-19 | 基于步态数据特征的足部运动损伤辅助诊断方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117731243A true CN117731243A (zh) | 2024-03-22 |
Family
ID=90261230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410182882.1A Pending CN117731243A (zh) | 2024-02-19 | 2024-02-19 | 基于步态数据特征的足部运动损伤辅助诊断方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117731243A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200838475A (en) * | 2007-03-29 | 2008-10-01 | Jung-Tang Huang | Leg-protection system via continuously examining the foot pressure |
CN107921631A (zh) * | 2015-06-22 | 2018-04-17 | 马里兰大学巴尔的摩分校 | 用于在受损脚踝的运动阶段期间提供经济的、便携的进行欠缺调节的适应性辅助方法和设备 |
CN111329488A (zh) * | 2020-03-05 | 2020-06-26 | 北京科技大学 | 针对踝关节韧带损伤的步态特征提取与生成方法及系统 |
CN111820902A (zh) * | 2020-06-29 | 2020-10-27 | 北京科技大学 | 一种基于活动度特征的踝关节韧带损伤智能决策系统 |
US20230329587A1 (en) * | 2022-04-18 | 2023-10-19 | LifeGait, Inc. | System And Method For Assessing Neuro Muscular Disorder By Generating Biomarkers From The Analysis Of Gait |
-
2024
- 2024-02-19 CN CN202410182882.1A patent/CN117731243A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW200838475A (en) * | 2007-03-29 | 2008-10-01 | Jung-Tang Huang | Leg-protection system via continuously examining the foot pressure |
CN107921631A (zh) * | 2015-06-22 | 2018-04-17 | 马里兰大学巴尔的摩分校 | 用于在受损脚踝的运动阶段期间提供经济的、便携的进行欠缺调节的适应性辅助方法和设备 |
CN111329488A (zh) * | 2020-03-05 | 2020-06-26 | 北京科技大学 | 针对踝关节韧带损伤的步态特征提取与生成方法及系统 |
CN111820902A (zh) * | 2020-06-29 | 2020-10-27 | 北京科技大学 | 一种基于活动度特征的踝关节韧带损伤智能决策系统 |
US20230329587A1 (en) * | 2022-04-18 | 2023-10-19 | LifeGait, Inc. | System And Method For Assessing Neuro Muscular Disorder By Generating Biomarkers From The Analysis Of Gait |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210315486A1 (en) | System and Method for Automatic Evaluation of Gait Using Single or Multi-Camera Recordings | |
CN114724241A (zh) | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 | |
CN111329488B (zh) | 针对踝关节韧带损伤的步态特征提取与生成方法及系统 | |
Triloka et al. | Neural computing for walking gait pattern identification based on multi-sensor data fusion of lower limb muscles | |
CN111820902B (zh) | 一种基于活动度特征的踝关节韧带损伤智能决策系统 | |
Martins et al. | Hybridization between multi-objective genetic algorithm and support vector machine for feature selection in walker-assisted gait | |
Hossain et al. | Estimation of lower extremity joint moments and 3d ground reaction forces using imu sensors in multiple walking conditions: A deep learning approach | |
CN114052718A (zh) | 步态评估系统及步态评估方法 | |
Tan et al. | IMU and smartphone camera fusion for knee adduction and knee flexion moment estimation during walking | |
CN115346670A (zh) | 基于姿态识别的帕金森病评级方法、电子设备及介质 | |
CN117690583B (zh) | 基于物联网的康复护理交互式管理系统及方法 | |
Huang et al. | Feature Selection, Construction, and Validation of a Lightweight Model for Foot Function Assessment During Gait With In-Shoe Motion Sensors | |
CN113283373A (zh) | 一种用于增强深度相机检测肢体运动参数的方法 | |
Lavikainen et al. | Prediction of knee joint compartmental loading maxima utilizing simple subject characteristics and neural networks | |
CN115281662B (zh) | 一种慢性踝关节不稳智能辅助诊断系统 | |
CN117731243A (zh) | 基于步态数据特征的足部运动损伤辅助诊断方法及系统 | |
US20230248261A1 (en) | 3d human body joint angle prediction method and system using 2d image | |
Dao et al. | Assessment of parameter uncertainty in rigid musculoskeletal simulation using a probabilistic approach | |
KR102350593B1 (ko) | 딥러닝 앙상블을 이용한 멀티모달 센서 기반의 보행 패턴 분류를 위한 장치 및 방법 | |
Cornish et al. | Hip contact forces can be predicted with a neural network using only synthesised key points and electromyography in people with hip osteoarthritis | |
Zeng et al. | Classification of gait patterns using kinematic and kinetic features, gait dynamics and neural networks in patients with unilateral anterior cruciate ligament deficiency | |
Bassett et al. | The signed helical angle: A technique for characterizing midfoot motion during gait | |
Pal et al. | Personalized Knee Angle Prediction Models Using Machine Learning | |
KR102574514B1 (ko) | 관절염 진단 장치 및 이에 의한 관절염 진단을 위한 정보 제공 방법, 컴퓨터 판독 가능한 기록 매체 및 컴퓨터 프로그램 | |
Kombeiz | Development and validation of a neural network for adaptive gait cycle detection from kinematic data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |