CN115105062B - 髋膝关节协调性评估方法、装置、系统和存储介质 - Google Patents

髋膝关节协调性评估方法、装置、系统和存储介质 Download PDF

Info

Publication number
CN115105062B
CN115105062B CN202211037597.8A CN202211037597A CN115105062B CN 115105062 B CN115105062 B CN 115105062B CN 202211037597 A CN202211037597 A CN 202211037597A CN 115105062 B CN115105062 B CN 115105062B
Authority
CN
China
Prior art keywords
hip
knee
knee joint
points
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211037597.8A
Other languages
English (en)
Other versions
CN115105062A (zh
Inventor
彭亮
王晨
许宁存
侯增广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202211037597.8A priority Critical patent/CN115105062B/zh
Publication of CN115105062A publication Critical patent/CN115105062A/zh
Application granted granted Critical
Publication of CN115105062B publication Critical patent/CN115105062B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1071—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring angles, e.g. using goniometers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及康复医疗技术领域，提供一种髋膝关节协调性评估方法、装置、系统和存储介质，包括根据健康者的髋膝关节角度循环曲线生成参考髋膝关节角度循环曲线，基于动态时间规划算法计算出患者的髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的最短匹配路径，并将最短匹配路径进行可视化显示，由此通过可视化可以直观地反映出髋膝关节协调性差异；并基于形状上下文算法计算以上两条循环曲线之间的代价矩阵，由此可以通过最短匹配路径与代价矩阵获得髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的形状特征偏差，进而基于形状特征偏差的平均值进行协调性评估，从而实现进行髋膝关节协调性的定量评估的目的。

Description

髋膝关节协调性评估方法、装置、系统和存储介质
技术领域
本发明涉及康复医疗技术领域，尤其涉及一种髋膝关节协调性评估方法、装置、系统和存储介质。
背景技术
步态分析可以系统地区分行走过程中的人类步态模式，所以它能够为临床医生提供步态障碍患者健康状况的诊断报告，全面评估手术或下肢康复辅助工具对患者的影响，帮助专业运动员纠正运动姿势，评估老年人群的跌倒风险等。
目前，许多现代步态分析工具被应用于临床步态评估，包括基于光学或惯性传感器的运动捕捉系统、足底压力测量板和肌电图信号采集设备等。这些成熟的步态分析工具能够客观、准确地测量丰富的关节间的协调性的步态参数，并以步态分析报告的形式呈现给临床医生。
然而目前现有方案中的步态分析工具输出的步态分析报告中的步态参数由于专业术语参数过多导致一般情况下用户无法直观地理解这些步态参数，因此限制了步态分析工具在临床应用中的普及。
另外现有方案中还存在基于循环图矩，向量编码和耦合角度分块技术等循环曲线的关节协调性评估方法。循环图矩采用循环图的周长，面积等几何学特征来表征关节间的协调性。虽然循环图矩能够定量的评估关节间的协调性，但是由于步态本身存在变异性，故而其鲁棒性较差。另外向量编码是通过计算循环图上相邻两个点之间的耦合角度的均值来定量的表征关节间的协调性。耦合角度分块技术是将耦合角度分割成具有不同生理学意义的小区间，具有很好的可解释性。但是此种方法未能量化关节间的协调性，对医生进行关节协调性的评估带来了很大的不方便。
发明内容
本发明提供一种髋膝关节协调性评估方法、装置、系统和存储介质，用以解决现有技术中步态分析工具输出的步态参数过于抽象的不足，进而无法直观地理解这些步态参数的缺陷，实现提供一种可直观分析关节协调性的评估方法。
本发明提供一种髋膝关节协调性评估方法，包括：
获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；
获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；
基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；
根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
根据本发明提供的髋膝关节协调性评估方法，所述基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，具体包括：
分别从各步行速度下的所述第一髋膝关节角度循环曲线中提取出若干个特征点；
分别建立各所述特征点与所述步行速度之间的定量关系模型，并基于所述定量关系模型构建出所述各步行速度下对应的控制点。
根据本发明提供的髋膝关节协调性评估方法，所述若干个特征点包括六个目标特征点及若干个最远特征点，所述六个目标特征点包括两个膝关节角度波谷点、两个膝关节角度波峰点、髋关节角度波谷点及髋关节角度波峰点。
根据本发明提供的髋膝关节协调性评估方法，所述获取第一不同步行速度下的第一髋膝关节角度循环曲线，具体包括：
获取健康者在不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标及右图像中的所述各标记点的右图像二维坐标；
基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标；
确定所述下肢运动学视频中的人体矢状面，并基于不同步行速度下的所述各标记点的三维坐标计算出在所述人体矢状面上的不同步行速度下的髋关节角度及膝关节角度；
基于所述不同步行速度下的髋关节角度及膝关节角度生成不同步行速度下的第一髋膝关节角度循环曲线。
根据本发明提供的髋膝关节协调性评估方法，所述基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：
分别对不同步行速度下的各所述左图像中的标记点进行遍历核验；
在遍历核验结果为所述左图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧左图像，并返回执行获取不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标的步骤。
根据本发明提供的髋膝关节协调性评估方法，所述基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：
分别对不同步行速度下的各所述右图像中的标记点进行遍历核验；
在遍历核验结果为所述右图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧右图像，并返回执行获取不同步行速度下的下肢运动学视频中的右图像中的各标记点的右图像二维坐标的步骤。
根据本发明提供的髋膝关节协调性评估方法，所述根据所述控制点生成参考髋膝关节角度循环曲线，具体包括：
将所述控制点的坐标数据输入B样条曲线模型中，获取所述B样条曲线模型输出的参考髋膝关节角度循环曲线。
本发明还提供一种髋膝关节协调性评估装置，包括：
构建单元，用于获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；
匹配单元，用于获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；
第一计算单元，用于基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；
第二计算单元，用于根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
本发明还提供一种髋膝关节协调性评估系统，包括：双目近红外相机、RGB相机、视频捕捉模块及上述的髋膝关节协调性评估装置；
所述双目近红外相机，用于记录人体下肢运动的黑白视频；
所述RGB相机，用于可视化并记录人体下肢运动的彩色视频；
所述视频捕捉模块，用于接收所述人体下肢运动的黑白视频及所述人体下肢运动的彩色视频，以生成下肢运动学视频，并将所述下肢运动学视频发送至所述髋膝关节协调性评估装置。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述髋膝关节协调性评估方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述髋膝关节协调性评估方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述髋膝关节协调性评估方法。
本发明提供的一种髋膝关节协调性评估方法、装置、系统和存储介质，通过根据健康者在不同步行速度下的第一髋膝关节角度循环曲线中的特征点生成参考髋膝关节角度循环曲线，之后基于动态时间规划算法计算出患者的第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的最短匹配路径，并将最短匹配路径进行可视化显示，由此通过可视化显示的最短匹配路径可以直观地反映出患者的髋膝关节协调性差异，此外还基于形状上下文算法计算出第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的代价矩阵，由此可以通过最短匹配路径与代价矩阵获得第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的形状特征偏差，进而基于形状特征偏差的平均值进行协调性评估，由此通过形状特征偏差的平均值实现可直观地进行患者的髋膝关节协调性的定量评估的目的。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的髋膝关节协调性评估方法的流程示意图之一；
图2是本发明提供的反光标记球的佩戴场景下的人体矢状面上的关节角度示意图；
图3是本发明提供的髋膝关节角度循环曲线示意图；
图4为本发明提供的参考髋膝关节角度循环曲线中的控制点绘制示意图；
图5是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明提供一种应用于本发明的髋膝关节协调性评估系统的髋膝关节协调性评估方法，其中，髋膝关节协调性评估系统具体包括：双目近红外相机、RGB相机、装备有视频捕捉模块的计算机及髋膝关节协调性评估装置，此外本发明提出的系统中还包括一个近红外光源和电源。
其中，电源可以同时给计算机和光源供电。光源是由两个圆形灯阵列组成，并安装在双目相机的两个镜头周围。光源可以均匀地发出850nm的红外光，并且其配备了亮度调节旋钮，可以根据环境的亮暗手动调节发出红外光的强弱，进而实现调整人体下肢运动视频中的图像帧中的标记点的清晰度。
双目近红外相机用于记录人体下肢运动的黑白视频、RGB相机用于可视化并记录人体下肢运动的彩色视频、装备有视频捕捉软件的计算机则用于接收人体下肢运动的黑白视频及人体下肢运动的彩色视频，以生成下肢运动学视频。
在实际应用中，双目近红外相机可以支持不同的帧率和分辨率的视频捕捉格式来记录人体下肢运动的黑白视频。当分辨率为720p时，可以达到最高60FPS的视频捕捉帧率。RGB相机则以60FPS的视频捕捉帧率将人体下肢运动的彩色视频进行可视化并记录。计算机中的视频录制模块可装备Directs Show视频录制软件，其中，视频录制模块可以同时录制来自RGB 相机和双目近红外相机的人体下肢运动视频。计算机还可通过视频录制模块来控制两台相机的开启，视频的记录，终止和保存功能。
首先，在采集前需要进行准备工作。如图2所示，从上往下依次在患者的大腿上中线上，膝关节旋转轴，踝关节大转子，脚跟处，以及第五个脚趾上安装反光标记球1、标记球2、标记球3、标记球4及标记球5。之后依次启动运行计算机的视频捕捉模块、双目近红外相机、RGB相机以及近红外光源。调整相机的位置，直至近红外相机和RGB相机的画面均可以捕捉到被试下肢的活动范围。通过近红外相机中的画面手动调整光源的亮暗，直至画面中可以最大限度的保留反光标记球而排除其他反光物体的干扰。通过视频捕捉模块来开始记录RGB相机和近红外相机的视频。
其次，在采集过程中让患者在地面上站立30秒，由此可以消除标记球的穿戴所带来的影响，之后患者在一定距离的长度内行走两圈，并在行走之后保持直立30秒。并通过视频捕捉模块分别保存此步态周期内的RGB相机和近红外相机的所记录运动学视频，进而得到相关的下肢运动学视频。
此外，本实施例中，为了消除关节幅值的影响，将采集到的下肢运动学视频数据进行归一化，此外为了能够提取到髋膝关节角度循环曲线的广义特征，本实施例中，分别采集若干个患者不同步行速度下的下肢运动学视频数据，之后计算出若干个患者在相同步行速度下的下肢运动学视频数据的平均值，以作为此步行速度下，正常人的髋膝关节特征。
另外本实施例中，视频捕捉模块在生成下肢运动学视频之后，将下肢运动学视频发送至髋膝关节协调性评估装置，以供髋膝关节协调性评估装置根据下肢运动学视频进行髋膝关节协调性评估。其中，视频捕捉模块和髋膝关节协调性评估装置可以安装于同一台计算机中，还可以安装于不同计算机中，本发明对此不作限制。
下面结合图1-图5描述本发明的髋膝关节协调性评估方法。
图1为本发明提供的髋膝关节协调性评估方法的流程示意图之一，如图1所示，该方法包括：
步骤100，获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；
具体地，髋膝关节角度循环曲线是关于人体运动过程中的髋关节角度与膝关节角度之间的角度循环曲线。
需要说明的是，本发明中的第一髋膝关节角度循环曲线是基于对健康者的下肢运动学视频分析进行图像分析处理后得到的。另外本发明中，为了提高评估结果的精准性及信服力，获取健康者在若干个不同步行速度下的髋膝关节角度循环曲线，也即需要获取若干个不同步行速度下的下肢运动学视频，从而从各步行速度下的下肢运动学视频中进行图像分析处理后得到各自匹配的髋膝关节角度循环曲线。
如图3所示，图3为本实施例中采集的八个不同步行速度下的髋膝关节角度循环曲线与此八个不同步行速度下的髋膝关节角度循环曲线所对应的速度平均值下的髋膝关节角度循环曲线。其中，图像中的实线的粗细代表不同的步行速度下的髋膝关节角度循环曲线，线条越粗表示髋膝关节角度循环曲线代表的步行速度越快，虚线代表的为所有髋膝关节角度循环曲线的平均曲线，例如参考图3中的特征点P2处的曲线。
需要说明的是，本实施例中为了便于后续处理步骤，采用取八个不同步行速度下髋膝关节角度循环曲线的平均值作为该步行速度下髋膝关节角度循环曲线的普遍特征。
具体地，图3中所示的特征点P1、特征点P2、特征点P3、特征点P4、特征点P5、特征点C、特征点D及特征点E均为髋膝关节角度循环曲线中的特征点，本实施例中的特征点的数量还可为其他数量个，对此不作限制。本实施例中，由于采集的为八个同步行速度下的髋膝关节角度循环曲线，因此特征点P1、特征点P2、特征点P3、特征点P4、特征点P5、特征点C、特征点D及特征点E均包括八个点，之后分别建立该八个特征点与步行速度之间的定量关系模型，从而基于定量关系模型重新生成速度平均值下的髋膝关节角度循环曲线。
参考图4，图4为本实施例中根据重新生成速度平均值下的髋膝关节角度循环曲线中的八个特征点生成十二个控制点的示意图。具体地，依次在髋膝关节角度循环曲线中定位出位于特征点P1左右两边的控制点CP0和CP11、位于特征点P2水平偏左的控制点CP1和水平偏右的控制点CP2、与特征点P4的横坐标相同且与特征点P3的纵坐标相同的控制点CP4、位于直线L1且与控制点CP4横坐标相同的CP5、位于直线L1且与特征点P5纵坐标相同的CP6、位于直线L2且与特征P5纵坐标相同的CP7、位于直线L2且与特征P6横坐标相同的CP8、位于直线L3且与特征P6横坐标相同的CP9、位于直线L3且与特征P1纵坐标相同的CP10。其中，直线L1定义为通过特征点C且斜率与特征点P4和特征点P5之间连线相同的直线，直线L2定义为通过特征点D且斜率与特征点P5和特征点P6之间连线相同的直线，直线L3定义为通过特征点E且斜率与特征点P6和特征点P1之间的连线相同的直线。
优选地，本实施例中根据以上十二个控制点生成参考髋膝关节角度循环曲线，具体地本实施例中，采用B样条曲线模型生成参考髋膝关节角度循环曲线，即将控制点的坐标数据输入B样条曲线模型中，获取B样条曲线模型输出的参考髋膝关节角度循环曲线，由此构建出精确的参考髋膝关节角度循环曲线。此外本实施例中还可以基于其他绘图方式生成以上十二个控制点生成参考髋膝关节角度循环曲线，对此不作限制。
步骤200，获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；
该步骤中，患者的第二髋膝关节角度循环曲线同以上实施例中的第二髋膝关节角度循环曲线获取方式一致，在此不再赘述。
具体地，动态时间规划算法为DTW（dynamic time warping）算法，通过动态时间规划算法将第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线进行对齐，从而得出第二髋膝关节角度循环曲线中的各采样点到参考髋膝关节角度循环曲线中的所有采样点之间的最短匹配路径。
本实施例中，将第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线可视化显示于同一图像中，并在该图像中可视化标注出所有的最短匹配路径，由此通过将最短匹配路径进行可视化来供用户对患者在行走过程中的髋膝关节协调性变化情况进行直观分析。
具体地，该步骤中首先计算出第二髋膝关节角度循环曲线与相应步行速度下的参考髋膝关节角度循环曲线之间所有采样点之间的距离矩阵，之后根据距离矩阵计算曲线之间的累积代价矩阵，最后从累积代价矩阵上计算出第二髋膝关节角度循环曲线与相应步行速度下的参考髋膝关节角度循环曲线之间所有采样点之间的最短匹配路径。
其中，本实施例中的累积代价矩阵的第一个元素定义为距离矩阵的第一个元素。累积代价矩阵的第一行和第一列分别定义为距离矩阵上对应元素与累积代价矩阵上前一个元素之和。累积代价矩阵的其他元素定义为距离矩阵上对应元素与其左下角相邻的三个元素中最大元素之和。最短匹配路径的计算方式是从累积代价矩阵中提取使得对应点匹配代价最小的最短路径。匹配路径的初始值为累积代价矩阵的最后一个元素的索引，其他元素分别为累积代价矩阵上一个元素左下角三个元素中最小元素所对应的索引。
步骤300，基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；
该步骤中，首先计算出第二髋膝关节角度循环曲线上的代表不同采样点之间距离特征的距离矩阵和代表所有采样点之间角度特征的角度矩阵。
其中，距离矩阵的每一个元素表示循环曲线上对应索引的采样点之间的欧式距离，每一行元素表示该行所对应的采样点的距离特征。角度矩阵的每一个元素表示循环曲线上对应索引的采样点之间的耦合角度，每一行表示该行所对应的采样点的角度特征。
其次使用对数极坐标系，将每个采样点的距离特征和角度特征映射到5*12的直方图矩阵。即将距离矩阵的每一行元素映射到5个小区间，将角度矩阵的每一行元素映射到12个角度区间，从而生成该行所对应采样点的直方图矩阵。
接着将每一个采样点的直方图矩阵平铺成1*60的形状上下文特征向量，即将该采样点的直方图矩阵平铺成行向量作为循环曲线的直方图矩阵的对应行的向量。其中，所有的采样点的形状上下文特征向量组成第二髋膝关节角度循环曲线的形状上下文特征矩阵，即直方图矩阵HA。同理，基于以上步骤可以得到相应步行速度下参考髋膝关节角度循环曲线的直方图矩阵HB。
在得到直方图矩阵HA和直方图矩阵HB之后，基于以下公式计算出第二髋膝关节角 度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵
Figure 684379DEST_PATH_IMAGE001
。
Figure 838279DEST_PATH_IMAGE002
其中，
Figure 189626DEST_PATH_IMAGE003
表示循环曲线上的第
Figure 10952DEST_PATH_IMAGE004
个采样点与参考循环曲线上第
Figure 156762DEST_PATH_IMAGE005
个采样点 之间的形状特征偏差。
步骤400，根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
此步骤中，根据第二髋膝关节角度循环曲线和参考髋膝关节角度循环曲线上对应点的最短匹配路径，从代价矩阵中提取对应点之间的形状特征偏差，并计算形状特征偏差的平均值作为髋膝关节协调性的定量评估值。
具体地，平均值越大，则表明髋膝关节协调性越差，例如，平均值为零，则表明患者的髋膝关节协调性与正常髋膝关节协调性无偏差，髋膝关节协调性好，由此基于形状特征偏差的平均值进行协调性评估，从而实现可直观地进行髋膝关节协调性的定量评估的目的。
本发明提出的髋膝关节协调性评估方法，通过根据健康者在不同步行速度下的第一髋膝关节角度循环曲线中的特征点生成参考髋膝关节角度循环曲线，之后基于动态时间规划算法计算出患者的第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的最短匹配路径，并将最短匹配路径进行可视化显示，由此通过可视化显示的最短匹配路径可以直观地反映出患者的髋膝关节协调性差异，此外还基于形状上下文算法计算出第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的代价矩阵，由此可以通过最短匹配路径与代价矩阵获得第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的形状特征偏差，进而基于形状特征偏差的平均值进行协调性评估，由此通过形状特征偏差的平均值实现可直观地进行患者的髋膝关节协调性的定量评估的目的。
基于上述实施例，步骤100中的基于各步行速度下的髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点具体包括：
分别从各步行速度下的所述第一髋膝关节角度循环曲线中提取出若干个特征点；
分别建立各所述特征点与所述步行速度之间的定量关系模型，并基于所述定量关系模型构建出所述各步行速度下对应的控制点。
该步骤中，为了消除不同步行速度下关节幅值的影响，先建立各特征点与步行速度之间的定量关系模型，再根据患者的步行速度与定量关系模型生成新的特征点，最后使用新的特征点构建出各步行速度下控制点。
具体地，本实施例中若干个特征点包括六个目标特征点及若干个最远特征点，六个目标特征点包括两个膝关节角度波谷点、两个膝关节角度波峰点、髋关节角度波谷点及髋关节角度波峰点。
参考图3，膝关节角度波谷点包括第一波谷点P1及第二波谷点P3，膝关节角度波峰点包括第一波峰点P2及第二波峰点P5，髋关节角度波谷点及髋关节角度波峰点分别为特征点P4和特征点P6。
另外本实施例中的最远特征点指代髋膝关节循环曲线在摆动前期上距离特征点P4和特征点P5连线最远的特征点C、所有步行速度下的平均循环曲线在摆动期上距离特征点P5和特征点P6之间的连线和特征点P6和特征点P1之间连线上最远的特征点D和特征点E。
另外需要说明的是，参考图3，由于本实施例中，特征点P2和特征点C随步行速度线性变化，因此本实施例中先分别建立特征点P2和特征点C与步行速度之间的定量关系，之后基于定量关系计算出特征点P2和特征点C对应的中心点。
此外对于另外7个特征点，由于他们不随步行速度进行变化，因此本实施例中直接基于各特征点的坐标计算出各特征点对应的中心点。另外需要说明的是，本实施例中在计算出另外7个特征点对应的中心点之前，先排除掉特征点中的偏差较大的点，再计算出剩余几个特征点对应的中心点，由此提高后续生成的参考髋膝关节角度循环曲线的精准性。
基于上述实施例，步骤100中的获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，具体包括：
获取健康者在不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标及右图像中的所述各标记点的右图像二维坐标；
基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标；
确定所述下肢运动学视频中的人体矢状面，并基于不同步行速度下的所述各标记点的三维坐标计算出在所述人体矢状面上的不同步行速度下的髋关节角度及膝关节角度；
基于所述不同步行速度下的髋关节角度及膝关节角度生成不同步行速度下的第一髋膝关节角度循环曲线。
具体地，本实施例中在获取二维坐标之前，先使用双目相机的参数分别对左图像及右图像进行校正，之后使用形态学方法和圆形检测算法确定校准后的图像中的标记球所形成的标记点的二维坐标。
另外需要说明的是，本实施例中，为了简化后续运动学数据，将参考坐标系的原点平移至髋关节处的标记球所处的位置，之后根据踝关节处标记球相对于髋关节处标记球的位置变化关系的曲线的峰值点作为脚尖抬起的时刻，将整个步行过程划分为不同的步态周期。
具体地，在确定出脚尖抬起时刻后，髋膝踝三个标记点可以确定出一个平面。本实施例中近似认为该平面就是该步态周期内人体的矢状面，从而能确定人体矢状面的法向量，之后再将该步态周期内，其他时刻的髋膝踝上绑定的标记球所形成的标记点的三维坐标通过此法向量映射到矢状面上。
其中，本实施例中的人体矢状面的法向量计算公式如下：
Figure 63538DEST_PATH_IMAGE006
其中，
Figure 952997DEST_PATH_IMAGE007
代表大腿上中线上的髋关节处的标记球的三维坐标的向量，
Figure 894408DEST_PATH_IMAGE008
代表 膝关节旋转轴的髋关节处的标记球的三维坐标的向量，
Figure 211120DEST_PATH_IMAGE009
代表膝关节旋转轴的髋关节处 的标记球的三维坐标的向量。
之后再分别计算出各步行速度下的标记球1与标记球2之间的向量
Figure 605192DEST_PATH_IMAGE010
、标记球 2与标记球3之间的
Figure 298342DEST_PATH_IMAGE011
和标记球3与标记球4之间的
Figure 816961DEST_PATH_IMAGE012
。
其中，相邻两个标记球的向量计算公式如下：
Figure 304575DEST_PATH_IMAGE013
参考图2，本实施例中进而根据
Figure 185943DEST_PATH_IMAGE014
计算出在人体矢状面上的髋关节角度
Figure 682783DEST_PATH_IMAGE015
、根据
Figure 333208DEST_PATH_IMAGE016
及
Figure 726143DEST_PATH_IMAGE017
计算出在人体矢状面上的膝关节角度
Figure 94807DEST_PATH_IMAGE018
、根据
Figure 129759DEST_PATH_IMAGE019
及
Figure 634690DEST_PATH_IMAGE020
计算出在人体矢状面上的踝关节角度
Figure 464106DEST_PATH_IMAGE021
。
进一步地，在一实施例中，基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：
分别对不同步行速度下的各所述左图像中的标记点进行遍历核验；
在遍历核验结果为所述左图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧左图像，并返回执行获取不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标的步骤。
具体地，在进行遍历校验过程中，先遍历左图像中任意相邻两个标记点之间的坐标，若两个标记点之间的坐标 相距小于5个像素点，则认为是其中标记点一个是伪影点，则取此两个标记点的中心点作为伪影点的正确的标记点。
在对伪影点进行遍历校验之后，通过区域分割去除掉图片上的噪声，将区域分割后的除腿部区域之外的图像中的标记点去除，并判断去除之后剩余的标记点数量是否为预设数量个，例如当腿上绑定的标记球为5个时，则判断是否为5个，若为5个，则执行基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标的步骤。
在另一实施例中，若不是5个，则认为这帧左图像中没有采集到足够的标记点，则继续从下肢运动学视频中提取出下一帧左图像，并将左图像中除中心点外的所有像素点的值设置为0，以生成新的左图像，并继续执行获取不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标的步骤。
进一步地，在一实施例中，基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：
分别对不同步行速度下的各所述右图像中的标记点进行遍历核验；
在遍历核验结果为所述右图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧右图像，并返回执行获取不同步行速度下的下肢运动学视频中的右图像中的各标记点的右图像二维坐标的步骤。
该步骤中，右图像的遍历核验过程同上述左图像的遍历校验过程一致，在此不再赘述。
需要说明的是，本实施例中，通过对左右图像进行遍历校验，使得后续生成的二维坐标更加准确，进而使得计算出的髋关节角度及膝关节角度更加准确，从而提高了协调性评估的准确性。
本发明还提供一种髋膝关节协调性评估装置，包括：
构建单元，用于获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；
匹配单元，用于获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；
第一计算单元，用于基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；
第二计算单元，用于根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
具体地，本发明中的髋膝关节协调性评估装置中的各单元的数据处理过程同以上实施例中的髋膝关节协调性评估方法中的数据处理过程一致，在此不再赘述。
本发明提出的髋膝关节协调性评估装置，通过根据健康者在不同步行速度下的第一髋膝关节角度循环曲线中的特征点生成参考髋膝关节角度循环曲线，之后基于动态时间规划算法计算出患者的第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的最短匹配路径，并将最短匹配路径进行可视化显示，由此通过可视化显示的最短匹配路径可以直观地反映出患者的髋膝关节协调性差异，此外还基于形状上下文算法计算出第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的代价矩阵，由此可以通过最短匹配路径与代价矩阵获得第二髋膝关节角度循环曲线与参考髋膝关节角度循环曲线之间的形状特征偏差，进而基于形状特征偏差的平均值进行协调性评估，由此通过形状特征偏差的平均值实现可直观地进行患者的髋膝关节协调性的定量评估的目的。
图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行髋膝关节协调性评估方法，该方法包括：获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的髋膝关节协调评估方法，该方法包括：获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的髋膝关节协调评估方法，该方法包括：获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种髋膝关节协调性评估方法，其特征在于，包括：
获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；
获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；
基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；
根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
2.根据权利要求1所述的髋膝关节协调性评估方法，其特征在于，所述基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，具体包括：
分别从各步行速度下的所述第一髋膝关节角度循环曲线中提取出若干个特征点；
分别建立各所述特征点与所述步行速度之间的定量关系模型，并基于所述定量关系模型构建出所述各步行速度下对应的控制点。
3.根据权利要求2所述的髋膝关节协调性评估方法，其特征在于，所述若干个特征点包括六个目标特征点及若干个最远特征点，所述六个目标特征点包括两个膝关节角度波谷点、两个膝关节角度波峰点、髋关节角度波谷点及髋关节角度波峰点。
4.根据权利要求1所述的髋膝关节协调性评估方法，其特征在于，所述获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，具体包括：
获取健康者在不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标及右图像中的所述各标记点的右图像二维坐标；
基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标；
确定所述下肢运动学视频中的人体矢状面，并基于不同步行速度下的所述各标记点的三维坐标计算出在所述人体矢状面上的不同步行速度下的髋关节角度及膝关节角度；
基于所述不同步行速度下的髋关节角度及膝关节角度生成不同步行速度下的第一髋膝关节角度循环曲线。
5.根据权利要求4所述的髋膝关节协调性评估方法，其特征在于，所述基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：
分别对不同步行速度下的各所述左图像中的标记点进行遍历核验；
在遍历核验结果为所述左图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧左图像，并返回执行获取不同步行速度下的下肢运动学视频中的左图像中的各标记点的左图像二维坐标的步骤。
6.根据权利要求4所述的髋膝关节协调性评估方法，其特征在于，所述基于不同步行速度下的所述左图像二维坐标及所述右图像二维坐标计算出不同步行速度下的所述各标记点的三维坐标之前，还包括：
分别对不同步行速度下的各所述右图像中的标记点进行遍历核验；
在遍历核验结果为所述右图像中的标记点数量不为预设数量的情况下，从所述下肢运动学视频中提取下一帧右图像，并返回执行获取不同步行速度下的下肢运动学视频中的右图像中的各标记点的右图像二维坐标的步骤。
7.根据权利要求1至6任一项所述的髋膝关节协调性评估方法，其特征在于，所述根据所述控制点生成参考髋膝关节角度循环曲线，具体包括：
将所述控制点的坐标数据输入B样条曲线模型中，获取所述B样条曲线模型输出的参考髋膝关节角度循环曲线。
8.一种髋膝关节协调性评估装置，其特征在于，包括：
构建单元，用于获取健康者在不同步行速度下的第一髋膝关节角度循环曲线，基于各步行速度下的所述第一髋膝关节角度循环曲线中的特征点构建出所述各步行速度下对应的控制点，并根据所述控制点生成参考髋膝关节角度循环曲线；
匹配单元，用于获取患者的第二髋膝关节角度循环曲线，基于动态时间规划算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的最短匹配路径，并将所述最短匹配路径进行可视化显示；
第一计算单元，用于基于形状上下文算法计算出所述第二髋膝关节角度循环曲线与所述参考髋膝关节角度循环曲线之间的代价矩阵；
第二计算单元，用于根据所述最短匹配路径从所述代价矩阵中提取出若干个目标采样点之间的形状特征偏差，计算出所述形状特征偏差的平均值，以根据所述形状特征偏差的平均值进行协调性评估。
9.一种髋膝关节协调性评估系统，其特征在于，包括：双目近红外相机、RGB相机、视频捕捉模块及权利要求8所述的髋膝关节协调性评估装置；
所述双目近红外相机，用于记录人体下肢运动的黑白视频；
所述RGB相机，用于可视化并记录人体下肢运动的彩色视频；
所述视频捕捉模块，用于接收所述人体下肢运动的黑白视频及所述人体下肢运动的彩色视频，以生成下肢运动学视频，并将所述下肢运动学视频发送至所述髋膝关节协调性评估装置。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述髋膝关节协调性评估方法。
CN202211037597.8A 2022-08-29 2022-08-29 髋膝关节协调性评估方法、装置、系统和存储介质 Active CN115105062B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211037597.8A CN115105062B (zh) 2022-08-29 2022-08-29 髋膝关节协调性评估方法、装置、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211037597.8A CN115105062B (zh) 2022-08-29 2022-08-29 髋膝关节协调性评估方法、装置、系统和存储介质

Publications (2)

Publication Number Publication Date
CN115105062A CN115105062A (zh) 2022-09-27
CN115105062B true CN115105062B (zh) 2022-12-06

Family

ID=83335494

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211037597.8A Active CN115105062B (zh) 2022-08-29 2022-08-29 髋膝关节协调性评估方法、装置、系统和存储介质

Country Status (1)

Country Link
CN (1) CN115105062B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116211289B (zh) * 2023-02-16 2023-08-25 北京戴来科技有限公司 上肢运动异常的在线分析方法、装置、系统和存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9571723B2 (en) * 2011-11-18 2017-02-14 National Science Foundation Automatic detection by a wearable camera
JP2016140591A (ja) * 2015-02-03 2016-08-08 国立大学法人 鹿児島大学 動作解析評価装置、動作解析評価方法、及びプログラム
JP6660110B2 (ja) * 2015-07-23 2020-03-04 原田電子工業株式会社 歩行解析方法および歩行解析システム
CN107174255B (zh) * 2017-06-15 2020-04-10 西安交通大学 基于Kinect体感技术的三维步态信息采集与分析方法
JP7473355B2 (ja) * 2019-08-29 2024-04-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 転倒リスク評価方法、転倒リスク評価装置及び転倒リスク評価プログラム

Also Published As

Publication number Publication date
CN115105062A (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
Zago et al. 3D tracking of human motion using visual skeletonization and stereoscopic vision
US11803241B2 (en) Wearable joint tracking device with muscle activity and methods thereof
D’Antonio et al. A markerless system for gait analysis based on OpenPose library
US7804998B2 (en) Markerless motion capture system
D’Antonio et al. Validation of a 3D markerless system for gait analysis based on OpenPose and two RGB webcams
CN105188522B (zh) 脉搏波传播速度的测定方法、测定系统及摄像装置
Giancardo et al. Textureless macula swelling detection with multiple retinal fundus images
Ye et al. A depth camera motion analysis framework for tele-rehabilitation: Motion capture and person-centric kinematics analysis
WO2020018469A1 (en) System and method for automatic evaluation of gait using single or multi-camera recordings
US11945125B2 (en) Auxiliary photographing device for dyskinesia analysis, and control method and apparatus for auxiliary photographing device for dyskinesia analysis
KR102043672B1 (ko) 딥러닝 기반의 병변 판독 시스템 및 방법
CN107115102A (zh) 一种骨关节功能评估方法与装置
Loureiro et al. Using a skeleton gait energy image for pathological gait classification
CN115105062B (zh) 髋膝关节协调性评估方法、装置、系统和存储介质
CN111401340A (zh) 目标对象的运动检测方法和装置
Horsak et al. Concurrent validity of smartphone-based markerless motion capturing to quantify lower-limb joint kinematics in healthy and pathological gait
Kuryło et al. Machine vision system measuring the trajectory of upper limb motion applying the matlab software
Hesse et al. Concurrent validity of a custom method for markerless 3d full-body motion tracking of children and young adults based on a single rgb-d camera
Alagha et al. Objective grading facial paralysis severity using a dynamic 3D stereo photogrammetry imaging system
CN117115922A (zh) 坐位体前屈评测方法、系统、电子设备和存储介质
TWI663960B (zh) 足畸形檢測模型、足畸形檢測系統及足畸形檢測方法
Verlekar Gait analysis in unconstrained environments
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Wei et al. Center of mass estimation for balance evaluation using convolutional neural networks
KR102472190B1 (ko) 사용자 맞춤형 풋웨어 추천 시스템 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant