CN112401834A - 一种运动阻碍型疾病诊断装置 - Google Patents

一种运动阻碍型疾病诊断装置 Download PDF

Info

Publication number
CN112401834A
CN112401834A CN202011117261.3A CN202011117261A CN112401834A CN 112401834 A CN112401834 A CN 112401834A CN 202011117261 A CN202011117261 A CN 202011117261A CN 112401834 A CN112401834 A CN 112401834A
Authority
CN
China
Prior art keywords
information
joint
gait
plantar pressure
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011117261.3A
Other languages
English (en)
Other versions
CN112401834B (zh
Inventor
安丰伟
刘展志
彭睿杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University of Science and Technology
Original Assignee
Southwest University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University of Science and Technology filed Critical Southwest University of Science and Technology
Priority to CN202011117261.3A priority Critical patent/CN112401834B/zh
Publication of CN112401834A publication Critical patent/CN112401834A/zh
Application granted granted Critical
Publication of CN112401834B publication Critical patent/CN112401834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4082—Diagnosing or monitoring movement diseases, e.g. Parkinson, Huntington or Tourette
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1036—Measuring load distribution, e.g. podologic studies
    • A61B5/1038—Measuring plantar pressure during gait
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Neurosurgery (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Developmental Disabilities (AREA)
  • Social Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)

Abstract

本发明提供一种运动阻碍型疾病诊断装置，其包括数据采集模块，用于采集测试人的深度信息和足底压力信息；数据分析模块，用于对所述深度信息和足底压力信息进行步态分析，得到测试人的步态相关特征；神经网络模块，用于根据所述步态相关特征进行深度学习，在深度学习后对测试人的深度信息和足底压力信息进行卷积、分类处理，实现测试人的运动阻碍型疾病诊断。本实施例通过将步态相关特征输入神经网络模块中，通过深度学习后使得运动阻碍型疾病检测成为可行；本实施例由于所需要的设备简单，所以成本低且有较高的便携度，适合普及，并且采取深度学习的方式进行诊断，准确度更高。

Description

一种运动阻碍型疾病诊断装置
技术领域
本发明涉及电子医疗领域，尤其涉及一种运动阻碍型疾病诊断装置。
背景技术
很多疾病都会有运动机能受阻的临床表现，而这种临床表现通常发生在患者患病早期，也为治疗最佳时期，但是这种临床表现通常难以及时被发现。以帕金森病(Parkinson's disease)举例，帕金森病是一种多发于老年人的神经系统退行性疾病，由于选择性中脑黑质多巴胺神经元的进行性变性死亡，路易小体在参与神经元内形成，纹状体多巴胺因此含量降低，从而导致患者产生震颤，肌强直，运动迟缓等外在表现，同时可能伴有神经功能阻碍或精神阻碍。帕金森症晚期难以得到有效的治疗，而帕金森症早期症状多表现为一种灵活性降低的亚临床状态而难以被察觉。其他脑神经性疾病如脑卒中、多发性硬化、脑外伤也有对应特定的病态步态。而对于周围神经病变引起的疾病，周围神经损伤，也会由于其不同的损伤神经状况产生不同的步态。如臀大肌神经损伤的患者由于其臀大肌无力，呈现特有的鹅步步态，其水平前后方向的位移大于垂直面内的位移，其行走速度与稳定性将与健康人有所差异；而臀上神经损伤或是髋关节骨性关节炎由于其髋关节内旋或外旋受限，行走时呈现鸭步步态，又称‘trendelenburg’步态。
现有神经性疾病，如帕金森病，诊断手段主要通过检测血脑脊液特定化学物质(如多巴胺，羟吲哚乙酸等)含量；分子生物学检查(采取HPLC、HVA检测)；脑CT、MRI检查；放射性核素检测等方法进行诊断，其成本较高，检测时间较长，诊断工序较为繁琐。而骨骼肌肉引发的疾病诊断主要依靠医生的接触式体外测量或者借助X射线成像，总体对医生需求量大，设备成本较高。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明的目的在于提供一种运动阻碍型疾病诊断装置，旨在解决现有运动阻碍型疾病诊断设备成本高，对医生的依赖程度较高，智能化程度较低的问题。
本发明为解决上述技术问题所采用的技术方案如下：
一种运动阻碍型疾病诊断装置，其中，包括：
数据采集模块，用于采集测试人的深度信息和足底压力信息；
数据分析模块，用于对所述深度信息和足底压力信息进行步态分析，得到测试人的步态相关特征；
神经网络模块，用于根据所述步态相关特征进行深度学习，在深度学习后对测试人的深度信息和足底压力信息进行卷积、分类处理，实现测试人的运动阻碍型疾病诊断。
所述的运动阻碍型疾病诊断装置，其中，所述数据采集模块包括：
深度传感相机，用于获取测试人在运动过程中的关节点空间信息；
足底压力传感器，用于获取测试人在运动过程中的足底压力分布信息；
显示屏，用于显示测试人在运动过程中的实时图像信息。
所述的运动阻碍型疾病诊断装置，其中，所述足底压力传感器为可穿戴式压力传感装置或道路型压力传感器。
所述的运动阻碍型疾病诊断装置，其中，所述关节点空间信息包括髋关节坐标信息、膝关节坐标信息、踝关节坐标信息、脊椎坐标信息。
所述的运动阻碍型疾病诊断装置，其中，所述数据分析模块包括：
人体检测单元，用于对测试人的深度信息进行ROI区域提取并删除两侧无关区域，再通过边缘梯度检测以及深度学习方法检测出测试人的人体轮廓；
特征提取单元，用于对人体轮廓内的深度信息以及足底压力信息进行乘加计算，获得人体轮廓内的步态相关特征。
所述的运动阻碍型疾病诊断装置，其中，所述特征提取单元包括：
腿长特征提取子单元，用于根据每一帧得到的髋关节坐标信息，膝关节坐标信息和踝关节坐标信息，由空间距离公式：
Figure BDA0002730740160000031
计算得出每一帧髋关节到膝关节的距离，以及膝关节到踝关节的距离，将所述髋关节到膝关节的距离，以及膝关节到踝关节的距离进行求和，可得到腿长，其中，n表示空间坐标的维度，X，Y分别表示两个关节点，xi，yi分别表示两个关节点对应的第i个维度的坐标；
步幅特征提取子单元，用于取两足压力相等的帧作为前一步结束帧和后一步开始帧，通过计算两帧之间脊椎坐标信息的位移距离得到步幅；
步频特征提取子单元，用于取两足压力相等的帧作为前一步结束帧和后一步开始帧，得到每一步得到的帧数，通过帧数除帧率得到步频；
关节角度提取子单元，用于选择预定关节以及与其相邻的两个关节的坐标信息，计算出两两关节之间的距离，在这三个关节构成的空间三角形使用余弦定理公式：
Figure BDA0002730740160000041
计算得出关节角度，其中，a、b、c分别表示三角形的三条边的长度，cosC表示以a与b为两条边的角的余弦值；
运动轨迹获取子单元，用于获取测试人的运动重心位置并记录测试人在行进过程中的移动曲线。
所述的运动阻碍型疾病诊断装置，其中，所述深度信息包括步态深度图像，所述足底压力信息包括足底压力力学分布的色彩图像，所述神经网络模块包括：
卷积层，用于对所述步态深度图像以及足底压力力学分布的色彩图像进行卷积处理，得到步态相关特征；
隐藏层，用于根据所述步态相关特征进行疾病分类，每类疾病包括一种或多种步态相关特征；
输出层，用于输出疾病分类结果。
所述的运动阻碍型疾病诊断装置，其中，所述神经网络模块为长短时间记忆网络。
有益效果：本发明提供了一种运动阻碍型疾病诊断装置，通过将步态相关特征输入神经网络模块中，通过深度学习后使得运动阻碍型疾病检测成为可行。本发明根据病态步态提取出特定的可以体现出这种步态与正常步态的区别的特征，并将这些特征输入算力足够的神经网络模块中，由于动态行进信息量大，配合深度学习，使得在早期诊断对运动产生障碍的疾病变得更加轻松，也可以减轻医生的负担。本发明由于所需要的设备简单，所以成本低且有较高的便携度，适合普及，并且采取深度学习的方式进行诊断，准确度更高。
附图说明
图1为本发明一种运动阻碍型疾病诊断装置较佳实施例的结构框图。
图2为关节点显示效果图。
图3为足底压力分布信息显示效果图。
具体实施方式
本发明提供一种运动阻碍型疾病诊断装置，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
下面结合附图，通过对实施例的描述，对发明内容作进一步说明。
不同疾病存在不同的特殊步态，这些特殊步态与正常步态有所不同，同时互相之间又有所区别。例如帕金森病的亚临床特征在行进过程中，由于神经损伤，帕金森患者在早期步幅相较于同等身材比例的人相对较小，行进速率与正常人有所差异，同时可能伴有重心前倾，步伐抖动，不自然摆臂，转弯困难等症状。而臀大肌神经损伤的患者会呈现特殊的鹅步或鸭步，其他阻碍运动型疾病也会由于其病理对患者步态产生影响，从而区别于正常步态。由此可见，阻碍运动的疾病患者与健康样本在步态上呈现差别。因此，通过采集大量的行进步态信息，再通过深度学习从庞大的行进步态信息中提取特征，并学习病态步态与正常步态的差别从而作为疾病的诊断方式具有相当的可行性。
基于此，本发明提供了一种运动阻碍型疾病诊断装置，如图1所示，其包括：
数据采集模块10，用于采集测试人的深度信息和足底压力信息；
数据分析模块20，用于对所述深度信息和足底压力信息进行步态分析，得到测试人的步态相关特征；
神经网络模块30，用于根据所述步态相关特征进行深度学习，在深度学习后对测试人的深度信息和足底压力信息进行卷积、分类处理，实现测试人的运动阻碍型疾病诊断。
本实施例首先通过数据采集模块10采集测试人的深度信息和足底压力信息并保存作为原始数据，然后通过数据分析模块20对所述深度信息和足底压力信息进行步态分析，得到测试人的步态相关特征；最后将所述步态相关特征输入所述神经网络模块30进行深度学习，在完成深度学习之后，所述神经网络模块30对测试人的深度信息和足底压力信息进行卷积、分类处理，实现测试人的运动阻碍型疾病诊断。本实施例通过将步态相关特征输入神经网络模块中，通过深度学习后使得运动阻碍型疾病检测成为可行。本实施例根据病态步态提取出特定的可以体现出这种步态与正常步态的区别的特征，并将这些特征输入算力足够的神经网络模块中，由于动态行进信息量大，配合深度学习，使得在早期诊断对运动产生障碍的疾病变得更加轻松，也可以减轻医生的负担。本实施例由于所需要的设备简单，所以成本低且有较高的便携度，适合普及，并且采取深度学习的方式进行诊断，准确度更高。
在一些实施方式中，所述数据采集模块包括深度传感相机，所述深度传感相机用于获取测试人在运动过程中的关节点空间信息。具体来讲，通过所述深度传感相机提取测试人的深度信息，然后通过梯度提取，提取出测试人的人体轮廓以及人体轮廓的深度信息；通过所述人体轮廓的深度信息计算出人体的关节点空间信息，并将所述关节点空间信息以空间X,Y,Z坐标点的形式储存。
进一步地，将人体的关节点在相机对应像素点进行显示，并且连接相邻像素点绘制成如图2所示的骨骼效果图，再将二维相机图像与所提取的骨骼效果图放在同一张照片中进行显示，并且以色彩深浅区分距离相机的远近，通过观察显示的人像与关节点是否错位来判断数据采集是否正常进行。
在一些实施方式中，所述数据采集模块还包括足底压力传感器，所述足底压力传感器用于获取测试人在运动过程中的足底压力分布信息。具体来讲，所述足底压力传感器可以为可穿戴式压力传感装置或者道路型压力传感器，所述足底压力传感器可用于采集测试人足底压力信息；将测试人的足底分成若干个感兴趣区域(例如，脚趾、脚掌、脚后跟等)，通过所述足底压力传感器计算每个感兴趣区域的平均压力值并记录。如图3所示，通过颜色深浅区分压力大小，实时将足底压力分布情况反馈在显示屏上，测试人可以通过对比自己的形成过程与显示的色谱图像确认数据采集是否顺利。
在一些实施方式中，所述数据采集模块还包括显示屏，所述显示屏用于显示测试人在运动过程中的实时图像信息，可实现信息采集过程中的监督。所述深度传感相机、足底压力传感器以及所述显示屏共同组成所述数据采集模块。
在一些实施方式中，所述关节点空间信息包括髋关节坐标信息、膝关节坐标信息、踝关节坐标信息、脊椎坐标信息，但不限于此。
在一些实施方式中，所述数据分析模块包括：人体检测单元，其用于对测试人的深度信息进行ROI(感兴趣)区域提取并删除两侧无关区域，再通过边缘梯度检测以及深度学习方法检测出测试人的人体轮廓；特征提取单元，其用于对人体轮廓内的深度信息以及足底压力信息进行乘加计算，获得人体轮廓内的步态相关特征，所述步态相关特征包括腿长、步幅、步频、关节角度、运动轨迹等，但不限于此。
在一些具体的实施方式中，所述特征提取单元包括腿长特征提取子单元，其用于根据每一帧得到的髋关节坐标信息，膝关节坐标信息和踝关节坐标信息，由空间距离公式：
Figure BDA0002730740160000091
计算得出每一帧髋关节到膝关节的距离，以及膝关节到踝关节的距离，将所述髋关节到膝关节的距离，以及膝关节到踝关节的距离进行求和，可得到腿长，其中，n表示空间坐标的维度，如(x,y)坐标系维度为2，(x,y,z)坐标系维度为3；用Kinect传感器获取的关节点坐标信息的维度是n＝3；X，Y分别表示两个关节点，xi，yi分别表示两个关节点对应的第i个维度的坐标。
在一些具体的实施方式中，所述特征提取单元还包括步幅特征提取子单元，其用于取两足压力相等的帧作为前一步结束帧和后一步开始帧，通过计算两帧之间脊椎坐标信息的位移距离得到步幅。在另一些实施方式中，在走步机上可通过记录一步所占帧数以及走步机运行速度计算出步幅大小。
在一些具体的实施方式中，所述特征提取单元还包括步频特征提取子单元，其用于取两足压力相等的帧作为前一步结束帧和后一步开始帧，得到每一步得到的帧数，通过帧数除帧率得到步频。
在一些具体的实施方式中，所述特征提取单元还包括关节角度提取子单元，其用于选择预定关节以及与其相邻的两个关节的坐标信息，计算出两两关节之间的距离，在这三个关节构成的空间三角形使用余弦定理公式：
Figure BDA0002730740160000101
计算得出关节角度，其中，a、b、c分别表示三角形的三条边的长度，cosC表示以a与b为两条边的角的余弦值。
在一些具体的实施方式中，所述特征提取单元还包括运动轨迹获取子单元，其用于获取测试人的运动重心位置并记录测试人在行进过程中的移动曲线。
本实施例通过深度传感相机以及足底压力传感器可得到测试人在行进过程中的各项数据，经过简单的计算提取特征之后，基于所述步态相关特征可与正常步态进行区分，将所述步态相关特征输入到神经网络模块中可进行运动阻碍型疾病分类。
在一些实施方式中，所述神经网络模块为长短时间记忆网络(LSTM)，所述LSTM优化了一般循环神经网络(RNN)的长期依赖问题，可以较好处理有序信息，较适用于对于行进动态有序信息的处理分类。
在一些具体的实施方式中，可对所述LSTM架构进行适当修饰以适应其疾病诊断功能，具体地，可在原有LSTM架构前加入相应的人体检测单元，在所述人体检测单元输入测试人的深度信息后，所述人体检测单元可对深度信息进行ROI(感兴趣)区域提取并删除两侧无关区域，再通过边缘梯度检测以及深度学习方法检测出测试人的人体轮廓，在对所述人体轮廓内的深度信息进行处理，的得到人体轮廓内的深度信息以及足底压力信息。
进一步地，还可在原有LSTM架构基础上加入特征提取单元，将人体轮廓内的深度信息以及足底压力信息输入所述特征提取单元内，所述特征提取单元可对人体轮廓内的深度信息以及足底压力信息进行乘加计算，获得人体轮廓内的步态相关特征，所述步态相关特征包括腿长、步幅、步频、关节角度、运动轨迹等，但不限于此。
在一些实施方式中，所述深度信息包括步态深度图像，所述足底压力信息包括足底压力力学分布的色彩图像，所述神经网络模块包括：卷积层，其用于对所述步态深度图像以及足底压力力学分布的色彩图像进行卷积处理，得到步态相关特征；根据不同疾病设定类别，每种疾病类别包含一种或多种步态相关特征，所述同一种步态相关特征可以重复被包含于不同疾病类别。如步频、步幅、腿长特征可以较好地对帕金森进行区别，所以帕金森这一疾病类别包含步幅、步频、腿长；而臀大肌神经受损可以通过靠近臀部的关节在行进中的轨迹描述，所以臀大肌神经受损这一类包含左右髋关节运动角度，腰椎运动角度等，对于常用疾病都有特定分类，
在一些实施方式中，所述神经给网路模块还包括隐藏层，其用于根据所述步态相关特征进行疾病分类，每类疾病包括一种或多种步态相关特征。具体来讲，将所述卷积层得到的所述步态相关特征输入到所述隐藏层，所述隐藏层采用LSTM的架构，保证输出不仅与当前时刻输入有关，使得之前的重要的信息也决定了当前时刻的输出，每个分类都对应一个专属的LSTM神经网络作为诊断网络主体，分别进行迭代训练和预测，将该分类特定特征输入对应的深度学习网络，实现诊断，并优化网络架构，调整网络参数使得网络更加适合训练集，在损失函数收敛时结束训练，通过更改迭代次数，网络架构从而达到较高的分类的准确性。
在一些实施方式中，所述神经网络模块还包括输出层，其用于输出疾病分类结果。
具体来讲，本实施例对LSTM架构进行适当修饰以适应疾病诊断功能，具体操作如下：首先，在原有LSTM网络前加入相应的人体检测单元，输入测试人员深度信息后进行ROI区域提取删除两侧无关区域，再通过边缘梯度检测以及深度学习方法检测出测试人的人体轮廓，再对轮廓内深度信息进行处理；接着，在LSTM原有架构基础上加入特征提取单元，将提取出的人体轮廓内的深度信息以及足底压力信息等信息输入特征提取层，在层内通过乘加计算进行特征提取。最后，采用深度学习网络架构实现诊断，所述深度学习网络架构可大体分为三部分：卷积层、隐藏层、输出层。具体地，通过嵌入式的方法将硬件所获取的步态深度图像以及足底压力力学分布的色彩图像输入神经网络的卷积层，通过卷积的方式对输入的图像信息进行处理，通过不断卷积得到特征，根据不同疾病设定类别，每类可包含一种或多种特征，并且特征可重复被包含于不同类别。在一些具体的实施例中，步频、步幅、腿长等特征可以较好地对帕金森进行区别，所以帕金森一类疾病的特征包含步频、步幅、腿长；而臀大肌神经受损可以被靠近臀部的关节在行进中的轨迹描述，所以臀大肌神经受损一类疾病的特征包含左右髋关节运动角度、腰椎角度等。接下来，将上述特征输入隐藏层，所述隐藏层采用LSTM的架构，将当前时刻的输入与之前的重要的信息结合决定当前时刻的输出。每一个分类都对应一个专属的LSTM神经网络作为诊断网络主体，分别进行迭代训练和预测，将该分类的特定特征输入对应的深度学习网络，实现诊断。较佳地，优化网络架构，调整网络参数使网络跟适合训练集，在损失函数收敛时结束训练，通过更改迭代次数和网络架构，实现较高的分类准确性。最后，由输出层输出诊断结果。优选地，调整输出，保证控制一类风险，能够实现筛选的基本功能，可降低医生的负担。同时，输入的数据信息传入云端数据集，构建完备的数据集，作为后续研究的样本数据。
综上所述，本发明首先通过数据采集模块采集测试人的深度信息和足底压力信息并保存作为原始数据，然后通过数据分析模块对所述深度信息和足底压力信息进行步态分析，得到测试人的步态相关特征；最后将所述步态相关特征输入所述神经网络模块进行深度学习，在完成深度学习之后，所述神经网络模块对测试人的深度信息和足底压力信息进行卷积、分类处理，实现测试人的运动阻碍型疾病诊断。本实施例通过将步态相关特征输入神经网络模块中，通过深度学习后使得运动阻碍型疾病检测成为可行。本实施例根据病态步态提取出特定的可以体现出这种步态与正常步态的区别的特征，并将这些特征输入算力足够的神经网络模块中，由于动态行进信息量大，配合深度学习，使得在早期诊断对运动产生障碍的疾病变得更加轻松，也可以减轻医生的负担。本实施例由于所需要的设备简单，所以成本低且有较高的便携度，适合普及，并且采取深度学习的方式进行诊断，准确度更高。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种运动阻碍型疾病诊断装置，其特征在于，包括：
数据采集模块，用于采集测试人的深度信息和足底压力信息；
数据分析模块，用于对所述深度信息和足底压力信息进行步态分析，得到测试人的步态相关特征；
神经网络模块，用于根据所述步态相关特征进行深度学习，在深度学习后对测试人的深度信息和足底压力信息进行卷积、分类处理，实现测试人的运动阻碍型疾病诊断。
2.根据权利要求1所述的运动阻碍型疾病诊断装置，其特征在于，所述数据采集模块包括：
深度传感相机，用于获取测试人在运动过程中的关节点空间信息；
足底压力传感器，用于获取测试人在运动过程中的足底压力分布信息；
显示屏，用于显示测试人在运动过程中的实时图像信息。
3.根据权利要求2所述的运动阻碍型疾病诊断装置，其特征在于，所述足底压力传感器为可穿戴式压力传感装置或道路型压力传感器。
4.根据权利要求2所述的运动阻碍型疾病诊断装置，其特征在于，所述关节点空间信息包括髋关节坐标信息、膝关节坐标信息、踝关节坐标信息、脊椎坐标信息。
5.根据权利要求1所述的运动阻碍型疾病诊断装置，其特征在于，所述数据分析模块包括：
人体检测单元，用于对测试人的深度信息进行ROI区域提取并删除两侧无关区域，再通过边缘梯度检测以及深度学习方法检测出测试人的人体轮廓；
特征提取单元，用于对人体轮廓内的深度信息以及足底压力信息进行乘加计算，获得人体轮廓内的步态相关特征。
6.根据权利要求5所述的运动阻碍型疾病诊断装置，其特征在于，所述特征提取单元包括：
腿长特征提取子单元，用于根据每一帧得到的髋关节坐标信息，膝关节坐标信息和踝关节坐标信息，由空间距离公式：
Figure FDA0002730740150000021
计算得出每一帧髋关节到膝关节的距离，以及膝关节到踝关节的距离，将所述髋关节到膝关节的距离，以及膝关节到踝关节的距离进行求和，可得到腿长，其中，n表示空间坐标的维度，X，Y分别表示两个关节点，xi，yi分别表示两个关节点对应的第i个维度的坐标；
步幅特征提取子单元，用于取两足压力相等的帧作为前一步结束帧和后一步开始帧，通过计算两帧之间脊椎坐标信息的位移距离得到步幅；
步频特征提取子单元，用于取两足压力相等的帧作为前一步结束帧和后一步开始帧，得到每一步得到的帧数，通过帧数除帧率得到步频；
关节角度提取子单元，用于选择预定关节以及与其相邻的两个关节的坐标信息，计算出两两关节之间的距离，在这三个关节构成的空间三角形使用余弦定理公式：
Figure FDA0002730740150000031
计算得出关节角度，其中，a、b、c分别表示三角形的三条边的长度，cosC表示以a与b为两条边的角的余弦值；
运动轨迹获取子单元，用于获取测试人的运动重心位置并记录测试人在行进过程中的移动曲线。
7.根据权利要求1所述的运动阻碍型疾病诊断装置，其特征在于，所述深度信息包括步态深度图像，所述足底压力信息包括足底压力力学分布的色彩图像，所述神经网络模块包括：
卷积层，用于对所述步态深度图像以及足底压力力学分布的色彩图像进行卷积处理，得到步态相关特征；
隐藏层，用于根据所述步态相关特征进行疾病分类，每类疾病包括一种或多种步态相关特征；
输出层，用于输出疾病分类结果。
8.根据权利要求1所述的运动阻碍型疾病诊断装置，其特征在于，所述神经网络模块为长短时间记忆网络。
CN202011117261.3A 2020-10-19 2020-10-19 一种运动阻碍型疾病诊断装置 Active CN112401834B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011117261.3A CN112401834B (zh) 2020-10-19 2020-10-19 一种运动阻碍型疾病诊断装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011117261.3A CN112401834B (zh) 2020-10-19 2020-10-19 一种运动阻碍型疾病诊断装置

Publications (2)

Publication Number Publication Date
CN112401834A true CN112401834A (zh) 2021-02-26
CN112401834B CN112401834B (zh) 2023-04-07

Family

ID=74840100

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011117261.3A Active CN112401834B (zh) 2020-10-19 2020-10-19 一种运动阻碍型疾病诊断装置

Country Status (1)

Country Link
CN (1) CN112401834B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113317780A (zh) * 2021-06-07 2021-08-31 南开大学 一种基于长短时记忆神经网络的异常步态检测方法
CN113768471A (zh) * 2021-10-13 2021-12-10 山东大学 一种基于步态分析的帕金森疾病辅助诊断系统
CN116473514A (zh) * 2023-03-29 2023-07-25 西安电子科技大学广州研究院 基于足底压力的自适应有向时空图神经网络的帕金森疾病检测

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201929959U (zh) * 2011-01-24 2011-08-17 中国人民解放军第三军医大学第一附属医院 步态分析仪
CN108209924A (zh) * 2018-01-16 2018-06-29 北京大学第三医院 一种前交叉韧带断裂后步态特征的分析方法
CN108305683A (zh) * 2018-02-09 2018-07-20 马立敏 一种膝关节疾病预测装置及系统
US20190110754A1 (en) * 2017-10-17 2019-04-18 Satish Rao Machine learning based system for identifying and monitoring neurological disorders
CN109717833A (zh) * 2018-11-26 2019-05-07 中国科学院软件研究所 一种基于人体运动姿态的神经疾病辅助诊断系统
WO2019088333A1 (ko) * 2017-11-03 2019-05-09 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN109740148A (zh) * 2018-12-16 2019-05-10 北京工业大学 一种BiLSTM结合Attention机制的文本情感分析方法
CN110046675A (zh) * 2019-04-25 2019-07-23 河北工业大学 一种基于改进的卷积神经网络的下肢运动能力评估方法
CN110532926A (zh) * 2019-10-09 2019-12-03 江苏农林职业技术学院 基于深度学习的猪神经性疾病智能测报方法
WO2019240354A1 (ko) * 2018-06-11 2019-12-19 정재훈 족저 압력과 신체의 움직임 정보를 이용한 신체 부정렬 증후군 진단 장치 및 방법
CN111326232A (zh) * 2020-03-18 2020-06-23 福建中医药大学 一种基于三维步态分析系统鉴别异常步态形式的方法
CN111382679A (zh) * 2020-02-25 2020-07-07 上海交通大学 帕金森病步态运动障碍严重程度的评估方法、系统及设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201929959U (zh) * 2011-01-24 2011-08-17 中国人民解放军第三军医大学第一附属医院 步态分析仪
US20190110754A1 (en) * 2017-10-17 2019-04-18 Satish Rao Machine learning based system for identifying and monitoring neurological disorders
WO2019088333A1 (ko) * 2017-11-03 2019-05-09 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치
CN108209924A (zh) * 2018-01-16 2018-06-29 北京大学第三医院 一种前交叉韧带断裂后步态特征的分析方法
CN108305683A (zh) * 2018-02-09 2018-07-20 马立敏 一种膝关节疾病预测装置及系统
WO2019240354A1 (ko) * 2018-06-11 2019-12-19 정재훈 족저 압력과 신체의 움직임 정보를 이용한 신체 부정렬 증후군 진단 장치 및 방법
CN109717833A (zh) * 2018-11-26 2019-05-07 中国科学院软件研究所 一种基于人体运动姿态的神经疾病辅助诊断系统
CN109740148A (zh) * 2018-12-16 2019-05-10 北京工业大学 一种BiLSTM结合Attention机制的文本情感分析方法
CN110046675A (zh) * 2019-04-25 2019-07-23 河北工业大学 一种基于改进的卷积神经网络的下肢运动能力评估方法
CN110532926A (zh) * 2019-10-09 2019-12-03 江苏农林职业技术学院 基于深度学习的猪神经性疾病智能测报方法
CN111382679A (zh) * 2020-02-25 2020-07-07 上海交通大学 帕金森病步态运动障碍严重程度的评估方法、系统及设备
CN111326232A (zh) * 2020-03-18 2020-06-23 福建中医药大学 一种基于三维步态分析系统鉴别异常步态形式的方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113317780A (zh) * 2021-06-07 2021-08-31 南开大学 一种基于长短时记忆神经网络的异常步态检测方法
CN113768471A (zh) * 2021-10-13 2021-12-10 山东大学 一种基于步态分析的帕金森疾病辅助诊断系统
CN113768471B (zh) * 2021-10-13 2023-09-22 山东大学 一种基于步态分析的帕金森疾病辅助诊断系统
CN116473514A (zh) * 2023-03-29 2023-07-25 西安电子科技大学广州研究院 基于足底压力的自适应有向时空图神经网络的帕金森疾病检测
CN116473514B (zh) * 2023-03-29 2024-02-23 西安电子科技大学广州研究院 基于足底压力的自适应有向时空图神经网络的帕金森疾病检测方法

Also Published As

Publication number Publication date
CN112401834B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN112401834B (zh) 一种运动阻碍型疾病诊断装置
Wade et al. Applications and limitations of current markerless motion capture methods for clinical gait biomechanics
Buongiorno et al. A low-cost vision system based on the analysis of motor features for recognition and severity rating of Parkinson’s Disease
EP1579354B1 (fr) Procede de simulation biomecanique d'un ensemble d' articulations osseuses
Filipe et al. Effect of skin movement on the analysis of hindlimb kinematics during treadmill locomotion in rats
Hanley et al. Differences between motion capture and video analysis systems in calculating knee angles in elite-standard race walking
CN109717833A (zh) 一种基于人体运动姿态的神经疾病辅助诊断系统
Macpherson et al. Real-time measurement of pelvis and trunk kinematics during treadmill locomotion using a low-cost depth-sensing camera: A concurrent validity study
CN107115102A (zh) 一种骨关节功能评估方法与装置
CN110772255A (zh) 基于姿态与位置传感器的人体脊柱侧弯角度的测量方法
Orlowski et al. Examination of the reliability of an inertial sensor-based gait analysis system
CN115376694B (zh) 一种肢体功能障碍的多模态自适应评估系统及方法
Auvinet et al. Lower limb movement asymmetry measurement with a depth camera
Seifallahi et al. Alzheimer’s disease detection using comprehensive analysis of Timed Up and Go test via Kinect V. 2 camera and machine learning
Lee et al. Video analysis of human gait and posture to determine neurological disorders
KR100349338B1 (ko) 인체의 3차원 운동을 촬영하여 정형외과적 질환을 진단하는 진단시스템
JP2003250780A (ja) 足動解析システム
Soda et al. A low-cost video-based tool for clinical gait analysis
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Majernik et al. Evaluation of posture stability in patients with vestibular diseases
CN114743664A (zh) 基于步态分析和确定学习的脊髓型颈椎病辅助诊断系统
Lin et al. Quantitative measurement of Parkinsonian gait from walking in monocular image sequences using a centroid tracking algorithm
Boldo et al. On the reliability of single-camera markerless systems for overground gait monitoring
US20240130636A1 (en) Apparatus and method for motion capture
Galindo-Martínez et al. Alternative Models for Pelvic Marker Occlusion in Cycling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
EE01 Entry into force of recordation of patent licensing contract
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20210226

Assignee: Shenzhen Nanke Huihui Intelligent Medical Technology Co.,Ltd.

Assignor: SOUTH University OF SCIENCE AND TECHNOLOGY OF CHINA

Contract record no.: X2021980011632

Denomination of invention: A diagnostic device for movement obstruction disease

License type: Exclusive License

Record date: 20211102

GR01 Patent grant
GR01 Patent grant