CN107485844A - 一种肢体康复训练方法、系统及嵌入式设备 - Google Patents
一种肢体康复训练方法、系统及嵌入式设备 Download PDFInfo
- Publication number
- CN107485844A CN107485844A CN201710891895.6A CN201710891895A CN107485844A CN 107485844 A CN107485844 A CN 107485844A CN 201710891895 A CN201710891895 A CN 201710891895A CN 107485844 A CN107485844 A CN 107485844A
- Authority
- CN
- China
- Prior art keywords
- limb
- rehabilitation training
- patient
- action
- limb rehabilitation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 145
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000009471 action Effects 0.000 claims abstract description 115
- 238000013528 artificial neural network Methods 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 14
- 238000011156 evaluation Methods 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000006399 behavior Effects 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract 1
- 210000003414 extremity Anatomy 0.000 description 111
- 230000000694 effects Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007935 neutral effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 240000008790 Musa x paradisiaca Species 0.000 description 1
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H1/00—Apparatus for passive exercising; Vibrating apparatus; Chiropractic devices, e.g. body impacting devices, external devices for briefly extending or aligning unbroken bones
- A61H1/02—Stretching or bending or torsioning apparatus for exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61H—PHYSICAL THERAPY APPARATUS, e.g. DEVICES FOR LOCATING OR STIMULATING REFLEX POINTS IN THE BODY; ARTIFICIAL RESPIRATION; MASSAGE; BATHING DEVICES FOR SPECIAL THERAPEUTIC OR HYGIENIC PURPOSES OR SPECIFIC PARTS OF THE BODY
- A61H2230/00—Measuring physical parameters of the user
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2230/00—Measuring physiological parameters of the user
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physical Education & Sports Medicine (AREA)
- Physiology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Psychiatry (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Radiology & Medical Imaging (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Dentistry (AREA)
- Human Computer Interaction (AREA)
- Pain & Pain Management (AREA)
- Rehabilitation Therapy (AREA)
- Rehabilitation Tools (AREA)
Abstract
本发明公开了一种肢体康复训练方法，应用于集成了肢体康复训练系统的嵌入式设备，包括：根据人体标准运动数据预先训练好深度神经网络；患者进行肢体康复训练时，接收视频采集模块实时采集的患者进行肢体康复训练的肢体动作视频；根据肢体动作视频提取时空特征，将时空特征输入预先训练好的深度神经网络，得出患者进行肢体康复训练的肢体动作的识别结果；根据识别结果和康复训练方案评估及纠正患者的肢体动作。本发明在识别患者的肢体动作时识别精度较高。本发明将肢体康复训练系统集成在嵌入式设备上，降低了设备成本和操作难度，提高了便携性。本发明还公开了一种肢体康复训练系统和嵌入式设备，具有如上述方法相同的有益效果。
Description
技术领域
本发明涉及肢体训练领域，特别是涉及一种肢体康复训练方法。本发明还涉及一种肢体康复训练系统和嵌入式设备。
背景技术
目前的肢体功能训练的康复治疗，主要是在医院通过一些训练器械的辅助或者以治疗师的手法操作来促进肢体运动能力的恢复的治疗。但是在我国，由于患者分布广、康复机构少，很多患者都无法进行模块的、机构式的康复训练。为了解决这个问题，人们开始利用人机交互的方式来进行肢体康复训练，通过传感器和集成了肢体康复训练系统的计算机来引导患者完成康复训练，并对不合理的训练动作进行纠正。
具体地，传感器采集患者的肢体动作信息，实时记录并通过数据线传送给计算机，计算机中的肢体康复训练系统识别患者的肢体动作，并进行评估及纠正。现有的肢体康复训练系统在识别患者的肢体动作时，采用的是基于模板匹配的算法，通过录入的标准动作模板与患者的动作进行匹配得出识别结果。由于录入标准动作模板的人与患者可能存在身高、体型和动作速度的差别，这些差别会对识别精度产生较大的影响，造成识别精度低，用户体验差。此外，在现有的技术方案中，由于康复训练系统是安装在计算机上，设备的成本较高，而且对患者的计算机操作水平要求较高。
因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。
发明内容
本发明的目的是提供一种肢体康复训练方法，动作识别精读较高；本发明的另一目的是提供一种肢体康复训练系统和嵌入式设备，患者的使用感较好。
为解决上述技术问题，本发明提供了一种肢体康复训练方法，应用于集成了肢体康复训练系统的嵌入式设备，包括：
根据人体标准运动数据预先训练好深度神经网络；
患者进行肢体康复训练时，接收视频采集模块实时采集的所述患者进行所述肢体康复训练的肢体动作视频；
根据所述肢体动作视频提取时空特征，将所述时空特征输入预先训练好的所述深度神经网络，得出所述患者进行所述肢体康复训练的肢体动作的识别结果；
根据所述识别结果和康复训练方案评估及纠正所述患者的肢体动作。
优选地，所述根据所述肢体动作视频提取时空特征的过程具体为：
将所述肢体动作视频的序列转换成含有空间信息的动作序列；
将所述动作序列按时间顺序进行排列，并生成矩阵；
其中，所述矩阵的列为所述动作序列的空间信息，所述矩阵的行为所述关节点的时间信息；
将所述矩阵转换成图像形式得到时空特征。
优选地，所述将所述肢体动作视频的序列转换成含有空间信息的动作序列的过程具体为：
根据所述肢体动作视频的序列提取所述患者的关节点信息；
将所述关节点信息映射在三维坐标系上，得到所述关节点的三维坐标信息；
根据所述关节点的三维坐标信息得出含有空间信息的动作序列。
优选地，所述根据所述识别结果和康复训练方案评估及纠正所述患者的肢体动作之后，该方法还包括：
生成所述患者进行所述肢体康复训练的信息，并将所述信息保存至云端数据库，其中，所述信息包括训练时间、训练次数、评估结果和纠正结果。
优选地，所述接收视频采集模块实时采集的所述患者进行所述肢体康复训练的肢体动作视频之前，该方法还包括：
生成并显示虚拟情景中人物的标准动作，以便所述患者按照所述标准动作来做动作。
优选地，该方法还包括：
接收医生发送的信息，并将所述信息发送至用户端；
接收所述用户端发送的消息并显示。
优选地，所述深度神经网络为深度卷积神经网络。
优选地，所述嵌入式设备为树莓派。
为了解决上述技术问题，本发明还提供了一种肢体康复训练系统，包括：
训练模块，用于根据人体标准运动数据预先训练好深度神经网络；
接收模块，用于患者进行肢体康复训练时，接收视频采集模块实时采集的所述患者进行所述肢体康复训练的肢体动作视频；
识别模块，用于根据所述肢体动作视频提取时空特征，将所述时空特征输入预先训练好的所述深度神经网络，得出所述患者进行所述肢体康复训练的肢体动作的识别结果；
反馈模块，用于根据所述识别结果和康复训练方案评估及纠正所述患者的肢体动作。
为了解决上述技术问题，本发明还提供了一种嵌入式设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任一项所述肢体康复训练方法的步骤。
本发明提供了一种肢体康复训练方法，应用于集成了肢体康复训练系统的嵌入式设备，包括：根据人体标准运动数据预先训练好深度神经网络；患者进行肢体康复训练时，接收视频采集模块实时采集的患者进行肢体康复训练的肢体动作视频；根据肢体动作视频提取时空特征，将时空特征输入预先训练好的深度神经网络，得出患者进行肢体康复训练的肢体动作的识别结果；根据识别结果和康复训练方案评估及纠正患者的肢体动作。
可见，本发明在识别患者的肢体动作时，不需要通过录入的标准动作模板与患者的动作进行匹配，而是通过预先训练好的深度神经网络直接得出识别结果，不仅避免了录入标准动作模板的人与患者的身体差别对识别结果产生影响，而且预先训练好的深度神经网络进行肢体动作识别时采用的是深度学习算法，动作识别精度较高。此外，本发明将肢体康复训练系统集成在了嵌入式设备上，不仅降低了设备成本和操作难度，还提高了便携性。
本发明还提供了一种肢体康复训练系统和嵌入式设备，具有如上述方法相同的有益效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种肢体康复训练方法的流程图；
图2为本发明提供的一种人体关节点的三维映射的示意图；
图3为本发明提供的一种深度卷积神经网络的结构示意图；
图4为本发明提供的一种肢体康复训练系统的结构示意图。
具体实施方式
本发明的核心是提供一种肢体康复训练方法，动作识别精读较高；本发明的另一核心是提供一种肢体康复训练系统和嵌入式设备，患者的使用感较好。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参照图1，图1为本发明提供的一种肢体康复训练方法的流程图，应用于集成了肢体康复训练系统的嵌入式设备，包括：
步骤S11：根据人体标准运动数据预先训练好深度神经网络；
具体地，患者在进行肢体康复训练的过程中需要能够了解自身的康复情况，也即需要确定自己所做的训练动作与标准动作的差别。基于此，当患者利用人机交互的方式来进行肢体康复训练时，人机交互设备需要识别出患者做的康复训练动作的类别，比如转动腕关节、屈伸肘关节等，再根据识别出的结果判断是否是标准动作或者能否达到医生的要求。本发明采用深度神经网络来识别患者的肢体动作，通过海量的人体标准运动数据对深度神经网络预先进行训练，然后采用预先训练好的神经网络对患者进行康复训练时做出的动作进行识别，准确率较高。
步骤S12：患者进行肢体康复训练时，接收视频采集模块实时采集的患者进行肢体康复训练的肢体动作视频；
具体地，本发明的肢体康复训练方法应用于集成了肢体康复训练系统的嵌入式设备，则需要视频采集模块为嵌入式设备提供患者进行康复训练时的动作视频。具体地，视频采集模块可以是深度摄像头，并且放置在合适的位置使其能够完全捕捉到患者进行康复训练时的肢体动作。当然，这里的视频采集模块还可以为其他设备，本发明在此不做特别的限定。
这样可以实时的采集患者进行康复训练时做的肢体动作，保证了采集到的动作视频的准确性，为深度神经网络识别患者的肢体动作提供了有效的依据。
步骤S13：根据肢体动作视频提取时空特征，将时空特征输入预先训练好的深度神经网络，得出患者进行肢体康复训练的肢体动作的识别结果；
具体地，通过海量的人体标准运动数据对深度神经网络进行训练后，可以直接将采集到的肢体动作视频的时空特征输入训练好的深度神经网络，深度神经网络即可输出准确度较高的动作类别识别结果，不再需要录入模板动作就可对患者的肢体动作进行识别，不仅提高了动作识别精度并且解决了对高质量动作模板的依赖。
步骤S14：根据识别结果和康复训练方案评估及纠正患者的肢体动作。
具体地，通过深度神经网络将患者的动作进行分类之后，将患者的动作与患者动作类别对应的标准动作进行比较，来评估是否达到医生的要求。可以将每个动作完成的程度分为四个等级，分别为优秀、良好、中等和不及格。然后根据评估得出的结论对动作进行修正，可以通过情景交互的方式和声音输出设备来对患者进行实时纠正反馈，有利于促使患者积极主动的参与到治疗中，增强患者的康复信心。
本发明提供了一种肢体康复训练方法，应用于集成了肢体康复训练系统的嵌入式设备，包括：根据人体标准运动数据预先训练好深度神经网络；患者进行肢体康复训练时，接收视频采集模块实时采集的患者进行肢体康复训练的肢体动作视频；根据肢体动作视频提取时空特征，将时空特征输入预先训练好的深度神经网络，得出患者进行肢体康复训练的肢体动作的识别结果；根据识别结果和康复训练方案评估及纠正患者的肢体动作。
可见，本发明在识别患者的肢体动作时，不需要通过录入的标准动作模板与患者的动作进行匹配，而是通过预先训练好的深度神经网络直接得出识别结果，不仅避免了录入标准动作模板的人与患者的身体差别对识别结果产生影响，而且预先训练好的深度神经网络进行肢体动作识别时采用的是深度学习算法，动作识别精度较高。此外，本发明将肢体康复训练系统集成在了嵌入式设备上，不仅降低了设备成本和操作难度，还提高了便携性。
在上述实施例的基础上：
作为一种优选的实施例，根据肢体动作视频的序列提取时空特征的过程具体为：
将肢体动作视频的序列转换成含有空间信息的动作序列；
将动作序列按时间顺序进行排列，并生成矩阵；
其中，矩阵的列为动作序列的空间信息，矩阵的行为关节点的时间信息；
将矩阵转换成图像形式得到时空特征。
具体地，深度神经网络识别肢体动作的类别时需要将动作视频的时空特征输入到训练好的深度神经网络中，而空间信息是时空特征的空间特征，因此，当需要在肢体动作视频的序列中提取时空特征时，则需要首先将肢体动作视频的序列转换成含有空间信息的动作序列，即把转换成含有空间信息的动作序列作为中间过程，这样做可以使得提取到的时空特征是原始特征中最有效的特征。
具体地，从含有空间信息的动作序列中提取时空特征时，可以将动作序列按时间顺序进行排列，生成一个矩阵，其中，矩阵的每一列代表动作序列中每一帧的空间信息，每一行代表各个关节点的时间信息，然后将得到的矩阵转换成图像形式，即得到时空特征。这样的同时具有时间和空间维度的特征数据，有助于提高人体动作识别的准确度。
作为一种优选的实施例，将肢体动作视频的序列转换成含有空间信息的动作序列的过程具体为：
根据肢体动作视频的序列提取患者的关节点信息；
将关节点信息映射在三维坐标系上，得到关节点的三维坐标信息；
根据关节点的三维坐标信息得出含有空间信息的动作序列。
具体地，将视频采集模块实时采集到的具有深度信息的视频数据进行人体关节点信息的提取，请参照图2，图2为本发明提供的一种人体关节点的三维映射的示意图，将人体关节点在三维坐标系上映射出来，并根据三维坐标系得到每个关节点的空间位置，也即各个关节点在三维坐标系中的坐标信息。这样可以为动作序列的空间信息提供一个统一的基准，而且易于操作。
作为一种优选的实施例，根据识别结果和康复训练方案评估及纠正患者的肢体动作之后，该方法还包括：
生成患者进行肢体康复训练的信息，并将信息保存至云端数据库，其中，信息包括训练时间、训练次数、评估结果和纠正结果。
具体地，为了方便管理患者进行康复训练的数据，本申请还可以将患者进行康复训练的信息保存到云端数据库，使得患者能够及时了解自身的康复情况，医生也可以查看患者的训练效果，并重新调整康复训练方案，定制更符合患者需求的训练动作和标准。
作为一种优选的实施例，所述接收视频采集模块实时采集的所述患者进行所述肢体康复训练的肢体动作视频之前，该方法还包括：
生成并显示虚拟情景中人物的标准动作，以便所述患者按照所述标准动作来做动作。
具体地，为了使得患者在康复过程中体验到乐趣，从而提高康复的信心。本发明从含有深度信息的序列中实时提取使用者的人体关节点信息，将人体分成20个关节点，具体地请参照图2。然后计算各个关节点相对于其所需参考的标准动作的关节点所在的位置，来控制虚拟情景中的人物做出标准的训练动作，以便所述患者按照所述标准动作来做动作，实现患者与虚拟情景中人物的交互。这样做可以使患者在虚拟场景中身临其境地进行康复训练，有效降低了对康复机构和治疗师的依赖。
作为一种优选的实施例，该方法还包括：
接收医生发送的信息，并将信息发送至用户端；
接收用户端发送的消息并显示。
具体地，本发明可以将嵌入式设备通过有线或者无线连接到互联网，患者即可通过用户端下载医生上传的康复训练方案。同时患者还可以与医生进行病情交流，医生对患者的病情进行了解后，可以根据患者病情定制一套训练动作，并设置其动作的标准；或者医生根据患者训练效果的反馈，重新定制训练动作和标准，加强了患者与医生之间的交流。
作为一种优选的实施例，深度神经网络为深度卷积神经网络。
具体地，请参照图3，图3为本发明提供的一种深度卷积神经网络的结构示意图。深度卷积神经网络识别效果好，分类正确率高。当然本发明的深度神经网络还可以为基于自编码的深度神经网络、基于限制玻尔兹曼机的深度置信网络、基于递归神经网络的深度神经网络或者其他类型的深度神经网络，本发明在此不做特别的限定。
作为一种优选的实施例，嵌入式设备为树莓派。
具体地，本发明的嵌入式设备可以选择树莓派，树莓派是一款基于ARM(AdvancedRISC Machines，随机存储器)的微型计算机主板，以SD(Secure Digital，安全数码)卡为内存硬盘，在主板上有四个USB(Universal Serial Bus，通用串行总线)接口、一个以太网口和高清视频输出接口，可以同时连接键盘、鼠标、网线和显示器，全部接口整合在一张信用卡大小的主板上，具备所有计算机的基本功能，同时树莓派的轻便和低廉的价格能够提高便携性和降低设备成本。
当然本发明的嵌入式设备还可以为香蕉派、Cubieboard、Swift Board、BeagleBone Black、pcDuino、UDOO开发板或者其他嵌入式设备，本发明在此不作特别的限定。
请参照图4，图4为本发明提供的一种肢体康复训练系统的结构示意图，包括：
训练模块1，用于根据人体标准运动数据预先训练好深度神经网络；
接收模块2，用于患者进行肢体康复训练时，接收视频采集模块实时采集的患者进行肢体康复训练的肢体动作视频；
识别模块3，用于根据肢体动作视频提取时空特征，将时空特征输入预先训练好的深度神经网络，得出患者进行肢体康复训练的肢体动作的识别结果；
反馈模块4，用于根据识别结果和康复训练方案评估及纠正患者的肢体动作。
对于本发明提供的一种肢体康复训练系统的介绍请参照上述实施例，本发明在此不在赘述。
本发明还提供了一种嵌入式设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行计算机程序时实现上述任一项肢体康复训练方法的步骤。
对于本发明提供的一种嵌入式设备的介绍请参照上述实施例，本发明在此不在赘述。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的肢体康复训练系统和嵌入式设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种肢体康复训练方法，其特征在于，应用于集成了肢体康复训练系统的嵌入式设备，包括：
根据人体标准运动数据预先训练好深度神经网络；
患者进行肢体康复训练时，接收视频采集模块实时采集的所述患者进行所述肢体康复训练的肢体动作视频；
根据所述肢体动作视频提取时空特征，将所述时空特征输入预先训练好的所述深度神经网络，得出所述患者进行所述肢体康复训练的肢体动作的识别结果；
根据所述识别结果和康复训练方案评估及纠正所述患者的肢体动作。
2.根据权利要求1所述的肢体康复训练方法，其特征在于，所述根据所述肢体动作视频提取时空特征的过程具体为：
将所述肢体动作视频的序列转换成含有空间信息的动作序列；
将所述动作序列按时间顺序进行排列，并生成矩阵；
其中，所述矩阵的列为所述动作序列的空间信息，所述矩阵的行为所述关节点的时间信息；
将所述矩阵转换成图像形式得到时空特征。
3.根据权利要求2所述的肢体康复训练方法，其特征在于，所述将所述肢体动作视频的序列转换成含有空间信息的动作序列的过程具体为：
根据所述肢体动作视频的序列提取所述患者的关节点信息；
将所述关节点信息映射在三维坐标系上，得到所述关节点的三维坐标信息；
根据所述关节点的三维坐标信息得出含有空间信息的动作序列。
4.根据权利要求3所述的肢体康复训练方法，其特征在于，所述根据所述识别结果和康复训练方案评估及纠正所述患者的肢体动作之后，该方法还包括：
生成所述患者进行所述肢体康复训练的信息，并将所述信息保存至云端数据库，其中，所述信息包括训练时间、训练次数、评估结果和纠正结果。
5.根据权利要求3所述的肢体康复训练方法，其特征在于，所述接收视频采集模块实时采集的所述患者进行所述肢体康复训练的肢体动作视频之前，该方法还包括：
生成并显示虚拟情景中人物的标准动作，以便所述患者按照所述标准动作来做动作。
6.根据权利要求1所述的肢体康复训练方法，其特征在于，该方法还包括：
接收医生发送的信息，并将所述信息发送至用户端；
接收所述用户端发送的消息并显示。
7.根据权利要求1-6任一项所述的肢体康复训练方法，其特征在于，所述深度神经网络为深度卷积神经网络。
8.根据权利要求7所述的肢体康复训练方法，其特征在于，所述嵌入式设备为树莓派。
9.一种肢体康复训练系统，其特征在于，包括：
训练模块，用于根据人体标准运动数据预先训练好深度神经网络；
接收模块，用于患者进行肢体康复训练时，接收视频采集模块实时采集的所述患者进行所述肢体康复训练的肢体动作视频；
识别模块，用于根据所述肢体动作视频提取时空特征，将所述时空特征输入预先训练好的所述深度神经网络，得出所述患者进行所述肢体康复训练的肢体动作的识别结果；
反馈模块，用于根据所述识别结果和康复训练方案评估及纠正所述患者的肢体动作。
10.一种嵌入式设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至8任一项所述肢体康复训练方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710891895.6A CN107485844B (zh) | 2017-09-27 | 2017-09-27 | 一种肢体康复训练方法、系统及嵌入式设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710891895.6A CN107485844B (zh) | 2017-09-27 | 2017-09-27 | 一种肢体康复训练方法、系统及嵌入式设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107485844A true CN107485844A (zh) | 2017-12-19 |
| CN107485844B CN107485844B (zh) | 2020-04-28 |
Family
ID=60653401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710891895.6A Active CN107485844B (zh) | 2017-09-27 | 2017-09-27 | 一种肢体康复训练方法、系统及嵌入式设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107485844B (zh) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492311A (zh) * | 2018-03-15 | 2018-09-04 | 北京小米移动软件有限公司 | 通过电子设备进行动作校正的方法及装置 |
| CN108830381A (zh) * | 2018-09-03 | 2018-11-16 | 陈怡� | 一种基于Elman神经网络和遗传算法的掷实心球姿势矫正方法 |
| CN109147891A (zh) * | 2018-09-03 | 2019-01-04 | 秦怡静 | 一种基于bp神经网络和遗传算法的形象气质提升方法 |
| CN109146960A (zh) * | 2018-09-03 | 2019-01-04 | 吴佳雨 | 一种基于智能数据采集的实心球投掷姿势矫正方法 |
| CN109191588A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 运动教学方法、装置、存储介质及电子设备 |
| CN109248413A (zh) * | 2018-09-03 | 2019-01-22 | 秦怡静 | 一种基于bp神经网络和遗传算法的掷实心球姿势矫正方法 |
| CN109289188A (zh) * | 2018-09-03 | 2019-02-01 | 李乐进 | 一种基于数据挖掘的实心球投掷姿势矫正方法 |
| CN109409199A (zh) * | 2018-08-31 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 微表情训练方法、装置、存储介质及电子设备 |
| CN109753891A (zh) * | 2018-12-19 | 2019-05-14 | 山东师范大学 | 基于人体关键点检测的足球运动员姿势校准方法及系统 |
| CN109793645A (zh) * | 2019-01-21 | 2019-05-24 | 徐州医科大学附属医院 | 一种辅助帕金森病人步态康复训练装置 |
| CN110164524A (zh) * | 2019-04-29 | 2019-08-23 | 北京国润健康医学投资有限公司 | 一种偏瘫患者康复训练任务自适应匹配方法及其系统 |
| CN110215216A (zh) * | 2019-06-11 | 2019-09-10 | 中国科学院自动化研究所 | 基于骨骼关节点分区域分层次的行为识别方法、系统 |
| CN110298279A (zh) * | 2019-06-20 | 2019-10-01 | 暨南大学 | 一种肢体康复训练辅助方法及系统、介质、设备 |
| CN111653366A (zh) * | 2020-07-28 | 2020-09-11 | 上海海事大学 | 一种基于肌电信号的网球肘的识别方法 |
| CN112185565A (zh) * | 2020-10-21 | 2021-01-05 | 安徽动感智能科技有限公司 | 一种基于动作识别的患者康复评定方法 |
| CN112446433A (zh) * | 2020-11-30 | 2021-03-05 | 北京数码视讯技术有限公司 | 训练姿势的准确度确定方法、装置及电子设备 |
| CN113241150A (zh) * | 2021-06-04 | 2021-08-10 | 华北科技学院(中国煤矿安全技术培训中心) | 一种混合现实环境中的康复训练评估方法及系统 |
| CN113476817A (zh) * | 2021-07-07 | 2021-10-08 | 鹤壁市人民医院 | 一种基于神经网络算法的认知康复训练系统 |
| CN113989926A (zh) * | 2021-10-26 | 2022-01-28 | 合肥工业大学 | 一种基于人体康复的动作识别系统 |
| CN114712801A (zh) * | 2022-04-20 | 2022-07-08 | 广州穗海新峰医疗设备制造股份有限公司 | 基于混合现实视频技术的肢体康复训练方法、系统及设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103164694A (zh) * | 2013-02-20 | 2013-06-19 | 上海交通大学 | 一种人体动作识别的方法 |
| CN104268586A (zh) * | 2014-10-17 | 2015-01-07 | 北京邮电大学 | 一种多视角动作识别方法 |
| CN104983426A (zh) * | 2015-05-27 | 2015-10-21 | 蝶和科技（中国）有限公司 | 虚拟现实床旁康复训练系统及方法 |
| CN105999670A (zh) * | 2016-05-31 | 2016-10-12 | 山东科技大学 | 基于kinect的太极拳动作判定和指导系统及其指导方法 |
| US20170161616A1 (en) * | 2015-12-07 | 2017-06-08 | Intell Corporation | Athletic feedback mechanism |
-
2017
- 2017-09-27 CN CN201710891895.6A patent/CN107485844B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103164694A (zh) * | 2013-02-20 | 2013-06-19 | 上海交通大学 | 一种人体动作识别的方法 |
| CN104268586A (zh) * | 2014-10-17 | 2015-01-07 | 北京邮电大学 | 一种多视角动作识别方法 |
| CN104983426A (zh) * | 2015-05-27 | 2015-10-21 | 蝶和科技（中国）有限公司 | 虚拟现实床旁康复训练系统及方法 |
| US20170161616A1 (en) * | 2015-12-07 | 2017-06-08 | Intell Corporation | Athletic feedback mechanism |
| CN105999670A (zh) * | 2016-05-31 | 2016-10-12 | 山东科技大学 | 基于kinect的太极拳动作判定和指导系统及其指导方法 |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108492311A (zh) * | 2018-03-15 | 2018-09-04 | 北京小米移动软件有限公司 | 通过电子设备进行动作校正的方法及装置 |
| CN109191588A (zh) * | 2018-08-27 | 2019-01-11 | 百度在线网络技术（北京）有限公司 | 运动教学方法、装置、存储介质及电子设备 |
| CN109191588B (zh) * | 2018-08-27 | 2020-04-07 | 百度在线网络技术（北京）有限公司 | 运动教学方法、装置、存储介质及电子设备 |
| CN109409199B (zh) * | 2018-08-31 | 2021-01-12 | 百度在线网络技术（北京）有限公司 | 微表情训练方法、装置、存储介质及电子设备 |
| CN109409199A (zh) * | 2018-08-31 | 2019-03-01 | 百度在线网络技术（北京）有限公司 | 微表情训练方法、装置、存储介质及电子设备 |
| CN108830381A (zh) * | 2018-09-03 | 2018-11-16 | 陈怡� | 一种基于Elman神经网络和遗传算法的掷实心球姿势矫正方法 |
| CN109146960A (zh) * | 2018-09-03 | 2019-01-04 | 吴佳雨 | 一种基于智能数据采集的实心球投掷姿势矫正方法 |
| CN109248413A (zh) * | 2018-09-03 | 2019-01-22 | 秦怡静 | 一种基于bp神经网络和遗传算法的掷实心球姿势矫正方法 |
| CN109289188A (zh) * | 2018-09-03 | 2019-02-01 | 李乐进 | 一种基于数据挖掘的实心球投掷姿势矫正方法 |
| CN109147891A (zh) * | 2018-09-03 | 2019-01-04 | 秦怡静 | 一种基于bp神经网络和遗传算法的形象气质提升方法 |
| CN109753891A (zh) * | 2018-12-19 | 2019-05-14 | 山东师范大学 | 基于人体关键点检测的足球运动员姿势校准方法及系统 |
| CN109793645A (zh) * | 2019-01-21 | 2019-05-24 | 徐州医科大学附属医院 | 一种辅助帕金森病人步态康复训练装置 |
| CN109793645B (zh) * | 2019-01-21 | 2021-07-13 | 徐州医科大学附属医院 | 一种辅助帕金森病人步态康复训练装置 |
| CN110164524A (zh) * | 2019-04-29 | 2019-08-23 | 北京国润健康医学投资有限公司 | 一种偏瘫患者康复训练任务自适应匹配方法及其系统 |
| CN110215216A (zh) * | 2019-06-11 | 2019-09-10 | 中国科学院自动化研究所 | 基于骨骼关节点分区域分层次的行为识别方法、系统 |
| CN110215216B (zh) * | 2019-06-11 | 2020-08-25 | 中国科学院自动化研究所 | 基于骨骼关节点分区域分层次的行为识别方法、系统 |
| CN110298279A (zh) * | 2019-06-20 | 2019-10-01 | 暨南大学 | 一种肢体康复训练辅助方法及系统、介质、设备 |
| CN111653366A (zh) * | 2020-07-28 | 2020-09-11 | 上海海事大学 | 一种基于肌电信号的网球肘的识别方法 |
| CN112185565A (zh) * | 2020-10-21 | 2021-01-05 | 安徽动感智能科技有限公司 | 一种基于动作识别的患者康复评定方法 |
| CN112446433A (zh) * | 2020-11-30 | 2021-03-05 | 北京数码视讯技术有限公司 | 训练姿势的准确度确定方法、装置及电子设备 |
| CN113241150A (zh) * | 2021-06-04 | 2021-08-10 | 华北科技学院(中国煤矿安全技术培训中心) | 一种混合现实环境中的康复训练评估方法及系统 |
| CN113476817A (zh) * | 2021-07-07 | 2021-10-08 | 鹤壁市人民医院 | 一种基于神经网络算法的认知康复训练系统 |
| CN113476817B (zh) * | 2021-07-07 | 2022-06-07 | 鹤壁市人民医院 | 一种基于神经网络算法的认知康复训练系统 |
| CN113989926A (zh) * | 2021-10-26 | 2022-01-28 | 合肥工业大学 | 一种基于人体康复的动作识别系统 |
| CN114712801A (zh) * | 2022-04-20 | 2022-07-08 | 广州穗海新峰医疗设备制造股份有限公司 | 基于混合现实视频技术的肢体康复训练方法、系统及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107485844B (zh) | 2020-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107485844A (zh) | 一种肢体康复训练方法、系统及嵌入式设备 | |
| US20130233097A1 (en) | Physical and Occupational Therapy Monitoring and Assessment Methods and Apparatus | |
| CN106709917A (zh) | 神经网络模型训练方法、装置及系统 | |
| CN109621332A (zh) | 一种健身动作的属性确定方法、装置、设备和存储介质 | |
| RU2013148404A (ru) | Захват оптических данных об упражнениях в дополнение к расчету оценки здоровья | |
| CN107194426A (zh) | 一种基于Spiking神经网络的图像识别方法 | |
| WO2018214528A1 (zh) | 运动效果的展示方法及装置 | |
| CN113362946A (zh) | 视频处理装置、电子设备及计算机可读存储介质 | |
| Tan et al. | Short paper: Using BSN for tele-health application in upper limb rehabilitation | |
| CN107169302A (zh) | 一种中风病人信息采集及管理系统 | |
| CN110298279A (zh) | 一种肢体康复训练辅助方法及系统、介质、设备 | |
| CN110458594A (zh) | 一种基于用户权重的网络调查问卷生成方法和装置 | |
| US20220375621A1 (en) | Digital twin | |
| CN109409199A (zh) | 微表情训练方法、装置、存储介质及电子设备 | |
| CN114022512A (zh) | 运动辅助方法、装置及介质 | |
| CN110321827A (zh) | 一种基于人脸疼痛表情视频的疼痛水平评估方法 | |
| US20160331304A1 (en) | System and methods for automated administration and evaluation of physical therapy exercises | |
| CN111312363B (zh) | 一种基于虚拟现实的双手协调性增强系统 | |
| CN107944754A (zh) | 康复治疗质量评定的方法、装置、存储介质及电子设备 | |
| CN109758229A (zh) | 一种基于虚拟现实的神经外科手术控制系统及方法 | |
| CN109377577A (zh) | 一种基于人脸识别的考勤方法、系统及存储装置 | |
| CN109407826A (zh) | 球类运动模拟方法、装置、存储介质及电子设备 | |
| CN112741620A (zh) | 基于肢体动作的颈椎病评估装置 | |
| CN109044347A (zh) | 识别心电波图像交界性逸搏方法、装置、系统和电子设备 | |
| CN113903424A (zh) | 虚拟现实功能康复训练系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |