CN112084967A - 基于人工智能的肢体康复训练检测方法、系统及控制设备 - Google Patents

基于人工智能的肢体康复训练检测方法、系统及控制设备 Download PDF

Info

Publication number
CN112084967A
CN112084967A CN202010957798.4A CN202010957798A CN112084967A CN 112084967 A CN112084967 A CN 112084967A CN 202010957798 A CN202010957798 A CN 202010957798A CN 112084967 A CN112084967 A CN 112084967A
Authority
CN
China
Prior art keywords
rehabilitation training
information
target
key points
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010957798.4A
Other languages
English (en)
Inventor
周美跃
邱妙娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202010957798.4A priority Critical patent/CN112084967A/zh
Publication of CN112084967A publication Critical patent/CN112084967A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/76—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries based on eigen-space representations, e.g. from pose or different illumination conditions; Shape manifolds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Physiology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Psychiatry (AREA)
  • Dentistry (AREA)
  • Databases & Information Systems (AREA)
  • Social Psychology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Signal Processing (AREA)

Abstract

本发明涉及基于人工智能的肢体康复训练检测方法、系统及控制设备，其通过采集目标的康复训练图像，并通过关键点检测得到人体关键点，结合组件亲和关系矢量场得到目标的二维骨骼关键点，通过时域卷积模型生成3D动作序列，也即人体关键点的三维坐标信息，并结合患者手环中陀螺仪的三轴角速度，通过KM匹配算法将每一个行为信息与相应的患者手环ID绑定，获得患者的康复训练信息，并通过目标的康复训练信息与设定标准的康复训练信息比对，获得康复训练动作偏差，判断康复训练动作偏差是否小于设定偏差阈值，若小于则目标的康复训练合格；该方法通过结合视觉感知和传感器完成信息的自动绑定，能够更方便、快速地确认对应患者的康复训练情况。

Description

基于人工智能的肢体康复训练检测方法、系统及控制设备
技术领域
本发明涉及人工智能肢体训练领域，尤其涉及基于人工智能的肢体康复训练检测方法、系统及控制设备。
背景技术
功能性肢体问题对患者的日常生活造成极大的不便，采取及时有效的肢体康复方法，可以部分甚至完全恢复患者的肢体功能。因此，对患者的康复训练的监测和管理是尤为重要的。
目前，随着科技的发展，医疗水平有了很大程度的提高，医疗设备也朝着智能化方向发展，对患者的康复训练的监测也越来越智能化。
如采用人机交互的方式来进行肢体康复训练，通过传感器和集成了肢体康复训练系统的计算机来引导患者完成康复训练；又如，基于机器视觉的行为识别也被广泛的应用于康复训练领域。
对于机器视觉的行为识别，如申请公布号为CN 10887586 A的中国专利申请“一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法”，其公开的是使用Kinect设备获取人体的深度图像和骨骼图像，分别提取深度特征和骨骼特征，通过对深度特征和骨骼特征进行权重特征融合得到识别分类模型，根据模型判断是否为训练康复运动，进行相应的操作；但是上述方案中当同时对多个患者的康复训练信息进行处理时，还需要护理人员对每个患者对应的康复训练情况进行确认、核实，当数据过多时，不仅增加了护理人员的负担，而且由于人为因素导致获取的训练信息出错等问题。
发明内容
本发明的目的是提供一种基于人工智能的肢体康复训练检测方法、系统及控制设备，用于解决现有技术中在进行患者的康复训练动作情况的管理时，护理人员的负担重，且由于人为因素导致获取的训练信息出错的问题。
为了实现上述目的，本发明提供的一种基于人工智能的肢体康复训练检测方法的技术方案，包括如下步骤：
步骤1，获取目标区域目标的康复训练图像；
步骤2，通过人体姿态识别模型对所述康复训练图像进行人体关键点的提取，以及将所述康复训练图像输入到姿态评估模型，获取各组件之间的亲和关系矢量场，将所述人体关键点与所述亲和关系矢量场进行匹配，获取骨骼关键点；将所述骨骼关键点输入时域卷积模型，获取人体关键点的三维坐标信息；
步骤3，获取传感器的ID号，并利用所述传感器采集目标的三轴的角速度信息，根据获取的三轴的角速度从所述人体关键点的三维坐标信息中选取对应患者的三维坐标信息，通过KM匹配算法绑定目标的三维坐标信息与ID号，获取目标的康复训练信息；
步骤4，将所述目标的康复训练信息与设定标准的康复训练信息比对，获得康复训练动作偏差，判断所述康复训练动作偏差是否小于设定偏差阈值，若康复训练动作偏差小于设定偏差阈值，则目标的康复训练合格。
进一步地，所述步骤2中，所述匹配过程为通过积分的方式获得各个相邻部件之间的连接权重值，应用条件约束的匹配算法，根据无两个边共享节点的条件通过最大权重匹配获得最终的匹配关系，将获取的多个人体的关键点进行匹配，获取骨骼关键点；所述无两个边共享节点的条件为人体的关键点不同时属于两个目标。
进一步地，所述步骤2中，人体关键点获取的过程为：
1)构建人体姿态识别模型，包括关键点编码器和关键点解码器；
2)对构建的人体姿态识别模型进行训练，利用训练数据集对构建的人体姿态识别模型进行端到端地训练，获得训练好的人体姿态识别模型；
3)将步骤1中的康复训练图像输入到训练好的人体姿态识别模型，获取人体关键点。
进一步地，所述传感器为内置有陀螺仪的智能手环。
进一步地，在绑定操作之前，还包括对所述目标的三维坐标信息进行后处理的步骤。
进一步地，在获得目标的康复训练信息后，还包括对所述目标的康复训练信息加密的步骤。
进一步地，所述步骤4中，所述康复训练动作偏差为：
Figure BDA0002678919600000021
其中，αij为第i时刻第j个骨骼信息对应的权重，sij为目标在第i时刻第j个骨骼的康复训练信息，j＝1,2，…15，第i时刻的康复训练信息为sij＝{si1,si2,si3,……si15}，s0ij为第i时刻第j个骨骼的设定标准的康复训练信息，n为康复训练的总时间，t0为康复训练起始时间。
进一步地，所述步骤4中，还包括统计目标康复训练的总时间n内的康复训练合格率，根据所述合格率的时间占比与设定值的大小，评估目标的康复训练情况。
本发明还提供了一种基于人工智能的肢体康复训练检测系统，所述系统包括：
图像信息采集模块，用于获取目标区域目标的康复训练图像；
图像处理模块，用于对通过人体姿态识别模型对所述康复训练图像进行人体关键点的提取，以及将所述康复训练图像输入到姿态评估模型，获取各组件之间的亲和关系矢量场，将所述人体关键点与所述亲和关系矢量场进行匹配，获取骨骼关键点；将所述骨骼关键点输入时域卷积模型，获取人体关键点的三维坐标信息；
图像绑定模块，用于获取传感器的ID号，并利用所述传感器采集目标的三轴的角速度信息，根据获取的三轴的角速度从所述人体关键点的三维坐标信息中选取对应患者的三维坐标信息，通过KM匹配算法绑定目标的三维坐标信息与ID号，获取目标的康复训练信息；
图像判定模块，用于将所述目标的康复训练信息与设定标准的康复训练信息比对，获得康复训练动作偏差，判断所述康复训练动作偏差是否小于设定偏差阈值，若康复训练动作偏差小于设定偏差阈值，则目标的康复训练合格。
本发明还提供了一种基于人工智能的肢体康复训练检测控制设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现上述的肢体康复训练检测方法的技术方案。
本发明与现有技术相比，其有益效果为：
本发明通过采集目标的康复训练图像，并通过关键点检测得到人体关键点，结合组件亲和关系矢量场(PAFs)得到目标的二维骨骼关键点，通过时域卷积模型(TCN网络)生成3D动作序列，也即人体关键点的三维坐标信息，经过后处理可以得到手臂(配带患者手环)在3D中三轴的角速度；结合患者手环中陀螺仪的三轴角速度，通过KM匹配算法将每一个行为信息与相应的患者手环ID绑定，获得患者的康复训练信息，并通过目标的康复训练信息与设定标准的康复训练信息比对，获得康复训练动作偏差，判断康复训练动作偏差是否小于设定偏差阈值，若小于则目标的康复训练合格；该方法通过结合视觉感知和传感器完成信息的自动绑定，能够更方便、快速地确认对应患者的康复训练情况，最终可以根据训练信息针对该患者指定下一步的治疗方案和康复计划。
同时，为了保护患者的康复训练数据，还通过对3D动作序列用公钥加密获得密文，实现了康复训练信息的保密。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例中的一种基于人工智能的肢体康复训练检测方法的流程图；
图2示出了本发明实施例中的一种基于人工智能的肢体康复训练检测方法的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明实施例保护的范围。
本发明的实施例提供了一种基于人工智能的肢体康复训练检测方法的一种具体实施方式，该方法施例应用于对患者康复训练监测的控制器中，控制器可以是工控机、单片机、FPGA或PLC等任一种可以实现采样、计算、控制等功能的控制芯片。
具体的，如图1所示，该肢体康复训练检测方法包括以下步骤：
步骤1，获取患者的康复训练图像。
为了实现本发明中的肢体康复训练检测方法，需要在相应的康复训练区域部署相机，相机位姿固定，视角为俯视且视角能够完全覆盖康复训练的所有区域；。
步骤2，通过人体姿态识别模型对所述康复训练图像进行人体关键点的提取，以及将所述康复训练图像输入姿态评估模型，获得的各组件之间的亲和关系矢量场，将所述人体关键点与所述亲和关系矢量场进行匹配，获取骨骼关键点；将所述骨骼关键点输入时域卷积模型，获取人体关键点的三维坐标信息。
本实施例中是基于PAFs对人体关键点进行匹配，具体方法为：通过积分的方式获得各个相邻部件之间的连接权重值，应用条件约束的匹配算法，根据没有两个边共享节点的条件通过最大权重匹配获得最终的匹配关系，将一个人的多个关键点匹配起来，获取骨骼关键点。
本实施例中通过构建时域卷积模型(TCN网络)，输入为获取的骨骼关键点(2D关节点序列)，输出为人体关键点的三维坐标信息(3D姿态预测)，具体地，将多帧2D关节点序列作为TCN网络输入，形状为[N,30]，其中30为15个关键点的x,y坐标的个数，由于有15个关键点，而每一个关键点有x和y两个参数，所以一帧包含30个参数，其中的帧数N可以根据实际情况进行设定；最终经过FC全连接，输出为3D姿态预测，形状为[1,45]，45为15个关键点的x,y,z坐标。
需要说明的是，上述时域卷积模型的训练阶段为，TCN输入的是二维关键点信息，TCN网络利用N帧二维信息转化为一帧三维信息，因此输出三维动作序列信息；标签为通过Unity3D模拟器生成3D人体姿态数据，采用交叉熵损失函数，对网络模型参数进行迭代更新。
其中，上述实施例中的人体关键点获取的过程为：
1)构建人体姿态识别模型，包括关键点编码器和关键点解码器；
本实施例中的人体姿态识别网络模型包括关键点编码器(Encoder1)和关键点解码器(Decoder1)，人体关键点编码器用于对输入的图像进行特征的提取；人体关键点解码器用于进行上采样，并输出与输入的图像尺寸相同的人体关键点Heatmap。
本实施例中构建的人体姿态识别模型为基于Encoder-Decoder的CNN模型，由于具体的模型为现有技术，此处不再赘述。
2)对构建的人体姿态识别模型进行训练，利用训练数据集对构建的人体姿态识别模型进行端到端地训练，获得训练好的人体姿态识别模型；
其中，具体的训练过程为：
A)通过相机采集康复区域的患者康复训练图像，以采集的多帧康复训练图像作为训练数据集。
其中，对训练数据集进行预处理，即采用归一化方法进行处理，便于模型更好的收敛。同样，对于训练数据集进行标准，获取Heatmap标签数据。
B)利用Heatmap标签数据，端到端地训练人体姿态识别模型；其中网络输入为归一化处理后的Heatmap标签数据，输出为与输入图像等大的人体关键点Heatmap。
C)采用均方差损失函数，对人体姿态识别模型进行迭代更新，确定人体姿态识别模型的权重，获得训练好的人体姿态识别模型。
需要说明的是，本发明中的人体关键点解码器(Decoder1)根据选取的人体关键点的数量而设置相应的特征输出通道，如当人体关键点Heatmap选取9个类共15个关键点，分别为头部关键点(1个)、左右肩部关键点(2个)、左右肘部关键点(2个)、左右手部关键点(2个)、脊柱中心关键点(1个)、脖子中心关键点(1个)、左右胯关键点(2个)、左右膝关节关键点(2个)、左右脚部中心点关键点(2个)。
3)将步骤1中的康复训练图像输入到训练好的人体姿态识别模型，获取人体关键点。
需要说明的是，本发明中的人体关键点解码器(Decoder1)根据选取的人体关键点的数量而设置相应的特征输出通道，如当人体关键点Heatmap选取9个类，则设置10个通道进行特征输出，其中一个通道为背景类。
上述实施例中亲和关系矢量场获取的过程为：
构建姿态评估模型，本实施例采用Part Affinity Field模型；并对PartAffinity Field进行训练，具体地，采用相机对目标进行图像采集，以采集的多帧图像作为训练数据集，摄像头采集图像后，对其进行归一化处理，并对训练数据集进行标注。然后，通过Heatmap标签数据，端到端地训练PAFs编码器(Encoder2)和PAFs解码器(Decoder2)，并采用均方差损失函数，对网络模型进行迭代更新，最终获得训练好的Part Affinity Field；最后，通过将采集的康复训练的图像数据输入到训练好的Part Affinity Field，输出关键点的PAFs。
需要说明的是，本实施例中的训练数据集为人工标定的Heatmap标签数据，其中的标注为每一类躯干包含的像素标注，标注为从一个关键点指向另一个关键点方向的单位向量；具体躯干范围的设置，可基于两个关键点所连接得到的线段，通过设置一个距离阈值，令垂直于该线段的且一端在该线段上的所有其他线段长度设置为上述距离阈值。
步骤3，获取传感器的ID号，并利用所述传感器采集患者的三轴的角速度信息，根据获取的三轴的角速度从所述人体关键点的三维坐标信息中选取对应患者的三维坐标信息，绑定患者的三维坐标信息与ID号，作为患者的康复训练信息。
本实施例中的传感器为每一个患者佩戴的智能患者手环，手环ID代表于患者的身份信息，手环内置有陀螺仪，手环还具有保存信息和传输数据的功能。
利用患者手环内置的陀螺仪获得佩戴者手臂的三轴角速度φ1(x,y,z)；从姿态估计模块中获得的3D动作序列中取出佩戴手环的手和手肘关键点的动作序列；从该动作序列中可以获得手臂与x，y，z轴的角度，由于相机帧频率已知，同样可以得到三轴角速度φ2(x,y,z)；用KM匹配算法将相似度高的三轴角速度进行匹配，并将对应的人体3D动作序列与手环ID进行绑定，完成信息绑定ID的功能。
本实施例利用视频感知的手臂三维姿态和手环的感知信息实现信息的关联。
需要说明的是，由于单次图像误检测对结果影响较大，因此对获取的人体关键点的三维坐标信息进行简单的后处理；简单来说：假设每45帧输出一个3D动作序列，那么，统计10个3D动作序列；之后，将后处理后的人体关键点的三维坐标信息与对应时间内陀螺仪的示数进行匹配，当10次匹配结果中有8次匹配结果相同，才判断为该匹配成功，即可实现患者的三维坐标信息与ID号的绑定。
至此，完成了康复训练信息与患者手环ID的绑定。
作为优选的实施方式，本发明在获得患者的康复训练信息之后，由于患者的康复训练要写入患者病例，属于患者的隐私数据，那么，为了保护患者的康复训练的隐私，还对患者的康复训练信息(人体3D动作序列)用公钥进行加密，并对患者的ID号进行哈希运算得到哈希值，传到护士站的终端；首先利用哈希值验证患者ID得到密文，再用私钥进行解密得到患者的康复训练信息，并可以针对该患者制定相应决策。
具体地，采用非对称加密结合哈希验证来保证信息的安全传输，具体操作如下：
首先，使用护士站终端的公钥对患者的康复训练信息(人体3D动作序列)进行加密获得密文；对患者的ID号执行哈希运算获得一个哈希值；将哈希值和密文传输到护士站终端；
其次，护士站终端接收到加密信息后，先进行哈希验证来判断患者的ID号，一个哈希值对应一个ID号，可以明确患者身份；
最后，当身份验证成功后，即可得到该患者的密文信息，再利用对应的私钥进行解密即可得到明文信息，获得该患者的康复训练情况。
上述非对称加密算法，常用的有RSA算法、DSA算法和ECC算法等等；典型的哈希函数包括MD5和SHA，具体选用哪种加密算法和哈希函数，可由实施者自行决定。
至此，护士站的终端就可以得到每一个患者的康复训练情况。
步骤4，将所述的患者的康复训练信息与设定标准的康复训练信息比对，获得康复训练动作偏差，判断所述康复训练动作偏差是否小于设定偏差阈值，若康复训练动作偏差小于设定偏差阈值，则患者的康复训练合格。
其中，本实施例中的患者的康复训练信息为视频感知的患者的三维姿态信息，包括每一段骨骼的运动信息S(θ、
Figure BDA0002678919600000071
φ)，其中θ为俯仰角，
Figure BDA0002678919600000072
为偏航角，φ为翻滚角。
具体地，本实施例中选择15个人体关键点，共包含躯干、手臂在内的15段骨骼，所以每个患者在第i时刻的康复训练信息，可记为sij＝{si1,si2,si3,……si15}，j＝1,2，…15；将每一时刻的康复训练信息S在时序上进行堆叠，得到该患者康复训练从起始到结束的所有康复训练信息。
进一步地，上述实施例中，考虑不同的患者在康复训练过程中需设计不同的康复训练，因此需要结合实际情况对每一段骨骼运动信息分配不同的权重，权重序列记为αij＝{αi1,αi2,αi3,……αi15}，权重之和为1。
具体举例说明：对于腰部受伤的患者，康复训练主要观察躯干骨骼的运动情况，所以对躯干骨骼的运动信息分配0.16，其余14个骨骼的权重为0.06。
结合上述权重的分配，将患者康复训练信息Sij与设定的标准的康复训练信息S0ij进行对比，得到康复训练动作偏差：
Figure BDA0002678919600000081
当康复训练动作偏差Δs小于设定偏差阈值M时，判定患者康复训练动作合格。
本发明通过对患者的某一时刻的康复训练合格进行统计，能够对从康复训练开始到结束的整个时序上进行统计，获得在一套康复训练动作中动作合格的时间占比，根据合格动作的时间占比可以获得患者的康复训练情况，如当合格的时间占比大于90％，则认为患者的康复训练情况为优，当合格的时间占比80％-90％，则认为患者的康复训练情况为良，此时需要结合患者的实际情况，决定是否改进康复训练策略中的部分训练；当合格的时间占比80％以下，则认为患者的康复训练情况为中，此时就需要适应性地改进相应的康复训练策略。
基于与方法同样的发明构思，本发明还提供了一种基于人工智能的肢体康复训练检测系统，如图2所示，为该系统实施例的结构图，包括：
图像信息采集模块101，用于获取目标区域目标的康复训练图像；
图像处理模块102，用于对通过人体姿态识别模型对所述康复训练图像进行人体关键点的提取，以及将所述康复训练图像输入到Part Affinity Fields模型，获取各组件之间的亲和关系矢量场，将所述人体关键点与所述亲和关系矢量场进行匹配，获取骨骼关键点；将所述骨骼关键点输入时域卷积模型，获取人体关键点的三维坐标信息；
图像绑定模块103，用于获取传感器的ID号，并利用所述传感器采集目标的三轴的角速度信息，根据获取的三轴的角速度从所述人体关键点的三维坐标信息中选取对应患者的三维坐标信息，绑定目标的三维坐标信息与ID号，作为目标的康复训练信息；
图像判定模块104，用于将所述目标的康复训练信息与设定标准的康复训练信息比对，获得康复训练动作偏差，判断所述康复训练动作偏差是否小于设定偏差阈值，若康复训练动作偏差小于设定偏差阈值，则目标的康复训练合格。
基于与前述实施例中同样的发明构思，本发明还提供一种基于人工智能的肢体康复训练检测控制设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述肢体康复训练检测方法实施例的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、装置(模块、系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (10)

1.一种基于人工智能的肢体康复训练检测方法，其特征在于，包括如下步骤：
步骤1，获取目标区域目标的康复训练图像；
步骤2，通过人体姿态识别模型对所述康复训练图像进行人体关键点的提取，以及将所述康复训练图像输入到姿态评估模型，获取各组件之间的亲和关系矢量场，将所述人体关键点与所述亲和关系矢量场进行匹配，获取骨骼关键点；将所述骨骼关键点输入时域卷积模型，获取人体关键点的三维坐标信息；
步骤3，获取传感器的ID号，并利用所述传感器采集目标的三轴的角速度信息，根据获取的三轴的角速度从所述人体关键点的三维坐标信息中选取对应患者的三维坐标信息，通过KM匹配算法绑定目标的三维坐标信息与ID号，获取目标的康复训练信息；
步骤4，将所述目标的康复训练信息与设定标准的康复训练信息比对，获得康复训练动作偏差，判断所述康复训练动作偏差是否小于设定偏差阈值，若康复训练动作偏差小于设定偏差阈值，则目标的康复训练合格。
2.根据权利要求1所述的基于人工智能的肢体康复训练检测方法，其特征在于，所述步骤2中，所述匹配过程为通过积分的方式获得各个相邻部件之间的连接权重值，应用条件约束的匹配算法，根据无两个边共享节点的条件通过最大权重匹配获得最终的匹配关系，将获取的多个人体的关键点进行匹配，获取骨骼关键点；所述无两个边共享节点的条件为人体的关键点不同时属于两个目标。
3.根据权利要求2所述的基于人工智能的肢体康复训练检测方法，其特征在于，所述步骤2中，人体关键点获取的过程为：
1)构建人体姿态识别模型，包括关键点编码器和关键点解码器；
2)对构建的人体姿态识别模型进行训练，利用训练数据集对构建的人体姿态识别模型进行端到端地训练，获得训练好的人体姿态识别模型；
3)将步骤1中的康复训练图像输入到训练好的人体姿态识别模型，获取人体关键点。
4.根据权利要求1所述的基于人工智能的肢体康复训练检测方法，其特征在于，所述步骤3中，所述传感器为内置有陀螺仪的智能手环。
5.根据权利要求1所述的基于人工智能的肢体康复训练检测方法，其特征在于，所述步骤3中，在绑定操作之前，还包括对所述目标的三维坐标信息进行后处理的步骤。
6.根据权利要求1所述的基于人工智能的肢体康复训练检测方法，其特征在于，所述步骤3中，在获得目标的康复训练信息后，还包括对所述目标的康复训练信息加密的步骤。
7.根据权利要求1所述的基于人工智能的肢体康复训练检测方法，其特征在于，所述步骤4中，所述康复训练动作偏差为：
Figure FDA0002678919590000021
其中，αij为第i时刻第j个骨骼信息对应的权重，sij为目标在第i时刻第j个骨骼的康复训练信息，j＝1,2,…15，第i时刻的康复训练信息为sij＝{si1,si2,si3,……si15}，s0ij为第i时刻第j个骨骼的设定标准的康复训练信息，n为康复训练的总时间，t0为康复训练起始时间。
8.根据权利要求7所述的基于人工智能的肢体康复训练检测方法，其特征在于，所述步骤4中，还包括统计目标康复训练的总时间n内的康复训练合格率，根据所述合格率的时间占比与设定值的大小，评估目标的康复训练情况。
9.一种基于人工智能的肢体康复训练检测系统，其特征在于，所述系统包括：
图像信息采集模块，用于获取目标区域目标的康复训练图像；
图像处理模块，用于对通过人体姿态识别模型对所述康复训练图像进行人体关键点的提取，以及将所述康复训练图像输入到姿态评估模型，获取各组件之间的亲和关系矢量场，将所述人体关键点与所述亲和关系矢量场进行匹配，获取骨骼关键点；将所述骨骼关键点输入时域卷积模型，获取人体关键点的三维坐标信息；
图像绑定模块，用于获取传感器的ID号，并利用所述传感器采集目标的三轴的角速度信息，根据获取的三轴的角速度从所述人体关键点的三维坐标信息中选取对应患者的三维坐标信息，通过KM匹配算法绑定目标的三维坐标信息与ID号，获取目标的康复训练信息；
图像判定模块，用于将所述目标的康复训练信息与设定标准的康复训练信息比对，获得康复训练动作偏差，判断所述康复训练动作偏差是否小于设定偏差阈值，若康复训练动作偏差小于设定偏差阈值，则目标的康复训练合格。
10.一种基于人工智能的肢体康复训练检测控制设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序以实现权利要求1-8任一所述的基于人工智能的肢体康复训练检测方法。
CN202010957798.4A 2020-09-12 2020-09-12 基于人工智能的肢体康复训练检测方法、系统及控制设备 Withdrawn CN112084967A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010957798.4A CN112084967A (zh) 2020-09-12 2020-09-12 基于人工智能的肢体康复训练检测方法、系统及控制设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010957798.4A CN112084967A (zh) 2020-09-12 2020-09-12 基于人工智能的肢体康复训练检测方法、系统及控制设备

Publications (1)

Publication Number Publication Date
CN112084967A true CN112084967A (zh) 2020-12-15

Family

ID=73737643

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010957798.4A Withdrawn CN112084967A (zh) 2020-09-12 2020-09-12 基于人工智能的肢体康复训练检测方法、系统及控制设备

Country Status (1)

Country Link
CN (1) CN112084967A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435731A (zh) * 2020-12-16 2021-03-02 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN113076931A (zh) * 2021-04-27 2021-07-06 天维尔智联科技(深圳)有限公司 一种ai智能化的体训检测系统及检测方法
CN113516064A (zh) * 2021-07-02 2021-10-19 深圳市悦动天下科技有限公司 体育运动的动作判定方法、装置、设备及存储介质
CN113554609A (zh) * 2021-07-19 2021-10-26 同济大学 一种基于视觉的颈部肌张力障碍识别系统
CN113657266A (zh) * 2021-08-16 2021-11-16 江苏动泰运动用品有限公司 基于智能手环和人体三维重建的健身训练管理方法及系统
CN114042296A (zh) * 2021-09-22 2022-02-15 广州医科大学附属第一医院（广州呼吸中心） 一种用于肺部手术患者康复的智能训练系统
CN114052724A (zh) * 2022-01-13 2022-02-18 西安交通大学医学院第一附属医院 基于人工智能的骨科牵引异常检测系统
CN114271814A (zh) * 2021-12-24 2022-04-05 安徽大学 一种基于Kinect的卒中风患者康复训练与评估方法及系统
CN114998983A (zh) * 2022-04-12 2022-09-02 长春大学 一种基于增强现实技术和姿态识别技术的肢体康复方法
CN114998816A (zh) * 2022-08-08 2022-09-02 深圳市指南针医疗科技有限公司 基于骨骼ai视频的病例改进方法、装置及存储介质
CN115331153A (zh) * 2022-10-12 2022-11-11 山东省第二人民医院(山东省耳鼻喉医院、山东省耳鼻喉研究所) 一种用于辅助前庭康复训练的姿态监测方法
CN115958609A (zh) * 2023-03-16 2023-04-14 山东卓朗检测股份有限公司 基于智能机器人自动控制系统的指令数据安全预警方法
CN117953591A (zh) * 2024-03-27 2024-04-30 中国人民解放军空军军医大学 一种智能肢体康复辅助方法及设备

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112435731A (zh) * 2020-12-16 2021-03-02 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN112435731B (zh) * 2020-12-16 2024-03-19 成都翡铭科技有限公司 一种判断实时姿势是否满足预设规则的方法
CN113076931A (zh) * 2021-04-27 2021-07-06 天维尔智联科技(深圳)有限公司 一种ai智能化的体训检测系统及检测方法
CN113516064A (zh) * 2021-07-02 2021-10-19 深圳市悦动天下科技有限公司 体育运动的动作判定方法、装置、设备及存储介质
CN113554609A (zh) * 2021-07-19 2021-10-26 同济大学 一种基于视觉的颈部肌张力障碍识别系统
CN113657266A (zh) * 2021-08-16 2021-11-16 江苏动泰运动用品有限公司 基于智能手环和人体三维重建的健身训练管理方法及系统
CN113657266B (zh) * 2021-08-16 2022-09-02 江苏动泰运动用品有限公司 基于智能手环和人体三维重建的健身训练管理方法及系统
CN114042296A (zh) * 2021-09-22 2022-02-15 广州医科大学附属第一医院（广州呼吸中心） 一种用于肺部手术患者康复的智能训练系统
CN114271814A (zh) * 2021-12-24 2022-04-05 安徽大学 一种基于Kinect的卒中风患者康复训练与评估方法及系统
CN114052724B (zh) * 2022-01-13 2022-09-09 西安交通大学医学院第一附属医院 基于人工智能的骨科牵引异常检测系统
CN114052724A (zh) * 2022-01-13 2022-02-18 西安交通大学医学院第一附属医院 基于人工智能的骨科牵引异常检测系统
CN114998983A (zh) * 2022-04-12 2022-09-02 长春大学 一种基于增强现实技术和姿态识别技术的肢体康复方法
CN114998816A (zh) * 2022-08-08 2022-09-02 深圳市指南针医疗科技有限公司 基于骨骼ai视频的病例改进方法、装置及存储介质
CN115331153A (zh) * 2022-10-12 2022-11-11 山东省第二人民医院(山东省耳鼻喉医院、山东省耳鼻喉研究所) 一种用于辅助前庭康复训练的姿态监测方法
CN115331153B (zh) * 2022-10-12 2022-12-23 山东省第二人民医院(山东省耳鼻喉医院、山东省耳鼻喉研究所) 一种用于辅助前庭康复训练的姿态监测方法
CN115958609A (zh) * 2023-03-16 2023-04-14 山东卓朗检测股份有限公司 基于智能机器人自动控制系统的指令数据安全预警方法
CN117953591A (zh) * 2024-03-27 2024-04-30 中国人民解放军空军军医大学 一种智能肢体康复辅助方法及设备

Similar Documents

Publication Publication Date Title
CN112084967A (zh) 基于人工智能的肢体康复训练检测方法、系统及控制设备
CN106650687B (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
CN110321754B (zh) 一种基于计算机视觉的人体运动姿态纠正方法及系统
Pons-Moll et al. Outdoor human motion capture using inverse kinematics and von mises-fisher sampling
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
CN112906604B (zh) 一种基于骨骼和rgb帧融合的行为识别方法、装置及系统
CN110458895A (zh) 图像坐标系的转换方法、装置、设备及存储介质
CN112633196A (zh) 人体姿态检测方法、装置和计算机设备
CN111784818B (zh) 生成三维人体模型的方法、装置及计算机可读存储介质
CN111488853B (zh) 金融机构安防系统的大数据人脸识别方法、系统及机器人
WO2022227664A1 (zh) 机器人姿态的控制方法、机器人、存储介质及计算机程序
CN112200074A (zh) 一种姿态对比的方法和终端
Wei et al. Real-time 3D arm motion tracking using the 6-axis IMU sensor of a smartwatch
Wei et al. Real-time limb motion tracking with a single imu sensor for physical therapy exercises
CN113963237B (zh) 模型训练、戴口罩状态检测方法、电子设备及存储介质
US11847821B2 (en) Face recognition network model with face alignment based on knowledge distillation
Cha et al. Learning 3D skeletal representation from transformer for action recognition
CN110031855A (zh) 智能机器人的对象检测设备及方法
US11048926B2 (en) Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms
Kondragunta et al. Estimation of gait parameters from 3D pose for elderly care
Airò Farulla et al. Real-time single camera hand gesture recognition system for remote deaf-blind communication
Rodrigues et al. Classification of human movements with motion capture data in a motor rehabilitation context
CN110163489A (zh) 一种戒毒运动锻炼成效评价方法
Wang et al. Automated activity recognition of construction workers using single in-pocket smartphone and machine learning methods
CN109409322A (zh) 活体检测方法、装置及人脸识别方法和人脸检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201215