CN111444879A - 一种关节劳损自主康复动作识别方法及系统 - Google Patents

一种关节劳损自主康复动作识别方法及系统 Download PDF

Info

Publication number
CN111444879A
CN111444879A CN202010278135.XA CN202010278135A CN111444879A CN 111444879 A CN111444879 A CN 111444879A CN 202010278135 A CN202010278135 A CN 202010278135A CN 111444879 A CN111444879 A CN 111444879A
Authority
CN
China
Prior art keywords
human body
posture
neural network
video
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010278135.XA
Other languages
English (en)
Inventor
曾奕秋
尹明
杨文俊
何少聪
谢胜利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202010278135.XA priority Critical patent/CN111444879A/zh
Publication of CN111444879A publication Critical patent/CN111444879A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明提出一种关节劳损自主康复动作识别方法及系统，其方法包括以下步骤：对采集的人体姿态图像和视频进行预处理，对人体骨骼、坐站姿、自主康复运动进行标注，得到训练数据集；构建人体姿态估计神经网络，利用训练数据集训练人体姿态估计网络，以识别出标注的人体骨骼点，对所识别的人体骨骼点进行关节连接，得到人体骨架序列特征；构建姿态分类神经网络，输入从坐站姿、自主康复运动视频提取的人体骨架序列特征，训练姿态分类神经网络，得到动作识别结果；调整人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量；实时采集患者康复训练动作视频，输入到已训练的人体姿态估计神经网络和姿态分类神经网络中，得到患者动作识别结果。

Description

一种关节劳损自主康复动作识别方法及系统
技术领域
本发明涉及计算机视觉技术领域，更具体地，涉及一种关节劳损自主康复动作识别方法及系统。
背景技术
现有的康复训练方法、设备及系统均采用多个传感器设备对患者进行动作识别，存在操作繁琐，康复运动训练单一的问题，且现有的康复设备大多是具有针对性的术后康复训练，没有适用于一般患者的自主康复产品。目前存在大量患者因学业、工作原因，需长期低头伏案，导致关节劳损，再加上本身康复意识不强，未能及时纠正不良姿势，也缺乏锻炼，在没有适用于一般患者的自主康复产品的前提下，这将导致康复过程缓慢、低效，甚至病情加重或复发，严重影响个人生活质量。
发明内容
本发明为克服上述现有技术所述的缺乏适用于一般患者的自主康复产品的一种缺陷，提供一种关节劳损自主康复动作识别方法，以及一种关节劳损自主康复动作识别系统。
为解决上述技术问题，本发明的技术方案如下：
一种关节劳损自主康复动作识别方法，包括以下步骤：
S1：采集人体姿态图像和视频，对所述人体姿态图像和视频进行预处理，并对人体骨骼、坐站姿、自主康复运动的类型分别进行标注，得到训练数据集；
S2：构建人体姿态估计神经网络，将所述训练数据集输入人体姿态估计神经网络中进行训练，以便人体姿态估计神经网络识别出所述训练数据集标注的人体骨骼点，然后根据人体结构，对所述识别的人体骨骼点进行对应关节的连接，得到人体骨架序列特征；
S3：构建姿态分类神经网络，从S2步骤得到的人体骨架序列特征中，提取坐站姿、自主康复运动的人体骨架序列特征，输入姿态分类神经网络中进行训练，姿态分类神经网络输出各个动作类型的概率值，取概率值最高的动作类型作为动作识别的结果；
S4：根据搭载本发明的关节劳损自主康复动作识别方法的硬件平台的计算能力，对完成训练的人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整，得到更加轻量级的人体姿态估计神经网络、姿态分类神经网络；
S5：实时采集患者进行自主康复训练时的动作视频，将动作视频输入完成训练的人体姿态估计神经网络中，得到患者的人体骨架序列特征，然后将人体骨架序列特征输入完成训练的姿态分类神经网络中，其输出的结果即为患者的动作识别结果。
本技术方案中，通过采集人体姿态图像和视频构建训练数据集，用于构建并训练人体姿态估计神经网络和姿态分类神经网络，其中，人体姿态估计神经网络用于识别人体姿态图像或视频所标注的人体骨骼点，然后将对应关节进行连接，得到人体骨架序列特征，姿态分类神经网络用于对输入的人体骨架序列特征进行进一步地特征提取、融合，并输出各个动作的概率值，其中概率值最高的动作即为动作识别结果。在使用过程中，采用摄像头实时采集患者的人体姿态视频，然后输入人体姿态估计网络中得到视频所对应的人体骨架序列特征，再输入姿态分类神经网络中进一步特征提取、融合，然后计算各个动作的概率值，输出概率值最高的动作类型，即为患者当前的动作识别结果。
优选地，人体姿态视频包括坐站姿视频和自主康复运动视频，其中，坐站姿视频包括但不仅限于正常站姿、正常坐姿、弯腰姿势、驼背姿势、趴伏姿势、倚靠姿势、跷二郎腿姿势；自主康复运动视频包括但不仅限于颈部伸展、腹肌伸展、肩部环绕。
优选地，S2步骤中，人体姿态估计神经网络包括若干相同结构的沙漏型小网络，若干沙漏型小网络依次连接设置，其中，每一个沙漏型小网络采用对称的降采样、上采样结构，进行高-低-高的特征图尺度变化，从而获得高语义高分辨率的人体姿态特征。
优选地，姿态分类神经网络包括若干沙漏型小网络，以及一个全连接层，其中，数个沙漏型小网络依次连接，末位的沙漏型小网络的输出端与全连接层的输入端连接。
优选地，沙漏型小网络中的降采样、上采样结构包括残差模块。
优选地，残差模块中包括特征数量调整单元、特征提取单元和特征融合单元，其中特征数量调整单元包括依次连接的1×1常规卷积层、归一化BN层、激活函数Relu层；特征提取单元包括依次连接的3×3深度可分离卷积层、归一化BN层、激活函数Relu层；特征融合单元包括1×1常规卷积层、归一化BN层、激活函数Relu层，其中，1×1常规卷积层的输出端与归一化BN层的输入端连接，归一化BN层的输出与输入残差模块的人体姿态特征进行加和后，输入激活函数Relu层中。
优选地，S4步骤中对人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整的具体步骤包括：调整人体姿态估计神经网络以及姿态分类神经网络中沙漏型小网络、特征数量调整单元的数量，构建轻量级人体姿态估计神经网络和姿态分类神经网络。
优选地，S2～S3步骤中，人体姿态估计神经网络、姿态分类神经网络分别采用知识蒸馏训练方法进行训练。
本发明还提出一种关节劳损自主康复动作识别系统，包括依次连接的视频采集模块、自主康复动作识别模块、人机交互模块，其中：
视频采集模块包括摄像头，用于采集患者的人体姿态视频；
自主康复动作识别模块包括设置有完成训练的人体姿态估计神经网络和姿态分类神经网络的硬件设备，用于对患者的动作进行识别分类；
人机交互模块包括显示屏、键盘、音频输出设备中的一种或多种，其中，音频输出设备包括音箱、耳机。
在使用过程中，视频采集模块实时采集患者的人体姿态视频，然后输入自主康复动作识别模块中，通过其预设的人体姿态估计神经网络得到患者的人体骨骼序列，再通过其预设的姿态分类神经网络识别患者的站坐姿、自主康复动作，然后输入人机交互模块中显示动作识别结果。
与现有技术相比，本发明技术方案的有益效果是：构建自主康复运动训练数据集，用于人体姿态估计神经网络和姿态分类神经网络的构建和训练，具有识别精度高、抗干扰能力强的特点；人体姿态估计神经网络和姿态分类神经网络可通过调整其计算量兼容于不同的硬件设备，患者无需穿戴传感器即可使用，可应用于日常家庭、办公场所，适用于一般关节劳损患者的自主康复训练。
附图说明
图1为实施例1的关节劳损自主康复动作识别方法的流程图。
图2为实施例1的人体姿态估计神经网络的结构示意图。
图3为实施例1的沙漏型小网络结构示意图。
图4为实施例1的残差模块的结构示意图。
图5为实施例1的姿态分类神经网络的结构示意图。
图6为实施例2的关节劳损自主康复动作识别系统的结构示意图。
具体实施方式
附图仅用于示例性说明，不能理解为对本专利的限制；
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
下面结合附图和实施例对本发明的技术方案做进一步的说明。
实施例1
本实施例提出一种关节劳损自主康复动作识别方法，如图1所示，为本实施例的关节劳损自主康复动作识别方法的流程图。
本实施例提出的关节劳损自主康复动作识别方法中，包括以下步骤：
S1：采集人体姿态图像和视频，对所述人体姿态图像和视频进行预处理，并对人体骨骼、坐站姿、自主康复运动的类型分别进行标注，得到训练数据集。
本实施例中，人体姿态图像采用MPII数据集，包含约25000张图像，涵盖了410种日常人类活动，存在拍摄角度、服装、形体等差异，共有16个人体骨骼点标注，分别为头顶、颈部、胸部、右肩、右手肘、右手腕、左肩、左手肘、左手腕、骨盆、右髋、右膝、右脚踝、左髋、左膝、左脚踝。其中，上述人体姿态图像标注有人体骨骼、坐站姿、自主康复运动的类型。
本步骤中，人体姿态视频包括坐站姿视频和自主康复运动视频，其中，坐站姿视频包括但不仅限于正常站姿、正常坐姿、弯腰姿势、驼背姿势、趴伏姿势、倚靠姿势、跷二郎腿姿势；自主康复运动视频包括但不仅限于颈部伸展、腹肌伸展、肩部环绕。其中，人体姿态视频由多名动作执行者在不同室内场景，从正面、侧面等不同视角下进行多次录制得到，然后对所采集的人体姿态视频进行清洗、裁剪、旋转、缩放，完成人体姿态视频的预处理，然后对人体姿态视频中的坐站姿、自主康复运动的类型进行标注。
S2：构建人体姿态估计神经网络，将训练数据集输入人体姿态估计神经网络中进行训练，以便人体姿态估计神经网络识别出上述训练数据集标注的人体骨骼点，然后根据人体结构，对识别的人体骨骼点进行对应关节的连接，得到人体骨架序列特征。
本实施例中，人体姿态估计神经网络包括若干相同结构的沙漏型小网络，若干沙漏型小网络依次连接设置，其中，每一个沙漏型小网络采用对称的降采样、上采样结构，进行高-低-高的特征图尺度变化，从而获得高语义高分辨率的人体姿态特征。
如图2、3所示，为本实施例的人体姿态估计神经网络及沙漏型小网络的结构示意图。
其中，沙漏型小网络中的降采样、上采样过程采用相同的残差模块提取有效的人体姿态特征。残差模块中包括特征数量调整单元、特征提取单元和特征融合单元，其中特征数量调整单元包括依次连接的1×1常规卷积层、归一化BN层、激活函数Relu层；特征提取单元包括依次连接的3×3深度可分离卷积层、归一化BN层、激活函数Relu层；特征融合单元包括1×1常规卷积层、归一化BN层、激活函数Relu层，其中，1×1常规卷积层的输出端与归一化BN层的输入端连接，归一化BN层的输出与输入残差模块的人体姿态特征进行加和后，输入激活函数Relu层中。如图4所示，为本实施例的残差模块的结构示意图。
S3：构建姿态分类神经网络，从S2步骤得到的人体骨架序列特征中，提取坐站姿、自主康复运动的人体骨架序列特征，然后输入姿态分类神经网络中进行训练，姿态分类神经网络输出各个动作类型的概率值，取概率值最高的动作类型作为动作识别的结果。
本实施例中，姿态分类神经网络包括若干沙漏型小网络，以及一个全连接层，其中，若干沙漏型小网络依次连接，末位的沙漏型小网络的输出端与全连接层的输入端连接。如图5所示，为本实施例的姿态分类神经网络的结构示意图。
其中，本实施例中用于训练姿态分类神经网络的数据为经过人体姿态估计神经网络提取的坐站姿、自主康复运动人体骨架序列特征。
S4：根据应用本实施例的关节劳损自主康复动作识别方法的硬件平台的计算能力，对完成训练的人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整，得到更加轻量级的人体姿态估计神经网络、姿态分类神经网络。
本实施例中，对人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整的具体步骤包括：根据硬件平台计算能力的不同，调整人体姿态估计神经网络以及姿态分类神经网络中沙漏型小网络、特征数量调整单元的数量，构建轻量级人体姿态估计神经网络和姿态分类神经网络。
S5：实时采集患者进行自主康复训练时的动作视频，将动作视频输入完成训练的人体姿态估计神经网络中，得到患者的人体骨架序列特征，然后将所述人体骨架序列特征输入所述完成训练的姿态分类神经网络中，其输出的结果即为患者的动作识别结果。
在具体实施过程中，采用摄像头采集患者的人体姿态视频，然后输入完成训练的人体姿态估计网络中，识别得到患者的人体骨骼点的空间位置信息，然后根据人体结构，对识别得到的人体骨骼点进行对应关节的连接，得到患者的人体骨架序列特征，再输入完成训练的姿态分类神经网络中进一步特征提取、融合，计算各个动作类型的概率值，并输出概率值最高的动作类型，即为患者当前的动作识别结果。
此外，本实施例中S2～S3步骤中，在训练人体姿态估计神经网络和姿态分类神经网络时，采用知识蒸馏训练方法，将冗余的神经网络(教师模型)的输出作为额外的监督信息，让轻量级神经网络(学生模型)拟合数据集及教师模型，从而避免因数据集标注错误而导致对人体姿态估计神经网络和姿态分类神经网络的训练结果造成影响。例如，将训练完的高精度人体姿态估计神经网络(教师网络)的输出作为额外的监督信息，让轻量级人体姿态估计神经网络(学生网络)拟合MPII数据集以及教师网络，能够避免因训练数据集的标注错误而导致影响神经网络的训练结果的问题，确保轻量级人体姿态估计神经网络的高识别精度。
与一般的神经网络相比，本实施例的人体姿态估计神经网络是由数个相同结构的残差模块构成，具有高度重复性、对称性，因此将本实施例的人体姿态估计神经网络搭载在硬件设备上运行时，仍具备较高的识别精度。在具体实施过程中，本实施例的人体姿态估计神经网络可通过以下两种方式改变神经网络的计算量，从而兼容不同的硬件环境：
(1)直接调整沙漏型小网络的个数，改变了网络的深度，调节神经网络整体的计算量；
(2)利用特征数量调整单元，改变残差模块的特征数量，进而调整了残差模块的计算量，从而调整神经网络整体的计算量。
本实施例中的姿态分类神经网络与人体姿态估计神经网络的结构高度相似，同样具有高度重复性、对称性，可灵活调整网络计算量以兼容不同的硬件设备。
实施例2
本实施例提出一种关节劳损自主康复动作识别系统，应用于实施例1提出的关节劳损自主康复动作识别方法。如图6所示，为本实施例的关节劳损自主康复动作识别系统的结构示意图。
本实施例提出的关节劳损自主康复动作识别系统中，包括依次连接的视频采集模块1、自主康复动作识别模块2、人机交互模块3，其中：
视频采集模块1包括摄像头，用于采集患者的人体姿态视频；
自主康复动作识别模块2包括设置有完成训练的人体姿态估计神经网络和姿态分类神经网络的硬件设备，如台式机、笔记本电脑、嵌入式设备等，用于对患者的动作进行识别；本实施例中的人体姿态估计神经网络和姿态分类神经网络的网络深度及特征数量根据自主康复动作识别模块2的计算能力进行调整；
人机交互模块3包括显示屏、键盘和音箱。
在具体实施过程中，视频采集模块1通过摄像头实时采集患者的人体姿态视频，然后输入自主康复动作识别模块2中。自主康复动作识别模块2中预设有完成训练的人体姿态估计神经网络和姿态分类神经网络，由视频采集模块1输入人体姿态视频通过预设的已训练的人体姿态估计神经网络中，实时、准确地提取出每一帧中患者的骨骼点空间位置信息，例如头部、颈部等人体部位位置信息，然后根据人体结构，对识别的骨骼点进行对应关节的连接，从而得到对应的人体骨架序列特征，再将人体骨架序列特征输入预设的已训练的姿态分类神经网络中，有效提取患者动作的时空特征，计算各个动作类型的概率值，并输出概率值最高的动作类型名称，即为患者当前的动作识别结果，然后将该动作识别结果输入人机交互模块3中，显示屏完成动作识别结果的显示，音箱完成动作识别结果的语音播报。
本实施例的关节劳损自主康复动作识别系统集成于如台式机、笔记本电脑、嵌入式设备等硬件设备中使用，患者不需要穿戴任何传感器即可有效运行，适用于一般患者的自主康复，不仅能准确识别弯腰驼背、趴伏倚靠等不良姿势并给予提醒纠正，也可识别颈部伸展、腹肌伸展等多种自主康复运动，结合预设的警示阈值和自主康复训练计划，对患者进行坐站姿警示，定时提醒、监督患者关节劳损自主康复运动训练，确保患者有效地康复颈椎病、腰间盘突出、肩周炎等关节劳损疾病。
相同或相似的标号对应相同或相似的部件；
附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (9)

1.一种关节劳损自主康复动作识别方法，其特征在于，包括以下步骤：
S1：采集人体姿态图像和视频，对所述人体姿态图像和视频进行预处理，并对人体骨骼、坐站姿、自主康复运动的类型分别进行标注，得到训练数据集；
S2：构建人体姿态估计神经网络，将所述训练数据集输入所述人体姿态估计神经网络中进行训练，所述人体姿态估计神经网络识别出所述训练数据集标注的人体骨骼点，然后根据人体结构，对所述识别的人体骨骼点进行对应关节的连接，得到人体骨架序列特征；
S3：构建姿态分类神经网络，从所述S2步骤得到的人体骨架序列特征中，提取坐站姿、自主康复运动的人体骨架序列特征，输入所述姿态分类神经网络中进行训练，所述姿态分类神经网络输出各个动作类型的概率值，取概率值最高的动作类型作为动作识别的结果；
S4：对所述完成训练的人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整，得到轻量级的人体姿态估计神经网络、姿态分类神经网络；
S5：实时采集患者进行自主康复训练时的动作视频，将所述动作视频输入所述完成训练的人体姿态估计神经网络中，得到患者的人体骨架序列特征，然后将所述人体骨架序列特征输入所述完成训练的姿态分类神经网络中，其输出的结果即为患者的动作识别结果。
2.根据权利要求1所述的关节劳损自主康复动作识别方法，其特征在于：所述人体姿态视频包括坐站姿视频和自主康复运动视频，其中，所述坐站姿视频包括但不仅限于正常站姿、正常坐姿、弯腰姿势、驼背姿势、趴伏姿势、倚靠姿势、跷二郎腿姿势；所述自主康复运动视频包括但不仅限于颈部伸展、腹肌伸展、肩部环绕。
3.根据权利要求1所述的关节劳损自主康复动作识别方法，其特征在于：所述S2步骤中，所述人体姿态估计神经网络包括若干相同结构的沙漏型小网络，所述若干沙漏型小网络依次连接设置，其中，每一个所述沙漏型小网络采用对称的降采样、上采样结构。
4.根据权利要求3所述的关节劳损自主康复动作识别方法，其特征在于：所述姿态分类神经网络包括若干沙漏型小网络，以及一个全连接层，其中，所述若干沙漏型小网络依次连接，且末位的所述沙漏型小网络的输出端与所述全连接层的输入端连接。
5.根据权利要求4所述的关节劳损自主康复动作识别方法，其特征在于：所述沙漏型小网络中的降采样、上采样结构包括残差模块。
6.根据权利要求5所述的关节劳损自主康复动作识别方法，其特征在于：所述残差模块中包括特征数量调整单元、特征提取单元和特征融合单元，其中所述特征数量调整单元包括依次连接的1×1常规卷积层、归一化BN层、激活函数Relu层；所述特征提取单元包括依次连接的3×3深度可分离卷积层、归一化BN层、激活函数Relu层；所述特征融合单元包括1×1常规卷积层、归一化BN层、激活函数Relu层，其中，所述1×1常规卷积层的输出端与所述归一化BN层的输入端连接，所述归一化BN层的输出与输入所述残差模块的人体姿态特征进行加和后，输入所述激活函数Relu层中。
7.根据权利要求5所述的关节劳损自主康复动作识别方法，其特征在于：所述S4步骤中对所述完成训练的人体姿态估计神经网络、姿态分类神经网络的网络深度及特征数量进行调整的具体步骤包括：调整所述沙漏型小网络或特征数量调整单元的数量。
8.根据权利要求1所述的关节劳损自主康复动作识别方法，其特征在于：所述S2～S3步骤中，所述人体姿态估计神经网络、姿态分类神经网络分别采用知识蒸馏训练方法进行训练。
9.一种关节劳损自主康复动作识别系统，其特征在于，包括依次连接的视频采集模块、自主康复动作识别模块、人机交互模块，其中：
所述视频采集模块包括摄像头，用于采集患者的人体姿态视频；
所述自主康复动作识别模块包括设置有完成训练的人体姿态估计神经网络和姿态分类神经网络的硬件设备，用于对患者的动作进行识别分类；
所述人机交互模块包括显示屏、键盘、音频输出设备中的一种或多种；
所述视频采集模块实时采集患者的人体姿态视频，然后输入所述自主康复动作识别模块中，通过其预设的人体姿态估计神经网络得到患者的人体骨骼序列，再通过其预设的姿态分类神经网络识别患者的站坐姿、自主康复动作，然后输入所述人机交互模块中显示动作识别结果。
CN202010278135.XA 2020-04-10 2020-04-10 一种关节劳损自主康复动作识别方法及系统 Pending CN111444879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010278135.XA CN111444879A (zh) 2020-04-10 2020-04-10 一种关节劳损自主康复动作识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010278135.XA CN111444879A (zh) 2020-04-10 2020-04-10 一种关节劳损自主康复动作识别方法及系统

Publications (1)

Publication Number Publication Date
CN111444879A true CN111444879A (zh) 2020-07-24

Family

ID=71651419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010278135.XA Pending CN111444879A (zh) 2020-04-10 2020-04-10 一种关节劳损自主康复动作识别方法及系统

Country Status (1)

Country Link
CN (1) CN111444879A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233769A (zh) * 2020-10-12 2021-01-15 安徽动感智能科技有限公司 一种基于数据采集的患后康复系统
CN112464760A (zh) * 2020-11-16 2021-03-09 北京明略软件系统有限公司 一种目标识别模型的训练方法和装置
CN113486706A (zh) * 2021-05-21 2021-10-08 天津大学 一种基于人体姿态估计和历史信息的在线动作识别方法
CN114093024A (zh) * 2021-09-24 2022-02-25 张哲为 人体动作的识别方法、装置、设备及存储介质
CN114693557A (zh) * 2022-03-31 2022-07-01 华南理工大学 基于姿态引导的行人视频修复方法、系统、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427831A (zh) * 2019-07-09 2019-11-08 淮阴工学院 一种基于融合特征的人体动作分类方法
CN110765906A (zh) * 2019-10-12 2020-02-07 上海雪湖科技有限公司 一种基于关键点的行人检测算法
CN110969078A (zh) * 2019-09-17 2020-04-07 博康智能信息技术有限公司 基于人体关键点的异常行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110427831A (zh) * 2019-07-09 2019-11-08 淮阴工学院 一种基于融合特征的人体动作分类方法
CN110969078A (zh) * 2019-09-17 2020-04-07 博康智能信息技术有限公司 基于人体关键点的异常行为识别方法
CN110765906A (zh) * 2019-10-12 2020-02-07 上海雪湖科技有限公司 一种基于关键点的行人检测算法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ALEJANDRO NEWELL，ET.AL: "Stacked Hourglass Networks for Human Pose Estimation", 《ARXIV：1603.06937V2》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112233769A (zh) * 2020-10-12 2021-01-15 安徽动感智能科技有限公司 一种基于数据采集的患后康复系统
CN112464760A (zh) * 2020-11-16 2021-03-09 北京明略软件系统有限公司 一种目标识别模型的训练方法和装置
CN113486706A (zh) * 2021-05-21 2021-10-08 天津大学 一种基于人体姿态估计和历史信息的在线动作识别方法
CN114093024A (zh) * 2021-09-24 2022-02-25 张哲为 人体动作的识别方法、装置、设备及存储介质
CN114693557A (zh) * 2022-03-31 2022-07-01 华南理工大学 基于姿态引导的行人视频修复方法、系统、设备和介质
CN114693557B (zh) * 2022-03-31 2024-05-28 华南理工大学 基于姿态引导的行人视频修复方法、系统、设备和介质

Similar Documents

Publication Publication Date Title
CN111444879A (zh) 一种关节劳损自主康复动作识别方法及系统
Islam et al. Yoga posture recognition by detecting human joint points in real time using microsoft kinect
CN111368810B (zh) 基于人体及骨骼关键点识别的仰卧起坐检测系统及方法
CN106611157B (zh) 一种基于光流定位和滑动窗口检测的多人姿态识别方法
CN112861624A (zh) 一种人体姿态检测方法、系统、存储介质、设备及终端
CN113496216B (zh) 一种基于骨骼关键点的多角度跌倒高危识别方法及系统
CN114724241A (zh) 基于骨骼点距离的动作识别方法、装置、设备及存储介质
CN110490109B (zh) 一种基于单目视觉的在线人体康复动作识别方法
CN111539245B (zh) 一种基于虚拟环境的cpr技术训练评价方法
CN113856186B (zh) 一种引体向上动作判定与计数的方法、系统及装置
CN112101235B (zh) 一种基于老年人行为特征的老年人行为识别检测方法
Fieraru et al. Learning complex 3D human self-contact
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN114511931A (zh) 基于视频图像的动作识别方法、装置、设备及存储介质
CN112257639A (zh) 基于人体骨架的学生学习行为识别方法
CN110464356A (zh) 一种运动能力综合监测方法及系统
CN115240247A (zh) 一种用于进行动作和姿态检测的识别方法及系统
CN115661856A (zh) 一种基于Lite-HRNet的自定义康复训练监测与评估方法
CN116645721A (zh) 基于深度学习的坐姿识别方法及系统
CN113974612A (zh) 一种卒中患者上肢运动功能自动化评估方法与系统
CN111310655A (zh) 基于关键帧和组合注意力模型的人体动作识别方法和系统
CN117333932A (zh) 基于机器视觉识别肌少症的方法、装备、设备以及介质
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
CN115690895A (zh) 基于人体骨骼点检测的多人运动检测方法及装置
CN111178216B (zh) 一种基于姿态时空特征的考场异常行为识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200724