CN113229807A - 人体康复评估装置、方法、电子设备及存储介质 - Google Patents

人体康复评估装置、方法、电子设备及存储介质 Download PDF

Info

Publication number
CN113229807A
CN113229807A CN202110533239.5A CN202110533239A CN113229807A CN 113229807 A CN113229807 A CN 113229807A CN 202110533239 A CN202110533239 A CN 202110533239A CN 113229807 A CN113229807 A CN 113229807A
Authority
CN
China
Prior art keywords
rehabilitation
human body
key point
neural network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110533239.5A
Other languages
English (en)
Inventor
张静
吕威
何竟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
West China Hospital of Sichuan University
Original Assignee
West China Hospital of Sichuan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by West China Hospital of Sichuan University filed Critical West China Hospital of Sichuan University
Priority to CN202110533239.5A priority Critical patent/CN113229807A/zh
Publication of CN113229807A publication Critical patent/CN113229807A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Physiology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Dentistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种人体康复评估装置、方法、电子设备及存储介质，涉及图像识别技术领域。所述方法包括：获取待评估人体的人体图像；通过关键点估计神经网络模型确定所述人体图像的关键点信息，所述关键点估计神经网络模型包括置信预测分支和关联预测分支，所述置信预测分支用于确定所述人体图像的关键点，所述关联预测分支用于对所述关键点进行关联；基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级。该方法通过姿态估计对采集来的数据提取关键点，并能够针对指定部位依据关键点进行部位图像截取，再通过康复等级评估神经网络模型进行康复等级识别，仅用普通摄像头、相机即可完成康复等级的评估，其识别精度高、效率快。

Description

人体康复评估装置、方法、电子设备及存储介质
技术领域
本申请涉及图像识别技术领域，具体而言，涉及一种人体康复评估装置、方法、电子设备及存储介质。
背景技术
目前康复训练通常是在专业治疗师的指导下，借助辅助器械完成指定康复动作，使患者的机体功能得到恢复。但该方法仅限于在医院或康复中心环境下进行，并且治疗成本较贵，过程较单调，训练效果不易评估。许多研究者都在积极研究新理论、新方法以解决这些问题。
微软推出的Kinect体感设备可实现二维人体动态姿态的捕捉，吸引了众多基于Kinect的肢体运动康复训练技术的研究，东南大学也公开了一种基于Kinect的康复训练系统。但是基于Kinect的康复系统高度依赖Kinect设备，增加了系统硬件成本。同时由于Kinect的硬件限制，只能捕捉正对设备的二维人体表面，无法获得人体姿态的三维信息，难以应对各种各样的康复动作。
上海交通大学生命质量与机械工程研究所则设计了基于OpenPose的三维上肢康复系统，借助开源代码OpenPose利用深度神经网络从图像中直接获得人体骨架的关键点；同时通过三维重建获得骨架关键点的三维空间坐标，最终在计算机中重建实时人体三维模型。OpenPose算法是由美国卡耐基梅隆大学基于卷积神经网络和监督学习并以caffe为框架开发的人体姿态估计算法，该算法是自下而上的估计算法，即先得到关节点位置再获得人体骨架。OpenPose可以实现面部表情、躯干、四肢及手指的姿态估计，适用于单人和多人实时检测，且具有很好的鲁棒性。
但基于OpenPose的三维上肢康复系统只能运用于上肢的动作识别，对于康复训练显然不够完整，同时识别精度差、速度慢。
发明内容
有鉴于此，本申请实施例的目的在于提供一种人体康复评估装置、方法、电子设备及存储介质，以改善现有技术中存在的只能运用于上肢的动作识别，对于康复训练显然不够完整，同时识别精度差、速度慢的问题。
本申请实施例提供了一种人体康复评估装置，所述装置包括：人体图像获取模块，用于获取待评估人体的人体图像；关键点信息获取模块，用于通过关键点估计神经网络模型确定所述人体图像的关键点信息，所述关键点估计神经网络模型包括置信预测分支和关联预测分支，所述置信预测分支用于确定所述人体图像的关键点，所述关联预测分支用于对所述关键点进行关联；康复等级评估模块，用于基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级。
在上述实现方式中，通过姿态估计对采集来的数据提取关键点，并能够针对指定部位依据关键点进行部位图像截取，再通过康复等级评估神经网络模型进行康复等级识别，仅用普通摄像头、相机即可完成康复等级的评估，其识别精度高、效率快，有利于医生或相关用户通过提取出的关节点截取不同的部位，根据不同部位设置不同康复等级，并可以根据患者不同的状态进行实时调整，还可以给出一个直观的分数或是分级评价，从而提高康复状况评估的直观性。
可选地，所述人体康复评估装置还包括：关键点信息筛选模块，用于从所述关键点估计神经网络模型输出的所述关键点信息中确定二维节点坐标，所述二维节点坐标包括坐标值和置信度；在所述人体图像的所有二维节点坐标均大于预设置信度阈值时，将所述关键点信息去除所述置信度后作为输入所述康复等级评估神经网络模型的所述关键点信息。
在上述实现方式中，在通过康复等级评估神经网络模型确定指定部位的康复等级之前基于置信度对关键点信息进行筛选，能够保证读取关键点信息的人体图像的质量，从而提高康复状况识别的准确度。
可选地，所述人体康复评估装置还包括：关键点估计模型训练模块，用于通过摄像头采集训练人体图像；从所述训练人体图像中采集样本，所述样本包括预设数量的样本，所述样本包括预设样本数量的上肢样本和下肢样本；对所述样本进行关键点标注；采用关键点标注后的所述样本对姿态估计神经网络进行训练，获得所述关键点估计神经网络模型。
在上述实现方式中，通过普通摄像头采集的训练人体图像获取上肢样本和下肢样本，以训练姿态估计神经网络，使其能够对上肢和下肢的关键点进行识别。
可选地，所述置信预测分支用于计算所述关键点的置信度热度图S＝(S1,S2，…，Sj)，所述关联预测分支用于计算所述关键点的关联度矢量图L＝(L1,L2,…,Lc)，j表示需检测的关键点数，c表示需检测的关键点对数；所述置信预测分支和所述关联预测分支分别包括第一阶层至第t阶层，t为大于或等于2的正整数，所述第一阶层的输入为所述人体图像的特征数据，所述第t阶层的输入为所述人体图像的特征数据、所述置信预测分支的第t-1阶层的输出数据和所述关联预测分支的第t-1阶层的输出数据。
在上述实现方式中，通过置信预测分支和关联预测分支实现了人体关键点的识别和肢体连接，提高了后续康复等级评估的准确性。
可选地，所述人体康复评估装置还包括：关键点数据处理模块，用于针对所述样本中的部位的类型，对每个部位的所述关键点的边界区域进行像素增减；基于像素增减形成的指定部位矩形从所述样本中获取部位图像；基于所述部位图像表示的康复程度，标注所述样本中每个样本的所述每个部位对应的所述康复等级。
在上述实现方式中，通过像素增减确定矩形以获取原始人体图像中的上肢、下肢部分或指定部分的数据，从而能够对人体的不同部分分别进行康复等级评估。
可选地，所述人体康复评估装置还包括：康复等级评估模型训练模块，用于通过Pytorch构建康复等级评估神经网络；采用标注后的所述样本对所述康复等级评估神经网络进行训练，获得所述康复等级评估神经网络模型。
在上述实现方式中，通过Pytorch构建康复等级评估神经网络并基于关键点估计神经网络模型输出的数据进行模型训练，使训练获得的康复等级评估神经网络模型能够基于人体关键点数据更加准确、高效地进行康复等级评估输出。
可选地，所述康复等级评估神经网络包括：第一卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；第二卷积层，卷积尺寸为1*1，卷积核的大小为128，步长为1，填充属性为0，最大池化为4；第三卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0，最大池化为2；第四卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为1，填充属性为1，最大池化为2；第五卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为2，填充属性为1；第六卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；第七卷积层，卷积尺寸为3*3，卷积核的大小为512，步长为1，填充属性为1；所述第一卷积层至所述第七卷积层依次连接，所述第七卷积层的输出侧还与分类层连接。
在上述实现方式中，通过上述卷积层的构建使训练获得的康复等级评估神经网络模型更适用于人体康复等级的评估，提高了康复等级评估的准确性。
本申请实施例提供了一种人体康复评估方法，所述方法包括：获取待评估人体的人体图像；通过关键点估计神经网络模型确定所述人体图像的关键点信息，所述关键点估计神经网络模型包括置信预测分支和关联预测分支，所述置信预测分支用于确定所述人体图像的关键点，所述关联预测分支用于对所述关键点进行关联；基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级。
在上述实现方式中，通过姿态估计对采集来的数据提取关键点，并能够针对指定部位依据关键点进行部位图像截取，再通过康复等级评估神经网络模型进行康复等级识别，仅用普通摄像头、相机即可完成康复等级的评估，其识别精度高、效率快，有利于医生或相关用户通过提取出的关节点截取不同的部位，根据不同部位设置不同康复等级，并可以根据患者不同的状态进行实时调整，还可以给出一个直观的分数或是分级评价，从而提高康复状况评估的直观性。
可选地，在所述基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级之前，所述方法还包括：从所述关键点估计神经网络模型输出的所述关键点信息中确定二维节点坐标，所述二维节点坐标包括坐标值和置信度；在所述人体图像的所有二维节点坐标均大于预设置信度阈值时，将所述关键点信息去除所述置信度后作为输入所述康复等级评估神经网络模型的所述关键点信息。
在上述实现方式中，在通过康复等级评估神经网络模型确定指定部位的康复等级之前基于置信度对关键点信息进行筛选，能够保证读取关键点信息的人体图像的质量，从而提高康复状况识别的准确度。
可选地，在所述通过关键点估计神经网络模型确定所述人体图像的关键点信息之前，所述方法还包括：通过摄像头采集训练人体图像；从所述训练人体图像中采集样本，所述样本包括预设数量的样本，所述样本包括预设样本数量的上肢样本和下肢样本；对所述样本进行关键点标注；采用关键点标注后的所述样本对姿态估计神经网络进行训练，获得所述关键点估计神经网络模型。
在上述实现方式中，通过普通摄像头采集的训练人体图像获取上肢样本和下肢样本，以训练姿态估计神经网络，使其能够对上肢和下肢的关键点进行识别。
可选地，所述置信预测分支用于计算所述关键点的置信度热度图S＝(S1,S2，…，Sj)，所述关联预测分支用于计算所述关键点的关联度矢量图L＝(L1,L2,…,Lc)，j表示需检测的关键点数，c表示需检测的关键点对数；所述置信预测分支和所述关联预测分支分别包括第一阶层至第t阶层，t为大于或等于2的正整数，所述第一阶层的输入为所述人体图像的特征数据，所述第t阶层的输入为所述人体图像的特征数据、所述置信预测分支的第t-1阶层的输出数据和所述关联预测分支的第t-1阶层的输出数据。
在上述实现方式中，通过置信预测分支和关联预测分支实现了人体关键点的识别和肢体连接，提高了后续康复等级评估的准确性。
可选地，在所述基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级之前，所述方法还包括：针对所述样本中的部位的类型，对每个部位的所述关键点的边界区域进行像素增减；基于像素增减形成的指定部位矩形从所述样本中获取部位图像；基于所述部位图像表示的康复程度，标注所述样本中每个样本的所述每个部位对应的所述康复等级。
在上述实现方式中，通过像素增减确定矩形以获取原始人体图像中的上肢、下肢部分或指定部分的数据，从而能够对人体的不同部分分别进行康复等级评估。
可选地，在所述基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级之前，所述方法还包括：通过Pytorch构建康复等级评估神经网络；采用标注后的所述样本对所述康复等级评估神经网络进行训练，获得所述康复等级评估神经网络模型。
在上述实现方式中，通过Pytorch构建康复等级评估神经网络并基于关键点估计神经网络模型输出的数据进行模型训练，使训练获得的康复等级评估神经网络模型能够基于人体关键点数据更加准确、高效地进行康复等级评估输出。
可选地，所述康复等级评估神经网络包括：第一卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；第二卷积层，卷积尺寸为1*1，卷积核的大小为128，步长为1，填充属性为0，最大池化为4；第三卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0，最大池化为2；第四卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为1，填充属性为1，最大池化为2；第五卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为2，填充属性为1；第六卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；第七卷积层，卷积尺寸为3*3，卷积核的大小为512，步长为1，填充属性为1；所述第一卷积层至所述第七卷积层依次连接，所述第七卷积层的输出侧还与分类层连接。
在上述实现方式中，通过上述卷积层的构建使训练获得的康复等级评估神经网络模型更适用于人体康复等级的评估，提高了康复等级评估的准确性。
本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种关键点估计神经网络模型构建步骤的流程示意图。
图2为本申请实施例提供的一种关键点结构示意图。
图3为本申请实施例提供的一种姿态估计神经网络的结构示意图。
图4为本申请实施例提供的一种康复等级评估神经网络模型构建步骤的流程示意图。
图5为本申请实施例提供的一种康复等级评估神经网络的结构示意图。
图6为本申请实施例提供的一种人体康复评估方法的流程示意图。
图7为本申请实施例提供的一种人体康复评估装置的模块示意图。
图标：20-人体康复评估装置；21-人体图像获取模块；22-关键点信息获取模块；23-康复等级评估模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
本申请实施例提供了一种人体康复评估方法，该人体康复评估方法需要采用关键点估计神经网络模型和康复等级评估神经网络模型，本实施例首先对关键点估计神经网络模型和康复等级评估神经网络模型的建立流程进行说明。
由于关键点估计神经网络模型是基于姿态估计对人体图像中的关键点进行定位，则首先需要采集人体图像数据。
目前主流的康复评估方法是基于Kinect获取人体深度图做识别的，Kinect成本高，应用范围有限，且基于Kinect的方式无法基于普通摄像头比如手机摄像头、电脑摄像头、场景监控摄像头等识别到人体关节点，本实施例使用普通的摄像头进行人体图像数据采集和识别，每隔预设时间取出一张图片，并作为人体图像进行存储。
可选地，上述预设时间可以根据康复情况评估的具体需求灵活选取，例如5秒、10秒、20秒、27秒等。
可选地，本实施例对人体图像的存储可以是将其进行本地存储或上传至服务器数据库进行云存储。
要进行人体的康复评估，必须对人体的关键点进行准确提取才可以，基于关键点之间的关系便可以做康复等级的评估，比如，针对患者腿部不能弯曲的康复，如果患者上一张图片里的腿是直的，下一张是弯曲的，则说明这个患者能自动弯曲，则其恢复的可以。要确定患者腿是直的还四弯曲的，需要用到人体关键点的姿态估计，因此本实施例采用关键点估计神经网络模型实现该人体关键点的姿态估计。
具体地，请参考图1，图1为本申请实施例提供的一种关键点估计神经网络模型构建步骤的流程示意图，该关键点估计神经网络模型构建步骤具体可以如下：
步骤S111：通过摄像头采集训练人体图像。
可选地，本实施例中可以采用普通摄像头采集人体图像。
步骤S112：从训练人体图像中采集样本，样本包括预设数量的样本。
其中，针对上肢和下肢采集大量样本，具体地，本实施例中可以采集2000、5000、8000、20000或其他数量的样本，该数量可以根据模型训练的具体需求进行灵活选取。
步骤S113：对样本进行关键点标注。
可选地，本实施例中对人体图像的关键点标注时，关键点的选取可以根据康复等级评估的具体需求进行，例如对手腕、脚踝等部位进行康复等级评估则将其加入关键点。
具体地，本实施例中的关键点可以是人体姿态估计中起主要作用的人体关节点，也可以包括鼻子、脖子、右眼、左眼等部位。
可选地，本实施例中的关键点可以有25个，请参考图2，图2为本申请实施例提供的一种关键点结构示意图，关键点按照顺序具体可以包括：鼻子-0,脖子-1，右肩-2，右肘-3，右手腕-4，左肩-5，左肘-6，左手腕-7，8-胯中心，9-右臀，10-右膝，11-右踝，12-左胯，13-左膝，14-左踝，15-右眼，16-左眼，17-右耳，18-左耳，19-左脚内，20-左脚外，21-左脚跟，22-右脚内，23-右脚外，24-右脚跟。
步骤S114：采用关键点标注后的样本对姿态估计神经网络进行训练，获得关键点估计神经网络模型。
姿态估计神经网络的整体技术方案可以为“two-branch multi-stage CNN”，其基于卷积神经网络(Convolutional Neural Networks，CNN)构成，请参考图3，图3为本申请实施例提供的一种姿态估计神经网络的结构示意图。
姿态估计神经网络包括置信预测分支和关联预测分支，置信预测分支用于计算关键点的置信度热度图S＝(S1,S2，…，Sj)即confidence maps(S)，关联预测分支用于计算关键点的关联度矢量图L＝(L1,L2,…,Lc)即Par Affinity Fienlds(L)。
其中，S表示heatmap(热度图)，j表示需检测的关键点数；L表示vectormap(矢量图)，c表示需检测的关键点对数，该关键点对数是基于人体结构中关键点的关联关系确定。
具体地，人体图像经过10层的VGG-16(Visual Geometry Group Network，视觉几何群网络)提取人体图像的特征数据F，然后输入置信预测分支和关联预测分支，置信预测分支的第t阶层(Stage 1)对特征数据卷积后与损失函数输出相乘后输出至置信预测分支和关联预测分支的第t+1阶层进行相同处理，关联预测分支的第t阶层(Stage 1)对特征数据卷积后与损失函数输出相乘后输出至置信预测分支和关联预测分支的第t+1阶层进行相同处理，直至最后阶层将结果输出至Prasing(分析)层处理后获得关键点数据。
具体地，每个阶层的网络的输入可以表示为：
St＝ρt(F,St-1,Lt-1),t≥2；
Figure BDA0003068707300000111
其中，图3中的C表示Convolution(卷积)，3*3、1*1和7*7等表示卷积尺寸，Loss表示损失函数，ρt表示置信预测分支的第t阶层处理函数，
Figure BDA0003068707300000112
表示关联预测分支的第t阶层处理函数。
接下来将关键点估计神经网络模型确定的关键点信息输入康复等级评估神经网络模型进行康复等级评估，则需要建立康复等级评估神经网络模型，在此之前对关键点信息进行标注，其具体步骤可以包括：
步骤a.从关键点估计神经网络模型输出的关键点信息中确定二维节点坐标，二维节点坐标包括坐标值和置信度。
可选地，本实施例中的关键点信息可以存储为Json格式，对Jasn格式文件进行处理可以得到预设个数二维关节点坐标(pose_keypoints_2d)，共有75个数据，3个数据为一组，每组数据包括关键点的横坐标、纵坐标和置信度，置信度的取值区间为【0,1】，置信度越接近1表示提取的关键点的坐标越精确。
步骤b.在人体图像的所有二维节点坐标均大于预设置信度阈值时，将关键点信息去除置信度后作为输入康复等级评估神经网络模型的关键点信息。
本实施例可以循环遍历25个关键点的置信度，如果都满足大于0.5，则该张图片具有康复评估的意义，否则舍弃。
此外，对置信度通过判定的pose_keypoints_2d进行处理，将置信度去除，按照原始索引的顺序返回坐标节点序号，存入新的列表以输入姿态估计神经网络。
请参考图4，图4为本申请实施例提供的一种康复等级评估神经网络模型构建步骤的流程示意图，该康复等级评估神经网络模型构建步骤可以如下：
步骤S115：针对样本中的部位的类型，对每个部位的关键点的边界区域进行像素增减。
医生在25个关节点骨架中选取重要的关键点，其可以是指定部位，以双腿为例，指定部位(腿部)的关键点包括：9-右臀，10-右膝，11-右踝，12-左胯，13-左膝，14-左踝。
步骤S116：基于像素增减形成的指定部位矩形从样本中获取部位图像。
以腿部为例，基于选择的关键点，计算其关键点坐标中的最左边、最上边、最右边、最下边的点，并对最左边、最上边的点各自减去50个像素，对最右边、最下边的点各自加上50个像素，经过该像素处理可得到一个下肢腿部的矩形，使用Opencv中的函数从原始图片中获取腿部图像的数据即部位图像。
步骤S117：基于部位图像表示的康复程度，标注样本中每个样本的每个部位对应的康复等级。
步骤S118：通过Pytorch构建康复等级评估神经网络。
具体地，请参考图5，图5为本申请实施例提供的一种康复等级评估神经网络的结构示意图。其中，Conv1表示第一卷积层，1*1conv表示1*1卷积尺寸的卷积，256*256filter表示256*256大小的卷积核，s/1表示步长为1，p/0表示填充属性为0。
步骤S119：采用标注后的样本对康复等级评估神经网络进行训练，获得康复等级评估神经网络模型。
其中，康复等级评估神经网络模型包括：
第一卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；
第二卷积层，卷积尺寸为1*1，卷积核的大小为128，步长为1，填充属性为0，最大池化为4；
第三卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0，最大池化为2；
第四卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为1，填充属性为1，最大池化为2；
第五卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为2，填充属性为1；
第六卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；
第七卷积层，卷积尺寸为3*3，卷积核的大小为512，步长为1，填充属性为1；
第一卷积层至第七卷积层依次连接，第七卷积层的输出侧还与分类层连接，该分类层为Softmax分类层，根据分类个数具体设置。
完成关键点估计神经网络模型和康复等级评估神经网络模型的构建后，则可以通过其对评估人体的人体图像进行康复等级评估，请参考图6，图6为本申请实施例提供的一种人体康复评估方法的流程示意图，该人体康复评估方法的具体步骤可以如下：
步骤S12：获取待评估人体的人体图像。
步骤S14：通过关键点估计神经网络模型确定人体图像的关键点信息。
步骤S16：基于关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级。
为了配合本实施例提供的上述人体康复评估方法，本申请实施例还提供了一种人体康复评估装置20。
请参考图7，图7为本申请实施例提供的一种人体康复评估装置的模块示意图。
人体康复评估装置20包括：
人体图像获取模块21，用于获取待评估人体的人体图像；
关键点信息获取模块22，用于通过关键点估计神经网络模型确定人体图像的关键点信息，关键点估计神经网络模型包括置信预测分支和关联预测分支，置信预测分支用于确定人体图像的关键点，关联预测分支用于对关键点进行关联；
康复等级评估模块23，用于基于关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级。
可选地，人体康复评估装置20还包括：关键点信息筛选模块，用于从关键点估计神经网络模型输出的关键点信息中确定二维节点坐标，二维节点坐标包括坐标值和置信度；在人体图像的所有二维节点坐标均大于预设置信度阈值时，将关键点信息去除置信度后作为输入康复等级评估神经网络模型的关键点信息。
可选地，人体康复评估装置20还包括：关键点估计模型训练模块，用于通过摄像头采集训练人体图像；从训练人体图像中采集样本，样本包括预设数量的样本，样本包括预设样本数量的上肢样本和下肢样本；对样本进行关键点标注；采用关键点标注后的样本对姿态估计神经网络进行训练，获得关键点估计神经网络模型。
可选地，置信预测分支用于计算关键点的置信度热度图S＝(S1,S2，…，Sj)，关联预测分支用于计算关键点的关联度矢量图L＝(L1,L2,…,Lc)，j表示需检测的关键点数，c表示需检测的关键点对数；置信预测分支和关联预测分支分别包括第一阶层至第t阶层，t为大于或等于2的正整数，第一阶层的输入为人体图像的特征数据，第t阶层的输入为人体图像的特征数据、置信预测分支的第t-1阶层的输出数据和关联预测分支的第t-1阶层的输出数据。
可选地，人体康复评估装置20还包括：关键点数据处理模块，用于针对样本中的部位的类型，对每个部位的关键点的边界区域进行像素增减；基于像素增减形成的指定部位矩形从样本中获取部位图像；基于部位图像表示的康复程度，标注样本中每个样本的每个部位对应的康复等级。
可选地，人体康复评估装置20还包括：康复等级评估模型训练模块，用于通过Pytorch构建康复等级评估神经网络；采用标注后的样本对康复等级评估神经网络进行训练，获得康复等级评估神经网络模型。
可选地，康复等级评估神经网络包括：第一卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；第二卷积层，卷积尺寸为1*1，卷积核的大小为128，步长为1，填充属性为0，最大池化为4；第三卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0，最大池化为2；第四卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为1，填充属性为1，最大池化为2；第五卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为2，填充属性为1；第六卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；第七卷积层，卷积尺寸为3*3，卷积核的大小为512，步长为1，填充属性为1；第一卷积层至第七卷积层依次连接，第七卷积层的输出侧还与分类层连接。
本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的人体康复评估方法中任一项所述方法中的步骤。
应当理解是，该电子设备可以是个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。
本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行人体康复评估方法中的步骤。
综上所述，本申请实施例提供了一种人体康复评估装置、方法、电子设备及存储介质，所述方法包括：获取待评估人体的人体图像；通过关键点估计神经网络模型确定所述人体图像的关键点信息，所述关键点估计神经网络模型包括置信预测分支和关联预测分支，所述置信预测分支用于确定所述人体图像的关键点，所述关联预测分支用于对所述关键点进行关联；基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级。
在上述实现方式中，通过姿态估计对采集来的数据提取关键点，并能够针对指定部位依据关键点进行部位图像截取，再通过康复等级评估神经网络模型进行康复等级识别，仅用普通摄像头、相机即可完成康复等级的评估，其识别精度高、效率快，有利于医生或相关用户通过提取出的关节点截取不同的部位，根据不同部位设置不同康复等级，并可以根据患者不同的状态进行实时调整，还可以给出一个直观的分数或是分级评价，从而提高康复状况评估的直观性。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种人体康复评估装置，其特征在于，所述装置包括：
人体图像获取模块，用于获取待评估人体的人体图像；
关键点信息获取模块，用于通过关键点估计神经网络模型确定所述人体图像的关键点信息，所述关键点估计神经网络模型包括置信预测分支和关联预测分支，所述置信预测分支用于确定所述人体图像的关键点，所述关联预测分支用于对所述关键点进行关联；
康复等级评估模块，用于基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级。
2.根据权利要求1所述的装置，其特征在于，所述人体康复评估装置还包括关键点信息筛选模块，用于：
从所述关键点估计神经网络模型输出的所述关键点信息中确定二维节点坐标，所述二维节点坐标包括坐标值和置信度；
在所述人体图像的所有二维节点坐标均大于预设置信度阈值时，将所述关键点信息去除所述置信度后作为输入所述康复等级评估神经网络模型的所述关键点信息。
3.根据权利要求1所述的装置，其特征在于，所述人体康复评估装置还包括关键点估计模型训练模块，用于：
通过摄像头采集训练人体图像；
从所述训练人体图像中采集样本，所述样本包括预设数量的样本，所述样本包括预设样本数量的上肢样本和下肢样本；
对所述样本进行关键点标注；
采用关键点标注后的所述样本对姿态估计神经网络进行训练，获得所述关键点估计神经网络模型。
4.根据权利要求3所述的装置，其特征在于，所述置信预测分支用于计算所述关键点的置信度热度图S＝(S1,S2，…，Sj)，所述关联预测分支用于计算所述关键点的关联度矢量图L＝(L1,L2,…,Lc)，j表示需检测的关键点数，c表示需检测的关键点对数；
所述置信预测分支和所述关联预测分支分别包括第一阶层至第t阶层，t为大于或等于2的正整数，所述第一阶层的输入为所述人体图像的特征数据，所述第t阶层的输入为所述人体图像的特征数据、所述置信预测分支的第t-1阶层的输出数据和所述关联预测分支的第t-1阶层的输出数据。
5.根据权利要求3所述的装置，其特征在于，所述人体康复评估装置还包括关键点数据处理模块，用于：
针对所述样本中的部位的类型，对每个部位的所述关键点的边界区域进行像素增减；
基于像素增减形成的指定部位矩形从所述样本中获取部位图像；
基于所述部位图像表示的康复程度，标注所述样本中每个样本的所述每个部位对应的所述康复等级。
6.根据权利要求5所述的装置，其特征在于，所述人体康复评估装置还包括康复等级评估模型训练模块，用于：
通过Pytorch构建康复等级评估神经网络；
采用标注后的所述样本对所述康复等级评估神经网络进行训练，获得所述康复等级评估神经网络模型。
7.根据权利要求6所述的装置，其特征在于，所述康复等级评估神经网络包括：
第一卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；
第二卷积层，卷积尺寸为1*1，卷积核的大小为128，步长为1，填充属性为0，最大池化为4；
第三卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0，最大池化为2；
第四卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为1，填充属性为1，最大池化为2；
第五卷积层，卷积尺寸为3*3，卷积核的大小为1024，步长为2，填充属性为1；
第六卷积层，卷积尺寸为1*1，卷积核的大小为256，步长为1，填充属性为0；
第七卷积层，卷积尺寸为3*3，卷积核的大小为512，步长为1，填充属性为1；
所述第一卷积层至所述第七卷积层依次连接，所述第七卷积层的输出侧还与分类层连接。
8.一种人体康复评估方法，其特征在于，所述方法包括：
获取待评估人体的人体图像；
通过关键点估计神经网络模型确定所述人体图像的关键点信息，所述关键点估计神经网络模型包括置信预测分支和关联预测分支，所述置信预测分支用于确定所述人体图像的关键点，所述关联预测分支用于对所述关键点进行关联；
基于所述关键点信息，通过康复等级评估神经网络模型确定指定部位的康复等级。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-7中任一项所述装置中的步骤。
10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-7任一项所述装置中的步骤。
CN202110533239.5A 2021-05-17 2021-05-17 人体康复评估装置、方法、电子设备及存储介质 Pending CN113229807A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110533239.5A CN113229807A (zh) 2021-05-17 2021-05-17 人体康复评估装置、方法、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110533239.5A CN113229807A (zh) 2021-05-17 2021-05-17 人体康复评估装置、方法、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN113229807A true CN113229807A (zh) 2021-08-10

Family

ID=77134765

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110533239.5A Pending CN113229807A (zh) 2021-05-17 2021-05-17 人体康复评估装置、方法、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113229807A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114099234A (zh) * 2021-11-23 2022-03-01 复旦大学 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统
CN114596288A (zh) * 2022-03-11 2022-06-07 山东大学齐鲁医院 一种内镜下溃疡性结肠炎评估系统、介质及电子设备
CN114886413A (zh) * 2022-03-25 2022-08-12 四川大学华西医院 一种人体双侧压力的评估方法及评估装置

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052896A (zh) * 2017-12-12 2018-05-18 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法
CN110335277A (zh) * 2019-05-07 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110458116A (zh) * 2019-08-14 2019-11-15 大连海事大学 基于姿态信息的步态多特征表达和匹配方法
WO2019222383A1 (en) * 2018-05-15 2019-11-21 Northeastern University Multi-person pose estimation using skeleton prediction
CN110796032A (zh) * 2019-10-11 2020-02-14 深圳市誉托科技有限公司 基于人体姿态评估的视频围栏及预警方法
CN110991293A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 姿态识别方法、装置、计算机设备和存储介质
CN111310625A (zh) * 2020-02-06 2020-06-19 上海智幻软件科技有限公司 一种基于openpose的多人姿势检测的方法及系统
CN111860157A (zh) * 2020-06-15 2020-10-30 北京体育大学 一种运动分析方法、装置、设备和存储介质
CN111862047A (zh) * 2020-07-22 2020-10-30 杭州健培科技有限公司 一种级联的医学影像关键点检测方法及装置
CN111931701A (zh) * 2020-09-11 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN112528957A (zh) * 2020-12-28 2021-03-19 北京万觉科技有限公司 人体运动基础信息检测方法、系统及电子设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108052896A (zh) * 2017-12-12 2018-05-18 广东省智能制造研究所 基于卷积神经网络与支持向量机的人体行为识别方法
WO2019222383A1 (en) * 2018-05-15 2019-11-21 Northeastern University Multi-person pose estimation using skeleton prediction
CN110335277A (zh) * 2019-05-07 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
WO2020224424A1 (zh) * 2019-05-07 2020-11-12 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN110458116A (zh) * 2019-08-14 2019-11-15 大连海事大学 基于姿态信息的步态多特征表达和匹配方法
CN110796032A (zh) * 2019-10-11 2020-02-14 深圳市誉托科技有限公司 基于人体姿态评估的视频围栏及预警方法
CN110991293A (zh) * 2019-11-26 2020-04-10 爱菲力斯(深圳)科技有限公司 姿态识别方法、装置、计算机设备和存储介质
CN111310625A (zh) * 2020-02-06 2020-06-19 上海智幻软件科技有限公司 一种基于openpose的多人姿势检测的方法及系统
CN111860157A (zh) * 2020-06-15 2020-10-30 北京体育大学 一种运动分析方法、装置、设备和存储介质
CN111862047A (zh) * 2020-07-22 2020-10-30 杭州健培科技有限公司 一种级联的医学影像关键点检测方法及装置
CN111931701A (zh) * 2020-09-11 2020-11-13 平安国际智慧城市科技股份有限公司 基于人工智能的姿态识别方法、装置、终端和存储介质
CN112528957A (zh) * 2020-12-28 2021-03-19 北京万觉科技有限公司 人体运动基础信息检测方法、系统及电子设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHE CAO等: "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
王怀宇，林艳萍，汪方: "基于OPENPOSE的三维上肢康复系统", 《机电一体化》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114099234A (zh) * 2021-11-23 2022-03-01 复旦大学 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统
CN114099234B (zh) * 2021-11-23 2023-08-22 复旦大学 一种用于辅助康复训练的智能化康复机器人数据处理方法及系统
CN114596288A (zh) * 2022-03-11 2022-06-07 山东大学齐鲁医院 一种内镜下溃疡性结肠炎评估系统、介质及电子设备
CN114596288B (zh) * 2022-03-11 2024-05-10 山东大学齐鲁医院 一种内镜下溃疡性结肠炎评估系统、介质及电子设备
CN114886413A (zh) * 2022-03-25 2022-08-12 四川大学华西医院 一种人体双侧压力的评估方法及评估装置

Similar Documents

Publication Publication Date Title
CN111126272B (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
CN110941990B (zh) 基于骨骼关键点进行人体动作评估的方法和装置
Gomez-Donoso et al. Large-scale multiview 3d hand pose dataset
CN113229807A (zh) 人体康复评估装置、方法、电子设备及存储介质
CN108647663B (zh) 基于深度学习和多层次图结构模型的人体姿态估计方法
Zhou et al. Learning to estimate 3d human pose from point cloud
CN113435236A (zh) 居家老人姿态检测方法、系统、存储介质、设备及应用
CN111274998A (zh) 帕金森病手指敲击动作识别方法及系统、存储介质及终端
CN113658211A (zh) 一种用户姿态的评估方法、装置以及处理设备
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
Bhargavas et al. Human identification using gait recognition
CN112184898A (zh) 一种基于动作识别的数字人体建模方法
Zhang et al. Comparison of OpenPose and HyperPose artificial intelligence models for analysis of hand-held smartphone videos
Nouredanesh et al. Chasing feet in the wild: a proposed egocentric motion-aware gait assessment tool
Kwon et al. A work-related musculoskeletal disorders (wmsds) risk-assessment system using a single-view pose estimation model
Guo et al. Monocular 3D multi-person pose estimation via predicting factorized correction factors
CN114186612A (zh) 模型训练方法、地形环境识别方法、装置及电子设备
CN113033501A (zh) 一种基于关节四元数的人体分类方法及装置
Calvache et al. Automatic estimation of pose and falls in videos using computer vision model
Dentamaro et al. Sit-to-stand test for neurodegenerative diseases video classification
Hoang et al. Poses Classification in a Taekwondo Lesson Using Skeleton Data Extracted from Videos with Shallow and Deep Learning Architectures
Nguyen et al. Vision-Based Global Localization of Points of Gaze in Sport Climbing
Li Badminton motion capture with visual image detection of picking robotics
Patil et al. Early detection of hemiplegia by analyzing the gait characteristics and walking patterns using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210810