CN115346640A - 一种功能性康复训练闭环反馈的智能监测方法及系统 - Google Patents

一种功能性康复训练闭环反馈的智能监测方法及系统 Download PDF

Info

Publication number
CN115346640A
CN115346640A CN202211256253.6A CN202211256253A CN115346640A CN 115346640 A CN115346640 A CN 115346640A CN 202211256253 A CN202211256253 A CN 202211256253A CN 115346640 A CN115346640 A CN 115346640A
Authority
CN
China
Prior art keywords
data
standard
action
human
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211256253.6A
Other languages
English (en)
Other versions
CN115346640B (zh
Inventor
黄峰
罗子芮
骆志强
黄文柱
燕铁斌
朱凡特
张占英
王志军
刘瑞
徐硕瑀
陈钢
谢韶东
陈仰新
方永宁
华夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202211256253.6A priority Critical patent/CN115346640B/zh
Publication of CN115346640A publication Critical patent/CN115346640A/zh
Application granted granted Critical
Publication of CN115346640B publication Critical patent/CN115346640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种功能性康复训练闭环反馈的智能监测，利用相机采集人体运动的视频数据，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分，通过动作得分对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出。所述方法能够提高康复训练过程的准确度，无需人工判断康复动作是否标准，在训练反馈的过程中强化各动作的真实性，通过以标准动作进行对比，智能修正关键动作帧，降低监测成本，提高反馈效果。

Description

一种功能性康复训练闭环反馈的智能监测方法及系统
技术领域
本发明涉及医疗康复信息学领域，特别涉及一种功能性康复训练闭环反馈的智能监测方法。
背景技术
随着虚拟现实技术的发展，康复训练的监测方式逐渐智能化，在由物理康复师人工判断康复训练效果这种传统的监测方式之外，许多大型康复训练设备也参与到了康复训练的辅助过程中，例如智能康复机器人等，然而这些设备操作难度高，购置成本昂贵，维修率高，在我国的应用前景并不广泛，同时传统的康复训练方式需要在专业治疗师的指导下在特定训练地点进行，效果不易评估，且需要耗费康复治疗师的大量精力，因此需要一种成本低、监测正确性高且能够有效反馈训练效果的方法用以辅助功能性康复训练。
在中国发明专利公开号为CN110464357A的专利中提出了一种康复过程质量监测方法，利用视频采集设备采集人体运动的视频数据，并基于人工智能AI视觉捕捉模型对视频数据进行分析处理，以捕捉人体运动姿态，并将捕捉到的人体运动姿态与康复治疗及康复训练肢体动作的标准模型库中的肢体动作进行比对，获得动作相似度评分，将步骤一中采集到的体征数据进行运算，得到高阶运动数据，将高阶运动数据与步骤二中获得的数据进行综合关联运算，获得人体康复过程质量监测结果；在基于人工智能AI视觉捕捉模型对视频数据进行分析处理该步骤中，由于关键点位置会发生偏移或丢失情况，导致人体运动姿态异常从而影响比对结果，容易造成监测反馈错误，因此提出一种功能性康复训练闭环反馈的智能监测方法，保证训练过程中监测肢体康复数据的有效性。
发明内容
本发明的目的在于提出一种功能性康复训练闭环反馈的智能监测的方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明提供了一种功能性康复训练闭环反馈的智能监测，利用相机采集人体运动的视频数据，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分，通过动作得分对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出。所述方法能够提高康复训练过程的准确度，无需人工判断康复动作是否标准，在训练反馈的过程中强化各动作的真实性，通过以标准动作进行对比，智能修正关键动作帧，降低监测成本，提高反馈效果。
为了实现上述目的，根据本发明一方面，提供一种功能性康复训练闭环反馈的智能监测方法，所述方法包括以下步骤：
S100，利用相机采集人体运动的视频数据；
S200，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据；
S300，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分；
S400，通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出。
优选地，所述人体动作识别模型包括BlazeFace模型、Mediapipe Pose模型、PoseNet模型、MoveNet模型、OpenPose模型、OpenMMD模型中的一种或多种。
进一步地，步骤S200中，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据，具体方法为：读取人体运动的视频数据，筛选出视频数据中的多个关键帧（即视频数据中的部分图像帧），将所有关键帧依次加载到人体动作识别模型中，通过人体动作识别模型识别出每个关键帧中的人体关键点，将人体关键点标注在关键帧中，在关键帧中将每个关键点按照人体结构进行连线（如头和颈之间进行连线，头和脚腕则不进行直接连线），将标注有人体关键点及连线的关键帧作为目标动作数据，所述人体关键点至少包括人体的17个关节，分别是鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝。
进一步地，步骤S300中，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分，具体步骤为：加载标准模型库中的标准图像，通过人体动作识别模型识别出标准图像中的人体关键点，将人体关键点标注在标准图像上，在标准图像中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的标准图像作为标准动作数据，获取标准动作数据中具有连接关系的连线之间的夹角大小（即通过关键点相连接的两条连线之间的夹角大小），获取目标动作数据中具有连接关系的连线之间的夹角大小，在目标动作数据和标准动作数据中比较以同一个关键点为顶点的夹角（例如将标准动作数据中的以左肩该人体关键点为顶点的夹角和目标动作数据中的以左肩该人体关键点为顶点的夹角进行比较），标记两个以同一个关键点为顶点的夹角之间的大小的差值的绝对值小于角度误差值的夹角为有效夹角，设定动作得分公式为SCORE=100*PASS/TOTAL，其中PASS代表有效夹角的数量，TOTAL表示目标动作数据中所有具有连接关系的连线之间的夹角的总数量，通过动作得分公式计算出目标动作数据的动作得分SCORE，其中，角度误差值设置为[5,10]度；所述标准模型库是含有康复训练肢体标准动作图像的模型库，所述标准图像即康复训练肢体标准动作图像，所述康复训练肢体标准动作图像至少包括弓步压腿标准动作、立体体前屈标准动作、曲肘抬臂标准动作、直立前抬腿标准动作、下蹲标准动作中的一种或多种。
本步骤的有益效果为：通过与标准模型库中的标准康复动作对比，采用得分制为人体在运动过程中的康复动作是否标准作出客观评价，利用动作得分公式，将康复动作抽象为夹角表示，并进一步与标准康复动作中的标准夹角进行对比，从而实现康复动作是否标准的判定以及得分。
进一步地，步骤S400中，通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出，具体步骤为：
S401，计算所有目标动作数据的动作得分的平均值，标记动作得分低于所述平均值的目标动作数据为需要修正的目标动作数据，转至S402；
S402，将目标动作数据（即关键帧）在人体运动的视频数据的前一帧加载到动作识别模型中，通过人体动作识别模型识别出前一帧中的人体关键点，将人体关键点标注在前一帧上，在前一帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的前一帧作为第一修正帧，转至S403；
S403，获取第一修正帧中具有连接关系的连线之间的夹角大小，获取目标动作数据中具有连接关系的连线之间的夹角大小，转至S404；
S404，在目标动作数据和第一修正帧中，当存在以同一个关键点为顶点的夹角之间的大小的差值的绝对值大于角度误差值的夹角时，标记该顶点为错误点，转至S405；在目标动作数据和第一修正帧中，当不存在以同一个关键点为顶点的夹角之间的大小的差值的绝对值大于角度误差值的夹角时，将第一修正帧更新为该第一修正帧的前一帧，将更新后的第一修正帧加载到动作识别模型中，通过人体动作识别模型识别出更新后的第一修正帧中的人体关键点，将人体关键点标注在更新后的第一修正帧中，在更新后的第一修正帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的更新后的第一修正帧作为第一修正帧，转至S403；
S405，将目标动作数据、第一修正帧、目标动作数据和第一修正帧之间的所有帧按照采集时间生成修正帧序列，将错误点在修正帧序列中的每一帧上的像素坐标的平均值记为修正点，将目标动作数据中的错误点替换为修正点，将替换后的目标动作数据作为监测结果输出。
本步骤的有益效果为：由于运动视频的采集的过程中可能会出现抽帧或画面波动等情况，造成康复训练动作被动性错误，影响康复效果的判断，本步骤的方法通过利用关键帧的前一帧的动作内容，识别出关键帧中存在错误的人体关键点，当前一帧内不具备指示错误点的信息时，持续遍历前一帧的前一帧，同时生成修正帧序列并利用其替换掉存在错误的人体关键点，有效提高康复训练的反馈效果的准确度。
由于抽帧或画面波动存在的时间较长，导致关键帧中人体关键点出现大量错误或错位程度过高，影响康复训练动作的效果反馈，为解决该问题，并提高人体关键点像素坐标的修复准确性，通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出的方法还可以是以下步骤：
以目标动作数据向着目标动作数据前一帧的方向作为第一方向，以目标动作数据向着目标动作数据后一帧的方向作为第二方向，以目标动作数据为起点，沿着第一方向进行搜索直到搜索到满足静态可消去条件的图像帧，标记该图像帧为左向帧；以目标动作数据为起点，沿着第二方向进行搜索直到搜索到满足静态可消去条件的图像帧，标记该图像帧为右向帧；以左向帧和目标动作数据之间的所有图像帧按照采集时间排列得到左向序列，以目标动作数据和右向帧之间的所有图像帧按照采集时间排列得到右向序列，所述满足静态可消去条件的图像帧指动作得分低于[70,95]分的图像帧；计算图像帧的动作得分的方法为：通过人体动作识别模型识别出图像帧中的人体关键点，将人体关键点标注在图像帧上，在图像帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的图像帧作为对比图像数据，获取对比图像数据中具有连接关系的连线之间的夹角大小，获取目标动作数据中具有连接关系的连线之间的夹角大小，在目标动作数据和对比图像数据中比较以同一个关键点为顶点的夹角，标记两个以同一个关键点为顶点的夹角之间的大小的差值的绝对值小于角度误差值的夹角为有效夹角，其中，角度误差值设置为[5,10]度，设定动作得分公式为SCORE=100*PASS/TOTAL，其中PASS代表有效夹角的数量，TOTAL表示对比图像数据中所有具有连接关系的连线之间的夹角的总数量，以得分SCORE作为图像帧的动作得分；
记目标动作数据中的所有人体关键点的数量为N，为每个人体关键点赋予一个不同的编号，编号范围为[1,N]内的整数，计算每个人体关键点的分度区间，设置整数变量i，i∈[1,N]，在i的取值范围内遍历i，判断目标动作数据内的第i个关键点是否处于分度区间内，以第i个关键点的分度区间的均值替换目标动作数据内的不处于分度区间内的关键点的像素坐标，将替换关键点后的目标动作数据作为监测数据输出；
其中，第i个关键点的分度区间的计算方法为：
以第i个关键点在左向序列中的每一个图像帧上的像素坐标构成坐标序列Ldpi， 以第i个关键点在右向序列中的每一个图像帧上的像素坐标构成坐标序列Rdpi，记第i个关 键点在左向序列中的第一张图像帧上的像素坐标为(xi1,yi1)，记第i个关键点在右向序列 中的最后一张图像帧上的像素坐标为(xi2,yi2)，构建向
Figure DEST_PATH_IMAGE002AAAA
；记第i个 关键点在左向序列中的最后一张图像帧上的像素坐标为(xi3,yi3)，记第i个关键点在右向 序列中的第一张图像帧上的像素坐标为(xi4,yi4)，构建向量
Figure DEST_PATH_IMAGE004AAAA
，记
Figure DEST_PATH_IMAGE006AA
；
式中，Pi代表Ldpi坐标序列中元素的数量，Qi代表Rdpi坐标序列中元素的数量，MOD 代表取整运算，Ldpij代表第Ldpi坐标序列中第j个像素的坐标，Rdpik代表第Rdpi坐标序列中 第k个像素的坐标，计算第i个关键点的分度区间
Figure DEST_PATH_IMAGE008AAAA
，式中，ln 代表自然对数运算；
判断目标动作数据内的第i个关键点是否处于分度区间内的方法为：获取第i个关键点在目标动作数据内的像素坐标(Ai,Bi)，若(Ai,Bi)包含于IdxINTi，则标记第i个关键点处于分度区间内，若(Ai,Bi)不含于IdxINTi，则标记第i个关键点不处于分度区间内。
本步骤的有益效果为：通过比较关键帧前后的多个图像帧内的动作内容，利用动作得分值判断各连续图像帧是否存在异常，由于前后多个图像帧是连续图像帧，康复训练动作高度相似，得分值低于[70,95]分的图像帧必然存在异常，通过构建左向序列和右向序列，通过分度区间能够准确的定位出异常的关键点并且能够提高排除其中正常关键点的准确性，利用各个连续图像帧内的关键点坐标对关键帧内的每一个人体关键点进行分度区间的异常判断并修复，本步骤的方法对关键点的像素坐标造成矫枉过正的影响呈负反馈，能够准确提高由于非动作本身性错误而引起的康复反馈效果不准确的现象，充分反映康复训练的真实程度。
本发明还提供了一种功能性康复训练闭环反馈的智能监测系统，所述一种功能性康复训练闭环反馈的智能监测系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种功能性康复训练闭环反馈的智能监测方法中的步骤，所述功能性康复训练闭环反馈的智能监测系统可以运行于桌上型计算机、笔记本电脑、移动电话、手提电话、平板电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下系统的单元中：
数据采集单元，用于利用相机采集人体运动的视频数据；
数据处理单元，用于通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据；
数据比对单元，用于获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分；
数据修正单元，用于通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出。
本发明的有益效果为：所述方法能够提高康复训练过程的准确度，无需人工判断康复动作是否标准，在训练反馈的过程中强化各动作的真实性，通过以标准动作进行对比，智能修正关键动作帧，降低监测成本，提高反馈效果。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本发明的上述以及其他特征将更加明显，本发明附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种功能性康复训练闭环反馈的智能监测方法的流程图；
图2所示为一种功能性康复训练闭环反馈的智能监测系统的系统结构图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
如图1所示为根据本发明的一种功能性康复训练闭环反馈的智能监测方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种功能性康复训练闭环反馈的智能监测方法。
本发明提出一种功能性康复训练闭环反馈的智能监测方法，所述方法包括以下步骤：
S100，利用相机采集人体运动的视频数据；
S200，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据；
S300，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分；
S400，通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出。
优选地，所述人体动作识别模型包括BlazeFace模型、Mediapipe Pose模型、PoseNet模型、MoveNet模型、OpenPose模型、OpenMMD模型中的一种或多种。
进一步地，步骤S200中，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据，具体方法为：读取人体运动的视频数据，筛选出视频数据中的多个关键帧（即视频数据中的部分图像帧），将所有关键帧依次加载到人体动作识别模型中，通过人体动作识别模型识别出每个关键帧中的人体关键点，将人体关键点标注在关键帧中，在关键帧中将每个关键点按照人体结构进行连线（如头和脖子之间进行连线，头和脚腕不进行连线），将标注有人体关键点及连线的关键帧作为目标动作数据，所述人体关键点至少包括人体的17个关节，分别是鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝。
进一步地，步骤S300中，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分，具体步骤为：加载标准模型库中的标准图像，通过人体动作识别模型识别出标准图像中的人体关键点，将人体关键点标注在标准图像上，在标准图像中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的标准图像作为标准动作数据，获取标准动作数据中具有连接关系的连线之间的夹角大小（即通过关键点相连接的两条连线之间的夹角大小），获取目标动作数据中具有连接关系的连线之间的夹角大小，在目标动作数据和标准动作数据中比较以同一个关键点为顶点的夹角（例如将标准动作数据中的以左肩该人体关键点为顶点的夹角和目标动作数据中的以左肩该人体关键点为顶点的夹角进行比较），标记两个以同一个关键点为顶点的夹角之间的大小的差值的绝对值小于角度误差值的夹角为有效夹角，设定动作得分公式为SCORE=100*PASS/TOTAL，其中PASS代表有效夹角的数量，TOTAL表示目标动作数据中所有具有连接关系的连线之间的夹角的总数量，通过动作得分公式计算出目标动作数据的动作得分SCORE，其中，角度误差值设置为[5,10]度；所述标准模型库是含有康复训练肢体标准动作图像的模型库，所述标准图像即康复训练肢体标准动作图像，所述康复训练肢体标准动作图像至少包括弓步压腿标准动作、立体体前屈标准动作、曲肘抬臂标准动作、直立前抬腿标准动作、下蹲标准动作中的一种或多种。
进一步地，步骤S400中，通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出，具体步骤为：
S401，计算所有目标动作数据的动作得分的平均值，标记动作得分低于所述平均值的目标动作数据为需要修正的目标动作数据，转至S402；
S402，将目标动作数据（即关键帧）在人体运动的视频数据的前一帧加载到动作识别模型中，通过人体动作识别模型识别出前一帧中的人体关键点，将人体关键点标注在前一帧上，在前一帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的前一帧作为第一修正帧，转至S403；
S403，获取第一修正帧中具有连接关系的连线之间的夹角大小，获取目标动作数据中具有连接关系的连线之间的夹角大小，转至S404；
S404，在目标动作数据和第一修正帧中，当存在以同一个关键点为顶点的夹角之间的大小的差值的绝对值大于角度误差值的夹角时，标记该顶点为错误点，转至S405；在目标动作数据和第一修正帧中，当不存在以同一个关键点为顶点的夹角之间的大小的差值的绝对值大于角度误差值的夹角时，将第一修正帧更新为第一修正帧的前一帧，将更新后的第一修正帧加载到动作识别模型中，通过人体动作识别模型识别出更新后的第一修正帧中的人体关键点，将人体关键点标注在更新后的第一修正帧中，在更新后的第一修正帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的更新后的第一修正帧作为第一修正帧，转至S403；
S405，将目标动作数据、第一修正帧、目标动作数据和第一修正帧之间的所有帧按照采集时间生成修正帧序列，将错误点在修正帧序列中的每一帧上的像素坐标的平均值记为修正点，将目标动作数据中的错误点替换为修正点，将替换后的目标动作数据作为监测结果输出。
由于抽帧或画面波动存在的时间较长，导致关键帧中人体关键点出现大量错误或错位程度过高，影响康复训练动作的效果反馈，为解决该问题，并提高人体关键点像素坐标的修复准确性，通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出的方法还可以是以下步骤：
以目标动作数据向着前一帧的方向作为第一方向，以目标动作数据向着后一帧的方向作为第二方向，以目标动作数据为起点，沿着第一方向进行搜索直到搜索到满足静态可消去条件的图像帧，标记该图像帧为左向帧；以目标动作数据为起点，沿着第二方向进行搜索直到搜索到满足静态可消去条件的图像帧，标记该图像帧为右向帧；以左向帧和目标动作数据之间的所有图像帧按照采集时间排列得到左向序列，以目标动作数据和右向帧之间的所有图像帧按照采集时间排列得到右向序列，所述满足静态可消去条件的图像帧指动作得分低于[70,95]分的图像帧；计算图像帧的动作得分的方法为：通过人体动作识别模型识别出图像帧中的人体关键点，将人体关键点标注在图像帧上，在图像帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的图像帧作为对比图像数据，获取对比图像数据中具有连接关系的连线之间的夹角大小，获取目标动作数据中具有连接关系的连线之间的夹角大小，在目标动作数据和对比图像数据中比较以同一个关键点为顶点的夹角，标记两个以同一个关键点为顶点的夹角之间的大小的差值的绝对值小于角度误差值的夹角为有效夹角，其中，角度误差值设置为[5,10]度，设定动作得分公式为SCORE=100*PASS/TOTAL，其中PASS代表有效夹角的数量，TOTAL表示对比图像数据中所有具有连接关系的连线之间的夹角的总数量，以得分SCORE作为图像帧的动作得分；
记目标动作数据中的所有人体关键点的数量为N，为每个人体关键点赋予一个不同的编号，编号范围为[1,N]内的整数，计算每个人体关键点的分度区间，设置整数变量i，i∈[1,N]，在i的取值范围内遍历i，判断目标动作数据内的第i个关键点是否处于分度区间内，以第i个关键点的分度区间的均值替换目标动作数据内的不处于分度区间内的关键点的像素坐标，将替换关键点后的目标动作数据作为监测数据输出；
其中，第i个关键点的分度区间的计算方法为：
以第i个关键点在左向序列中的每一个图像帧上的像素坐标构成Ldpi坐标序列， 以第i个关键点在右向序列中的每一个图像帧上的像素坐标构成Rdpi坐标序列，记第i个关 键点在左向序列中的第一张图像帧上的像素坐标为(xi1,yi1)，记第i个关键点在右向序列 中的最后一张图像帧上的像素坐标为(xi2,yi2)，构建向
Figure DEST_PATH_IMAGE010
；记第i个 关键点在左向序列中的最后一张图像帧上的像素坐标为(xi3,yi3)，记第i个关键点在右向 序列中的第一张图像帧上的像素坐标为(xi4,yi4)，构建向量
Figure DEST_PATH_IMAGE012
，记
Figure DEST_PATH_IMAGE014
；
式中，Pi代表Ldpi坐标序列中元素的数量，Qi代表Rdpi坐标序列中元素的数量，MOD 代表取整运算，Ldpij代表第Ldpi坐标序列中第j个像素，Rdpik代表第Rdpi坐标序列中第k个 像素，计算第i个关键点的分度区间
Figure DEST_PATH_IMAGE016
，式中，ln代表自然对 数运算；
判断目标动作数据内的第i个关键点是否处于分度区间内的方法为：获取第i个关键点在目标动作数据内的像素坐标(Ai,Bi)，若(Ai,Bi)含于IdxINTi，则标记第i个关键点处于分度区间内，若(Ai,Bi)不含于IdxINTi，则标记第i个关键点不处于分度区间内。
以30名需要康复的人群作为实施对象，分别在不运动状态、缓慢运动状态、高速运动状态进行监测，测得的以一种功能性康复训练闭环反馈的智能监测方法对错误动作的识别准确率约为90％。
一种功能性康复训练闭环反馈的智能监测系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种功能性康复训练闭环反馈的智能监测方法实施例中的步骤，所述一种功能性康复训练闭环反馈的智能监测系统可以运行于桌上型计算机、笔记本电脑、移动电话、手提电话、平板电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群。
本发明的实施例提供的一种功能性康复训练闭环反馈的智能监测系统，如图2所示，该实施例的一种功能性康复训练闭环反馈的智能监测系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种功能性康复训练闭环反馈的智能监测方法实施例中的步骤，所述处理器执行所述计算机程序运行在以下系统的单元中：
数据采集单元，用于利用相机采集人体运动的视频数据；
数据处理单元，用于通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据；
数据比对单元，用于获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分；
数据修正单元，用于通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出。
所述监测结果为视频格式，用于在输出在显示器上进行播放。
所述一种功能性康复训练闭环反馈的智能监测系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中。所述一种功能性康复训练闭环反馈的智能监测系统包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种功能性康复训练闭环反馈的智能监测方法及系统的示例，并不构成对一种功能性康复训练闭环反馈的智能监测方法及系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种功能性康复训练闭环反馈的智能监测系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种功能性康复训练闭环反馈的智能监测系统的控制中心，利用各种接口和线路连接整个一种功能性康复训练闭环反馈的智能监测系统的各个分区域。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种功能性康复训练闭环反馈的智能监测方法及系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card ,SMC)，安全数字(Secure Digital ,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明提供了一种功能性康复训练闭环反馈的智能监测，利用相机采集人体运动的视频数据，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分，通过动作得分对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出。所述方法能够提高康复训练过程的准确度，无需人工判断康复动作是否标准，在训练反馈的过程中强化各动作的真实性，通过以标准动作进行对比，智能修正关键动作帧，降低监测成本，提高反馈效果。尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。

Claims (5)

1.一种功能性康复训练闭环反馈的智能监测方法，其特征在于，所述方法包括以下步骤：
S100，利用相机采集人体运动的视频数据；
S200，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据；
S300，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分；
S400，通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出。
2.根据权利要求1所述的一种功能性康复训练闭环反馈的智能监测方法，其特征在于，步骤S200中，通过人体动作识别模型对人体运动的视频数据进行处理，得到目标动作数据，具体方法为：读取人体运动的视频数据，筛选出视频数据中的多个关键帧，将所有关键帧依次加载到人体动作识别模型中，通过人体动作识别模型识别出每个关键帧中的人体关键点，将人体关键点标注在关键帧中，在关键帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的关键帧作为目标动作数据，所述人体关键点至少包括人体的17个关节，分别是鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝。
3.根据权利要求1所述的一种功能性康复训练闭环反馈的智能监测方法，其特征在于，步骤S300中，获取标准模型库中的标准动作数据，将目标动作数据和标准动作数据进行监测比对，获得动作得分，具体步骤为：加载标准模型库中的标准图像，通过人体动作识别模型识别出标准图像中的人体关键点，将人体关键点标注在标准图像上，在标准图像中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的标准图像作为标准动作数据，获取标准动作数据中具有连接关系的连线之间的夹角大小，获取目标动作数据中具有连接关系的连线之间的夹角大小，在目标动作数据和标准动作数据中比较以同一个关键点为顶点的夹角，标记两个以同一个关键点为顶点的夹角之间的大小的差值的绝对值小于角度误差值的夹角为有效夹角，设定动作得分公式为SCORE=100*PASS/TOTAL，其中PASS代表有效夹角的数量，TOTAL表示目标动作数据中所有具有连接关系的连线之间的夹角的总数量，通过动作得分公式计算出目标动作数据的动作得分SCORE，其中，角度误差值设置为[5,10]度；所述标准模型库是含有康复训练肢体标准动作图像的模型库，所述标准图像即康复训练肢体标准动作图像，所述康复训练肢体标准动作图像至少包括弓步压腿标准动作、立体体前屈标准动作、曲肘抬臂标准动作、直立前抬腿标准动作、下蹲标准动作中的一种或多种。
4.根据权利要求1所述的一种功能性康复训练闭环反馈的智能监测方法，其特征在于，步骤S400中，通过动作得分，对目标动作数据进行修正，将修正后的目标动作数据作为监测结果输出，具体步骤为：
S401，计算所有目标动作数据的动作得分的平均值，标记动作得分低于所述平均值的目标动作数据为需要修正的目标动作数据，转至S402；
S402，将目标动作数据在人体运动的视频数据的前一帧加载到动作识别模型中，通过人体动作识别模型识别出前一帧中的人体关键点，将人体关键点标注在前一帧上，在前一帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的前一帧作为第一修正帧，转至S403；
S403，获取第一修正帧中具有连接关系的连线之间的夹角大小，获取目标动作数据中具有连接关系的连线之间的夹角大小，转至S404；
S404，在目标动作数据和第一修正帧中，当存在以同一个关键点为顶点的夹角之间的大小的差值的绝对值大于角度误差值的夹角时，标记该顶点为错误点，转至S405；在目标动作数据和第一修正帧中，当不存在以同一个关键点为顶点的夹角之间的大小的差值的绝对值大于角度误差值的夹角时，将第一修正帧更新为第一修正帧的前一帧，将更新后的第一修正帧加载到动作识别模型中，通过人体动作识别模型识别出更新后的第一修正帧中的人体关键点，将人体关键点标注在更新后的第一修正帧中，在更新后的第一修正帧中将每个关键点按照人体结构进行连线，将标注有人体关键点及连线的更新后的第一修正帧作为第一修正帧，转至S403；
S405，将目标动作数据、第一修正帧、目标动作数据和第一修正帧之间的所有帧按照采集时间生成修正帧序列，将错误点在修正帧序列中的每一帧上的像素坐标的平均值记为修正点，将目标动作数据中的错误点替换为修正点，将替换后的目标动作数据作为监测结果输出。
5.一种功能性康复训练闭环反馈的智能监测装置，其特征在于，所述一种功能性康复训练闭环反馈的智能监测装置包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的一种功能性康复训练闭环反馈的智能监测方法中的步骤，所述一种功能性康复训练闭环反馈的智能监测装置运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的计算设备中。
CN202211256253.6A 2022-10-14 2022-10-14 一种功能性康复训练闭环反馈的智能监测方法及系统 Active CN115346640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211256253.6A CN115346640B (zh) 2022-10-14 2022-10-14 一种功能性康复训练闭环反馈的智能监测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211256253.6A CN115346640B (zh) 2022-10-14 2022-10-14 一种功能性康复训练闭环反馈的智能监测方法及系统

Publications (2)

Publication Number Publication Date
CN115346640A true CN115346640A (zh) 2022-11-15
CN115346640B CN115346640B (zh) 2022-12-27

Family

ID=83957653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211256253.6A Active CN115346640B (zh) 2022-10-14 2022-10-14 一种功能性康复训练闭环反馈的智能监测方法及系统

Country Status (1)

Country Link
CN (1) CN115346640B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246350A (zh) * 2023-05-11 2023-06-09 山东工程职业技术大学 基于动作捕捉的运动监测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110464357A (zh) * 2019-08-13 2019-11-19 马佳鑫 一种康复过程质量监测方法及系统
CN110738717A (zh) * 2019-10-16 2020-01-31 网易（杭州）网络有限公司 动作数据的修正方法、装置及电子设备
CN113990440A (zh) * 2021-10-22 2022-01-28 成都医云科技有限公司 人体骨骼康复训练方法、装置、电子设备和存储介质
CN114550027A (zh) * 2022-01-18 2022-05-27 清华大学 基于视觉的运动视频精细分析方法和装置
CN114757855A (zh) * 2022-06-16 2022-07-15 广州三七极耀网络科技有限公司 动作数据修正方法、装置、设备及存储介质
CN114998983A (zh) * 2022-04-12 2022-09-02 长春大学 一种基于增强现实技术和姿态识别技术的肢体康复方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110464357A (zh) * 2019-08-13 2019-11-19 马佳鑫 一种康复过程质量监测方法及系统
CN110738717A (zh) * 2019-10-16 2020-01-31 网易（杭州）网络有限公司 动作数据的修正方法、装置及电子设备
CN113990440A (zh) * 2021-10-22 2022-01-28 成都医云科技有限公司 人体骨骼康复训练方法、装置、电子设备和存储介质
CN114550027A (zh) * 2022-01-18 2022-05-27 清华大学 基于视觉的运动视频精细分析方法和装置
CN114998983A (zh) * 2022-04-12 2022-09-02 长春大学 一种基于增强现实技术和姿态识别技术的肢体康复方法
CN114757855A (zh) * 2022-06-16 2022-07-15 广州三七极耀网络科技有限公司 动作数据修正方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116246350A (zh) * 2023-05-11 2023-06-09 山东工程职业技术大学 基于动作捕捉的运动监测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN115346640B (zh) 2022-12-27

Similar Documents

Publication Publication Date Title
WO2021129064A1 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
US20210110146A1 (en) Action recognition method and apparatus and electronic equipment
CN111597975B (zh) 人员动作检测方法、装置及电子设备
CN111402290A (zh) 一种基于骨骼关键点的动作还原方法以及装置
CN104821010A (zh) 基于双目视觉的人手三维信息实时提取方法及系统
WO2023151237A1 (zh) 人脸位姿估计方法、装置、电子设备及存储介质
CN115346640B (zh) 一种功能性康复训练闭环反馈的智能监测方法及系统
CN112749684A (zh) 心肺复苏术训练和评估的方法及装置、设备、存储介质
CN113409651B (zh) 直播健身方法、系统、电子设备、存储介质
EP4088219A1 (en) Motion matching analysis
CN114445853A (zh) 一种视觉手势识别系统识别方法
CN109948624A (zh) 特征提取的方法、装置、电子设备和计算机存储介质
Amaliya et al. Study on hand keypoint framework for sign language recognition
CN113674395B (zh) 一种基于单目rgb摄像头3d手部轻量级实时捕捉重建系统
CN116704603A (zh) 一种基于肢体关键点分析的动作评估纠正方法及系统
CN114694263B (zh) 动作识别方法、装置、设备及存储介质
CN116580454A (zh) 一种基于目标检测和人体姿态估计的运动评估方法及装置
Le et al. Openpose’s evaluation in the video traditional martial arts presentation
CN115797972A (zh) 一种居于ai图像识别判定四肢运动能力的系统
WO2021218126A1 (zh) 手势识别方法、终端设备及计算机可读存储介质
CN114495169A (zh) 一种人体姿态识别的训练数据处理方法、装置及设备
CN114519804A (zh) 一种人体骨架标注方法、装置及电子设备
CN115994944A (zh) 三维关键点预测方法、训练方法及相关设备
CN113724176A (zh) 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质
CN112633078A (zh) 目标跟踪自校正方法、系统、介质、设备、终端及应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant