CN115035037A - 一种基于图像处理和多特征融合的肢体康复训练方法及系统 - Google Patents

一种基于图像处理和多特征融合的肢体康复训练方法及系统 Download PDF

Info

Publication number
CN115035037A
CN115035037A CN202210507697.6A CN202210507697A CN115035037A CN 115035037 A CN115035037 A CN 115035037A CN 202210507697 A CN202210507697 A CN 202210507697A CN 115035037 A CN115035037 A CN 115035037A
Authority
CN
China
Prior art keywords
motion vector
image
standard
key points
key point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210507697.6A
Other languages
English (en)
Inventor
谢菊英
彭璐琪
王灵
胡丽萍
石俊林
黄敏
曹夏
陈菁
肖丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangnan University
Original Assignee
Xiangnan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiangnan University filed Critical Xiangnan University
Priority to CN202210507697.6A priority Critical patent/CN115035037A/zh
Publication of CN115035037A publication Critical patent/CN115035037A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及图像处理技术领域，具体涉及一种基于图像处理和多特征融合的肢体康复训练方法与系统，该方法包括：获取患者进行康复动作时的待分析图像和参考图像以及标准康复动作的标准图像；基于光流法获取各图像上的关键点的运动矢量，同时基于肢体协调性、对称性、动作匹配性得到的运动矢量作为指导运动矢量，对待分析图像的真实运动矢量进行搜索，得到各关键点的最终运动矢量；根据所述最终运动矢量对各关键点进行匹配，得到相匹配的标准关键点，根据参与同一康复动作的关键点的连线完成动作形成的面积与标准关键点的连线完成动作形成的面积得该康复动作的完成程度评价。本发明能够客观科学的评估患者康复训练状况，促使患者长期坚持训练。

Description

一种基于图像处理和多特征融合的肢体康复训练方法及系统
技术领域
本发明涉及图像处理技术领域，具体涉及一种基于图像处理和多特征融合的肢体康复训练方法及系统。
背景技术
针对某些肢体出现问题的患者，采取及时有效的肢体康复训练方法，可以部分甚至完全恢复患者的肢体功能。常用的康复方法包括运动疗法、作业疗法、物理疗法等。由于康复训练过程的时间漫长，动作的重复性高，且需要患者具有积极性，导致了只有少数的患者能够完全完成康复训练。且康复训练需要治疗师与患者一对一进行互动，当康复训练的患者较多时，可能会增加治疗师作业负担，患者不能够长期坚持训练，训练效率低，而且只能是凭借治疗师的个人经验对患者的训练情况进行康复评估。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图像处理和多特征融合的肢体康复训练方法，所采用的技术方案具体如下：
获取患者进行康复动作时的当前帧和上一帧包含人体关键点的图像，分别记为待分析图像和参考图像；并获取各帧包含标准康复动作的图像记为标准图像，所述标准图像上的人体关键点为标准关键点；基于参考图像利用光流法获取待分析图像上各关键点的初始运动矢量；
根据待分析图像上各关键点到其他关键点的距离得到各关键点的影响程度权重，利用影响程度权重与初始运动矢量的乘积得到各关键点的第一指导运动矢量；各关键点的对称关键点的初始运动矢量为各关键点的第二指导运动矢量；
基于待分析图像上各关键点的初始运动矢量与各标准图像上对应标准关键点的运动矢量的角度差异，获得与各待分析图像上各关键点相匹配的预设数量的标准关键点；对预设数量的标准关键点的运动矢量进行加权求和得到第三指导运动矢量；
基于待分析图像中各关键点的初始运动矢量、第一、第二和第三指导运动矢量得到各关键点的全局运动矢量；基于全局运动矢量获得与参与动作的各关键点相匹配的标准关键点，记为匹配关键点；根据参与同一康复动作的关键点的连线及其对应的全局运动矢量、对应的匹配关键点的连线和匹配关键点的运动矢量获得该康复动作的完成程度评价。
优选地，所述获取患者进行康复动作时的当前帧和上一帧包含人体关键点的图像具体为：获取患者进行康复动作时的当前帧和上一帧的图像，并分别对获取的图像进行人体关键点检测，得到待分析图像和参考图像。
优选地，所述各标准图像上对应标准关键点的运动矢量具体为：分别以上一帧标准图像作为参考，并利用光流法获取各帧标准图像上标准关键点的运动矢量。
优选地，所述第三指导运动矢量的获取方法具体为：
根据待分析图像上各关键点的初始运动矢量与各标准图像上对应标准关键点的运动矢量的角度差得到匹配程度；获取各关键点对应的康复动作在当前时刻已经进行的时间长度，以及所述预设数量的标准关键点对应的康复动作所需时间长度；根据各关键点对应的时间长度分别与所述预设数量的标准关键点对应的时间长度的比值、以及关键点分别与预设数量的标准关键点对应的匹配程度的乘积，得到预设数量的各标准关键点的匹配程度权重；根据所述匹配程度权重与预设数量的标准关键点的运动矢量的乘积之和，得到第三指导运动矢量。
优选地，所述全局运动矢量的获取方法具体为：
分别以关键点的初始运动矢量、第一指导运动矢量、第二指导运动矢量、第三指导运动矢量的终点位置为搜索中心，利用三步搜索法得到待分析图像上各关键点的全局运动矢量。
优选地，所述匹配关键点的获取方法具体为：根据待分析图像上各关键点的全局运动矢量与各标准图像上对应标准关键点的运动矢量的角度差得到匹配程度；获取匹配程度小于程度阈值的标准关键点记为匹配关键点。
优选地，所述完成程度评价的获取方法具体为：
根据参与同一康复动作的关键点的连线与对应的全局运动矢量得到当前时刻进行该康复动作形成的面积，根据对应的匹配关键点和运动矢量得到对应的标准动作完成时形成的面积，根据两个所述形成的面积之比得到各康复运行的完成程度评价。
本发明还提供了一种基于图像处理和多特征融合的肢体康复训练系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述一种基于图像处理和多特征融合的肢体康复训练方法的步骤。
本发明实施例至少具有如下有益效果：
本发明通过获取患者正在进行康复动作且包含人体关键点的待分析图像，基于光流法、肢体协调性、对称性、动作匹配性得到的运动矢量作为指导运动矢量，对待分析图像的真实运动矢量进行搜索，得到各关键点的最终运动矢量；根据所述最终运动矢量对各关键点进行匹配，得到相匹配的标准关键点，根据参与同一康复动作的关键点的连线完成动作形成的面积与标准关键点的连线完成动作形成的面积得该康复动作的完成程度评价。
本发明能够更加客观科学的评估患者康复训练的状况，减轻了治疗师作业负担，促使患者长期坚持训练，增加训练效率。同时考虑了多个特征获取指导运动矢量，可以更精准的定位运动矢量，大大减少搜索时间，增加搜索效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本发明的一种基于图像处理和多特征融合的肢体康复训练方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图像处理和多特征融合的肢体康复训练方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图像处理和多特征融合的肢体康复训练方法及系统的具体方案。
实施例1：
本发明所针对的具体场景为：在无专业人员或者治疗师指导时，对需要有进行肢体康复训练的患者进行康复训练指导评价。
请参阅图1，其示出了本发明一个实施例提供的一种基于图像处理和多特征融合的肢体康复训练方法的方法流程图，该方法包括以下步骤：
步骤一，获取患者进行康复动作时的当前帧和上一帧包含人体关键点的图像，分别记为待分析图像和参考图像；并获取各帧包含标准康复动作的图像记为标准图像，所述标准图像上的人体关键点为标准关键点；基于参考图像利用光流法获取待分析图像上各关键点的初始运动矢量。
首先，对正在进行康复训练的患者进行实时拍摄，采集患者正在进行康复动作的当前帧图像和上一帧的图像。同时，获取各标准康复动作的图像集。其中，针对患者进行康复训练时的所有康复动作，都有其对应的图像集，所述图像集中包括其对应康复动作的所有帧图像。
需要说明的是，所述标准康复动作的图像集，可以是由专业人员进行康复动作示范时所拍摄的图像，也可以利用相关算法获取标准动画，进而获取标准康复动作的图像集，实施者可根据实际情况选择合适的方法进行图像集的获取。
然后，需要对所有获取到的图像进行人体关键点检测。其中，进行人体关键点检测后得到的图像上把关键点表示为17个关节，分别是鼻子，左右眼，左右耳，左右肩，左右肘，左右腕，左右臀，左右膝，左右脚踝。同时，人体关键点检测为本领域技术人员公知技术，可以通过OpenPose网络模型来实现，或者利用COCO数据集来实现，实施者可根据实际情况选择合适的方法进行检测。需要说明的是，根据人体关键点检测时的设置，检测得到图像上所有关键点应是按照人体构造连接在一起的。
最后，将患者进行康复动作时的当前帧和上一帧的图像进行人体关键点检测后得到的图像分别记为待分析图像和参考图像。同时，将包含标准康复动作的图像集中各帧图像进行人体关键点检测后的图像记为标准图像。基于参考图像并且利用光流法，得到待分析图像上各关键点的初始运动矢量。同时，分别以上一帧标准图像作为参考，并利用光流法获取各帧标准图像上标准关键点的运动矢量。
具体地，为了增大数据可信性，通过对关键点进行扩增，即扩大关键点区域，即以关键点为中心选取区域大小为N*N大小区域。根据所有的以关键点为中心的区域包括关键点在内的像素点，对这些像素点使用光流法，进而得到光流场。
其中，光流场是一个二维矢量场，它反映了图像上每一点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场。它包含的信息即是各像点的瞬时运动速度矢量信息。研究光流场的目的就是为了从序列图像中近似计算不能直接得到的运动场。光流场在理想情况下，光流场对应于运动场。
步骤二，根据待分析图像上各关键点到其他关键点的距离得到各关键点的影响程度权重，利用影响程度权重与初始运动矢量的乘积得到各关键点的第一指导运动矢量；各关键点的对称关键点的初始运动矢量为各关键点的第二指导运动矢量。
首先，需要说明的是，根据连续图像获取物体运动轨迹的方式有很多，其中使用光流法可以迅速的得到运动场，但是光流法的缺点是对光的影响很敏感，并且获取的数值并不是很准确，故可结合图像上关键点的特征信息，对基于光流法得到的初始运动矢量进行赋权，得到新的指导运动矢量。
然后，在待分析图像上，相连的关键点的运动趋势相近，则可以根据图像上两两关键点之间的距离得到关键点的相关性。在本实施例中，将每条边的权值设置为1，根据两个关键点之间经过的边的权值之和，可以得到在待分析图像上两个关键点之间的距离，根据所述距离进而可以得到各关键点的影响程度权重，表示了每个关键点对其他关键点运动趋势的影响程度。
具体地，所述影响程度权重用公式表示为：
Figure BDA0003636682150000041
其中，ω1(i,j)表示关键点i和关键点j的影响程度权重，k(i,j)表示关键点i和关键点j之间的距离，n表示关键点的总个数。
需要说明的是，两个关键点之间的距离是一定的，关键点之间的运动趋势的影响程度是相互的，故计算得到的影响程度权重同时可以作为两个关键点的影响程度权重。并且在本实施例中，根据两个关键点之间经过的边的权值之和得到两个关键点之间的距离，实施者也可根据实际情况选取其他合适的方法进行计算。
根据影响程度权重和初始运动矢量的乘积得到各关键点的第一指导运动矢量，用公式表示为：
Figure BDA0003636682150000042
其中，
Figure BDA0003636682150000043
表示关键点i的第一指导运动矢量，ω(i,j)表示关键点i和关键点j的影响程度权重，
Figure BDA0003636682150000051
表示关键点j的初始运动矢量，n表示关键点的总个数。
最后，根据人体对称性可知，互为对称的关键点的运动趋势或者运动方向可能是一致的，则可根据这一特性获取新的指导运动矢量。各关键点的对称关键点的初始运动矢量为各关键点的第二指导运动矢量，用公式表示为：
Figure BDA0003636682150000052
其中，
Figure BDA0003636682150000053
表示关键点i的第二指导运动矢量，
Figure BDA0003636682150000054
表示关键点j的初始运动矢量，n表示关键点的总个数，ω2(i,j)表示关键点i与关键点j基于人体对称性得到的权重，且所述权重是人为设定的，即关键点i与关键点j互为对称关键点时，权重的取值为1，反之为0。
需要说明的是，对于一个关键点的运动方向的描述，根据人体对称性可知，若互为对称的关键点，其运动方向可能是相同也可能是相反的，例如：患者在进行康复训练时，左右腕对应的两个关键点互相对称，若患者在进行胳膊的举起或者放下的动作训练时，则左右腕对应的两个关键点的运动趋势也有可能是相反的，即左胳膊进行放下的动作训练，右胳膊进行举起的动作训练，则已知其中一个关键点的运动矢量，可以根据权重得到另一关键点的运动矢量。
若互为对称的关键点进行相同方向的康复动作时，可以得到关键点的第二指导运动矢量；互为对称的关键点进行相反方向的康复动作时，可以得到关键点的第四指导运动矢量，且所述第四指导运动矢量为第二指导运动矢量的相反数。
同时，需要说明的是，由于本实施例考虑了多种特征情况进行获取指导运动矢量，以便后续在各指导运动矢量周围搜素子块进行搜索，故不需要关注各关键点的初始运动矢量是否能够准确表征该关键点的运动趋势，只是考虑关键点在待分析图像中的最终的运动矢量的一种可能性。
步骤三，基于待分析图像上各关键点的初始运动矢量与各标准图像上对应标准关键点的运动矢量的角度差异，获得与各待分析图像上各关键点相匹配的预设数量的标准关键点；对预设数量的标准关键点的运动矢量进行加权求和得到第三指导运动矢量。
首先，需要说明的是，通过将当前人员进行的康复训练动作与已经存储好的标准的康复动作进行匹配，进而根据动作一致性，得到基于动作匹配的对应关键点的运动矢量的指导值。且其值随着动作进行，可信度随之增强。
并且在进行运动估计的动作匹配时，将所匹配的动作时间全部化为与当前帧图像对应运动时间相匹配，得出此时动作中的关键点的匹配程度。获取匹配程度最小的预设数量的康复动作对应的关键点，根据初始运动矢量对最终的运动矢量进行估计。
然后，由于一个关键点的相关康复动作不止一种，即有些康复动作不需要全部的关键点都运动，故先需要对当前采集的待分析图像进行匹配。
其中，匹配方法的一个实施例为：根据待分析图像上各关键点的初始运动矢量与各标准图像上对应标准关键点的运动矢量的角度差得到匹配程度，若匹配程度小于预设阈值，则关键点与标准关键点相匹配。
具体地，每个康复动作都具有关键点信息和关键点运动信息，获取待分析图像对应的关键点信息和关键点运动信息，同时并获取各个康复动作中标准图像对应的标准关键点信息和标准关键点运动信息。
其中，关键点信息和标准关键点信息都是一个大小为17的二值数组，当关键点或者标准关键点参与某个康复动作时，其对应的取值为1；当关键点或者标准关键点没有参与某个康复动作时，其对应的取值为0。例如，若左腕关键点参与举起胳膊的康复动作，该关键点对应的取值为1；若左腕关键点没有参与举起胳膊的康复动作时，该关键点对应的取值为0。
其中，关键点运动信息包括各关键点的初始运动矢量、以及获取待分析图像时当前康复动作已经进行的时间长度。标准关键点运动信息包括各标准关键点的运动矢量和各标准图像对应的康复动作已经进行的时间长度。
根据待分析图像对应的关键点信息与各标准图像对应的标准关键点信息进行匹配，故可知道在获取待分析图像时正在进行的康复动作。接着根据关键点的初始运动矢量，得到关键点的运动角度，用公式表示为：
Figure BDA0003636682150000061
其中，θi表示关键点i的运动角度，关键点i的初始运动矢量为
Figure BDA0003636682150000062
同理，按照相同的方法进行计算可以得到各标准关键点的运动角度。
并根据运动角度的变化进行匹配，若两个动作大致动作一样，那么在一定动作时间内，其动作方向应是一致的。即通过拟合运动时间长度与运动角度的函数关系，得到运动角度时间函数Yθ(t)，通过患者当前动作的运动角度时间函数与对应标准康复动作的角度时间函数进行比较，得到患者当前动作对应的关键点与标准康复动作对应的关键点的角度差异，进而得到各关键点的匹配程度，用公式表示为：
Figure BDA0003636682150000063
其中，D(i,o)表示关键点i和标准关键点o的匹配程度，
Figure BDA0003636682150000064
表示关键点i在t时刻对应的运动角度，
Figure BDA0003636682150000065
表示标准关键点o在t时刻对应的运动角度，t0表示获取待分析图像时当前康复动作已经进行的时间长度。并设置预设阈值，当关键点与标准关键点的匹配程度小于设定的预设阈值时，则认为该关键点与该标准关键点相匹配，且该关键点对应的康复动作与标准康复动作为同一个康复动作。在本实施例中，预设阈值的取值为10，实施者也可根据实际情况进行设置。
进一步的，所述匹配方法的另一个实施例为：
每个康复动作都具有关键点信息和关键点运动信息，获取待分析图像对应的关键点信息和关键点运动信息，同时并获取各个康复动作中标准图像对应的标准关键点信息和标准关键点运动信息。
其中，关键点信息和标准关键点信息都是一个大小为17的二值数组，当关键点或者标准关键点参与某个康复动作时，其对应的取值为1；当关键点或者标准关键点没有参与某个康复动作时，其对应的取值为0。例如，若左肘关键点参与举起胳膊的康复动作，该关键点对应的取值为1；若左肘关键点没有参与举起胳膊的康复动作时，该关键点对应的取值为0。
其中，关键点运动信息包括各关键点的初始运动矢量、获取待分析图像时当前康复动作已经进行的时间长度以及待分析图像上各关键点的初始位置坐标和最终位置坐标，所述初始位置坐标为获取待分析图像时患者正在进行的康复动作的第一帧图像上对应关键点的位置坐标，所述最终位置为待分析图像上对应关键点的位置坐标。
标准关键点运动信息包括各标准关键点的运动矢量、各标准图像对应的康复动作已经进行的时间长度以及各标准关键点的初始位置坐标和最终位置坐标，所述标准关键点的初始位置坐标为各标准动作对应的第一帧标准图像上标准关键点的位置坐标，标准关键点的最终位置坐标为各标准动作对应的除第一帧以外的其他各帧图像上标准关键点的位置坐标。
需要说明的是，由于各个标准康复动作都是完整的康复动作，每个康复动作对应的一个标准图像集，对于标准康复动作来说，除了第一帧标准图像以外每一帧标准图像都有可能作为最后停止帧图像与获取的待分析图像进行对比，故除了第一帧标准图像之外的每一帧标准图像上各标准关键点的位置坐标均可称作最终位置坐标。
根据待分析图像对应的关键点信息与各标准图像对应的标准关键点信息进行匹配，故可知道在获取待分析图像时正在进行的康复动作。接着根据关键点的初始运动矢量，得到关键点的运动角度，用公式表示为：
Figure BDA0003636682150000071
其中，θi表示关键点i的运动角度，关键点i的初始运动矢量为
Figure BDA0003636682150000072
同理，按照相同的方法进行计算可以得到各标准关键点的运动角度。
判断关键点是否参与某个康复动作的方法为：根据关键点的初始位置坐标与最终位置坐标，得到各关键点的位移。若关键点的位移小于位移阈值，且关键点的运动角度小于角度阈值，则认为该关键点没有参与此康复动作。
同时使用聚类算法，对患者正在进行的康复动作与标准康复动作进行匹配。先根据关键点的位移和运动角度，计算关键点的匹配程度，用公式表示为：
Figure BDA0003636682150000073
其中，D(i,o)表示关键点i和标准关键点o的匹配程度，di和do分别表示关键点i和标准关键点o的位移，θi和θo分别表示关键点i的运动角度和标准关键点o的运动角度。
根据各关键点的匹配程度对康复动作进行匹配，将康复动作进行聚类匹配，在本实施例中，使用的聚类算法为自适应终止条件的层次聚类算法。其中，层次聚类算法的终止条件为：
根据类内方差最小原则获取第一终止条件，即计算各类别内的方差T1；根据类间方差最大原则获取第二终止条件，即计算类间方差T2；根据康复动作一致性原则得到第三终止条件，即由于患者在做康复训练过程中，可以根据肢体中每两个相连的关键点运动形成的面积表示该康复动作的完成程度，用公式表示为：
Figure BDA0003636682150000081
其中，T3表示第三终止条件对应的取值，表示第k组关键点连接后运动形成的区域轮廓的面积大小，表示第e组标准关键点连接后运动形成的区域轮廓的面积大小，f表示参与该动作的可两两连接关键点的数量。
根据动作匹配原则获取第四终止条件，即每一聚类簇中最多含有2个元素的原则得到第四终止条件，用公式表示为：
Figure BDA0003636682150000082
其中，T4表示第四终止条件对应的取值，
Figure BDA0003636682150000089
表示第r个聚类簇中含有的元素的个数，l表示聚类簇的总个数。
则层次聚类算法的终止条件T为：
Figure BDA0003636682150000083
并设置条件阈值，当终止条件T小于条件阈值时，则认为聚类终止，在本实施例中条件阈值的取值为0.1。
最后，获得与各待分析图像上各关键点相匹配的预设数量的标准关键点，根据各关键点对应的时间长度分别与所述预设数量的标准关键点对应的时间长度的比值、以及关键点分别与预设数量的标准关键点对应的匹配程度的乘积，得到预设数量的各标准关键点的匹配程度权重；根据所述匹配程度权重与预设数量的标准关键点的运动矢量的乘积之和，得到第三指导运动矢量，用公式表示为：
Figure BDA0003636682150000084
其中，μo表示标准关键点o的匹配系数，D(i,o)表示关键点i和标准关键点o的匹配程度，ti表示关键点i对应的康复动作在当前时刻已经进行的时间长度，to表示标准关键点o对应的康复动作所需时间长度。
Figure BDA0003636682150000085
其中，γo表示标准关键点o的匹配程度权重，μo表示标准关键点o的匹配系数，m表示与各待分析图像上各关键点相匹配的预设数量的标准关键点，在本实施例中，预设数量的取值为3，实施者可根据实际情况进行选择。
Figure BDA0003636682150000086
其中，
Figure BDA0003636682150000087
表示关键点i的第三指导运动矢量，γo表示标准关键点o的匹配程度权重，
Figure BDA0003636682150000088
表示标准关键点o的运动矢量，m表示与各待分析图像上各关键点相匹配的预设数量的标准关键点。
步骤四，基于待分析图像中各关键点的初始运动矢量、第一、第二和第三指导运动矢量得到各关键点的全局运动矢量；基于全局运动矢量获得与参与动作的各关键点相匹配的标准关键点，记为匹配关键点；根据参与同一康复动作的关键点的连线及其对应的全局运动矢量、对应的匹配关键点的连线和匹配关键点的运动矢量获得该康复动作的完成程度评价。
首先，分别以关键点的初始运动矢量、第一指导运动矢量、第二指导运动矢量、第三指导运动矢量的终点位置为搜索中心，利用三步搜索法得到待分析图像上各关键点的全局运动矢量。
其中，利用三步搜索法进行分析的具体步骤为：
1)分别以关键点的初始运动矢量、第一指导运动矢量、第二指导运动矢量、第三指导运动矢量以及第四指导运动矢量的终点位置为搜索中心。若各运动矢量的终点位置不是在一个像素块内，则通过计算位置信息，得到距离运动矢量最近的一个像素块，并将以该像素块为中心搜索，设置搜索步长，在周围8个点处和搜索中心处进行匹配误差比较，即计算这9个点的SAD值，选择SAD值最小的点作为下一次搜索的中心点；在本实施例中，SAD值的计算方法为对应像素块的灰度差异。
2)将步骤1)的搜索步长减半作为本步骤的搜索步长，以步骤1)得到的中心点为新的搜索中心，在周围8个点处进行匹配误差比较，得到一个最佳匹配点。
3)获取步骤2)得到的最佳匹配点，若此时的步长为1，则所在位置就对应最佳运动矢量，算法结束；否则重复步骤2)。
需要说明的是，三步搜索法可能会由于进行第一步时的搜索步长精度不够等问题，容易陷入局部最优解，故而基于光流法、肢体协调性、对称性、动作匹配性得到的运动矢量作为指导运动矢量，对待分析图像的真实运动矢量进行搜索，可以更精准的定位运动矢量，大大减少搜索时间，增加搜索效率。
然后，结合频域相位信息对各关键点的全局运动矢量进行修正。相位相关法可以用于检测两幅内容相同的图像之间的相对位移量，由于该方法只取互功率谱中的相位信息，对噪声有较好的容忍度，同时减少了对图像内容的依赖，具有较好的鲁棒性。
由于图像的相位不具有平移不变性和旋转不变性。而需要通过相位图判断图像的位移，便可将旋转了的图像旋转回去，进而在根据相位得到图像的位移情况，故而可以通过将图像进行旋转，再对图像使用相位相关法检测图像位移量。进而对上述得到的运动矢量进行修正。即通过对关键点区域的旋转，使得当前帧关键点区域与上一相邻帧对应区域的差异仅为位移差异。(认定在同一像素块内的元素的运动矢量是一致的)，根据此算法得到的运动矢量为
Figure BDA0003636682150000091
通过考虑频域信息与空域信息，得到待分析图像上各关键点的最终运动矢量，用公式表示为：
Figure BDA0003636682150000092
其中，
Figure BDA0003636682150000093
表示关键点的最终运动矢量，
Figure BDA0003636682150000094
表示关键点的全局运动矢量，
Figure BDA0003636682150000095
表示基于相位相关法得到的运动矢量。
最后，按照步骤三中的匹配方法，并根据各关键点的最终运动矢量，获取与待分析图像上各关键点相匹配的标准关键点，即根据待分析图像上各关键点的最终运动矢量与各标准图像上对应标准关键点的运动矢量的角度差得到匹配程度；获取匹配程度小于程度阈值的标准关键点，记为匹配关键点。
需要说明的是，由于患者在进行康复动作时，对应的待分析图像上相关的关键点连线会随着动作的完成而形成运动轨迹，故可将关键点连线形成的面积与标准动作对应的标准关键点连线形成的面积进行对比，则可以得到患者当前正在进行的动作的完成程度。
具体地，根据参与同一康复动作的关键点的连线与对应的全局运动矢量得到当前时刻进行该康复动作形成的面积，根据对应的匹配关键点和运动矢量得到对应的标准动作完成时形成的面积，根据两个所述形成的面积之比得到各康复运行的完成程度评价。根据所述完成程度评价就可以知道患者进行康复训练的情况以及当前动作的完成程度，完成程度评价的取值越大，说明该患者的康复动作完成的越好。
实施例2：
本实施例提供了一种基于图像处理和多特征融合的肢体康复训练系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被处理器执行时实现所述一种基于图像处理和多特征融合的肢体康复训练方法的步骤。由于实施例1已经对一种基于图像处理和多特征融合的肢体康复训练方法进行了详细的阐述，此处不再过多介绍。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (8)

1.一种基于图像处理和多特征融合的肢体康复训练方法，其特征在于，该方法包括以下步骤：
获取患者进行康复动作时的当前帧和上一帧包含人体关键点的图像，分别记为待分析图像和参考图像；并获取各帧包含标准康复动作的图像记为标准图像，所述标准图像上的人体关键点为标准关键点；基于参考图像利用光流法获取待分析图像上各关键点的初始运动矢量；
根据待分析图像上各关键点到其他关键点的距离得到各关键点的影响程度权重，利用影响程度权重与初始运动矢量的乘积得到各关键点的第一指导运动矢量；各关键点的对称关键点的初始运动矢量为各关键点的第二指导运动矢量；
基于待分析图像上各关键点的初始运动矢量与各标准图像上对应标准关键点的运动矢量的角度差异，获得与各待分析图像上各关键点相匹配的预设数量的标准关键点；对预设数量的标准关键点的运动矢量进行加权求和得到第三指导运动矢量；
基于待分析图像中各关键点的初始运动矢量、第一、第二和第三指导运动矢量得到各关键点的全局运动矢量；基于全局运动矢量获得与参与动作的各关键点相匹配的标准关键点，记为匹配关键点；根据参与同一康复动作的关键点的连线及其对应的全局运动矢量、对应的匹配关键点的连线和匹配关键点的运动矢量获得该康复动作的完成程度评价。
2.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法，其特征在于，所述获取患者进行康复动作时的当前帧和上一帧包含人体关键点的图像具体为：
获取患者进行康复动作时的当前帧和上一帧的图像，并分别对获取的图像进行人体关键点检测，得到待分析图像和参考图像。
3.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法，其特征在于，所述各标准图像上对应标准关键点的运动矢量具体为：分别以上一帧标准图像作为参考，并利用光流法获取各帧标准图像上标准关键点的运动矢量。
4.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法，其特征在于，所述第三指导运动矢量的获取方法具体为：
根据待分析图像上各关键点的初始运动矢量与各标准图像上对应标准关键点的运动矢量的角度差得到匹配程度；
获取各关键点对应的康复动作在当前时刻已经进行的时间长度，以及所述预设数量的标准关键点对应的康复动作所需时间长度；
根据各关键点对应的时间长度分别与所述预设数量的标准关键点对应的时间长度的比值、以及关键点分别与预设数量的标准关键点对应的匹配程度的乘积，得到预设数量的各标准关键点的匹配程度权重；
根据所述匹配程度权重与预设数量的标准关键点的运动矢量的乘积之和，得到第三指导运动矢量。
5.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法，其特征在于，所述全局运动矢量的获取方法具体为：
分别以关键点的初始运动矢量、第一指导运动矢量、第二指导运动矢量、第三指导运动矢量的终点位置为搜索中心，利用三步搜索法得到待分析图像上各关键点的全局运动矢量。
6.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法，其特征在于，所述匹配关键点的获取方法具体为：
根据待分析图像上各关键点的全局运动矢量与各标准图像上对应标准关键点的运动矢量的角度差得到匹配程度；获取匹配程度小于程度阈值的标准关键点记为匹配关键点。
7.根据权利要求1所述的一种基于图像处理和多特征融合的肢体康复训练方法，其特征在于，所述完成程度评价的获取方法具体为：
根据参与同一康复动作的关键点的连线与对应的全局运动矢量得到当前时刻进行该康复动作形成的面积，根据对应的匹配关键点和运动矢量得到对应的标准动作完成时形成的面积，根据两个所述形成的面积之比得到各康复运行的完成程度评价。
8.一种基于图像处理和多特征融合的肢体康复训练系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种基于图像处理和多特征融合的肢体康复训练方法的步骤。
CN202210507697.6A 2022-05-10 2022-05-10 一种基于图像处理和多特征融合的肢体康复训练方法及系统 Withdrawn CN115035037A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210507697.6A CN115035037A (zh) 2022-05-10 2022-05-10 一种基于图像处理和多特征融合的肢体康复训练方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210507697.6A CN115035037A (zh) 2022-05-10 2022-05-10 一种基于图像处理和多特征融合的肢体康复训练方法及系统

Publications (1)

Publication Number Publication Date
CN115035037A true CN115035037A (zh) 2022-09-09

Family

ID=83120516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210507697.6A Withdrawn CN115035037A (zh) 2022-05-10 2022-05-10 一种基于图像处理和多特征融合的肢体康复训练方法及系统

Country Status (1)

Country Link
CN (1) CN115035037A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331153A (zh) * 2022-10-12 2022-11-11 山东省第二人民医院(山东省耳鼻喉医院、山东省耳鼻喉研究所) 一种用于辅助前庭康复训练的姿态监测方法
CN115586798A (zh) * 2022-12-12 2023-01-10 广东电网有限责任公司湛江供电局 一种无人机防坠毁方法和系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331153A (zh) * 2022-10-12 2022-11-11 山东省第二人民医院(山东省耳鼻喉医院、山东省耳鼻喉研究所) 一种用于辅助前庭康复训练的姿态监测方法
CN115331153B (zh) * 2022-10-12 2022-12-23 山东省第二人民医院(山东省耳鼻喉医院、山东省耳鼻喉研究所) 一种用于辅助前庭康复训练的姿态监测方法
CN115586798A (zh) * 2022-12-12 2023-01-10 广东电网有限责任公司湛江供电局 一种无人机防坠毁方法和系统
CN115586798B (zh) * 2022-12-12 2023-03-24 广东电网有限责任公司湛江供电局 一种无人机防坠毁方法和系统

Similar Documents

Publication Publication Date Title
Bazarevsky et al. Blazepose: On-device real-time body pose tracking
WO2021129064A1 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
WO2018120964A1 (zh) 一种基于深度信息和骨骼信息的姿势矫正方法
Díaz et al. DTCoach: your digital twin coach on the edge during COVID-19 and beyond
WO2020156245A1 (zh) 动作识别方法、装置、设备及存储介质
CN111881887A (zh) 基于多摄像头的运动姿态监测和指导方法及装置
Nagarkoti et al. Realtime indoor workout analysis using machine learning & computer vision
CN115035037A (zh) 一种基于图像处理和多特征融合的肢体康复训练方法及系统
US20210315486A1 (en) System and Method for Automatic Evaluation of Gait Using Single or Multi-Camera Recordings
CN111144165B (zh) 一种步态信息识别方法、系统及存储介质
Deb et al. Graph convolutional networks for assessment of physical rehabilitation exercises
CN112800892B (zh) 一种基于openpose的人体姿态识别方法
Tsai et al. Enhancing accuracy of human action Recognition System using Skeleton Point correction method
Cui et al. Deep learning based advanced spatio-temporal extraction model in medical sports rehabilitation for motion analysis and data processing
CN114399829B (zh) 基于生成式对抗网络的姿态迁移方法、电子设备及介质
Sheu et al. Improvement of human pose estimation and processing with the intensive feature consistency network
Yang et al. Human exercise posture analysis based on pose estimation
Ohri et al. On-device realtime pose estimation & correction
He et al. A new Kinect-based posture recognition method in physical sports training based on urban data
Kanase et al. Pose estimation and correcting exercise posture
Santhalingam et al. Synthetic smartwatch imu data generation from in-the-wild asl videos
Yang et al. Mm-fi: Multi-modal non-intrusive 4d human dataset for versatile wireless sensing
CN112257642B (zh) 人体连续动作相似性评价方法及评价装置
CN115331153A (zh) 一种用于辅助前庭康复训练的姿态监测方法
Tsai et al. Temporal-variation skeleton point correction algorithm for improved accuracy of human action recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20220909