CN115337607B - 一种基于计算机视觉的上肢运动康复训练方法 - Google Patents

一种基于计算机视觉的上肢运动康复训练方法 Download PDF

Info

Publication number
CN115337607B
CN115337607B CN202211256257.4A CN202211256257A CN115337607B CN 115337607 B CN115337607 B CN 115337607B CN 202211256257 A CN202211256257 A CN 202211256257A CN 115337607 B CN115337607 B CN 115337607B
Authority
CN
China
Prior art keywords
image
sequence
rehabilitation training
images
upper limb
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211256257.4A
Other languages
English (en)
Other versions
CN115337607A (zh
Inventor
黄峰
罗子芮
张盘德
骆志强
黄文柱
燕铁斌
王志军
刘瑞
徐硕瑀
陈钢
谢韶东
陈仰新
方永宁
华夏
尹博
尹杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan University
Original Assignee
Foshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan University filed Critical Foshan University
Priority to CN202211256257.4A priority Critical patent/CN115337607B/zh
Publication of CN115337607A publication Critical patent/CN115337607A/zh
Application granted granted Critical
Publication of CN115337607B publication Critical patent/CN115337607B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B23/00—Exercising apparatus specially adapted for particular parts of the body
    • A63B23/035—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously
    • A63B23/12—Exercising apparatus specially adapted for particular parts of the body for limbs, i.e. upper or lower limbs, e.g. simultaneously for upper limbs or related muscles, e.g. chest, upper back or shoulder muscles
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075—Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明提供了一种基于计算机视觉的上肢运动康复训练方法，采集康复训练过程中上肢的运动图像，将运动图像进行处理，提取处理后的运动图像中的运动数据，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示。所述方法能够判断康复训练的效果是否达标，无需康复师人工判断，大幅节省人力物力，在康复训练过程中强化肢体的动作数据，提高判断的正确率，通过将患者的肢体图像和标准图像通过计算机视觉技术进行周详对比，保证康复训练过程能够有效推进，同时能够减少训练过程中相关资源的消耗，充分加速患者的上肢康复训练过程。

Description

一种基于计算机视觉的上肢运动康复训练方法
技术领域
本发明涉及计算机辅助康复医学领域，特别涉及一种基于计算机视觉的上肢运动康复训练方法。
背景技术
随着计算机技术领域的发展，利用计算机辅助应用的场景越来越多，在康复医学领域，在康复训练过程中采用计算机进行辅助的方式日趋广泛，相比于传统的人工辅助训练，计算机辅助在短时间内能完成分析、预测、跟踪、决策等多种功能，且其性能效果皆优于人工辅助训练方式。
传统的上肢康复训练方式往往需要多名医护人员通过人工辅助或借助简单机械带动上肢进行，这种训练方法对康复师或医护人员的体力消耗较大，且难以持续保证康复训练的强度，利用计算机视觉在康复训练过程中实现人机交互，通过目标识别、目标检测、目标分割等图像或视频处理技术，能够大大加速康复训练过程，节省人力成本的同时还能够有效提高康复效果。
发明内容
本发明的目的在于提出一种基于计算机视觉的上肢运动康复训练方法，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
本发明提供了一种基于计算机视觉的上肢运动康复训练方法，采集康复训练过程中上肢的运动图像，将运动图像进行处理，提取处理后的运动图像中的运动数据，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示。所述方法能够判断康复训练的效果是否达标，无需康复师人工判断，大幅节省人力物力，在康复训练过程中强化肢体的动作数据，提高判断的正确率，通过将患者的肢体图像和标准图像通过计算机视觉技术进行周详对比，保证康复训练过程能够有效推进，同时能够减少训练过程中相关资源的消耗，充分加速患者的上肢康复训练过程。
为了实现上述目的，根据本公开的一方面，提供一种基于计算机视觉的上肢运动康复训练方法，所述方法包括以下步骤：
S100，采集康复训练过程中上肢的运动图像；
S200，将运动图像进行处理，提取处理后的运动图像中的运动数据；
S300，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示。
进一步地，康复训练包括肩关节活动训练、肘关节运动训练、腕部背伸或屈曲训练、手指伸展或弯曲训练、肩关节上举训练、肘关节以屈伸及内外旋转功能训练、腕关节掌心方向的屈曲和掌背方向背伸功能以及矢状轴的桡骨或尺骨侧曲和旋转训练、掌指关节以曲伸内收外展和握拳及伸展训练中的任意一种或多种训练。
进一步地，步骤S100中，采集康复训练过程中上肢的运动图像，具体方法为：通过动作捕捉仪（高速摄像机）捕捉患者在康复训练过程中患者的上肢完成康复训练动作时的运动图像，所述康复训练动作指患者完成所述康复训练时所做出的肢体动作。
进一步地，步骤S200中，将运动图像进行处理，提取处理后的运动图像中的运动数据，具体步骤为：
S201，读取运动图像，转至S202；
S202，将运动图像进行腐蚀，将腐蚀后的运动图像记为第一图像，记第一图像对应的图像矩阵为第一矩阵，转至S203；
S203，遍历第一图像中每个像素点的像素值，如果第一图像中出现像素值为255的像素点，转至S204；如果第一图像中没有像素值为255的像素点，转至S205；
S204，对第一图像进行开运算，将进行开运算后的第一图像记为第二图像，记第二图像对应的图像矩阵为第二矩阵，将第一矩阵减去第二矩阵得到的矩阵记为第三矩阵，将第三矩阵转化为第三图像，将运动图像更新为第三图像，转至S202；
S205，将第一图像作为处理后的运动图像；
S206，将所有处理后的运动图像按照采集时间排列构成运动图像序列，通过opencv的blob检测依次提取运动图像序列中每张图像的连通区域，记该连通区域的面积为区域积，将所有图像的区域积作为运动数据。
本步骤的有益效果为：由于患者在康复训练过程中的运动图像的噪音过多，影响关键肢体的框架提取，本步骤的方法通过对图像进行腐蚀及开运算，持续消除后景，能够有效提取出上肢的局部数据，减少资源消耗。
优选地，步骤S200中，将运动图像进行处理，提取处理后的运动图像中的运动数据的具体步骤还可以为：将运动图像进行腐蚀运算和开运算处理，通过opencv的blob检测依次提取运动图像序列中每张图像的连通区域，记该连通区域的面积为区域积，将所有图像的区域积作为运动数据。
进一步地，步骤S300中，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示，具体方法为：
S301，依次计算运动图像序列中每个图像的像素均值，所述像素均值即图像中所有像素点的像素值的平均值，记运动图像序列中像素均值最大的图像为前位图像，记运动图像序列中像素均值最小的图像为中位图像，以序列MmData储存运动数据，记前位图像的区域积为Im，将序列MmData中的所有元素的值逐个减去Im得到N个数值，对这N个数值取绝对值运算，以这N个数值组成的序列作为析取序列Aos，记Aos中所有元素的平均值为SSA，转至S302；
S302，在运动图像序列中以所有区域积的值低于SSA的图像组成的序列作为合取图像序列，在合取图像序列中记像素均值最大的图像为后位图像，在运动图像序列中记前位图像和后位图像之间的图像的数量为M（运动图像序列中所有图像按照采集时间排列，前位图像和后位图像之间存在多个图像，M即为这多个图像的数量），在运动图像序列中以中位图像的前M个图像和中位图像的后M个图像之间的所有图像构成的序列作为排斥图像序列，计算排斥图像序列中每个图像的上肢映射值，所述图像的上肢映射值为图像中所有像素值非零的像素点的像素值的总和，记排斥图像序列中所有图像的上肢映射值的平均值为Um，计算中位图像的上肢映射值Siom，以运动图像序列中上肢映射值大于Um+Siom的所有图像构成相容图像序列，转至S303；
S303，读取标准图像，转至S304；
S304，将标准图像进行腐蚀，将腐蚀后的标准图像记为第五图像，记第五图像对应的图像矩阵为第五矩阵，转至S305；
S305，遍历第五图像中每个像素点的像素值，如果第五图像中出现像素值为255的像素点，转至S306；如果第五图像中没有像素值为255的像素点，转至S307；
S306，对第五图像进行开运算，将进行开运算后的第五图像记为第六图像，记第六图像对应的图像矩阵为第六矩阵，将第五矩阵减去第六矩阵得到的矩阵记为第七矩阵，将第七矩阵转化为第七图像，将标准图像更新为第七图像，转至S304；
S307，将第五图像作为处理后的标准图像，记标准图像的区域积为Imis，当相容图像序列中存在区域积低于Imis的图像时，将处理后的标准图像输出到显示器并且播放第一语音；当相容图像序列中不存在区域积低于Imis的图像时，播放第二语音。
其中，所述第一语音为预先录制好的“动作错误”语音；所述第二语音为预先录制好的“动作正确”语音。
本步骤的有益效果为：由于患者在康复训练过程中上肢动作的图像较多，对康复效果的判断有较大影响，本步骤的方法可以在运动图像序列中筛选出最能以上肢映射值反映出来上肢舒展度最容易识别的运动图像组成相容图像序列，此外相容图像序列中的图像还是通过能够以上肢映射值表现出来的上肢运动的最清晰的像素图像，通过构建多个图像序列与标准图像进行综合比较，利用图像的区域积和像素均值为患者的上肢运动的正确性提供判断依据，在训练过程中能够真实反映恢复效果，还能够减小运动图像占用，降低图像处理过程的资源消耗。
由于筛选运动图像的过程中可能存在忽略部分图像的情况，导致判断患者的上肢运动的正确性结果错误，为解决该问题，并加快图像处理过程，通过运动数据判断患者的上肢运动的正确性还可以是以下步骤：
优选地，记相容图像序列中所有图像的像素均值的平均值为Aop，在合取图像序列和排斥图像序列中筛选出像素均值大于Aop的图像，记这些图像的数量为Num，记排斥图像序列中所有图像的数量为Eis，取Seg=MOD(Eis/Num)，MOD表示取余操作；在排斥图像序列中从第一个图像开始以每Seg张图像为一组将所有图像划分为S组排斥图像子序列；其中，当Eis/Seg为整数时，S取Eis/Seg；当Eis/Seg不为整数时，取S= INT (Eis/Seg)+1，INT表示取整操作；以每组排斥图像子序列中的所有图像的区域积的平均值组成的序列作为排斥序列ES（ES中元素个数为S个），计算图像反斥系数Δ；
Figure DEST_PATH_IMAGE002AA
；
式中，i为变量，i∈[1,S]，ESi为排斥序列ES中的第i个元素，Aosi为析取序列Aos中的第i个元素；
当相容图像序列中存在区域积低于Imis且高于图像反斥系数Δ的图像时，将所述图像输出到显示器并且播放第一语音；当相容图像序列中不存在区域积低于Imis且高于图像反斥系数Δ的图像时，播放第二语音。
本步骤的有益效果为：由于根据相容图像序列计算得到的图像反斥系数Δ能够反映上肢完整数据的图像中较为核心的各个图像的相容性向排斥性变化的趋势程度，本步骤通过从三个图像序列中筛选出部分图像作为判断结果的下限数据，利用运动图像的像素均值和区域积的量化结果的图像反斥系数Δ确保能够体现出训练过程中肢体的真实的运动状态，避免重复训练或训练不足，加快康复过程。
本公开还提供了一种基于计算机视觉的上肢运动康复训练系统，所述一种基于计算机视觉的上肢运动康复训练系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于计算机视觉的上肢运动康复训练方法中的步骤，所述基于计算机视觉的上肢运动康复训练系统可以运行于桌上型计算机、笔记本电脑、移动电话、手提电话、平板电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群，所述处理器执行所述计算机程序运行在以下系统的单元中：
图像采集单元，用于采集康复训练过程中上肢的运动图像；
数据提取单元，用于将运动图像进行处理，提取处理后的运动图像中的运动数据；
状态判断单元，用于通过运动数据计算并输出康复训练的标准图像，同时发出语音提示。
本发明的有益效果为：所述方法能够判断康复训练的效果是否达标，无需康复师人工判断，大幅节省人力物力，在康复训练过程中强化肢体的动作数据，提高判断的正确率，通过将患者的肢体图像和标准图像通过计算机视觉技术进行周详对比，保证康复训练过程能够有效推进，同时能够减少训练过程中相关资源的消耗，充分加速患者的上肢康复训练过程。
附图说明
通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：
图1所示为一种基于计算机视觉的上肢运动康复训练方法的流程图；
图2所示为一种基于计算机视觉的上肢运动康复训练系统的系统结构图。
具体实施方式
以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
如图1所示为根据本发明的一种基于计算机视觉的上肢运动康复训练方法的流程图，下面结合图1来阐述根据本发明的实施方式的一种基于计算机视觉的上肢运动康复训练方法。
本公开提出一种基于计算机视觉的上肢运动康复训练方法，所述方法包括以下步骤：
S100，采集康复训练过程中上肢的运动图像；
S200，将运动图像进行处理，提取处理后的运动图像中的运动数据；
S300，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示。
进一步地，康复训练包括肩关节活动训练、肘关节运动训练、腕部背伸或屈曲训练、手指伸展或弯曲训练、肩关节上举训练、肘关节以屈伸及内外旋转功能训练、腕关节掌心方向的屈曲和掌背方向背伸功能以及矢状轴的桡骨或尺骨侧曲和旋转训练、掌指关节以曲伸内收外展和握拳及伸展训练中的任意一种或多种训练。
进一步地，步骤S100中，采集康复训练过程中上肢的运动图像，具体方法为：通过动作捕捉仪（高速摄像机）捕捉患者在康复训练过程中患者的上肢完成康复训练动作时的运动图像，所述康复训练动作指患者完成所述康复训练时所做出的肢体动作。
进一步地，步骤S200中，将运动图像进行处理，提取处理后的运动图像中的运动数据，具体步骤为：
S201，读取运动图像，转至S202；
S202，将运动图像进行腐蚀，将腐蚀后的运动图像记为第一图像，记第一图像对应的图像矩阵为第一矩阵，转至S203；
S203，遍历第一图像中每个像素点的像素值，如果第一图像中出现像素值为255（或者像素值为200~255）的像素点，转至S204；如果第一图像中没有像素值为255（或者像素值为200~255）的像素点，转至S205；
S204，对第一图像进行开运算，将进行开运算后的第一图像记为第二图像，记第二图像对应的图像矩阵为第二矩阵，将第一矩阵减去第二矩阵得到的矩阵记为第三矩阵，将第三矩阵转化为第三图像，将运动图像更新为第三图像，转至S202；
S205，将第一图像作为处理后的运动图像；
S206，将所有处理后的运动图像按照采集时间排列构成运动图像序列，通过opencv的blob检测依次提取运动图像序列中每张图像的连通区域，记该连通区域的面积为区域积，将所有图像的区域积作为运动数据。
进一步地，步骤S300中，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示，具体方法为：
S301，依次计算运动图像序列中每个图像的像素均值，所述像素均值即图像中所有像素点的像素值的平均值，记运动图像序列中像素均值最大的图像为前位图像，记运动图像序列中像素均值最小的图像为中位图像，以序列MmData储存运动数据，记前位图像的区域积为Im，将序列MmData中的所有元素的值逐个减去Im得到N个数值，对这N个数值取绝对值运算，以这N个数值构成析取序列Aos，记Aos中所有元素的平均值为SSA，转至S302；
S302，在运动图像序列中以所有区域积的值低于SSA的图像构成合取图像序列，在合取图像序列中记像素均值最大的图像为后位图像，在运动图像序列中记前位图像和后位图像之间的图像的数量为M（运动图像序列中所有图像按照采集时间排列，前位图像和后位图像之间存在多个图像，M即为这多个图像的数量），在运动图像序列中以中位图像的前M个图像和中位图像的后M个图像之间的所有图像构建排斥图像序列，计算排斥图像序列中每个图像的上肢映射值，所述图像的上肢映射值为图像中所有像素值非零的像素点的像素值的总和，记排斥图像序列中所有图像的上肢映射值的平均值为Um，计算中位图像的上肢映射值Siom，以运动图像序列中上肢映射值大于Um+Siom的所有图像构成相容图像序列，转至S303；
S303，读取标准图像，所述标准图像为康复师在演示康复训练过程中康复师的上肢完成康复训练动作时的运动图像，或者所述标准图像为预先存储在数据库中的上肢运动的动作图像；
S304，对标准图像进行腐蚀运算，将腐蚀运算后的标准图像记为第五图像，记第五图像对应的图像矩阵为第五矩阵，转至S305；
S305，遍历第五图像中每个像素点的像素值，如果第五图像中出现像素值为255（或者像素值为200~255）的像素点，转至S306；如果第五图像中没有像素值为255（或者像素值为200~255）的像素点，转至S307；
S306，对第五图像进行开运算，将进行开运算后的第五图像记为第六图像，记第六图像对应的图像矩阵为第六矩阵，将第五矩阵减去第六矩阵得到的矩阵记为第七矩阵，将第七矩阵转化为第七图像，将标准图像更新为第七图像，转至S304；
S307，将第五图像作为处理后的标准图像，记标准图像的区域积为Imis，当相容图像序列中存在区域积低于Imis的图像时，将处理后的标准图像（即康复训练的标准图像）输出到显示器并且播放第一语音；当相容图像序列中不存在区域积低于Imis的图像时，播放第二语音。
其中，所述第一语音为预先录制好的“动作错误”语音；所述第二语音为预先录制好的“动作正确”语音。
由于筛选运动图像的过程中可能存在忽略部分图像的情况，导致判断患者的上肢运动的正确性结果错误，为解决该问题，并加快图像处理过程，通过运动数据判断患者的上肢运动的正确性还可以是以下步骤：
优选地，进一步地，步骤S300中，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示的方法还可以包括以下步骤：
记相容图像序列中所有图像的像素均值的平均值为Aop，在合取图像序列和排斥图像序列中筛选出像素均值大于Aop的图像，记这些图像的数量为Num，记排斥图像序列中所有图像的数量为Eis，取Seg=MOD(Eis/Num)，MOD表示取余操作；在排斥图像序列中从第一个图像开始以每Seg张图像为一组将所有图像划分为S组排斥图像子序列；其中，当Eis/Seg为整数时，S取Eis/Seg；当Eis/Seg不为整数时，取S= INT (Eis/Seg)+1，INT表示取整操作；以每组排斥图像子序列中的所有图像的区域积的平均值组成的序列作为排斥序列ES（ES中元素个数为S个），计算图像反斥系数Δ；
Figure DEST_PATH_IMAGE004
；
式中，i为变量，i∈[1,S]，ESi为排斥序列ES中的第i个元素，Aosi为析取序列Aos中的第i个元素；
当相容图像序列中存在区域积低于Imis且高于图像反斥系数Δ的图像时，将所述图像（即康复训练的标准图像）输出到显示器并且播放第一语音；当相容图像序列中不存在区域积低于Imis且高于图像反斥系数Δ的图像时，播放第二语音。
本步骤的有益效果为：由于根据相容图像序列计算得到的图像反斥系数Δ能够反映上肢完整数据的图像中较为核心的各个图像的相容性向排斥性变化的趋势程度，本步骤通过从三个图像序列中筛选出部分图像作为判断结果的下限数据，利用运动图像的像素均值和区域积的量化结果的图像反斥系数Δ确保能够体现出训练过程中肢体的真实的运动状态，避免重复训练或训练不足，加快康复过程。
所述一种基于计算机视觉的上肢运动康复训练系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于计算机视觉的上肢运动康复训练方法实施例中的步骤，所述一种基于计算机视觉的上肢运动康复训练系统可以运行于桌上型计算机、笔记本电脑、移动电话、手提电话、平板电脑、掌上电脑及云端数据中心等计算设备中，可运行的系统可包括，但不仅限于，处理器、存储器、服务器集群。
本公开的实施例提供的一种基于计算机视觉的上肢运动康复训练系统，如图2所示，该实施例的一种基于计算机视觉的上肢运动康复训练系统包括：处理器、存储器及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于计算机视觉的上肢运动康复训练方法实施例中的步骤，所述处理器执行所述计算机程序运行在以下系统的单元中：
图像采集单元，用于采集康复训练过程中上肢的运动图像；
数据提取单元，用于将运动图像进行处理，提取处理后的运动图像中的运动数据；
状态判断单元，用于通过运动数据计算并输出康复训练的标准图像，同时发出语音提示。
优选地，所述一种基于计算机视觉的上肢运动康复训练系统还包括显示器和扬声器，所述显示器用于输出康复训练的标准图像，所述扬声器用于发出语音提示。
所述一种基于计算机视觉的上肢运动康复训练系统可以运行于桌上型计算机、笔记本电脑、掌上电脑及云端数据中心等计算设备中。所述一种基于计算机视觉的上肢运动康复训练系统包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述例子仅仅是一种基于计算机视觉的上肢运动康复训练方法及系统的示例，并不构成对一种基于计算机视觉的上肢运动康复训练方法及系统的限定，可以包括比例子更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述一种基于计算机视觉的上肢运动康复训练系统还可以包括输入输出设备、网络接入设备、总线等。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立元器件门电路或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述一种基于计算机视觉的上肢运动康复训练系统的控制中心，利用各种接口和线路连接整个一种基于计算机视觉的上肢运动康复训练系统的各个分区域。
优选地，使用者通过所述一种基于计算机视觉的上肢运动康复训练系统在上肢运动康复训练根据第一语音做动作，动作错误时，输出康复训练的标准图像同时发出语音提示。
经过35人次的多次实验，使用者通过所述一种基于计算机视觉的上肢运动康复训练系统在上肢运动康复训练根据第一语音做动作错误时候康复训练的标准图像，同时发出语音提示的成功率为90%以上。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述一种基于计算机视觉的上肢运动康复训练方法及系统的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card ,SMC)，安全数字(Secure Digital ,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本发明提供了一种基于计算机视觉的上肢运动康复训练方法，采集康复训练过程中上肢的运动图像，将运动图像进行处理，提取处理后的运动图像中的运动数据，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示。所述方法能够判断康复训练的效果是否达标，无需康复师人工判断，大幅节省人力物力，在康复训练过程中强化肢体的动作数据，提高判断的正确率，通过将患者的肢体图像和标准图像通过计算机视觉技术进行周详对比，保证康复训练过程能够有效推进，同时能够减少训练过程中相关资源的消耗，充分加速患者的上肢康复训练过程。尽管本公开的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，从而有效地涵盖本公开的预定范围。此外，上文以发明人可预见的实施例对本公开进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本公开的非实质性改动仍可代表本公开的等效改动。

Claims (4)

1.一种基于计算机视觉的上肢运动康复训练方法，其特征在于，所述方法包括以下步骤：
S100，采集康复训练过程中上肢的运动图像；
S200，将运动图像进行处理，提取处理后的运动图像中的运动数据；
S300，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示；
其中，步骤S200中，将运动图像进行处理，提取处理后的运动图像中的运动数据，具体步骤为：
S201，读取运动图像，转至S202；
S202，将运动图像进行腐蚀，将腐蚀后的运动图像记为第一图像，记第一图像对应的图像矩阵为第一矩阵，转至S203；
S203，遍历第一图像中每个像素点的像素值，如果第一图像中出现像素值为255的像素点，转至S204；如果第一图像中没有像素值为255的像素点，转至S205；
S204，对第一图像进行开运算，将进行开运算后的第一图像记为第二图像，记第二图像对应的图像矩阵为第二矩阵，将第一矩阵减去第二矩阵得到的矩阵记为第三矩阵，将第三矩阵转化为第三图像，将运动图像更新为第三图像，转至S202；
S205，将第一图像作为处理后的运动图像；
S206，将所有处理后的运动图像按照采集时间排列构成运动图像序列，通过opencv的blob检测依次提取运动图像序列中每张图像的连通区域，记该连通区域的面积为区域积，将所有图像的区域积作为运动数据；
步骤S300中，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示的具体方法为：
S301，依次计算运动图像序列中每个图像的像素均值，所述像素均值即图像中所有像素点的像素值的平均值，记运动图像序列中像素均值最大的图像为前位图像，记运动图像序列中像素均值最小的图像为中位图像，以序列MmData储存运动数据，记前位图像的区域积为Im，将序列MmData中的所有元素的值逐个减去Im得到N个数值，对这N个数值取绝对值运算，以这N个数值组成的序列作为析取序列Aos，记Aos中所有元素的平均值为SSA，转至S302；
S302，在运动图像序列中以所有区域积的值低于SSA的图像组成的序列作为合取图像序列，在合取图像序列中记像素均值最大的图像为后位图像，在运动图像序列中记前位图像和后位图像之间的图像的数量为M，在运动图像序列中以中位图像的前M个图像和中位图像的后M个图像之间的所有图像构成的序列作为排斥图像序列，计算排斥图像序列中每个图像的上肢映射值，所述图像的上肢映射值为图像中所有像素值非零的像素点的像素值的总和，记排斥图像序列中所有图像的上肢映射值的平均值为Um，计算中位图像的上肢映射值Siom，以运动图像序列中上肢映射值大于Um+Siom的所有图像构成相容图像序列，转至S303；
S303，读取标准图像，转至S304；
S304，将标准图像进行腐蚀，将腐蚀后的标准图像记为第五图像，记第五图像对应的图像矩阵为第五矩阵，转至S305；
S305，遍历第五图像中每个像素点的像素值，如果第五图像中出现像素值为255的像素点，转至S306；如果第五图像中没有像素值为255的像素点，转至S307；
S306，对第五图像进行开运算，将进行开运算后的第五图像记为第六图像，记第六图像对应的图像矩阵为第六矩阵，将第五矩阵减去第六矩阵得到的矩阵记为第七矩阵，将第七矩阵转化为第七图像，将标准图像更新为第七图像，转至S304；
S307，将第五图像作为处理后的标准图像，记标准图像的区域积为Imis，当相容图像序列中存在区域积低于Imis的图像时，将处理后的标准图像输出到显示器并且播放第一语音；当相容图像序列中不存在区域积低于Imis的图像时，播放第二语音；
在步骤S300中，通过运动数据计算并输出康复训练的标准图像，同时发出语音提示的具体方法还包括以下步骤：
记相容图像序列中所有图像的像素均值的平均值为Aop，在合取图像序列和排斥图像序列中筛选出像素均值大于Aop的图像，记这些图像的数量为Num，记排斥图像序列中所有图像的数量为Eis，取Seg=MOD(Eis/Num)，MOD表示取余操作；在排斥图像序列中从第一个图像开始以每Seg张图像为一组将所有图像划分为S组排斥图像子序列；其中，当Eis/Seg为整数时，S取Eis/Seg；当Eis/Seg不为整数时，取S= INT (Eis/Seg)+1，INT表示取整操作；以每组排斥图像子序列中的所有图像的区域积的平均值组成的序列作为排斥序列ES，计算图像反斥系数Δ；
Figure DEST_PATH_IMAGE001
；
式中，i为变量，i∈[1,S]，ESi为排斥序列ES中的第i个元素，Aosi为析取序列Aos中的第i个元素；
当相容图像序列中存在区域积低于Imis且高于图像反斥系数Δ的图像时，将所述图像输出到显示器并且播放第一语音；当相容图像序列中不存在区域积低于Imis且高于图像反斥系数Δ的图像时，播放第二语音。
2.根据权利要求1所述的一种基于计算机视觉的上肢运动康复训练方法，其特征在于，步骤S100中，采集康复训练过程中上肢的运动图像，具体方法为：通过动作捕捉仪捕捉患者在康复训练过程中患者的上肢完成康复训练动作时的运动图像，所述康复训练动作指患者完成所述康复训练时所做出的肢体动作。
3.根据权利要求1所述的一种基于计算机视觉的上肢运动康复训练方法，其特征在于，所述第一语音为预先录制好的“动作错误”语音；所述第二语音为预先录制好的“动作正确”语音。
4.一种基于计算机视觉的上肢运动康复训练系统，其特征在于，所述一种基于计算机视觉的上肢运动康复训练系统包括：处理器、存储器及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1所述的一种基于计算机视觉的上肢运动康复训练方法中的步骤，所述一种基于计算机视觉的上肢运动康复训练系统运行于桌上型计算机、笔记本电脑、掌上电脑或云端数据中心的计算设备中。
CN202211256257.4A 2022-10-14 2022-10-14 一种基于计算机视觉的上肢运动康复训练方法 Active CN115337607B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211256257.4A CN115337607B (zh) 2022-10-14 2022-10-14 一种基于计算机视觉的上肢运动康复训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211256257.4A CN115337607B (zh) 2022-10-14 2022-10-14 一种基于计算机视觉的上肢运动康复训练方法

Publications (2)

Publication Number Publication Date
CN115337607A CN115337607A (zh) 2022-11-15
CN115337607B true CN115337607B (zh) 2023-01-17

Family

ID=83957199

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211256257.4A Active CN115337607B (zh) 2022-10-14 2022-10-14 一种基于计算机视觉的上肢运动康复训练方法

Country Status (1)

Country Link
CN (1) CN115337607B (zh)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7953244B2 (en) * 2007-08-31 2011-05-31 Cycling & Health Tech Industry System integrating machine vision, interactive module and rehabilitation equipment
CN103390174A (zh) * 2012-05-07 2013-11-13 深圳泰山在线科技有限公司 基于人体姿态识别的体育教学辅助系统和方法
CN105844100A (zh) * 2016-03-24 2016-08-10 乐视控股（北京）有限公司 通过电视和体感配件进行康复训练及系统
CN211604707U (zh) * 2020-03-26 2020-09-29 广东工业大学 一种基于视觉识别的便捷式肢体康复训练设备
CN111539992A (zh) * 2020-04-29 2020-08-14 北京市商汤科技开发有限公司 图像处理方法、装置、电子设备和存储介质
CN111631726B (zh) * 2020-06-01 2021-03-12 深圳华鹊景医疗科技有限公司 上肢功能评估装置与方法及上肢康复训练系统与方法
CN114255508A (zh) * 2020-09-21 2022-03-29 西安邮电大学 一种基于OpenPose的学生体态检测分析及效率评估方法
US20220148453A1 (en) * 2020-11-12 2022-05-12 Tencent America LLC Vision-based rehabilitation training system based on 3d human pose estimation using multi-view images
CN115105821A (zh) * 2022-07-04 2022-09-27 合肥工业大学 一种基于OpenPose的体操训练辅助系统
CN115138059B (zh) * 2022-09-06 2022-12-02 南京市觉醒智能装备有限公司 一种引体向上的规范计数方法、系统及其存储介质

Also Published As

Publication number Publication date
CN115337607A (zh) 2022-11-15

Similar Documents

Publication Publication Date Title
Yap et al. Deep learning in diabetic foot ulcers detection: A comprehensive evaluation
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
WO2021129064A1 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
CN108229277B (zh) 手势识别、手势控制及多层神经网络训练方法、装置及电子设备
WO2023024882A1 (zh) 基于深度学习的股骨髓腔形态识别方法、装置及存储介质
Liu et al. Real-time robust vision-based hand gesture recognition using stereo images
CN111428664B (zh) 一种基于深度学习技术的计算机视觉的实时多人姿态估计方法
CN109460717B (zh) 消化道共聚焦激光显微内镜病变图像识别方法及装置
Li et al. Two-stage single image reflection removal with reflection-aware guidance
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
Zhang et al. A survey of wound image analysis using deep learning: Classification, detection, and segmentation
CN111353325A (zh) 关键点检测模型训练方法及装置
Sangeroki et al. A fast and accurate model of thoracic disease detection by integrating attention mechanism to a lightweight convolutional neural network
CN114332927A (zh) 课堂举手行为检测方法、系统、计算机设备和存储介质
CN115337607B (zh) 一种基于计算机视觉的上肢运动康复训练方法
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN116227573B (zh) 分割模型训练方法、图像分割方法、装置及相关介质
CN116977748A (zh) 一种结肠炎图像分类方法及系统
CN115346640B (zh) 一种功能性康复训练闭环反馈的智能监测方法及系统
WO2023109086A1 (zh) 文字识别方法、装置、设备及存储介质
CN110852209A (zh) 目标检测方法及装置、介质和设备
CN114926887A (zh) 人脸识别方法、装置及终端设备
WO2021218126A1 (zh) 手势识别方法、终端设备及计算机可读存储介质
WO2023047165A1 (en) Object sequence image processing method and apparatus, device and storage medium
CN117036658A (zh) 一种图像处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant