CN114420250B - 基于OpenCV舌肌运动识别的康复训练自适应方法及系统 - Google Patents

基于OpenCV舌肌运动识别的康复训练自适应方法及系统 Download PDF

Info

Publication number
CN114420250B
CN114420250B CN202210314904.6A CN202210314904A CN114420250B CN 114420250 B CN114420250 B CN 114420250B CN 202210314904 A CN202210314904 A CN 202210314904A CN 114420250 B CN114420250 B CN 114420250B
Authority
CN
China
Prior art keywords
game
tongue
patient
rehabilitation
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210314904.6A
Other languages
English (en)
Other versions
CN114420250A (zh
Inventor
樊琛
张晓琪
王梅芳
马瑞
鲁江涛
王丹阳
李睿勋
梁芷琪
殷千晴
夏雪
袁梓涵
罗亚茹
吴锦霞
马淼
王硕
张国钰
刘轶超
梅本鑫
常文博
薛瑞豪
王旭东
张琛
刘云韬
张珍珍
李屿璠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University City College
Original Assignee
Xian Jiaotong University City College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University City College filed Critical Xian Jiaotong University City College
Priority to CN202210314904.6A priority Critical patent/CN114420250B/zh
Publication of CN114420250A publication Critical patent/CN114420250A/zh
Application granted granted Critical
Publication of CN114420250B publication Critical patent/CN114420250B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Rehabilitation Tools (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及舌肌康复训练技术领域，具体是一种基于OpenCV舌肌运动识别的康复训练自适应方法，包括步骤：A、训练Open CV舌头分类器；B、采集及处理舌头的运动图像；C、提取舌头的运动数据；D、根据Open CV舌头分类器提取的舌头运动数据驱动康复游戏中的物体进行相应运动；E、根据目标完成情况进行即时评估与反馈；F、在游戏结束后向上位机程序上传目标数据；G、依据预设的权重对目标数据进行计算获得综合表现参数；H、计算和调整下一任务阶段的游戏难度参数。本发明还提供了一种基于OpenCV舌肌运动识别的康复训练自适应系统。本发明能够精确地调整游戏难度参数，避免游戏难度过大或过小影响康复游戏的康复效果。

Description

基于OpenCV舌肌运动识别的康复训练自适应方法及系统
技术领域
本发明涉及舌肌康复训练技术领域，具体是基于OpenCV舌肌运动识别的康复训练自适应方法及系统。
背景技术
吞咽障碍是脑卒中患者的常见并发症，我国发病率高达57%-73%。脑卒中后重度吞咽障碍可严重影响饮食、引起误吸、误咽，进而导致患者营养不良、电解质紊乱及吸入性肺炎等并发症，延缓脑卒中疾病恢复。研究显示，约有34%的脑卒中死亡患者是由吸入性肺炎所致。临床大量实验表明，舌肌训练能够提升老年脑卒中吞咽障碍患者的吞咽功能，提高其生活质量，临床应用价值较高。
患者的舌头恢复一定运动能力后，可进行主动康复训练，患者控制舌头进行指定的运动，舌头运动类型需要根据患者的康复需求来确定，一般只需要完成不同方向简单的伸出。此过程中，医护人员需要实时观察患者舌头的运动状况，而舌头运动状况不能够被患者看到，总是在重复同样的康复动作，枯燥、单调、缺乏趣味性的训练会使患者对治疗过程产生厌烦，导致患者贻误最佳的训练时机而达不到预想的吞咽功能恢复效果。
发明内容
本发明的目的是为了解决上述现有技术的不足，提供一种基于OpenCV舌肌运动识别的康复训练自适应方法，能够精确地对游戏难度参数调整，避免游戏难度过大或过小影响康复游戏的康复效果。
所要解决的技术问题采用以下技术方案来实现：一种基于OpenCV舌肌运动识别的康复训练自适应方法，包括以下步骤：
A、选择患者进行康复游戏时的初始游戏难度参数，训练Open CV舌头分类器；
B、患者参与康复游戏，采集游戏过程舌头的运动图像，并对图像采集模块采集的运动图像进行处理；
C、提取经图像处理模块处理后的图片中舌头的运动数据：通过Open CV骨骼提取算法提取识别到的舌头骨架，计算骨架特征点的像素位置得到方向向量，进而判断舌头的运动方向；
D、根据Open CV舌头分类器提取的舌头运动数据驱动康复游戏中的物体进行相应运动；
E、根据患者在康复游戏中目标完成情况进行即时评估与反馈；
F、在康复游戏结束后向上位机程序上传本次训练的目标数据；
G、依据预设的权重对目标数据进行计算获得综合表现参数，所述综合表现参数由当前阶段的患者表现参数和游戏难度参数加权获得：
Figure 964306DEST_PATH_IMAGE001
（1）
式（1）中，
Figure 997246DEST_PATH_IMAGE002
为综合表现参数，
Figure 340503DEST_PATH_IMAGE003
为患者表现参数，
Figure 982837DEST_PATH_IMAGE004
表示患者表现参数所占权重，
Figure 727939DEST_PATH_IMAGE005
为游戏难度参数，
Figure 695895DEST_PATH_IMAGE006
表示游戏难度参数所占权重，
Figure 526448DEST_PATH_IMAGE008
，
Figure 972472DEST_PATH_IMAGE009
为非零自然数；
H、根据患者当前任务阶段的游戏难度参数、当前任务阶段的综合表现参数和上一任务阶段的综合表现参数，计算和调整下一任务阶段的游戏难度参数
Figure 837660DEST_PATH_IMAGE010
：
Figure 710938DEST_PATH_IMAGE011
（2）
式（2）中，
Figure 28787DEST_PATH_IMAGE012
为当前任务阶段的游戏难度参数，
Figure 278503DEST_PATH_IMAGE013
为下一任务阶段游戏难度参数改变量系数，
Figure 998197DEST_PATH_IMAGE014
为当前任务阶段的综合表现参数，
Figure 42377DEST_PATH_IMAGE015
为上一任务阶段的综合表现参数；
通过以下步骤获得下一任务阶段游戏难度参数改变量系数的最优值
Figure 581942DEST_PATH_IMAGE016
：
S1、在下一任务阶段之前设置调整期，确定调整期内游戏难度参数改变量系数
Figure 369770DEST_PATH_IMAGE017
区间
Figure 943971DEST_PATH_IMAGE018
；
S2、
Figure 159051DEST_PATH_IMAGE019
（3）
Figure 451492DEST_PATH_IMAGE017
取区间的中点
Figure 43011DEST_PATH_IMAGE020
，通过式（3）求得调整期内该轮游戏的游戏难度参数
Figure 235832DEST_PATH_IMAGE021
：
患者在该游戏难度参数下进行游戏，并根据式（1）求得该轮游戏的综合表现参数的
Figure 621814DEST_PATH_IMAGE022
；
若
Figure 135972DEST_PATH_IMAGE023
，并且
Figure 265602DEST_PATH_IMAGE024
，则由
Figure 814395DEST_PATH_IMAGE020
取代0，将
Figure 636858DEST_PATH_IMAGE017
区间更新为
Figure 638312DEST_PATH_IMAGE025
；
若
Figure 571633DEST_PATH_IMAGE023
，并且
Figure 974932DEST_PATH_IMAGE026
，则由
Figure 702717DEST_PATH_IMAGE020
取代
Figure 191467DEST_PATH_IMAGE013
，将
Figure 928479DEST_PATH_IMAGE017
区间更新为
Figure 451864DEST_PATH_IMAGE027
；
若
Figure 350550DEST_PATH_IMAGE028
，则该轮游戏的
Figure 326596DEST_PATH_IMAGE017
即为
Figure 601720DEST_PATH_IMAGE029
；
S3、重复步骤S2，直至
Figure 714032DEST_PATH_IMAGE030
。
优选的，在调整期内，同一
Figure 49199DEST_PATH_IMAGE017
下可使患者进行多次游戏取平均值。
本发明还提供了一种基于OpenCV舌肌运动识别的康复训练自适应系统，包括选择模块、图像采集模块、上位机程序、虚拟现实程序、UI模块，所述上位机程序包括图像处理模块、Open CV舌头分类器、计算模块、难度调节模块，所述虚拟现实程序包括驱动模块、评估与反馈模块、上传模块；
所述选择模块用于选择患者进行康复游戏时的初始游戏难度参数；
所述图像采集模块用于采集游戏过程舌头的运动图像；
所述图像处理模块用于对图像采集模块采集的运动图像进行处理；
所述Open CV舌头分类器用于提取经图像处理模块处理后的图片中舌头的运动数据；
所述驱动模块用于根据Open CV舌头分类器提取的舌头运动数据驱动康复游戏中的物体进行相应运动；
所述评估与反馈模块用于根据患者在康复游戏中目标完成情况进行即时评估与反馈；
所述上传模块用于在康复游戏结束后向上位机程序上传本次训练的目标数据；
所述计算模块用于依据预设的权重对目标数据进行计算获得综合表现参数；
所述UI模块用于显示患者得分情况、游戏时间、舌头实时运动图像，以向患者提供实时反馈；
所述难度调节模块用于根据患者当前任务阶段的游戏难度参数、当前任务阶段的综合表现参数和上一任务阶段的综合表现参数，计算和调整下一任务阶段的游戏难度参数。
相对于现有技术，本发明的有益效果为：（1）对康复游戏难度进行分级，根据患者当前任务阶段的游戏难度参数、当前任务阶段的综合表现参数和上一任务阶段的综合表现参数，计算下一任务阶段的游戏难度参数大小，并进行游戏难度参数调整，避免游戏难度过大或过小影响康复游戏的康复效果。（2）能够实时让患者获取自己的游戏表现，并且给予患者反馈鼓励患者游戏积极性，让患者一直处于难度适中的游戏环境中，既有挑战性，又不失乐趣地完成自己的康复训练计划的目的。（3）综合表现参数由当前阶段的患者表现参数和游戏难度参数加权获得，避免了单独依据患者表现参数或游戏难度参数进行游戏难度参数调整的片面性。（4）采用二分法更加精确的获得了下一任务阶段游戏难度参数改变量系数的最优值，使游戏难度参数的调整更加适合患者的病情。
附图说明
图1为实施例一中基于OpenCV舌肌运动识别的康复训练自适应系统的组成示意图。
图2为实施例一中图像采集、处理及舌头运动数据的提取流程示意图。
图3为实施例一中可参考的舌头运动。
具体实施方式
以下实施例是对本发明的进一步说明，但本发明并不局限于此。因本发明比较复杂，因此实施方式仅对本发明的发明点部分进行详述，本发明未详述部分均可采用现有技术。
实施例一
图1-图3示出了本发明的实施例一，本实施例提供了一种基于OpenCV舌肌运动识别的康复训练自适应系统，如图1所示，包括选择模块、图像采集模块、上位机程序、虚拟现实程序、UI模块，所述上位机程序包括图像处理模块、Open CV舌头分类器、计算模块、难度调节模块，所述虚拟现实程序包括驱动模块、评估与反馈模块、上传模块；
所述选择模块用于选择患者进行康复游戏时的初始游戏难度参数；
所述图像采集模块用于采集游戏过程舌头的运动图像，本实施例中的图像采集模块包括相机，相机通过USB连接到上位机；
所述图像处理模块用于对图像采集模块采集的运动图像进行处理，本实施例中，通过Open CV软件对采集的图像进行分帧、缩放、灰度处理等操作；
在正式实验之前，需要用健康人或者患者的舌头样本图片对Open CV舌头分类器进行训练，训练Open CV舌头分类器需要输入样本图片，包括正样本图片和负样本图片，正样本只包含舌头图片；
所述Open CV舌头分类器用于提取经图像处理模块处理后的图片中舌头的运动数据，具体的，通过Open CV骨骼提取算法提取识别到的舌头骨架，计算骨架特征点的像素位置得到方向向量，进而判断舌头的运动方向；
所述驱动模块用于根据Open CV舌头分类器提取的舌头运动数据驱动康复游戏中的物体进行相应运动；
所述评估与反馈模块用于根据患者在康复游戏中目标完成情况进行即时评估与反馈；
所述上传模块用于在康复游戏结束后向上位机程序上传本次训练的目标数据；
所述计算模块用于依据预设的权重对目标数据进行计算获得综合表现参数；
所述UI模块用于显示患者得分情况、游戏时间、舌头实时运动图像等，以向患者提供实时反馈，本实施例中，所述UI模块包括显示器；
所述难度调节模块用于根据患者当前任务阶段的游戏难度参数、当前任务阶段的综合表现参数和上一任务阶段的综合表现参数，计算和调整下一任务阶段的游戏难度参数。
本实施例还提供了上述基于OpenCV舌肌运动识别的康复训练自适应方法的康复训练方法，包括以下步骤：
A、选择患者进行康复游戏时的初始游戏难度参数，训练Open CV舌头分类器；
B、患者参与康复游戏，采集游戏过程舌头的运动图像，通过Open CV软件进行分帧、缩放、灰度处理等操作后利用Open CV for Unity插件在游戏界面显示；
C、提取经图像处理模块处理后的图片中舌头的运动数据，具体的，通过Open CV骨骼提取算法提取识别到的舌头骨架，计算骨架特征点的像素位置得到方向向量，进而判断舌头的运动方向；
D、根据Open CV舌头分类器提取的舌头运动数据驱动康复游戏中的物体进行相应运动；
E、根据患者在康复游戏中目标完成情况进行即时评估与反馈；
F、在康复游戏结束后向上位机程序上传本次训练的目标数据；
G、依据预设的权重对目标数据进行计算获得综合表现参数，所述综合表现参数由当前阶段的患者表现参数和游戏难度参数加权获得：
Figure 512541DEST_PATH_IMAGE001
（1）
式（1）中，
Figure 827241DEST_PATH_IMAGE031
为综合表现参数，
Figure 59639DEST_PATH_IMAGE003
为患者表现参数，
Figure 565707DEST_PATH_IMAGE004
表示患者表现参数所占权重，
Figure 250766DEST_PATH_IMAGE005
为游戏难度参数，
Figure 867692DEST_PATH_IMAGE032
表示游戏难度参数所占权重，
Figure 954597DEST_PATH_IMAGE008
，
Figure 897145DEST_PATH_IMAGE009
为非零自然数；
本实施例中，游戏场景为患者通过舌头控制汽车行驶，汽车触碰金币后得分。患者表现参数设定两个，
Figure 69501DEST_PATH_IMAGE033
表示患者得分，
Figure 490118DEST_PATH_IMAGE034
表示患者完成游戏所用时间。游戏难度参数设定两个，
Figure 431529DEST_PATH_IMAGE035
表示汽车行驶速度；
Figure 279399DEST_PATH_IMAGE036
表示道路数量；
H、根据患者当前任务阶段的游戏难度参数、当前任务阶段的综合表现参数和上一任务阶段的综合表现参数，计算和调整下一任务阶段的游戏难度参数
Figure 939051DEST_PATH_IMAGE010
：
Figure 897779DEST_PATH_IMAGE011
（2）
式（2）中，
Figure 959276DEST_PATH_IMAGE012
为当前任务阶段的游戏难度参数，
Figure 712469DEST_PATH_IMAGE013
为下一任务阶段游戏难度参数改变量系数，
Figure 124996DEST_PATH_IMAGE014
为当前任务阶段的综合表现参数，
Figure 887415DEST_PATH_IMAGE037
为上一任务阶段的综合表现参数。下一任务阶段的游戏难度参数改变量是结合当前任务阶段的游戏难度参数、当前任务阶段的综合表现参数和上一任务阶段的综合表现参数得出。
为了更加精确的获得下一任务阶段游戏难度参数改变量系数的最优值
Figure 803419DEST_PATH_IMAGE016
，采用以下方法：
S1、在下一任务阶段之前设置调整期，确定调整期内游戏难度参数改变量系数
Figure 491627DEST_PATH_IMAGE017
区间
Figure 125870DEST_PATH_IMAGE018
；
S2、
Figure 426402DEST_PATH_IMAGE019
（3）
Figure 462491DEST_PATH_IMAGE017
取区间的中点
Figure 823065DEST_PATH_IMAGE020
，通过式（3）求得调整期内该轮游戏的游戏难度参数
Figure 679025DEST_PATH_IMAGE021
：
患者在该游戏难度参数下进行游戏，并根据式（1）求得该轮游戏的综合表现参数的
Figure 783248DEST_PATH_IMAGE022
；
若
Figure 673843DEST_PATH_IMAGE023
，并且
Figure 205319DEST_PATH_IMAGE024
，则由
Figure 548575DEST_PATH_IMAGE020
取代0，将
Figure 190909DEST_PATH_IMAGE017
区间更新为
Figure 936011DEST_PATH_IMAGE025
；
若
Figure 638388DEST_PATH_IMAGE023
，并且
Figure 468941DEST_PATH_IMAGE026
，则由
Figure 914966DEST_PATH_IMAGE020
取代
Figure 514574DEST_PATH_IMAGE013
，将
Figure 387853DEST_PATH_IMAGE017
区间更新为
Figure 218885DEST_PATH_IMAGE027
；
若
Figure 468601DEST_PATH_IMAGE028
，则该轮游戏的
Figure 922716DEST_PATH_IMAGE017
即为
Figure 966895DEST_PATH_IMAGE029
；
S3、重复步骤S2，直至
Figure 772040DEST_PATH_IMAGE030
。
优选的，在调整期内，同一
Figure 559868DEST_PATH_IMAGE017
下可使患者进行多次游戏取平均值。
假设，患者上一阶段中，综合表现参数
Figure 399648DEST_PATH_IMAGE038
为100，汽车行驶速度
Figure 614728DEST_PATH_IMAGE035
为100，道路数量
Figure 907169DEST_PATH_IMAGE036
为8。由于熟悉了游戏，具有一定熟练度后导致当前任务阶段的综合表现参数
Figure 233109DEST_PATH_IMAGE039
为110。通过式（2）计算可得，
Figure 927395DEST_PATH_IMAGE040
。
下面给出在调整期内，当
Figure 578956DEST_PATH_IMAGE041
，同一
Figure 93114DEST_PATH_IMAGE017
下患者进行4次游戏时，难度调节模块计算调整难度的具体过程。
Figure 222744DEST_PATH_IMAGE042
在调整期内，先取
Figure 771537DEST_PATH_IMAGE017
=0.05，患者进行4次该难度的游戏后得出的综合表现参数分别为
Figure 328421DEST_PATH_IMAGE043
，计算得到
Figure 329875DEST_PATH_IMAGE044
=112，由于
Figure 263196DEST_PATH_IMAGE045
=2＞1，所以需要利用二分法缩小区间，并且
Figure 165030DEST_PATH_IMAGE046
，更新后的
Figure 892815DEST_PATH_IMAGE017
区间为[0.05,0.1]。
Figure 647144DEST_PATH_IMAGE017
取更新后的[0.05,0.1]的中点0.075，患者进行4次该难度的游戏后得出的综合表现参数分别为，
Figure 118577DEST_PATH_IMAGE047
，计算得到
Figure 376383DEST_PATH_IMAGE044
=107.5，由于
Figure 540648DEST_PATH_IMAGE045
=2.5＞1，所以需要利用二分法缩小区间，并且
Figure 516694DEST_PATH_IMAGE048
，更新后的
Figure 526238DEST_PATH_IMAGE017
区间为[0.05,0.075]。
Figure 904130DEST_PATH_IMAGE017
取更新后的[0.05,0.075]的中点0.0625，患者进行4次该难度的游戏后得出的综合表现参数分别为
Figure 973717DEST_PATH_IMAGE049
，
Figure 702639DEST_PATH_IMAGE050
，计算得到
Figure 515874DEST_PATH_IMAGE044
=109，由于
Figure 748272DEST_PATH_IMAGE051
，所以得到下一任务阶段游戏难度参数改变量系数的最优值
Figure 254340DEST_PATH_IMAGE052
=0.0625。
则下一任务阶段的汽车行驶速度约为106，道路数量取整为9条。
游戏过程中，显示器显示患者得分情况、游戏时间、舌头实时运动图像等，以向患者提供实时反馈。
本实施例需要用到Open CV软件、相机和某一游戏建模软件且该软件能够和OpenCV进行交互，本发实施例选取Unity 3D软件。
Open CV是一个基于BSD许可发行的跨平台计算机视觉和机器学习软件库，能够实现图像处理和计算机视觉方面的很多通用算法。
Unity 3D游戏开发引擎具有跨平台、综合编辑、资源导入、一键部署、脚本语言、联网、物理特效等完善的技术特色，具有丰富的个性化功能，是任何人都可以轻松开发的优秀游戏引擎。
Unity 3D中的Script是游戏开发的核心部分，Script是使用代码来执行一系列动作命令的特殊文本，它需要编译器来重新解读。Script必须依附于场景中的一个元素才能被执行。
Unity3D游戏场景的构建需要通过Script来完成，脚本编程可以用C#或Java语言来实现。
图像处理模块、Open CV舌头分类器需借助Open CV软件实现，难度调节模块、驱动模块、UI模块均需借助Unity3D中的Script来完成。
图像采集、处理及舌头运动数据的提取工作过程参见图2。
舌头运动类型需要根据患者的康复需求来确定，一般只需要完成不同方向简单的伸出。以脑卒中患者为例，患者前期基本不能够主动进行康复训练，需要医护人员使用康复工具帮助其进行。本实施例提出的基于OpenCV舌肌运动识别的康复训练自适应方法是针对患者康复达到一定阶段，能够进行主动康复训练的患者。
康复游戏主要用于锻炼舌头的拉伸、回旋和灵活性，因而通过简单的舌头运动进行游戏交互就能满足需求，但运动类型要避免过于相似，具体实施方式的舌头运动可参见图3。
相机一般通过RJ45接口和USB接口连接到计算机，为减少照片处理可能需要格式转换的麻烦，可采用USB接口的相机，能够直接生成JPG或者BMP格式的图片。这样通过直接调用Open CV的函数（其实，内部是调用了Windows的VFW）来获取iplimage格式的数据。
Open CV将相机采集的图片数据存储到Mat数据容器中，通过调用Open CV函数进行分帧、缩放、灰度处理等操作。
利用Open CV库中计算生态骨架的方法，对处理过后的图片进行骨架提取。通过腐蚀和膨胀操作就可以获得生态骨架，获取骨架特征点的像素位置确定舌头的运动方向。
训练Open CV舌头分类器需要利用只包含舌头的正样本图片和不包含舌头的负样本图片进行训练，保证在正式实验之前能够正确捕捉到舌头运动信息。
图像采集模块实现的功能可以进行封装，在Unity 3D软件利用Open CV forUnity插件进行调用，该插件底层调用的还是Open CV C++的Dll。
康复游戏采用Unity3D软件进行建模，Unity3D具有很好的渲染效果，大多热门游戏都采用此软件进行开发。
现对于本实施例中的康复游戏具体内容进行构思细化。与舌头进行交互的可以是一辆汽车，以恒定的速度向前行驶，道路为双行道或三行道，道路上会出现金币，舌头的运动方向即为汽车运动方向，通过舌头控制汽车吃到金币则得分。当汽车行驶一圈到达终点时可以当前任务阶段结束。游戏形式由开发者主观构思设计，场景中的物体需要进行形状属性和物理属性设置。
游戏场景的建立需要通过Unity3D中的菜单栏GameObject选项往场景中添加游戏物体，并通过Script实现游戏物体的出现时间和运动参数设置，通过Inspector面板完成物体物理属性和位置等的配置。
游戏场景中的所有资源均放置在Assets面板下，包括游戏中的物体、Scripts、物体材质、图片等。
Unity3D中可通过属性设置和Script，将舌头运动方向与场景中的物体相关联。
Unity3D中的UI模块可用于菜单栏的设计、时间以及分数的记录，这些都可以通过脚本和Hirechy面板进行设计。
计算模块依据预设的权重对目标数据进行计算获得综合表现参数，本实施例中的患者得分的确定可参见CN108992852A所公开的基于虚拟现实康复训练的智能评估方法与系统。
上面结合附图对本发明的实施例做了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (2)

1.一种基于OpenCV舌肌运动识别的康复训练自适应方法，包括以下步骤：
A、选择患者进行康复游戏时的初始游戏难度参数，训练Open CV舌头分类器；
B、患者参与康复游戏，采集游戏过程舌头的运动图像，并对图像采集模块采集的运动图像进行处理；
C、提取经图像处理模块处理后的图片中舌头的运动数据：通过Open CV骨骼提取算法提取识别到的舌头骨架，计算骨架特征点的像素位置得到方向向量，进而判断舌头的运动方向；
D、根据Open CV舌头分类器提取的舌头运动数据驱动康复游戏中的物体进行相应运动；
E、根据患者在康复游戏中目标完成情况进行即时评估与反馈；
F、在康复游戏结束后向上位机程序上传本次训练的目标数据；
G、依据预设的权重对目标数据进行计算获得综合表现参数，所述综合表现参数由当前阶段的患者表现参数和游戏难度参数加权获得：
Figure 20385DEST_PATH_IMAGE001
（1）
式（1）中，
Figure 412795DEST_PATH_IMAGE002
为综合表现参数，
Figure 603605DEST_PATH_IMAGE003
为患者表现参数，
Figure 93493DEST_PATH_IMAGE004
表示患者表现参数所占权重，
Figure 420569DEST_PATH_IMAGE005
为游戏难度参数，
Figure 970499DEST_PATH_IMAGE006
表示游戏难度参数所占权重，
Figure 648605DEST_PATH_IMAGE008
，
Figure 942183DEST_PATH_IMAGE009
为非零自然数；
H、根据患者当前任务阶段的游戏难度参数、当前任务阶段的综合表现参数和上一任务阶段的综合表现参数，计算和调整下一任务阶段的游戏难度参数
Figure 405656DEST_PATH_IMAGE010
：
Figure 860908DEST_PATH_IMAGE011
（2）
式（2）中，
Figure 291890DEST_PATH_IMAGE012
为当前任务阶段的游戏难度参数，
Figure 858000DEST_PATH_IMAGE013
为下一任务阶段游戏难度参数改变量系数，
Figure 690827DEST_PATH_IMAGE014
为当前任务阶段的综合表现参数，
Figure 316980DEST_PATH_IMAGE015
为上一任务阶段的综合表现参数；
通过以下步骤获得下一任务阶段游戏难度参数改变量系数的最优值
Figure 720411DEST_PATH_IMAGE016
：
S1、在下一任务阶段之前设置调整期，确定调整期内游戏难度参数改变量系数
Figure 355792DEST_PATH_IMAGE017
区间
Figure 511967DEST_PATH_IMAGE018
；
S2、
Figure 574601DEST_PATH_IMAGE019
（3）
Figure 449016DEST_PATH_IMAGE017
取区间的中点
Figure 153666DEST_PATH_IMAGE020
，通过式（3）求得调整期内该轮游戏的游戏难度参数
Figure 429927DEST_PATH_IMAGE021
：
患者在该游戏难度参数下进行游戏，并根据式（1）求得该轮游戏的综合表现参数的
Figure 414195DEST_PATH_IMAGE022
；
若
Figure 775906DEST_PATH_IMAGE023
，并且
Figure 753089DEST_PATH_IMAGE024
，则由
Figure 883856DEST_PATH_IMAGE020
取代0，将
Figure 288293DEST_PATH_IMAGE017
区间更新为
Figure 402879DEST_PATH_IMAGE025
；
若
Figure 918174DEST_PATH_IMAGE023
，并且
Figure 916830DEST_PATH_IMAGE026
，则由
Figure 492168DEST_PATH_IMAGE020
取代
Figure 828471DEST_PATH_IMAGE013
，将
Figure 147457DEST_PATH_IMAGE017
区间更新为
Figure 252816DEST_PATH_IMAGE027
；
若
Figure 999055DEST_PATH_IMAGE028
，则该轮游戏的
Figure 822655DEST_PATH_IMAGE017
即为
Figure 696064DEST_PATH_IMAGE029
；
S3、重复步骤S2，直至
Figure 655930DEST_PATH_IMAGE030
。
2.根据权利要求1所述的基于OpenCV舌肌运动识别的康复训练自适应方法，其特征在于，在调整期内，同一
Figure 573070DEST_PATH_IMAGE017
下可使患者进行多次游戏取平均值。
CN202210314904.6A 2022-03-29 2022-03-29 基于OpenCV舌肌运动识别的康复训练自适应方法及系统 Active CN114420250B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210314904.6A CN114420250B (zh) 2022-03-29 2022-03-29 基于OpenCV舌肌运动识别的康复训练自适应方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210314904.6A CN114420250B (zh) 2022-03-29 2022-03-29 基于OpenCV舌肌运动识别的康复训练自适应方法及系统

Publications (2)

Publication Number Publication Date
CN114420250A CN114420250A (zh) 2022-04-29
CN114420250B true CN114420250B (zh) 2022-06-21

Family

ID=81264381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210314904.6A Active CN114420250B (zh) 2022-03-29 2022-03-29 基于OpenCV舌肌运动识别的康复训练自适应方法及系统

Country Status (1)

Country Link
CN (1) CN114420250B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2757894A1 (en) * 2009-03-20 2010-09-23 Holger Nahrstaedt Measurement system for evaluating the swallowing process and/or for detecting aspiration
CN108992852A (zh) * 2018-07-18 2018-12-14 广州市三甲医疗信息产业有限公司 基于虚拟现实康复训练的智能评估方法与系统
CN109718471A (zh) * 2019-02-01 2019-05-07 南方医科大学珠江医院 一种用于治疗吞咽障碍的康复机器人及控制方法
CN112017750A (zh) * 2020-08-28 2020-12-01 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 康复运动的自适应训练方法、装置、介质及康复机器人
CN112619109A (zh) * 2020-11-27 2021-04-09 重庆电子工程职业学院 基于ar技术的康复训练系统及方法
CN113178241A (zh) * 2021-05-25 2021-07-27 广州科安康复专用设备有限公司 一种vr康复训练系统
CN113593671A (zh) * 2021-10-08 2021-11-02 西安交通大学城市学院 基于Leap Motion手势识别的虚拟康复游戏的自调整方法及装置
CN113643795A (zh) * 2021-07-16 2021-11-12 上海交通大学医学院附属第九人民医院 基于人工智能的口腔颌面头颈肿瘤康复护理系统
CN113679942A (zh) * 2021-09-18 2021-11-23 广州瑞科苏医疗智能科技有限公司 一种阵列式舌压检测与舌肌电刺激吞咽康复设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108939511B (zh) * 2018-07-18 2020-10-30 广州晓康医疗科技有限公司 基于虚拟现实的四肢康复训练方法与系统
CN209460721U (zh) * 2019-04-15 2019-10-01 上海交通大学医学院附属第九人民医院 舌训练系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2757894A1 (en) * 2009-03-20 2010-09-23 Holger Nahrstaedt Measurement system for evaluating the swallowing process and/or for detecting aspiration
CN108992852A (zh) * 2018-07-18 2018-12-14 广州市三甲医疗信息产业有限公司 基于虚拟现实康复训练的智能评估方法与系统
CN109718471A (zh) * 2019-02-01 2019-05-07 南方医科大学珠江医院 一种用于治疗吞咽障碍的康复机器人及控制方法
CN112017750A (zh) * 2020-08-28 2020-12-01 中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所 康复运动的自适应训练方法、装置、介质及康复机器人
CN112619109A (zh) * 2020-11-27 2021-04-09 重庆电子工程职业学院 基于ar技术的康复训练系统及方法
CN113178241A (zh) * 2021-05-25 2021-07-27 广州科安康复专用设备有限公司 一种vr康复训练系统
CN113643795A (zh) * 2021-07-16 2021-11-12 上海交通大学医学院附属第九人民医院 基于人工智能的口腔颌面头颈肿瘤康复护理系统
CN113679942A (zh) * 2021-09-18 2021-11-23 广州瑞科苏医疗智能科技有限公司 一种阵列式舌压检测与舌肌电刺激吞咽康复设备
CN113593671A (zh) * 2021-10-08 2021-11-02 西安交通大学城市学院 基于Leap Motion手势识别的虚拟康复游戏的自调整方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Tongue stretching exercises improve tongue motility and oromotor function in patients with dysphagia after stroke: A preliminary randomized controlled tria;Hwang N K et al.;《Archives of oral biology》;20191231;第108卷;全文 *
吞咽康复训练对老年脑卒中吞咽功能障碍患者生活质量的改善效果;夏春等;《中国社区医师》;20200115(第02期);第136-137、139页 *
基于Kinect和Faceshift的语言康复训练方法;车娜等;《无线互联科技》;20181110(第21期);第114-116页 *

Also Published As

Publication number Publication date
CN114420250A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
WO2021143289A1 (zh) 动画处理方法、装置、计算机存储介质及电子设备
CN102362293B (zh) 链接动画
US11244489B2 (en) Method and system for determining identifiers for tagging video frames
JP2002189545A (ja) 表示画像と相互作用させるためのユーザー入力装置及び方法
CN106020440A (zh) 一种基于体感交互的京剧教学系统
CN109978975A (zh) 一种动作的迁移方法及装置、计算机设备
JP2011110215A (ja) リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体
CN107248185A (zh) 一种虚拟仿真偶像实时直播方法及系统
CN109815930A (zh) 一种动作模仿拟合度评价方法
CN107194893A (zh) 基于卷积神经网络的深度图像超分辨方法
JP2005198818A (ja) 身体動作の学習支援システム及び学習支援方法
CN110363704A (zh) 融合形态及色彩的图像超分辨率重建模型构建及重建方法
CN114420250B (zh) 基于OpenCV舌肌运动识别的康复训练自适应方法及系统
CN109584345B (zh) 基于卷积神经网络的人体运动合成方法
US20220335625A1 (en) Video generation device
CN106530231A (zh) 一种基于深层协作表达的超分辨率图像的重建方法及系统
CN111312363B (zh) 一种基于虚拟现实的双手协调性增强系统
CN109903360A (zh) 三维人脸动画控制系统及其控制方法
CN114067953A (zh) 康复训练方法、系统及计算机可读存储介质
JP3614278B2 (ja) 眼球訓練装置及び方法並びに記録媒体
CN116993872B (zh) 一种基于Labanotation的人体动画生成系统、方法、设备及存储介质
CN114869680A (zh) 一种舌肌康复训练装置
CN115797569B (zh) 高精度数孪人面部表情动作细分的动态生成方法及系统
US20220319114A1 (en) Automatic blending of human facial expression and full-body poses for dynamic digital human model creation using integrated photo-video volumetric capture system and mesh-tracking
JP4531804B2 (ja) ゲーム装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant