CN111462906A - 辅助瘫痪病人进食的可视化系统与人机交互界面 - Google Patents

辅助瘫痪病人进食的可视化系统与人机交互界面 Download PDF

Info

Publication number
CN111462906A
CN111462906A CN202010340616.9A CN202010340616A CN111462906A CN 111462906 A CN111462906 A CN 111462906A CN 202010340616 A CN202010340616 A CN 202010340616A CN 111462906 A CN111462906 A CN 111462906A
Authority
CN
China
Prior art keywords
patient
eating
assisting
action
events
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010340616.9A
Other languages
English (en)
Other versions
CN111462906B (zh
Inventor
张春慧
张秋实
徐晖
张振香
栾文艳
刘凤
李媛
付忠荣
任慧
叶森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou University
Original Assignee
Zhengzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou University filed Critical Zhengzhou University
Priority to CN202010340616.9A priority Critical patent/CN111462906B/zh
Publication of CN111462906A publication Critical patent/CN111462906A/zh
Application granted granted Critical
Publication of CN111462906B publication Critical patent/CN111462906B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Rehabilitation Tools (AREA)

Abstract

本发明提出辅助瘫痪病人进食的可视化系统与人机交互界面，包括患者姿态识别组件、与所述患者姿态识别组件通信的进食辅助动作数据库。患者姿态识别组件用于识别当前患者进入进食状态后的第一动作，基于所述第一动作判断当前患者的瘫痪类型；基于所述瘫痪类型，所述进食辅助动作数据库匹配出对应的进食关联化辅助事件链；基于所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态，在所述可视化系统的显示界面上的第二区域中，显示所述匹配出的进食关联化辅助事件链中的至少部分关联化进食辅助事件对应的辅助进食动作。该技术方案能够基于激励与鼓励的交互可视化方式，实现对瘫痪病人进行进食训练辅导。

Description

辅助瘫痪病人进食的可视化系统与人机交互界面
技术领域
本申请涉及智能康复技术领域，尤其涉及一种辅助瘫痪病人进食的可视化系统与人机交互界面。
背景技术
吞咽障碍是由于下颌、双唇、舌、咽喉食道上括约肌和食道功能受损所致的进食障碍， 对患者的饮食营养维持、疾病康复及生存质量都有很大的影响，是脑卒中引发的瘫痪病人最常见的并发症之一。 研究资料表明，脑卒中引发的瘫痪患者吞咽障碍的发生率为22-65％,并导致脱水、吸人性肺炎等并发症，甚至室息死亡，严重影响脑卒中患者的康复进程，增加病残率。因此，对吞咽障碍患者早期采取有效的管理，是减少脑卒中不良预后及改善康复结局的重要环节。
然而，脑卒中患者吞咽功能治疗康复的原理是通过正确的康复训练恢复某些失去的脑功能，该过程是一个缓慢长期的过程，卒中老人的康复周期相对更长，因此大多数卒中患者只能在短暂的早期康复后回家继续康复；现有康复产品种类较少，功能单一，质量和康复效果参差不齐；更重要的是，康复治疗对卒中患者来说是极其痛苦的过程，对于缺乏对患者（尤其是老年患者）需求的考虑，导致产品的使用率较低、医护人员不足、患者康复周期增长、甚至是患者康复的误用和废用等问题，不仅给患者及其家属带来压力，也造成了社会资源和医疗资源的浪费。
经检索，现有技术提出的技术方案仍然着重于强迫患者按照预定的动作进行训练。例如，CN2516140Y提出的一种用于不能自理的瘫痪病人的康复运动病床，该床 利用电动机构推动活动床面，使床面倾斜、曲折、翻转，它利用床面的运动来推动病人的下肢和身体活动以利康复，根据病人需要调节运动周期的频率，根据病人 的身体需要，拉动床两侧的护栏来改变翻身后床面的宽度，还可推动病床行走，将病床固定在任何地方，方便了护理，其运动安全可靠。
虽然通过正确的康复训练可以恢复某些失去的脑功能，但是这是一个缓慢长期的过程。现有技术方案大多没有考虑康复方案本身与患者的交互关系，缺乏对患者（尤其是老年患者）需求的考虑，导致产品的使用率较低、患者康复周期增长、甚至是患者康复的误用和废用等问题。
发明内容
为解决上述问题，本发明提出一种辅助瘫痪病人进食的可视化系统，包括患者姿态识别组件、与所述患者姿态识别组件通信的进食辅助动作数据库。患者姿态识别组件用于识别当前患者进入进食状态后的第一动作，基于所述第一动作判断当前患者的瘫痪类型；基于所述瘫痪类型，所述进食辅助动作数据库匹配出对应的进食关联化辅助事件链；基于所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态，在所述可视化系统的显示界面上的第二区域中，显示所述匹配出的进食关联化辅助事件链中的至少部分关联化进食辅助事件对应的辅助进食动作。本发明还提出辅助瘫痪病人进食的人机交互界面。该技术方案基于激励与鼓励的可视化方式，实现对瘫痪病人进行进食训练辅导。
具体来说，本发明的技术方案是这样实现的：
一种辅助瘫痪病人进食的可视化系统，用于对瘫痪患者进食过程进行辅助，所述可视化系统包括患者姿态识别组件、与所述患者姿态识别组件通信的进食辅助动作数据库；
作为本发明首要的贡献，所述患者姿态识别组件用于识别当前患者进入进食状态后的第一动作，基于所述第一动作判断当前患者的瘫痪类型。
具体而言，所述患者姿态识别组件用于识别当前患者进入进食状态后的第一动作，基于所述第一动作判断当前患者的瘫痪类型，包括：
如果所述动作为上肢动作，则当前患者的瘫痪类型为非上运动神经元瘫痪；
如果所述动作为嘴部动作或者长时间未检测到任何动作，则当前患者的瘫痪类型为上运动神经元瘫痪。
与此相对应的，作为本发明的第二个贡献，在本发明中，基于所述瘫痪类型，所述进食辅助动作数据库匹配出对应的进食关联化辅助事件链，所述进食关联化辅助事件链包括多个关联化进食辅助事件；
具体而言，所述非上运动神经元瘫痪类型对应的进食关联化辅助事件链包含的关联化进食辅助事件的个数大于所述上运动神经元瘫痪类型对应的进食关联化辅助事件链包含的关联化进食辅助事件的个数。
基于可视化技术，在本发明中，实现上述贡献的关键技术手段包括：
在所述可视化系统的显示界面上的第一区域中，显示所述匹配出的进食关联化辅助事件链；
此外，发明人发现，瘫痪患者的注意力较普通人弱，一旦进入了特定状态，则不再关注其他状态变化，本发明充分了考虑了这一因素，从而引入移动装置控制。利用移动装置，只有在检测到第一动作后才移动所述患者姿态识别组件靠近所述当前患者开始动作捕捉，能够在患者进入状态的情况下以不引起患者注意时进行，提高准确度与客观度。
所述可视化系统还包括移动装置，在检测到所述第一动作后，所述移动装置控制所述患者姿态识别组件靠近所述当前患者，识别当前患者除第一动作外的其他姿态变化；
所述可视化系统还包括进食辅助事件状态确定模块，所述进食辅助事件状态确定模块基于所述患者姿态识别组件识别出的当前患者的所述其他姿态变化，确定所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态；
基于所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态，在所述可视化系统的显示界面上的第二区域中，显示所述匹配出的进食关联化辅助事件链中的至少部分关联化进食辅助事件对应的辅助进食动作。
具体而言，在所述可视化系统的显示界面上的第一区域中，显示所述匹配出的进食关联化辅助事件链，所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态均为非高亮状态；
利用所述患者姿态识别组件识别当前患者的指定位置的动作参数，当识别到指定位置的至少一个动作参数时，将所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的对应关联化进食辅助事件的状态改变为高亮状态。
在本发明中，基于激励的方式实现饮食辅助，主要体现在：
所述进食辅助事件状态确定模块，在所述患者姿态识别组件长时间未识别到任何动作时，则在所述可视化系统的显示界面上的第三区域中显示激励视频。
在本发明中，基于鼓励的方式实现饮食辅助，主要体现在：
如果所述匹配出的进食关联化辅助事件链中的所有关联化进食辅助事件的状态均为高亮，则将该进食关联化辅助事件链的辅助成功次数增1；
若某个进食关联化辅助事件链的辅助成功次数大于预定数值，则针对当前目标患者不再显示该进食关联化辅助事件链。
进一步的，所述患者姿态识别组件还包括脸部识别引擎，用于识别当前目标患者。
所述进食辅助事件状态确定模块，在所述患者姿态识别组件长时间未识别到任何动作时，获取所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的高亮状态率，如果所述高亮状态率低于预定阈值，则在下次辅助进程开始后，在所述第一显示区域上显示所述进食关联化辅助事件链中最后一个关联化进食辅助事件的下一个未被高亮的关联化进食辅助事件对应的辅助动作。
在另一个方面，本发明还提出辅助瘫痪病人进食的人机交互界面，所述人机交互界面连接前述的可视化系统。
具体而言，所述人机交互界面包括增强现实引擎，通过可穿戴设备，将增强现实引擎传输的视频图像作为激励视频显示给患者。
作为进一步的改进，所述人机交互界面连接至肢体控制装置，通过所述肢体控制装置，控制所述人机交互界面的显示内容的改变。
在本发明中，充分考虑瘫痪患者的类型，因此，所述肢体控制装置包括上肢控制装置和下肢控制装置。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的辅助瘫痪病人进食的可视化系统的整体架构图；
图2是基于图1所述系统实现不同瘫痪类型匹配辅助训练的实施例示意图；
图3是图2或图1所述系统实现细节的优选实施例示意图；
图4是与图1配合使用的人机交互界面的整体架构图；
图5-图6是本发明技术方案的实验数据与改进效果比对图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参照图1，本发明提供了一个实施例的辅助瘫痪病人进食的可视化系统的整体架构图。
在整体上，所述系统包括患者姿态识别组件、与所述患者姿态识别组件通信的进食辅助动作数据库、与所述患者姿态识别组件连接的移动装置、显示装置以及进食辅助事件状态确定模块。
所述显示装置包括第一显示区域、第二显示区域以及第三显示区域。
在图1基础上，参见图2。
图2是基于图1所述系统实现不同瘫痪类型匹配辅助训练的实施例示意图。
在图2中，所述患者姿态识别组件用于识别当前患者进入进食状态后的第一动作，基于所述第一动作判断当前患者的瘫痪类型；
具体来说，如果所述第一动作为上肢动作，则当前患者的瘫痪类型为非上运动神经元瘫痪；
如果所述第一动作为嘴部动作或者长时间未检测到任何动作，则当前患者的瘫痪类型为上运动神经元瘫痪。
作为一个示例，如果所述第一动作为上肢动作，则当前患者的瘫痪类型为非上运动神经元瘫痪，意味着当前患者存在上肢运动功能，可以完成基本的上肢动作，例如拿起餐具等；
作为一个示例，如果所述第一动作为嘴部动作或者长时间未检测到任何动作，则当前患者的瘫痪类型为上运动神经元瘫痪，意味着当前患者失去上肢运动功能，只能由他人辅助喂食。
但是，值得指出的是，不管是哪一种情形，当前患者在进食上均存在吞咽功能障碍。
接下来，基于所述瘫痪类型，所述进食辅助动作数据库匹配出对应的进食关联化辅助事件链，所述进食关联化辅助事件链包括多个关联化进食辅助事件。
作为示意性的例子，在所述进食辅助动作数据库中，预先存储有多组进食关联化辅助事件链，所述进食关联化辅助事件链包含多个关联化进食辅助事件，所述每一个关联化进食辅助事件包含未激活或者激活两种状态之一。
作为一个示例，图1-2所述的进食辅助动作数据库中，存储了两组进食关联化辅助事件链：
1-2-3-4-5-6；以及A-B-C；
其中，1-6或者A-C中的每一个均代表一个关联化进食辅助事件，并且在对应的进食关联化辅助事件链中，这些关联化进食辅助事件具有先后顺序；
作为具体的例子，作为进食关联化辅助事件链{1-2-3-4-5-6}可以代表一个较复杂的吞咽食物动作的执行全流程，例如
1-拿起 2-张嘴 3-咀嚼 4-喉部动作 5-吞咽 6-恢复正常
作为一个简单的例子，作为进食关联化辅助事件链{A-B-C}可以代表一个较简单的喝水动作的执行全流程，例如
A-张嘴 B-闭嘴 C-吞咽
在所述进食辅助动作数据库中，所述进食关联化辅助事件链中的每一个关联化进食辅助事件的初始状态均为未激活状态。
在图2中，采用空心圆框标识未激活状态的关联化进食辅助事件，在图1中，采用实心（黑）圆框标识激活状态的关联化进食辅助事件。
当然，未激活状态在显示区域上可以表现为多种形式，例如暗色、非高亮等；本发明对此不作限制。
基于上述示意性的例子，在本实例中，基于所述瘫痪类型，所述进食辅助动作数据库匹配出对应的进食关联化辅助事件链，可以是：
如果所述第一动作为上肢动作，则当前患者的瘫痪类型为非上运动神经元瘫痪，则匹配出的对的进食关联化辅助事件链为前述进食关联化辅助事件链{1-2-3-4-5-6}；
如果所述第一动作为嘴部动作或者长时间未检测到任何动作，则当前患者的瘫痪类型为上运动神经元瘫痪，则匹配出的对的进食关联化辅助事件链为前述进食关联化辅助事件链{A-B-C}。
因此，结合图1-2可知，所述非上运动神经元瘫痪类型对应的进食关联化辅助事件链包含的关联化进食辅助事件的个数大于所述上运动神经元瘫痪类型对应的进食关联化辅助事件链包含的关联化进食辅助事件的个数。
在此基础上， 在所述可视化系统的显示界面上的第一区域中，显示所述匹配出的进食关联化辅助事件链；
所述可视化系统还包括移动装置，在检测到所述第一动作后，所述移动装置控制所述患者姿态识别组件靠近所述当前患者，识别当前患者除第一动作外的其他姿态变化；
利用移动装置，只有在检测到第一动作后才移动所述患者姿态识别组件靠近所述当前患者开始动作捕捉，能够在患者进入状态的情况下以不引起患者注意时进行，提高准确度与客观度。
这是因为，瘫痪患者的注意力较普通人弱，一旦进入了特定状态，则不再关注其他状态变化，本发明充分了考虑了这一因素，从而引入移动装置控制。
所述可视化系统还包括进食辅助事件状态确定模块，所述进食辅助事件状态确定模块基于所述患者姿态识别组件识别出的当前患者的所述其他姿态变化，确定所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态；
基于所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态，在所述可视化系统的显示界面上的第二区域中，显示所述匹配出的进食关联化辅助事件链中的至少部分关联化进食辅助事件对应的辅助进食动作。
作为一个实例，在所述可视化系统的显示界面上的第一区域中，显示所述匹配出的进食关联化辅助事件链，所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态均为非高亮状态；
利用所述患者姿态识别组件识别当前患者的指定位置的动作参数，当识别到指定位置的至少一个动作参数时，将所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的对应关联化进食辅助事件的状态改变为高亮状态。
例如，针对嘴部，需要获取“2-张嘴 3-咀嚼 4-喉部动作 5-吞咽”对应的动作参数以及参数获取时间（用于判断动作是否依序完成）；针对喉部，则需要获取“4-喉部动作 5-吞咽6-恢复正常”的多个参数以及参数获取时间（用于判断动作是否依序完成）。
当然，本发明并不以此为限制。针对不同的吞咽训练动作，可以涉及不同流程的参数获取节点。
实际训练过程中，经常存在患者没有训练动力的情况，因此，本发明创造性的提出视频激励的做法，参见图3。
所述进食辅助事件状态确定模块，在所述患者姿态识别组件长时间未识别到任何动作时，则在所述可视化系统的显示界面上的第三区域中显示激励视频。
所述激励视频可以是，完成当前训练事件链后的预期效果，例如，图1所述的例子，康复后的患者可以独立饮食，从而达到激励效果。
当然，为了避免患者重复的枯燥训练带来的倦怠感，在训练成功到一定程度时，也要更换训练方案。
因此，在本发明中，所述患者姿态识别组件还包括脸部识别引擎，用于识别当前目标患者。
如果所述匹配出的进食关联化辅助事件链中的所有关联化进食辅助事件的状态均为高亮，则将该进食关联化辅助事件链的辅助成功次数增1；
若某个进食关联化辅助事件链的辅助成功次数大于预定数值，则针对当前目标患者不再显示该进食关联化辅助事件链。
在另一个方面，所述进食辅助事件状态确定模块，在所述患者姿态识别组件长时间未识别到任何动作时，获取所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的高亮状态率，如果所述高亮状态率低于预定阈值，则在下次辅助进程开始后，在所述第一显示区域上显示所述进食关联化辅助事件链中最后一个关联化进食辅助事件的下一个未被高亮的关联化进食辅助事件对应的辅助动作。
接下来参见图4，是与图1配合使用的人机交互界面的整体架构图。
在图4中，所述人机交互界面连接所述的可视化系统的激励视频界面，包括增强现实引擎，通过可穿戴设备，将增强现实引擎传输的视频图像作为激励视频显示给患者。
同时，所述人机交互界面连接至肢体控制装置，通过所述肢体控制装置，控制所述人机交互界面的显示内容的改变。
在图4中，所述充分考虑瘫痪患者的类型，所述肢体控制装置包括上肢控制装置和下肢控制装置。
针对上肢具备运动功能的患者，可以通过上肢控制装置，改变所述人机交互界面的显示内容的改变，所述人机交互界面上可以播放多种不同类型不同场景下的激励视频，通过连接于所述患者上肢的可穿戴设备，可以选择不同的视频作为激励视频发送给所述可视化系统的激励视频界面。
同样的，针对下肢具备运动功能的患者，也可以通过连接于所述患者下肢的可穿戴设备，可以选择不同的视频作为激励视频发送给所述可视化系统的激励视频界面。
总体来说，上述装置充分考虑患者与设备的可交互性，并充分利用了鼓励和激励的方式，避免了现有技术单纯的机械和重复。
为了验证本发明的技术方案的改进效果，参见图5-6，给出了本发明技术方案的实验数据与改进效果比对数据。
在图5-6中，选择60例康复科住院的脑卒中患者，入选标准包括经头颅MRI证实脑卒中、意识清楚、体征平稳、证实存在吞咽障碍、能完成基本的认知动作。
设立对照组与治疗组，对照组采用常规的康复方案，治疗组采用本发明的技术方案。采用随机数字表法将研究对象随机分成治疗组和对照组，每组各３０例。两组资料在年龄、性别、病程及治疗前、对功能性经口摄食量表（FOIS）、美国国立卫生研究卒中量表（NIHSS）评分等方面差异均无显著性意义。
于治疗前及治疗４周后进行吞咽障碍程度评定，得到图5所述的视频透视吞咽检查（VIDEOFLUOROSCOPIC SWALLOWING STUDY,VFSS）检查时间参数；
选用FOIS进行吞咽功能评分，得到图6所述的评分结果。
结合图5-6所述的实验数据可知，本发明的技术方案改进效果十分明显，并且差异具备统计学意义，证明了其有效性。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.一种辅助瘫痪病人进食的可视化系统，用于对瘫痪患者进食过程进行辅助，所述可视化系统包括患者姿态识别组件、与所述患者姿态识别组件通信的进食辅助动作数据库；
其特征在于：
所述患者姿态识别组件用于识别当前患者进入进食状态后的第一动作，基于所述第一动作判断当前患者的瘫痪类型；
基于所述瘫痪类型，所述进食辅助动作数据库匹配出对应的进食关联化辅助事件链，所述进食关联化辅助事件链包括多个关联化进食辅助事件；
在所述可视化系统的显示界面上的第一区域中，显示所述匹配出的进食关联化辅助事件链；
所述可视化系统还包括移动装置，在检测到所述第一动作后，所述移动装置控制所述患者姿态识别组件靠近所述当前患者，识别当前患者除第一动作外的其他姿态变化；
所述可视化系统还包括进食辅助事件状态确定模块，所述进食辅助事件状态确定模块基于所述患者姿态识别组件识别出的当前患者的所述其他姿态变化，确定所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态；
基于所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态，在所述可视化系统的显示界面上的第二区域中，显示所述匹配出的进食关联化辅助事件链中的至少部分关联化进食辅助事件对应的辅助进食动作；
所述患者姿态识别组件用于识别当前患者进入进食状态后的第一动作，基于所述第一动作判断当前患者的瘫痪类型，具体包括：
如果所述第一动作为上肢动作，则当前患者的瘫痪类型为非上运动神经元瘫痪；
如果所述第一动作为嘴部动作或者长时间未检测到任何动作，则当前患者的瘫痪类型为上运动神经元瘫痪。
2.如权利要求1所述的辅助瘫痪病人进食的可视化系统，其特征在于：
基于所述瘫痪类型，所述进食辅助动作数据库匹配出对应的进食关联化辅助事件链，所述进食关联化辅助事件链包括多个关联化进食辅助事件，具体包括：
所述非上运动神经元瘫痪类型对应的进食关联化辅助事件链包含的关联化进食辅助事件的个数大于所述上运动神经元瘫痪类型对应的进食关联化辅助事件链包含的关联化进食辅助事件的个数。
3.如权利要求2所述的辅助瘫痪病人进食的可视化系统，其特征在于：
在所述可视化系统的显示界面上的第一区域中，显示所述匹配出的进食关联化辅助事件链，所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的状态均为非高亮状态；
利用所述患者姿态识别组件识别当前患者的指定位置的动作参数，当识别到指定位置的至少一个动作参数时，将所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的对应关联化进食辅助事件的状态改变为高亮状态。
4.如前述任一项权利要求所述的辅助瘫痪病人进食的可视化系统，其特征在于：
所述进食辅助事件状态确定模块，在所述患者姿态识别组件长时间未识别到任何动作时，则在所述可视化系统的显示界面上的第三区域中显示激励视频。
5.如权利要求4所述的辅助瘫痪病人进食的可视化系统，其特征在于：
如果所述匹配出的进食关联化辅助事件链中的所有关联化进食辅助事件的状态均为高亮，则将该进食关联化辅助事件链的辅助成功次数增1；
若某个进食关联化辅助事件链的辅助成功次数大于预定数值，则针对当前目标患者不再显示该进食关联化辅助事件链。
6.如权利要求5所述的辅助瘫痪病人进食的可视化系统，其特征在于：
所述患者姿态识别组件还包括脸部识别引擎，用于识别当前目标患者。
7.如权利要求5所述的辅助瘫痪病人进食的可视化系统，其特征在于：
所述进食辅助事件状态确定模块，在所述患者姿态识别组件长时间未识别到任何动作时，获取所述匹配出的进食关联化辅助事件链中的多个关联化进食辅助事件的高亮状态率，如果所述高亮状态率低于预定阈值，则在下次辅助进程开始后，在所述第一显示区域上显示所述进食关联化辅助事件链中最后一个关联化进食辅助事件的下一个未被高亮的关联化进食辅助事件对应的辅助动作。
8.一种辅助瘫痪病人进食的人机交互界面，所述人机交互界面连接权利要求1-7任一项所述的可视化系统，其特征在于：
所述人机交互界面包括增强现实引擎，通过可穿戴设备，将增强现实引擎传输的视频图像作为激励视频显示给患者。
9.如权利要求8所述的人机交互界面，其特征在于：所述人机交互界面连接至肢体控制装置，通过所述肢体控制装置，控制所述人机交互界面的显示内容的改变。
CN202010340616.9A 2020-04-26 2020-04-26 辅助瘫痪病人进食的可视化系统与人机交互界面 Active CN111462906B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010340616.9A CN111462906B (zh) 2020-04-26 2020-04-26 辅助瘫痪病人进食的可视化系统与人机交互界面

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010340616.9A CN111462906B (zh) 2020-04-26 2020-04-26 辅助瘫痪病人进食的可视化系统与人机交互界面

Publications (2)

Publication Number Publication Date
CN111462906A true CN111462906A (zh) 2020-07-28
CN111462906B CN111462906B (zh) 2020-12-18

Family

ID=71681305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010340616.9A Active CN111462906B (zh) 2020-04-26 2020-04-26 辅助瘫痪病人进食的可视化系统与人机交互界面

Country Status (1)

Country Link
CN (1) CN111462906B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289158A (zh) * 2020-10-13 2021-01-29 厦门立方幻境科技有限公司 一种基于人机交互虚拟仿真的阴道指诊模型及其模拟方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202948611U (zh) * 2012-09-29 2013-05-22 周振海 儿童行为规范电子引导系统
CN103552080A (zh) * 2013-11-18 2014-02-05 潘恬恬 人用辅助喂食机
US20150297007A1 (en) * 2014-04-22 2015-10-22 The Johns Hopkins University System and method for providing eating assistance to those with physical limitations
CN106691864A (zh) * 2016-12-22 2017-05-24 苏州天为幕烟花科技有限公司 一种便携式调味病人喂食机构
CN106976094A (zh) * 2017-05-18 2017-07-25 山东科技大学 辅助上肢失能人餐饮的机械手系统及其工作方法
CN109605385A (zh) * 2018-11-28 2019-04-12 东南大学 一种混合脑机接口驱动的康复辅助机器人
CN110661921A (zh) * 2019-11-15 2020-01-07 无锡职业技术学院 一种基于物联网技术的手机遥控智能奶瓶

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202948611U (zh) * 2012-09-29 2013-05-22 周振海 儿童行为规范电子引导系统
CN103552080A (zh) * 2013-11-18 2014-02-05 潘恬恬 人用辅助喂食机
US20150297007A1 (en) * 2014-04-22 2015-10-22 The Johns Hopkins University System and method for providing eating assistance to those with physical limitations
CN106691864A (zh) * 2016-12-22 2017-05-24 苏州天为幕烟花科技有限公司 一种便携式调味病人喂食机构
CN106976094A (zh) * 2017-05-18 2017-07-25 山东科技大学 辅助上肢失能人餐饮的机械手系统及其工作方法
CN109605385A (zh) * 2018-11-28 2019-04-12 东南大学 一种混合脑机接口驱动的康复辅助机器人
CN110661921A (zh) * 2019-11-15 2020-01-07 无锡职业技术学院 一种基于物联网技术的手机遥控智能奶瓶

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MINGMING GUO: "《Asia-Pacific Conference on Intelligent Robot Systems (ACIRS)》", 18 June 2017 *
刘祚时: "《传感器与微系统》", 31 December 2019 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112289158A (zh) * 2020-10-13 2021-01-29 厦门立方幻境科技有限公司 一种基于人机交互虚拟仿真的阴道指诊模型及其模拟方法

Also Published As

Publication number Publication date
CN111462906B (zh) 2020-12-18

Similar Documents

Publication Publication Date Title
Murry et al. Clinical management of swallowing disorders
Crary A direct intervention program for chronic neurogenic dysphagia secondary to brainstem stroke
Palmer et al. Rehabilitation of swallowing disorders due to stroke
CN111462906B (zh) 辅助瘫痪病人进食的可视化系统与人机交互界面
Kuramoto et al. Deep learning-based swallowing monitor for realtime detection of swallow duration
Gordan et al. SCIRehab Project series: the speech language pathology taxonomy
Lamm et al. Effect of tactile stimulation on lingual motor function in pediatric lingual dysphagia
Pu et al. The use and effects of whole‐body exercises on swallowing function: A scoping review
Perry et al. Nutritional aspects of stroke care
CN111243709B (zh) 基于可视化引导的饮食操作系统
Mangilli et al. Rehabilitative management of swallowing and oral-motor movements in patients with tetanus of a public service in Brazil
Garcia What school-based speech-language pathologists need to know about pediatric swallowing and feeding development and disorders
Madhavan et al. How Can Speech-Language Pathologists Think About Sensation During Swallowing Evaluation and Intervention?
CN111477301A (zh) 基于微动作捕捉的瘫痪病人辅助饮食系统
Cherney et al. Aphasia, apraxia of speech, and dysarthria
McCoy et al. The Adult Dysphagia Pocket Guide: Neuroanatomy to Clinical Practice
Cowden et al. Motor development and movement activities for preschoolers and infants with delays: A multisensory approach for professionals and families
Palsy 28th Annual meeting of the dysphagia research society
Bores Dysphagia: Swallowing Disorders Following a Stroke
Leonard et al. The Treatment Plan: Behavioral Approaches
Ferris et al. Pharyngeal manometry in pediatric dysphagia assessment
Grech et al. Rehabilitation of Older People with Swallowing Disorders
Paik et al. Critical review on the management of adult oropharyngeal dysphagia
Ng Clinical classification of strength and skill impairments in neurogenic dysphagia.
Jardine Deglutition in Advanced Age

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant