CN111243709B

CN111243709B - 基于可视化引导的饮食操作系统

Info

Publication number: CN111243709B
Application number: CN202010126910.XA
Authority: CN
Inventors: 张振香; 张春慧; 梅永霞; 张秋实; 任慧; 李媛; 付忠荣; 刘凤; 袁长伟; 栾文艳
Original assignee: Zhengzhou University
Current assignee: Zhengzhou University
Priority date: 2020-02-28
Filing date: 2020-02-28
Publication date: 2023-06-02
Anticipated expiration: 2040-02-28
Also published as: CN111243709A

Abstract

本发明提出一种基于可视化引导的饮食操作系统，用于对脑卒中出院患者进行饮食的可视化引导式康复训练。所述康复训练系统包括包含对照屏幕组的显示系统、身体姿态参数识别系统以及激励系统；所述显示系统与所述激励系统均连接至康复训练数据库系统；所述康复训练数据库系统预先存储有多组关联化训练事件节点集，所述事件节点集至少包含三个单一训练事件节点。通过引导目标患者按照所述关联化训练事件节点集中包含的有序的单一训练事件节点进行连续饮食动作训练，并基于所述关联化训练事件节点集的激活率来判断当前动作训练的完成度，从而实现与患者的可视化交互康复训练。

Description

基于可视化引导的饮食操作系统

技术领域

本申请涉及智能康复技术领域，尤其涉及一种基于可视化引导的饮食操作系统。

背景技术

脑卒中，属于急性脑血管疾病，其发病机制主要是由于血管阻塞或脑部血管突然破裂致使血液无法流入大脑而引起的一种疾病，主要以出血性卒中和缺血性卒中为主。而吞咽障碍则是脑卒中患者中较为常见的并发症之一，吞咽障碍容易引起各种营养物质和水摄入量不够，进而造成气道阻塞性窒息、误吸或吸入性肺炎等症状。即便是较轻的吞咽障碍都会对患者的生活上、语言上和饮食上造成不同程度的影响，造成患者的心理负担。

吞咽障碍是由于下颌、双唇、舌、咽喉食道上括约肌和食道功能受损所致的进食障碍，对患者的饮食营养维持、疾病康复及生存质量都有很大的影响，是脑卒中最常见的并发症之一。研究资料表明，脑卒中患者吞咽障碍的发生率为22-65％,并导致脱水、吸人性肺炎等并发症，甚至室息死亡，严重影响脑卒中患者的康复进程，增加病残率。因此，对吞咽障碍患者早期采取有效的管理，是减少脑卒中不良预后及改善康复结局的重要环节。

申请号为CN201910260121.2的中国发明专利申请提出一种脑卒中后吞咽障碍的康复训练装置，包括咽部冷刺激设备、自动选穴位针刺设备、认知心理行为康复设备和显示设备，所述咽部冷刺激设备、自动选穴位针刺设备、认知心理行为康复设备分别与显示设备连接，所述显示设备内部设有训练记录模块、存储模块和提醒模块。该技术方案通过结构的设计，实现了对脑卒中后吞咽障碍患者的全方位的训练，有利于患者恢复，并且装置可以根据患者的自身情况设定每次的训练时间，该装置还可以自动定位穴位，为医务工作者节约了时间，减少了工作量，具有操作方便、提高效率的特点，适合推广应用。

授权公告号为CN104622685B的中国发明专利公开了“用于治疗脑卒中所致的吞咽功能障碍的冷灸装置”，其提供一种结构简单、操作快捷、使用方便、临床疗效好、使用寿命长的用于治疗脑卒中所致的吞咽功能障碍的冷灸装置。该装置设有底座、摆动气缸、摇杆、导向滑道、咬嘴、支座、铰轴、控制器和冷灸器，所述冷灸器是由灸头、导温杆和半导体制冷片构成，所述支座下端与底座固定连接，上端与导向滑道固定连接，所述导向滑道内侧与咬嘴固定连接，所述导温杆穿过导向滑道和咬嘴并与导向滑道和咬嘴滑动连接后，一端与半导体制冷片固定插接，另一端与灸头固定连接，所述半导体制冷片与控制器相连接，所述铰轴两端分别经支座与底座固定连接，所述摇杆下端经轴承与铰轴固定连接，上端与导温杆相连接，所述摆动气缸下端与底座固定连接，上端与摇杆中部相铰接，所述摆动气缸与控制器相连接，以使冷灸器在摆动气缸的往复驱动作用下，沿着导向滑道和咬嘴轴向往复运动，驱动冷灸器前端的灸头对患者的咽僻穴进行雀啄灸，达到操作简单、易于掌握的作用。

然而，脑卒中患者吞咽功能治疗康复的原理是通过正确的康复训练恢复某些失去的脑功能，该过程是一个缓慢长期的过程，卒中老人的康复周期相对更长，因此大多数卒中患者只能在短暂的早期康复后回家继续康复；现有康复产品种类较少，功能单一，质量和康复效果参差不齐；更重要的是，康复治疗对卒中患者来说是极其痛苦的过程，对于缺乏对患者（尤其是老年患者）需求的考虑，导致产品的使用率较低、医护人员不足、患者康复周期增长、甚至是患者康复的误用和废用等问题，不仅给患者及其家属带来压力，也造成了社会资源和医疗资源的浪费。

上述现有技术提出的技术方案仍然着重于强迫患者按照预定的动作进行训练，虽然通过正确的康复训练可以恢复某些失去的脑功能，但是这是一个缓慢长期的过程。上述技术方案大多没有考虑康复方案本身与患者的交互关系，缺乏对患者（尤其是老年患者）需求的考虑，导致产品的使用率较低、患者康复周期增长、甚至是患者康复的误用和废用等问题。

发明内容

为解决上述问题，本发明提出一种结合智能康复与人机交互可视化技术的饮食操作系统，用于对脑卒中出院患者进行饮食的可视化引导式康复训练。所述康复训练系统包括包含对照屏幕组的显示系统、身体姿态参数识别系统以及激励系统；所述显示系统与所述激励系统均连接至康复训练数据库系统；所述康复训练数据库系统预先存储有多组关联化训练事件节点集，所述事件节点集至少包含三个单一训练事件节点。通过引导目标患者按照所述关联化训练事件节点集中包含的有序的单一训练事件节点进行连续饮食动作训练，并基于所述关联化训练事件节点集的激活率来判断当前动作训练的完成度，从而实现与患者的可视化交互康复训练。

具体来说，本发明的技术方案是这样实现的：

一种基于可视化引导的饮食操作系统，用于对目标患者进行饮食康复训练，所述系统包括包含对照屏幕组的显示系统、身体姿态参数识别系统以及激励系统；

作为本发明最突出的贡献，所述显示系统与所述激励系统均连接至康复训练数据库系统；

所述康复训练数据库系统预先存储有多组关联化训练事件节点集，所述事件节点集至少包含三个单一训练事件节点，所述每一个单一训练事件节点包含未激活或者激活两种状态之一；

所述显示系统的对照屏幕组包含第一显示区域和第二显示区域；

所述饮食操作系统启动后，

在所述第一显示区域上显示至少一个关联化训练事件节点集，所述关联化训练事件节点集中的每一个单一训练事件节点均为未激活状态；

具体而言，作为体现本发明突出贡献的关键技术手段，在本发明的技术方案中，至少分为三个探测阶段：

1、利用所述身体姿态参数识别系统识别目标患者的第一指定位置的动作参数，当识别到第一指定位置的至少一个动作参数时，将所述第一显示区域上显示的关联化训练事件节点集中的首级单一训练事件节点的状态改变为激活状态，同时，在所述第二显示区域上显示所述处于激活状态的首级单一训练事件节点对应的训练动作；

2、利用所述身体姿态参数识别系统识别目标患者的第二指定位置的动作参数，当识别到第二指定位置的至少一个动作参数时，将所述第一显示区域上显示的关联化训练事件节点集中的次级单一训练事件节点的状态改变为激活状态，同时，在所述第二显示区域上显示所述处于激活状态的次级单一训练事件节点对应的训练动作；

3、利用所述身体姿态参数识别系统识别目标患者的第三指定位置的动作参数，当识别到第三指定位置的至少一个动作参数时，将所述第一显示区域上显示的关联化训练事件节点集中的末级单一训练事件节点的状态改变为激活状态，同时，在所述第二显示区域上显示所述处于激活状态的末级单一训练事件节点对应的训练动作；

所述激励系统检测所述第一显示区域上显示的关联化训练事件节点集中的单一训练事件节点的激活率是否达到预定阈值，如果达到，则在所述所述激励系统上显示对应于当前激活率的激励视频。

作为优选，所述第一指定位置包括手部，所述第二指定位置包括嘴部，所述第三指定位置包括喉部。

在本发明中，所述关联化训练事件节点集包括一个首级单一训练事件节点、一个末级单一训练事件节点以及一个次级单一训练事件节点。

作为进一步的优选，所述关联化训练事件节点集包括一个首级单一训练事件节点、一个末级单一训练事件节点以及多个次级单一训练事件节点，第二指定位置的动作参数为多个，分别对应于所述多个次级单一训练事件节点。

作为体现本发明突出贡献的另一关键技术手段，所述激励系统检测所述第一显示区域上显示的关联化训练事件节点集中的单一训练事件节点的激活率是否达到预定阈值，如果未达到，则在所述第二显示区域上显示最后一个被激活的单一训练事件节点的下一个未被激活的单一训练事件节点对应的训练动作。

若某个关联化训练事件节点集中所有单一训练事件节点的状态均为激活状态，则将该关联化训练事件节点集的训练成功次数增1；

若某个关联化训练事件节点集的训练成功次数大于预定数值，则针对当前目标患者不再显示该关联化训练事件节点集。

与此相对应的，在本发明中，所述身体姿态参数识别系统还包括脸部识别引擎，用于识别当前目标患者。

值得指出的是，在本发明中，所述预定阈值大于2/3。该阈值的选择是结合了吞咽训练的锻炼动作的实际情况得出的最优选择，并不是随意设置。

进一步的，为了获得更好的康复效果，在本发明中，若某个关联化训练事件节点集的训练成功次数大于预定数值，并且当前目标患者本次训练的时间与最近一次训练的时间超过预定值，则在所述所述饮食操作系统启动后，在所述第一显示区域上显示所述某个关联化训练事件节点集。

与此相对应的，所述激励系统检测所述第一显示区域上显示的关联化训练事件节点集中的单一训练事件节点的激活率是否达到预定阈值，如果未达到，则在所述所述饮食操作系统启动后，在所述第一显示区域上显示所述所述关联化训练事件节点集中最后一个被激活的单一训练事件节点的下一个未被激活的单一训练事件节点对应的训练动作。

本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的基于可视化引导的饮食操作系统的整体架构图；

图2是图1所述系统实现细节的一个实施例示意图；

图3是图2或图1所述系统实现细节的优选实施例示意图；

图4是图2或图1所述系统实现细节的优选实施例示意图；

图5-图6是本发明技术方案的实验数据与改进效果比对图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。下面，结合附图以及具体实施方式，对发明做出进一步的描述。

参照图1，本发明一个实施例的基于可视化引导的饮食操作系统的整体架构图。

在整体上，所述系统包括包含对照屏幕组的显示系统、身体姿态参数识别系统以及激励系统。所述显示系统与所述激励系统均连接至康复训练数据库系统；

作为优选，所述身体姿态参数识别系统还包括脸部识别引擎，用于识别当前目标患者。

在图1基础上，进一步参见图2，所述显示系统的对照屏幕组包含第一显示区域和第二显示区域。

在所述康复训练数据库系统中，预先存储有多组关联化训练事件节点集，所述事件节点集至少包含三个单一训练事件节点，所述每一个单一训练事件节点包含未激活或者激活两种状态之一。

作为一个示例，图2所述的康复训练数据库系统中，存储了两组关联化训练事件节点集：

1-2-3-4-5-6；以及A-B-C；

其中，1-6或者A-C中的每一个均代表一个单一事件，但是在对应的

关联化训练事件节点集中，这些单一事件具有先后顺序；

作为具体的例子，作为关联化训练事件节点集{1-2-3-4-5-6}可以代表一个较复杂的吞咽食物动作的执行全流程，例如

拿起 2-张嘴 3-咀嚼 4-喉部动作 5-吞咽 6-恢复正常

作为一个简单的例子，作为关联化训练事件节点集{A-B-C}可以代表一个较简单的喝水动作的执行全流程，例如

拿起 B-张嘴 C-吞咽

在康复训练数据库系统中，所述关联化训练事件节点集中的每一个单一事件的初始状态均为未激活状态。

其中，1或者A代表首级单一训练事件节点；6或者C代表末级单一训练事件节点；首级单一训练事件节点代表动作开始，末级单一训练事件节点代表动作结束，在本实施中，各自只有一个；

2-5或者B代表次级单一训练事件节点，代表动作的中间过程，可以为多个也可以为1个，但是本实施例中，至少有一个。

当所述饮食操作系统启动后，

首先，在所述第一显示区域上显示至少一个关联化训练事件节点集，所述关联化训练事件节点集中的每一个单一训练事件节点均为未激活状态；

未激活状态在显示区域上可以表现为多种形式，例如暗色、非高亮等；

此时，患者可以训练过程，图2的实施例开始检测、引导和判断过程：

利用所述身体姿态参数识别系统识别目标患者的第一指定位置的动作参数，当识别到第一指定位置的至少一个动作参数时，将所述第一显示区域上显示的关联化训练事件节点集中的首级单一训练事件节点的状态改变为激活状态，同时，在所述第二显示区域上显示所述处于激活状态的首级单一训练事件节点对应的训练动作；

作为一个简单的实例，患者训练喝水动作，此时，在所述第一显示区域上显示关联化训练事件节点集{A-拿起 B-张嘴 C-吞咽}；

当检测到患者作出拿起动作时，即检测到患者的手部位置有拿起水杯的动作，将节点“A-拿起”改变为激活状态，例如，高亮显示；

作为一个复杂的实例，患者训练饮食动作，此时，在所述第一显示区域上显示关联化训练事件节点集{ 1-拿起 2-张嘴 3-咀嚼 4-喉部动作 5-吞咽 6-恢复正常}；

检测到患者作出拿起动作时，即检测到患者的手部位置有拿起食物或者工具的动作，将节点“1-拿起”改变为激活状态，例如，高亮显示；

同时，在所述第二显示区域上显示所述处于激活状态的首级单一训练事件节点（A-拿起或者1-拿起）对应的训练动作；

例如，图2第二显示区域1所示的拿起食物（薯条）的动作；

如前所述，所述关联化训练事件节点集至少包含三个单一训练事件节点，患者是否顺利完成某个训练动作，需要逐一检测该训练动作对应的关联化训练事件节点集是否发生并且是否依次发生；

与上述利用所述身体姿态参数识别系统识别目标患者的第一指定位置的动作参数的过程相类似，接下来，利用所述身体姿态参数识别系统识别目标患者的第二指定位置的动作参数，当识别到第二指定位置的至少一个动作参数时，将所述第一显示区域上显示的关联化训练事件节点集中的次级单一训练事件节点的状态改变为激活状态，同时，在所述第二显示区域上显示所述处于激活状态的次级单一训练事件节点对应的训练动作；

利用所述身体姿态参数识别系统识别目标患者的第三指定位置的动作参数，当识别到第三指定位置的至少一个动作参数时，将所述第一显示区域上显示的关联化训练事件节点集中的末级单一训练事件节点的状态改变为激活状态，同时，在所述第二显示区域上显示所述处于激活状态的末级单一训练事件节点对应的训练动作。

类似的示意性例子可继续参照图2与前述首级单一训练事件节点对应的训练动作。

患者在一次训练中，可能顺利完成所有动作，也可能只能未完成部分动作，因此，还需要实时的针对患者训练进行鼓励和纠正。

例如，在图2中，如果患者完成了关联化训练事件节点集{ 1-拿起 2-张嘴 3-咀嚼4-喉部动作 5-吞咽 6-恢复正常}中的1-5并且是依序完成，则可以认为患者基本完成该动作，此时，可以在所述激励系统上显示对应于当前激活率的激励视频，例如，在当前完成率下，康复后的患者可以自由的坐在一起饮食，从而达到激励效果。

从图1-2所述的实施例中，针对简单的饮水动作，所述第一指定位置包括手部，所述第二指定位置包括嘴部，所述第三指定位置包括喉部。

所述关联化训练事件节点集包括一个首级单一训练事件节点、一个末级单一训练事件节点以及一个次级单一训练事件节点。

针对复杂的饮食动作，所述第一指定位置包括手部，所述第二指定位置包括嘴部，所述第三指定位置包括喉部；所述关联化训练事件节点集包括一个首级单一训练事件节点、一个末级单一训练事件节点以及多个次级单一训练事件节点，第二指定位置的动作参数为多个，分别对应于所述多个次级单一训练事件节点。

具体的，针对嘴部，需要获取“2-张嘴 3-咀嚼 4-喉部动作 5-吞咽”对应的动作参数以及参数获取时间（用于判断动作是否依序完成）；针对喉部，则需要获取“4-喉部动作5-吞咽6-恢复正常”的多个参数以及参数获取时间（用于判断动作是否依序完成）。

当然，本发明并不以此为限制。针对不同的吞咽训练动作，可以涉及不同流程的参数获取节点。

参见图3，如果患者未能达到预期目标，例如，所述激励系统检测所述第一显示区域上显示的关联化训练事件节点集中的单一训练事件节点的激活率是否达到预定阈值，如果未达到，则在所述第二显示区域上显示最后一个被激活的单一训练事件节点的下一个未被激活的单一训练事件节点对应的训练动作。这样，患者可以实时的知道，自己目前已经到达何种进度。

优选的，若某个关联化训练事件节点集中所有单一训练事件节点的状态均为激活状态并且是依序激活，则将该关联化训练事件节点集的训练成功次数增1；

若某个关联化训练事件节点集的训练成功次数大于预定数值，则针对当前目标患者不再显示该关联化训练事件节点集，此时，可以认为患者已经基本可以熟练的独立完成该动作。

在图3基础上，进一步参见图4，即使患者某次完成了某个训练动作，但是如果时间间隔太久，依然可能遗忘。此时，为了获得更好的康复效果，若某个关联化训练事件节点集的训练成功次数大于预定数值，并且当前目标患者本次训练的时间与最近一次训练的时间超过预定值，则在所述所述饮食操作系统启动后，在所述第一显示区域上显示所述某个关联化训练事件节点集。

需要指出的是，针对吞咽动作的特点，在图1-3所述的实例中，所述预定阈值大于2/3。该阈值的选择是结合了吞咽训练的锻炼动作的实际情况得出的最优选择，并不是随意设置。如果小于2/3，对于喝水这样的简单动作来说，会出现判断失误或者达不到康复效果。

为了验证本发明的技术方案的改进效果，参见图5-6，给出了本发明技术方案的实验数据与改进效果比对图。

在图5-6中，选择60例康复科住院的脑卒中患者，入选标准包括经头颅MRI证实脑卒中、意识清楚、体征平稳、证实存在吞咽障碍、能完成基本的认知动作。

设立对照组与治疗组，对照组采用常规的康复方案，治疗组采用本发明的技术方案。采用随机数字表法将研究对象随机分成治疗组和对照组，每组各３０例。两组资料在年龄、性别、病程及治疗前、对功能性经口摄食量表（FOIS）、美国国立卫生研究卒中量表（NIHSS）评分等方面差异均无显著性意义。

于治疗前及治疗４周后进行吞咽障碍程度评定，得到图5所述的视频透视吞咽检查（VIDEOFLUOROSCOPIC SWALLOWING STUDY,VFSS）检查时间参数；

选用FOIS进行吞咽功能评分，得到图6所述的评分结果。

结合图5-6所述的实验数据可知，本发明的技术方案改进效果十分明显，并且差异具备统计学意义，证明了其有效性。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims

1.一种基于可视化引导的饮食操作系统，用于对目标患者进行饮食康复训练，所述系统包括包含对照屏幕组的显示系统、身体姿态参数识别系统以及激励系统；

其特征在于：

所述显示系统与所述激励系统均连接至康复训练数据库系统；

所述饮食操作系统启动后，

利用所述身体姿态参数识别系统识别目标患者的第二指定位置的动作参数，当识别到第二指定位置的至少一个动作参数时，将所述第一显示区域上显示的关联化训练事件节点集中的次级单一训练事件节点的状态改变为激活状态，同时，在所述第二显示区域上显示所述处于激活状态的次级单一训练事件节点对应的训练动作；

利用所述身体姿态参数识别系统识别目标患者的第三指定位置的动作参数，当识别到第三指定位置的至少一个动作参数时，将所述第一显示区域上显示的关联化训练事件节点集中的末级单一训练事件节点的状态改变为激活状态，同时，在所述第二显示区域上显示所述处于激活状态的末级单一训练事件节点对应的训练动作；

所述激励系统检测所述第一显示区域上显示的关联化训练事件节点集中的单一训练事件节点的激活率是否达到预定阈值，如果达到，则在所述激励系统上显示对应于当前激活率的激励视频；

所述第一指定位置包括手部，所述第二指定位置包括嘴部，所述第三指定位置包括喉部。

2.如权利要求1所述的饮食操作系统，其特征在于：

所述关联化训练事件节点集包括一个首级单一训练事件节点、一个末级单一训练事件节点以及至少一个次级单一训练事件节点。

3.如权利要求1所述的饮食操作系统，其特征在于：

所述关联化训练事件节点集包括一个首级单一训练事件节点、一个末级单一训练事件节点以及多个次级单一训练事件节点，第二指定位置的动作参数为多个，分别对应于所述多个次级单一训练事件节点。

4.如权利要求1所述的饮食操作系统，其特征在于：

所述激励系统检测所述第一显示区域上显示的关联化训练事件节点集中的单一训练事件节点的激活率是否达到预定阈值，如果未达到，则在所述第二显示区域上显示最后一个被激活的单一训练事件节点的下一个未被激活的单一训练事件节点对应的训练动作。

5.如权利要求1-4任一项所述的饮食操作系统，其特征在于：

6.如权利要求5所述的饮食操作系统，其特征在于：

所述身体姿态参数识别系统还包括脸部识别引擎，用于识别当前目标患者。

7.如权利要求1所述的饮食操作系统，其特征在于：

所述预定阈值大于2/3。

8.如权利要求5所述的饮食操作系统，其特征在于：

若某个关联化训练事件节点集的训练成功次数大于预定数值，并且当前目标患者本次训练的时间与最近一次训练的时间超过预定值，则在所述饮食操作系统启动后，在所述第一显示区域上显示所述某个关联化训练事件节点集。

9.如权利要求5所述的饮食操作系统，其特征在于：

所述激励系统检测所述第一显示区域上显示的关联化训练事件节点集中的单一训练事件节点的激活率是否达到预定阈值，如果未达到，则在所述饮食操作系统启动后，在所述第一显示区域上显示所述关联化训练事件节点集中最后一个被激活的单一训练事件节点的下一个未被激活的单一训练事件节点对应的训练动作。