CN113643803B - 口腔颌面头颈肿瘤智慧化康复随访系统 - Google Patents

Abstract

本发明公开了口腔颌面头颈肿瘤智慧化康复随访系统，包括人工智能控制模块，患者智慧屏，牵头医院智慧屏和多个联盟医院智慧屏；人工智能控制模块内搭载有标准识别模型并录制有待推送给患者智慧屏的患者智慧化康复学习视频；患者智慧屏接受人工智能控制模块推送过来的患者智慧化康复学习视频并显示给患者进行学习训练，同时采集患者学习训练的图像、影像和音频信息反馈给人工智能控制模块，人工智能控制模块将采集到的图像、影像和音频信息与预先训练好的标准识别模型进行对比识别分析，判断患者学习训练结果是否符合训练标准，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导；实现对口腔颌面头颈肿瘤术后患者的有效康复指导。

Description

口腔颌面头颈肿瘤智慧化康复随访系统

技术领域

本发明涉及医疗辅助设备，具体涉及一种口腔颌面头颈肿瘤智慧化康复随访系统。

背景技术

口腔颌面头颈肿瘤手术是目前治疗口腔科肿瘤患者的最佳治疗方法，大多数患者愈后良好，但部分患者术后出现并发症，加上口腔颌面头颈肿瘤患者可能存在进食困难、进食不足等问题。因此，护理人员需要及时控制、掌握患者康复情况，使肿瘤对患者身心的损害降到最低。

发明内容

针对现有技术存在的问题，本发明提供一种口腔颌面头颈肿瘤智慧化康复随访系统，通过与智慧屏的结合，实现对患者依从性的质量管理及患者与医务工作者的有效互动，以确保患者在不同的健康照顾场所能够得到相对稳定的指导与延续护理，实现对口腔颌面头颈肿瘤术后患者的有效康复指导。

本发明的技术方案是：口腔颌面头颈肿瘤智慧化康复随访系统，包括人工智能控制模块，患者智慧屏，牵头医院智慧屏和多个联盟医院智慧屏；

所述人工智能控制模块内搭载有通过深度学习模块预先训练好的标准识别模型并录制有待推送给患者智慧屏的患者智慧化康复学习视频；

所述人工智能控制模块通过人工写入患者训练计划，并根据患者训练计划推送患者智慧化康复学习视频通知到患者智慧屏提醒患者开始本次训练，如果患者在规定时间内未进入训练模式，人工智能控制模块将在后台给牵头医院智慧屏发出通知提醒护理人员进行人工干预；

所述患者智慧屏接受人工智能控制模块推送过来的患者智慧化康复学习视频并显示给患者进行学习训练，同时采集患者学习训练的图像、影像和音频信息反馈给人工智能控制模块，人工智能控制模块存储采集到的图像、影像和音频信息并将采集到的图像、影像和音频信息与预先训练好的标准识别模型进行对比识别分析，判断患者学习训练结果是否符合训练标准，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导；

所述牵头医院智慧屏和多个联盟医院智慧屏之间通过信息互动实现远程会诊和双向转诊。

进一步的，人工智能控制模块将采集到的图像、影像和音频信息与预先训练好的标准识别模型进行对比识别分析，判断患者学习训练结果是否符合训练标准，并将判别结果实时反馈给牵头医院智慧屏通知提醒护理人员跟进指导；当出现患者学习训练效果不符合训练标准或者患者依从性不符合标准时，护理人员能够通过牵头医院智慧屏和患者智慧屏之间的信息互动实现与患者的实时沟通进行人工干预。

进一步的，所述患者智慧屏上还设置有一键呼叫控制按钮，当发现患者突发异常情况时，家属可通过患者智慧屏进行一键呼叫操作，将患者智慧屏与牵头医院智慧屏之间建立起实时信息互动，从而建立起与牵头医院护理人员的直接沟通渠道。

进一步的，所述患者智慧屏采用分屏模式，一部分显示人工智能控制模块内录制的患者智慧化康复学习视频，一部分同步显示患者自身的锻炼结果。不仅方便患者对照训练，也能实现对患者训练结果的拍照、录像及录音操作，为进一步康复指导提供数据支撑。

进一步的，所述人工智能控制模块包括气切护理模块，所述患者智慧屏接受气切护理模块推送过来的气切护理指导视频并显示给患者进行学习训练，同时采集患者学习训练的图像和影像信息反馈给人工智能控制模块，人工智能控制模块存储采集到的图像和影像信息并将采集到的图像和影像信息传输至气切护理模块，气切护理模块通过深度学习yolov5目标检测识别与预先训练好的标准颜色空间判别，自动判别喉咙红肿、套管干净程度、痰液颜色，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导。

进一步的，还包括血氧饱和度检测装置，所述血氧饱和度检测装置用于检测患者的血氧饱和度，并将血氧饱和度检测结果传输至人工智能控制模块，人工智能控制模块存储采集到的血氧饱和度检测结果并将采集到血氧饱和度检测结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导。

进一步的，所述人工智能控制模块包括张口功能训练模块、吞咽功能训练模块和肩部运动功能训练模块；

所述患者智慧屏接受推送过来的张口功能训练视频、吞咽功能训练视频或者肩部运动功能训练视频并显示给患者进行学习训练，同时采集患者学习训练的图像和影像信息反馈给人工智能控制模块，人工智能控制模块存储采集到的图像和影像信息并将采集到的图像和影像信息通过深度学习mtcnn和pytorch技术，自动判别患者训练恢复情况，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导。

进一步的，所述人工智能控制模块包括言语功能训练模块；所述患者智慧屏采集患者学习训练的音频信息反馈给人工智能控制模块，人工智能控制模块存储采集到的音频信息并将采集到的音频信息通过语音识别技术进行语音的特征提取，并通过谐噪比、频率微扰、振幅微扰、规范化噪声能量四个指标自动识别患者发音的标准化程度，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导。

进一步的，所述人工智能控制模块包括营养指导模块；所述营养指导模块定时推送营养进食标准到患者智慧屏指导患者进食。

进一步的，所述患者训练计划是通过对患者进行SPADI调查表、吞咽功能问卷调查表、语音测试表、SADS调查表调查后，根据评估结果生成的患者个性化康复指导计划。

本发明的有益效果是：

1、智慧屏AI赋能：现有的随访系统多采用微信、短信、电话等方式进行康复指导内容的推送。而本系统通过与智慧屏的结合，可以感知患者居家训练场景，做到人体部位检测与追踪、医疗器械识别与检测、发音器官功能评估，并纠正患者的每个动作，让训练更规范。实现对患者依从性的质量管理及患者与医务工作者的有效互动，以确保患者在不同的健康照顾场所能够得到相对稳定的指导与延续护理，实现对口腔颌面头颈肿瘤术后患者的有效康复指导。

2、真实数据管理：现有的随访系统，缺失了对患者真实数据的获取，无法对患者的真实康复效果进行评价。本平台通过物联设备视频构建更直接的医患沟通渠道，实现更接近面对面的康复效果，支撑护理人员下一步的康复决策。

3、万物互联：系统借助物联网设备(如蓝牙)还可以做到人体血氧指标的自动识别，实现居家患者的康复结果的监测。并且，随着智能物联设备越来越多，通过本系统，可以实现更多的居家康复训练，以智慧屏与智慧屏作为医患、多中心沟通桥梁，结合日渐丰富的智能物联设备，最终实现万物互联。未来，平台针对需要居家康复的疾病可以越加多样，可以服务更多的患者，经过患者数据量不断积累，也能赋予人工智能识别能力提升。

4、多中心体系构建：目前各医疗机构对口腔颌面头颈肿瘤患者未形成统一的康复指导标准，有必要通过牵头医院领衔，实现优质医疗资源的共享和下沉。本系统建立的目标就是要优先在各联盟单位中建立口腔颌面头颈肿瘤康复随访标准，并依托远程会诊、双向转诊等功能，实现大病到大医院，康复在小医院的有序医疗服务格局；继而逐步覆盖全国多家联盟单位，建立全国性的康复指导体系。通过多中心模式，可以迅速累积康复患者数据，实现患者数据的统一存储与共享，更高效的进行康复患者管理，并实现科研产出，大量的科研也能为口腔颌面头颈肿瘤科带来学科提升，更进一步，将影响力拓展至全世界。

5、通过本申请的建设，解决了以前患者不做、不会做、做的不好等问题，也让护理人员更好地追踪患者康复效果。

附图说明

图1为口腔颌面头颈肿瘤智慧化康复随访系统总体功能架构图；

图2为气切护理流程结构图；

图3为张口功能训练流程结构图；

图4为吞咽功能训练流程结构图；

图5为言语功能训练流程结构图；

图6为肩部运动功能训练流程结构图；

图7为分屏示范图；

图8为一键呼叫功能示意图。

其中：AI为人工智能，patient为患者，client为家属，server为服务者。

具体实施方式

下面结合附图对本发明做进一步的说明。

本申请是整合多中心医疗资源组成医联体。通过口腔颌面头颈肿瘤智慧化口腔颌面头颈肿瘤智慧化康复随访平台，实现六大居家康复护理指导与训练：张口训练、吞咽训练、言语训练、肩部运动训练、营养指导、气切护理；同时，依托医联体平台，实现优质医疗资源的下沉，由牵头医院通过远程会诊、转诊等方式实现对疑难杂症患者的有效诊疗；再者，建立口腔颌面头颈肿瘤康复指导“金标准”，并辐射到区域医疗机构，将专业护理传入家庭，让患者获得同质性护理，并通过智能化技术体现人性化温暖，延续护理的长期管理。

具体的，如图1所示，口腔颌面头颈肿瘤智慧化康复随访系统，包括人工智能控制模块，患者智慧屏，牵头医院智慧屏和多个联盟医院智慧屏；所述人工智能控制模块内搭载有通过深度学习模块预先训练好的标准识别模型并录制有待推送给患者智慧屏的患者智慧化康复学习视频；所述人工智能控制模块通过人工写入患者训练计划，并根据患者训练计划推送患者智慧化康复学习视频通知到患者智慧屏提醒患者开始本次训练，如果患者在规定时间内未进入训练模式，人工智能控制模块将在后台给牵头医院智慧屏发出通知提醒护理人员进行人工干预；所述患者智慧屏接受人工智能控制模块推送过来的患者智慧化康复学习视频并显示给患者进行学习训练，同时采集患者学习训练的图像、影像和音频信息反馈给人工智能控制模块，人工智能控制模块存储采集到的图像、影像和音频信息并将采集到的图像、影像和音频信息与预先训练好的标准识别模型进行对比识别分析，判断患者学习训练结果是否符合训练标准，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导；所述牵头医院智慧屏和多个联盟医院智慧屏之间通过信息互动实现远程会诊和双向转诊。

由于口腔颌面部肿瘤手术会将部分/全部舌体、上颌骨/下颌骨、累及口底肌肉、软组织等切除，所以会直接影响到患者许多功能，如张口、语言、吞咽、颈肩部活动等，需要经过长期训练、护理，才可以恢复正常功能。而患者的病情具有差异化，因此在给患者制定康复计划之前必须要对患者进行充分的评估，包括SPADI调查表、吞咽功能问卷调查表、语音测试表、SADS调查表等，根据评估结果生成患者个性化康复指导计划，并依托计划，结合智慧屏实现对患者的定期训练提醒，并对训练频率、次数、内容等进行指导，同时根据患者可通过智慧屏反馈结果，平台根据反馈结果进行训练效果的智能分析，指导医护下一步诊疗决策。

具体功能应用如下：

通知提醒：

护理人员将患者训练计划填写至平台系统中，系统会根据计划推送训练通知提醒，进入训练模式中，如果患者在规定时间内未进入训练模式，将在后台提醒护理人员进行人工干预。

具体训练指导如下：

(1)如图2所示气切护理：

部分出院患者，为避免病人术后发生呼吸道梗阻的危险，常有病人带气切套管返回病房，患者出院后带管回家，因此气切的护理显得尤为重要。

本系统可通过患者智慧屏，将气切护理指导视频定时推送给患者提醒并指导家属进行气切护理；在护理的过程中，一旦发现患者突发异常情况时家属可通过患者智慧屏进行一键呼叫操作，建立起与医院护理人员的直接沟通渠道。再者，家属可进行图像、视频的采集与上传操作，系统通过深度学习yolov5目标检测识别与传统颜色空间判别，自动判别喉咙红肿、套管清洗干净程度、痰液颜色，并将判别结果及时反馈给护理人员以跟进指导。同时，平台可以结合物联设备，实现对血氧饱和度的实时监测，以便更好的了解患者的气切护理及雾化效果。

(2)如图3所示张口功能训练：

口腔颌面头颈肿瘤患者大多都有张口困难的问题，对张口功能的训练对后期的吞咽、言语等训练起着占据着至关的重要。系统通过患者智慧屏定期提醒患者进行张口训练，指导患者先以手指或金属开口器做被动张口，待口腔能张开一定程度后再行主动张口训练。系统通过深度学习mtcnn和pytorch技术，能自动判别嘴巴张口大小，收集嘴部的图片并标注关键点，建立卷积加全连接层的模型。训练后通过模型计算出嘴部、关键点，通过计算关键点位置变换判别患者恢复情况。

(3)如图4所示吞咽功能训练：

系统提供对患者吞咽功能的训练指导，由护士根据患者的评估结果制定吞咽指导计划及标准，并通过平台定时的提醒患者进行吞咽训练，通过吞咽训练增加舌的动度和灵活性，为了让舌尽量前伸到延展，可让舌左右运动。平台通过收集患者舌头运动图片并标注关键点，建立卷积加全连接层的模型；并依托深度学习mtcnn、pytorch等技术，训练后通过模型计算出舌头关键点，通过计算关键点位置变换判别舌头患者恢复情况。

(4)如图5所示言语功能训练：

发音训练主要是做舌腭音，卷舌音等训练，提高患者术后讲话清晰度。护士根据患者的评估结果生成个性化康复指导计划，并通过音节、字表、词组、短句等方式对患者进行循序渐进的发音训练。同时系统可利用语音识别技术进行语音的特征提取(如：MFCC,Fbank,PNCC)，并通过谐噪比(HNR)、频率微扰(jitter)、振幅微扰(shimmer)、规范化噪声能量(NNE)四个指标自动识别患者发音的标准化程度。

(5)营养指导：

营养食谱见表1：

表1

大部分患者会因口腔手术导致无法很好的进食，进而容易导致营养不良，正确的饮食指导能保证患者获得充足的营养。护士在患者出院后，会为每个患者制定个性化的营养指导计划，并通过智慧屏定期的发送给家属，指导患者进食，保障康复营养平衡。

(6)如图6所示肩部运动功能训练：

系统提供对患者肩部运动功能的训练指导，由护士根据患者的评估结果制定肩部运动指导计划及标准，并通过系统定时的提醒患者进行肩部运动训练。系统通过收集患者肩部运动图片并标注关键点，建立卷积加全连接层的模型；并依托深度学习mtcnn、pytorch等技术，训练后通过模型计算出肩部关键点，捕捉到肩部运动轨迹，并能通过AI智能技术实时监测纠正患者的每个动作，让训练动作更规范，更能通过计算关键点位置变换判别患者肩部恢复情况。

如图7所示分屏示范：

为了让患者更直观的了解训练内容，系统采用分屏指导模式，针对患者的张口训练、吞咽训练、言语训练、肩部运动训练，系统会将标准训练教程放在患者智慧屏上，提供护理人员影像分屏指导，帮助患者了解此次训练计划内容。同时，患者自身的锻炼结果也同步展示在智慧屏上，不仅方便患者对照训练，也能实现对患者训练结果的拍照、录像及录音操作，为进一步康复指导提供数据支撑。

训练质量分析：

为了更好的监测患者的训练质量，系统会通过人工智能技术，对图片、视频的质量进行分析，分析训练结果是否符合训练目标、护理是否符合标准、是否有护理不到位情况。当出现训练效果不佳、患者依从性低，护理人员也可以通过平板与患者直接进行人工干预，确保患者康复质量。

训练干预：

如果患者未按时、达标进行康复训练，系统将通知护理人员进行人工干预或远程指导，护理人员可以通过医护人员平板直接与患者进行视频，远程会诊患者情况，延续护理到家。

训练录像：

训练将通过后台上传至系统，医务人员可通过录像人工确认康复效果是否符合预期，也可以通过训练结果进行康复计划调整。

远程会诊：

基于区域医联体的搭建，牵头医院可通过远程会诊方式实现对区域内医疗机构的医疗扶持。当下级医院遇到疑难杂症时，可以通过智慧屏向上级医院发送远程会诊请求，牵头医院接收后可以进行多方线上会诊，以便更好的辅助诊疗。

双向转诊：

牵头医院无论是在医疗人才、还是在技术及设备方面都占据着天然的优势，因此有必要依托牵头医院的优质医疗资源，通过医联体平台，建立协作互补的新型城市卫生服务体系。通过智慧屏载体，根据患者的病情严重程度，实现双向转诊，做到大病到大医院，康复在小医院有序医疗服务格局。

如图8所示的一键呼叫：

针对患者日常康复过程中出现突发情况时，可以通过一键呼叫功能与护理人员进行紧急联系。

本申请通过与智慧屏的结合，实现对口腔颌面头颈肿瘤术后患者的有效康复指导；并依托人工智能技术，自动识别患者的训练达标程度，辅助进一步康复决策。通过本项目的建设，解决了以前患者不做、不会做、做的不好等问题，也让护理人员更好地追踪患者康复效果。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：包括人工智能控制模块，患者智慧屏，牵头医院智慧屏和多个联盟医院智慧屏；

所述人工智能控制模块内搭载有通过深度学习模块预先训练好的标准识别模型并录制有待推送给患者智慧屏的患者智慧化康复学习视频；

所述人工智能控制模块通过人工写入患者训练计划，并根据患者训练计划推送患者智慧化康复学习视频通知到患者智慧屏提醒患者开始本次训练，如果患者在规定时间内未进入训练模式，人工智能控制模块将在后台给牵头医院智慧屏发出通知提醒护理人员进行人工干预；

所述患者智慧屏接受人工智能控制模块推送过来的患者智慧化康复学习视频并显示给患者进行学习训练，同时采集患者学习训练的图像、影像和音频信息反馈给人工智能控制模块，人工智能控制模块存储采集到的图像、影像和音频信息并将采集到的图像、影像和音频信息与预先训练好的标准识别模型进行对比识别分析，判断患者学习训练结果是否符合训练标准，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导；

所述牵头医院智慧屏和多个联盟医院智慧屏之间通过信息互动实现远程会诊和双向转诊；

所述人工智能控制模块包括气切护理模块，所述患者智慧屏接受气切护理模块推送过来的气切护理指导视频并显示给患者进行学习训练，同时采集患者学习训练的图像和影像信息反馈给人工智能控制模块，人工智能控制模块存储采集到的图像和影像信息并将采集到的图像和影像信息传输至气切护理模块，气切护理模块通过深度学习yolov5目标检测识别与预先训练好的标准颜色空间判别，自动判别喉咙红肿、套管干净程度、痰液颜色，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导。

2.根据权利要求1所述的口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：人工智能控制模块将采集到的图像、影像和音频信息与预先训练好的标准识别模型进行对比识别分析，判断患者学习训练结果是否符合训练标准，并将判别结果实时反馈给牵头医院智慧屏通知提醒护理人员跟进指导；当出现患者学习训练效果不符合训练标准或者患者依从性不符合标准时，护理人员能够通过牵头医院智慧屏和患者智慧屏之间的信息互动实现与患者的实时沟通进行人工干预。

3.根据权利要求1所述的口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：所述患者智慧屏上还设置有一键呼叫控制按钮，当发现患者突发异常情况时，家属可通过患者智慧屏进行一键呼叫操作，将患者智慧屏与牵头医院智慧屏之间建立起实时信息互动，从而建立起与牵头医院护理人员的直接沟通渠道。

4.根据权利要求1所述的口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：所述患者智慧屏采用分屏模式，一部分显示人工智能控制模块内录制的患者智慧化康复学习视频，一部分同步显示患者自身的锻炼结果。

5.根据权利要求1所述的口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：还包括血氧饱和度检测装置，所述血氧饱和度检测装置用于检测患者的血氧饱和度，并将血氧饱和度检测结果传输至人工智能控制模块，人工智能控制模块存储采集到的血氧饱和度检测结果并将采集到血氧饱和度检测结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导。

6.根据权利要求1所述的口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：所述人工智能控制模块包括张口功能训练模块、吞咽功能训练模块和肩部运动功能训练模块；

所述患者智慧屏接受推送过来的张口功能训练视频、吞咽功能训练视频或者肩部运动功能训练视频并显示给患者进行学习训练，同时采集患者学习训练的图像和影像信息反馈给人工智能控制模块，人工智能控制模块存储采集到的图像和影像信息并将采集到的图像和影像信息通过深度学习mtcnn和pytorch技术，自动判别患者训练恢复情况，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导。

7.根据权利要求1所述的口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：所述人工智能控制模块包括言语功能训练模块；所述患者智慧屏采集患者学习训练的音频信息反馈给人工智能控制模块，人工智能控制模块存储采集到的音频信息并将采集到的音频信息通过语音识别技术进行语音的特征提取，并通过谐噪比、频率微扰、振幅微扰、规范化噪声能量四个指标自动识别患者发音的标准化程度，并将判别结果反馈给牵头医院智慧屏通知提醒护理人员跟进指导。

8.根据权利要求1所述的口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：所述人工智能控制模块包括营养指导模块；所述营养指导模块定时推送营养进食标准到患者智慧屏指导患者进食。

9.根据权利要求1所述的口腔颌面头颈肿瘤智慧化康复随访系统，其特征在于：所述患者训练计划是通过对患者进行SPADI调查表、吞咽功能问卷调查表、语音测试表、SADS调查表调查后，根据评估结果生成的患者个性化康复指导计划。

Images