CN113643795B - 基于人工智能的口腔颌面头颈肿瘤康复护理系统 - Google Patents

Abstract

本发明属于基于口腔颌面头颈肿瘤的医疗康复护理领域，具体公开了一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，包括相通讯连接的患者智慧端、AI处理系统与医院护理智慧端，所述患者智慧端集成有触摸输入显示屏模块、采集模块、上传模块与报警沟通模块，其中触摸输入显示屏模块用于输入以及存储患者基础信息、病例信息以及评估调查表信息，采集模块用于采集患者恢复过程中的图像、视频、音频信息，上传模块与触摸输入显示屏模块、采集模块相连并将存储的患者基础信息、病例信息、评估调查表信息以及图像、视频、音频信息上传至AI处理系统。本发明能自动识别患者的训练达标程度，辅助进一步康复决策。

Description

基于人工智能的口腔颌面头颈肿瘤康复护理系统

技术领域

本发明涉及基于口腔颌面头颈肿瘤的医疗康复护理领域，具体为基于人工智能的口腔颌面头颈肿瘤康复护理系统。

背景技术

口腔颌面及头颈部各种良性和恶性肿瘤，如：舌癌、口腔颊粘膜癌、牙龈癌、口底癌、舌根癌、腭癌、上颌窦癌、上、下颌骨癌及肉瘤、颌骨内的良性肿瘤或囊肿，涎腺的各种良、恶性肿瘤、头面部及颈部各种良、恶性肿瘤及囊肿等。

口腔颌面头颈肿瘤手术是目前治疗口腔科肿瘤患者的最佳治疗方法，大多数患者愈后良好，但部分患者术后出现并发症，加上口腔颌面头颈肿瘤患者可能存在进食困难、进食不足等问题。因此，护理人员如何控制、掌握患者康复情况，使肿瘤对患者身心的损害降到最低是本发明的主要研究内容。

发明内容

本发明的目的在于提供一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，包括相通讯连接的患者智慧端、AI处理系统与医院护理智慧端，所述患者智慧端集成有触摸输入显示屏模块、采集模块、上传模块与报警沟通模块，其中触摸输入显示屏模块用于输入以及存储患者基础信息、病例信息以及评估调查表信息，采集模块用于采集患者恢复过程中的图像、视频、音频信息，上传模块与触摸输入显示屏模块、采集模块相连并将存储的患者基础信息、病例信息、评估调查表信息以及图像、视频、音频信息上传至AI处理系统；所述报警沟通模块与医院护理智慧端相关联，报警沟通模块可在患者突发异常情况时家属可通过患者智慧端进行一键呼叫，建立与医院护理人员的沟通渠道。

优选的，评估调查表信息包括但不限于SPADI调查表、吞咽功能问卷调查表、语音测试表、SADS调查表。

优选的，采集模块采集患者恢复过程中的图像、音频信息包括针对气切护理恢复的喉咙图像、套管图像、痰液图像采集，针对张口功能恢复的面部张口大小图像采集，针对吞咽功能恢复的舌头运动图像采集，针对言语功能恢复的语音采集提取，以及针对肩部运动恢复的肩部运动图像采集。

优选的，AI处理系统包括解析模块、评估模块、AI识别处理模块、功能模块，解析模块用于获取评估调查表信息，并对评估调查表信息进行解析以及康复评估，并将解析以及康复评估信息反馈至评估模块；所述评估模块根据解析以及康复评估结果生成患者个性化康复指导计划，并依托计划，对患者进行定期训练提醒，并对训练频率、次数、内容进行指导；所述AI识别处理模块收集嘴部的张口图像、舌头运动图像、肩部运动图像并标注关键点，基于深度学习的mtcnn检测与pytorch技术建立卷积加全连接层的模型，通过将模型训练，并通过模型计算出嘴部关键点，通过计算关键点位置变换判别患者恢复情况，并将判别结果反馈至医院护理智慧端；所述AI识别处理模块收集喉咙图像、套管图像、痰液图像并基于深度学习yolov5目标检测识别与颜色空间判别，判别喉咙红肿、套管干净程度、痰液颜色，并将判别结果反馈至医院护理智慧端；所述AI识别处理模块收集语音采集信息，并基于MFCC的语音的特征提取，提取语音特征，并通过谐噪比、频率微扰、振幅微扰、规范化噪声能量四个指标自动识别患者发音的标准化程度，并将判别结果反馈至医院护理智慧端。

优选的，功能模块包括计划推送单元、指导技术及标准存储单元、训练质量分析单元，其中计划推送单元基于康复指导计划进行康复训练通知提醒以及指导视频推送，指导技术及标准存储单元用于存储医院护理智慧端反馈的饮食指导、吞咽指导、张口训练指导、气切护理指导等。

优选的，训练质量分析单元与AI识别处理模块相关联，训练质量分析单元获取患者的训练图像，并进行训练质量分析，分析训练结果包括：是否符合训练目标、护理是否符合标准、是否有护理不到位情况，且当出现训练效果不佳、患者依从性低时，AI处理系统向医院护理智慧端发送训练不达标信息，并由护理人员通过医院护理智慧端与患者直接进行人工干预，确保患者康复质量。

优选的，医院护理智慧端用于提供护理计划指导、干预、远程会诊、双向转诊。当下级医院遇到疑难杂症时，可以通过智慧屏向上级医院发送远程会诊请求，头部医院接收后可以进行多方线上会诊，以便更好的辅助诊疗；而且智慧端(智慧屏)可依托头部医院的优质医疗资源，通过医联体平台，建立协作互补的新型城市卫生服务体系。通过智慧屏载体，根据患者的病情严重程度，实现双向转诊，做到大病到大医院，康复在小医院有序医疗服务格局。

优选的，为了让患者更直观的了解训练内容，系统采用分屏指导模式，针对患者的张口训练、吞咽训练、言语训练、肩部运动训练，系统会将标准训练教程放在智慧屏上，提供护理人员影像分屏指导，帮助患者了解此次训练计划内容。同时，患者自身的锻炼结果也同步展示在智慧屏上，不仅方便患者对照训练，也能实现对患者训练结果的拍照、录像及录音操作，为进一步康复指导提供数据支撑。

与现有技术相比，本发明的有益效果是：

本发明能实现对口腔颌面头颈肿瘤术后患者的有效康复指导；并依托人工智能技术，自动识别患者的训练达标程度，辅助进一步康复决策，同时本发明还根据评估结果生成患者个性化康复指导计划，并依托计划，结合智慧屏实现对患者的定期训练提醒，并对训练频率、次数、内容等进行指导，同时根据患者可通过智慧屏反馈结果，平台根据反馈结果进行训练效果的智能分析，指导医护下一步诊疗决策。

附图说明

图1为本发明的系统原理框图；

图2为本发明的系统结构框图；

图3为本发明系统的总体功能架构图；

图4为本发明实施例中张口功能训练流程结构图；

图5为本发明实施例中气切护理流程结构图；

图6为本发明实施例中言语功能训练流程结构图；

图7为本发明实施例中吞咽功能训练流程结构图。

图中：1、患者智慧端；101、触摸输入显示屏模块；102、采集模块；103、上传模块；104、报警沟通模块；2、AI处理系统；201、解析模块；202、评估模块；203、AI识别处理模块；204、功能模块；3、医院护理智慧端。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-3，本发明提供一种技术方案：一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，包括相通讯连接的患者智慧端1、AI处理系统2与医院护理智慧端3，所述患者智慧端1集成有触摸输入显示屏模块101、采集模块102、上传模块103与报警沟通模块104，其中触摸输入显示屏模块101用于输入以及存储患者基础信息、病例信息以及评估调查表信息，采集模块102用于采集患者恢复过程中的图像、视频、音频信息，上传模块103与触摸输入显示屏模块101、采集模块102相连并将存储的患者基础信息、病例信息、评估调查表信息以及图像、视频、音频信息上传至AI处理系统2；所述报警沟通模块104与医院护理智慧端3相关联，报警沟通模块104可在患者突发异常情况时家属可通过患者智慧端1进行一键呼叫，建立与医院护理人员的沟通渠道。

在本实施例中，评估调查表信息包括但不限于SPADI调查表、吞咽功能问卷调查表、语音测试表、SADS调查表。

在本实施例中，采集模块102采集患者恢复过程中的图像、音频信息包括针对气切护理恢复的喉咙图像、套管图像、痰液图像采集，针对张口功能恢复的面部张口大小图像采集，针对吞咽功能恢复的舌头运动图像采集，针对言语功能恢复的语音采集提取，以及针对肩部运动恢复的肩部运动图像采集。

在本实施例中，AI处理系统2包括解析模块201、评估模块202、AI识别处理模块203、功能模块204，解析模块201用于获取评估调查表信息，并对评估调查表信息进行解析以及康复评估，并将解析以及康复评估信息反馈至评估模块202；所述评估模块202根据解析以及康复评估结果生成患者个性化康复指导计划，并依托计划，对患者进行定期训练提醒，并对训练频率、次数、内容进行指导；所述AI识别处理模块203收集嘴部的张口图像、舌头运动图像、肩部运动图像并标注关键点，基于深度学习的mtcnn检测与pytorch技术建立卷积加全连接层的模型，通过将模型训练，并通过模型计算出嘴部关键点，通过计算关键点位置变换判别患者恢复情况，并将判别结果反馈至医院护理智慧端3；所述AI识别处理模块203收集喉咙图像、套管图像、痰液图像并基于深度学习yolov5目标检测识别与颜色空间判别，判别喉咙红肿、套管干净程度、痰液颜色，并将判别结果反馈至医院护理智慧端3；所述AI识别处理模块203收集语音采集信息，并基于MFCC的语音的特征提取，提取语音特征，并通过谐噪比、频率微扰、振幅微扰、规范化噪声能量四个指标自动识别患者发音的标准化程度，并将判别结果反馈至医院护理智慧端3。

在本实施例中，功能模块204包括计划推送单元、指导技术及标准存储单元、训练质量分析单元，其中计划推送单元基于康复指导计划进行康复训练通知提醒以及指导视频推送，指导技术及标准存储单元用于存储医院护理智慧端反馈的饮食指导、吞咽指导、张口训练指导、气切护理指导等。

在本实施例中，训练质量分析单元与AI识别处理模块203相关联，训练质量分析单元获取患者的训练图像，并进行训练质量分析，分析训练结果包括：是否符合训练目标、护理是否符合标准、是否有护理不到位情况，且当出现训练效果不佳、患者依从性低时，AI处理系统2向医院护理智慧端3发送训练不达标信息，并由护理人员通过医院护理智慧端3与患者直接进行人工干预，确保患者康复质量。

在本实施例中，医院护理智慧端3用于提供护理计划指导、干预、远程会诊、双向转诊。

请参阅图4，图4为本发明实施例张口功能训练流程结构图，由于口腔颌面头颈肿瘤患者大多都有张口困难的问题，对张口功能的训练对后期的吞咽、言语等训练起着占据着至关的重要。平台通过智慧屏定期提醒患者进行张口训练，指导患者先以手指或金属开口器做被动张口，待口腔能张开一定程度后再行主动张口训练。平台通过深度学习mtcnn和pytorch技术，能自动判别嘴巴张口大小，收集嘴部的图片并标注关键点，建立卷积加全连接层的模型。训练后通过模型计算出嘴部、关键点，通过计算关键点位置变换判别患者恢复情况。

请参阅图5，图5为本发明实施例气切护理流程结构图，可通过智慧屏，将气切护理指导视频定时推送给患者提醒并指导家属进行气切护理；在护理的过程中，一旦发现患者突发异常情况时家属可通过智慧屏进行一键呼叫操作，建立起与医院护理人员的直接沟通渠道。再者，家属可进行图像、视频的采集与上传操作，平台通过深度学习yolov5目标检测识别与传统颜色空间判别，自动判别喉咙红肿、套管干净程度、痰液颜色，并将判别结果及时反馈给护理人员以跟进指导。同时，平台可以结合物联设备，实现对血氧饱和度的实时监测，以便更好的了解患者的气切护理及雾化效果。

yolov5是目前最新的目标检测分类模型，其具有较强的目标检测能力和特征提取能力，检测速度也优于其它检测模型，yolov5中使用了CSPNet(Cross Stage PartialNetwork，跨阶段局部网络)结构，增强了CNN的学习能力，能够在轻量化的同时保证准确性，有效降低了计算瓶颈和内存成本。yolov5是目前检测性能最强的CNN模型之一，具备极强的数据抽象能力、特征提取能力、定位能力和图像分类能力。训练过程中在每个卷积层后加一层BN层(批归一化层)，降低了过拟合现象，并提高了网络的泛化能力，加速网络收敛。

Focus模块在YOLOv5中是图片进入backbone前，对图片进行切片操作，具体操作是在一张图片中每隔一个像素拿到一个值，这样就拿到了四张图片，四张图片互补，没有信息丢失，这样一来输入的图片由原来的3通道变成了12个通道，最后将得到的新图片再经过卷积操作，最终得到了没有信息丢失的特征图。

以实际输入图像为例，原始的640×640×3的图像输入Focus结构，采用切片操作，先变成320×320×12的特征图，再经过一次卷积操作，最终变成320×320×32的特征图。

Focus相比于普通卷积计算量多4倍，但为后续的特征提取保留了更完整的图片下采样信息。

在本实施例中，本发明的算法服务主要基于pytorch框架进行计算。存储则基于分布式文件存储系统，如CFS，为便于检索比较一般存储于向量数据库中，如milvus。

请参阅图6，图6为本发明实施例言语功能训练流程结构图，由于发音训练主要是做舌腭音，卷舌音等训练，提高患者术后讲话清晰度。护士根据患者的评估结果生成个性化康复指导计划，并通过音节、字表、词组、短句等方式对患者进行循序渐进的发音训练。同时平台可利用语音识别技术进行语音的特征提取(如：MFCC,Fbank,PNCC)，并通过谐噪比(HNR)、频率微扰(jitter)、振幅微扰(shimmer)、规范化噪声能量(NNE)四个指标自动识别患者发音的标准化程度。

请参阅图7，图7为本发明实施例吞咽功能训练流程结构图，平台提供对患者吞咽功能的训练指导，由护士根据患者的评估结果制定吞咽指导计划及标准，并通过平台定时的提醒患者进行吞咽训练，通过吞咽训练增加舌的动度和灵活性，为了让舌尽量前伸到延展，可让舌左右运动。平台通过收集患者舌头运动图片并标注关键点，建立卷积加全连接层的模型；并依托深度学习mtcnn、pytorch等技术，训练后通过模型计算出舌头关键点，通过计算关键点位置变换判别舌头患者恢复情况。

MTCNN是一种多任务级联卷积神经网络(Multi-task Cascaded ConvolutionalNetworks)用以同时处理人脸检测和人脸关键点定位问题。人脸检测和人脸关键点检测两个任务之间往往存在着潜在的联系，然而大多数方法都未将两个任务有效的结合起来，MTCNN是一种多任务级联的人脸检测框架，将人脸检测和人脸关键点检测同时进行。

在本实施例中，当下级医院遇到疑难杂症时，可以通过智慧屏向上级医院发送远程会诊请求，头部医院接收后可以进行多方线上会诊，以便更好的辅助诊疗；而且智慧端(智慧屏)可依托头部医院的优质医疗资源，通过医联体平台，建立协作互补的新型城市卫生服务体系。通过智慧屏载体，根据患者的病情严重程度，实现双向转诊，做到大病到大医院，康复在小医院有序医疗服务格局。

在本实施例中，为了让患者更直观的了解训练内容，系统采用分屏指导模式，针对患者的张口训练、吞咽训练、言语训练、肩部运动训练，系统会将标准训练教程放在智慧屏上，提供护理人员影像分屏指导，帮助患者了解此次训练计划内容。同时，患者自身的锻炼结果也同步展示在智慧屏上，不仅方便患者对照训练，也能实现对患者训练结果的拍照、录像及录音操作，为进一步康复指导提供数据支撑。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，其特征在于，包括相通讯连接的患者智慧端（1）、AI处理系统（2）与医院护理智慧端（3），所述患者智慧端（1）集成有触摸输入显示屏模块（101）、采集模块（102）、上传模块（103）与报警沟通模块（104），其中触摸输入显示屏模块（101）用于输入以及存储患者基础信息、病例信息以及评估调查表信息，采集模块（102）用于采集患者恢复过程中的图像、视频和音频信息，上传模块（103）与触摸输入显示屏模块（101）、采集模块（102）相连并将存储的患者基础信息、病例信息、评估调查表信息以及图像、视频、音频信息上传至AI处理系统（2）；所述报警沟通模块（104）与医院护理智慧端（3）相关联，在患者突发异常情况时家属通过患者智慧端（1）进行一键呼叫，报警沟通模块（104）建立与医院护理人员的沟通渠道；

所述AI处理系统（2）包括解析模块（201）、评估模块（202）、AI识别处理模块（203）和功能模块（204），解析模块（201）用于获取评估调查表信息，并对评估调查表信息进行解析以及康复评估，并将解析以及康复评估信息反馈至评估模块（202）；

所述评估模块（202）根据解析以及康复评估结果生成患者个性化康复指导计划，并依托计划，对患者进行定期训练提醒，并对训练频率、次数和内容进行指导；

所述AI识别处理模块（203）收集嘴部的张口图像、舌头运动图像和肩部运动图像并标注关键点，基于深度学习的mtcnn检测与pytorch技术建立卷积加全连接层的模型，对模型进行训练，并基于训练后的模型计算出嘴部关键点，通过计算关键点位置变换判别患者恢复情况，并将判别结果反馈至医院护理智慧端（3）；

所述AI识别处理模块（203）收集喉咙图像、套管图像和痰液图像并基于深度学习yolov5目标检测识别与颜色空间判别，判别喉咙红肿、套管干净程度以及痰液颜色，并将判别结果反馈至医院护理智慧端（3）；

所述AI识别处理模块（203）收集语音采集信息，并基于MFCC的语音的特征提取，提取语音特征，并通过谐噪比、频率微扰、振幅微扰、规范化噪声能量四个指标自动识别患者发音的标准化程度，并将判别结果反馈至医院护理智慧端（3）。

2.根据权利要求1所述的一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，其特征在于：所述评估调查表信息包括SPADI调查表、吞咽功能问卷调查表、语音测试表和/或SADS调查表。

3.根据权利要求1所述的一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，其特征在于：所述采集模块（102）采集患者恢复过程中的图像、音频信息包括针对气切护理恢复的喉咙图像、套管图像和痰液图像采集，针对张口功能恢复的面部张口大小图像采集，针对吞咽功能恢复的舌头运动图像采集，针对言语功能恢复的语音采集提取，以及针对肩部运动恢复的肩部运动图像采集。

4.根据权利要求1所述的一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，其特征在于：所述功能模块（204）包括计划推送单元、指导技术及标准存储单元和训练质量分析单元，其中计划推送单元基于康复指导计划进行康复训练通知提醒以及指导视频推送，指导技术及标准存储单元用于存储医院护理智慧端反馈的饮食指导、吞咽指导、张口训练指导和气切护理指导。

5.根据权利要求4所述的一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，其特征在于：所述训练质量分析单元与AI识别处理模块（203）相关联，训练质量分析单元获取患者的训练图像，并进行训练质量分析，分析训练结果包括：是否符合训练目标、护理是否符合标准和/或是否有护理不到位情况，且当出现训练效果不佳、患者依从性低时，AI处理系统（2）向医院护理智慧端（3）发送训练不达标信息，并由护理人员通过医院护理智慧端（3）与患者直接进行人工干预，确保患者康复质量。

6.根据权利要求1所述的一种基于人工智能的口腔颌面头颈肿瘤康复护理系统，其特征在于：所述医院护理智慧端（3）用于提供护理计划指导、干预、远程会诊和/或双向转诊。

Images