CN114343563A - 一种多模态融合辅助干眼诊断和分型的方法、装置及系统 - Google Patents

Abstract

本申请涉及一种多模态融合辅助干眼诊断和分型的方法、装置及系统，包括以下步骤：获取图像、视频和受检者的干眼症状相关指标；根据受检者的睑板腺红外照相和睑缘照相，获取受检者的睑板腺特征、泪河特征、睑缘形态特征以及泪河高度；根据睑缘形态特征进行睑缘异常的分类；获取受检者的泪膜形态特征及泪膜破裂时间；将睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间及干眼症状相关指标输入多模态融合干眼诊断模型中，明确受检者是否存在干眼及干眼的分型。本申请减少了以往干眼指标评估过程中医生人为因素对结果准确性的干扰，同时提高了各项干眼指标的评估速度，辅助人工来完成干眼的多模态快速自动化诊断，并指导治疗方案。

Description

一种多模态融合辅助干眼诊断和分型的方法、装置及系统

技术领域

本申请涉及医疗设备技术领域，尤其是涉及一种多模态融合辅助干眼诊断和分型的方法、装置及系统。

背景技术

干眼是最常见的眼表疾病之一，干眼患病与地区干燥的气候、强风沙、强紫外线等地理气候因素密切相关，而这些地区往往幅员辽阔，人口密度相对较低且医疗资源分布不平衡且交通不便，导致了患者就医率较低，干眼诊断率低。患者患病后不予重视，常导致错过最佳治疗时机，干眼发展至严重影响正常生活，乃至失明等不可挽回的严重后果，极大的影响了我国新疆等西部地区人民群众的健康，将对医疗卫生投入和国民经济发展造成较大的负担。

为了便于区分干眼病，2020年中国干眼专家共识提出了干眼的全新诊断指标，符合以下两条，即可诊断为干眼：（1）有干涩感、异物感、烧灼感、疲劳感、不适感、眼红、视力波动等主观症状之一，中国干眼问卷量表≥7分或OSDI≥13分；（2）符合以下两点之一：a、TFBUT（泪膜破裂时间）≤5秒或NIBUT（非侵入性泪膜破裂时间）<10秒或SchirmerI（泪液分泌）试验≤5mm/5min，b、5s<TFBUT≤10s或TNIBUT为10～12秒或5mm/5min<SchirmeI试验（无麻醉）≤10mm/5min，角结膜荧光素染色阳性（≥5）个点。专家共识根据泪膜的结构和动力学的异常，将干眼分为5种类型：水液缺乏型干眼；黏蛋白异常型干眼；脂质异常型干眼；泪液动力学异常型干眼；混合型干眼。而评估泪膜的主要指标包括泪膜破裂时间、角膜荧光素染色、泪膜破裂模式、泪液分泌试验、泪河高度、睑缘形态、睑板腺形态红外照相等。

干眼临床评估体系欠缺精准性和客观性，除了NIBUT是相对客观的数字指标，泪河高度、泪膜破裂模式、睑缘形态和睑板腺形态的评价指标都是主观的观察性指标，受观测者因素影响大，存在较大的变异性。尤其是各类图像数据，是干眼评估体系中的难点。如睑板腺形态、泪膜形态特征中可能存在潜在肉眼难以观察或尚未发现的有助于诊断的特征，且睑板腺形态的分析，绝大多数的研究还是在根据睑板腺萎缩的比例来进行分级，这种定性方法简单粗略，适合人工评估，存在不能进行精确地定量分析，更无法指导进一步深入的研究的缺陷。

近年来，多模态融合技术快速发展，为医学人工智能辅助诊断提供了强大的技术支持。多模态融合技术是指将两种或两种以上的生物模态识别技术进行集成，结合数据融合技术，使识别和诊断过程更加准确和安全。目前主流的干眼人工智能辅助诊断方法采用的数据单一，无法学到模态间更深层更复杂的内在联系。

在干眼相关的AI研究中，自动识别NIBUT和TMH的研究相对简单和成熟，泪膜破裂模式、泪膜脂质层形态的分析是分类研究，也是CNN网络擅长的工作，目前整个干眼相关的AI系统研究难点在于睑板腺腺体形态的定量评价和多因素综合的多模态融合诊断。早期的研究中，CNN在睑板腺萎缩分级的自动评价中被证明是有效的。

针对上述中的相关技术，这些研究仍然聚焦于睑板腺萎缩百分比和萎缩分级上，无法提取出各腺体的形态参数，且眼科疾病远程诊断具有实时性要求高、数据量大、数据模态多等特殊性，导致干眼病诊断的效率低以及不准确。

发明内容

为了提高干眼病诊断的效率以及准确度，本申请提供一种多模态融合辅助干眼诊断和分型的方法、装置及系统。

本申请提供的一种多模态融合辅助干眼诊断和分型的方法采用如下的技术方案。

一种多模态融合辅助干眼诊断和分型的方法，包括以下步骤：

获取视频和受检者的干眼症状相关指标，其中，所述视频包括所述受检的图像；

将所述视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；

将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征及睑缘形态特征；

根据所述泪河特征计算获得泪河高度，根据睑缘形态特征进行睑缘异常的分类；

将所述视频输入到预设的第三检测模型，获取所述受检者的泪膜形态特征及泪膜破裂时间；

将所述睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对所述受检者的干眼诊断及干眼分型结果。

通过采用上述技术方案，通过视频采集设备上传的受检者视频，采集睑板腺特征、泪河特征、睑缘特征、泪膜形态特征，再将睑板腺特征、泪河高度、睑缘特征、泪膜形态特征以及结合受检者的干眼症状相关指标输入到多模态融合干眼诊断模型，利用深度学习收敛后的多模态融合干眼诊断模型综合去判断干眼的诊断和分型，使得本方法能够准确诊断干眼并判断出受检者的干眼类型。

优选的，在获取视频和受检者的干眼症状相关指标中，还包括以下步骤：

通过5G网络获取视频和受检者的干眼症状相关指标。

通过采用上述技术方案，5G网络对比以前的4G网络具有的传输延时低、数据传输速度快、功耗低等优势，5G网络的理论下行速度为10Gb/s，能够在短时间内快速传输大量数据，使得多模态融合辅助干眼诊断和分型的装置能够及时获取受检者传输的视频，提高诊断准确率。

优选的，其中干眼分类结果包括水液缺乏型、脂质异常型、黏蛋白异常型、泪液动力学异常型、混合型。

通过采用上述技术方案中多种干眼分类结果的设置，使得干眼的诊断和分型更为准确。

优选的，在将图像信息输入到预设的第二检测模型，获取图像信息中的泪河特征以及睑缘形态特征，包括以下步骤：

通过第二检测模型对图像信息进行分割处理，分割出睑缘图像区域和泪河图像区域；

选择睑缘图像区域和泪河图像区域；

获取泪河图像区域中的泪河特征，其中，泪河特征包括泪河上下缘、泪河长轴；

获取睑缘图像区域中的睑缘形态特征，其中，睑缘形态特征包括睑缘充血或新生血管、睑缘形态不规则、睑板腺开口堵塞、黏膜交界处前后移位。

通过采用上述技术方案，将第二检测模型分割出睑缘图像区域和泪河图像区域，选择泪河图像区域缩小，泪河特征提取范围，提升识别效率。

优选的，在选择睑缘图像区域和泪河图像区域中，包括以下步骤：

对睑缘图像区域和泪河图像区域进行二值化处理，根据二值图像的最大连通区域选择睑缘图像区域和泪河图像区域。

通过采用上述技术方案，二值化处理使得图像区域的像素值更易被处理设备检测出，从而便于将睑缘图像区域和泪河图像区进行区分。

优选的，训练所述多模态融合干眼诊断模型的方法包括以下步骤：

获取训练数据，训练数据包括第一特征数据、第二特征数据以及干眼分类结果、干眼特征影像数据，其中第一特征数据包括泪膜形态特征、睑板腺特征，第二特征数据包括泪膜破裂时间、泪河高度、睑缘形态特征以及上传的干眼症状相关指标；

对第一特征数据、第二特征数据进行编码，并将第二特征数据的特征编码变换为与第一特征数据的特征编码相同的维度；

特征融合，将升维后的特征数据与干眼特征影像数据融合，获得融合特征；

使用融合特征作为深度学习模型的输入数据，并使用与融合特征对应的干眼分类结果作为金标准训练深度学习模型，直至收敛，得到多模态融合干眼诊断模型。

通过采用上述技术方案，顶层层次融合模块使得不同模态相互促进，学习模态间的共同特征，充分挖掘不同模态间的内在关系，能够学习多模态数据间更好的联合分布。

优选的，在特征融合，将升维后的特征数据与干眼特征影像数据融合，获得融合特征中，包括以下步骤：

采用EarlyFusion的结构，直接将升维后的特征数据与干眼特征影像数据融合以学习两者之间的非线性相关性。

通过采用上述技术方案，将非图像数据的原始信息与图像数据融合，学习两者之间复杂的非线性相关性，使得多模态融合干眼诊断模型的输出结果更加准确。

优选的，在将上传的视频输入到预设的第三检测模型，获取泪膜形态特征中，还包括以下步骤：

引入视觉注意力机制基于时空特征以识别视频中每帧存在泪膜相关信息的图像区域排除其他不相关的图像区域。

通过采用上述技术方案，视频可以提供泪膜动态变化的信息，但不是每一帧图像都有价值，患者眨眼的时候，不存在泪膜相关信息，处理这些视频帧计算代价很大，也会降低识别含泪膜的视频帧的性能，所以通过引入视觉注意力机制识别与泪膜相关区域的像素信息，减少不相关区域像素的干扰，从而提升识别效率。

本申请还提供一种多模态融合辅助干眼诊断和分型的装置。

一种多模态融合辅助干眼诊断和分型的装置，包括：

获取单元，用于获取视频和受检者的干眼症状相关指标，其中，所述视频包括所述受检的图像；

睑板腺特征获取单元，用于将所述视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；

泪河特征获取单元，用于将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征；

计算单元，用于根据所述泪河特征计算获得泪河高度；

睑缘特征获取单元，用于将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的睑缘形态特征；

泪膜形态获取单元，用于将所述视频输入到预设的第三检测模型，获取所述受检者的泪膜形态特征及泪膜破裂时间；

处理单元，用于将所述睑板腺特征、泪河高度、睑缘特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对所述受检者的干眼诊断的干眼分类结果。

本申请还提供一种多模态融合辅助干眼诊断和分型的系统。

一种多模态融合辅助干眼诊断和分型的系统包括：多模态融合辅助干眼诊断和分型的装置、干眼检查设备、智能管理平台、个人移动终端，所述干眼检查设备用于拍摄视频并通过5G网络与多模态融合辅助干眼诊断和分型的装置建立数据连接，所述智能管理平台通过5G网络与多模态融合辅助干眼诊断和分型的装置建立数据连接以接收干眼分类结果，所述智能管理平台还与个人移动终端数据连接。

通过采用上述技术方案，通过5G网络将干眼检查设备获取到的患者的视频以及个人移动终端的上传的干眼类型信息，传输到多模态融合辅助干眼诊断和分型的装置，多模态融合辅助干眼诊断和分型的装置根据这些信息，智能诊断出人员的干眼分类结果，较为方便能够实现对边远地区的患者进行24小时不间断的医疗服务。

综上所述，本申请包括以下至少一种有益技术效果：

利用卷积神经网络（CNN）建立基于深度学习技术的干眼多模态人工智能系统，提高对各项干眼诊断和分类指标的评价速度与准确率，辅助人工对干眼进行快速的多模态自动诊断和治疗指导。

通过专家级的干眼AI智能诊断系统可以远程对患者进行高效和稳定、可重复的诊断，无须专家的面诊，可降低干眼患者人均就诊费用50%以上，并节省了昂贵的交通费及住宿费，并通过精确的分类指导干眼的精准治疗，通过早期预防早期治疗，可以减少中重度干眼的发生，减少干眼后续的治疗时间和费用，极大的提高当地人民群众的生活质量。

通过AI赋能传统行业和医疗机构，让优质医疗服务下沉，达到去中心化目的，提高行业的整体服务水平和覆盖面。

附图说明

图1是本申请实施例的一种多模态融合辅助干眼诊断和分型的方法的流程图。

图2是本申请实施例的第一检测模型的对睑板腺的检测图像。

图3是本申请实施例的睑板腺弯曲度的获取方式的示意图。

图4是本申请实施例的早期基于迷你U-net结构的CNN系统模型的系统架构示意图。

图5A是本申请实施例的改进后的U-net结构的CNN系统模型的系统架构示意图，图5B是改进后的U-net结构的CNN系统模型的测试结果展示图。

图6A是本申请实施例的使用ResNet50结合U-net的网络结构后CNN系统模型的系统架构示意图，图6B是使用ResNet50结合U-net的网络结构后CNN系统模型系统架构的测试结果展示图。

图7是本申请实施例的计算泪河高度的流程示意图。

图8是本申请实施例的获取泪膜形态特征的流程示意图。

图9是本申请实施例的利用多模态融合干眼诊断模型获取干眼诊断及干眼分型结果的流程示意图。

图10是本申请实施例的多模态融合辅助干眼诊断和分型的装置的架构图。

图11是本申请实施例的一种多模态融合辅助干眼诊断和分型系统的架构图。

附图标记说明：1、获取单元；2、睑板腺特征获取单元；3、泪河特征获取单元；4、计算单元；5、泪膜形态获取单元；6、处理单元；7、干眼检查设备；8、智能管理平台；9、个人移动终端；10、睑缘形态获取单元。

具体实施方式

本申请实施例公开一种多模态融合辅助干眼诊断和分型的方法。

参照图1，一种多模态融合辅助干眼诊断和分型的方法，在基于一些边远内陆地区气候及地域的特殊性，远程医疗服务是高发的干眼疾病等最经济、有效和可靠的办法。本申请借助5G技术高带宽低延时的特点，结合人工智能辅助自动诊断系统，边远地区的患者在当地即可获得云服务器24小时不间断的医疗服务。

具体的：一种多模态融合辅助干眼诊断和分型的方法，包括以下步骤；

S10:获取视频和受检者的干眼症状相关指标；其中，视频包括受检的图像；

具体的，通过干眼检查设备7拍摄的受检者的视频并5G物联网技术对受检者的视频进行传输以供多模态融合辅助干眼诊断和分型的装置获取，同时多模态融合辅助干眼诊断和分型的装置通过分发OSDI、NIBUT等相关问卷供人员在手机端上填写并回收问卷调查评分结果以获取干眼症状相关指标；

S20:将视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；

具体的：利用基于CNN的ResNet50_U-net混合网络，借助于迁移学习将ImageNet上预训练好的模型和参数应用到CNN模型中，获得了IoU（IntersectionoverUnion）=92%，重复性100%的睑板腺自动识别和形态分析系统即第一检测模型。并通过图像增强算法，生成并使用了24万张专家级训练图片以使第一检测模型收敛。第一检测模型收敛对每张图像信息的睑板腺红外的检测时间仅需100ms，就可以成功的提取睑板腺的腺体，并对睑板腺形态学指标，如睑板腺密度、睑板腺弯曲度等参数进行分析和计算，重复性达100%。使得在将视频内的一帧图像输出到第一检测模型后，第一检测模型能够讯速获取包括睑板腺密度、睑板腺弯曲度在内的受检者的睑板腺特征。

对于人眼难以区分的更复杂的图片，第一检测模型也显示出优于人眼的识别能力。比如参照图2，在第一检测模型的对睑板腺的检测图像中，中部位置图像为手工标注腺体，底部位置图像为第一检测模型识别的睑板腺腺体，相比之下第一检测模型识别的睑板腺腺体更接近真实值。

其中，睑板腺密度、睑板腺弯曲度为本申请针对人工智能辅助诊断的特点，所特设指标，并实践证明其对MGD（睑板腺功能障碍）的早期诊断具有较大的意义，参照图3，主要表示的是睑板腺弯曲度的获取方式，其中图3中(A)：44岁女性患者右眼睑板腺原始图像。(B)：利用VIA软件的“多边形区域形状”功能绘制眼睑全睑板边缘。(C)：每根腺体的边界被一一确定。(D)：健康志愿者的上睑睑板腺平均弯曲度为0.053。(E)：健康志愿者上睑睑板腺平均弯曲度为0.127。(F)：MGD患者上睑睑板腺平均弯曲度为0.262。(G)：测量腺体弯曲度使用最小外接矩形高度(H)的方法，MGtortuosity=MGperimeter/（2*H）-1，其中MGtortuosity为睑板腺弯曲度，MGperimeter为睑板腺周长，H为最小外接矩形高度。

此外基于CNN的ResNet50_U-net混合网络的应用对比其他CNN系统模型来说，IoU指数、重复性更高，关于ResNet50_U-net混合网络的开发如下：

参照图4，在选择第一检测模型过程中，申请人首先选择了基于迷你U-net结构的CNN系统模型，并测试了其对睑板腺自动识别的能力，最终获得的交并比IoU=0.895，重复性100%。参照图5，在此基础上申请人进一步开发了基于增强型迷你U-net结构的CNN系统模型，并测试了其对睑板腺自动识别的能力形成测试图，最终获得的交并比IoU=0.9077，重复性100%，其中测试图a区域为原始图像，b区域为优化后处理图像，c区域为模型预测结果，d区域为与预测结果与原始图像信息合成后的展示图。参照图6，最终申请人进一步引入了残差神经网络（ResNet），使用ResNet50结合U-net的网络结构后，获得了IoU=0.92，重复性100%的人工智能睑板腺识别系统即第一检测模型，通过其测试图，可以明显察觉到第一检测模型睑板腺识别的准确度有所提高。

S21：将视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征及睑缘形态特征；

具体的：参照图7，泪河特征包括泪河上下缘、泪河长轴，通过第二检测模型对图像信息进行分割处理，分割出睑缘图像区域和泪河图像区域。其中，第二检测模型采用基于ResNet（残差神经网络）的CNN经眼科专家标注对睑缘进行训练得到，向第二检测模型输入图像信息后进行深度特征提取，进而输出泪河分割结果，泪河分割结果包括分割出睑缘区域和泪河区域，之后对睑缘区域和泪河区域进行二值化处理得到二值图像并输出到管理平台供专家查看。之后第二检测模型根据二值图像的最大连通区域，选择出泪河图像区域和睑缘区域。再提取泪河图像区域上下缘作为泪河上下缘，根据泪河图像区域的形态，检测出泪河长轴，并提取睑缘区域中的睑缘的宽度，颜色、形状（直线型或波浪形）、新生血管分布作为判定睑缘形态特征的依据，从而能够判断出包括睑缘充血或新生血管、睑缘形态不规则、睑板腺开口堵塞、黏膜交界处前后移位的若干定睑缘形态特征。

S22：根据泪河特征计算获得泪河高度；

具体的：以泪河长轴的中心点作为泪河检测点，计算该位置的泪河上下缘的垂直距离，得出为泪河高度；

S23：参照图8，将视频输入到预设的第三检测模型，获取受检者的泪膜形态特征及泪膜破裂时间；

具体的：泪膜形态包括泪膜破裂模式和泪膜脂质层形态，第三检测模型采用卷积神经网络U-Net作为图像特征的提取器，提取泪膜特征图像，在引入循环神经网络中的长短期记忆网络（LSTM）提取时间特征并记忆视频中将泪膜特征图像前后的变化关系，最后采用激活函数softmax作为分类器根据泪膜特征图像前后的变化关系对泪膜形态分类进行监督训练，直至收敛，得到第三检测模型；将视频输入到第三检测模型后，第三检测模型会根据视频内泪膜形态的动态变化过程，得出泪膜破裂模式或泪膜脂质层形态，同时得出泪膜破裂时间。由于不是每一帧图像都有价值，患者眨眼的时候，不存在泪膜相关信息，处理这些视频帧计算代价很大，也会降低识别含泪膜的视频帧的性能。本实施例中，引入视觉注意力机制基于时空特征以识别视频中每帧存在泪膜相关信息的预设图像区域排除其他不相关的图像区域，以调高第三检测模型对泪膜形态的识别效率。

S30：参照图9，将睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对受检者的干眼诊断及干眼分型结果。

具体的，其中干眼分类结果包括水液缺乏型、脂质异常型、黏蛋白异常型、泪液动力学异常型、混合型干眼等。多模态融合干眼诊断模型的训练方法包括以下步骤：

获取训练数据，训练数据包括第一特征数据、第二特征数据以及干眼分类结果、预先上传的干眼特征影像数据，其中第一特征数据为包括泪膜破裂模式和泪膜脂质层形态在内的泪膜形态特征以及睑板腺特征，第二特征数据包括泪膜破裂时间、泪河高度、睑缘形态特征以及上传的干眼症状相关指标；干眼症状相关指标主要包括OSDI、NIBUT等干眼症状相关指标；干眼特征影像数据包括睑板腺影像、泪河影像以及泪膜形态影像，干眼特征影像数据中的影像元素与第一特征数据、第二特征数据中的特征元素一一对应。

将泪膜破裂模式和泪膜脂质层形态的分类结果做onehot编码进行升维处理，利用神经网络将泪膜破裂时间、泪河高度和OSDI、NIBUT等干眼症状相关指标也做升维处理，并使得第二特征数据的特征编码变换为与第一特征数据的特征编码相同的维度。

利用神经网络对干眼特征影像数据进行深度特征提取，提取睑板腺特征图像、泪河特征图像以及泪膜形态特征图像。

之后进行特征融合，采用EarlyFusion的结构，直接将升维后的特征数据（包括第一特征数据、第二特征数据升维后的数据）与干眼特征影像数据深度提取后的特征图像融合以学习两者之间复杂的非线性相关性，获得融合特征。

使用融合特征作为深度学习模型的输入数据，并使用与融合特征对应的干眼分类结果作为金标准并激活函数softmax作为分类器训练深度学习模型，直至收敛，得到多模态融合干眼诊断模型。此外将多模态融合干眼诊断模型诊断结果与干眼专家进行诊断准确率对比，评判系统性能，通过人工参数调节和模型优化，使AI医生的准确度和效率接近甚至超过人类医生。

使用顶层层次融合方式以及EarlyFusion结构来融合各个模态的数据，可促进干眼诊断及分类准确率的提高。顶层层次融合模块使得不同模态相互促进，学习模态间的共同特征，充分挖掘不同模态间的内在关系，能够学习多模态数据间更好的联合分布。传统的多模态方法通常只融合最后各模态的最后一层，而顶层层次融合方法将各模态的多个不同尺度的层融合起来，再融合这多个融合层，从而获得更好的融合特征。

因此将睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入本申请的多模态融合干眼诊断模型后，能够更为准确、高效地诊断出干眼类型。此外多模态融合干眼诊断模型可以24小时持续工作，获得的结果重复性好，整个过程快速、准确，可大量节约人力和时间的成本，且可以避免主观因素的影响，避免不同的观测者之间的误差，帮助基层缺乏干眼专业经验的医生和患者进行快速的诊断、分类和指导治疗。

本申请实施例一种多模态融合辅助干眼诊断和分型的方法的实施原理为：通过5G网络，使得专家级的医疗资源瞬息可达，同时借助人工智能（AI）诊断技术，利用计算机对图像进行识别，自动测量各项干眼指标，进行多模态融合，就可以及时的对干眼进行诊断和分类，而无须真正的医学专家等待在5G诊断中心，帮助基层缺乏干眼专业经验的医生和患者进行快速的诊断、分类和指导治疗。

为了便于一种多模态融合辅助干眼诊断和分型的方法的实施，本申请实施例还公开一种多模态融合辅助干眼诊断和分型的装置。

参照图10，一种多模态融合辅助干眼诊断和分型的装置，包括：

获取单元1，用于获取视频和受检者的干眼症状相关指标，其中，视频包括受检的图像；

睑板腺特征获取单元2，用于将视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；

泪河特征获取单元3，用于将视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征；

计算单元4，用于根据泪河特征计算获得泪河高度；

睑缘特征获取单元10，用于将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的睑缘形态特征；

泪膜形态获取单元5，用于将视频输入到预设的第三检测模型，获取受检者的泪膜形态特征以及泪膜破裂时间；

以及，处理单元6，用于将睑板腺特征、泪河高度、泪膜形态特征、泪膜破裂时间、睑缘形态特征以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对受检者的干眼诊断及干眼分型结果。

本申请实施例还公开一种多模态融合辅助干眼诊断和分型的系统。

参照图11，一种多模态融合辅助干眼诊断和分型的系统，包括：多模态融合辅助干眼诊断和分型的装置、干眼检查设备7、智能管理平台8以及个人移动终端9。

干眼检查设备7采用红外摄像头，干眼检查设备7用于拍摄视频并通过5G网络与多模态融合辅助干眼诊断和分型的装置建立数据连接，以便干眼检查设备7将视频及时上传到多模态融合辅助干眼诊断和分型的装置，智能管理平台8通过5G网络与多模态融合辅助干眼诊断和分型的装置建立数据连接。其中，智能管理平台8通过医生手机端上的APP登录，便于医生对干眼诊断结果进行监测。

此外智能管理平台8还与个人移动终端9数据连接，个人移动终端9可下载相应患者端APP与智能管理平台8数据连接，查看由智能管理平台8发送的诊断结果（干眼分类结果），较为方便。干眼检查设备7还通过5G网络与智能管理平台8数据连接，使得本系统也能够以医生人工诊断的方式，进行干眼类型诊断，较为方便。

以上均为本申请的较佳实施例，并非依此限制本申请的保护范围，故：凡依本申请的结构、形状、原理所做的等效变化，均应涵盖于本申请的保护范围之内。

Claims (10)

1.一种多模态融合辅助干眼诊断和分型的方法，其特征在于，包括以下步骤：

获取视频和受检者的干眼症状相关指标，其中，所述视频包括所述受检的图像；

将所述视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；

将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征及睑缘形态特征；

根据所述泪河特征计算获得泪河高度，根据睑缘形态特征进行睑缘异常的分类；

将所述视频输入到预设的第三检测模型，获取所述受检者的泪膜形态特征及泪膜破裂时间；

将所述睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对所述受检者的干眼诊断及干眼分型结果。

2.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在获取视频和受检者的干眼症状相关指标中，还包括以下步骤：

通过5G网络获取视频和受检者的干眼症状相关指标。

3.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于：其中干眼分型结果包括水液缺乏型、脂质异常型、黏蛋白异常型、泪液动力学异常型、混合型。

4.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在将图像信息输入到预设的第二检测模型，获取图像信息中的泪河特征以及睑缘形态特征，包括以下步骤：

通过第二检测模型对图像信息进行分割处理，分割出睑缘图像区域和泪河图像区域；

选择睑缘图像区域和泪河图像区域；

获取泪河图像区域中的泪河特征，其中，泪河特征包括泪河上下缘、泪河长轴；

获取睑缘图像区域中的睑缘形态特征，其中，睑缘形态特征包括睑缘充血或新生血管、睑缘形态不规则、睑板腺开口堵塞、黏膜交界处前后移位。

5.根据权利要求4所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在选择睑缘图像区域和泪河图像区域中，包括以下步骤：

对睑缘图像区域和泪河图像区域进行二值化处理，根据二值图像的最大连通区域选择睑缘图像区域和泪河图像区域。

6.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，训练所述多模态融合干眼诊断模型的方法包括以下步骤：

获取训练数据，训练数据包括第一特征数据、第二特征数据以及干眼分类结果、干眼特征影像数据，其中第一特征数据包括泪膜形态特征、睑板腺特征，第二特征数据包括泪膜破裂时间、泪河高度、睑缘形态特征以及上传的干眼症状相关指标；

对第一特征数据、第二特征数据进行编码，并将第二特征数据的特征编码变换为与第一特征数据的特征编码相同的维度；

特征融合，将升维后的特征数据与干眼特征影像数据融合，获得融合特征；

使用融合特征作为深度学习模型的输入数据，并使用与融合特征对应的干眼分类结果作为金标准训练深度学习模型，直至收敛，得到多模态融合干眼诊断模型。

7.根据权利要求6所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于，在特征融合，将升维后的特征数据与干眼特征影像数据融合，获得融合特征中，包括以下步骤：

采用EarlyFusion的结构，直接将升维后的特征数据与干眼特征影像数据融合以学习两者之间的非线性相关性。

8.根据权利要求1所述的一种多模态融合辅助干眼诊断和分型的方法，其特征在于：在将上传的视频输入到预设的第三检测模型，获取泪膜形态特征中，还包括以下步骤：

引入视觉注意力机制基于时空特征以识别视频中每帧存在泪膜相关信息的图像区域排除其他不相关的图像区域。

9.一种多模态融合辅助干眼诊断和分型的装置，用于执行权利要求1-8任意一项所述的多模态融合辅助干眼诊断和分型的方法，其特征在于，包括：

获取单元(1)，用于获取视频和受检者的干眼症状相关指标，其中，所述视频包括所述受检的图像；

睑板腺特征获取单元(2)，用于将所述视频内的至少一帧图像输入到预设的第一检测模型，获取受检者的睑板腺特征；

泪河特征获取单元(3)，用于将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的泪河特征；

计算单元(4)，用于根据所述泪河特征计算获得泪河高度；

睑缘特征获取单元(10)，用于将所述视频内的至少一帧图像输入到预设的第二检测模型，获取图像信息中的睑缘形态特征；泪膜形态获取单元(5)，用于将所述视频输入到预设的第三检测模型，获取所述受检者的泪膜形态特征及泪膜破裂时间；

处理单元(7)，用于将所述睑板腺特征、泪河高度、睑缘形态特征、泪膜形态特征、泪膜破裂时间以及干眼症状相关指标输入到多模态融合干眼诊断模型中，得到对所述受检者的结果进行分析，完成干眼诊断和分型。

10.一种多模态融合辅助干眼诊断和分型的系统，其特征在于，包括：权利要求9所述的多模态融合辅助干眼诊断和分型的装置、干眼检查设备(7)、智能管理平台(8)和个人移动终端(9)，所述干眼检查设备(7)用于拍摄视频并通过无线通信网络与所述装置多模态融合辅助干眼诊断和分型的装置建立数据连接，所述智能管理平台(8)与所述装置多模态融合辅助干眼诊断和分型的装置建立数据连接以接收干眼分类结果，所述智能管理平台(8)还与个人移动终端(9)数据连接。

Images