CN117689893A - 激光扫描超广角眼底图像语义分割方法、系统及终端 - Google Patents

Abstract

本发明公开一种激光扫描超广角眼底图像语义分割方法、系统及终端，该方法包括：1、特征图生成：将超广角眼底图像通过预设的输出层为双通道的第一U‑net模型，生成第一特征图和第二特征图；2、特征确定：对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；3、视盘确认：通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧范围；4、分析结果生成：根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果。

Description

激光扫描超广角眼底图像语义分割方法、系统及终端

技术领域

本发明公开一种图像语义分割方法，特别是一种激光扫描超广角眼底图像语义分割方法、系统及终端，属于医学图像处理领域。

背景技术

通过图像处理算法模型对医学图像进行语义分割，辅助医生分析图像的病灶结果是人工智能在医学领域应用的新技术，如在眼科的眼底图像中黄斑、视盘和视杯等重要结构的准确划分在辅助诊断时有着重要的作用，对于激光扫描超广角眼底图像来说，较大的角度（可达到200°）在能够拍摄到更多眼底组织，提供更多信息的同时，所拍摄的图像也会产生伪彩、畸变等情形，与医生传统针对窄角（45°~60°）眼底照相所得的图片不同，因此增加医生阅片的难度，也增加了漏诊、误诊风险。

发明内容

针对上述提到的现有技术中的激光扫描超广角眼底图像存在阅片困难，有漏诊、误诊风险的缺点，本发明提供一种激光扫描超广角眼底图像语义分割方法、系统及终端，其发明了该项图像处理算法模型，可提高检出率，优化医生阅片效率。

本发明解决其技术问题采用的技术方案是：一种激光扫描超广角眼底图像语义分割方法，该方法包括下述步骤：

步骤S1、特征图生成：将超广角眼底图像通过预设的输出层为双通道的第一U-net模型，生成第一特征图和第二特征图；

步骤S2、特征确定：对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；

步骤S3、视盘确认：通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧范围；

步骤S4、分析结果生成：根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果。

一种激光扫描超广角眼底图像语义分割系统，系统包括：

特征图生成单元：用于将超广角眼底图像通过预设的输出层为双通道的第一U-net模型，生成第一特征图和第二特征图；

特征确定单元：用于对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；

视盘确认单元：用于通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧范围；

分析结果生成单元：用于根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果。

一种激光扫描超广角眼底图像语义分割终端，该终端包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的激光扫描超广角眼底图像语义分割方法。

一种存储介质，该存储介质内存储有运行时可实现如上述的激光扫描超广角眼底图像语义分割方法的程序。

本发明解决其技术问题采用的技术方案进一步还包括：

所述的步骤S2的操作为：

对所述第一特征图进行腐蚀，找出腐蚀后的所述第一特征图中的第一最大连通区域，再对所述第一特征图进行膨胀与二值化处理，找到所述第一最大连通区域的中心，即为所述视盘中心；

对所述第二特征图进行腐蚀，找出腐蚀后的所述第二特征图中的第二最大连通区域，再对所述第二特征图进行膨胀与二值化处理，找到所述第二最大连通区域的中心，即为所述黄斑中心凹。

所述步骤S3为：

在第二预设范围内裁剪所述超广角眼底图像得到裁剪图像，所述第二预设范围以所述视盘中心为中心；

所述第一U-net模型的层数为四层；

将所述裁剪图像通过第二U-net模型，得到第三特征图，对所述第三特征图进行腐蚀，找出腐蚀后的所述第三特征图中的第三最大连通区域，再对所第三特征图进行膨胀，找出最大轮廓的第一边界，并获取所述第一边界的特征点进行线性拟合，再对所述第三特征图进行二值化并重置所述第三特征图的大小，得到视盘范围；

将所述裁剪图像通过第三U-net模型，得到第四特征图，对所述第四特征图进行腐蚀，找出腐蚀后的所述第四特征图中的第四最大连通区域，再对所述第四特征图进行膨胀，找出最大轮廓的第二边界，并获取所述第二边界的特征点进行线性拟合，再对所述第四特征图进行二值化并重置所述第四特征图的大小，得到视杯范围；

将所述裁剪图像通过第四U-net模型，得到第五特征图，对所述第五特征图进行腐蚀，找出腐蚀后的所述第五特征图中的第五最大连通区域，再对所述第五特征图进行膨胀，找出最大轮廓的第三边界，并获取所述第三边界的特征点进行线性拟合，再对所述第五特征图进行二值化并重置所述第五特征图的大小，得到视盘边缘萎缩弧范围。

所述步骤S4包括：

获取所述视盘范围及所述视盘边缘萎缩弧范围，判断所述视盘萎缩弧范围与所述视盘范围的比值是否超过第三预设范围，若未超过，则输出未出现视盘边缘萎缩；

若超过，则计算相较于视盘中心第四预设范围内所述视盘边缘萎缩弧范围是否有超过第五预设范围，若是，则输出全环绕型视盘边缘萎缩；

否则，输出半环绕型视盘边缘萎缩。

所述的所述步骤S2与步骤S3之间还包括步骤S2’：

步骤S2’：距离计算，获取所述黄斑中心凹与所述视盘中心之间的第一距离，若所述第一距离在第一预设范围内，则验证通过，执行所述步骤S3；

若所述第一距离不在第一预设范围内，则验证不通过，将通过腐蚀和膨胀后的所述第二特征图送入DenseNet模型，得到修正后的所述黄斑中心凹，在所述DenseNet模型的最后一个全连接层使用linear作为激活函数；

获取所述修正后的黄斑中心凹与所述视盘中心之间的第二距离，若所述第二距离在第一预设范围内，则验证通过，执行所述步骤S3，否则，输出黄斑中心位置不清晰信息。

所述的步骤S1之前还包括步骤S0，步骤S0为眼底图像裁剪：

将所述超广角眼底图像通过第五U-net模型，得到第六特征图，对所述第六特征图进行二值化后再腐蚀，找出腐蚀后的所述第六特征图中的第六最大连通区域，再对所述第六特征图进行膨胀，找出最大轮廓的第四边界，并获取所述第四边界的特征点进行线性拟合，得到边缘干扰图像范围，所述边缘干扰图像包括设备边界图像及眼睑图像；

根据所述边缘干扰图像范围，对所述超广角眼底图像进行裁剪。

所述的特征确定单元为：

对所述第一特征图进行腐蚀，找出腐蚀后的所述第一特征图中的第一最大连通区域，再对所述第一特征图进行膨胀与二值化处理，找到所述第一最大连通区域的中心，即为所述视盘中心；

对所述第二特征图进行腐蚀，找出腐蚀后的所述第二特征图中的第二最大连通区域，再对所述第二特征图进行膨胀与二值化处理，找到所述第二最大连通区域的中心，即为所述黄斑中心凹；

视盘确认单元为：

在第二预设范围内裁剪所述超广角眼底图像得到裁剪图像，所述第二预设范围以所述视盘中心为中心；

所述第一U-net模型的层数为四层；

将所述裁剪图像通过第二U-net模型，得到第三特征图，对所述第三特征图进行腐蚀，找出腐蚀后的所述第三特征图中的第三最大连通区域，再对所第三特征图进行膨胀，找出最大轮廓的第一边界，并获取所述第一边界的特征点进行线性拟合，再对所述第三特征图进行二值化并重置所述第三特征图的大小，得到视盘范围；

将所述裁剪图像通过第三U-net模型，得到第四特征图，对所述第四特征图进行腐蚀，找出腐蚀后的所述第四特征图中的第四最大连通区域，再对所述第四特征图进行膨胀，找出最大轮廓的第二边界，并获取所述第二边界的特征点进行线性拟合，再对所述第四特征图进行二值化并重置所述第四特征图的大小，得到视杯范围；

将所述裁剪图像通过第四U-net模型，得到第五特征图，对所述第五特征图进行腐蚀，找出腐蚀后的所述第五特征图中的第五最大连通区域，再对所述第五特征图进行膨胀，找出最大轮廓的第三边界，并获取所述第三边界的特征点进行线性拟合，再对所述第五特征图进行二值化并重置所述第五特征图的大小，得到视盘边缘萎缩弧范围。

所述分析结果生成单元包括：

获取所述视盘范围及所述视盘边缘萎缩弧范围，判断所述视盘萎缩弧范围与所述视盘范围的比值是否超过第三预设范围，若未超过，则输出未出现视盘边缘萎缩；

若超过，则计算相较于视盘中心第四预设范围内所述视盘边缘萎缩弧范围是否有超过第五预设范围，若是，则输出全环绕型视盘边缘萎缩；

否则，输出半环绕型视盘边缘萎缩。

所述的特征确定单元与视盘确认单元之间还包括距离计算单元：

所述的距离计算单元，用于获取所述黄斑中心凹与所述视盘中心之间的第一距离，若所述第一距离在第一预设范围内，则验证通过，执行所述视盘确认单元；

若所述第一距离不在第一预设范围内，则验证不通过，将通过腐蚀和膨胀后的所述第二特征图送入DenseNet模型，得到修正后的所述黄斑中心凹，在所述DenseNet模型的最后一个全连接层使用linear作为激活函数；

获取所述修正后的黄斑中心凹与所述视盘中心之间的第二距离，若所述第二距离在第一预设范围内，则验证通过，执行所述视盘确认单元，否则，输出黄斑中心位置不清晰信息。

所述的系统还包括有眼底图像裁剪单元：

用于将所述超广角眼底图像通过第五U-net模型，得到第六特征图，对所述第六特征图进行二值化后再腐蚀，找出腐蚀后的所述第六特征图中的第六最大连通区域，再对所述第六特征图进行膨胀，找出最大轮廓的第四边界，并获取所述第四边界的特征点进行线性拟合，得到边缘干扰图像范围，所述边缘干扰图像包括设备边界图像及眼睑图像；

根据所述边缘干扰图像范围，对所述超广角眼底图像进行裁剪。

本发明的有益效果是：本发明通过双通道的第一U-net模型，由一张超广角眼底图像得到两张特征图，并对其分别进行腐蚀和膨胀，能够明晰边界，从而得到视盘中心和黄斑中心凹，因眼底其他组织与视盘中心存在一定位置关系，进而能够得到其他眼底组织的位置范围，实现对超广角眼底图像中的眼底组织划分，无需人工的参与，为医生的诊断提供可靠的参考。

下面将结合附图和具体实施方式对本发明做进一步说明。

附图说明

图1为本发明实施例的一种超广角眼底图像语义分割方法的步骤流程图。

图2为本发明实施例的一种超广角眼底图像语义分割终端的结构示意图。

图3为本发明实施例的第一U-net模型示意图。

图4为本发明实施例的DenseNet模型示意图。

图5为本发明实施例的视盘及黄斑范围确认过程示意图。

图6为本发明实施例的视杯范围、视盘边缘萎缩弧范围、边缘干扰图像范围及视盘边缘萎缩弧确认过程示意图。

标号说明：1-超广角眼底图像语义分割终端；2-处理器；3-存储器。

具体实施方式

本实施例为本发明优选实施方式，其他凡其原理和基本结构与本实施例相同或近似的，均在本发明保护范围之内。

请参照图1、图3至图6，本发明主要保护一种眼科激光扫描超广角眼底图像语义分割方法，该方法包括下述步骤：

步骤S1、特征图生成：将超广角眼底图像通过预设的输出层为双通道的第一U-net模型，生成第一特征图和第二特征图；

步骤S2、特征确定：对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；

步骤S3、视盘确认：通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧范围；

步骤S4、分析结果生成：根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果。

从上述描述可知，本发明通过双通道的第一U-net模型，由一张超广角眼底图像得到两张特征图，并对其分别进行腐蚀和膨胀，能够明晰边界，从而得到视盘中心和黄斑中心凹，因眼底其他组织与视盘中心存在一定位置关系，进而能够得到其他眼底组织的位置范围，实现对超广角眼底图像中的眼底组织划分，无需人工的参与，为医生的诊断提供可靠的参考。

本实施例中，进一步的，所述步骤S2具体的操作为：

对所述第一特征图进行腐蚀，找出腐蚀后的所述第一特征图中的第一最大连通区域，再对所述第一特征图进行膨胀与二值化处理，找到所述第一最大连通区域的中心，即为所述视盘中心；

对所述第二特征图进行腐蚀，找出腐蚀后的所述第二特征图中的第二最大连通区域，再对所述第二特征图进行膨胀与二值化处理，找到所述第二最大连通区域的中心，即为所述黄斑中心凹。

由上述描述可知，本发明将双通道的U-net模型生成的第一特征图和第二特征图进行腐蚀之后再膨胀能够在不明显改变面积的前提下平滑较大物体的边界，分离物体的边缘；将图像进行二值化处理，更有利于排除无关因素的影响，能够更快速地获取最大连通区域的中心。

本实施例中，进一步的，所述步骤S2与步骤S3之间还包括一个特殊的步骤，本实施例中将其定义为步骤S2’：

步骤S2’：距离计算，获取所述黄斑中心凹与所述视盘中心之间的第一距离，若所述第一距离在第一预设范围内，则验证通过，执行所述步骤S3；

若所述第一距离不在第一预设范围内，则验证不通过，将通过腐蚀和膨胀后的所述第二特征图送入DenseNet模型，得到修正后的所述黄斑中心凹；

获取所述修正后的黄斑中心凹与所述视盘中心之间的第二距离，若所述第二距离在第一预设范围内，则验证通过，执行所述步骤S3，否则，输出黄斑中心位置不清晰信息。

由上述描述可知，本发明在通过第一特征图和第二特征图分别得到视盘中心和黄斑中心凹后，使用视盘中心坐标依据解剖学关系对黄斑中心凹的结果进行验证，剔除部分犹豫图片质量及其他干扰信息造成的误差，保证了后续计算所使用的基准的准确性。

由上述描述可知，本发明因视盘中心在超广角眼底图像上也较为清晰，在正常情况下极少出现标记错误的情况，故若视盘中心和黄斑中心凹的位置关系验证未通过，则将第二特征图置于DenseNet模型中重新计算黄斑中心凹的位置，在DenseNet模型中，每个层都会接收其前面所有层的输出作为其额外的输入，能够保证特征不在层级的转化中丢失，从而能够计算出更加精准的黄斑中心凹位置，但因DenseNet模型的计算过程更为繁琐，故在根据U-net模型输出所得到的视盘中心和黄斑中心凹距离不满足预设范围时，才使用DenseNet模型再次进行计算，在保证模型效率的情况下提高了输出结果的准确性。

本实施例中，进一步的，所述步骤S3具体为：

在第二预设范围内裁剪所述超广角眼底图像得到裁剪图像，所述第二预设范围以所述视盘中心为中心；

将所述裁剪图像通过第二U-net模型，得到第三特征图，对所述第三特征图进行腐蚀，找出腐蚀后的所述第三特征图中的第三最大连通区域，再对所第三特征图进行膨胀，找出最大轮廓的第一边界，并获取所述第一边界的特征点进行线性拟合，再对所述第三特征图进行二值化并重置所述第三特征图的大小，得到视盘范围；

将所述裁剪图像通过第三U-net模型，得到第四特征图，对所述第四特征图进行腐蚀，找出腐蚀后的所述第四特征图中的第四最大连通区域，再对所述第四特征图进行膨胀，找出最大轮廓的第二边界，并获取所述第二边界的特征点进行线性拟合，再对所述第四特征图进行二值化并重置所述第四特征图的大小，得到视杯范围；

将所述裁剪图像通过第四U-net模型，得到第五特征图，对所述第五特征图进行腐蚀，找出腐蚀后的所述第五特征图中的第五最大连通区域，再对所述第五特征图进行膨胀，找出最大轮廓的第三边界，并获取所述第三边界的特征点进行线性拟合，再对所述第五特征图进行二值化并重置所述第五特征图的大小，得到视盘边缘萎缩弧范围。

由上述描述可知，本发明因重要眼底组织大都集中在视盘周围，故得到视盘中心后，以视盘中心为中心，在预设范围内裁剪超广角眼底图像，能够降低模型的计算量，并且能够在输入模型前对无关干扰数据进行排除，提高模型输出结果的准确性。

本实施例中，进一步的，所述步骤S4包括：

获取所述视盘范围及所述视盘边缘萎缩弧范围，判断所述视盘萎缩弧范围与所述视盘范围的比值是否超过第三预设范围，若未超过，则输出未出现视盘边缘萎缩；

若超过，则计算相较于视盘中心第四预设范围内所述视盘边缘萎缩弧范围是否有超过第五预设范围，若是，则输出全环绕型视盘边缘萎缩；

否则，输出半环绕型视盘边缘萎缩。

由上述描述可知，本发明获取到视盘边缘萎缩弧的范围后，将其和视盘范围配合分析视盘边缘萎缩的情况，而不是仅仅根据模型所得的视盘边缘萎缩弧输出相应视盘萎缩情况，能够提供更加全面、准确的分析结果以备参考。

本实施例中，进一步的，所述步骤S1之前还包括步骤S0：

步骤S0、眼底图像裁剪：将所述超广角眼底图像通过第五U-net模型，得到第六特征图，对所述第六特征图进行二值化后再腐蚀，找出腐蚀后的所述第六特征图中的第六最大连通区域，再对所述第六特征图进行膨胀，找出最大轮廓的第四边界，并获取所述第四边界的特征点进行线性拟合，得到边缘干扰图像范围，所述边缘干扰图像包括设备边界图像及眼睑图像；

根据所述边缘干扰图像范围，对所述超广角眼底图像进行裁剪。

由上述描述可知，本发明在将超广角眼底图像送入双通道的U-net网络前，先通过预设的第五U-net模型将在图像边缘干扰的设备边界图像及眼睑图像进行裁剪，因设备边界图像和眼睑图像的轮廓较清晰，提前裁剪速度快，且后续只需分析裁剪边缘干扰图像后的相应图像，减少了后续模型中进行特征提取时的干扰项，提高了模型输出特征图的精度。

本实施例中，进一步的，在所述DenseNet模型的最后一个全连接层使用linear作为激活函数。

由上述描述可知，本发明使用ReLU，能够缓解模型中梯度消失的问题，可以以有监督方式进行模型的训练。

本实施例中，进一步的，所述第一U-net模型的层数为四层。

由上述描述可知，本发明相较与传统的U-net模型，减少了一层层数，眼底图像中的眼底组织结构相对简单，能够防止出现过拟合的现象。

本发明同时保护一种存储介质，该存储介质内存储有运行时可实现上述眼科激光扫描超广角眼底图像语义分割方法的程序。

本发明还保护一种眼科激光扫描超广角眼底图像语义分割系统，该系统包括如下单元：

特征图生成单元：用于将超广角眼底图像通过预设的输出层为双通道的第一U-net模型，生成第一特征图和第二特征图；

特征确定单元：用于对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；

视盘确认单元：用于通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧范围；

分析结果生成单元：用于根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果。

本实施例中，进一步的，所述特征确定单元具体为：

对所述第一特征图进行腐蚀，找出腐蚀后的所述第一特征图中的第一最大连通区域，再对所述第一特征图进行膨胀与二值化处理，找到所述第一最大连通区域的中心，即为所述视盘中心；

对所述第二特征图进行腐蚀，找出腐蚀后的所述第二特征图中的第二最大连通区域，再对所述第二特征图进行膨胀与二值化处理，找到所述第二最大连通区域的中心，即为所述黄斑中心凹。

本实施例中，进一步的，所述特征确定单元与视盘确认单元之间还包括距离计算单元：

所述的距离计算单元，用于获取所述黄斑中心凹与所述视盘中心之间的第一距离，若所述第一距离在第一预设范围内，则验证通过，执行所述视盘确认单元；

若所述第一距离不在第一预设范围内，则验证不通过，将通过腐蚀和膨胀后的所述第二特征图送入DenseNet模型，得到修正后的所述黄斑中心凹；

获取所述修正后的黄斑中心凹与所述视盘中心之间的第二距离，若所述第二距离在第一预设范围内，则验证通过，执行所述视盘确认单元，否则，输出黄斑中心位置不清晰信息。

本实施例中，进一步的，视盘确认单元具体为：

在第二预设范围内裁剪所述超广角眼底图像得到裁剪图像，所述第二预设范围以所述视盘中心为中心；

将所述裁剪图像通过第二U-net模型，得到第三特征图，对所述第三特征图进行腐蚀，找出腐蚀后的所述第三特征图中的第三最大连通区域，再对所第三特征图进行膨胀，找出最大轮廓的第一边界，并获取所述第一边界的特征点进行线性拟合，再对所述第三特征图进行二值化并重置所述第三特征图的大小，得到视盘范围；

将所述裁剪图像通过第三U-net模型，得到第四特征图，对所述第四特征图进行腐蚀，找出腐蚀后的所述第四特征图中的第四最大连通区域，再对所述第四特征图进行膨胀，找出最大轮廓的第二边界，并获取所述第二边界的特征点进行线性拟合，再对所述第四特征图进行二值化并重置所述第四特征图的大小，得到视杯范围；

将所述裁剪图像通过第四U-net模型，得到第五特征图，对所述第五特征图进行腐蚀，找出腐蚀后的所述第五特征图中的第五最大连通区域，再对所述第五特征图进行膨胀，找出最大轮廓的第三边界，并获取所述第三边界的特征点进行线性拟合，再对所述第五特征图进行二值化并重置所述第五特征图的大小，得到视盘边缘萎缩弧范围。

本实施例中，进一步的，所述分析结果生成单元包括：

获取所述视盘范围及所述视盘边缘萎缩弧范围，判断所述视盘萎缩弧范围与所述视盘范围的比值是否超过第三预设范围，若未超过，则输出未出现视盘边缘萎缩；

若超过，则计算相较于视盘中心第四预设范围内所述视盘边缘萎缩弧范围是否有超过第五预设范围，若是，则输出全环绕型视盘边缘萎缩；

否则，输出半环绕型视盘边缘萎缩。

本实施例中，进一步的，还包括有眼底图像裁剪单元：

所述的眼底图像裁剪单元：用于将所述超广角眼底图像通过第五U-net模型，得到第六特征图，对所述第六特征图进行二值化后再腐蚀，找出腐蚀后的所述第六特征图中的第六最大连通区域，再对所述第六特征图进行膨胀，找出最大轮廓的第四边界，并获取所述第四边界的特征点进行线性拟合，得到边缘干扰图像范围，所述边缘干扰图像包括设备边界图像及眼睑图像；

根据所述边缘干扰图像范围，对所述超广角眼底图像进行裁剪。

本实施例中，进一步的，在所述DenseNet模型的最后一个全连接层使用linear作为激活函数。

本实施例中，进一步的，所述第一U-net模型的层数为四层。

请参照图2，一种超广角眼底图像语义分割终端1，包括存储器3、处理器2及存储在存储器3上并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现以下步骤：

步骤S1、将超广角眼底图像通过预设的输出层为双通道的第一U-net模型，生成第一特征图和第二特征图；

步骤S2、对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；

步骤S3、通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧范围；

步骤S4、根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果。

由上述描述可知，本发明通过双通道的第一U-net模型，由一张超广角眼底图像得到两张特征图，并对其分别进行腐蚀和膨胀，能够明晰边界，从而得到视盘中心和黄斑中心凹，因眼底其他组织与视盘中心存在一定位置关系，进而能够得到其他眼底组织的位置范围，实现对超广角眼底图像中的眼底组织划分，无需人工的参与，为医生的诊断提供可靠的参考。

请结合参照图1、图3至图6，下面将以一种具体实施例对本发明进行详细介绍，实施例一为：

一种超广角眼底图像语义分割方法，其对图像建立坐标轴，本实施例中具体的，以图像左上角为坐标原点，从左至右为x轴正方向，从上到下为y轴正方向；具体包括：

步骤S1、将超广角眼底图像通过预设的输出层为双通道的第一U-net模型，生成第一特征图和第二特征图；

请参照图3，第一U-net模型共有四层，第一层的卷积核数量为64，第二层的卷积核数量为128，第三层卷积核的数量为256，第四层卷积核的数量为512，并采用ReLU（Rectified Linear Units）作为激活函数，调整超广角眼底图像的大小为448×448×3后输入第一U-net模型，通过输出层的双通道得到第一特征图和第二特征图，第一特征图为视盘相关，第二特征图为黄斑相关；

具体的，第一特征图为视盘的概率图，第二特征图为黄斑的概率图；

步骤S2、对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；

具体的：

对所述第一特征图进行腐蚀，找出腐蚀后的所述第一特征图中的第一最大连通区域，再对所述第一特征图进行膨胀与二值化处理，找到所述第一最大连通区域的中心，即为所述视盘中心，第一最大连通区域即视盘范围；

对所述第二特征图进行腐蚀，找出腐蚀后的所述第二特征图中的第二最大连通区域，再对所述第二特征图进行膨胀与二值化处理，找到所述第二最大连通区域的中心，即为所述黄斑中心凹；

获取所述黄斑中心凹与所述视盘中心之间的第一距离，若所述第一距离在第一预设范围内，则验证通过，执行所述步骤S3；

具体的，对比黄斑中心凹与视盘中心之间的距离是否小于预设值，预设值为输入模型的超广角眼底图像的宽度乘以0.05或0.2；

否则，验证不通过，将通过腐蚀和膨胀后的所述第二特征图送入DenseNet模型，得到修正后的所述黄斑中心凹；

具体的，重置输入DenseNet模型的图片的大小为360×360×3，DenseNet模型的最后一个全连接层中激活函数为线性函数linear，且输出层的申请元数量为2，分别对应黄斑中心凹的x轴坐标及y轴坐标；

DenseNet中，Layers表示单个denseblock中的卷积层数量；growth-rate表示卷积核数量的增长幅度，如设为32，则第一个卷积层核数为32，第二个会增加到32+32=64；dropout-rate表示随机抑制神经元的比例；weight-decay表示权值衰减，惩罚数值较大的异常权值，以防止过拟合；

获取所述修正后的黄斑中心凹与所述视盘中心之间的第二距离，若所述第二距离在第一预设范围内，则验证通过，执行所述步骤S3，否则，输出黄斑中心位置不清晰信息；

步骤S3、通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧（Parapapillary Atrophy，PPA）范围；

步骤S4、根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果；

请参照图6，步骤S4包括：

以视盘中心为圆心，在0°-360°范围间距为10°方向上测量视盘和视盘萎缩弧的尺寸；若存在小于10%的方向上视盘萎缩弧宽度大于视盘宽度，则输出未出现视盘边缘萎缩；

在一种可选的实施方式中，在0°-360°范围内每间隔30°测量一次视盘和视盘萎缩弧的尺寸，共得到12个数据；

若存在10%到80%的方向上视盘萎缩弧宽度大于视盘宽度，则输出半环绕型视盘边缘萎缩；

若存在大于80%的方向上视盘萎缩弧宽度大于视盘宽度，输出全环绕型视盘边缘萎缩；

在一种可选的实施方式中，存储视盘范围，以像素为坐标轴内的单位长度存储视盘的宽和高，并存储视盘范围的区域面积，区域面积为视盘范围的像素个数；视杯范围及视盘边缘萎缩弧范围的存储方法与视盘范围一致；

在一种可选的实施方式中，本实施例中通过求得第一最大连通区域及第二最大连通区域的外界矩形的中心，分别确定视盘中心及黄斑中心凹。

请结合参照图5至图6，本发明的实施例二为：

一种超广角眼底图像语义分割方法，其与上述实施例一的不同之处在于：

在所述步骤S1之前还包括：

请参照图6，将所述超广角眼底图像重置大小为448×448×3，通过第五U-net模型，得到第六特征图，对所述第六特征图进行二值化后，将其图像长宽都乘以2，再进行腐蚀，找出腐蚀后的所述第六特征图中的第六最大连通区域，再对所述第六特征图进行膨胀，找出最大轮廓的第四边界，并获取所述第四边界的特征点进行多次线性拟合，得到边缘干扰图像范围，所述边缘干扰图像包括设备边界图像及眼睑图像；

根据所述边缘干扰图像范围，对所述超广角眼底图像进行裁剪，将裁剪后的图像恢复为原始长宽；

在一种可选的实施方式中，多次线性拟合具体为5次；

所述步骤S3具体为：

在第二预设范围内裁剪所述超广角眼底图像得到裁剪图像，所述第二预设范围以所述视盘中心为中心；

具体的，以视盘中心为中心，裁剪图像的长、宽为超广角眼底图像长的0.15倍，将裁剪后的图像重置大小为360×360×3；

请参照图5，将所述裁剪图像通过第二U-net模型，得到第三特征图，对所述第三特征图进行腐蚀，找出腐蚀后的所述第三特征图中的第三最大连通区域，再对所第三特征图进行膨胀，找出最大轮廓的第一边界，并获取所述第一边界的特征点进行线性拟合，再对所述第三特征图进行二值化并重置所述第三特征图的大小，得到视盘范围，更新步骤S2中所得的视盘范围；

请参照图6，将所述裁剪图像通过第三U-net模型，得到第四特征图，对所述第四特征图进行腐蚀，找出腐蚀后的所述第四特征图中的第四最大连通区域，再对所述第四特征图进行膨胀，找出最大轮廓的第二边界，并获取所述第二边界的特征点进行线性拟合，再对所述第四特征图进行二值化并重置所述第四特征图的大小，得到视杯范围；

请参照图6，将所述裁剪图像通过第四U-net模型，得到第五特征图，对所述第五特征图进行腐蚀，找出腐蚀后的所述第五特征图中的第五最大连通区域，再对所述第五特征图进行膨胀，找出最大轮廓的第三边界，并获取所述第三边界的特征点进行线性拟合，再对所述第五特征图进行二值化并重置所述第五特征图的大小，得到视盘边缘萎缩弧范围；

在一种可选的实施方式中，本说明书中实施例所提的线性拟合算法为spline样条曲线拟合，进行连续的5次拟合，拟合对象为上一次拟合的结果；

在一种可选的实施方式中，本实施例中的第一U-net模型、第二U-net模型、第三U-net模型、第四U-net模型及第五U-net模型的结构相同。

请参照图2，本发明的实施例三为：

一种超广角眼底图像语义分割终端1，包括处理器2、存储器3及存储在存储器3上并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现实施例一或实施例二中的各个步骤。

综上所述，本发明提供了一种超广角眼底图像语义分割方法及终端，通过设置输出层为双通道的U-net模型，实现一张原始超广角眼底图像通过一个U-net模型后得到两张分别针对视盘和黄斑的特征图，使模型的计算效率大幅提高，并对其分别进行腐蚀和膨胀，能够明晰边界，从而得到视盘中心和黄斑中心凹，因眼底其他组织与视盘中心存在一定位置关系，进而能够得到其他眼底组织的位置范围，实现对超广角眼底图像中的眼底组织划分，无需人工的参与，为医生的诊断提供可靠的参考；并且在确定视盘中心后，以视盘中心为中心在一定范围内裁剪图片，对裁剪后的图片通过U-net模型进行视盘范围、视杯范围及视盘边缘萎缩弧范围的确定，先裁剪再通过模型，减少了模型中的分析量，进一步提高了分析效率；并且在对其中的眼底组织进行分析前，先将图片边缘的设备边框及眼睑裁剪，因此干扰项的轮廓一般较为清晰，易于从原始图像中分离，且会对模型的分析造成一定程度干扰，裁剪后再送入模型，能够提高模型所提供结果的准确性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种激光扫描超广角眼底图像语义分割方法，其特征是：所述的方法包括下述步骤：

步骤S1、特征图生成：将超广角眼底图像通过预设的输出层为双通道的第一U-net模型，生成第一特征图和第二特征图；

步骤S2、特征确定：对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；

步骤S3、视盘确认：通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧范围；

步骤S4、分析结果生成：根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果。

2.根据权利要求1所述的激光扫描超广角眼底图像语义分割方法，其特征是：所述的步骤S2的操作为：

对所述第一特征图进行腐蚀，找出腐蚀后的所述第一特征图中的第一最大连通区域，再对所述第一特征图进行膨胀与二值化处理，找到所述第一最大连通区域的中心，即为所述视盘中心；

对所述第二特征图进行腐蚀，找出腐蚀后的所述第二特征图中的第二最大连通区域，再对所述第二特征图进行膨胀与二值化处理，找到所述第二最大连通区域的中心，即为所述黄斑中心凹；

所述步骤S3为：

在第二预设范围内裁剪所述超广角眼底图像得到裁剪图像，所述第二预设范围以所述视盘中心为中心；

所述第一U-net模型的层数为四层；

将所述裁剪图像通过第二U-net模型，得到第三特征图，对所述第三特征图进行腐蚀，找出腐蚀后的所述第三特征图中的第三最大连通区域，再对所第三特征图进行膨胀，找出最大轮廓的第一边界，并获取所述第一边界的特征点进行线性拟合，再对所述第三特征图进行二值化并重置所述第三特征图的大小，得到视盘范围；

将所述裁剪图像通过第三U-net模型，得到第四特征图，对所述第四特征图进行腐蚀，找出腐蚀后的所述第四特征图中的第四最大连通区域，再对所述第四特征图进行膨胀，找出最大轮廓的第二边界，并获取所述第二边界的特征点进行线性拟合，再对所述第四特征图进行二值化并重置所述第四特征图的大小，得到视杯范围；

将所述裁剪图像通过第四U-net模型，得到第五特征图，对所述第五特征图进行腐蚀，找出腐蚀后的所述第五特征图中的第五最大连通区域，再对所述第五特征图进行膨胀，找出最大轮廓的第三边界，并获取所述第三边界的特征点进行线性拟合，再对所述第五特征图进行二值化并重置所述第五特征图的大小，得到视盘边缘萎缩弧范围；

所述步骤S4包括：

获取所述视盘范围及所述视盘边缘萎缩弧范围，判断所述视盘萎缩弧范围与所述视盘范围的比值是否超过第三预设范围，若未超过，则输出未出现视盘边缘萎缩；

若超过，则计算相较于视盘中心第四预设范围内所述视盘边缘萎缩弧范围是否有超过第五预设范围，若是，则输出全环绕型视盘边缘萎缩；

否则，输出半环绕型视盘边缘萎缩。

3.根据权利要求1所述的激光扫描超广角眼底图像语义分割方法，其特征是：所述的步骤S2与步骤S3之间还包括步骤S2’：

步骤S2’：距离计算，获取所述黄斑中心凹与所述视盘中心之间的第一距离，若所述第一距离在第一预设范围内，则验证通过，执行所述步骤S3；

若所述第一距离不在第一预设范围内，则验证不通过，将通过腐蚀和膨胀后的所述第二特征图送入DenseNet模型，得到修正后的所述黄斑中心凹，在所述DenseNet模型的最后一个全连接层使用linear作为激活函数；

获取所述修正后的黄斑中心凹与所述视盘中心之间的第二距离，若所述第二距离在第一预设范围内，则验证通过，执行所述步骤S3，否则，输出黄斑中心位置不清晰信息。

4.根据权利要求1所述的激光扫描超广角眼底图像语义分割方法，其特征是：所述的步骤S1之前还包括步骤S0，步骤S0为眼底图像裁剪：

将所述超广角眼底图像通过第五U-net模型，得到第六特征图，对所述第六特征图进行二值化后再腐蚀，找出腐蚀后的所述第六特征图中的第六最大连通区域，再对所述第六特征图进行膨胀，找出最大轮廓的第四边界，并获取所述第四边界的特征点进行线性拟合，得到边缘干扰图像范围，所述边缘干扰图像包括设备边界图像及眼睑图像；

根据所述边缘干扰图像范围，对所述超广角眼底图像进行裁剪。

5.一种激光扫描超广角眼底图像语义分割系统，其特征是：所述的系统包括：

特征图生成单元：用于将超广角眼底图像通过预设的输出层为双通道的第一U-net模型，生成第一特征图和第二特征图；

特征确定单元：用于对所述第一特征图和所述第二特征图分别进行腐蚀和膨胀，通过腐蚀和膨胀后的所述第一特征图确定视盘中心并通过腐蚀和膨胀后的所述第二特征图确定黄斑中心凹；

视盘确认单元：用于通过所述视盘中心得到视盘范围、视杯范围及视盘边缘萎缩弧范围；

分析结果生成单元：用于根据所述视盘中心、所述黄斑中心凹、所述视盘范围、所述视杯范围及所述视盘边缘萎缩弧范围，生成分析结果。

6.根据权利要求5所述的激光扫描超广角眼底图像语义分割系统，其特征是：所述的特征确定单元为：

对所述第一特征图进行腐蚀，找出腐蚀后的所述第一特征图中的第一最大连通区域，再对所述第一特征图进行膨胀与二值化处理，找到所述第一最大连通区域的中心，即为所述视盘中心；

对所述第二特征图进行腐蚀，找出腐蚀后的所述第二特征图中的第二最大连通区域，再对所述第二特征图进行膨胀与二值化处理，找到所述第二最大连通区域的中心，即为所述黄斑中心凹；

视盘确认单元为：

在第二预设范围内裁剪所述超广角眼底图像得到裁剪图像，所述第二预设范围以所述视盘中心为中心；

所述第一U-net模型的层数为四层；

将所述裁剪图像通过第二U-net模型，得到第三特征图，对所述第三特征图进行腐蚀，找出腐蚀后的所述第三特征图中的第三最大连通区域，再对所第三特征图进行膨胀，找出最大轮廓的第一边界，并获取所述第一边界的特征点进行线性拟合，再对所述第三特征图进行二值化并重置所述第三特征图的大小，得到视盘范围；

将所述裁剪图像通过第三U-net模型，得到第四特征图，对所述第四特征图进行腐蚀，找出腐蚀后的所述第四特征图中的第四最大连通区域，再对所述第四特征图进行膨胀，找出最大轮廓的第二边界，并获取所述第二边界的特征点进行线性拟合，再对所述第四特征图进行二值化并重置所述第四特征图的大小，得到视杯范围；

将所述裁剪图像通过第四U-net模型，得到第五特征图，对所述第五特征图进行腐蚀，找出腐蚀后的所述第五特征图中的第五最大连通区域，再对所述第五特征图进行膨胀，找出最大轮廓的第三边界，并获取所述第三边界的特征点进行线性拟合，再对所述第五特征图进行二值化并重置所述第五特征图的大小，得到视盘边缘萎缩弧范围；

所述分析结果生成单元包括：

获取所述视盘范围及所述视盘边缘萎缩弧范围，判断所述视盘萎缩弧范围与所述视盘范围的比值是否超过第三预设范围，若未超过，则输出未出现视盘边缘萎缩；

若超过，则计算相较于视盘中心第四预设范围内所述视盘边缘萎缩弧范围是否有超过第五预设范围，若是，则输出全环绕型视盘边缘萎缩；

否则，输出半环绕型视盘边缘萎缩。

7.根据权利要求5所述的激光扫描超广角眼底图像语义分割系统，其特征是：所述的特征确定单元与视盘确认单元之间还包括距离计算单元：

所述的距离计算单元，用于获取所述黄斑中心凹与所述视盘中心之间的第一距离，若所述第一距离在第一预设范围内，则验证通过，执行所述视盘确认单元；

若所述第一距离不在第一预设范围内，则验证不通过，将通过腐蚀和膨胀后的所述第二特征图送入DenseNet模型，得到修正后的所述黄斑中心凹，在所述DenseNet模型的最后一个全连接层使用linear作为激活函数；

获取所述修正后的黄斑中心凹与所述视盘中心之间的第二距离，若所述第二距离在第一预设范围内，则验证通过，执行所述视盘确认单元，否则，输出黄斑中心位置不清晰信息。

8.根据权利要求5所述的激光扫描超广角眼底图像语义分割系统，其特征是：所述的系统还包括有眼底图像裁剪单元：

用于将所述超广角眼底图像通过第五U-net模型，得到第六特征图，对所述第六特征图进行二值化后再腐蚀，找出腐蚀后的所述第六特征图中的第六最大连通区域，再对所述第六特征图进行膨胀，找出最大轮廓的第四边界，并获取所述第四边界的特征点进行线性拟合，得到边缘干扰图像范围，所述边缘干扰图像包括设备边界图像及眼睑图像；

根据所述边缘干扰图像范围，对所述超广角眼底图像进行裁剪。

9.一种激光扫描超广角眼底图像语义分割终端，其特征是：所述的终端包括存储器（3）、处理器（2）及存储在存储器（3）上并可在所述处理器（2）上运行的计算机程序，所述处理器（2）执行所述计算机程序时实现如权利要求1至4中任意一项所述的激光扫描超广角眼底图像语义分割方法。