CN110211087A - 可分享的半自动糖尿病眼底病变标注方法 - Google Patents

Abstract

一种可分享的半自动糖尿病眼底病变标注方法，基于深度学习预训练模型的糖尿病眼底图像内容识别与分割，然后进行迁移学习，并根据眼底不同的解剖结构采取不同的标注方法。对血管采取语义分割，而对视神经盘采取定位和语义分割两种方式输出结果。而对于糖尿病眼底病灶，则对血管瘤采取定位、对渗出和出血采取语义分割的结果输出。将通过深度学习自动识别出病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上，并将置信度分数最高的片段标注出，呈现给标记者。对于标注结果进行人工审核，采用DICOM标准对人工审核后的标注数据进行存储，以便于在标准化医疗图像系统中的互操作。

Description

可分享的半自动糖尿病眼底病变标注方法

技术领域

本发明涉及人工智能技术辅助糖尿病患者眼底改变筛查领域，特别涉及一种利用深度学习技术实现一个可分享的半自动糖尿病眼底病变标注方法。

背景技术

眼底能够反映身体的健康状况，同时也是临床不同科室对患者实施疾病诊疗效果的重要判断依据，因此医学图像处理领域中，眼底图像的处理和分析一直是一个重要的研究内容。临床上眼底图像异常的判断需要经过专门的训练，有经验的阅片医生相对较少，导致医疗资源相对不足。很多患者由于疾病未能得到及时的诊断和治疗，导致不可逆的眼底改变(diabetic retinopathy,DR)，甚至对于糖尿病患者而言可能导致失明。通过人工智能方法，自动处理与分析彩色眼底图像，尽早发现眼底改变，对于眼底疾病乃至慢病的防治具有深远的意义。除了判断出DR等眼底改变，在真实的临床诊疗过程中，医生对眼底图像中解剖结构如血管、视神经盘(optic disk,OD)，以及潜在患病区域如渗出物(Exudates,EX)、微动脉瘤(Microaneurysm,MA)、眼底出血(Hemorrhage，HEM)等也会进行仔细地检查并记录，从而对患者的病情进行评估，提出相应治疗对策。因此，对眼底图像上解剖结构和病灶的识别与提取对于后续的定量分析具有重要意义。

随着移动互联网的发展，医院眼科或者内分泌科存在着大量由用户上传的糖尿病患者眼底图像。除了储存和处理大量医疗数据的各种问题，比如安全性和可访问性，一个最常见的问题是缺乏对数据的良好标注。和普通图像的标注不一样，生物医学图像的内容辨别是复杂的，需要专家专门从事收集、分析和解释。传统的图像数据集的标注标准都是人工进行制作的，只有经过培训的专家才能借助数据标记工具，需要标记者仔细观察图像内的结构，结合自己的认知来划定图像中的每个对象，非常耗时耗力。尤其注释大型数据集既昂贵又耗时。现有的DR公开数据集也不具备完整的标注信息。如E-ophtha数据集(http://www.adcis.net/en/Download-Third-Party/E-Ophtha.html)和DiaretDB数据集(http://www.it.lut.fi/project/imageret/diaretdb1)只有病灶标注却缺失糖网诊断信息，而MESSIDOR数据集(http://messidor.crihan.fr/index-en.php)只提供了糖网的诊断信息，并没有提供出血病灶的标注。MESSIDOR数据集作为目前国际公开的最大眼底图像数据集，由法国国防研究部在2004年资助研究的TECHNO-VISION项目中建立，共1 200幅眼底图像，分别来自于3个不同的眼科机构，标注的缺失和大量的假阳性样本导致传统的监督学习很难有效地进行糖网诊断，而标注结果的准确性对于深度学习网络的训练都具有重要的意义。

尽管最近在发展无人监督学习方面取得了进展，数据标注仍然对于发展和检测自动化算法必不可少的原料。如何有效地对这些图像进行挖掘，找出其中的有价值信息或危害信息是人工智能临床应用方向重要的研究问题。需要自动化图像处理和计算机视觉工具。而现有的自动标注软件，大多基于像素，因此不够智能，特别是在颜色接近的相邻物体上表现不好。大型的有标注数据集训练后的卷积神经网络能够准确地识别图像上的内容，然而在生物医学成像领域，需要专业技能人员标注生物医学图像，枯燥费力和费时，而且成本巨大。虽然基于众包的标注方法可以通过为大型医疗数据集建立一个平台让一群人来进行标注，但不同的标注团体之前无法有效的分享标注的成果，使得创建大型的有标注数据集是非常艰难。

发明内容

本发明针对现有技术存在的问题和不足，提供一种可分享的半自动糖尿病眼底病变标注方法。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供一种可分享的半自动糖尿病眼底病变标注方法，其特点在于，其包括以下步骤：

步骤1：通过数字化眼底照相机获取糖尿病患者或体检者的眼底数字图像，进行DICOM封装后导入眼底图像PACS系统中；

步骤2：基于深度学习预训练模型进行糖尿病眼底图像内容识别与分割，然后进行迁移学习，并根据眼底不同的解剖结构采取不同的标注方法；

其中，对于眼底图像中的血管采取语义分割方式并获得眼底图像中每一个像素点隶属于血管的置信度，对于眼底图像中的视神经盘采取定位和语义分割方式并获得眼底图像中每一个像素点隶属于视神经盘的置信度；

在眼底图像中存在糖尿病眼底病灶现象时，对眼底图像中的血管瘤采取定位分割方式并获得眼底图像中每一个像素点隶属于血管瘤的置信度，对眼底图像中的渗出和出血采取语义分割方式并获得眼底图像中每一个像素点隶属于渗出和出血的置信度；

步骤3：将通过深度学习自动识别出的病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上，并将置信度分数最高的片段标注出，并采用DICOM标准进行人工审核后，并将人工审核后的标注数据进行存储。

较佳地，对于视神经盘、血管瘤定位框输出结果采取将位置坐标的位置作为DICOM结构化报告(SR)中的计算机输入信息保存。

较佳地，存储的标注数据可存储到第三方PACS中，可转换到其他深度学习模型所需要的数据集格式。

较佳地，对于视神经盘、血管、渗出语义分割的结果则采取灰阶图像显示状态(GSPS)形式存储。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

本发明的积极进步效果在于：

为了大幅降低标注成本，本发明采用机器学习驱动的标注界面，结合眼底图像及其糖尿病患者眼底图像病灶的特点，从迁移学习的目标检测、语义分割模型的自动输出结果开始，其中目标检测是识别并定位输入眼底图像中已知特定的某个或多个成分，而语义分割是将眼底图像上的解剖成分或病灶的像素识别出来，结合预训练的深度神经网络模型进行迁移学习，自动获得眼底内容的定位和分割结果。人工标记者可以使用自然用户界面，通过机器辅助编辑操作进行修改，开发的界面可以让标记者选择要修改的内容和顺序，即时的在线反馈精确审核修改图像中每个目标的轮廓和背景，让标记数据集的生成速度提高，能够具备自我学习能力，产生的精确标记结果可以进一步作为训练集，提升模型的质量。

本发明提出的可分享式标注数据存储方式，将通过深度学习自动识别出病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上，并将置信度分数最高的片段标注出，呈现给标记者。对于标注结果进行人工审核，本发明采用DICOM标准对人工审核后的标注数据进行存储，提升了标注结果的质量。存储的标注数据可以方便的存储到第三方PACS中，也可以方便地转换到其他深度学习模型所需要的数据集格式，从而又可以进一步提升预训练深度神经网络模型的质量，对后续的半自动分割过程形成正反馈，提升效率。

附图说明

图1是本发明的学习型糖尿病眼底病变标注流程图。

图2是眼底血管的语义分割预训练CNN模型框架图。

图3是眼底OD的定位预训练CNN模型框架图。

图4是眼底OD的语义分割预训练CNN模型框架图。

图5是眼底血管瘤的定位预训练CNN模型框架图。

图6是眼底渗出的语义分割预训练CNN模型框架图。

图7是眼底出血的语义分割预训练CNN模型框架图。

图8眼底图像内容标注叠加层次示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在人工智能辅助医疗诊断技术中，深度学习技术目前取得了不俗的成绩。尤其在糖尿病眼病的筛查应用日趋成熟。深度学习需要海量的标注训练集来进行模型的训练，但是目前的眼底图像的标注数据集却相对不足。其中一个主要的原因是标注眼底图像不仅枯燥费力和费时，而且需要高成本的专业技能，这并不容易取得。另外，即使一些研究机构发布了一些标注好的眼底图像训练集，但是不同机构的数据集标注的内容与保存的数据格式也不同，整合起来并不方便，这为深度学习模型的训练带来了一定的困难。

针对上述存在的问题，采用机器学习驱动的标注界面，结合眼底图像及其糖尿病患者眼底图像病灶的特点，从迁移学习的目标检测、语义分割模型的自动输出结果开始，其中目标检测是识别并定位输入眼底图像中已知特定的某个或多个成分，而语义分割是将眼底图像上的解剖成分或病灶的像素识别出来，结合预训练的深度神经网络模型进行迁移学习，自动获得眼底内容的定位和分割结果，大幅降低标注成本。将通过深度学习自动识别出病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上，并对置信度分数最高的片段进行标注，呈现给标记者。对于标注结果进行人工审核，采用DICOM标准对人工审核后的标注数据进行存储，提升了标注结果的质量。

图1展示了本发明提供的学习型糖尿病眼底病变标注流程图，通过数字眼底照相机对患者的眼底图像进行采集，在转换为DICOM文件格式后保存在系统的眼底图像存储PACS中。在本发明中，根据眼底不同的解剖结构，对血管采取语义分割，而对视神经盘采取定位和语义分割两种方式输出结果。而对于糖尿病眼底病灶，则对血管瘤采取定位、对渗出和出血采取语义分割的结果输出。并将标注数据存储为标准化的可分享形式，为后期的标注图像的管理和再次利用提供便利。

本实施例提供具体实施工作流程包括：

步骤1：数字眼底图像获取与DICOM转换

具有糖尿病性眼底疾病患者中，轻度患者眼底仅含有少量微血管瘤，并且不具有较为明显的视网膜病变症状；中度患者眼底不仅含有少量血管瘤，而且具有视网膜病变症状；重度患者的眼底病变更加明显，同时在4个象限当中视网膜出血点超过20处，在2个象限内眼部静脉存在串珠状出血点，但没有增生性眼底疾病症状。对于糖尿病患者，免散瞳眼底照相机可用于眼底疾病筛查和眼底疾病诊断，尤其适用于糖尿病视网膜病变筛查，青光眼筛查，健康人体检等。无需散瞳，可节省患者和医生时间，可增加患者依存性，不影响检查者驾车，出行。在正常或小瞳孔下就能完成免散瞳照相，得出的照片是数码彩色眼底图像，医生根据所拍摄出的彩色图片，就能够清晰的了解患者眼底的病变情况，并对疾病的程度进行评价，为后续治疗方案的制定提供准确的数据。拍摄一只眼睛按照OD为中心以及黄斑为中心，每个眼底两张图像，两个眼睛一共获取四张图像，然后将眼底图像封装成DICOM图像，便于传输到系统进行后续的处理。

步骤2：基于深度学习的糖尿病眼底图像内容识别与分割

该方法首先是使用一个预训练的CNN(基于深度学习预训练模型)来为标注寻找潜在的糖尿病患者眼底图像病灶识别和分割结果，预训练的深度模型对读入内存准备开始训练的图像数据进行预处理如直方图均衡化，数据标准化，并且压缩像素值到0-1，将其数据符合标准正态分布。对于预训练的CNN，每张图片取图块时，除了正常的每个图块之外，我们还在数据范围内进行随机取图块，实现在有限的数据集中进行一些数据扩充。为了提升CNN在生物医学图像上的表现，通常会通过数据增强方法为每个候选数据自动生成多个图块；这些根据同一候选数据生成的图块具有同样的标签，所以当它们被放入训练集中时，自然能够预见当前CNN会为它们给出相似的预测结果。因此，它们的熵和多样性能提供有关候选数据的有用指标，从而可帮助提升当前CNN的表现。根据当前CNN的预测结果，通过选择每个候选数据的一小部分图块来计算熵和多样性。在本发明的输出结果中，根据眼底不同的解剖结构，对血管采取语义分割，而对视神经盘采取定位和语义分割两种方式输出结果。而对于糖尿病眼底病灶，则对血管瘤采取定位、对渗出和出血采取语义分割的结果输出。下面分别对预训练的模型进行介绍。其中，不同内容的实现步骤如下：

1.基于CNN预训练模型的视网膜血管语义分割

如图2所示，首先，选择RGB空间中的彩色眼底图像的绿色通道显示最佳的血管-背景对比度。然后，使用直方图均衡和高斯滤波对图像进行预处理，以降低噪声，使强度更均匀并改善血管的对比度。本方法CNN模型由编码器和解码器组成。编码器是CNN，它从输入的眼底图像中提取视网膜血管图像特征，并且解码器将提取的特征上采样到期望的血管分割结果。其中CNN选择使用带有步幅2的卷积运算来替换池化操作，以便尽量保留信息，且结果特征映射与池化层大小相同。卷积层将从两个相邻卷积层提取的特征融合在一起。采用多尺度敏感的Atrous卷积获得有效的多尺度特征图。模型的解码器逐步产生血管像素的概率图，并通过阈值获取二值图像，将血管分割结果作为标注输出结果。

2.基于CNN预训练模型的OD定位

如图3所示，首先训练CNN模型以评估OD的近似候选矩形区域。在该过程中，为了平衡OD和非OD区域，选择半径内的OD像素，从背景中随机选择相同数量的阴性像素进行训练。虽然第一阶段模型的定位位置相对不准确，但解决了类不平衡问题。在第二阶段，选择OD的精确中心周围的样本作为训练样例，同样从背景中随机选择相同数量的负样本，然后微调第一阶段模型以定位OD的提取位置。在大多数情况下，搜索的OD候选区域是背景，但是邻域像素中存在相似性，因为在相应的搜索窗口之间将存在大的重叠。根据上述考虑，提出了概率引导搜索。在该技术中，假设候选OD区域的密度与它们对应的OD概率一致。因此，在测试时，首先用大步骤搜索测试图像，然后彻底测试大概率候选者周围的区域。为了稳健地确定OD的精确位置，使用所提出的邻域加权投票来定位OD的最终位置。确定OD中心和位置信息后，绘制包含OD的外切矩形ROI作为OD定位标注输出结果。

3.基于M-Net深度网络预训练模型的OD语义分割

如图4所示，M-Net是一个端到端的多标签深度网络，由四个主要部分组成。第一个是用于构建图像金字塔输入并实现多级感受野融合的多尺度层。第二部分是U形卷积网络，将U形卷积网络(U-Net)修改为深层架构的主体用作主体结构来学习丰富的层次表示。第三部分是侧输出层，它在早期卷积层上工作，以支持深层监督。最后，提出了一种多标签损失函数来共同保证OD分割。U-Net是一种用于生物医学图像分割的高效的完全卷积神经网络。该系统包括编码器路径(左侧)和解码器路径(右侧)。每个编码器路径利用滤波器组执行卷积层以产生一组编码器特征图，并且利用了逐元整流-线性(ReLU)激活函数。解码器路径还利用卷积层输出解码器特征图。该跳跃式传递从编码器路径传输相应的特征映射并将它们连接到上采样的解码器特征映射。最后，将最终解码器层的输出处的高维特征表示馈送到可训练的多标记分类器。在此方法中，最终的分类器利用具有Sigmoid激活的1×1卷积层作为按像素分类来产生概率图，模型输出是K通道概率图，预测概率图对应于每个像素处具有最大概率OD的类，通过阈值设定将OD分割结果作为标注输出结果。

4.基于CNN深度网络预训练模型的MA定位

如图5所示，由于视网膜图像通常是非均匀照明，因此需要预处理步骤来应用颜色标准化并消除视网膜背景。通过估计背景图像并从原始图像中减去该图像来完成该过程。通过用30×30像素内核对原始图像进行中值滤波来获得背景图像。然后，产生大小为101×101的输入补丁用于训练基本CNN。在中心具有MA像素的那些被认为是MA样本，而具有非MA像素的那些被认为是用于训练的非MA样本。训练后的模型CNN将测试图像中的每个像素分类为MA或非MA。该CNN获得来自前一阶段的概率图作为输入测试图像的所选样本，并且导致每个测试图像像素中MA或非MA的最终概率图。最终的多层CNN作为提取MA候选区域的主要分类器。与使用来自输入数据集池的随机样本的基本CNN不同，最终CNN将来自前一阶段的概率图应用为输入图像的所选样本，该CNN的输出是每个测试图像的映射，展示出像素的MA概率，得到MA的中心坐标位置后，绘制包含MA的圆形ROI作为MA定位标注输出结果。

5.基于CNN深度网络预训练模型的渗出分割

如图6所示，渗出分割网络的体系结构，每个框对应一个多通道特征图。通道数在框顶部表示。箭头表示不同的操作，其中细灰色和橙色箭头分别表示融合不同级别的特征图并产生相应的结果。所提出的网络的体系结构由两部分组成，即下采样和上采样模块。下采样模块由卷积和最大池组成，其捕获判别性语义信息并且对外观变化具有鲁棒性。在下采样模块中，存在一个7×7卷积层，一个最大合并层(两个都具有步长为2)和12个残差块。每个残差块由两个1×1卷积层和一个3×3卷积层组成(填充为1以保持卷积后的空间分辨率)。每个卷积层之后是批量归一化层(BN)和整流器线性单元(ReLU)。在连续的下采样操作之后，特征图的尺寸逐渐减小并且变得远小于标准值的尺寸，需要上采样操作确保输出的大小与标准值的大小相同。本方法上采样模块包括卷积和反卷积层，通过向后跨步卷积实现，在下采样和上采样层之间引入跳跃式传递。跳跃式传递包含多级层次结构功能，并帮助上采样层从下采样层恢复细粒度信息。具体来说，首先添加1×1卷积层与通道维度2，以预测三个粗略输出位置(即残差块3d，4b和5c)的渗出物或非渗出物类别的得分，这产生三个级别的预测图即，分别为8像素，16像素和32像素步幅预测图。然后通过反卷积和求和运算融合三种不同层次特征的信息。具体来说，首先在32像素步幅预测图的顶部添加2×上采样反卷积层，通过使用逐元素求和操作将其与16像素步幅预测图融合，从而生成新的16像素步幅预测图。类似地，继续融合新的16像素步幅预测图和8像素步幅预测图，方法是在新的16像素步幅预测图的顶部添加2倍上采样反卷积层，从而生成融合的8像素跨步预测图。最后，在融合的8像素步幅预测图的顶部添加一个8×上采样反卷积层，以生成与输入图像大小相等的最终得分图。因此，最终得分图结合了全局抽象特征和局部细化空间信息，从而生成准确的预测结果以将图像语义分割为与原始输入具有相同大小的“非渗出”或“渗出”区域概率图，并通过阈值获取二值图像，将渗出分割结果作为标注输出结果。

6.基于CNN深度网络预训练模型的出血分割

在预处理步骤中，彩色眼底图像的视野被分段以限制CNN对感兴趣区域的分析。圆形模板匹配用于提取视野，图像被裁剪到该圆形视场的方形边界框。对比度增强图像值用作CNN的输入。如图7所示，使用的CNN架构由五个卷积层组成，后面是线性整流单元(ReLU)和空间最大池化。网络的最后层由完全连接的层和一个最终的soft-max分类层组成。我们使用了32个小尺寸的过滤器在每个卷积层中。在前两个卷积层之后应用最大池2×2和步幅2，在操作之后将特征映射大小减半。最大池化减少了自由参数的数量，并在网络中引入了小空间不变性。完全连接的层由1024个节点组成，接着是soft-max逻辑回归，其输出范围在0和1之间的分数，指示像素属于正类的概率后通过阈值获取二值图像，将出血分割结果作为标注输出结果。

步骤3：人工审核编辑标注与标注结果的标准化存储

为了便于比较自动分割效果，本发明将通过深度学习自动识别出病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上呈现给标记者(图8)。在对DICOM眼底图像的图像进行自动分割后，专家手动编辑每条轮廓线来编辑轮廓线，最终形成准确的标定结果。对于定位标注结果，标记者可以(1)从机器生成的候选定位内容如MA中选择正确标注的结果。(2)对机器未覆盖到的对象添加分割结果。机器会识别出最可能的预生成段，标记者可以从中选择质量最高的一个。(3)删除现有叠加的结果。(4)改变重叠段的深度顺序。本发明将人工审核后的标注数据利用DICOM标准进行存储，以便于在标准化医疗图像系统中的互操作。对于OD、MA定位框输出结果采取将位置坐标的位置作为DICOM结构化报告(SR)中的计算机输入坐标信息保存。而对于OD、血管、渗出语义分割的结果则采取灰阶图像显示状态(GSPS)形式存储，每个内容为叠加层的一个部分，每个层描述不同内容的图像标注。有两种特殊类型的叠加图层。该类型在该属性中指定“引用覆盖类型属性”。与ROI中包含的所有像素对应的叠加位应设置为1。所有其他位设置为0。这是用来指定特别感兴趣的图像的区域。图形叠加可以表示参考标记、图形注释或位映射文本等。一个图形的叠加可以用来标记一个感兴趣区域的边界。如果是这种情况，并且使用ROI统计参数，则它们将仅指边界下的像素，而不指包括在内的区域中的像素。它在步骤4中找到矩形对象，并在屏幕上呈现它。用户使用鼠标左键将矩形移动到新位置。用户单击“保存”按钮以保存与此研究相关的标注。感兴趣区(ROI)是一个叠加层的特定使用。与包含在ROI中所有像素相应的叠加位应该被设置为1。所有其他位被设置为0。这个被用来明确一个图像的特别感兴趣区域。图形叠加可以表示参考标记，图形注释或位图文本等。图形叠加可以用于标记ROI的边界。如果是这种情况并且使用ROI统计参数，则它们仅涉及边界下的像素，而不是那些所包含区域中的像素。与包含在图形中所有像素相应的叠加位应设置为1。所有其他位设置为0。ROI面积，ROI均值，ROI标准差，这些属性包含ROI的统计参数。这些参数的值用于叠加像素值时设置为1。

多帧叠加被定义为由一系列连续的独立叠加帧组成叠加数据的叠加。多帧叠加作为一个单一连续的叠加数据流传输。帧分隔符不包含在数据流中。每个独立的帧应该被定义(并因此可以识别)通过在叠加平面模块中的属性。在多帧叠加中包含的帧总数在叠加帧数(60xx,0015)中被传达。多帧叠加内的帧应该作为逻辑序列传送。如果多帧叠加与多帧图像相关，那么叠加帧的顺序和图像帧的顺序是一对一的。否则，没有属性被用来指示叠加帧的排序。如果图像帧原点(60xx,0051)存在，则从指定的帧编号开始，将叠加帧一对一应用于图像帧。否则，没有属性被应用来指示叠加帧的排序。叠加中的帧数(60xx,0015)加上图像帧原点(60xx,0051)减1应小于或等于多帧图像的帧总数。

步骤4：标注数据的分享与其他通用标注数据的转换

标注信息均可以通过已有的第三方软件的DICOM C-Store服务传输至任何PACS中。PACS中的DICOM浏览器获取工具状态栏并迭代它来查找矩形对象，输出的DICOM标注内容以叠加平面的方式显示标注结果。标注结果可以描述与图像相关的制图表或位图文本，还可以描述图像中的感兴趣区域。每个叠加平面有一个比特深。一个原始的眼底图像可以关联16个独立的标注内容的叠加平面，基本满足糖尿病眼底病变标注的需要。叠加数据被存储在叠加数据集(60xx,3000)中。之前在DICOM中描述了存储在像素数据(7FE0,0010)中未使用位平面的叠加数据，其中每像素采样(0028,0002)为1。有两种特定类型的叠加层。这种类型在该属性中被指定。见表1。

表1

不管作为灰度软拷贝显示状态还是在图像中嵌入了60xx组叠加，本发明将标注作为DICOM数据对象储存，DICOM GSPS标准是为如屏幕所示的信息通讯提供的，标注分类内容将可传达意义的文本内容包括在内，但是它不会以标准形式传达文本的格式、排版、含义。创建一个新的GSPS对象并保存到服务器上。结合DICOM标准中关于GSPS的属性定义，本发明提出一个针对DICOM眼底研究的个性化DICOM标注数据元素，包含一个系列的OD为中心和黄斑为中心的眼底图像和一个GSPS实例。GSPS具有在图像上绘制内容轮廓的信息。用户在工作列表中单击要查看的研究。查看器用SopClassUid为选定的studyUid获取seriesUid和instanceUids。DICOM浏览器找到一个GSPS实例并从服务器获取它，解析GSPS实例并查看叠加的矩形。对于一些现代PACS系统完全不传播它们DICOM查询/检索界面中的注解。在这种情况下，如果标注对迁移至关重要，就需要用专用的迁移软件工具来提取标注。

由于标注的数据往往可以作为数据资源进一步训练相关的深度神经网络，提升深度神经网络的性能。目前，市面上的几款标注软件，Labelme软件实现了最基本的分割数据标注工作，在保存后将保持对象的一些信息到一个json文件中。LabelImg软件最后保存的xml文件格式和ImageNet数据集是一样的。而本方法的标注结果以DICOM数据集中能够与XML数据集进行映射，从而可以进行深度学习的训练集使用。也可以映射到hdf5数据文件，在开始运行的时候从文件中读入，然后将图像转为灰度图分别读入数组建立起一个符合后续深度学习训练的tensor的格式才好传入神经网络进行学习。

综上所述，本发明提出的一种可分享的半自动糖尿病眼底病变标注方法与系统，实现了眼底图像内容标注的高效化和标准化，能够促进眼底图像尤其是糖尿病患者眼底图像的标注效率，从而更好的获得大量的眼底病灶的训练数据集，同时该学习型标注系统的效率将随着标注数据的扩增而变得越来越高，将对糖尿病患者眼底病变的人工智能辅助筛查和病情评估具有重要的推进作用。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (4)

1.一种可分享的半自动糖尿病眼底病变标注方法，其特征在于，其包括以下步骤：

步骤1：通过数字化眼底照相机获取糖尿病患者或体检者的眼底数字图像，进行DICOM封装后导入眼底图像PACS系统中；

步骤2：基于深度学习预训练模型进行糖尿病眼底图像内容识别与分割，然后进行迁移学习，并根据眼底不同的解剖结构采取不同的标注方法；

其中，对于眼底图像中的血管采取语义分割方式并获得眼底图像中每一个像素点隶属于血管的置信度，对于眼底图像中的视神经盘采取定位和语义分割方式并获得眼底图像中每一个像素点隶属于视神经盘的置信度；

在眼底图像中存在糖尿病眼底病灶现象时，对眼底图像中的血管瘤采取定位分割方式并获得眼底图像中每一个像素点隶属于血管瘤的置信度，对眼底图像中的渗出和出血采取语义分割方式并获得眼底图像中每一个像素点隶属于渗出和出血的置信度；

步骤3：将通过深度学习自动识别出的病灶的轮廓和定位以叠加图层的方式覆盖在原来的眼底图像上，并将置信度分数最高的片段标注出，并采用DICOM标准进行人工审核后，并将人工审核后的标注数据进行存储。

2.如权利要求1所述的半自动糖尿病眼底病变标注方法，其特征在于，对于视神经盘、血管瘤定位框输出结果采取将位置坐标的位置作为DICOM结构化报告中的计算机输入信息保存。

3.如权利要求1所述的半自动糖尿病眼底病变标注方法，其特征在于，存储的标注数据可存储到第三方PACS中，可转换到其他深度学习模型所需要的数据集格式。

4.如权利要求1所述的半自动糖尿病眼底病变标注方法，其特征在于，对于视神经盘、血管、渗出语义分割的结果则采取灰阶图像显示状态(GSPS)形式存储。