CN116977726A - 一种针对眼底图像的密集病灶半自动标注方法 - Google Patents

一种针对眼底图像的密集病灶半自动标注方法 Download PDF

Info

Publication number
CN116977726A
CN116977726A CN202310926992.XA CN202310926992A CN116977726A CN 116977726 A CN116977726 A CN 116977726A CN 202310926992 A CN202310926992 A CN 202310926992A CN 116977726 A CN116977726 A CN 116977726A
Authority
CN
China
Prior art keywords
labeling
segmentation
focus
optic
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310926992.XA
Other languages
English (en)
Inventor
马岚
邓卓
陈楚城
谷庆江
牛志远
宋家兴
高伟豪
甘鲜
李方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen International Graduate School of Tsinghua University
Original Assignee
Shenzhen International Graduate School of Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen International Graduate School of Tsinghua University filed Critical Shenzhen International Graduate School of Tsinghua University
Priority to CN202310926992.XA priority Critical patent/CN116977726A/zh
Publication of CN116977726A publication Critical patent/CN116977726A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Strategic Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Educational Administration (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

本发明公开了一种针对眼底图像的密集病灶半自动标注方法，方法包括构建并训练密集病灶分割网络、黄斑中心凹定位网络和视杯视盘分割定位网络；利用网络进行处理以分别得到密集病灶预测轮廓区域、黄斑区域和视杯视盘区域；对眼底图像分配三个标注员，每个标注员从黄斑区域和视杯视盘区域中选择出重点区域和其他区域并进行标注操作，以得到第一轮标注结果；根据第一轮标注结果计算出每两个标注员之间的病灶标注一致性指标，以确定两个标注员来执行第二轮病灶标注，并得到第二轮标注结果；将第二轮标注结果进行审核以得到最终标注结果。因此解决了密集病灶标注难度大、不同人员标注差异性大的问题，并提高标注效率，减少标注时间，降低标注成本。

Description

一种针对眼底图像的密集病灶半自动标注方法
技术领域
本发明涉及医学图像处理技术领域，尤其是涉及一种针对眼底图像的密集病灶半自动标注方法。
背景技术
近年来，人工智能技术开始广泛应用于我们的日常生活中各个领域，如智慧城市、智能零售和智能家居等方面，为我们的日常生活提供各种服务和便利。然而，人工智能技术在医学等领域的应用性相对较少，主要是由于人工智能技术进行模型训练时需要较大量的已标注的图像或者文本信息，但是医学影像资源一般只有医院才拥有，医学影像资源的收集难度较大，且数据标注难度更大，特别是一些密集病灶标注，需要专业人士才能辨别和标注，需要耗费大量的人力和精力。
基于人工智能的医学影像结构分割、结构定位和病灶分割等相关工作目前相对较多，但是如何将这些技术合理地利用起来，在公开数据集或者少量已标注的数据集上进行训练后反馈于辅助标注上的工作相对较少。
针对医学影像中的密集病灶标注的难度较大，且一般情况下，标注人员都是从零开始标注，这将大大增加标注时间。同时，不同标注人员针对同一张医学影像中同类病灶的标注差异性往往也较大，这就导致不同标注人员的最终标注结果差异明显，标注结果往往无法使用。因此，如何准确评估不同标注人员的标注一致性，如何较快较准确地筛选出合适的标注人员，将大大影响密集病灶标注效率和标注效果。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种针对眼底图像的密集病灶半自动标注方法，解决了当前对医学影像的密集病灶进行人工标注难度较大且不同人工标注的差异性较大的问题。
根据本发明的实施例的针对眼底图像的密集病灶半自动标注方法，包括以下步骤：
构建并训练密集病灶分割网络、黄斑中心凹定位网络和视杯视盘分割定位网络；
利用所述密集病灶分割网络对待标注的眼底图像进行处理，以得到密集病灶预测轮廓区域；
利用所述黄斑中心凹定位网络对待标注的眼底图像进行处理，以得到黄斑区域；
利用所述视杯视盘分割定位网络对待标注的眼底图像进行处理，以得到视杯视盘区域；
对待标注的眼底图像分配三个标注员，每个标注员从所述黄斑区域和所述视杯视盘区域中择一选择出重点区域并相应地确定出其他区域，所述重点区域和所述其他区域共同组成待标注的眼底图像的全图区域；
每个标注员分别对各自所确定的重点区域进行第一标注操作，并分别对各自所确定的其他区域进行第二标注操作，以得到各自的第一轮标注结果；
根据所述第一轮标注结果计算出每两个标注员之间的病灶标注一致性指标，以确定出执行第二轮病灶标注的两个标注员；
执行第二轮病灶标注的两个标注员分别对各自的第一轮标注结果进行第三标注操作，以得到各自的第二轮标注结果；
将各自的第二轮标注结果进行合并，并提交至审核员进行调整和核对，以得到最终标注结果。
根据本发明实施例的针对眼底图像的密集病灶半自动标注方法，至少具有如下有益效果：
通过利用人工智能技术来构建多个用于眼底图像分割、定位的网络模型，并经模型训练后获取到性能较优的网络模型，从而可对待标注的眼底图像进行处理以生成密集病灶预测轮廓区域来反馈于密集病灶标注上，同时生成黄斑区域和视杯视盘区域。通过利用黄斑区域和视杯视盘区域来自定义划分重点区域和其他区域，不同标注员根据其划定的重点区域可进行重点标注操作，从而产生不完全一致的第一轮标注结果，进而可计算并评估出不同标注员之间的标注一致性，最终根据标注一致性来为待标注的眼底图像分配合适的标注员，以完成第二轮的病灶标注，因此最终保证了密集病灶的标注效率和标注效果。通过利用本发明实施例的方法，从根源上解决了对医学影像中密集病灶标注难度大、标注人员之间标注差异性大的问题，可以大幅度提高标注效率，减少标注时间，降低标注成本。
根据本发明的一些实施例，构建并训练所述密集病灶分割网络，包括以下步骤：
构建所述密集病灶分割网络，所述密集病灶分割网络由第一编码器、第一解码器和第一分割头组成，其中，所述第一编码器采用ResNet50，所述第一解码器采用UNet++，所述第一分割头由卷积核大小为3x3的卷积层和上采样操作组成；
准备密集病灶分割训练数据和密集病灶分割测试数据并进行线上方图缩放；
将所述密集病灶分割训练数据输入所述密集病灶分割网络进行模型参数迭代更新，以不断训练所述密集病灶分割网络；
计算每轮训练后所述密集病灶分割网络处理所述密集病灶分割测试数据的损失值；
确定损失值最小的模型为最终的所述密集病灶分割网络。
根据本发明的一些实施例，所述计算每轮训练后所述密集病灶分割网络处理所述密集病灶分割测试数据的损失值，由以下数学模型所约束：
其中，Ldice表示DiceLoss损失函数；N表示病灶分割图中像素点的个数；n表示病灶分割图中第n个像素点；rn表示病灶分割图中第n个像素的真实标签；pn表示对应像素的预测概率值；∈表示常数。
根据本发明的一些实施例，构建并训练所述黄斑中心凹定位网络，包括以下步骤：
构建所述黄斑中心凹定位网络，所述黄斑中心凹定位网络由Swin TransformerTiny网络和特征后处理模块组成，其中，所述Swin Transformer Tiny网络用于对眼底图像进行特征提取，所述特征后处理模块由第一全连接层、ReLU层、Dropout层、第二全连接层和Sigmoid层组成；
准备黄斑中心凹定位训练数据和黄斑中心凹定位测试数据并进行线上方图缩放和归一化处理；
将所述黄斑中心凹定位训练数据输入所述黄斑中心凹定位网络进行模型参数迭代更新，以不断训练所述黄斑中心凹定位网络；
计算每轮训练后所述黄斑中心凹定位网络处理所述黄斑中心凹定位测试数据的损失值；
确定损失值最小的模型为最终的所述黄斑中心凹定位网络。
根据本发明的一些实施例，所述计算每轮训练后所述黄斑中心凹定位网络处理所述黄斑中心凹定位测试数据的损失值，由以下数学模型所约束：
LLoc＝0.5×LMSE+0.5×LED，
其中，LLoc表示黄斑中心凹定位网络的总损失函数；LMSE表示MSELoss损失函数；LED表示EDLoss损失函数；N表示训练阶段每个批次的图像数量；n表示每个批次中第n张图像；xn表示每个批次中第n张图像中归一化的黄斑中心凹的真实横坐标；pn表示每个批次中第n张图像中归一化的黄斑中心凹的预测横坐标；yn表示每个批次中第n张图像中归一化的黄斑中心凹的真实纵坐标；qn表示每个批次中第n张图像预测中归一化的黄斑中心凹的预测纵坐标。
根据本发明的一些实施例，构建并训练所述视杯视盘分割定位网络，包括以下步骤：
构建所述视杯视盘分割定位网络，所述视杯视盘分割定位网络由第二编码器、第二解码器和第二分割头组成，其中，所述第二编码器采用ResNet34，所述第二解码器采用UNet，所述第二分割头由卷积核大小为3x3的卷积层和上采样操作组成；
准备视杯视盘分割定位训练数据和视杯视盘分割定位测试数据并进行线上方图缩放；
将所述视杯视盘分割定位训练数据输入所述视杯视盘分割定位网络进行模型参数迭代更新，以不断训练所述视杯视盘分割定位网络；
计算每轮训练后所述视杯视盘分割定位网络处理所述视杯视盘分割定位测试数据的损失值；
确定损失值最小的模型为最终的所述视杯视盘分割定位网络。
根据本发明的一些实施例，所述计算每轮训练后所述视杯视盘分割定位网络处理所述视杯视盘分割定位测试数据的损失值，由以下数学模型所约束：
Lall＝0.5×LMAE+0.5×Ldice，
其中，Lall表示视杯视盘分割定位网络的总损失函数；LMAE表示MAELoss损失函数；Ldice表示DiceLoss损失函数；N表示眼底图像视杯视盘分割图的像素点个数；n表示分割图中第n个像素点；rn表示视杯视盘分割图中第n个像素的真实标签；pn表示对应像素的预测概率值；ε和∈皆表示常数。
根据本发明的一些实施例，所述利用所述黄斑中心凹定位网络对待标注的眼底图像进行处理，以得到黄斑区域，包括以下步骤：
利用所述黄斑中心凹定位网络，从待标注的眼底图像中确定黄斑中心凹坐标；
计算黄斑区域半径，所述黄斑区域半径由以下数学模型所约束：
R1＝λ1×min(Width，Height)，
其中，R1表示黄斑区域半径；λ1表示超参数；Width表示眼底图像宽度；Height表示眼底图像高度；
根据所述黄斑中心凹坐标和所述黄斑区域半径确定出所述黄斑区域。
根据本发明的一些实施例，所述利用所述视杯视盘分割定位网络对待标注的眼底图像进行处理，以得到视杯视盘区域，包括以下步骤：
利用所述视杯视盘分割定位网络，从待标注的眼底图像中获取视杯视盘位置信息；
根据所述视杯视盘位置信息，计算视杯视盘的中心点坐标；
计算视杯视盘区域半径，所述视杯视盘区域半径由以下数学模型所约束：
R2＝λ2×min(Width,Height)，
其中，R2表示视杯视盘区域半径；λ2表示超参数；Width表示眼底图像宽度；Height表示眼底图像高度；
根据所述视杯视盘的中心点坐标和所述视杯视盘区域半径确定出所述视杯视盘区域。
根据本发明的一些实施例，所述根据所述第一轮标注结果计算出每两个标注员之间的病灶标注一致性指标，包括以下步骤：
对任意两个标注员在所述全图区域中各自的第一轮标注结果之间求取交集和并集，以得到第一交集结果和第一并集结果；
将所述第一交集结果除以所述第一并集结果，以计算得到全图区域一致性指标；
对任意两个标注员在所述重点区域中各自的第一轮标注结果之间求取交集和并集，以得到第二交集结果和第二并集结果；
将所述第二交集结果除以所述第二并集结果，以计算得到重点区域一致性指标；
对所述全图区域一致性指标和所述重点区域一致性指标进行加权求和，以计算得到所述病灶标注一致性指标。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明一种实施例的针对眼底图像的密集病灶半自动标注方法的流程图；
图2是本发明一种实施例的密集病灶分割网络的结构示意图；
图3是本发明一种实施例的密集病灶分割网络在眼底图像上的分割效果图；
图4是本发明一种实施例的黄斑中心凹定位网络的结构示意图；
图5是本发明一种实施例的Swin Transformer Tiny网络的结构示意图；
图6是本发明一种实施例的特征后处理模块的结构示意图；
图7是本发明一种实施例的视杯视盘分割定位网络的结构示意图；
图8是本发明一种实施例的黄斑中心凹定位网络在眼底图像上的黄斑区域定位效果图；
图9是本发明一种实施例的视杯视盘分割定位网络在眼底图像上的视杯视盘区域定位效果图；
图10(a)是本发明一种实施例的标注员针对某张眼底图像中出血病灶标注的掩码图；
图10(b)是本发明一种实施例的标注员针对某张眼底图像中软渗出病灶标注的掩码图；
图10(c)是本发明一种实施例的标注员针对某张眼底图像中微动脉瘤病灶标注的掩码图；
图10(d)是本发明一种实施例的标注员针对某张眼底图像中硬渗出病灶标注的掩码图；
图11是本发明一种实施例的针对眼底图像的密集病灶半自动标注系统的示意图。
附图标记：
网络构建模块100；
密集病灶分割模块200；
黄斑中心凹定位模块300；
视杯视盘分割定位模块400；
区域确定模块500；
第一轮标注结果获取模块600；
标注一致性计算模块700；
第二轮标注结果获取模块800；
最终标注结果获取模块900。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表征相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
下面将结合附图对本发明的技术方案进行清楚、完整的描述，显然，以下所描述的实施例是本发明一部分实施例，并非全部实施例。
参见图1所示，为本发明实施例提供的一种针对眼底图像的密集病灶半自动标注方法的流程图，方法包括以下步骤：
构建并训练密集病灶分割网络、黄斑中心凹定位网络和视杯视盘分割定位网络；
利用密集病灶分割网络对待标注的眼底图像进行处理，以得到密集病灶预测轮廓区域；
利用黄斑中心凹定位网络对待标注的眼底图像进行处理，以得到黄斑区域；
利用视杯视盘分割定位网络对待标注的眼底图像进行处理，以得到视杯视盘区域；
对待标注的眼底图像分配三个标注员，每个标注员从黄斑区域和视杯视盘区域中择一选择出重点区域并相应地确定出其他区域，重点区域和其他区域共同组成待标注的眼底图像的全图区域；
每个标注员分别对各自所确定的重点区域进行第一标注操作，并分别对各自所确定的其他区域进行第二标注操作，以得到各自的第一轮标注结果；
根据第一轮标注结果计算出每两个标注员之间的病灶标注一致性指标，以确定出执行第二轮病灶标注的两个标注员；
执行第二轮病灶标注的两个标注员分别对各自的第一轮标注结果进行第三标注操作，以得到各自的第二轮标注结果；
将各自的第二轮标注结果进行合并，并提交至审核员进行调整和核对，以得到最终标注结果。
具体地，如图1所示，可以理解的是，首先建立三种不同的深度学习网络并进行训练。具体而言，密集病灶分割网络可在整个眼底图像上预测出密集病灶的位置信息，以勒出密集病灶预测轮廓区域；黄斑中心凹定位网络可预测出黄斑中心凹坐标信息，以圈定出黄斑区域；视杯视盘分割定位网络可预测出视杯视盘的位置信息，以圈定出视杯视盘区域。
进一步地，利用训练好的上述三种网络来分别对待标注的眼底图像进行处理，从而可得到由人工智能技术所分割或定位得到的密集病灶预测轮廓区域、黄斑区域和视杯视盘区域。可以理解的是，虽然人工智能技术可大幅度提升对医学图像处理的效率，但对于专业性较强的医学领域，仍需要标注员来进行密集病灶的标注。因此对待处理的眼底图像分配多个标注员，可以理解的是，根据实际需求，对每张眼底图像分配三个标注员相对合理。
在第一轮标注过程中，每个标注员根据自己所确定的重点区域会进行重点的标记操作，即第一标记操作，而对于其他区域则进行简单的标注操作，即第二标注操作，从而得到第一轮标注结果。需要说明的是，第一标记操作主要包括对重点区域内的病灶预测轮廓进行调整、删除和新增等修改；第二标记操作主要包括对他区域的病灶预测轮廓只进行调整和删除明显错误。然后对每个标注员的第一轮标注结果进行两两之间的标注一致性计算，根据计算结果可从多个标注员中进一步确定出两个的标注员进行第二轮标注。
在第二轮标注过程中，两个标注员分别对各自第一轮标注结果进行调整、删除和新增等操作，即进行第三标注操作，从而得到第二轮标注结果。最后将两个标注员的第二轮标注结果求取并集，并经资深标注人员进行审核后，从而得到最终标注结果。
本实施例中，通过利用人工智能技术来构建多个用于眼底图像分割、定位的网络模型，并经模型训练后获取到性能较优的网络模型，从而可对待标注的眼底图像进行处理以生成密集病灶预测轮廓区域来反馈于密集病灶标注上，同时生成黄斑区域和视杯视盘区域。通过利用黄斑区域和视杯视盘区域来自定义划分重点区域和其他区域，不同标注员根据其划定的重点区域可进行重点标注操作，从而产生不完全一致的第一轮标注结果，进而可计算并评估出不同标注员之间的标注一致性，最终根据标注一致性来为待标注的眼底图像分配合适的标注员，以完成第二轮的病灶标注，因此最终保证了密集病灶的标注效率和标注效果。通过利用本发明实施例的方法，从根源上解决了对医学影像中密集病灶标注难度大、标注人员之间标注差异性大的问题，可以大幅度提高标注效率，减少标注时间，降低标注成本。
在一些实施例中，构建并训练密集病灶分割网络，包括以下步骤：
构建密集病灶分割网络，密集病灶分割网络由第一编码器、第一解码器和第一分割头组成，其中，第一编码器采用ResNet50，第一解码器采用UNet++，第一分割头由卷积核大小为3x3的卷积层和上采样操作组成；
准备密集病灶分割训练数据和密集病灶分割测试数据并进行线上方图缩放；
将密集病灶分割训练数据输入密集病灶分割网络进行模型参数迭代更新，以不断训练密集病灶分割网络；
计算每轮训练后密集病灶分割网络处理密集病灶分割测试数据的损失值；
确定损失值最小的模型为最终的密集病灶分割网络。
具体地，参考图2，图2为本发明实施例的密集病灶分割网络的结构示意图。本实施例首先构建好密集病灶分割网络，从图2中可以看出，密集病灶分割网络的编码器为ResNet50，解码器为UNet++，分割头则通过卷积核大小为3x3的卷积层和上采样层组成，分割头可以将输出特征图的宽度高度恢复至原来输入图像的宽度高度，输出特征图的通道数与类别数一致，本实施例中的类别数为5。
进一步地，准备密集病灶分割训练数据和密集病灶分割测试数据。具体而言，本发明实施例以糖尿病视网膜病灶分割为例进行说明，其他密集病灶可同理代入场景。糖尿病视网膜病灶分割数据集选取目前已公开的DDR数据集，该数据集含有757张眼底图像和对眼底图像中的硬渗出、软渗出、微动脉瘤和出血等病灶轮廓的标注。数据准备阶段将对标注数据进行转换，即对标注病灶用不同的像素值代替，其中背景用像素值0表示、硬渗出病灶用像素值1表示、软渗出病灶用像素值2表示、微动脉瘤病灶用像素值3表示、出血病灶用像素值4表示。通过以上转换获取病灶标注的掩码信息。接着对DDR数据集进行划分，获取680例训练数据和77例测试数据。如果待标注的密集病灶不存在公开数据集，则可以手动标注50例眼底图像，然后划分出45例训练数据和5例测试数据。
进一步地，对准备好的数据进行线上处理。具体而言，本发明实施例将训练数据和测试数据中眼底图像和对应的密集病灶掩码信息进行线上方图缩放，使得图像从原始宽度高度变换成512x512。然后利用训练数据对密集病灶分割网络进行训练，具体而言，本发明实施例在安装有NVIDIA-A100GPU的工作台上进行视盘分割网络训练，编程语言为Python3.8，采用Pytorch1.13深度学习框架。训练阶段Batchsize设置为8，优化器采用AdamW，共训练30轮，初始学习率设置为10^(-4)，采用余弦退火方式调整学习率，终止学习率为10^(-6)。通过计算每轮训练后的损失值，从而获取密集病灶分割网络在测试数据上损失值最小的模型，以作为最终的密集病灶分割网络。在一些实施例中，网络模型的训练阶段还会进行线上随机水平翻转的数据增强策略。
进一步地，密集病灶分割网络在眼底图像上的分割效果如图3所示。密集病灶分割网络在糖尿病视网膜病灶分割测试数据上的结果如表1所示：
表1
病灶类型 硬渗出 软渗出 微动脉瘤 出血点
指标(Dice) 0.8543 0.8125 0.6993 0.8054
需要说明的是，表1中的Dice指标为医学图像分割任务中最常见的评价指标，它是一种集合相似度度量指标，用于计算两个样本的相似度，值域为[0,1]。Dice指标越高，越接近1，说明分割效果很好。因此病灶分割网络的性能越高，人工标注的工作量就越小。可以理解的是，根据相关比较，表1中展示的糖尿病视网膜病变病灶分割的指标已优于绝大多数的其他相关模型或算法。
本实施例中，通过使用密集病灶分割网络可以在医生进行人工标注前提供人工智能处理的结果，人工标注阶段只需要针对人工智能处理的结果进行适当的修改就可以达到标注要求，从而大大的提高了标注效率，减少了标注成本，且从表1中可以看出，病灶分割网络的Dice均值在0.8左右，性能优异，分割效果较好。
在一些实施例中，计算每轮训练后密集病灶分割网络处理密集病灶分割测试数据的损失值，由以下数学模型所约束：
其中，Ldice表示DiceLoss损失函数；N表示病灶分割图中像素点的个数；n表示病灶分割图中第n个像素点；rn表示病灶分割图中第n个像素的真实标签；pn表示对应像素的预测概率值；∈表示常数。
在一些实施例中，构建并训练黄斑中心凹定位网络，包括以下步骤：
构建黄斑中心凹定位网络，黄斑中心凹定位网络由Swin Transformer Tiny网络和特征后处理模块组成，其中，Swin Transformer Tiny网络用于对眼底图像进行特征提取，特征后处理模块由第一全连接层、ReLU层、Dropout层、第二全连接层和Sigmoid层组成；
准备黄斑中心凹定位训练数据和黄斑中心凹定位测试数据并进行线上方图缩放和归一化处理；
将黄斑中心凹定位训练数据输入黄斑中心凹定位网络进行模型参数迭代更新，以不断训练黄斑中心凹定位网络；
计算每轮训练后黄斑中心凹定位网络处理黄斑中心凹定位测试数据的损失值；
确定损失值最小的模型为最终的黄斑中心凹定位网络。
具体地，参考图4，图4为本发明实施例的黄斑中心凹定位网络的结构示意图。本实施例首先构建好黄斑中心凹定位网络，从图4中可以看出，黄斑中心凹定位网络包含了SwinTransformer Tiny特征提取器和特征后处理模块。结合参考图5，Swin Transformer Tiny特征提取器由patch划分、patch嵌入层、多个Swin Transformer Blocks和多个patch合并层组成，可以对输入的眼底图像进行特征提取，具体通过输入大小为H×W×3的眼底图像，经过如图所示4个阶段的处理后，最终得到大小为H/32×W/32×768的图片。结合参考图6，特征后处理模块由全连接层、ReLU层、Dropout层、全连接层和Sigmoid层等组成，可以对特征进一步提取处理并获取最终的预测结果。
进一步地，准备黄斑中心凹定位训练数据和黄斑中心凹定位测试数据。具体而言，本发明实施例所使用的黄斑中心凹定位数据集来自三个公开数据集GAMMA、REFUGE和PALM的合集，其中GAMMA数据集有100例训练数据和100例测试数据，REFUGE数据集有800例训练数据，PALM数据集有800例训练数据和400例测试数据。以上数据都包含了眼底图像和眼底图像中黄斑中心凹的坐标信息。本实施例将GAMMA的100例训练数据、REFUGE的800例训练数据和PALM的800例训练数据构成最终的黄斑中心凹定位数据集的训练数据，共1700例；将GAMMA的100例测试数据和PALM的400例测试数据构成最终的黄斑中心凹定位数据集的测试数据，共500例。
进一步地，对准备好的数据进行线上处理。具体而言，本发明实施例将训练数据和测试数据中眼底图像进行方图缩放至图像宽度高度为384x384，同时将对黄斑中心凹坐标进行归一化处理。例如眼底图像的原始宽度高度为3000x2000，原始黄斑中心凹坐标为(750，400)，归一化后的黄斑中心凹坐标为(0.25，0.2)。
进一步地，利用训练数据对黄斑中心凹定位网络进行训练。具体而言，本发明实施例在安装有NVIDIA-A100GPU的工作台上进行黄斑中心凹定位网络模型训练，编程语言为Python3.8，采用Pytorch1.13深度学习框架。训练阶段Batchsize设置为16，优化器采用AdamW，共训练50轮，初始学习率设置为5x10^(-5)，采用余弦退火方式调整学习率，终止学习率为10^(-6)。通过计算每轮训练后的损失值，从而获取黄斑中心凹定位网络模型在测试集上损失值最低的模型，以作为最终的黄斑中心凹定位模型。
进一步地，黄斑中心凹定位网络模型在测试数据上的指标如表2所示：
表2
任务类型 黄斑中心凹定位
指标(归一化欧式距离) 0.0082
需要说明的是，表2中的指标为归一化欧氏距离，黄斑中心凹定位网络输出的是黄斑中心凹的坐标值，归一化欧氏距离即计算预测的黄斑中心凹坐标和参考值之间的距离，归一化欧式距离值越小，表明黄斑中心凹的预测越准，性能越好，即通过模型划定的黄斑中心凹区域更加准确。可以理解的是，表2中的指标数据是可以较好满足相关性能要求的。
在一些实施例中，计算每轮训练后黄斑中心凹定位网络处理黄斑中心凹定位测试数据的损失值，由以下数学模型所约束：
LLoc＝0.5×LMSE+0.5×LED，
其中，LLoc表示黄斑中心凹定位网络的总损失函数；LMSE表示MSELoss损失函数；LED表示EDLoss损失函数；N表示训练阶段每个批次的图像数量；n表示每个批次中第n张图像；xn表示每个批次中第n张图像中归一化的黄斑中心凹的真实横坐标；pn表示每个批次中第n张图像中归一化的黄斑中心凹的预测横坐标；yn表示每个批次中第n张图像中归一化的黄斑中心凹的真实纵坐标；qn表示每个批次中第n张图像预测中归一化的黄斑中心凹的预测纵坐标。
在一些实施例中，构建并训练视杯视盘分割定位网络，包括以下步骤：
构建视杯视盘分割定位网络，视杯视盘分割定位网络由第二编码器、第二解码器和第二分割头组成，其中，第二编码器采用ResNet34，第二解码器采用UNet，第二分割头由卷积核大小为3x3的卷积层和上采样操作组成；
准备视杯视盘分割定位训练数据和视杯视盘分割定位测试数据并进行线上方图缩放；
将视杯视盘分割定位训练数据输入视杯视盘分割定位网络进行模型参数迭代更新，以不断训练视杯视盘分割定位网络；
计算每轮训练后视杯视盘分割定位网络处理视杯视盘分割定位测试数据的损失值；
确定损失值最小的模型为最终的视杯视盘分割定位网络。
具体地，参考图7，图7为本发明实施例的视杯视盘分割定位网络的结构示意图。本实施例首先构建好视杯视盘分割定位网络，从图7中可以看出，视杯视盘分割定位网络由编码器、解码器和分割头组成，其结构如图7所示，其中编码器采用ResNet34，解码器采用UNet，分割头由卷积核大小为3x3的卷积层和上采样操作组成，可以将输出特征图的宽度高度恢复至原来输入图像的宽度高度，输出特征图的通道数与类别数一致。
进一步地，准备视杯视盘分割定位训练数据和视杯视盘分割定位测试数据。具体而言，本发明实施例所使用的杯视盘分割定位数据来自多个公开数据集REFUGE、ORIGA650和GAMMA的合集。上述数据集中均包含了眼底图像和眼底图像中视杯视盘分割掩码图。将上述数据集中的数据按照8：2的比例进行训练集和测试集的划分。
进一步地，对准备好的数据进行线上处理。具体而言，本发明实施例将将训练数据和测试数据中眼底图像进行线上方图缩放，使得图像从原始宽度高度变换成512x512。然后利用训练数据对视杯视盘分割定位网络进行训练。具体而言，本发明实施例在安装有NVIDIA-A100GPU的工作台上进行视杯视盘分割定位网络模型训练，编程语言为Python3.8，采用Pytorch1.13深度学习框架。训练阶段Batchsize设置为8，优化器采用AdamW，共训练30轮，初始学习率设置为1x10^(-4)，采用余弦退火方式调整学习率，终止学习率为10^(-6)。通过计算每轮训练后的损失值，从而获取视杯视盘分割定位网络模型在测试集上损失值最低的模型，以作为最终的视杯视盘分割定位模型。
进一步地，视杯视盘分割定位网络模型在测试数据上的指标如表3所示：
表3
任务类型 视杯视盘分割
指标(Dice) 0.9457
需要说明的是，表3中的指标同表1一样也为Dice。可以理解的是，根据相关比较，表3中展示的视杯视盘分割定位网络模型的指标已优于绝大多数的其他相关模型或算法。可以理解的是，本发明实施例通过使用黄斑中心凹定位网络和视杯视盘分割定位网络，从而使得在人工标注阶段为标注人员提供标注重点区域，经确定标注重点区域后，人工标注可以重点关注重点区域的标注是否准确，因此大大缩小了人工标注范围，提高了标注效率。
在一些实施例中，计算每轮训练后视杯视盘分割定位网络处理视杯视盘分割定位测试数据的损失值，由以下数学模型所约束：
Lall＝0.5×LMAE+0.5×Ldice，
其中，Lall表示视杯视盘分割定位网络的总损失函数；LMAE表示MAELoss损失函数；Ldice表示DiceLoss损失函数；N表示眼底图像视杯视盘分割图的像素点个数；n表示分割图中第n个像素点；rn表示视杯视盘分割图中第n个像素的真实标签；pn表示对应像素的预测概率值；ε和∈皆表示常数。
在一些实施例中，利用黄斑中心凹定位网络对待标注的眼底图像进行处理，以得到黄斑区域，包括以下步骤：
利用黄斑中心凹定位网络，从待标注的眼底图像中确定黄斑中心凹坐标；
计算黄斑区域半径，黄斑区域半径由以下数学模型所约束：
R1＝λ1×min(Width，Height)，
其中，R1表示黄斑区域半径；λ1表示超参数；Width表示眼底图像宽度；Height表示眼底图像高度；
根据黄斑中心凹坐标和黄斑区域半径确定出黄斑区域。
具体地，可以理解的是，首先通过利用黄斑中心凹定位网络来获取到黄斑中心凹坐标；然后基于相应的数学公式，计算出黄斑区域半径；最后展示出以黄斑中心凹坐标为圆心，半径为R1的区域作为黄斑区域。具体而言，黄斑区域的示意图如图8所示，超出图像边缘的部分将被忽略。
在一些实施例中，利用视杯视盘分割定位网络对待标注的眼底图像进行处理，以得到视杯视盘区域，包括以下步骤：
利用视杯视盘分割定位网络，从待标注的眼底图像中获取视杯视盘位置信息；
根据视杯视盘位置信息，计算视杯视盘的中心点坐标；
计算视杯视盘区域半径，视杯视盘区域半径由以下数学模型所约束：
R2＝λ2×min(Width,Height)，
其中，R2表示视杯视盘区域半径；λ2表示超参数；Width表示眼底图像宽度；Height表示眼底图像高度；
根据视杯视盘的中心点坐标和视杯视盘区域半径确定出视杯视盘区域。
具体地，可以理解的是，首先通过利用视杯视盘分割定位网络来获取到视杯视盘位置信息，并因此计算视杯视盘的中心点坐标；然后基于相应的数学公式，计算出视杯视盘区域半径；最后示出以视杯视盘中心点坐标为圆心，半径为R2的区域作为视杯视盘区域。具体而言，视杯视盘区域的示意图如图9所示，超出图像边缘的部分将被忽略。
在一些实施例中，根据第一轮标注结果计算出每两个标注员之间的病灶标注一致性指标，包括以下步骤：
对任意两个标注员在全图区域中各自的第一轮标注结果之间求取交集和并集，以得到第一交集结果和第一并集结果；
将第一交集结果除以第一并集结果，以计算得到全图区域一致性指标；
对任意两个标注员在重点区域中各自的第一轮标注结果之间求取交集和并集，以得到第二交集结果和第二并集结果；
将第二交集结果除以第二并集结果，以计算得到重点区域一致性指标；
对全图区域一致性指标和重点区域一致性指标进行加权求和，以计算得到病灶标注一致性指标。
具体地，可以理解的是，由于待标注的眼底图像分配了三位标注员，因此眼底图像可以计算得到三个病灶标注一致性指标。对于每两位标注人员的标注一致性指标计算流程具体为：
针对每个标注员所完成的每类病灶标注生成掩码信息，需要说明的是，例如糖尿病视网膜病灶一共有四种类型，具体为出血病灶、软渗出病灶、微动脉瘤病灶和硬渗出病灶，因此每个标注人员都有四个掩码信息的二维数组。结合参考图10，图10的(a)、(b)、(c)、(d)分别展示上述四种类型的二维数据的可视化结果，其中白色区域为病灶位置；
计算全图区域内两位标注员的每类病灶的标注一致性指标，即全图区域一致性指标。具体对每类病灶的两张掩码图进行病灶区域取交集和取并集的操作，然后用交集面积除以并集面积，获取标注一致性指标。特别地，若某类病灶不在全图区域内，则该类病灶的标注一致性指标为空，不参与后续的标注一致性指标计算；
计算黄斑区域内两位标注员的每类病灶的标注一致性指标，即重点区域一致性指标。具体对每类病灶的掩码图将先与重点区域取交集之后，再用交集作为新的病灶掩码信息，进行标注一致性指标计算。特别地，若某类病灶不在重点区域内，则该类病灶的标注一致性指标为空，不参与后续的标注一致性指标计算；
通过加权求和的方式获取病灶标注一致性指标，具体的计算公式如下：
IoUall＝α×全图区域的各个病灶标注一致性指标之和，
IoUmain＝β×重点区域的各个病灶标注一致性指标之和，
Score＝0.4×IoUall+0.6×IoUmain，
其中，IoUall表示全图区域一致性指标，IoUmain表示重点区域一致性指标，Score表示病灶标注一致性指标。上述公式中α和β将通过实际情况确定最终数值，例如某张眼底图像的全图区域共有3个标注一致性指标非空，则α＝1/3；重点区域共有2个标注一致性指标非空，则β＝1/2。
在一些实施例中，将执行第二轮标注的两个标注员的第二轮标注结果进行合并，具体为对待标注的眼底图像的两个标注结果中的每类病灶都生成掩码图，然后基于掩码图进行合并，即进行逻辑或的操作，从而获取并集。
需要说明的是，本发明实施例的第一轮标注的标注员数量可根据实际需求设置为3个以上的数量，即标注员数量可不做特别限制；基于第一轮设置的标注员数量，可以计算2个以上数量的标注员的第一轮标注结果之间的病灶标注一致性指标，从而可以确定2个数量以上的标注员进行第二轮标注；基于第一轮设置的标注员数量，可以实施2轮以上的标注轮次，从而在进行多轮标注后可最终确定出一致性最佳的两个标注员的标注结果，以合并且审核为最终的病灶标注结果。
还需要说明的是，本发明实施例的方法可以采用多个待标注的眼底图像来进行实施，即可处理的待标注的眼底图像的数量不做特别限制。因此，在一些实施例中，选用200例眼底图像进行标注，统计原始的密集病灶标注方法和针对眼底图像的密集病灶半自动标注方法的耗时，具体统计结果如表4所示，其中每一轮的每张眼底图像的标注时间是取的平均指标，用于展示。
表4
轮数 原始的密集病灶标注方法 针对眼底图像的密集病灶半自动标注方法
第一轮标注 956秒/人*2人*200 73秒/人*3人*200
第二轮标注 0 212秒/人*2人*200
终审 90秒/人*1人*200 66秒/人*1人*200
总计 400400秒 141800秒
经统计，可以看出针对眼底图像的密集病灶半自动标注方法的时长仅为原始的密集病灶标注方法的时长的35.4％，且终审环节所需时间明显减少，即需要调整的内容较少。因此，可以看出，针对眼底图像的密集病灶半自动标注方法可以大幅度提高标注人员标注效率，减少标注时长。
另外，如图11所示，本发明实施例还提供了一种针对眼底图像的密集病灶半自动标注系统，系统包括：
网络构建模块100，用于构建并训练密集病灶分割网络、黄斑中心凹定位网络和视杯视盘分割定位网络；
密集病灶分割模块200，用于利用密集病灶分割网络对待标注的眼底图像进行处理，以得到密集病灶预测轮廓区域；
黄斑中心凹定位模块300，用于利用黄斑中心凹定位网络对待标注的眼底图像进行处理，以得到黄斑区域；
视杯视盘分割定位模块400，用于利用视杯视盘分割定位网络对待标注的眼底图像进行处理，以得到视杯视盘区域；
区域确定模块500，用于对待标注的眼底图像分配三个标注员，每个标注员从黄斑区域和视杯视盘区域中择一选择出重点区域并相应地确定出其他区域，重点区域和其他区域共同组成待标注的眼底图像的全图区域；
第一轮标注结果获取模块600，用于每个标注员分别对各自所确定的重点区域进行第一标注操作，并分别对各自所确定的其他区域进行第二标注操作，以得到各自的第一轮标注结果；
标注一致性计算模块700，用于根据第一轮标注结果计算出每两个标注员之间的病灶标注一致性指标，以确定出执行第二轮病灶标注的两个标注员；
第二轮标注结果获取模块800，用于执行第二轮病灶标注的两个标注员分别对各自的第一轮标注结果进行第三标注操作，以得到各自的第二轮标注结果；
最终标注结果获取模块900，用于将各自的第二轮标注结果进行合并，并提交至审核员进行调整和核对，以得到最终标注结果。
具体地，参考图11，可以理解的是，本申请实施例的针对眼底图像的密集病灶半自动标注系统用于实现针对眼底图像的密集病灶半自动标注方法，本申请实施例的针对眼底图像的密集病灶半自动标注系统与前述的针对眼底图像的密集病灶半自动标注方法相对应，具体的处理过程请参照前述的针对眼底图像的密集病灶半自动标注方法，在此不再赘述。
本实施例中，通过利用网络构建模块100来构建多个用于眼底图像分割、定位的网络模型，并经模型训练后获取到性能较优的网络模型，从而可利用密集病灶分割模块200对待标注的眼底图像进行处理以生成密集病灶预测轮廓区域来反馈于密集病灶标注上，同时利用黄斑中心凹定位模块300和视杯视盘分割定位模块400来分别生成黄斑区域和视杯视盘区域。在区域确定模块500中，通过利用黄斑区域和视杯视盘区域来自定义划分重点区域和其他区域，不同标注员在第一轮标注结果获取模块600中根据其划定的重点区域可进行重点标注操作，从而产生不完全一致的第一轮标注结果，进而可在标注一致性计算模块700中计算并评估出不同标注员之间的标注一致性，最终根据标注一致性来为待标注的眼底图像分配合适的标注员，以在第二轮标注结果获取模块800中完成第二轮的病灶标注，因此在最终标注结果获取模块900中获得的最终标注结果，其保证了密集病灶的标注效率和标注效果。通过利用本发明实施例的系统，从根源上解决了对医学影像中密集病灶标注难度大、标注人员之间标注差异性大的问题，可以大幅度提高标注效率，减少标注时间，降低标注成本。
另外，本发明实施例还提供了一种针对眼底图像的密集病灶半自动标注设备，包括：至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述实施例的一种针对眼底图像的密集病灶半自动标注方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的一种针对眼底图像的密集病灶半自动标注方法，例如，执行以上描述的图1中的方法。
以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
此外，本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种针对眼底图像的密集病灶半自动标注方法，例如，执行以上描述的图1中的方法。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
上面结合附图对本发明实施例作了详细说明，但本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (10)

1.一种针对眼底图像的密集病灶半自动标注方法，其特征在于，包括以下步骤：
构建并训练密集病灶分割网络、黄斑中心凹定位网络和视杯视盘分割定位网络；
利用所述密集病灶分割网络对待标注的眼底图像进行处理，以得到密集病灶预测轮廓区域；
利用所述黄斑中心凹定位网络对待标注的眼底图像进行处理，以得到黄斑区域；
利用所述视杯视盘分割定位网络对待标注的眼底图像进行处理，以得到视杯视盘区域；
对待标注的眼底图像分配三个标注员，每个标注员从所述黄斑区域和所述视杯视盘区域中择一选择出重点区域并相应地确定出其他区域，所述重点区域和所述其他区域共同组成待标注的眼底图像的全图区域；
每个标注员分别对各自所确定的重点区域进行第一标注操作，并分别对各自所确定的其他区域进行第二标注操作，以得到各自的第一轮标注结果；
根据所述第一轮标注结果计算出每两个标注员之间的病灶标注一致性指标，以确定出执行第二轮病灶标注的两个标注员；
执行第二轮病灶标注的两个标注员分别对各自的第一轮标注结果进行第三标注操作，以得到各自的第二轮标注结果；
将各自的第二轮标注结果进行合并，并提交至审核员进行调整和核对，以得到最终标注结果。
2.根据权利要求1所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，构建并训练所述密集病灶分割网络，包括以下步骤：
构建所述密集病灶分割网络，所述密集病灶分割网络由第一编码器、第一解码器和第一分割头组成，其中，所述第一编码器采用ResNet50，所述第一解码器采用UNet++，所述第一分割头由卷积核大小为3x3的卷积层和上采样操作组成；
准备密集病灶分割训练数据和密集病灶分割测试数据并进行线上方图缩放；
将所述密集病灶分割训练数据输入所述密集病灶分割网络进行模型参数迭代更新，以不断训练所述密集病灶分割网络；
计算每轮训练后所述密集病灶分割网络处理所述密集病灶分割测试数据的损失值；
确定损失值最小的模型为最终的所述密集病灶分割网络。
3.根据权利要求2所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，所述计算每轮训练后所述密集病灶分割网络处理所述密集病灶分割测试数据的损失值，由以下数学模型所约束：
其中，Ldice表示DiceLoss损失函数；N表示病灶分割图中像素点的个数；n表示病灶分割图中第n个像素点；rn表示病灶分割图中第n个像素的真实标签；pn表示对应像素的预测概率值；∈表示常数。
4.根据权利要求1所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，构建并训练所述黄斑中心凹定位网络，包括以下步骤：
构建所述黄斑中心凹定位网络，所述黄斑中心凹定位网络由Swin Transformer Tiny网络和特征后处理模块组成，其中，所述Swin Transformer Tiny网络用于对眼底图像进行特征提取，所述特征后处理模块由第一全连接层、ReLU层、Dropout层、第二全连接层和Sigmoid层组成；
准备黄斑中心凹定位训练数据和黄斑中心凹定位测试数据并进行线上方图缩放和归一化处理；
将所述黄斑中心凹定位训练数据输入所述黄斑中心凹定位网络进行模型参数迭代更新，以不断训练所述黄斑中心凹定位网络；
计算每轮训练后所述黄斑中心凹定位网络处理所述黄斑中心凹定位测试数据的损失值；
确定损失值最小的模型为最终的所述黄斑中心凹定位网络。
5.根据权利要求4所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，所述计算每轮训练后所述黄斑中心凹定位网络处理所述黄斑中心凹定位测试数据的损失值，由以下数学模型所约束：
LLoc＝0.5×LMSE+0.5×LED，
其中，LLoc表示黄斑中心凹定位网络的总损失函数；LMSE表示MSELoss损失函数；LED表示EDLoss损失函数；N表示训练阶段每个批次的图像数量；n表示每个批次中第n张图像；xn表示每个批次中第n张图像中归一化的黄斑中心凹的真实横坐标；pn表示每个批次中第n张图像中归一化的黄斑中心凹的预测横坐标；yn表示每个批次中第n张图像中归一化的黄斑中心凹的真实纵坐标；qn表示每个批次中第n张图像预测中归一化的黄斑中心凹的预测纵坐标。
6.根据权利要求1所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，构建并训练所述视杯视盘分割定位网络，包括以下步骤：
构建所述视杯视盘分割定位网络，所述视杯视盘分割定位网络由第二编码器、第二解码器和第二分割头组成，其中，所述第二编码器采用ResNet34，所述第二解码器采用UNet，所述第二分割头由卷积核大小为3x3的卷积层和上采样操作组成；
准备视杯视盘分割定位训练数据和视杯视盘分割定位测试数据并进行线上方图缩放；
将所述视杯视盘分割定位训练数据输入所述视杯视盘分割定位网络进行模型参数迭代更新，以不断训练所述视杯视盘分割定位网络；
计算每轮训练后所述视杯视盘分割定位网络处理所述视杯视盘分割定位测试数据的损失值；
确定损失值最小的模型为最终的所述视杯视盘分割定位网络。
7.根据权利要求6所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，所述计算每轮训练后所述视杯视盘分割定位网络处理所述视杯视盘分割定位测试数据的损失值，由以下数学模型所约束：
Lall＝0.5×LMAE+0.5×Ldice，
其中，Lall表示视杯视盘分割定位网络的总损失函数；LMAE表示MAELoss损失函数；Ldice表示DiceLoss损失函数；N表示眼底图像视杯视盘分割图的像素点个数；n表示分割图中第n个像素点；rn表示视杯视盘分割图中第n个像素的真实标签；pn表示对应像素的预测概率值；ε和∈皆表示常数。
8.根据权利要求1所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，所述利用所述黄斑中心凹定位网络对待标注的眼底图像进行处理，以得到黄斑区域，包括以下步骤：
利用所述黄斑中心凹定位网络，从待标注的眼底图像中确定黄斑中心凹坐标；
计算黄斑区域半径，所述黄斑区域半径由以下数学模型所约束：
R1＝λ1×min(Width，Height)，
其中，R1表示黄斑区域半径；λ1表示超参数；Width表示眼底图像宽度；Height表示眼底图像高度；
根据所述黄斑中心凹坐标和所述黄斑区域半径确定出所述黄斑区域。
9.根据权利要求1所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，所述利用所述视杯视盘分割定位网络对待标注的眼底图像进行处理，以得到视杯视盘区域，包括以下步骤：
利用所述视杯视盘分割定位网络，从待标注的眼底图像中获取视杯视盘位置信息；
根据所述视杯视盘位置信息，计算视杯视盘的中心点坐标；
计算视杯视盘区域半径，所述视杯视盘区域半径由以下数学模型所约束：
R2＝λ2×min(Width,Height)，
其中，R2表示视杯视盘区域半径；λ2表示超参数；Width表示眼底图像宽度；Height表示眼底图像高度；
根据所述视杯视盘的中心点坐标和所述视杯视盘区域半径确定出所述视杯视盘区域。
10.根据权利要求1所述的针对眼底图像的密集病灶半自动标注方法，其特征在于，所述根据所述第一轮标注结果计算出每两个标注员之间的病灶标注一致性指标，包括以下步骤：
对任意两个标注员在所述全图区域中各自的第一轮标注结果之间求取交集和并集，以得到第一交集结果和第一并集结果；
将所述第一交集结果除以所述第一并集结果，以计算得到全图区域一致性指标；
对任意两个标注员在所述重点区域中各自的第一轮标注结果之间求取交集和并集，以得到第二交集结果和第二并集结果；
将所述第二交集结果除以所述第二并集结果，以计算得到重点区域一致性指标；
对所述全图区域一致性指标和所述重点区域一致性指标进行加权求和，以计算得到所述病灶标注一致性指标。
CN202310926992.XA 2023-07-26 2023-07-26 一种针对眼底图像的密集病灶半自动标注方法 Pending CN116977726A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310926992.XA CN116977726A (zh) 2023-07-26 2023-07-26 一种针对眼底图像的密集病灶半自动标注方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310926992.XA CN116977726A (zh) 2023-07-26 2023-07-26 一种针对眼底图像的密集病灶半自动标注方法

Publications (1)

Publication Number Publication Date
CN116977726A true CN116977726A (zh) 2023-10-31

Family

ID=88484461

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310926992.XA Pending CN116977726A (zh) 2023-07-26 2023-07-26 一种针对眼底图像的密集病灶半自动标注方法

Country Status (1)

Country Link
CN (1) CN116977726A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689893A (zh) * 2024-02-04 2024-03-12 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端
CN117689893B (zh) * 2024-02-04 2024-06-04 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117689893A (zh) * 2024-02-04 2024-03-12 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端
CN117689893B (zh) * 2024-02-04 2024-06-04 智眸医疗(深圳)有限公司 激光扫描超广角眼底图像语义分割方法、系统及终端

Similar Documents

Publication Publication Date Title
CN109035187A (zh) 一种医学图像的标注方法及装置
CN109145713A (zh) 一种结合目标检测的小目标语义分割方法
CN102737395B (zh) 一种医用x射线系统中的图像处理方法及装置
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN112862824A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN107506770A (zh) 糖尿病视网膜病变眼底照相标准图像生成方法
CN107977952A (zh) 医学图像分割方法及装置
WO2020211530A1 (zh) 用于检测眼底图片的模型训练方法和装置、眼底图片的检测方法和装置、计算机设备和介质
CN110706233A (zh) 一种视网膜眼底图像分割方法及装置
US11373309B2 (en) Image analysis in pathology
Lin et al. Retinal image quality assessment for diabetic retinopathy screening: A survey
CN110786824B (zh) 基于边界框修正网络的粗标注眼底照出血病变检测方法及系统
CN109840913A (zh) 一种乳腺x线图像中肿块分割的方法和系统
CN110246580B (zh) 基于神经网络和随机森林的颅侧面影像分析方法和系统
CN110223261A (zh) 医学图像处理方法和系统、存储介质及计算机设备
WO2021190656A1 (zh) 眼底图像黄斑中心定位方法及装置、服务器、存储介质
CN104318565B (zh) 基于等梯度距离的双向区域增长的视网膜血管分割交互式方法
WO2020110774A1 (ja) 画像処理装置、画像処理方法、及びプログラム
CN111524142A (zh) 一种脑血管图像自动分割方法
CN112614573A (zh) 基于病理图像标注工具的深度学习模型训练方法及装置
Wu et al. Diabetic macular edema grading based on improved Faster R-CNN and MD-ResNet
CN116312986A (zh) 三维医学影像标注方法、装置、电子设备及可读存储介质
CN106446805A (zh) 一种眼底照中视杯的分割方法及系统
CN108898601A (zh) 基于随机森林的股骨头图像分割装置及分割方法
CN112950612A (zh) 一种基于卷积神经网络的脑肿瘤图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination