CN113570556A - 眼部染色图像定级方法及装置 - Google Patents
眼部染色图像定级方法及装置 Download PDFInfo
- Publication number
- CN113570556A CN113570556A CN202110773696.1A CN202110773696A CN113570556A CN 113570556 A CN113570556 A CN 113570556A CN 202110773696 A CN202110773696 A CN 202110773696A CN 113570556 A CN113570556 A CN 113570556A
- Authority
- CN
- China
- Prior art keywords
- eye
- image
- region
- preset
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000004043 dyeing Methods 0.000 title claims description 10
- 238000010186 staining Methods 0.000 claims abstract description 175
- 238000002372 labelling Methods 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000010801 machine learning Methods 0.000 claims abstract description 14
- 210000004087 cornea Anatomy 0.000 claims description 226
- 230000011218 segmentation Effects 0.000 claims description 97
- 210000000795 conjunctiva Anatomy 0.000 claims description 40
- 239000013598 vector Substances 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 9
- GNBHRKFJIUUOQI-UHFFFAOYSA-N fluorescein Chemical compound O1C(=O)C2=CC=CC=C2C21C1=CC=C(O)C=C1OC1=CC(O)=CC=C21 GNBHRKFJIUUOQI-UHFFFAOYSA-N 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 238000002224 dissection Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000975 dye Substances 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 239000007850 fluorescent dye Substances 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007447 staining method Methods 0.000 description 2
- KZMRYBLIGYQPPP-UHFFFAOYSA-M 3-[[4-[(2-chlorophenyl)-[4-[ethyl-[(3-sulfonatophenyl)methyl]azaniumylidene]cyclohexa-2,5-dien-1-ylidene]methyl]-n-ethylanilino]methyl]benzenesulfonate Chemical compound C=1C=C(C(=C2C=CC(C=C2)=[N+](CC)CC=2C=C(C=CC=2)S([O-])(=O)=O)C=2C(=CC=CC=2)Cl)C=CC=1N(CC)CC1=CC=CC(S([O-])(=O)=O)=C1 KZMRYBLIGYQPPP-UHFFFAOYSA-M 0.000 description 1
- 241000282376 Panthera tigris Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910017052 cobalt Inorganic materials 0.000 description 1
- 239000010941 cobalt Substances 0.000 description 1
- GUTLYIVDDKVIGB-UHFFFAOYSA-N cobalt atom Chemical compound [Co] GUTLYIVDDKVIGB-UHFFFAOYSA-N 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012757 fluorescence staining Methods 0.000 description 1
- 210000001232 limbus corneae Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种眼部染色图像定级方法及装置，该方法包括：获取眼部染色图像并分割出预设眼部区域；根据预设眼部区域通过预设第一方式获取待定级图像块输入到分级模型中，根据分级模型输出多个等级的预测概率，根据多个等级的预测概率输出待定级图像块的定级结果；其中，分级模型是以对眼部染色图像样本分割出的预设眼部区域按照预设第一方式获取的图像块作为输入、以对图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。本发明提供的眼部染色图像定级方法及装置，实现了使用分级模型对基于预设眼部区域的眼部染色图像获取的待定级图像块进行智能定级，可以辅助医生对预设眼部区域的染色情况进行快速、准确的识别。
Description
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种眼部染色图像定级方法及装置。
背景技术
眼部染色是诊断角结膜疾病的一种重要诊断手段，眼部受损区域通过染色可以呈现与健康区域不同的颜色和形态，临床上医生通过给染色情况定级来反映眼部受损的严重程度。目前实际场景下，主要是依靠有经验的眼科医生根据行业标准和主观判断给出定级结果，这对医生的专业性有很高的要求，同时容易由于不同医生的主观经验不同，造成较大差异。
发明内容
针对现有技术存在的问题，本发明提供一种眼部染色图像定级方法及装置。
本发明提供一种眼部染色图像定级方法，包括：获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域；根据所述预设眼部区域通过预设第一方式获取待定级图像块；将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
根据本发明提供的一种眼部染色图像定级方法，所述根据所述预设眼部区域通过预设第一方式获取待定级图像块，具体包括：获取所述预设眼部区域的外接矩形所围成的图像块，并将所述图像块中不属于所述预设眼部区域的像素值置为0，得到所述待定级图像块；或，将所述预设眼部区域切分成多个眼部子区域，获取每个所述眼部子区域的外接矩形所围成的图像块，并将所述图像块中不属于所述眼部子区域的像素值置为0，得到多个所述待定级图像块。
根据本发明提供的一种眼部染色图像定级方法，所述预设眼部区域为眼表区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：获取包括眼表区域的染色图像，将所述包括眼表区域的染色图像输入到眼表区域分割模型，根据所述眼表区域分割模型输出眼表区域概率图，根据所述眼表区域概率图获取眼表区域边界，根据所述眼表区域边界获取所述预设眼部区域。
根据本发明提供的一种眼部染色图像定级方法，所述将所述预设眼部区域切分成多个眼部子区域，具体包括：将所述包括眼表区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界，根据所述角膜区域边界获取角膜区域；基于所述眼表区域边界及所述角膜区域边界分割出结膜区域；采用预设角膜切分方式将所述角膜区域切分成多个角膜子区域，采用预设结膜切分方式对所述结膜区域切分成多个结膜子区域。
根据本发明提供的一种眼部染色图像定级方法，所述预设眼部区域为角膜区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：获取包括角膜区域的染色图像，将所述包括角膜区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界，根据所述角膜区域边界获取所述预设眼部区域。
根据本发明提供的一种眼部染色图像定级方法，所述预设眼部区域为结膜区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：获取包括眼表区域的染色图像，将所述包括眼表区域的染色图像输入到眼表区域分割模型，根据所述眼表区域分割模型输出眼表区域概率图，根据所述眼表区域概率图获取眼表区域边界；将所述包括眼表区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界；基于所述眼表区域边界及所述角膜区域边界分割出结膜区域，根据所述结膜区域得到所述预设眼部区域。
根据本发明提供的一种眼部染色图像定级方法，所述将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，具体包括：将所述待定级图像块输入到骨架网络块，根据所述骨架网络块输出第一特征图；将所述第一特征图输入到注意力块，输出加权后的第二特征图；将所述第二特征图输入到全连接层进行级别分类，输出特征向量；将所述特征向量输入softmax层，经过softmax激活后，输出所述待定级图像块在所述多个等级上的概率分布。
本发明还提供一种眼部染色图像定级装置，包括：预设眼部区域获取模块，用于：获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域；待定级图像块获取模块，用于：根据所述预设眼部区域通过预设第一方式获取待定级图像块；染色定级模块，用于：将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述眼部染色图像定级方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述眼部染色图像定级方法的步骤。
本发明提供的眼部染色图像定级方法及装置，通过基于眼部染色图像分割出预设眼部区域，根据预设眼部区域通过预设第一方式获取待定级图像块，根据分级模型输出待定级图像块的定级结果，实现了使用分级模型对基于预设眼部区域的眼部染色图像获取的待定级图像块进行智能定级，可以辅助医生对预设眼部区域的染色情况进行快速、准确的识别。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的眼部染色图像定级方法流程图；
图2是NEI分级标准中的角膜五分法模板图；
图3是本发明提供的眼部染色图像定级装置的结构示意图；
图4是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图4描述本发明的眼部染色图像定级方法及装置。
图1是本发明提供的眼部染色图像定级方法流程图。如图1所示，所述方法包括：
步骤101、获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域。
预设眼部区域如可以为角膜区域、结膜区域、眼表区域等。眼部染色方法包括荧光素染色，虎红染色，丽丝胺绿染色等。眼部染色图像是包括预设眼部区域的眼部染色图像。获取到眼部染色图像后，从眼部染色图像中分割出预设眼部区域。
步骤102、根据所述预设眼部区域通过预设第一方式获取待定级图像块。
待定级图像块可以是包括预设眼部区域的图像块，还可以是包括根据预设眼部区域切分出的眼部子区域的图像块。根据待定级图像块的形式不同，获取待定级图像块的预设第一方式可以有所不同。
步骤103、将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
分级模型是预先训练好的。训练分级模型时，首先获取输入图像样本。输入图像样本是对眼部染色图像样本的预设眼部区域按照预设第一方式获取的图像块。然后，对图像块进行定级标注可以得到对应的定级标注样本，可以根据定级标注样本设置图像块对应的输出标签。即将输出标签设置为标注好的级别。以上述输入图像样本作为输入，以定级标注结果作为输出标签进行机器学习训练，从而得到分级模型。
本步骤中，将待定级图像块输入到预先训练好的分级模型中，根据分级模型输出多个等级的预测概率，根据多个等级的预测概率输出待定级图像块的定级结果。具体输出多少个等级的预测概率，以及哪些等级的预测概率可以是预先设定好的。根据多个等级的预测概率输出待定级图像块的定级结果，比如，将概率最大的等级作为待定级图像块的染色定级结果。
本发明提供的眼部染色图像定级方法，通过基于眼部染色图像分割出预设眼部区域，根据预设眼部区域通过预设第一方式获取待定级图像块，根据分级模型输出待定级图像块的定级结果，实现了使用分级模型对基于预设眼部区域的眼部染色图像获取的待定级图像块进行智能定级，可以辅助医生对预设眼部区域的染色情况进行快速、准确的识别。
根据本发明提供的一种眼部染色图像定级方法，所述根据所述预设眼部区域通过预设第一方式获取待定级图像块，具体包括：获取所述预设眼部区域的外接矩形所围成的图像块，并将所述图像块中不属于所述预设眼部区域的像素值置为0，得到所述待定级图像块；或，将所述预设眼部区域切分成多个眼部子区域，获取每个所述眼部子区域的外接矩形所围成的图像块，并将所述图像块中不属于所述眼部子区域的像素值置为0，得到多个所述待定级图像块。
可以直接根据预设眼部区域获取图像块进行定级，也可以对预设眼部区域进行切分，切分为多个眼部子区域后，分别获取对应的图像块进行定级。可以理解的，训练时的图像块和实际定级时待定级图像块的获取过程应一致。
为减小待定级图像块中非当前预设眼部区域的面积，在直接根据预设眼部区域获取图像块进行定级时，待定级图像块的获取方式可以为：获取预设眼部区域的外接矩形所围成的图像块，并将图像块中不属于预设眼部区域的像素值置为0，得到待定级图像块。
为减小待定级图像块中非当前眼部子区域的面积，在对预设眼部区域进行切分，划分为多个眼部子区域后，分别获取对应的图像块进行定级时，待定级图像块的获取方式可以为：将预设眼部区域切分成多个眼部子区域，获取每个眼部子区域的外接矩形所围成的图像块，并将图像块中不属于眼部子区域的像素值置为0，得到多个待定级图像块。
本发明提供的眼部染色图像定级方法，通过获取外接矩形所围成的图像块作为待定级图像块，满足了对特定眼部区域进行定级的精准性。
根据本发明提供的一种眼部染色图像定级方法，所述预设眼部区域为眼表区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：获取包括眼表区域的染色图像，将所述包括眼表区域的染色图像输入到眼表区域分割模型，根据所述眼表区域分割模型输出眼表区域概率图，根据所述眼表区域概率图获取眼表区域边界，根据所述眼表区域边界获取所述预设眼部区域。
预设眼部区域为眼表区域，相应地，眼部染色图像是包括眼表区域的图像。
眼表区域分割模型是预先训练好的。眼表区域分割模型是以包括眼表区域的眼部染色图像样本作为输入，以眼部染色图像样本中每个像素点是否属于眼表区域的标注结果作为输出标签，进行机器学习训练得到的。对眼部染色图像样本进行眼表区域标注即在眼部染色图像样本上标注出眼表区域的边界。通过在眼部染色图像样本进行眼表区域标注得到眼表区域标注样本。可以根据眼表区域标注样本设置眼部染色图像样本中对应每个像素点的输出标签。基于眼表区域标注样本，将眼部染色图像样本中属于眼表区域的像素点的输出标签设置为1，将不属于眼表区域的像素点的输出标签设置为0。
本步骤中，将包括眼表区域的眼部染色图像输入到训练好的眼表区域分割模型，根据眼表区域分割模型输出眼表区域概率图。眼表区域概率图中对应每个像素点输出的概率值是0～1，表示了每个像素点属于眼表区域的概率。可以通过对眼表区域概率图进行进一步图像处理得到眼表区域边界。比如，可以根据设定的阈值基于眼表区域概率图得到眼表区域分割图，然后可以通过多像素转单像素、平滑性处理、连续性处理等进一步获取用于后续步骤处理的眼表区域边界。
本发明提供的眼部染色图像定级方法，通过获取包括眼表区域的染色图像，将包括眼表区域的染色图像输入到眼表区域分割模型，根据眼表区域分割模型输出眼表区域概率图，根据眼表区域概率图获取眼表区域边界，根据眼表区域边界获取预设眼部区域，实现了预设眼部区域为眼表区域时的预设眼部区域的分割。
根据本发明提供的一种眼部染色图像定级方法，所述将所述预设眼部区域切分成多个眼部子区域，具体包括：将所述包括眼表区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界，根据所述角膜区域边界获取角膜区域；基于所述眼表区域边界及所述角膜区域边界分割出结膜区域；采用预设角膜切分方式将所述角膜区域切分成多个角膜子区域，采用预设结膜切分方式对所述结膜区域切分成多个结膜子区域。
在预设眼部区域为眼表区域，将眼表区域切分成多个眼部子区域时，可以分别获取角膜区域和结膜区域，然后再分别对角膜区域和结膜区域进行切分。
角膜区域可以基于上述包括眼表区域的染色图像获取。将包括眼表区域的染色图像输入到角膜区域分割模型，根据角膜区域分割模型输出角膜区域概率图，根据角膜区域概率图获取角膜区域边界，根据角膜区域边界获取角膜区域。角膜区域分割模型是预先训练好的。角膜区域分割模型是以包括角膜区域的眼部染色图像样本作为输入，以眼部染色图像样本中每个像素点是否属于角膜区域的标注结果作为输出标签，进行机器学习训练得到的。对眼部染色图像样本进行角膜区域标注即在眼部染色图像样本上标注出角膜区域的边界。通过在眼部染色图像样本进行角膜区域标注得到角膜区域标注样本。可以根据角膜区域标注样本设置眼部染色图像样本中对应每个像素点的输出标签。基于角膜区域标注样本，将眼部染色图像样本中属于角膜区域的像素点的输出标签设置为1，将不属于角膜区域的像素点的输出标签设置为0。
将包括角膜区域的眼部染色图像输入到训练好的角膜区域分割模型，根据角膜区域分割模型输出角膜区域概率图。角膜区域概率图中对应每个像素点输出的概率值是0～1，表示了每个像素点属于角膜区域的概率。可以通过对角膜区域概率图进行进一步图像处理得到角膜区域边界。由角膜区域边界构成角膜区域。
基于眼表区域边界及角膜区域边界分割出结膜区域。由眼表区域边界得到眼表区域，由角膜区域边界得到角膜区域。而眼表区域由中间的角膜区域和外围的结膜区域构成。因此，由眼表区域减去角膜区域可以得到结膜区域。
可以理解的，也可以采用类似的方法构建结膜区域分割模型，根据包含眼表区域的染色图像得到结膜区域，然后由眼表区域减去结膜区域得到角膜区域。但是由于角膜区域的形状较为规范，近似椭圆形，边界获取较为准确，因此，首先获取角膜区域，再由眼表区域减去角膜区域获取结膜区域，会使得区域分割结果更为准确。
根据实际需求，角膜区域和结膜区域可能具有不同的切分子区域的标准，在得到角膜区域和结膜区域后，可以对角膜区域和结膜区域分别采用不同的方式进行子区域的切分。比如，采用预设角膜切分方式将角膜区域切分成多个角膜子区域，采用预设结膜切分方式对结膜区域切分成多个结膜子区域。预设角膜切分方式比如可以采用NEI五分法进行角膜区域的切分。预设结膜切分方式比如可以将结膜区域切分成鼻侧、颞侧两个区域。
本发明提供的眼部染色图像定级方法，通过根据角膜区域分割模型获取角膜区域边界，基于眼表区域边界及角膜区域边界分割出结膜区域，分别对角膜区域和结膜区域进行子区域切分，从而将预设眼部区域切分成多个眼部子区域，满足了眼表子区域切分的需求。
根据本发明提供的一种眼部染色图像定级方法，所述预设眼部区域为角膜区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：获取包括角膜区域的染色图像，将所述包括角膜区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界，根据所述角膜区域边界获取所述预设眼部区域。
预设眼部区域为角膜区域，相应地，眼部染色图像是包括角膜区域的图像。
角膜区域分割模型是预先训练好的。角膜区域分割模型是以包括角膜区域的眼部染色图像样本作为输入，以眼部染色图像样本中每个像素点是否属于角膜区域的标注结果作为输出标签，进行机器学习训练得到的。对眼部染色图像样本进行角膜区域标注即在眼部染色图像样本上标注出角膜区域的边界。通过在眼部染色图像样本进行角膜区域标注得到角膜区域标注样本。可以根据角膜区域标注样本设置眼部染色图像样本中对应每个像素点的输出标签。基于角膜区域标注样本，将眼部染色图像样本中属于角膜区域的像素点的输出标签设置为1，将不属于角膜区域的像素点的输出标签设置为0。
本步骤中，将包括角膜区域的眼部染色图像输入到训练好的角膜区域分割模型，根据角膜区域分割模型输出角膜区域概率图。角膜区域概率图中对应每个像素点输出的概率值是0～1，表示了每个像素点属于角膜区域的概率。可以通过对角膜区域概率图进行进一步图像处理得到角膜区域边界。比如，可以根据角膜区域概率图获取外椭圆模型，利用外椭圆模型描述角膜区域边界。根据角膜区域概率图获取外椭圆模型时，可以通过对角膜区域概率图进行二值化处理得到角膜区域分割图，对角膜区域分割图进行轮廓提取和椭圆拟合，得到外椭圆模型。
本发明提供的眼部染色图像定级方法，通过获取包括角膜区域的染色图像，将包括角膜区域的染色图像输入到角膜区域分割模型，根据角膜区域分割模型输出角膜区域概率图，根据角膜区域概率图获取角膜区域边界，根据角膜区域边界获取预设眼部区域，实现了预设眼部区域为角膜区域时的预设眼部区域的分割。
根据本发明提供的一种眼部染色图像定级方法，所述预设眼部区域为结膜区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：获取包括眼表区域的染色图像，将所述包括眼表区域的染色图像输入到眼表区域分割模型，根据所述眼表区域分割模型输出眼表区域概率图，根据所述眼表区域概率图获取眼表区域边界；将所述包括眼表区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界；基于所述眼表区域边界及所述角膜区域边界分割出结膜区域，根据所述结膜区域得到所述预设眼部区域。
在预设眼部区域是结膜区域时，可以通过获取包括眼表区域的染色图像，将包括眼表区域的染色图像输入到眼表区域分割模型，根据眼表区域分割模型获取眼表区域边界。将包括眼表区域的染色图像输入到角膜区域分割模型，根据角膜区域分割模型获取角膜区域边界。其中，利用眼表区域分割模型获取眼表区域边界和利用角膜区域分割模型获取角膜区域边界的方法和上述实施例中的方法相同，此处不再赘述。
在分别得到眼表区域边界和角膜区域边界后，基于眼表区域边界及角膜区域边界分割出结膜区域(处于眼表区域边界内部并且处于角膜区域边界外部的区域即结膜区域)，由此得到预设眼部区域。
本发明提供的眼部染色图像定级方法，通过在预设眼部区域为结膜区域时，首先基于眼表区域分割模型获取眼表区域边界，然后基于角膜区域分割模型获取角膜区域边界，基于眼表区域边界及角膜区域边界分割出结膜区域，实现了预设眼部区域为结膜区域时预设眼部区域的分割。
根据本发明提供的一种眼部染色图像定级方法，所述将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，具体包括：将所述待定级图像块输入到骨架网络块，根据所述骨架网络块输出第一特征图；将所述第一特征图输入到注意力块，输出加权后的第二特征图；将所述第二特征图输入到全连接层进行级别分类，输出特征向量；将所述特征向量输入softmax层，经过softmax激活后，输出所述待定级图像块在所述多个等级上的概率分布。
眼表区域分割模型和角膜区域分割模型包括编码器和解码器。其中，编码器利用骨架网络块提取图像特征，输出下采样的特征图。解码器包括反卷积层、卷积层和softmax层，反卷积层通过逐层上采样的方式对解码器输出的特征图进行特征提取，输出上采样的特征图。解码器的最后通过一个卷积层用于对反卷积层输出的特征图进行维度变换，根据类别数量输出维度数等于类别数量的特征图。Softmax层用于对输入的特征图上每个像素位置的特征向量进行归一化处理，得到每个像素位置的各个类别的概率。解码器可以采用U-Net的跳跃连接结构，在上采样过程中，将反卷积层输出的特征图与编码过程中对应大小的特征图进行拼接，拼接后的特征图可以通过多个卷积层，实现浅层特征和深层特征的融合。
分级模型依次利用骨架网络块和注意力块提取图像特征。首先，利用骨架网络块对输入的待定级图像进行特征提取，输出特征图。然后注意力块通过卷积操作自适应学习一个权重图，与输入特征图相乘进行加权，得到加权后的特征图。注意力块后面接一个全连接层进行级别分类，其中全连接层神经元的个数是等级个数，对全连接层的输出进行softmax激活后，得到输入图像在多个等级上的概率分布。
骨架网络块可以使用各种现有的卷积神经网络的骨架网络，包括但不限于使用VGG、ResNet、DenseNet等。眼表区域分割模型、角膜区域分割模型和分级模型的骨架网络块可以相同或不同。
本发明提供的眼部染色图像定级方法，通过利用包括骨架网络块、注意力块、全连接层和softmax层的分级模型输出待定级图像块在多个等级上的概率分布，保障了分级模型的功能实现。
下面以预设眼部区域为角膜区域、染色方法为荧光素染色，来具体说明角膜荧光素染色定级方法的流程。
1、样本库构建。
采集到所有角膜荧光素染色图像之后，需要一个专业医生先根据图像质量进行筛选，丢弃那些清晰度差、无法准确区分角膜缘的图像。然后若干个专业医生依据NEI分级标准进行图像标注，标注内容包括角膜区域选取和角膜五区域定级。
图2是NEI分级标准中的角膜五分法模板图，角膜五分法模板图划分为R1、R2、R3、R4、R5五个区域。所述NEI分级标准，需要一个角膜五分法模板将角膜分成五个部分。角膜五分法模板如图2所示，当外圆是一个正圆时，内圆是外圆比例缩小1/3的同圆心的正圆，两条分界线是45度外圆直径被内圆截断后的线段，另外两条分界线是135度外圆直径被内圆截断后的线段，这个模板可以通过等比例缩放来描述角膜区域。
标注时，先人工选取角膜区域，标注工具支持直接拖动和缩放角膜五分法模板(如图2所示)，来匹配角膜区域；标注完选区之后，分别对角膜五部分区域定级，每张图像由两个医生定级，如果定级结果不一致，则需要第三个医生进行评判和重新标注。NEI分级标准中，给角膜五部分区域分别进行打分，分数级别从0(角膜没有受损)到3(角膜受损严重)，共四个级别，打分依据点状染色的数量、大小、融合情况来决定。
标注完成之后，构建了包含角膜区域标注和定级标注的角膜荧光素染色图像样本库。按照预设比例将图像数据随机分成训练数据集和验证数据集，用于训练和验证模型，其中，角膜区域标注结果用于训练角膜区域分割模型，各区域定级结果用于训练分级模型。
2、角膜荧光素染色图像获取。
获取待识别的角膜荧光素染色图像。采集设备是裂隙灯显微镜和照相机的组合，采集过程是在裂隙灯的钴蓝光下对患者荧光素染色后的眼表进行拍照，拍照时需要包含整个角膜区域。由于影响图像中荧光染色情况的客观因素很多，比如荧光素浓度、着色完等待时间、照相机参数设置等，因此采集时需要对可能造成影响的因素标准化。
3、角膜区域检测。
在拍照图像中，角膜是一个类似椭圆的区域，因此该步骤自动将角膜区域表示成一个椭圆模型。具体流程是，首先将待识别的角膜荧光素染色图像输入到已经训练好的角膜区域分割模型中，输出是图像中的角膜区域概率图，直接全局阈值二值化获得角膜区域分割图，是一个类椭圆的轮廓。然后对角膜区域分割图进行轮廓提取和椭圆拟合，获得一个椭圆模型(外椭圆模型)，记录外椭圆模型的长轴、短轴、中心坐标。
角膜区域分割模型：角膜区域分割模型是一个全卷积神经网络，可以接受任意尺寸的输入图像。该网络是一个编码-解码过程，编码过程通过骨架网络提取图像视觉特征，解码过程采用反卷积层逐层上采样的方式得到角膜区域概率图，概率图中对应每个像素点的概率值范围是0～1，表示了每个像素点属于角膜区域的概率。
4、角膜的图像块切分。
参考NEI分级标准的角膜五分法模板，利用求得的外椭圆模型，可以计算得到内椭圆模型和四条分界线模型，外椭圆、内椭圆和四条分界线将整个角膜区域分成上、下、左、右及中间五个部分。接着将这五个部分各自的外接矩形所围成的图像块分别裁剪下来，并且将每个图像块中不属于当前特定角膜部分的像素值置为0，分级模块就是分别对这五个图像块进行染色情况定级。
5、荧光染色定级。
首先将一个待定级的角膜图像块缩放到固定尺度，输入已经训练好的分级模型中，输出是四个等级的概率分布，其中概率最大的等级就是该图像块的定级结果。角膜的五个图像块都需要通过分级模型得到定级结果。
分级模型：分级模型依次利用骨架网络块和注意力块提取特征，后面接一个全连接层进行级别分类，其中全连接层神经元的个数是等级个数，对全连接层的输出进行softmax激活后，得到输入图像在四个等级上的概率分布。骨架网络块可以使用各种现有的卷积神经网络的骨架网络，包括但不限于使用VGG、ResNet、DenseNet等；注意力块通过卷积操作自适应学习一个权重图，与输入特征图相乘进行加权，帮助模型更关注于受损区域相关的特征向量。训练模型时，将模型输出的概率分布和真实等级标签进行比对，计算加权交叉熵损失值。由于不同的染色等级之间不是独立的类别，比如真实等级标签为3(角膜受损严重)的图像被预测为0(角膜没有受损)和被预测为2(角膜受损较为严重)这两种情况，对于反映角膜情况是不同的，因此采用加权的交叉熵损失函数，权重表示为预测等级结果和真实等级标签之间的差值，实际计算时会对四个等级损失值的权重进行归一化。
6、定级结果展示。
在待识别的角膜荧光染色图像上绘制外椭圆、内椭圆和四条分界线，可以得到角膜五分法可视化图像。将角膜五分法可视化图像、角膜五个图像块的定级结果对应呈现出来，给医生直观的展示效果。下面对本发明提供的眼部染色图像定级装置进行描述，下文描述的眼部染色图像定级装置与上文描述的眼部染色图像定级方法可相互对应参照。
图3是本发明提供的眼部染色图像定级装置的结构示意图。如图3所示，所述装置包括预设眼部区域获取模块10、待定级图像块获取模块20及染色定级模块30，其中：预设眼部区域获取模块10用于：获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域；待定级图像块获取模块20用于：根据所述预设眼部区域通过预设第一方式获取待定级图像块；染色定级模块30用于：将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
本发明提供的眼部染色图像定级装置，通过基于眼部染色图像分割出预设眼部区域，根据预设眼部区域通过预设第一方式获取待定级图像块，根据分级模型输出待定级图像块的定级结果，实现了使用分级模型对基于预设眼部区域的眼部染色图像获取的待定级图像块进行智能定级，可以辅助医生对预设眼部区域的染色情况进行快速、准确的识别。
根据本发明提供的一种眼部染色图像定级装置，待定级图像块获取模块20具体用于：获取所述预设眼部区域的外接矩形所围成的图像块，并将所述图像块中不属于所述预设眼部区域的像素值置为0，得到所述待定级图像块；或，将所述预设眼部区域切分成多个眼部子区域，获取每个所述眼部子区域的外接矩形所围成的图像块，并将所述图像块中不属于所述眼部子区域的像素值置为0，得到多个所述待定级图像块。
本发明提供的眼部染色图像定级装置，通过获取外接矩形所围成的图像块作为待定级图像块，满足了对特定眼部区域进行定级的精准性。
根据本发明提供的一种眼部染色图像定级装置，所述预设眼部区域为眼表区域；预设眼部区域获取模块10具体用于：获取包括眼表区域的染色图像，将所述包括眼表区域的染色图像输入到眼表区域分割模型，根据所述眼表区域分割模型输出眼表区域概率图，根据所述眼表区域概率图获取眼表区域边界，根据所述眼表区域边界获取所述预设眼部区域。
本发明提供的眼部染色图像定级装置，通过获取包括眼表区域的染色图像，将包括眼表区域的染色图像输入到眼表区域分割模型，根据眼表区域分割模型输出眼表区域概率图，根据眼表区域概率图获取眼表区域边界，根据眼表区域边界获取预设眼部区域，实现了预设眼部区域为眼表区域时的预设眼部区域的分割。
根据本发明提供的一种眼部染色图像定级装置，待定级图像块获取模块20在用于将所述预设眼部区域切分成多个眼部子区域时，具体用于：将所述包括眼表区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界，根据所述角膜区域边界获取角膜区域；基于所述眼表区域边界及所述角膜区域边界分割出结膜区域；采用预设角膜切分方式将所述角膜区域切分成多个角膜子区域，采用预设结膜切分方式对所述结膜区域切分成多个结膜子区域。
本发明提供的眼部染色图像定级装置，通过根据角膜区域分割模型获取角膜区域边界，基于眼表区域边界及角膜区域边界分割出结膜区域，分别对角膜区域和结膜区域进行子区域切分，从而将预设眼部区域切分成多个眼部子区域，满足了眼表子区域切分的需求。
根据本发明提供的一种眼部染色图像定级装置，所述预设眼部区域为角膜区域；预设眼部区域获取模块10具体用于：获取包括角膜区域的染色图像，将所述包括角膜区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界，根据所述角膜区域边界获取所述预设眼部区域。
本发明提供的眼部染色图像定级装置，通过获取包括角膜区域的染色图像，将包括角膜区域的染色图像输入到角膜区域分割模型，根据角膜区域分割模型输出角膜区域概率图，根据角膜区域概率图获取角膜区域边界，根据角膜区域边界获取预设眼部区域，实现了预设眼部区域为角膜区域时的预设眼部区域的分割。
根据本发明提供的一种眼部染色图像定级装置，所述预设眼部区域为结膜区域；预设眼部区域获取模块10具体用于：获取包括眼表区域的染色图像，将所述包括眼表区域的染色图像输入到眼表区域分割模型，根据所述眼表区域分割模型输出眼表区域概率图，根据所述眼表区域概率图获取眼表区域边界；将所述包括眼表区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界；基于所述眼表区域边界及所述角膜区域边界分割出结膜区域，根据所述结膜区域得到所述预设眼部区域。
本发明提供的眼部染色图像定级装置，通过在预设眼部区域为结膜区域时，首先基于眼表区域分割模型获取眼表区域边界，然后基于角膜区域分割模型获取角膜区域边界，基于眼表区域边界及角膜区域边界分割出结膜区域，实现了预设眼部区域为结膜区域时预设眼部区域的分割。
根据本发明提供的一种眼部染色图像定级装置，染色定级模块30在用于将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率时，具体用于：将所述待定级图像块输入到骨架网络块，根据所述骨架网络块输出第一特征图；将所述第一特征图输入到注意力块，输出加权后的第二特征图；将所述第二特征图输入到全连接层进行级别分类，输出特征向量；将所述特征向量输入softmax层，经过softmax激活后，输出所述待定级图像块在所述多个等级上的概率分布。
本发明提供的眼部染色图像定级装置，通过利用包括骨架网络块、注意力块、全连接层和softmax层的分级模型输出待定级图像块在多个等级上的概率分布，保障了分级模型的功能实现。
图4是本发明提供的电子设备的结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(Communications Interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行眼部染色图像定级方法，该方法包括：获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域；根据所述预设眼部区域通过预设第一方式获取待定级图像块；将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的眼部染色图像定级方法，该方法包括：获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域；根据所述预设眼部区域通过预设第一方式获取待定级图像块；将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的眼部染色图像定级方法，该方法包括：获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域；根据所述预设眼部区域通过预设第一方式获取待定级图像块；将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种眼部染色图像定级方法，其特征在于，包括：
获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域；
根据所述预设眼部区域通过预设第一方式获取待定级图像块；
将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
2.根据权利要求1所述的眼部染色图像定级方法，其特征在于，所述根据所述预设眼部区域通过预设第一方式获取待定级图像块，具体包括：
获取所述预设眼部区域的外接矩形所围成的图像块，并将所述图像块中不属于所述预设眼部区域的像素值置为0，得到所述待定级图像块；
或，将所述预设眼部区域切分成多个眼部子区域，获取每个所述眼部子区域的外接矩形所围成的图像块，并将所述图像块中不属于所述眼部子区域的像素值置为0，得到多个所述待定级图像块。
3.根据权利要求2所述的眼部染色图像定级方法，其特征在于，所述预设眼部区域为眼表区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：
获取包括眼表区域的染色图像，将所述包括眼表区域的染色图像输入到眼表区域分割模型，根据所述眼表区域分割模型输出眼表区域概率图，根据所述眼表区域概率图获取眼表区域边界，根据所述眼表区域边界获取所述预设眼部区域。
4.根据权利要求3所述的眼部染色图像定级方法，其特征在于，所述将所述预设眼部区域切分成多个眼部子区域，具体包括：
将所述包括眼表区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界，根据所述角膜区域边界获取角膜区域；
基于所述眼表区域边界及所述角膜区域边界分割出结膜区域；
采用预设角膜切分方式将所述角膜区域切分成多个角膜子区域，采用预设结膜切分方式对所述结膜区域切分成多个结膜子区域。
5.根据权利要求1所述的眼部染色图像定级方法，其特征在于，所述预设眼部区域为角膜区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：
获取包括角膜区域的染色图像，将所述包括角膜区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界，根据所述角膜区域边界获取所述预设眼部区域。
6.根据权利要求1所述的眼部染色图像定级方法，其特征在于，所述预设眼部区域为结膜区域；所述获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域，具体包括：
获取包括眼表区域的染色图像，将所述包括眼表区域的染色图像输入到眼表区域分割模型，根据所述眼表区域分割模型输出眼表区域概率图，根据所述眼表区域概率图获取眼表区域边界；
将所述包括眼表区域的染色图像输入到角膜区域分割模型，根据所述角膜区域分割模型输出角膜区域概率图，根据所述角膜区域概率图获取角膜区域边界；
基于所述眼表区域边界及所述角膜区域边界分割出结膜区域，根据所述结膜区域得到所述预设眼部区域。
7.根据权利要求1所述的眼部染色图像定级方法，其特征在于，所述将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，具体包括：
将所述待定级图像块输入到骨架网络块，根据所述骨架网络块输出第一特征图；将所述第一特征图输入到注意力块，输出加权后的第二特征图；将所述第二特征图输入到全连接层进行级别分类，输出特征向量；将所述特征向量输入softmax层，经过softmax激活后，输出所述待定级图像块在所述多个等级上的概率分布。
8.一种眼部染色图像定级装置，其特征在于，包括：
预设眼部区域获取模块，用于：获取眼部染色图像，基于所述眼部染色图像分割出预设眼部区域；
待定级图像块获取模块，用于：根据所述预设眼部区域通过预设第一方式获取待定级图像块；
染色定级模块，用于：将所述待定级图像块输入到分级模型中，根据所述分级模型输出多个等级的预测概率，根据所述多个等级的预测概率输出所述待定级图像块的定级结果；其中，所述分级模型是以对眼部染色图像样本分割出的所述预设眼部区域按照所述预设第一方式获取的图像块作为输入、以对所述图像块进行定级标注后得到的定级标注结果作为输出标签，进行机器学习训练得到的。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述眼部染色图像定级方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述眼部染色图像定级方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773696.1A CN113570556A (zh) | 2021-07-08 | 2021-07-08 | 眼部染色图像定级方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110773696.1A CN113570556A (zh) | 2021-07-08 | 2021-07-08 | 眼部染色图像定级方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113570556A true CN113570556A (zh) | 2021-10-29 |
Family
ID=78164177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110773696.1A Pending CN113570556A (zh) | 2021-07-08 | 2021-07-08 | 眼部染色图像定级方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113570556A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681707A (zh) * | 2023-08-04 | 2023-09-01 | 北京同仁医学科技有限责任公司 | 一种角膜荧光素染色图像识别分级方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011062381A (ja) * | 2009-09-18 | 2011-03-31 | Yamaguchi Univ | 角膜又は結膜における点状染色状態の評価方法 |
| US20170055822A1 (en) * | 2014-05-02 | 2017-03-02 | Massachusetts Eye & Ear Infirmary | Grading Corneal Fluorescein Staining |
| CN108961296A (zh) * | 2018-07-25 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 眼底图像分割方法、装置、存储介质和计算机设备 |
| CN109344808A (zh) * | 2018-07-24 | 2019-02-15 | 中山大学中山眼科中心 | 一种基于深度学习的眼部图像处理系统 |
| CN110889826A (zh) * | 2019-10-30 | 2020-03-17 | 平安科技（深圳）有限公司 | 眼部oct图像病灶区域的分割方法、装置及终端设备 |
| US20210042912A1 (en) * | 2018-04-26 | 2021-02-11 | Shanghai Eaglevision Medical Technology Co., Ltd. | Method, Apparatus and System for Detecting Fundus Image Based on Machine Learning |
-
2021
- 2021-07-08 CN CN202110773696.1A patent/CN113570556A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011062381A (ja) * | 2009-09-18 | 2011-03-31 | Yamaguchi Univ | 角膜又は結膜における点状染色状態の評価方法 |
| US20170055822A1 (en) * | 2014-05-02 | 2017-03-02 | Massachusetts Eye & Ear Infirmary | Grading Corneal Fluorescein Staining |
| US20210042912A1 (en) * | 2018-04-26 | 2021-02-11 | Shanghai Eaglevision Medical Technology Co., Ltd. | Method, Apparatus and System for Detecting Fundus Image Based on Machine Learning |
| CN109344808A (zh) * | 2018-07-24 | 2019-02-15 | 中山大学中山眼科中心 | 一种基于深度学习的眼部图像处理系统 |
| CN108961296A (zh) * | 2018-07-25 | 2018-12-07 | 腾讯科技（深圳）有限公司 | 眼底图像分割方法、装置、存储介质和计算机设备 |
| CN110889826A (zh) * | 2019-10-30 | 2020-03-17 | 平安科技（深圳）有限公司 | 眼部oct图像病灶区域的分割方法、装置及终端设备 |
Non-Patent Citations (2)
| Title |
|---|
| TAI-YUAN SU等: "《Superficial Punctate Keratitis Grading for Dry Eye Screening Using Deep Convolutional Neural Network》", 《IEEE SENSORS JOURNAL》, vol. 20, no. 3 * |
| YANKUI SUN等: "《Automatic diagnosis of macular disease from OCT volume based on its two-dimensional feature map and convolutional neural network with attention mechanism》", 《JOURNAL OF BIOMEDICAL OPTICS》, vol. 25, no. 9, pages 2 - 3 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116681707A (zh) * | 2023-08-04 | 2023-09-01 | 北京同仁医学科技有限责任公司 | 一种角膜荧光素染色图像识别分级方法 |
| CN116681707B (zh) * | 2023-08-04 | 2023-10-20 | 北京同仁医学科技有限责任公司 | 一种角膜荧光素染色图像识别分级方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109389129B (zh) | 一种图像处理方法、电子设备及存储介质 | |
| EP3343440A1 (en) | Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring | |
| KR20200004841A (ko) | 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법 | |
| JP2019095212A (ja) | 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム | |
| CN111488921A (zh) | 一种全景数字病理图像智能分析系统及方法 | |
| US11538261B2 (en) | Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy | |
| CN113592783B (zh) | 角膜共聚焦图像中细胞基础指标的精准量化方法及装置 | |
| CN110838094B (zh) | 病理切片染色风格转换方法和电子设备 | |
| CN110517273B (zh) | 基于动态梯度阈值的细胞学图像分割方法 | |
| CN111476794B (zh) | 一种基于unet的宫颈病理组织分割方法 | |
| CN113470041B (zh) | 免疫组化细胞图像细胞核分割与计数方法和系统 | |
| CN112215217B (zh) | 模拟医师阅片的数字图像识别方法及装置 | |
| CA3117959A1 (en) | Segmenting 3d intracellular structures in microscopy images using an iterative deep learning workflow that incorporates human contributions | |
| CN111860369A (zh) | 一种欺诈识别方法、装置以及存储介质 | |
| CN115546605A (zh) | 一种基于图像标注和分割模型的训练方法及装置 | |
| CN113763371A (zh) | 病理图像的细胞核分割方法及装置 | |
| CN113570556A (zh) | 眼部染色图像定级方法及装置 | |
| CN117237371A (zh) | 基于实例感知扩散模型的结肠组织学图像腺体分割方法 | |
| CN114612669B (zh) | 一种医学图像炎症坏死占比的计算方法及装置 | |
| CN112233123A (zh) | 病理图片中肿瘤间质分类方法、装置、计算机设备及存储介质 | |
| CN111951271A (zh) | 一种识别病理图像中癌细胞的方法及装置 | |
| CN113591601B (zh) | 角膜共聚焦图像中菌丝识别方法及装置 | |
| CN115578362A (zh) | 电极涂层的缺陷检测方法、装置、电子设备及介质 | |
| CN112801238B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
| CN115661894A (zh) | 一种人脸图像质量过滤方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |