CN115690092B - 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置 - Google Patents
角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置 Download PDFInfo
- Publication number
- CN115690092B CN115690092B CN202211567875.0A CN202211567875A CN115690092B CN 115690092 B CN115690092 B CN 115690092B CN 202211567875 A CN202211567875 A CN 202211567875A CN 115690092 B CN115690092 B CN 115690092B
- Authority
- CN
- China
- Prior art keywords
- amoeba
- cysts
- confocal
- confocal image
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000031513 cyst Diseases 0.000 title claims abstract description 304
- 241000224489 Amoeba Species 0.000 title claims abstract description 255
- 238000000034 method Methods 0.000 title claims abstract description 68
- 206010011732 Cyst Diseases 0.000 claims abstract description 82
- 238000002372 labelling Methods 0.000 claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 52
- 230000011218 segmentation Effects 0.000 claims abstract description 51
- 210000004969 inflammatory cell Anatomy 0.000 claims abstract description 48
- 238000012216 screening Methods 0.000 claims abstract description 26
- 238000010276 construction Methods 0.000 claims abstract description 4
- 239000002775 capsule Substances 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 28
- 210000003128 head Anatomy 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 210000004087 cornea Anatomy 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012360 testing method Methods 0.000 claims description 10
- 238000012795 verification Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000004624 confocal microscopy Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000001629 suppression Effects 0.000 claims description 4
- 230000000873 masking effect Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 abstract description 6
- 238000001727 in vivo Methods 0.000 description 10
- 238000001000 micrograph Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005538 encapsulation Methods 0.000 description 2
- 241000224422 Acanthamoeba Species 0.000 description 1
- 208000010362 Protozoan Infections Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置，其方法包括：获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度。通过构建联合模型，有效地区分了图像中容易混淆的阿米巴包囊和炎性细胞，使用训练好的联合模型对待识别图像进行推理，精准地完成了对阿米巴包囊的自动计算个数和密度，节省了医生的时间，帮助医生进行快速准确的诊断。
Description
技术领域
本发明涉及数据处理技术领域，特别涉及一种角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置。
背景技术
目前，活体共聚焦显微镜图像中阿米巴包囊的出现是判断棘阿米巴原虫感染的重要依据，对阿米巴包囊进行计数可以判断患者的感染程度，使患者得到及时有效的治疗。目前实际场景下，主要依靠专业能力强、有经验的眼科医生进行辨认是否存在阿米巴包囊，然后手工计数，这有以下几个难点：1.对医生的专业性要求高；2.在共聚焦图像中，阿米巴包囊与炎性细胞的形态很相似，经验不足的医生容易区分不清，造成误诊；3.在共聚焦图像中手工计数费时费力，容易造成漏诊。
因此，本发明提出一种角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置。
发明内容
本发明提供一种角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置，用以解决上述提出的技术问题。
本发明提供一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，包括：
获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；
构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；
基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，获取待识别的共聚焦图像集，包括：
基于显示器确定患者在进行活体共聚焦显微镜检查时，阿米巴包囊出现的角膜深度以及位置信息，其中，所述角膜深度以及位置信息不唯一；
基于预设拍照装置对所述角膜深度以及位置信息的阿米巴包囊进行图像拍照，得到待识别的共聚焦图像集。
根据本发明提供的一种活体共聚焦显微镜图像中阿米巴包囊识别与计数的方法，对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像，包括：
获取待识别的共聚焦图像集，并确定所述共聚焦图像集中每张共聚焦图像的图像质量，其中，所述共聚焦图像中包含阿米巴包囊和炎性细胞，且所述图像质量包括图像中需含有阿米巴包囊、图像清晰度需达到预设要求；
基于所述图像质量对所述待识别的共聚焦图像集进行筛选，得到初始包含阿米巴包囊的共聚焦图像；
基于预设标注方法对所述初始包含阿米巴包囊的共聚焦图像进行标注，得到最终包含阿米巴包囊的共聚焦图像，其中，所述标注包括对阿米巴包囊和炎性细胞进行类别、包围框、掩码三类标以及对阿米巴包囊单独进行计数点标注；
基于标注结果，将所述阿米巴包囊的共聚焦图像按照预设比例划分为训练集、验证集以及测试集。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，基于预设标注方法对所述初始包含阿米巴包囊的共聚焦图像进行标注，包括：
对所述阿米巴包囊和炎性细胞进行包围框标注，包括：
确定所述阿米巴包囊和炎性细胞在所述初始包含阿米巴包囊的共聚焦图像中的位置，并基于所述位置绘制矩形包围框进行标注；
对所述阿米巴包囊和炎性细胞进行类别标注，包括：
确定所述包围框的属性，并基于所述包围框的属性添加类别标签，其中，所述类别标签包括：阿米巴包囊和炎性细胞；
对所述阿米巴包囊和炎性细胞进行掩码标注，包括：
确定所述阿米巴包囊和炎性细胞的具体形态，并基于所述具体形态绘制边缘标注，完成掩码标注；
对阿米巴包囊单独进行计数点标注，包括：
确定所述阿米巴包囊的中心，并在所述阿米巴包囊的中心进行点标注，其中，所述阿米巴包囊至少为一个，且一个点对应一个阿米巴包囊。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，构建阿米巴包囊实例分割和密度图估计的联合模型，包括：
获取包含阿米巴包囊的共聚焦图像中阿米巴包囊和炎性细胞的每个实例的掩码，并基于所述掩码确定所述阿米巴包囊和炎性细胞的边缘信息；
基于所述边缘信息确定构建实例分割模型的架构属性，其中，所述架构属性包括一阶段和两阶段实例分割架构；
基于所述架构属性构建所述实例分割模型，其中，所述实例分割模型中包括多尺度特征提取模块、预测头分支、原型掩码分支，且所述多尺度特征提取模块包括骨架网络块以及多尺度特征增强块；
同时，构建密度图估计分支，并将所述密度图估计分支与所述实例分割模型相结合，得到阿米巴包囊实例分割和密度图估计的联合模型。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，基于预设模型权值对所述联合模型进行训练，包括：
获取所述联合模型的权值，其中，所述权值包括骨架网络块权值、多尺度特征增强块权值、预测头分支权值、原型掩码分支权值以及密度图估计分支权值；
基于预设训练权值对所述骨架网络块权值进行初始化，且对所述尺度特征增强块权值、预测头分支权值、原型掩码分支权值以及密度图估计分支权值进行随机初始化；
获取从包含阿米巴包囊的共聚焦图像中划分的训练集以及测试集，并将所述训练集输入初始化后的联合模型，前向得到所述训练集对应的处理结果，其中，所述处理结果包括训练集中每个实例的类别、位置、掩码以及包含阿米巴包囊的共聚焦图像对应的密度图；
确定所述处理结果与预设目标结果之间的损失函数，并基于所述损失函数反向对初始化后的联合模型的权值进行更新，且不断重复前向-反向的训练过程，直至达到预设训练周期数；
将所述验证集输入达到预设训练周期数的联合模型进行验证，得到目标处理结果；
将所述目标处理结果与预设目标结果进行比较，确定目标处理结果与预设目标结果之间损失值最小的联合模型为训练后的联合模型。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度，包括：
获取训练后的联合模型，并将包含阿米巴包囊的共聚焦图像输入至训练后的联合模型；
基于所述联合模型中的多尺度特征提取模块提取所述包含阿米巴包囊的共聚焦图像的多尺度特征图，并基于所述联合模型中的预测头分支以及后续的非极大值抑制（NMS）和类别概率阈值过滤，得到所述包含阿米巴包囊的共聚焦图像中实例的包围框、类别和掩码系数；
同时，基于所述联合模型中的原型掩码分支将所述多尺度特征图中的最大尺度特征图输入卷积层以及上采样层，得到原型掩码，并将判定为阿米巴包囊的每个实例的掩码系数以及原型掩码线性组合得到组合掩码；
基于预测包围框对所述组合掩码进行裁剪并二值化处理，得到每个实例对应的实例掩码，并基于所述实例掩码确定阿米巴包囊的初始数目；
基于所述联合模型中的密度图估计分支对所述多尺度特征图中的最大尺度特征图进行处理，得到阿米巴包囊的密度图，并将所述密度图中的局部最大点作为共聚焦图像所有阿米巴包囊中心点，且将中心点设置为1，其他点设置为0；
确定阿米巴包囊的每个实例对应的实例掩码的面积，并将所述实例掩码的面积与预设阈值进行比较；
若所述实例掩码的面积大于所述预设阈值，判定所述实例掩码对应的实例合并有多个阿米巴包囊，并统计所述实例掩码在所述密度图所在区域的阿米巴包囊中心点的个数，且将所述阿米巴包囊的初始数目与所述阿米巴包囊中心点的个数进行求和，得到所述包含阿米巴包囊的共聚焦图像中阿米巴包囊的实际个数；
否则，判定所述实例掩码对应的实例为单个阿米巴包囊，并将所述初始数目判定为包含阿米巴包囊的共聚焦图像中阿米巴包囊的实际个数；
同时，基于所述包含阿米巴包囊的共聚焦图像中单个像素对应的物理尺寸，确定所述包含阿米巴包囊的共聚焦图像的图像面积；
基于所述阿米巴包囊的实际个数以及共聚焦图像的图像面积得到所述共聚焦图像中阿米巴包囊的密度。
本发明还提供一种角膜共聚焦图像中阿米巴包囊的识别与计数装置，包括：
图像获取模块，用于获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；
模型构建模块，用于构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；
分析模块，用于基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度。
本发明还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现任一项所述的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法的步骤。
本方案提出了一种角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置，能自动对图像中的阿米巴包囊进行实例分割和密度图估计，实例分割的结果不仅预测出每个阿米巴包囊的掩码，同时有效地区分了阿米巴包囊和炎性细胞，然后结合密度图估计的结果，能够精准计算出阿米巴包囊的个数和密度，从而辅助医生进行快速准确的诊断。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种角膜共聚焦图像中阿米巴包囊的识别与计数方法的流程图；
图2为本发明实施例中一种角膜共聚焦图像中阿米巴包囊的识别与计数装置的结构图；
图3为本发明实施例中电子设备的实体结构示意图；
图4为本发明实施例中推理待识别图像并计算阿米巴包囊的个数和密度的流程图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1是本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法的流程图之一。如图1所示，所述方法包括：
步骤1：获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；
步骤2：构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；
步骤3：基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度。
首先通过显示器观察患者在做活体共聚焦显微镜检查时，阿米巴包囊可能出现的角膜深度，并在需要识别的角膜深度和位置拍照，得到待识别的共聚焦图像集。然后，对获取待的待识别的共聚焦图像集进行筛选，筛选出含有阿米巴包囊、医生判别无歧义、清晰度正常的图像，并对筛选出的图像中包含的阿米巴包囊以及炎性细胞进行标注。构建联合模型，在实例分割模型的基础上添加密度图估计分支，得到联合模型，并购通过预设参数对构建的联合模型进行训练，确保能够对包含阿米巴包囊的共聚焦图像中阿米巴包囊的个数以及密度进行分析。最后通过训练好的联合模型对包含阿米巴包囊的共聚焦图像进行分析，得到共聚焦图像阿米巴包囊的个数以及密度。
在对待识别的共聚焦图像集进行筛选时，首先一个专业眼科医生进行图像质量筛选，再由若干个经过阿米巴包囊识别培训，尤其是如何鉴别阿米巴包囊和炎性细胞的专业医生，对每个阿米巴包囊和炎性细胞进行类别、包围框、掩码三类标注，对每个阿米巴包囊单独进行计数点标注。
在对图像进行标注时，可采用标注工具，其中，标注工具可以选用任意一款能够完成上述标注的软件，如labelme。
阿米巴包囊实例分割和密度图估计联合模型是一个多任务模型，可以同时完成阿米巴包囊的实例分割任务和密度图估计任务。实例分割任务旨在预测阿米巴包囊和炎性细胞两类物体的每个实例的掩码，由于通过掩码可以得到边缘信息，这对于区分阿米巴包囊和炎性细胞有至关重要的作用；密度图估计任务旨在预测阿米巴包囊的大致位置分布，对于有遮挡、有粘连、密集分布、尺度较小的阿米巴包囊计数场景有较大作用。
预设模型权值是大规模图像数据集ImageNet上预训练好的权值。
由于共聚焦图像中阿米巴包囊经常尺度较小、成串成簇出现，因此阿米巴包囊经常粘连在一起，且目标物体较小，实例分割经常会漏检或误将多个阿米巴包囊合并成一个，仅仅采用实例分割结果进行计数不准确，因此利用联合模型推理，结果更加准确。
本发明提供的活体共聚焦显微镜图像中阿米巴包囊识别与计数的方法，能自动对图像中的阿米巴包囊进行实例分割和密度图估计，实例分割的结果不仅预测出每个阿米巴包囊的掩码，同时有效地区分了阿米巴包囊和炎性细胞，然后结合密度图估计的结果，能够精准计算出阿米巴包囊的个数和密度，从而辅助医生进行快速准确的诊断。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，获取待识别的共聚焦图像集，包括：
基于显示器确定患者在进行活体共聚焦显微镜检查时，阿米巴包囊出现的角膜深度以及位置信息，其中，所述角膜深度以及位置信息不唯一；
基于预设拍照装置对所述角膜深度以及位置信息的阿米巴包囊进行图像拍照，得到待识别的共聚焦图像集。
采集待识别的共聚焦图像集时，阿米巴包囊出现的角膜深度以及位置信息有多个，根据需要识别的角膜深度以及位置进行拍照。
预设拍照装置是具有拍照功能的照相机或其他具有图像采集的拍照工具。
本发明提供的活体共聚焦显微镜图像中阿米巴包囊识别与计数的方法，通过显示器显示患者在进行活体共聚焦显微镜检查时阿米巴包囊出现的角膜深度以及位置信息，便于实现对需要拍照的位置进行拍照，便于为分析阿米巴包囊的个数以及密度提供可靠的图像数据。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像，包括：
获取待识别的共聚焦图像集，并确定所述共聚焦图像集中每张共聚焦图像的图像质量，其中，所述共聚焦图像中包含阿米巴包囊和炎性细胞，且所述图像质量包括图像中需含有阿米巴包囊、图像清晰度需达到预设要求；
基于所述图像质量对所述待识别的共聚焦图像集进行筛选，得到初始包含阿米巴包囊的共聚焦图像；
基于预设标注方法对所述初始包含阿米巴包囊的共聚焦图像进行标注，得到最终包含阿米巴包囊的共聚焦图像，其中，所述标注包括对阿米巴包囊和炎性细胞进行类别、包围框、掩码三类标以及对阿米巴包囊单独进行计数点标注；
基于标注结果，将所述阿米巴包囊的共聚焦图像按照预设比例划分为训练集、验证集以及测试集。
在对共聚焦图像集进行筛选时，需要依据筛选要求进行筛选，其中筛选要求包括对图像的质量要求，当图像满足含有阿米巴包囊、医生判别无歧义、清晰度正常，则满足筛选要求。
初始包含阿米巴包囊的共聚焦图像指的是只对待识别的共聚焦图像集根据图像质量进行筛选后得到的共聚焦图像，并没有对图像中的阿米巴包囊以及炎性细胞进行标注。
大部分情况下阿米巴包囊很圆，而炎性细胞形态不规则。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，对所述待识别的共聚焦图像集进行筛选及标注，包括：
获取对所述共聚焦图像集进行筛选的任务目标信息，其中，所述任务目标信息包括任务目标的目标类型、目标属性；
获取待识别的共聚焦图像集，并确定所述待识别的共聚焦图像集中每一张待识别共聚焦图像的全局特征；
基于所述全局特征确定所述每一张待识别共聚焦图像的目标检测框，并确定所述目标检测框与预设抓拍区域的重合区域；
确定所述重合区域中目标图像内容以及重合区域的像素值，并提取所述目标图像内容信息，其中，所述目标图像内容信息包括图像内容种类以及图像内容对应的属性；
基于所述筛选的任务目标信息以及目标图像内容信息对所述待识别共聚焦图像进行第一筛选，得到第一筛选共聚焦图像集；
基于所述重合区域中目标图像内容确定所述重合区域的权重系数，同时确定所述重合区域的像素值，并基于所述权重系数以及像素值对每一张待识别共聚焦图像进行图像质量评分；
基于评分结果对所述待识别的共聚焦图像集进行第二筛选，确定图像质量评分最高的待识别的共聚焦图像为目标识别共聚焦图像；
基于所述目标识别共聚焦图像确定N个识别框，并分别确定所述N个识别框中的第一特征信息，同时，针对每个识别框，将该识别框中的第一特征信息与其他识别框中的第一特征信息进行特征融合，得到第二特征信息；
基于所述第二特征信息分别对所述N个识别框进行边界调整以及二元分类，并基于二元分类从所述N个识别框中确定目标感兴趣识别框，其中，所述目标感兴趣识别框至少为一个；
同时，基于所述第二特征信息确定所述目标感兴趣识别框中包含的待标注对象，并提取所述待标注对象的目标特征；
基于所述目标特征确定所述待标注对象的属性信息，并基于所述属性信息确定对所述待标注对象的标注规则；
基于所述标注规则确定所述待标注对象所在图像区域的描述信息，并基于所述描述信息确定对所述待标注对象的标注点，同时，接收管理终端发送的自动标注指示；
基于所述自动标注指示，根据所述标注规则在所述标注点对所述待标注对象进行标注。
上述在确定筛选的任务目标信息时，需要明确筛选的要求，其中，任务的目标类型、目标属性以及目标属性值分别代表图像中需要包含的对象、对象的种类、个数等。
上述全局特征指的是待识别共聚焦图像的颜色特征、纹理特征和形状特征等。
上述预设抓拍区域是提前设定好的，用于在拍照包含阿米巴包囊图像时，提供取景区域。
上述目标图像内容指的是图像中包含的主体对象的种类以及主体对象的个数取值等。
上述第一筛选指的是将筛选任务的目标信息与图像内容信息进行比较，判断目标类型、目标属性以及目标属性值与像内容种类以及图像内容对应的属性是否相对应，当对应时，判定满足筛选条件。
上述第一特征信息指的是各个识别框中的图像的颜色、纹理等图像属性。
上述第二特征信息指的是根据第一特征信息确定的各个识别框中包含的图像主体内容以及图像内容在不同识别框中的存在形态。
上述待标注对象指的是阿米巴包囊以及炎性细胞。
上述目标特征指的是待标注对象的形状，颜色等。
上述图像区域的描述信息指的是对待标注对象所在区域的区域面积、区域位置等。
本发明提供的活体共聚焦显微镜图像中阿米巴包囊识别与计数的方法，通过对待识别的共聚焦图像集进行筛选以及标注，便于挑选出具有分析价值的共聚焦图像，为辅助医生进行快速准确的诊断提供保障。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，基于预设标注方法对所述初始包含阿米巴包囊的共聚焦图像进行标注，包括：
对所述阿米巴包囊和炎性细胞进行包围框标注，包括：
确定所述阿米巴包囊和炎性细胞在所述初始包含阿米巴包囊的共聚焦图像中的位置，并基于所述位置绘制矩形包围框进行标注；
对所述阿米巴包囊和炎性细胞进行类别标注，包括：
确定所述包围框的属性，并基于所述包围框的属性添加类别标签，其中，所述类别标签包括：阿米巴包囊和炎性细胞；
对所述阿米巴包囊和炎性细胞进行掩码标注，包括：
确定所述阿米巴包囊和炎性细胞的具体形态，并基于所述具体形态绘制边缘标注，完成掩码标注；
对阿米巴包囊单独进行计数点标注，包括：
确定所述阿米巴包囊的中心，并在所述阿米巴包囊的中心进行点标注，其中，所述阿米巴包囊至少为一个，且一个点对应一个阿米巴包囊。
本发明提供的活体共聚焦显微镜图像中阿米巴包囊识别与计数的方法，通过对包含阿米巴包囊的共聚焦图像进行标注，便于提高实例分割准确率以及效率，为有效地区分阿米巴包囊和炎性细胞提供了便利。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，构建阿米巴包囊实例分割和密度图估计的联合模型，包括：
获取包含阿米巴包囊的共聚焦图像中阿米巴包囊和炎性细胞的每个实例的掩码，并基于所述掩码确定所述阿米巴包囊和炎性细胞的边缘信息；
基于所述边缘信息确定构建实例分割模型的架构属性，其中，所述架构属性包括一阶段和两阶段实例分割架构；
基于所述架构属性构建所述实例分割模型，其中，所述实例分割模型中包括多尺度特征提取模块、预测头分支、原型掩码分支，且所述多尺度特征提取模块包括骨架网络块以及多尺度特征增强块；
同时，构建密度图估计分支，并将所述密度图估计分支与所述实例分割模型相结合，得到阿米巴包囊实例分割和密度图估计的联合模型。
联合模型可以通过在现有的实例分割模型基础上增加密度图估计分支来构建，整体网络结构包含特征提取模块、类别和位置预测分支、掩码预测分支和密度图估计分支。
实例分割模型可以选用任意经典模型，包含两阶段和一阶段两种架构，两阶段如Mask R-CNN等，一阶段如YOLACT等。当使用一阶段实例分割架构时，联合模型包括多尺度特征提取模块、预测头分支、原型掩码分支、密度图估计分支。
具体来说，多尺度提取模块由骨架网络块和多尺度特征增强块组成，骨架网络块可选用现有卷积神经网络的骨架网络，包括但不限于VGG、ResNet、ResNext、DenseNet等，多尺度特征增强块可选用现有的特征金字塔网络（FPN）、路径聚合网络（PANet）等。网络提取的深层特征语义信息更丰富，浅层特征细节内容更全面，多尺度特征增强块融合了深层特征和浅层特征，增强特征表达能力，并且提取了多种尺度的特征图，为预测头分支、原型掩码分支、密度图估计分支提供更鲁棒更充分的特征。
预测头分支，对于多尺度提取模块输出的多个尺度特征图的每个像素点，先经过若干个共享卷积层，然后经过不同的全连接层分别输出类别概率值、包围框坐标信息和k个掩码系数。
原型掩码分支，在多尺度提取模块输出的最大尺度特征图上，经过若干个卷积层和上采样层，输出k个原型掩码。k个掩码系数和k个原型掩码对应线性组合，可以组合出输入图像中的各个实例掩码。
密度图估计分支，同样在多尺度提取模块输出的最大尺度特征图上，经过若干个卷积层和上采样层，输出一个与输入图像有相同尺度的密度图，密度图表示了阿米巴包囊的大致位置分布。
本发明提供的活体共聚焦显微镜图像中阿米巴包囊识别与计数的方法，通过构建联合模型，为能自动对图像中的阿米巴包囊进行实例分割和密度图估计提供便利，确保能够有效地区分阿米巴包囊和炎性细胞，为准确计算出阿米巴包囊的个数和密度提供了保障。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，基于预设模型权值对所述联合模型进行训练，包括：
获取所述联合模型的权值，其中，所述权值包括骨架网络块权值、多尺度特征增强块权值、预测头分支权值、原型掩码分支权值以及密度图估计分支权值；
基于预设训练权值对所述骨架网络块权值进行初始化，且对所述尺度特征增强块权值、预测头分支权值、原型掩码分支权值以及密度图估计分支权值进行随机初始化；
获取从包含阿米巴包囊的共聚焦图像中划分的训练集以及测试集，并将所述训练集输入初始化后的联合模型，前向得到所述训练集对应的处理结果，其中，所述处理结果包括训练集中每个实例的类别、位置、掩码以及包含阿米巴包囊的共聚焦图像对应的密度图；
确定所述处理结果与预设目标结果之间的损失函数，并基于所述损失函数反向对初始化后的联合模型的权值进行更新，且不断重复前向-反向的训练过程，直至达到预设训练周期数；
将所述验证集输入达到预设训练周期数的联合模型进行验证，得到目标处理结果；
将所述目标处理结果与预设目标结果进行比较，确定目标处理结果与预设目标结果之间损失值最小的联合模型为训练后的联合模型。
预设训练周期数是提前设定好的。
预设目标结果是提前设定好的，用于表明包含阿米巴包囊的共聚焦图像阿米巴包囊每个实例的类别、位置、掩码以及包含阿米巴包囊的共聚焦图像对应的密度图的理论值。
联合模型的损失函数包括四个部分，分类损失Lcls、包围框回归损失Lbox、实例掩码损失Lmask和密度图损失Ldensity。输入一张图像，对于预测头分支输出的所有包围框，需要经过非极大值抑制（NMS）操作和类别概率阈值过滤后，保留下一小部分包围框，作为输入图像中预测得到的实例包围框，然后将预测包围框与目标包围框进行匹配，通过计算交叉熵损失函数得到Lcls，通过计算包围框的Smooth L1损失函数得到Lbox。对于上述保留下的每个实例，将其对应的k个掩码系数和原型掩码分支输出的k个原型掩码进行线性组合，经过一个sigmoid激活函数得到组合掩码，为专注学习掩码分支，将该实例匹配的目标包围框对组合掩码进行裁剪，二值化后得到预测实例掩码，相似地，用目标包围框对掩码标注图进行裁剪，二值化后得到目标实例掩码，通过计算预测实例掩码与目标实例掩码之间逐像素的交叉熵损失函数得到Lmask。最后，密度图估计分支对输入图像得到一张预测密度图，在计数点标注图上进行高斯滤波得到目标密度图，通过计算预测密度图和目标密度图的L2损失函数得到Ldensity。
本发明提供的活体共聚焦显微镜图像中阿米巴包囊识别与计数的方法，通过将待识别的共聚焦图像划分为训练集，验证集以及测试集，实现对构建的联合模型进行准确训练，确保了最终得到的联合模型能够对共聚焦图像进行准确分析，确保了区分阿米巴包囊和炎性细胞的准确率，同时为精准计算出阿米巴包囊的个数和密度提供了保障。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度，包括：
获取训练后的联合模型，并将包含阿米巴包囊的共聚焦图像输入至训练后的联合模型；
基于所述联合模型中的多尺度特征提取模块提取所述包含阿米巴包囊的共聚焦图像的多尺度特征图，并基于所述联合模型中的预测头分支以及后续的非极大值抑制（NMS）和类别概率阈值过滤，得到所述包含阿米巴包囊的共聚焦图像中实例的包围框、类别和掩码系数；
同时，基于所述联合模型中的原型掩码分支将所述多尺度特征图中的最大尺度特征图输入卷积层以及上采样层，得到原型掩码，并将判定为阿米巴包囊的每个实例的掩码系数以及原型掩码线性组合得到组合掩码；
基于预测包围框对所述组合掩码进行裁剪并二值化处理，得到每个实例对应的实例掩码，并基于所述实例掩码确定阿米巴包囊的初始数目；
基于所述联合模型中的密度图估计分支对所述多尺度特征图中的最大尺度特征图进行处理，得到阿米巴包囊的密度图，并将所述密度图中的局部最大点作为共聚焦图像所有阿米巴包囊中心点，且将中心点设置为1，其他点设置为0；
确定阿米巴包囊的每个实例对应的实例掩码的面积，并将所述实例掩码的面积与预设阈值进行比较；
若所述实例掩码的面积大于所述预设阈值，判定所述实例掩码对应的实例合并有多个阿米巴包囊，并统计所述实例掩码在所述密度图所在区域的阿米巴包囊中心点的个数，且将所述阿米巴包囊的初始数目与所述阿米巴包囊中心点的个数进行求和，得到所述包含阿米巴包囊的共聚焦图像中阿米巴包囊的实际个数；
否则，判定所述实例掩码对应的实例为单个阿米巴包囊，并将所述初始数目判定为包含阿米巴包囊的共聚焦图像中阿米巴包囊的实际个数；
同时，基于所述包含阿米巴包囊的共聚焦图像中单个像素对应的物理尺寸，确定所述包含阿米巴包囊的共聚焦图像的图像面积；
基于所述阿米巴包囊的实际个数以及共聚焦图像的图像面积得到所述共聚焦图像中阿米巴包囊的密度。
针对该实施例，具体还可以参见图4。
推理与训练时不同之处在于，采用联合模型推理时采用预测包围框裁剪组合掩码，并且仅考虑阿米巴包囊类别的包围框，而训练时采用目标包围框裁剪组合掩码，对两种类别的包围框都需要计算损失。
预设阈值可以根据经验或训练数据中统计信息设定。
初始数目指的是根据实例掩码对阿米巴包囊进行统计的个数，可能存在将多个阿米巴包囊统计为一个，需结合密度图对阿米巴包囊个数进行准确分析。
根据本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，基于所述阿米巴包囊的实际个数以及共聚焦图像的图像面积得到所述共聚焦图像中阿米巴包囊的密度，包括：
获取所述包含阿米巴包囊的共聚焦图像中单个像素对应的物理尺寸，并基于所述单个像素对应的物理尺寸计算所述包含阿米巴包囊的共聚焦图像的图像面积，并基于所述图像面积计算所述共聚焦图像中阿米巴包囊的密度，具体步骤包括：
根据如下公式计算所述包含阿米巴包囊的共聚焦图像的图像面积：
其中，所述
表示所述包含阿米巴包囊的共聚焦图像的图像面积；
表示所述包含
阿米巴包囊的共聚焦图像横向像素个数；
表示所述包含阿米巴包囊的共聚焦图像中当前
个横向像素个数；
表示第
个横向像素的物理尺寸；
表示横向长度微分；
表示所述
包含阿米巴包囊的共聚焦图像的分辨率；
表示所述包含阿米巴包囊的共聚焦图像的
上边界函数；
表示所述包含阿米巴包囊的共聚焦图像的下边界函数；
根据如下公式计算所述共聚焦图像中阿米巴包囊的密度：
其中，
表示所述共聚焦图像中阿米巴包囊的密度；
表示误差系数，且取值范围
为（0.02，0.05）；
表示所述共聚焦图像中阿米巴包囊的实际个数；
表示所述包含阿米巴
包囊的共聚焦图像的图像面积；
表示所述阿米巴包囊的活性因子，且取值范围为（5，8）；
将计算得到的密度传输至管理终端进行保存记录。
本发明提供的活体共聚焦显微镜图像中阿米巴包囊识别与计数的方法，通过联合模型对共聚焦图像进行分析，确定共聚焦图像中包含的阿米巴包囊的初始个数，其次，通过共聚焦图像对应的密度图实现对合并在一起的多个阿米巴包囊进行准确分析，提高了对阿米巴包囊个数分析的准确率，最后通过确定阿米巴包囊对应的实例掩码面积以及个数，实现对阿米巴包囊密度进行准确判断。
图2是本发明提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数装置的结构示意图。如图2所示，包括：
图像获取模块，用于获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；
模型构建模块，用于构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；
分析模块，用于基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度。
本发明提供的活体共聚焦显微镜图像中阿米巴包囊识别与计数的装置，能自动对图像中的阿米巴包囊进行实例分割和密度图估计，实例分割的结果不仅预测出每个阿米巴包囊的掩码，同时有效地区分了阿米巴包囊和炎性细胞，然后结合密度图估计的结果，能够精准计算出阿米巴包囊的个数和密度，从而辅助医生进行快速准确的诊断。
图3实例了一种电子设备的实体结构示意图，如图3所示，该电子设备包括存储器310、处理器320、通信接口330以及通信总线340，其中，处理器320，通信接口330，存储器310通过通信总线340完成相互间的通信。处理器320可以调用存储器310中的逻辑指令，以执行一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，该方法包括：获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度。
此外，上述的存储器310中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，该方法包括：获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，该方法包括：获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种角膜共聚焦图像中阿米巴包囊的识别与计数方法，其特征在于，包括：
获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；
构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；
基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度；
其中，构建阿米巴包囊实例分割和密度图估计的联合模型，包括：
获取包含阿米巴包囊的共聚焦图像中阿米巴包囊和炎性细胞的每个实例的掩码，并基于所述掩码确定所述阿米巴包囊和炎性细胞的边缘信息；
基于所述边缘信息确定构建实例分割模型的架构属性，其中，所述架构属性包括一阶段和两阶段实例分割架构；
基于所述架构属性构建所述实例分割模型，其中，所述实例分割模型中包括多尺度特征提取模块、预测头分支、原型掩码分支，且所述多尺度特征提取模块包括骨架网络块以及多尺度特征增强块；
同时，构建密度图估计分支，并将所述密度图估计分支与所述实例分割模型相结合，得到阿米巴包囊实例分割和密度图估计的联合模型；
其中，基于预设模型权值对所述联合模型进行训练，包括：
获取所述联合模型的权值，其中，所述权值包括骨架网络块权值、多尺度特征增强块权值、预测头分支权值、原型掩码分支权值以及密度图估计分支权值；
基于预设训练权值对所述骨架网络块权值进行初始化，且对所述多尺度特征增强块权值、预测头分支权值、原型掩码分支权值以及密度图估计分支权值进行随机初始化；
获取从包含阿米巴包囊的共聚焦图像中划分的训练集以及测试集，并将所述训练集输入初始化后的联合模型，前向得到所述训练集对应的处理结果，其中，所述处理结果包括训练集中每个实例的类别、位置、掩码以及包含阿米巴包囊的共聚焦图像对应的密度图；
确定所述处理结果与预设目标结果之间的损失函数，并基于所述损失函数反向对初始化后的联合模型的权值进行更新，且不断重复前向-反向的训练过程，直至达到预设训练周期数；
将所述测试集输入达到预设训练周期数的联合模型进行验证，得到目标处理结果；
将所述目标处理结果与预设目标结果进行比较，确定目标处理结果与预设目标结果之间损失值最小的联合模型为训练后的联合模型。
2.根据权利要求1所述的角膜共聚焦图像中阿米巴包囊的识别与计数方法，其特征在于，获取待识别的共聚焦图像集，包括：
基于显示器确定患者在进行活体共聚焦显微镜检查时，阿米巴包囊出现的角膜深度以及位置信息，其中，所述角膜深度以及位置信息不唯一；
基于预设拍照装置对所述角膜深度以及位置信息的阿米巴包囊进行图像拍照，得到待识别的共聚焦图像集。
3.根据权利要求1所述的角膜共聚焦图像中阿米巴包囊的识别与计数方法，其特征在于，对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像，包括：
获取待识别的共聚焦图像集，并确定所述共聚焦图像集中每张共聚焦图像的图像质量，其中，所述共聚焦图像中包含阿米巴包囊和炎性细胞，且所述图像质量合格的判断标准为：图像中需含有阿米巴包囊、图像清晰度需达到预设要求；
基于所述图像质量对所述待识别的共聚焦图像集进行筛选，得到初始包含阿米巴包囊的共聚焦图像；
基于预设标注方法对所述初始包含阿米巴包囊的共聚焦图像进行标注，得到最终包含阿米巴包囊的共聚焦图像，其中，所述标注包括对阿米巴包囊和炎性细胞进行类别、包围框、掩码三类标注以及对阿米巴包囊单独进行计数点标注；
基于标注结果，将所述阿米巴包囊的共聚焦图像按照预设比例划分为训练集、验证集以及测试集。
4.根据权利要求3所述的角膜共聚焦图像中阿米巴包囊的识别与计数方法，其特征在于，基于预设标注方法对所述初始包含阿米巴包囊的共聚焦图像进行标注，包括：
对所述阿米巴包囊和炎性细胞进行包围框标注，包括：
确定所述阿米巴包囊和炎性细胞在所述初始包含阿米巴包囊的共聚焦图像中的位置，并基于所述位置绘制矩形包围框进行标注；
对所述阿米巴包囊和炎性细胞进行类别标注，包括：
确定所述包围框的属性，并基于所述包围框的属性添加类别标签，其中，所述类别标签包括：阿米巴包囊和炎性细胞；
对所述阿米巴包囊和炎性细胞进行掩码标注，包括：
确定所述阿米巴包囊和炎性细胞的具体形态，并基于所述具体形态绘制边缘标注，完成掩码标注；
对阿米巴包囊单独进行计数点标注，包括：
确定所述阿米巴包囊的中心，并在所述阿米巴包囊的中心进行点标注，其中，所述阿米巴包囊至少为一个，且一个点对应一个阿米巴包囊。
5.根据权利要求1所述的角膜共聚焦图像中阿米巴包囊的识别与计数方法，其特征在于，基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度，包括：
获取训练后的联合模型，并将包含阿米巴包囊的共聚焦图像输入至训练后的联合模型；
基于所述联合模型中的多尺度特征提取模块提取所述包含阿米巴包囊的共聚焦图像的多尺度特征图，并基于所述联合模型中的预测头分支以及后续的非极大值抑制（NMS）和类别概率阈值过滤，得到所述包含阿米巴包囊的共聚焦图像中实例的包围框、类别和掩码系数；
同时，基于所述联合模型中的原型掩码分支将所述多尺度特征图中的最大尺度特征图输入卷积层以及上采样层，得到原型掩码，并将判定为阿米巴包囊的每个实例的掩码系数以及原型掩码线性组合得到组合掩码；
基于预测包围框对所述组合掩码进行裁剪并二值化处理，得到每个实例对应的实例掩码，并基于所述实例掩码确定阿米巴包囊的初始数目；
基于所述联合模型中的密度图估计分支对所述多尺度特征图中的最大尺度特征图进行处理，得到阿米巴包囊的密度图，并将所述密度图中的局部最大点作为共聚焦图像所有阿米巴包囊中心点，且将中心点设置为1，其他点设置为0；
确定阿米巴包囊的每个实例对应的实例掩码的面积，并将所述实例掩码的面积与预设阈值进行比较；
若所述实例掩码的面积大于所述预设阈值，判定所述实例掩码对应的实例合并有多个阿米巴包囊，并统计所述实例掩码在所述密度图所在区域的阿米巴包囊中心点的个数，且将所述阿米巴包囊的初始数目与所述阿米巴包囊中心点的个数进行求和，得到所述包含阿米巴包囊的共聚焦图像中阿米巴包囊的实际个数；
否则，判定所述实例掩码对应的实例为单个阿米巴包囊，并将所述初始数目判定为包含阿米巴包囊的共聚焦图像中阿米巴包囊的实际个数；
同时，基于所述包含阿米巴包囊的共聚焦图像中单个像素对应的物理尺寸，确定所述包含阿米巴包囊的共聚焦图像的图像面积；
基于所述阿米巴包囊的实际个数以及共聚焦图像的图像面积得到所述共聚焦图像中阿米巴包囊的密度。
6.一种角膜共聚焦图像中阿米巴包囊的识别与计数装置，其特征在于，包括：
图像获取模块，用于获取待识别的共聚焦图像集，并对所述待识别的共聚焦图像集进行筛选及标注，得到包含阿米巴包囊的共聚焦图像；
模型构建模块，用于构建阿米巴包囊实例分割和密度图估计的联合模型，并基于预设模型权值对所述联合模型进行训练；
分析模块，用于基于训练后的联合模型对所述包含阿米巴包囊的共聚焦图像进行推理识别，确定所述共聚焦图像中阿米巴包囊的个数和密度；
其中，所述模型构建模块，用于：
获取包含阿米巴包囊的共聚焦图像中阿米巴包囊和炎性细胞的每个实例的掩码，并基于所述掩码确定所述阿米巴包囊和炎性细胞的边缘信息；
基于所述边缘信息确定构建实例分割模型的架构属性，其中，所述架构属性包括一阶段和两阶段实例分割架构；
基于所述架构属性构建所述实例分割模型，其中，所述实例分割模型中包括多尺度特征提取模块、预测头分支、原型掩码分支，且所述多尺度特征提取模块包括骨架网络块以及多尺度特征增强块；
同时，构建密度图估计分支，并将所述密度图估计分支与所述实例分割模型相结合，得到阿米巴包囊实例分割和密度图估计的联合模型；
其中，所述模型构建模块，还用于：
获取所述联合模型的权值，其中，所述权值包括骨架网络块权值、多尺度特征增强块权值、预测头分支权值、原型掩码分支权值以及密度图估计分支权值；
基于预设训练权值对所述骨架网络块权值进行初始化，且对所述多尺度特征增强块权值、预测头分支权值、原型掩码分支权值以及密度图估计分支权值进行随机初始化；
获取从包含阿米巴包囊的共聚焦图像中划分的训练集以及测试集，并将所述训练集输入初始化后的联合模型，前向得到所述训练集对应的处理结果，其中，所述处理结果包括训练集中每个实例的类别、位置、掩码以及包含阿米巴包囊的共聚焦图像对应的密度图；
确定所述处理结果与预设目标结果之间的损失函数，并基于所述损失函数反向对初始化后的联合模型的权值进行更新，且不断重复前向-反向的训练过程，直至达到预设训练周期数；
将所述测试集输入达到预设训练周期数的联合模型进行验证，得到目标处理结果；
将所述目标处理结果与预设目标结果进行比较，确定目标处理结果与预设目标结果之间损失值最小的联合模型为训练后的联合模型。
7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述的角膜共聚焦图像中阿米巴包囊的识别与计数方法的步骤。
8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的角膜共聚焦图像中阿米巴包囊的识别与计数方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211567875.0A CN115690092B (zh) | 2022-12-08 | 2022-12-08 | 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211567875.0A CN115690092B (zh) | 2022-12-08 | 2022-12-08 | 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115690092A CN115690092A (zh) | 2023-02-03 |
| CN115690092B true CN115690092B (zh) | 2023-03-31 |
Family
ID=85055548
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211567875.0A Active CN115690092B (zh) | 2022-12-08 | 2022-12-08 | 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115690092B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020236729A1 (en) * | 2019-05-17 | 2020-11-26 | Voxeleron, LLC | Deep learning-based segmentation of corneal nerve fiber images |
| CN112634221A (zh) * | 2020-12-17 | 2021-04-09 | 广西壮族自治区人民医院 | 基于图像和深度的角膜层次识别及病变定位方法和系统 |
| CN113591601B (zh) * | 2021-07-08 | 2024-02-02 | 北京大学第三医院（北京大学第三临床医学院） | 角膜共聚焦图像中菌丝识别方法及装置 |
| CN115393351B (zh) * | 2022-10-27 | 2023-01-24 | 北京大学第三医院（北京大学第三临床医学院） | 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置 |
-
2022
- 2022-12-08 CN CN202211567875.0A patent/CN115690092B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN115690092A (zh) | 2023-02-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020253629A1 (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
| CN111985536B (zh) | 一种基于弱监督学习的胃镜病理图像分类方法 | |
| CN109684981B (zh) | 青光眼图像识别方法、设备和筛查系统 | |
| CN111524137B (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
| US20220051404A1 (en) | Pathological section image processing method and apparatus, system, and storage medium | |
| CN111079620B (zh) | 基于迁移学习的白细胞图像检测识别模型构建方法及应用 | |
| CN112380900A (zh) | 基于深度学习的子宫颈液基细胞数字图像分类方法及系统 | |
| CN110765833A (zh) | 一种基于深度学习的人群密度估计方法 | |
| CN112633297B (zh) | 目标对象的识别方法、装置、存储介质以及电子装置 | |
| EP3006551B1 (en) | Image processing device, image processing method, program, and storage medium | |
| CN112884782B (zh) | 生物对象分割方法、装置、计算机设备和存储介质 | |
| CN113052295B (zh) | 一种神经网络的训练方法、物体检测方法、装置及设备 | |
| CN112836625A (zh) | 人脸活体检测方法、装置、电子设备 | |
| CN114170212A (zh) | 一种基于ct影像中肺小结节假阳检测方法及系统 | |
| CN114581709A (zh) | 识别医学图像中的目标的模型训练、方法、设备及介质 | |
| CN117237351B (zh) | 一种超声图像分析方法以及相关装置 | |
| CN113989563A (zh) | 一种多尺度多标签融合的中医舌象分类方法 | |
| CN111612749B (zh) | 基于肺部影像的病灶检测方法和装置 | |
| CN115690092B (zh) | 角膜共聚焦图像中阿米巴包囊的识别与计数方法及装置 | |
| CN112991280B (zh) | 视觉检测方法、系统及电子设备 | |
| CN113627255B (zh) | 一种小鼠行为量化分析方法、装置、设备及可读存储介质 | |
| US10146042B2 (en) | Image processing apparatus, storage medium, and image processing method | |
| CN111612755A (zh) | 肺部病灶分析方法、装置、电子设备和存储介质 | |
| CN113706449B (zh) | 基于病理图像的细胞分析方法、装置、设备及存储介质 | |
| CN112703531A (zh) | 生成组织图像的注释数据 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |