CN115424093A - 一种识别眼底图像中细胞的方法及装置 - Google Patents

一种识别眼底图像中细胞的方法及装置 Download PDF

Info

Publication number
CN115424093A
CN115424093A CN202211071164.4A CN202211071164A CN115424093A CN 115424093 A CN115424093 A CN 115424093A CN 202211071164 A CN202211071164 A CN 202211071164A CN 115424093 A CN115424093 A CN 115424093A
Authority
CN
China
Prior art keywords
cell
image
classification
samples
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211071164.4A
Other languages
English (en)
Inventor
李凯文
殷琪
任骥
张�杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Boshi Medical Technology Co ltd
Original Assignee
Nanjing Boshi Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Boshi Medical Technology Co ltd filed Critical Nanjing Boshi Medical Technology Co ltd
Priority to CN202211071164.4A priority Critical patent/CN115424093A/zh
Publication of CN115424093A publication Critical patent/CN115424093A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种识别眼底图像中细胞的方法及装置，该方法包括：对细胞图像进行预处理；构建训练集和验证集的图像样本和分类标签样本；其中分类标签包括细胞标签、细胞边缘标签和背景标签；利用训练集和验证集的图像样本和分类标签样本训练和验证神经网络模型；利用训练和验证后的神经网络模型处理预处理后的细胞图像，获得细胞图像的分类预测结果，并得到细胞概率结果；根据细胞概率结果获得细胞中心点。根据本申请的技术方案，通过加入细胞边缘分类，从而减少细胞黏连的现象，使得得到的细胞概率图更加准确。

Description

一种识别眼底图像中细胞的方法及装置
技术领域
本申请涉及图像处理领域，尤其涉及一种识别眼底图像中细胞的方法及装置。
背景技术
视网膜是眼睛的重要组织，包括在视网膜的黄斑区分布有视锥细胞，用来分辨精细形态和色觉。随着年龄增大，患上黄斑病变的可能性会增加。通过视网膜黄斑区视锥细胞的图像来对黄斑病变早期干预和预防是非常重要，可以使患者免于重大视力丧失。
CN103745257B公开了一种基于图像识别的锥细胞密度的计算方法，其中涉及视锥细胞的识别方法，其采用滤波、傅里叶变换、二值化、膨胀处理等操作得到细胞质心，再进行图像的三角分割，并辅以人工处理，从而完成视锥细胞的识别。该技术方案自动化程度低，难以适应医疗技术发展的需要，因而需要提供新的视锥细胞识别技术方案。
发明内容
有鉴于此，本申请提出了一种识别眼底图像中细胞的方法及装置，以提高细胞概率图的准确性。
根据本申请的一个方面，本申请提供了一种识别眼底图像中细胞的方法，该方法包括：
对细胞图像进行预处理；
构建训练集和验证集的图像样本和分类标签样本；其中分类标签包括细胞标签、细胞边缘标签和背景标签；
利用训练集和验证集的图像样本和分类标签样本训练和验证神经网络模型；
利用训练和验证后的神经网络模型处理预处理后的细胞图像，获得细胞图像的分类预测结果，并得到细胞概率结果；
根据细胞概率结果获得细胞中心点。
优选地，在图像样本中，当细胞边缘内部所含细胞像素数量大于或等于预设值情况下，采用的分类标签为细胞标签、细胞边缘标签和背景标签；当细胞边缘内部所含细胞像素数量小于预设值的情况下，分类标签为细胞标签和背景标签。
优选地，该方法还包括：在所述构建训练集和验证集的图像样本和分类标签样本的同时，构建分类标签所对应的权重标签样本；
利用训练集和验证集的图像样本、分类标签样本和权重标签样本训练和验证神经网络模型；
所述利用训练集和验证集的图像样本、分类标签样本和权重标签样本训练和验证神经网络模型包括特征提取模块和与特征提取模块连接的多任务学习模块，多任务学习模块用于完成分类任务、权重预测的线性回归任务及任务间的交互；
所述任务间的交互为将权重预测的线性回归任务最后一层卷积层输出的结果与分类任务最后一层卷积层输出的结果进行点乘操作，将点乘结果进行分类预测计算分类损失。
优选地，所述利用训练集和验证集的图像样本、分类标签样本和权重标签样本训练和验证神经网络模型还包括域自适应模块，用于处理多种模态图像；所述域自适应模块与所述特征提取模块相连。
优选地，构建训练集和验证集的分类标签样本包括：
检测已有数据集中二分类标签的细胞边缘轮廓，设置细胞边缘对应的像素值为第三像素值，从而构建包含像素值为第一像素值的背景、像素值为第三像素值的细胞边缘以及像素值为第二像素值的细胞的三分类标签图，其中，检测到的细胞边缘为图像边缘的情况下，设置细胞边缘对应的像素值为第二像素值；或者手动标注细胞图像，得到三分类标签图；
对预处理后的细胞图像和所述三分类标签图进行采样操作，获得训练集以及验证集的图像样本和三分类标签样本。
优选地，利用训练和验证后的神经网络模型处理预处理后的细胞图像包括：对预处理后的细胞图像进行边界扩展，并进行重叠采样。
优选地，利用训练和验证后的神经网络模型处理预处理后的细胞图像，获得细胞图像的分类预测结果，并得到细胞概率结果包括：采用批处理的方式，获得重叠采样后的多个细胞图像样本的输出结果，并根据细胞图像样本在细胞图像中的对应位置将某一位置出现的所有概率预测值进行累加并取均值或者取所有预测值的最大值作为该位置的概率预测结果，所有位置的概率预测结果构成细胞概率结果。
优选地，在所述获得重叠采样后的多个细胞图像样本的输出结果后，根据采样大小建立加权图，其中，加权图中越靠近中心的位置权重越高；
取两个与细胞图像尺寸大小一致的全0矩阵，将每个细胞图像样本对应的输出结果与加权图进行点乘操作，根据当前细胞图像样本在细胞图像中的位置，将对应的点乘结果加到第一矩阵的对应位置；将每个细胞图像样本对应的加权图加到第二矩阵中各个细胞图像样本对应的位置；
将第一矩阵与第二矩阵进行点除操作，得到细胞概率结果。
优选地，根据细胞概率结果获得细胞中心点包括：
将细胞概率结果反映为细胞概率图；
利用滑动窗口滑动检测细胞概率图，检测方法为：若滑动窗口的中心位置点为该滑动窗口的细胞概率结果最大值、该滑动窗口的细胞概率结果的均值大于第一阈值，且预处理后的细胞图像在该滑动窗口的中心位置点处的像素值大于第二阈值，则将该滑动窗口的中心位置点作为检测到的细胞中心点；
按照预定步长缩小滑动窗口尺寸，再次按照所述检测方法检测，同时，若该细胞中心点位于缩小滑动窗口尺寸前的滑动窗口检测到的细胞中心点的预设距离内，则该细胞中心点无效；
重复所述按照预定步长缩小滑动窗口尺寸，再次按照所述检测方法检测的步骤。
优选地，该方法还包括：将细胞概率结果反映为细胞概率图，对细胞概率图进行二值化，通过形态学操作获得细胞分割图。
本申请提供了一种识别眼底图像中细胞的装置，该装置包括：预处理模块，数据集标签构建模块，网络构建与训练模块，网络测试输出模块，以及后处理模块；
数据集标签构建模块，用于构建训练集和验证集的图像样本和分类标签样本；其中分类标签包括细胞标签、细胞边缘标签和背景标签；
网络构建与训练模块，用于利用训练集和验证集的图像样本和分类标签样本训练和验证神经网络模型；
网络测试输出模块，用于利用训练和验证后的神经网络模型处理预处理后的细胞图像，获得细胞图像的分类预测结果，并得到细胞概率结果；
后处理模块，用于根据细胞概率结果获得细胞中心点。
根据本申请的技术方案，通过加入细胞边缘分类，从而减少细胞黏连的现象，使得得到的细胞概率图更加准确。
本申请的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施方式及其说明用于解释本申请。在附图中：
图1为本申请提供的一种识别眼底图像中细胞的装置；
图2A-图2B为本申请提供的未加入边缘和加入边缘的单个视锥细胞图像；
图3A-图3C为本申请提供的不完整视锥细胞图像；
图4A和图4B为申请提供的黏连的视锥细胞图像；
图5A和图5B为本申请提供的二分类视锥细胞图像和三分类视锥细胞图像；
图6A和图6B为本申请提供的神经网络结构示意图；
图7为本申请提供的分割网络架构示意图；
图8为本申请提供的多任务模块架构示意图；
图9为本申请提供的域自适应模块架构示意图；
图10A-图10C为本申请提供的细胞概率图、边界概率图、背景概率图；
图11为本申请提供的大步长重叠采样的输出测试结果，其中存在明显边界效应；
图12为本申请提供的加权图；
图13A-图13B为本申请提供的单个视锥细胞被检测为两个细胞图，以及两个距离较近的小视锥细胞被检测为单个细胞图；
图14为本申请提供的视锥细胞中心点图；
图15为本申请提供的视锥细胞概率图对应的维诺图；
图16A-图16B为本申请提供的视锥细胞分割图；
图17为本申请提供一种识别眼底图像中细胞的方法流程图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施方式及各个实施方式中的特征可以相互组合。
下面将参考附图并结合实施方式来详细说明本申请。
如图1所示，本实施例针对眼底图像中的视锥细胞，提供了一种识别眼底图像中细胞的装置，包括：预处理模块、数据集标签构建模块、网络构建与训练模块、网络测试输出模块、后处理模块。
其中，预处理模块，用于将输入的视锥细胞图像进行滤波处理，例如高斯滤波处理，计算高斯滤波后的图像imageGauss的均值meanV和标准差stdV，并按照下述公式(1)和公式(2)进一步处理。
Figure BDA0003827290480000061
Figure BDA0003827290480000062
其中maxV和minV是imageGauss的最大值和最小值。
数据集标签构建模块，用于将文献《基于图论和动态规划的视锥细胞自动分割》(Automatic cone photoreceptor segmentation using graph theory and dynamicprogramming)公开的数据集中的二分类分割标签(细胞、背景)扩展为三分类(细胞、细胞边缘、背景)分割标签，并可以加入对应的权重标签。
根据上述已有数据集提供了二分类标签，通过获取对应的每一个细胞分割标签(二值化图像)，并可以检测二值化图像的边缘轮廓，如图2A和图2B所示，以单个细胞为例进行说明，检测到边缘后，将边缘对应的像素值置为128，如此就获得了包含背景(像素值为0)，细胞边缘(像素值为128)，细胞(像素值为255)的三分类标签图，上述三个像素值可以任意选取，只要能够区分三种标签即可。
本申请中，若是某个视锥细胞加入视锥细胞边缘后，细胞部分的像素个数过少(如小于4)，则该视锥细胞无需加入视锥细胞边缘，因为像素过少的话，在卷积神经网络中，经过一两次下采样后，无法提取视锥细胞特征。此外，如果图像边缘存在视锥细胞，但视锥细胞可能不是完整的个体，对于明显非完整的细胞，如图3A-图3C所示，检测边缘后，若检测到的视锥细胞边缘所处位置是图像边缘，则检测到的视锥细胞边缘的像素值仍为255。
加入视锥细胞边缘标签的目的在于应对视锥细胞黏连的情况。如果两个视锥细胞相邻，它们对应的分割标签相当于一个整体，如图4A和图4B所示，在预测的视锥细胞概率图中，也存在两个相邻视锥细胞黏连的情况，这种情况下很容易将两个视锥细胞当成一个视锥细胞输出，造成视锥细胞计数以及视锥细胞分割的不准确性。加入视锥细胞边缘标签，可以将黏连的视锥细胞用视锥细胞边缘分割开，训练的时候不将其当成一个视锥细胞进行网络训练，并且能够减少预测的视锥细胞概率图中细胞黏连的情况，如图5A和图5B所示(图5A和图5B为同一张测试图同一个区域二分类标签训练和三分类标签训练的细胞概率对比图)。从该图中，可以看出，二分类中的视锥细胞存在比较严重的黏连现象，视锥细胞之间不能够明显的进行区分，而三分类中的视锥细胞可以明显的区分单个的细胞，即发生细胞黏连的概率降低，更有利于后处理模块。
通过将数据集进行上述的处理，可以获得三分类标签图，同时还可以获得权重图，权重图可以使用三分类标签图，也可以根据三分类标签图中的三种分类设置不同的权重值。
网络构建与训练验证模块，可以进一步划分为特征提取模块、多任务学习模块。可选地，在需要处理多模态图像下的细胞时，还可以包括域自适应模块，如图6A和图6B所示，其中特征提取模块，可以采用类unet网络架构或类FCN网络架构等图像分割网络架构，本实施例中采用的架构如图7所示。
多任务模块如图8所示，该模块用来实施三分类的分类任务、权重预测的线性回归任务以及上述两个任务之间的交互。两个任务之间的交互是将权重预测的线性回归任务最后一层卷积层输出的结果与三分类的分类任务的最后一层卷积层的结果进行点乘操作，将点乘结果进行分类预测计算分类损失，损失函数为交叉熵损失函数；线性回归任务则是使用线性回归任务最后一层卷积层输出的结果进行线性回归计算均方误差损失值，损失函数为均方差mean_squared_error；
域自适应模块，用于根据待处理数据的模态来进行选择。若是处理不同模态的数据，则需要在网络中加入域自适应模块，域自适应模块的关键点在于梯度反转层，其架构如图9所示，该模块实现二分类的预测，此处的二分类是指源域和目标域，源域是指没有标签的数据，目标域是指带有标签的数据，两种数据的分布不同，损失函数为交叉熵损失函数。图9中输入还包括通道信息(channel)。图9中使用了均值池化(AverPooling)，全连接层(Dense)，丢弃法(Dropout)等处理输入(input)，得到域输出(domainOutput)，域分类标签(domainclasslabels)，其中还使用了激活函数(relu)，交叉熵损失函数(softmax)。
在上述网络模型搭建完成后，构建训练集和验证集来进行网络训练验证，具体操作包括：
按照步长stride、样本尺寸patchSize对数据集中的图像、三分类标签图以及权重图进行切片操作。其中针对切片后的三分类标签图，根据公式(3)获得对应的三分类标签数组class[patchSize,patchSize,3]，权重标签数组可以与三分类标签数组不同，本实施例中为便于后续交互，优选的权重标签数组也为weight[patchSize,patchSize,3]：
Figure BDA0003827290480000081
通过上述操作可获得训练集以及验证集的图像样本、三分类标签样本、权重标签样本。
若需要域自适应模块，则需要构建域自适应标签，即将源域训练集对应的域自适应标签置为0，目标域训练集对应的域自适应标签置为1。这里的源域即为文献《基于图论和动态规划的视锥细胞自动分割》公开的数据集，目标域即为其他模态的图像数据。目标域训练集的获得与源域训练集一样，不同之处在于目标域的三分类标签样本和权重标签样本可以全为0或者其他值，因为在训练中并不会用到目标域的三分类标签样本和权重标签样本。需要注意的是，该情况下的验证集为源域的数据，没有目标域的数据。
按照构建的网络架构，根据设置的训练样本数量batchSize，将批量的训练集样本以及对应的标签样本输入网络模型进行训练，所有样本训练一次(称为一个epoch)后，将批量的验证集样本以及对应的标签样本输入网络模型进行验证；
若是加入域自适应的情况，则将样本尺寸batchSize/2的源域训练集样本以及对应的标签样本和样本尺寸batchSize/2的目标域训练集样本以及对应的标签样本输入网络模型中进行训练，验证时则是将样本数量batchSize的源域训练集样本以及对应的标签样本输入网络模型中进行验证。需要注意的是在训练以及验证的时候，多任务学习部分只会对来自源域的特征进行处理。
设置学习率为alpha，本实施例采用Adam算法作为模型优化器，训练的epoch个数为E，保存性能最优的模型参数，即保存验证集三分类对应的分类损失值以及权重对应的线性回归损失值最小的epoch对应的网络模型参数。
总损失值的计算公式如公式(4)所示：
Figure BDA0003827290480000091
其中“no domainClass”的意思是没有域自适应部分，classLoss是对应的三分类的分类损失值，MSELoss是对应的线性回归损失值，DomainClassLoss是对应的域分类损失值，a、b、c为对应的系数。
网络测试输出模块，用于加载所保存的最优模型参数，获得训练好的网络模型，将需要测试的视锥细胞图像输入网络模型中即可获得对应的三分类预测图以及权重预测图。将样本尺寸为patchSize*patchSize的测试样本输入网络，获得输出的三分类预测矩阵[patchSize,patchSize,3]以及权重预测矩阵[patchSize,patchSize,3]。[patchSize,patchSize,0]表示背景预测，[patchSize,patchSize,1]表示细胞边缘预测，[patchSize,patchSize,2]表示细胞预测。一般只需要三分类预测预测矩阵中的细胞预测矩阵，即[patchSize,patchSize,2]。
若是使用域自适应模块的情况下，加载所保存的最优模型参数，获得训练好的网络模型，将需要测试的视锥细胞图像输入网络模型中即可获得对应的三分类预测图、权重预测图以及域分类结果。将样本尺寸为patchSize*patchSize的测试样本输入网络，获得输出的三分类预测矩阵[patchSize,patchSize,3]、权重预测矩阵[patchSize,patchSize,3]以及域分类结果[1,2]。
本申请在测试输出模块中对测试图像进行边界扩展，采用重叠采样的方式获取测试样本。必要的时候，可以改变测试图像的尺寸，例如将图像变为原始尺寸的1.5倍、2倍或3倍，具体的倍数可以根据图像中细胞的形状大小来确定，一般2倍即可。边界扩展是为了更好的处理边界处的细胞。重叠采样的步长为stride2，一般stride2越小，输出的结果越好，但是stride2越小，同一幅图像经过重叠采样后获取的测试样本数就越多，会影响速度。
利用批处理的方式，将样本数量batchSize’个测试样本输入网络模型进行预测输出。将测试样本在原图像中对应位置的预测值进行累加并取均值作为最终的预测结果，也可以采用最大值作为最终的预测结果。把扩展边界裁减掉即为最终输出的细胞概率图、边界概率图、背景概率图，如图10A-图10C所示。
需要注意的是，采用大步长重叠采样在输出测试结果的时候，会存在较明显的边界效应，如图11，减小步长有助于减轻边界效应但是会增加处理时间。本申请中采用加权法来避免边界效应，具体操作为：
根据采样大小建立一个固定的加权图，特点为越靠近中心区域权重越大，越远离中心，权重越小，中心点对应的权重为1，如图12所示,可以根据生成二维高斯滤波核的方式来建立，也可以简单按照特点来构建，即设定中心为1，从中心往四周按照反比来生成权重值，即1/N，N为距离中心的像素个数等等。
以输出的细胞测试结果为例，获得固定的加权图后，将每个测试样本对应的测试结果与加权图进行点乘操作，取两张与原图像尺寸大小一致的全0矩阵，根据测试样本在原图像中的位置，将对应的点乘结果加到其中一个矩阵的对应位置，另一个全0矩阵则按照每个样本对应一张加权图，将加权图加到每个样本对应的位置。将两个矩阵进行点除操作，即用点乘结果对应的矩阵逐点除以加权图对应的矩阵，得到的结果即为视锥细胞概率结果，可以进一步以细胞概率图、或者表格的形式展示。
后处理模块，用于仿照非极大值抑制的思想来进行视锥细胞计数处理以及视锥细胞分割处理。非极大值抑制主要用在目标检测中，其对一个目标生成多个候选框，并对将这些候选框进行处理，获取最终置信度最高或者最合适的检测框。但是在视锥细胞分割中，视锥细胞密密麻麻，不利于对每个视锥细胞都生成多个候选框。此外，因为视锥细胞图中的视锥细胞大小不固定，若是用一个固定大小的窗口来进行检测，会出现明明是一个视锥细胞，却被检测为两个视锥细胞的情况；或者出现明明是两个距离较近的小视锥细胞，却被检测为一个视锥细胞的情况，如图13A-图13B所示。考虑到视锥细胞最大不会超过最大尺寸size，size为奇数，本申请利用非极大值抑制的思想做变化处理，具体操作为：
用size*size大小的滑动窗口来进行检测，根据公式(5)来获取视锥细胞中心点图：
Figure BDA0003827290480000121
其中block为以(i，j)为中心的size*size大小的滑动窗口对应的图像块，block(m，n)为滑动窗口对应的概率图图像块的中心点，blockmax为对应概率图像块的最大值，meanblock为对应概率图像块的均值，阈值可以根据经验值进行设定。根据公式(5)，若当前滑动窗口对应的中心点是当前概率图像块的最大值，并且对应的概率均值大于设定的阈值，且对应的预处理图像的同一位置的像素值超过设定的阈值，该点被认为是视锥细胞中心点。
将size减2作为新的size，同样按照公式(5)继续获取视锥细胞点图cellCandidate(i,j)，此时设置新的阈值，即meanblock对应为概率阈值2。需要注意的是，在当前size情况下，若某点(i,j)被认为是视锥细胞点，但是该点在cellCandidate(i,j)中对应位置下size+2的图像块中存在最大值为1的情况，那就说明该点不是视锥细胞点。即该点的附近已经存在一个大视锥细胞对应的视锥细胞中心点，该点对应的视锥细胞是这个大视锥细胞的一部分。
重复上述操作，直到size＝3为止，本申请默认最小的视锥细胞至少要占3*3个像素大小。最终获得最后的视锥细胞中心点图，如图14所示。
获取视锥细胞中心点图的同时能够获得细胞中心点对应的坐标，利用这些坐标可以获得视锥细胞密度、视锥细胞间距等各种视锥细胞参数。同时可以获得该视锥细胞图对应的维诺图，如图15所示。
将视锥细胞概率图进行二值化，并进行形态学操作，例如膨胀操作，即可获得对应的视锥细胞分割图，如图16A-图16B所示。
相应地，本实施例针对眼底图像中的视锥细胞，提供了一种识别眼底图像中细胞的方法，如图17所示，该方法包括：
步骤1701，对视锥细胞图像进行预处理；
步骤1702，构建训练集和验证集的图像样本和分类标签样本；其中分类标签包括细胞标签样本、细胞边缘标签样本和背景标签样本；
步骤1703，利用训练集和验证集的图像样本和分类标签样本训练和验证神经网络模型；
步骤1704，利用训练和验证后的神经网络模型处理预处理后的视锥细胞图像，获得视锥细胞图像的分类预测图，并得到视锥细胞概率结果；
步骤1705，根据视锥细胞概率结果获得视锥细胞中心点。
本申请以视锥细胞为例阐明本申请的技术方案，本申请提供的技术方案也可以用于其他类型的细胞。
以上所述仅为本申请的较佳实施方式而已，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种识别眼底图像中细胞的方法，其特征在于，该方法包括：
对细胞图像进行预处理；
构建训练集和验证集的图像样本和分类标签样本；其中分类标签包括细胞标签、细胞边缘标签和背景标签；
利用训练集和验证集的图像样本和分类标签样本训练和验证神经网络模型；
利用训练和验证后的神经网络模型处理预处理后的细胞图像，获得细胞图像的分类预测结果，并得到细胞概率结果；
根据细胞概率结果获得细胞中心点。
2.根据权利要求1所述的方法，其特征在于，在图像样本中，当细胞边缘内部所含细胞像素数量大于或等于预设值情况下，采用的分类标签为细胞标签、细胞边缘标签和背景标签；当细胞边缘内部所含细胞像素数量小于预设值的情况下，分类标签为细胞标签和背景标签。
3.根据权利要求1所述的方法，其特征在于，该方法还包括：在所述构建训练集和验证集的图像样本和分类标签样本的同时，构建分类标签所对应的权重标签样本；
利用训练集和验证集的图像样本、分类标签样本和权重标签样本训练和验证神经网络模型；
所述利用训练集和验证集的图像样本、分类标签样本和权重标签样本训练和验证神经网络模型包括特征提取模块和与特征提取模块连接的多任务学习模块，多任务学习模块用于完成分类任务、权重预测的线性回归任务及任务间的交互；
所述任务间的交互为将权重预测的线性回归任务最后一层卷积层输出的结果与分类任务最后一层卷积层输出的结果进行点乘操作，将点乘结果进行分类预测计算分类损失。
4.根据权利要求3所述的方法，其特征在于，所述利用训练集和验证集的图像样本、分类标签样本和权重标签样本训练和验证神经网络模型还包括域自适应模块，用于处理多种模态图像；所述域自适应模块与所述特征提取模块相连。
5.根据权利要求1所述的方法，其特征在于，构建训练集和验证集的分类标签样本包括：
检测已有数据集中二分类标签的细胞边缘轮廓，设置细胞边缘对应的像素值为第三像素值，从而构建包含像素值为第一像素值的背景、像素值为第三像素值的细胞边缘以及像素值为第二像素值的细胞的三分类标签图，其中，检测到的细胞边缘为图像边缘的情况下，设置细胞边缘对应的像素值为第二像素值；或者手动标注细胞图像，得到三分类标签图；
对预处理后的细胞图像和所述三分类标签图进行采样操作，获得训练集以及验证集的图像样本和三分类标签样本。
6.根据权利要求1所述的方法，其特征在于，利用训练和验证后的神经网络模型处理预处理后的细胞图像包括：对预处理后的细胞图像进行边界扩展，并进行重叠采样。
7.根据权利要求6所述的方法，其特征在于，利用训练和验证后的神经网络模型处理预处理后的细胞图像，获得细胞图像的分类预测结果，并得到细胞概率结果包括：采用批处理的方式，获得重叠采样后的多个细胞图像样本的输出结果，并根据细胞图像样本在细胞图像中的对应位置将某一位置出现的所有概率预测值进行累加并取均值或者取所有预测值的最大值作为该位置的概率预测结果，所有位置的概率预测结果构成细胞概率结果。
8.根据权利要求6所述的方法，其特征在于，在所述获得重叠采样后的多个细胞图像样本的输出结果后，根据采样大小建立加权图，其中，加权图中越靠近中心的位置权重越高；
取两个与细胞图像尺寸大小一致的全0矩阵，将每个细胞图像样本对应的输出结果与加权图进行点乘操作，根据当前细胞图像样本在细胞图像中的位置，将对应的点乘结果加到第一矩阵的对应位置；将每个细胞图像样本对应的加权图加到第二矩阵中各个细胞图像样本对应的位置；
将第一矩阵与第二矩阵进行点除操作，得到细胞概率结果。
9.根据权利要求1所述的方法，其特征在于，根据细胞概率结果获得细胞中心点包括：
将细胞概率结果反映为细胞概率图；
利用滑动窗口滑动检测细胞概率图，检测方法为：若滑动窗口的中心位置点为该滑动窗口的细胞概率结果最大值、该滑动窗口的细胞概率结果的均值大于第一阈值，且预处理后的细胞图像在该滑动窗口的中心位置点处的像素值大于第二阈值，则将该滑动窗口的中心位置点作为检测到的细胞中心点；
按照预定步长缩小滑动窗口尺寸，再次按照所述检测方法检测，同时，若该细胞中心点位于缩小滑动窗口尺寸前的滑动窗口检测到的细胞中心点的预设距离内，则该细胞中心点无效；
重复所述按照预定步长缩小滑动窗口尺寸，再次按照所述检测方法检测的步骤。
10.根据权利要求1-9任意一项所述的方法，其特征在于，该方法还包括：将细胞概率结果反映为细胞概率图，对细胞概率图进行二值化，通过形态学操作获得细胞分割图。
11.一种识别眼底图像中细胞的装置，其特征在于，该装置包括：预处理模块，数据集标签构建模块，网络构建与训练模块，网络测试输出模块，以及后处理模块；
数据集标签构建模块，用于构建训练集和验证集的图像样本和分类标签样本；其中分类标签包括细胞标签、细胞边缘标签和背景标签；
网络构建与训练模块，用于利用训练集和验证集的图像样本和分类标签样本训练和验证神经网络模型；
网络测试输出模块，用于利用训练和验证后的神经网络模型处理预处理后的细胞图像，获得细胞图像的分类预测结果，并得到细胞概率结果；
后处理模块，用于根据细胞概率结果获得细胞中心点。
CN202211071164.4A 2022-09-01 2022-09-01 一种识别眼底图像中细胞的方法及装置 Pending CN115424093A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211071164.4A CN115424093A (zh) 2022-09-01 2022-09-01 一种识别眼底图像中细胞的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211071164.4A CN115424093A (zh) 2022-09-01 2022-09-01 一种识别眼底图像中细胞的方法及装置

Publications (1)

Publication Number Publication Date
CN115424093A true CN115424093A (zh) 2022-12-02

Family

ID=84202653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211071164.4A Pending CN115424093A (zh) 2022-09-01 2022-09-01 一种识别眼底图像中细胞的方法及装置

Country Status (1)

Country Link
CN (1) CN115424093A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740099A (zh) * 2023-08-15 2023-09-12 南京博视医疗科技有限公司 一种oct图像分割方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN111524138A (zh) * 2020-07-06 2020-08-11 湖南国科智瞳科技有限公司 一种基于多任务学习的显微图像细胞识别方法及装置
CN111652927A (zh) * 2020-05-11 2020-09-11 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN112330625A (zh) * 2020-11-03 2021-02-05 杭州迪英加科技有限公司 免疫组化核染色切片细胞定位多域共适应训练方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886179A (zh) * 2019-02-18 2019-06-14 深圳视见医疗科技有限公司 基于Mask-RCNN的子宫颈细胞涂片的图像分割方法和系统
CN111652927A (zh) * 2020-05-11 2020-09-11 广东亿云付科技有限公司 一种基于cnn的癌细胞多尺度缩放定位检测方法
CN111524138A (zh) * 2020-07-06 2020-08-11 湖南国科智瞳科技有限公司 一种基于多任务学习的显微图像细胞识别方法及装置
CN112330625A (zh) * 2020-11-03 2021-02-05 杭州迪英加科技有限公司 免疫组化核染色切片细胞定位多域共适应训练方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CAICEDO JC 等: "Nucleus segmentation across imaging experiments: the 2018 Data Science Bowl", 《NAT METHODS》, vol. 16, no. 12, pages 1247 - 1253, XP036994558, DOI: 10.1038/s41592-019-0612-7 *
CAICEDO JUAN C 等: "Evaluation of Deep Learning Strategies for Nucleus Segmentation in Fluorescence Images", 《CYTOMETRY, PART A》, vol. 95, no. 9, pages 952 - 965, XP055730122, DOI: 10.1002/cyto.a.23863 *
CUI YUXIN 等: "A deep learning algorithm for one-step contour aware nuclei segmentation of histopathology images", 《MEDICAL & BIOLOGICAL ENGINEERING & COMPUTING》, pages 2027 - 2043 *
DAVID A VAN VALEN 等: "Deep Learning Automates the Quantitative Analysis of Individual Cells in Live-Cell Imaging Experiments", 《PLOS COMPUTATIONAL BIOLOGY》, vol. 12, no. 11, pages 1 - 24 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116740099A (zh) * 2023-08-15 2023-09-12 南京博视医疗科技有限公司 一种oct图像分割方法及装置
CN116740099B (zh) * 2023-08-15 2023-11-14 南京博视医疗科技有限公司 一种oct图像分割方法及装置

Similar Documents

Publication Publication Date Title
CN109345508B (zh) 一种基于两阶段神经网络的骨龄评价方法
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN110084173B (zh) 人头检测方法及装置
Elangovan et al. Glaucoma assessment from color fundus images using convolutional neural network
CN109754017B (zh) 基于可分离的三维残差网络和迁移学习高光谱图像分类方法
CN107464250B (zh) 基于三维mri图像的乳腺肿瘤自动分割方法
CN108648191B (zh) 基于贝叶斯宽度残差神经网络的害虫图像识别方法
US10339651B2 (en) Simultaneous feature extraction and dictionary learning using deep learning architectures for characterization of images of heterogeneous tissue samples
CN111259982A (zh) 一种基于注意力机制的早产儿视网膜图像分类方法和装置
CN107563433B (zh) 一种基于卷积神经网络的红外小目标检测方法
US20190164047A1 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
CN111986183B (zh) 一种染色体散型图像自动分割识别系统及装置
US20200134382A1 (en) Neural network training utilizing specialized loss functions
EP3671635B1 (en) Curvilinear object segmentation with noise priors
CN114399480A (zh) 蔬菜叶片病害严重程度检测方法及装置
CN116012291A (zh) 工业零件图像缺陷检测方法及系统、电子设备和存储介质
CN111815563A (zh) 一种U-Net与区域增长PCNN相结合的视网膜视盘分割方法
CN116758336A (zh) 一种基于人工智能的医学图像智能分析系统
CN115424093A (zh) 一种识别眼底图像中细胞的方法及装置
CN112991281B (zh) 视觉检测方法、系统、电子设备及介质
CN111968087B (zh) 一种植物病害区域检测方法
CN111210398A (zh) 基于多尺度池化的白细胞识别系统
CN116740728B (zh) 一种用于晶圆读码器动态获取方法和系统
CN116092170A (zh) 一种基于大数据技术的专利价值分析系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination