CN116229457A - 基于卷积神经网络的多模态显微图像细胞分割方法 - Google Patents

基于卷积神经网络的多模态显微图像细胞分割方法 Download PDF

Info

Publication number
CN116229457A
CN116229457A CN202310111030.9A CN202310111030A CN116229457A CN 116229457 A CN116229457 A CN 116229457A CN 202310111030 A CN202310111030 A CN 202310111030A CN 116229457 A CN116229457 A CN 116229457A
Authority
CN
China
Prior art keywords
segmentation
cell
image
loss
branch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310111030.9A
Other languages
English (en)
Inventor
冯尊磊
胡凯文
张圣旭明
俞晓天
宋明黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202310111030.9A priority Critical patent/CN116229457A/zh
Publication of CN116229457A publication Critical patent/CN116229457A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

一种基于卷积神经网络的多模态显微图像细胞分割方法，包括下列步骤：1)收集及标注多模态显微镜细胞图像数据集；2)生成细胞分割数据集中间监督目标；3)构建启发式模态分析器；4)构建基于检测框的深度卷积网络细胞分割分支；5)优化基于检测框的深度卷积网络细胞分割分支；6)处理难样本及构建分割质量估计模块；7)基于两步骤分水岭分割算法生成掩膜；8)自动选取分割结果。本发明可以对多模态细胞显微镜图像数据进行细胞分割。本发明采用多分支方法，启发式识别输入图像模态并调用对应模型，并使用两步骤分水岭分割方法增加细胞识别能力，并利用质量估计模块智能调用备用分支并选取较优结果，具有较强的实用性。

Description

基于卷积神经网络的多模态显微图像细胞分割方法
技术领域
本发明属于显微图像细胞分割领域，针对现有基于单一模态设计的细胞分割方法在多模态显微镜图像下性能较差的问题，提出了一种基于卷积神经网络的多模态显微图像细胞分割方法，按照形态对细胞分类，训练适应不同形态细胞的卷积神经网络细胞分割分支，利用质量估计模块自动选取最佳分割结果。
背景技术
细胞分割是生物医学图像分析领域的基础步骤，它的目的是将显微镜图像中的所有细胞识别、编号并分割出来。由于细胞形态及计数结果在生物医学图像分析中往往有重要意义，其性能对最终的实验结果有强烈的影响。随着计算机科学技术的发展，深度学习在各领域均展现了卓越的效果。近年来，基于卷积神经网络的细胞图像分割技术已在一些细胞图像上取得了优异的性能，根据基本思路不同，这些方法可分为三类：边界感知的细胞分割、基于标记的分水岭细胞分割以及基于梯度流追踪的细胞分割方法。边界感知的细胞分割往往针对大小相近的细胞设计，通过将细胞边缘像素设定为第三类，成功将粘连细胞区分开；基于标记的分水岭细胞分割方法则将传统的分水岭通用分割算法与深度学习结合，利用卷积神经网络对每个细胞生成一个单独标记并回归分水岭能量图，基于这些结果区分相邻细胞；基于梯度流追踪的细胞分割方法通过卷积神经网络对图像中每个细胞像素预测一个梯度场，并使细胞像素沿这一梯度场运动，使得各细胞的像素互相远离，从而区分出粘连细胞。然而，这些方法往往对数据集内的细胞在形态，大小等方面具有一定要求，无法实现多模态复杂场景下多种类细胞分割。例如，在边界感知的细胞分割中往往假定数据集内细胞大小相近且不至于太小，从而通过距离阈值将细胞边界附近的一部分像素设定为边缘。因此，这类方法往往只应用在单一种类的细胞上，同时，由于需要手动调整边缘宽度来获得最佳效果，通过这类方法实现细胞分割往往需要较高的计算代价。
发明内容
本发明要解决现有基于单一模态设计的细胞分割方法在多模态显微镜图像下性能较差的问题。现有的三类细胞分割方法对数据集中的细胞形态、大小等指标具有一定要求。例如，边界感知的细胞分割假定数据集中细胞大小及形态相近；基于标记的分水岭细胞分割则假定细胞凸度较高、近似于圆形；基于梯度流追踪的细胞分割方法则对细胞大小有一定要求。这些要求极大地限制了现有细胞分割方法在多模态细胞显微镜图像数据集上的分割性能。本发明针对上述问题，设计了一种基于卷积神经网络的多模态显微图像细胞分割计算机方法，在细胞分割中利用启发式方法自动识别输入图像模态并调用相应卷积神经网络分割分支，并使用质量估计模块选取最佳分割结果。
基于卷积神经网络的多模态显微图像细胞分割方法，包括如下步骤：
1)收集及标注多模态显微镜细胞图像数据集；
1.1收集多模态显微镜细胞图像数据；
首先收集多模态显微镜细胞图像数据；数据集覆盖不同形态的细胞，包括圆形或近似圆形细胞、异形突触细胞及狭长细胞；
1.2整理及清洗数据；
对收集到的数据进行整理及清洗，去除模糊、带噪、损坏的显微镜图片，并将图像数据统一转换为RGB图像；对于高分辨率的显微镜图像，将其切分至预设大小；
1.3精确标注数据；
在完成清洗的数据基础上，对收集到的细胞图像进行像素级标注；对于现有的公开细胞分割数据集，直接对其标注进行清洗并转换为像素级标注；各类细胞图片的标注应分别不少于两百张；
2)生成细胞分割数据集中间监督目标；
基于已有标注合成各图像数据的检测框、前景掩膜、分割能量图以及备用细胞分割方法所需的中间监督目标；其中分割能量图在传统分水岭能量图上得到：对于图像中的任意细胞c，利用欧几里德距离变换计算出细胞像素点p(c)到边界的距离fp(c)；进一步使用细胞内距离中位数规范化，使细胞内能量范围被限制在0～2；
3)构建启发式模态分析器；
基于图像数据的颜色统计信息对训练数据进行启发式分类；通过分析器统计图像在RGB三通道上的颜色偏差，将输入数据分类为单通道，双通道以及三通道图像；其中单通道图像满足对于图中像素p＝(r,g,b)，max(r,g,b)-min(r,g,b)≤4；双通道图像满足存在一个颜色通道的值为0；其余为三通道图像；
4)构建基于检测框的深度卷积网络细胞分割分支；
4.1构建网络基本架构；
基于检测——分割的两步骤细胞分割，采用双分支架构；网络整体使用编码器——解码器范式，骨干网络采用ImageNet数据集预训练的ResNet-18模型；当图像数据经数据增强送入到骨干网络后，高层特征被继续送入解码器部分，经两次上采样并不断与中层特征融合后输入到两个任务分支中；检测分支基于两次上采样的融合特征直接在各位置输出候选检测框，分割分支进行两次额外的上采样并与浅层特征融合，在各像素处预测前景掩膜及分割能量图；
4.2设定损失函数；
在损失函数方面，检测分支的损失函数Ldet包括边框回归损失Lbox及置信度损失Lobj两部分；其中边框回归损失采用CIoU损失函数；置信度损失则使用改进的交叉熵损失函数：在传统交叉熵的基础上，对同一批输入样本x1,x2,…,xk的置信度损失l1,obj,l2,obj,…,lk,obj依据每个样本的细胞数量进行权重自动调整：设各样本的细胞数量为m1,m2,…,mk,若样本xi不包含细胞，权重为0，否则权重
Figure BDA0004076836530000031
Figure BDA0004076836530000032
最终置信度损失
Figure BDA0004076836530000033
检测分支的损失函数Ldet＝Lobj+λlocLloc,其中λloc是定位损失比例系数；分割分支生成多张中间预测图，其中前景掩膜采用交叉熵损失函数优化，而分割能量图采用均方误差损失；总损失函数为两分支损失加和:L＝Ldet+λsegLseg；λseg为分割损失比例系数；
5)优化基于检测框的深度卷积网络细胞分割分支；
在训练好的分割分支的基础上，遍历含Nl个标注样本的训练集
Figure BDA0004076836530000034
使用F1-Score指标估计各训练集样本的细胞分割质量，并从训练集中移除F1-Score极低的样本得到新训练集/>
Figure BDA0004076836530000035
Figure BDA0004076836530000041
以及对应的标注集/>
Figure BDA0004076836530000042
对于包含Nu个无标注样本的训练集/>
Figure BDA0004076836530000043
使用该分支预测出伪标签Yu；随后分割分支同时使用这两个数据集进行调优，调优过程与初次训练基本一致，但将减小伪标签样本的损失权重λunlabel，故最终的损失函数为/>
Figure BDA0004076836530000044
粗优化完成后，重新生成伪标签，并根据模态分析器结果将/>
Figure BDA0004076836530000045
及Xu分为三个子数据集，在粗优化分支基础上分别使用三个子数据集进行针对性调优，过程仍与前述一致；
6)处理难样本及构建分割质量估计模块；
对于F1-Score极低而移除的难样本，引入针对性设计的开源细胞分割方法，将难样本整理后输入到这些方法中训练，得到备用分割模型；构建分割质量估计模块，对于任意的输入图片I，细胞分割框架将输出前景分割置信图MI，模块统计前景像素的平均置信度作为质量估计Q，即Q＝Mean(MI[MI>0.5])，其中MI[MI>0.5]表示前景分割置信图中置信度高于0.5的区域，Mean()是均值函数；
7)基于两步骤分水岭分割算法生成掩膜；
在预测阶段，对于输入的细胞图像数据，经预处理及模态分析后，调用对应的深度卷积网络细胞分割优化分支，输出细胞检测框、分水岭能量图以及前景掩膜；此后，首先使用非极大值抑制算法除去多余检测框，并将检测框中心作为各细胞的初始标记，将分水岭能量图小于第一阈值-E1的前景部分使用分水岭算法分割，再从剩下的未标记前景区域选择能量小于第二阈值-E2的部分作为剩余细胞的标记，再次执行分水岭分割算法，除去输出中小于预设像素阈值的物体及空洞后得到最终的分割掩膜预测；
8)自动选取分割结果；
随后使用质量估计模块估计初始分割质量，若初始预测质量低于高分割质量阈值，将继续调用备用分割方法进行分割；当初始预测质量低于可容忍分割质量阈值或最大质量提升超过质量提升阈值时，选择备用分割方法的最佳分割结果。
优选地，在步骤1.2中，RGB图像格式采用256级，同时，高分辨率显微镜图像的预设大小为640×640。
优选地，在步骤4.2中，定位损失比例系数被设定为0.05，分割损失比例系数被设定为0.01。
优选地，在步骤5中，伪标签样本的损失权重减少至0.01～0.05；在步骤7中，分水岭能量图的第一、第二阈值分别被设定为0.8、1.25，预设像素阈值为10像素。
优选地，在步骤8中，高分割质量阈值被设定为0.8，可容忍分割质量阈值为0.7，质量提升阈值被设为0.2。
本发明的方法是一种基于卷积神经网络的多模态显微图像细胞分割方法，用于对不同模态细胞显微镜图像进行准确有效的自动分割。该方法首先利用启发式模态分析器识别输入显微镜图像模态，随后依据模态调用相应细胞分割分支，当分支预测质量不满足质量估计模块的预设要求，会进一步调用备用方法，并自动选择较优分割结果。
本发明具有的有益效果是：可以对多模态显微细胞图像中不同形态细胞进行准确有效分割，为后续生物医学图像分析处理提供保证，此外，通过对多模态显微图像细胞分割的有效支持，该方法能快速迁移到新数据集上，极大降低从头训练卷积神经网络细胞分割模型标注及训练成本。
附图说明
图1是本发明方法的流程图。
具体实施方式
下面结合附图，进一步说明本发明的技术方案。
基于卷积神经网络的多模态显微图像细胞分割方法，包括如下步骤：
1)收集及标注多模态显微镜细胞图像数据集；
1.1收集多模态显微镜细胞图像数据；
由于深度学习需要大量数据来取得优异的性能以及在未见数据上的泛化性，首先收集多模态显微镜细胞图像数据。数据集覆盖不同形态的细胞，包括圆形或近似圆形细胞(如红细胞)、异形突触细胞(如神经细胞)及狭长细胞(如弧菌)以保证对各类细胞分割的泛化性；
1.2整理及清洗数据；
随后对收集到的数据进行整理及清洗，去除模糊、带噪、损坏的显微镜图片，并将图像数据统一转换为256级RGB图像；对于高分辨率的显微镜图像，将其切分至640×640大小；
1.3精确标注数据；
在完成清洗的数据基础上，对收集到的细胞图像进行像素级标注，即图像掩膜对应位置的值为像素所在的细胞编号。对于现有的公开细胞分割数据集，直接对其标注进行清洗并转换为像素级标注供后续使用。为了达到合理的分割性能，各类细胞图片的标注应分别不少于两百张；
2)生成细胞分割数据集中间监督目标；
为了训练细胞分割卷积神经网络，基于已有标注合成各图像数据的检测框、前景掩膜、分割能量图以及备用细胞分割方法所需的中间监督目标。其中分割能量图在传统分水岭能量图上得到：对于图像中的任意细胞c，利用欧几里德距离变换计算出细胞像素点p(c)到边界的距离dp(c)；进一步使用细胞内距离中位数规范化，使细胞内能量范围被限制在0～2。这一手段避免了不同缩放比例的同一图片的能量值范围不同的问题，提升了数值稳定性，使模型更易训练；
3)构建启发式模态分析器；
基于图像数据的颜色统计信息对训练数据进行启发式分类。通过分析器统计图像在RGB三通道上的颜色偏差，将输入数据分类为单通道，双通道以及三通道图像，作为先验信息来选择对应优化细胞分割分支。其中单通道图像常来自于相对比显微镜及微分干涉显微镜，以灰度图或RGB格式保存，对于图中像素p＝(r,g,d)，max(r,g,b)-min(r,g,b)≤4；双通道图像常来自于荧光显微镜，存在一个颜色通道的值为0；其余为三通道图像，常来自于亮场显微镜。
4)构建基于检测框的深度卷积网络细胞分割分支；
4.1构建网络基本架构；
本发明基于检测——分割的两步骤细胞分割，采用双分支架构来实现基于检测框的深度卷积网络细胞分割。网络整体使用编码器——解码器范式，骨干网络采用ImageNet数据集预训练的ResNet-18模型。当图像数据经数据增强送入到骨干网络后，高层特征被继续送入解码器部分，经两次上采样并不断与中层特征融合后输入到两个任务分支中。检测分支基于两次上采样的融合特征直接在各位置输出候选检测框，分割分支进行两次额外的上采样并与浅层特征融合，在各像素处预测前景掩膜及分割能量图。
4.2设定损失函数；
在损失函数方面，检测分支的损失函数Ldet包括边框回归损失Lbox及置信度损失Lobj两部分。其中边框回归损失采用CIoU损失函数，置信度损失则使用改进的交叉熵损失函数，使模型预测每个候选检测框与真实框的IoU。在传统交叉熵的基础上，本发明对同一批输入样本x1,x2,…,xk的置信度损失l1,obj,l2,obj,…,lk,obj依据每个样本的细胞数量进行权重自动调整，来促进网络对低细胞密度图像的学习：设各样本的细胞数量为m1,m2,…,mk,若样本xi不包含细胞，权重为0，否则权重
Figure BDA0004076836530000071
最终置信度损失
Figure BDA0004076836530000072
Figure BDA0004076836530000073
检测分支的损失函数Ldet＝Lobj+λlocLloc,其中λloc是定位损失比例系数，被设置为0.05。分割分支生成多张中间预测图，其中前景掩膜采用交叉熵损失函数优化，而分割能量图采用均方误差损失。总损失函数为两分支损失加和:L＝Ldet+λsegLseg。λseg为分割损失比例系数0.01。
5)优化基于检测框的深度卷积网络细胞分割分支；
在训练好的分割分支的基础上，遍历含Nl个标注样本的训练集
Figure BDA0004076836530000074
使用F1-Score指标估计各训练集样本的细胞分割质量，并从训练集中移除F1-Score极低的样本得到新训练集/>
Figure BDA0004076836530000075
Figure BDA0004076836530000076
以及对应的标注集/>
Figure BDA0004076836530000077
对于包含Nu个无标注样本的训练集/>
Figure BDA0004076836530000078
使用该分支预测出伪标签/>
Figure BDA0004076836530000079
随后分割分支同时使用这两个数据集进行调优，调优过程与初次训练基本一致，但为了降低伪标签的噪声影响，在训练过程中将模型对伪标签样本的损失权重λunlabel减小至0.01～0.05，故最终的损失函数为/>
Figure BDA00040768365300000710
粗优化完成后，重新生成伪标签，并根据模态分析器结果将/>
Figure BDA00040768365300000711
及Xu分为三个子数据集，在粗优化分支基础上分别使用三个子数据集进行针对性调优，过程仍与前述一致。
6)处理难样本及构建分割质量估计模块；
为了支持基于检测框的深度卷积网络细胞分割分支无法良好分割的细胞类型，本发明引入针对性设计的细胞分割方法，并采用分割质量估计模块，以对各类型细胞良好分割提供有效保证。对于F1-Score极低而移除的样本，将其整理后输入到备用细胞分割框架中训练，从而针对性地提高该类型细胞的性能。为判断各方法的分割效果，本发明构建分割质量估计模块，对于任意的输入图片I，细胞分割框架将输出前景分割置信图MI，模块统计前景像素的平均置信度作为质量估计Q，即Q＝Mean(MI[MI>0.5])，其中MI[MI>0.5]表示前景分割置信图中置信度高于0.5的区域，Mean()是均值函数。
7)基于两步骤分水岭分割算法生成掩膜；
在预测阶段，对于输入的细胞图像数据，经预处理及模态分析后，调用对应的深度卷积网络细胞分割优化分支，输出细胞检测框、分水岭能量图以及前景掩膜。此后，首先使用非极大值抑制算法除去多余检测框，并将检测框中心作为各细胞的初始标记，将分水岭能量图小于第一阈值-E1(E1默认值为0.8)的前景部分使用分水岭算法分割，再从剩下的未标记前景区域选择能量小于第二阈值-E2(E2默认值为1.25)的部分作为剩余细胞的标记，再次执行分水岭分割算法，除去输出中小于10像素的物体及空洞后得到最终的分割掩膜预测。
8)自动选取分割结果；
随后使用质量估计模块估计初始分割质量，若初始预测质量低于0.8，将继续调用备用分割方法进行分割。当初始预测质量低于0.7或最大质量提升超过0.2时，选择备用分割方法的最佳分割结果。
通过上述步骤，可以实现对多模态显微细胞图像中不同形态细胞进行准确有效分割，为后续生物医学图像分析处理提供保证，此外，通过对多模态显微图像细胞分割的有效支持，该方法能快速迁移到新数据集上，极大降低从头训练卷积神经网络细胞分割模型标注及训练成本。
本发明采用多分支方法，启发式识别输入图像模态并调用对应模型，并使用两步骤分水岭分割方法增加细胞识别能力，并利用质量估计模块智能调用备用分支并选取较优结果，具有较强的实用性。
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。

Claims (6)

1.基于卷积神经网络的多模态显微图像细胞分割方法，包括如下步骤：
1)收集及标注多模态显微镜细胞图像数据集；
1.1收集多模态显微镜细胞图像数据；首先收集多模态显微镜细胞图像数据；数据集覆盖不同形态的细胞，包括圆形或近似圆形细胞、异形突触细胞及狭长细胞；
1.2整理及清洗数据；对收集到的数据进行整理及清洗，去除模糊、带噪、损坏的显微镜图片，并将图像数据统一转换为RGB图像；对于高分辨率的显微镜图像，将其切分至预设大小；
1.3精确标注数据；
在完成清洗的数据基础上，对收集到的细胞图像进行像素级标注；对于现有的公开细胞分割数据集，直接对其标注进行清洗并转换为像素级标注；各类细胞图片的标注应分别不少于两百张；
2)生成细胞分割数据集中间监督目标；
基于已有标注合成各图像数据的检测框、前景掩膜、分割能量图以及备用细胞分割方法所需的中间监督目标；其中分割能量图在传统分水岭能量图上得到：对于图像中的任意细胞c，利用欧几里德距离变换计算出细胞像素点p(c)到边界的距离dp(c)；进一步使用细胞内距离中位数规范化，使细胞内能量范围被限制在0～2；
3)构建启发式模态分析器；
基于图像数据的颜色统计信息对训练数据进行启发式分类；通过分析器统计图像在RGB三通道上的颜色偏差，将输入数据分类为单通道，双通道以及三通道图像；其中单通道图像满足对于图中像素p＝(r,g,b)，max(r,g,b)-min(r,g,b)≤4；双通道图像满足存在一个颜色通道的值为0；其余为三通道图像；
4)构建基于检测框的深度卷积网络细胞分割分支；
4.1构建网络基本架构；
基于检测——分割的两步骤细胞分割，采用双分支架构；网络整体使用编码器——解码器范式，骨干网络采用ImageNet数据集预训练的ResNet-18模型；当图像数据经数据增强送入到骨干网络后，高层特征被继续送入解码器部分，经两次上采样并不断与中层特征融合后输入到两个任务分支中；检测分支基于两次上采样的融合特征直接在各位置输出候选检测框，分割分支进行两次额外的上采样并与浅层特征融合，在各像素处预测前景掩膜及分割能量图；
4.2设定损失函数；
在损失函数方面，检测分支的损失函数Ldet包括边框回归损失Lbox及置信度损失Lobj两部分；其中边框回归损失采用CIoU损失函数；置信度损失则使用改进的交叉熵损失函数：在传统交叉熵的基础上，对同一批输入样本x1，x2，...，xk的置信度损失l1，obj，l2，obj，...，lk，obj依据每个样本的细胞数量进行权重自动调整：设各样本的细胞数量为m1，m2，...，mk，若样本xi不包含细胞，权重为0，否则权重
Figure FDA0004076836520000021
Figure FDA0004076836520000022
最终置信度损失
Figure FDA0004076836520000023
检测分支的损失函数Ldet＝Lobj+λlocLloc，其中λloc是定位损失比例系数；分割分支生成多张中间预测图，其中前景掩膜采用交叉熵损失函数优化，而分割能量图采用均方误差损失；总损失函数为两分支损失加和：L＝Ldet+λsegLseg；λseg为分割损失比例系数；
5)优化基于检测框的深度卷积网络细胞分割分支；
在训练好的分割分支的基础上，遍历含Nl个标注样本的训练集
Figure FDA0004076836520000024
使用F1-Score指标估计各训练集样本的细胞分割质量，并从训练集中移除F1一Score极低的样本得到新训练集/>
Figure FDA0004076836520000025
Figure FDA0004076836520000026
以及对应的标注集/>
Figure FDA0004076836520000027
对于包含Nu个无标注样本的训练集/>
Figure FDA0004076836520000028
使用该分支预测出伪标签Yu；随后分割分支同时使用这两个数据集进行调优，调优过程与初次训练基本一致，但将减小伪标签样本的损失权重λunlabel，故最终的损失函数为/>
Figure FDA0004076836520000029
粗优化完成后，重新生成伪标签，并根据模态分析器结果将/>
Figure FDA00040768365200000210
及Xu分为三个子数据集，在粗优化分支基础上分别使用三个子数据集进行针对性调优，过程仍与前述一致；
6)处理难样本及构建分割质量估计模块；
对于F1-Score极低而移除的难样本，引入针对性设计的开源细胞分割方法，将难样本整理后输入到这些方法中训练，得到备用分割模型；构建分割质量估计模块，对于任意的输入图片I，细胞分割框架将输出前景分割置信图MI，模块统计前景像素的平均置信度作为质量估计Q，即Q＝Mean(MI[MI＞0.5])，其中MI[MI＞0.5]表示前景分割置信图中置信度高于0.5的区域，Mean()是均值函数；
7)基于两步骤分水岭分割算法生成掩膜；
在预测阶段，对于输入的细胞图像数据，经预处理及模态分析后，调用对应的深度卷积网络细胞分割优化分支，输出细胞检测框、分水岭能量图以及前景掩膜；此后，首先使用非极大值抑制算法除去多余检测框，并将检测框中心作为各细胞的初始标记，将分水岭能量图小于第一阈值--E1的前景部分使用分水岭算法分割，再从剩下的未标记前景区域选择能量小于第二阈值-E2的部分作为剩余细胞的标记，再次执行分水岭分割算法，除去输出中小于预设像素阈值的物体及空洞后得到最终的分割掩膜预测；
8)自动选取分割结果；
随后使用质量估计模块估计初始分割质量，若初始预测质量低于高分割质量阈值，将继续调用备用分割方法进行分割；当初始预测质量低于可容忍分割质量阈值或最大质量提升超过质量提升阈值时，选择备用分割方法的最佳分割结果。
2.如权利要求1所述的基于卷积神经网络的多模态显微图像细胞分割方法，其特征在于：在步骤1.2中，RGB图像格式采用256级，同时，高分辨率显微镜图像的预设大小为640×640。
3.如权利要求1所述的基于卷积神经网络的多模态显微图像细胞分割方法，其特征在于：在步骤4.2中，定位损失比例系数被设定为0.05，分割损失比例系数被设定为0.01。
4.如权利要求1所述的基于卷积神经网络的多模态显微图像细胞分割方法，其特征在于：在步骤5中，伪标签样本的损失权重减少至0.01～0.05。
5.如权利要求1所述的基于卷积神经网络的多模态显微图像细胞分割方法，其特征在于：在步骤7中，分水岭能量图的第一、第二阈值分别被设定为0.8、1.25，预设像素阈值为10像素。
6.如权利要求1所述的基于卷积神经网络的多模态显微图像细胞分割方法，其特征在于：在步骤8中，高分割质量阈值被设定为0.8，可容忍分割质量阈值为0.7，质量提升阈值被设为0.2。
CN202310111030.9A 2023-02-13 2023-02-13 基于卷积神经网络的多模态显微图像细胞分割方法 Pending CN116229457A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310111030.9A CN116229457A (zh) 2023-02-13 2023-02-13 基于卷积神经网络的多模态显微图像细胞分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310111030.9A CN116229457A (zh) 2023-02-13 2023-02-13 基于卷积神经网络的多模态显微图像细胞分割方法

Publications (1)

Publication Number Publication Date
CN116229457A true CN116229457A (zh) 2023-06-06

Family

ID=86588614

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310111030.9A Pending CN116229457A (zh) 2023-02-13 2023-02-13 基于卷积神经网络的多模态显微图像细胞分割方法

Country Status (1)

Country Link
CN (1) CN116229457A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863352A (zh) * 2023-09-05 2023-10-10 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863352A (zh) * 2023-09-05 2023-10-10 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法
CN116863352B (zh) * 2023-09-05 2024-01-02 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法

Similar Documents

Publication Publication Date Title
CN110428432B (zh) 结肠腺体图像自动分割的深度神经网络算法
CN110533684B (zh) 一种染色体核型图像切割方法
CN107452010A (zh) 一种自动抠图算法和装置
CN114758288B (zh) 一种配电网工程安全管控检测方法及装置
CN109035196B (zh) 基于显著性的图像局部模糊检测方法
CN113111916B (zh) 一种基于弱监督的医学图像语义分割方法和系统
CN108305253A (zh) 一种基于多倍率深度学习的病理全切片诊断方法
CN112488229A (zh) 一种基于特征分离和对齐的域自适应无监督目标检测方法
KR101886469B1 (ko) 분류기의 분류결과의 개선방법
CN113763371B (zh) 病理图像的细胞核分割方法及装置
CN113222933A (zh) 一种应用于肾细胞癌全链条诊断的图像识别系统
CN116721414A (zh) 一种医学图像细胞分割与跟踪方法
CN116665095B (zh) 一种运动舰船检测方法、系统、存储介质和电子设备
CN116229457A (zh) 基于卷积神经网络的多模态显微图像细胞分割方法
CN114612664A (zh) 一种基于双边分割网络的细胞核分割方法
CN112949378A (zh) 一种基于深度学习网络的细菌显微图像分割方法
CN117252893A (zh) 一种乳腺癌病理图像的分割处理方法
CN109147932A (zh) 癌细胞her2基因扩增分析方法及系统
CN113837255B (zh) 预测以细胞为基质的抗体核型类别的方法、设备和介质
CN113850792A (zh) 一种基于计算机视觉的细胞分类计数方法及系统
Salvi et al. cyto‐Knet: An instance segmentation approach for multiple myeloma plasma cells using conditional kernels
CN113947732A (zh) 基于强化学习图像亮度调节的空中视角人群计数方法
Chang et al. Batch-invariant nuclear segmentation in whole mount histology sections
CN115063679B (zh) 一种基于深度学习的路面质量评估方法
CN115994918A (zh) 一种细胞分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination