CN113706570B - 一种斑马鱼荧光图像的分割方法及装置 - Google Patents

一种斑马鱼荧光图像的分割方法及装置 Download PDF

Info

Publication number
CN113706570B
CN113706570B CN202110882760.XA CN202110882760A CN113706570B CN 113706570 B CN113706570 B CN 113706570B CN 202110882760 A CN202110882760 A CN 202110882760A CN 113706570 B CN113706570 B CN 113706570B
Authority
CN
China
Prior art keywords
image
zebra fish
fluorescence image
channel
multichannel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110882760.XA
Other languages
English (en)
Other versions
CN113706570A (zh
Inventor
陈俊周
赵楠
韦艳宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202110882760.XA priority Critical patent/CN113706570B/zh
Publication of CN113706570A publication Critical patent/CN113706570A/zh
Application granted granted Critical
Publication of CN113706570B publication Critical patent/CN113706570B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种斑马鱼荧光图像的分割方法及装置，所述方法包括：先获取多通道的斑马鱼荧光图像；再将多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使斑马鱼血管分割模型进行分割最终输出分割结果。其中，斑马鱼血管分割模型用于根据ECA注意力机制对多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据单通道的斑马鱼荧光图像进行分割。采用本发明实施例能提高对斑马鱼荧光图像的分割精度。

Description

一种斑马鱼荧光图像的分割方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种斑马鱼荧光图像的分割方法及装置。
背景技术
斑马鱼的基因组与人类的基因组有87％的同源性，其肿瘤发生过程与人类的肿瘤非常相似，将人类基因组序列与斑马鱼完整的基因组序列进行比较，发现斑马鱼在致癌基因、抑癌基因和细胞周期调控基因上具有高度的一致性，因此，斑马鱼被广泛用作研究肿瘤、心血管疾病、神经系统疾病等疾病的发病机制的模型，同时也广泛用于毒性研究和药物研发。由于斑马鱼的透明性特征，研究者可以利用显微镜直接观察其各器官组织，为了更加清晰的观察斑马鱼表型变化，研究者们已经通过基因操作手段，成功将荧光蛋白导入到斑马鱼体内，荧光蛋白在特定的组织器官中表达，就可以更加轻松实现在显微镜下观察到特定器官的发育与生理变化以及血管的生成及变化过程。在基于成像的实验中，利用显微镜成像技术生成斑马鱼高内涵血管荧光图像，通过观察斑马鱼血管结构的变化(变短、变粗、分支数等)进行相关研究。因此，精准的分割出斑马鱼荧光图不同血管区域对后续的分析流程起着至关重要的作用。
斑马鱼血管结构复杂、形状多样，成像过程中部分图片背景也被荧光染色，而且不同斑马鱼血管区域大小形状不一、荧光强度以及对比度也不一致。因此，若是通过人工进行斑马鱼血管区域的分割，则需要熟练而且专业的研究人员来操作，但这种方式存在分割速度慢、耗费大量人力资源等缺点；若是通过深度学习模型进行斑马鱼血管区域的分割，由于利用显微镜成像技术获得的斑马鱼荧光图像是24位的三通道图像、含有大量通道冗余，所以导致斑马鱼荧光图像的特征表达能力不高，分割过程中用深度学习模型提取特征时效果不佳，最终导致分割的精度不高。
发明内容
本发明实施例提供一种斑马鱼荧光图像分割方法及装置，通过对斑马鱼荧光图像进行图像增强处理增强了特征表达能力，从而提高了对斑马鱼荧光图像的分割精度。
本申请实施例的第一方面提供了一种斑马鱼荧光图像的分割方法，包括：
获取多通道的斑马鱼荧光图像；
将多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使斑马鱼血管分割模型进行分割最终输出分割结果；其中，斑马鱼血管分割模型用于根据ECA注意力机制对多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据单通道的斑马鱼荧光图像进行分割。
在第一方面的一种可能的实现方式中，根据ECA注意力机制对多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，具体为：
对多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成第一图像；
使用ECA注意力机制获取第一图像的重要程度，并根据重要程度进行图像增强处理后，生成第二图像；其中，第一图像和第二图像的维度均为第一维度；
将第二图像与多通道斑马鱼荧光图像拼接后生成第三图像；其中，第三图像的维度为第二维度；
将第三图像进行降维处理，生成单通道的斑马鱼荧光图像。
在第一方面的一种可能的实现方式中，使用ECA注意力机制获取第一图像的重要程度，并根据重要程度进行图像增强处理后，生成第二图像，具体为：
使用ECA注意力机制获取第一图像中每个通道的重要程度，根据重要程度增强重要特征表达后，完成图像增强处理并生成第二图像。
在第一方面的一种可能的实现方式中，根据单通道的斑马鱼荧光图像进行分割，具体为：
将单通道的斑马鱼荧光图像进行特征提取，得到感兴趣特征图；
使用N个不同尺寸的卷积核进行池化操作得到N个池化结果后，对N个池化结果进行上采样，得到多个相同尺寸的采样特征图；其中，N为正整数；采样特征图的尺寸和感兴趣特征图的尺寸大小相同；
将感兴趣特征图和采样特征图进行拼接后，生成拼接特征图；
对拼接特征图进行分割，得到分割结果。
在第一方面的一种可能的实现方式中，斑马鱼血管分割模型的生成过程具体为：
获取训练样本集；其中，训练样本集包括：含血管区域标注的多通道的斑马鱼荧光图像；
将训练样本集输入神经网络模型中，设置神经网络模型的超参数，加载预训练权重，以使神经网络模型进行训练后生成所述斑马鱼血管分割模型。
在第一方面的一种可能的实现方式中，斑马鱼血管分割模型包括：自适应增强部分和网络分割部分；
其中，自适应增强部分用于根据ECA注意力机制对多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像；
网络分割部分用于根据单通道的斑马鱼荧光图像进行分割。
在第一方面的一种可能的实现方式中，自适应增强部分用于根据ECA注意力机制对多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，具体为：
自适应增强部分包括：第一卷积层、ECA层、第一跳跃连接层和第二卷积层；
其中，第一卷积层用于对多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，所述第一图像；
ECA层用于使用ECA注意力机制获取第一图像的重要程度，并根据重要程度进行图像增强处理后，生成第二图像；其中，第一图像和第二图像的维度均为第一维度；
第一跳跃连接层用于将第二图像与多通道斑马鱼荧光图像拼接后生成第三图像；其中，第三图像的维度为所述第二维度；
第二卷积层用于将第三图像进行降维处理，生成单通道的斑马鱼荧光图像。
在第一方面的一种可能的实现方式中，网络分割部分用于根据单通道的斑马鱼荧光图像进行分割，具体为：
网络分割部分包括：编码器、金字塔池化层、第二跳跃连接层和第三卷积层；
其中，编码器用于将单通道的斑马鱼荧光图像进行特征提取，得到感兴趣特征图；
金字塔池化层用于使用N个不同尺寸的卷积核进行池化操作得到N个池化结果后，对N个池化结果进行上采样，得到多个相同尺寸的采样特征图；其中，N为正整数；采样特征图的尺寸和感兴趣特征图的尺寸大小相同；
第二跳跃连接层用于将感兴趣特征图和采样特征图进行拼接后，生成拼接特征图；
第三卷积层用于对拼接特征图进行分割，得到分割结果。
本申请实施例的第二方面提供了一种斑马鱼荧光图像的分割装置，包括：获取模块和预测模块；
其中，获取模块用于获取多通道的斑马鱼荧光图像；
预测模块用于将多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使斑马鱼血管分割模型进行分割最终输出分割结果；其中，斑马鱼血管分割模型用于根据ECA注意力机制对多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据单通道的斑马鱼荧光图像进行分割。
在第二方面的一种可能的实现方式中，根据ECA注意力机制对多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，具体为：
对多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成第一图像；
使用ECA注意力机制获取第一图像的重要程度，并根据重要程度进行图像增强处理后，生成第二图像；其中，第一图像和第二图像的维度均为第一维度；
将第二图像与多通道斑马鱼荧光图像拼接后生成第三图像；其中，第三图像的维度为第二维度；
将第三图像进行降维处理，生成单通道的斑马鱼荧光图像。
相比于现有技术，本发明实施例提供的一种斑马鱼荧光图像的分割方法及装置，其有益效果在于：本发明实施例的分割方法，先获取多通道的斑马鱼荧光图像；再将所述多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使所述斑马鱼血管分割模型进行分割最终输出分割结果；其中，所述斑马鱼血管分割模型用于根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据所述单通道的斑马鱼荧光图像进行分割。
本发明实施例通过对多通道斑马鱼荧光图像进行图像增强处理、降维处理并得到单通道的斑马鱼荧光图像后，再对单通道的斑马鱼荧光图像进行分割，能够增加对重要特征的表达、减少通道冗余，有利于神经网络提取特征，从而提高了对斑马鱼荧光图像的分割精度。
其次，对分割网络进行了改进：在每个ResNet模块之后加入ECA注意力机制，能够提升模型的表达能力，有利于提升分割准确率。由上所述，ECA-ResNet34为即分割网络部分中的编码器，能够更有效地获取感兴趣区域的特征，从而进一步提升了对斑马鱼荧光图像的分割精度。
附图说明
图1是本发明一实施例提供的一种斑马鱼荧光图像的分割方法的流程示意图；
图2是本发明一实施例提供的斑马鱼血管分割模型的结构示意图；
图3是本发明一实施例提供的斑马鱼荧光图像分割结果示意图；
图4是本发明一实施例提供的一种斑马鱼荧光图像的分割装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参照图1，图1是本发明一实施例提供的一种斑马鱼荧光图像的分割方法的流程示意图，包括：
S101：获取多通道的斑马鱼荧光图像。
S102：将多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使斑马鱼血管分割模型进行分割最终输出分割结果。
其中，所述斑马鱼血管分割模型用于根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据所述单通道的斑马鱼荧光图像进行分割。
在本实施例中，所述根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，具体为：
对所述多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成第一图像；
使用ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成第二图像；其中，所述第一图像和所述第二图像的维度均为第一维度；
将所述第二图像与所述多通道斑马鱼荧光图像拼接后生成第三图像；其中，所述第三图像的维度为第二维度；
将所述第三图像进行降维处理，生成所述单通道的斑马鱼荧光图像。
其中，所述增加网络非线性处理具体为：并使用ReLU激活函数增加网络非线性。
在一具体实施例中，所述使用ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成第二图像，具体为：
使用所述ECA注意力机制获取所述第一图像中每个通道的重要程度，根据所述重要程度增强重要特征表达后，完成图像增强处理并生成所述第二图像。
在一具体实施例中，多通道斑马鱼荧光图像的维度为3维，多通道斑马鱼荧光图像即为三通道斑马鱼荧光图像；第一维度为64维、第二维度维67维，所述上述流程具体为：对三通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成64维的第一图像，即第一图像具有64个通道；使用ECA注意力机制获取第一图像中每个通道的重要程度，根据重要程度增强重要特征表达后，完成图像增强处理并生成64维的第二图像；将第二图像与三通道斑马鱼荧光图像拼接后生成第三图像，则第三图像的维度为67维；最后将第三图像进行降维处理，生成单通道的斑马鱼荧光图像，即单通道的斑马鱼荧光图像的维度为1维。其中，所述通道均为特征通道。
ECA(Efficient Channel Attention)通道注意力机制可以通过对各通道的依赖性进行建模以提高特征表达能力，并且可以对特征进行逐通道调整，以使在后续的图片分割过程中可以通过全局信息有选择性的加强包含有用信息的特征并抑制与当前任务无关的特征。ECA通道注意力机制使用1维的卷积实现局部跨通道交互，通过不降维的局部跨通道交互策略，使得模块模型复杂度小，效果显著，将ECA的输出与原图进行拼接也可以减少在图像增强过程中语义信息的丢失。
由上述可得，在本实施例中，ECA注意力机制自动获取每个特征通道的重要程度后，根据重要程度增强对重要特征的表达，抑制对本任务不重要的特征。接着通过跳跃连接将ECA的输出与多通道斑马鱼荧光图像(即原图)进行拼接，能够减少语义信息的丢失。拼接后进行降维处理，最后生成的单通道的斑马鱼荧光图像有利于神经网络提取特征。
在本实施例中，根据所述单通道的斑马鱼荧光图像进行分割，具体为：
将所述单通道的斑马鱼荧光图像进行特征提取，得到感兴趣特征图；
使用N个不同尺寸的卷积核进行池化操作得到N个池化结果后，对N个所述池化结果进行上采样，得到多个相同尺寸的采样特征图；其中，N为正整数；所述采样特征图的尺寸和所述感兴趣特征图的尺寸大小相同；
将所述感兴趣特征图和所述采样特征图进行拼接后，生成拼接特征图；
对所述拼接特征图进行分割，得到分割结果。
在一具体实施例中，N为4，则N个不同尺寸的卷积核为尺寸分别为1×1、2×2、3×3、6×6的卷积核。
在一具体实施例中，所述感兴趣特征图和所述采样特征图的尺寸相同。
在一具体实施例中，斑马鱼血管分割模型的生成过程为：
获取训练样本集；其中，所述训练样本集包括：含血管区域标注的多通道的斑马鱼荧光图像；
将所述训练样本集输入神经网络模型中，设置所述神经网络模型的超参数，加载预训练权重，以使所述神经网络模型进行训练后生成所述斑马鱼血管分割模型。
具体地，所述超参数包括：初始学习率、学习率衰减方式和训练次数。
具体地，训练样本集中含血管区域标注的多通道的斑马鱼荧光图像的尺寸大小都相同；在训练样本集中血管区域标注记录为掩码。
其中，加载预训练权重具体为加载ImageNet的预训练权重。
此外，由于多通道的斑马鱼荧光图像中的血管区域前景与背景极不平衡，为了提升分割准确率，使用交叉熵损失函数与DICE损失函数的构成的组合损失函数。其中，组合函数由以下公式表示：
其中，Ldice是DICE损失函数，LCE是交叉熵损失函数，pi为斑马鱼血管分割模型输出的分割结果，yi为标签、即血管区域标注。
具体地，在加载预训练权重之后，使用上述组合损失函数作为目标函数，再采用Droupout正则化方法减少模型特征数量，提高模型对特征的利用率，进一步加强模型的分割性能。最后，在模型训练完成后，保存权重文件。
为了进一步说明斑马鱼血管分割模型的组成部分，请参照图2，图2是本发明一实施例提供的斑马鱼血管分割模型的结构示意图，包括：自适应增强部分201和网络分割部分202。
其中，所述自适应增强部分201用于根据所述ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成所述单通道的斑马鱼荧光图像。
所述网络分割部分202用于根据所述单通道的斑马鱼荧光图像进行分割。
在一具体实施例中，所述自适应增强部分201第一卷积层、ECA层、第一跳跃连接层和第二卷积层；
其中，所述第一卷积层用于对所述多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成所述第一图像；
所述ECA层用于使用所述ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成所述第二图像；其中，所述第一图像和所述第二图像的维度均为所述第一维度；
所述第一跳跃连接层用于将所述第二图像与所述多通道斑马鱼荧光图像拼接后生成所述第三图像；其中，所述第三图像的维度为所述第二维度；
所述第二卷积层用于将所述第三图像进行降维处理，生成所述单通道的斑马鱼荧光图像。
具体地，第一卷积层为两层1×1的卷积；第二卷积层为1×1的卷积。多通道斑马鱼荧光图像的维度为3维，多通道斑马鱼荧光图像即为三通道斑马鱼荧光图像；第一维度为64维、第二维度维67维，所述上述流程具体为：对三通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成64维的第一图像，即第一图像具有64个通道；使用ECA注意力机制获取第一图像中每个通道的重要程度，根据重要程度增强重要特征表达后，完成图像增强处理并生成64维的第二图像；将第二图像与三通道斑马鱼荧光图像拼接后生成第三图像，则第三图像的维度为67维；最后将第三图像进行降维处理，生成单通道的斑马鱼荧光图像，即单通道的斑马鱼荧光图像的维度为1维。其中，所述通道均为特征通道。
具体地，ECA(Efficient Channel Attention)通道注意力机制可以通过对各通道的依赖性进行建模以提高特征表达能力，并且可以对特征进行逐通道调整，以使在后续的图片分割过程中可以通过全局信息有选择性的加强包含有用信息的特征并抑制与当前任务无关的特征。ECA通道注意力机制使用1维的卷积实现局部跨通道交互，通过不降维的局部跨通道交互策略，使得模块模型复杂度小，效果显著，将ECA的输出与原图进行拼接也可以减少在图像增强过程中语义信息的丢失。
由上述可得，在本实施例中，ECA层使用全局平均池化和1维的卷积实现局部跨通道交互，可以通过学习自动获取每个特征通道的重要程度，其输出保持64维不变；然后通过第一跳跃连接层将第二图像与多通道斑马鱼荧光图像拼接处理，以减少语义信息的丢失。
在一具体实施例中，自适应增强部分201是一个插即用的数据增强模块，可以与各种图像分割网络进行组合实现端到端的图像分割，是一种方便且有效的图像增强方法，并且该图像增强方法在提升分割精度的同时只增加了非常少的计算量。
在一具体实施例中，所述网络分割部分202包括：编码器、金字塔池化层、第二跳跃连接层和第三卷积层；
其中，所述编码器用于将所述单通道的斑马鱼荧光图像进行特征提取，得到所述感兴趣特征图；
所述金字塔池化层用于使用N个不同尺寸的卷积核进行池化操作得到N个池化结果后，对N个所述池化结果进行上采样，得到多个相同尺寸的采样特征图；其中，N为正整数；所述采样特征图的尺寸和所述感兴趣特征图的尺寸大小相同；
所述第二跳跃连接层用于将所述感兴趣特征图和所述采样特征图进行拼接后，生成拼接特征图；
所述第三卷积层用于对所述拼接特征图进行分割，得到分割结果。
在本实施例中，对PSPNet进行改进作为图像分割网络。具体为：在每一个原特征提取网络ResNet模块之后添加ECA注意力机制得到新的特征提取网络ECA-ResNet。ResNet34网络采用残差网络结构，可以避免网络退化，而且可以加速神经网络的训练，提升模型的准确率。在每个ResNet模块之后加入ECA注意力机制，能够提升模型的表达能力，有利于提升分割准确率。由上所述，ECA-ResNet34为即分割网络部分202中的编码器，能够更有效地获取感兴趣区域的特征。
在一具体实施例中，金字塔池化层使用并联的4种不同大小的卷积核进行池化，最后通过卷积得到分割结果。由于斑马鱼荧光图像中各功能区大小不一，金字塔池化层可以利用全局信息以及聚合不同尺度的上下文信息，使得分割更加准确。
综上所述，将经图像增强处理后得到的单通道的斑马鱼荧光图像作为网络分割部分202的输入后，使用ECA-ResNet作为编码器进行特征提取可以更有效的获取单通道的斑马鱼荧光图像中感兴趣区域的特征；使用四种不同尺寸的卷积核进行池化可以捕获不同尺度的上下文信息，最终提高分割的准确性。
第三卷积层作为分割头(Segmentation Head)，分割出斑马鱼荧光图像中的功能区,分割结果为大小与多通道斑马鱼荧光图像相同的单通道图片。
为了更好地说明斑马鱼荧光图像的分割结果，请参照图3，图3是本发明一实施例提供的斑马鱼荧光图像分割结果示意图。
其中，位于图3的上半部分的大图是多通道的斑马鱼荧光图像，位于图3的下半部分的多个小图是单通道的分割结果。其中，CCV、CV、CV2、DA、PCV、ISV、SIV、Brian area、macrovasculature分别代表总主静脉、末端尾静脉丛、完整尾静脉丛、背主动脉、后主静脉、体节间血管、肠下静脉丛、脑区以及脑部大血管功能区。其中，为了方便展示，将分割结果等比缩小之后与多通道的斑马鱼荧光图像合成为图3；实际上，单通道的分割结果与多通道的斑马鱼荧光图像的图片大小是一致的。
为了进一步说明斑马鱼荧光图像的分割装置，请参照图4，图4是本发明一实施例提供的一种斑马鱼荧光图像的分割装置的结构示意图，包括：获取模块401和预测模块402；
其中，所述获取模块401用于获取多通道的斑马鱼荧光图像；
所述预测模块402用于将所述多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使所述斑马鱼血管分割模型进行分割最终输出分割结果；其中，所述斑马鱼血管分割模型用于根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据所述单通道的斑马鱼荧光图像进行分割。
具体地，所述根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，具体为：
对所述多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成第一图像；
使用ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成第二图像；其中，所述第一图像和所述第二图像的维度均为第一维度；
将所述第二图像与所述多通道斑马鱼荧光图像拼接后生成第三图像；其中，所述第三图像的维度为第二维度；
将所述第三图像进行降维处理，生成所述单通道的斑马鱼荧光图像。
本发明实施例先通过获取模块401获取多通道的斑马鱼荧光图像，再通过预测模块402将所述多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使所述斑马鱼血管分割模型进行分割最终输出分割结果；其中，所述斑马鱼血管分割模型用于根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据所述单通道的斑马鱼荧光图像进行分割。
本发明实施例通过对多通道斑马鱼荧光图像进行图像增强处理、降维处理并得到单通道的斑马鱼荧光图像后，再对单通道的斑马鱼荧光图像进行分割，能够增加对重要特征的表达、减少通道冗余，有利于神经网络提取特征，从而提高了对斑马鱼荧光图像的分割精度。
其次，对分割网络进行了改进：在每个ResNet模块之后加入ECA注意力机制，能够提升模型的表达能力，有利于提升分割准确率。由上所述，ECA-ResNet34为即分割网络部分中的编码器，能够更有效地获取感兴趣区域的特征，从而进一步提升了对斑马鱼荧光图像的分割精度。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (7)

1.一种斑马鱼荧光图像的分割方法，其特征在于，包括：
获取多通道的斑马鱼荧光图像；
将所述多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使所述斑马鱼血管分割模型进行分割最终输出分割结果；其中，所述斑马鱼血管分割模型用于根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据所述单通道的斑马鱼荧光图像进行分割；
其中，所述斑马鱼血管分割模型包括：自适应增强部分和网络分割部分；其中，所述自适应增强部分用于根据所述ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成所述单通道的斑马鱼荧光图像；所述网络分割部分用于根据所述单通道的斑马鱼荧光图像进行分割；
其中，所述自适应增强部分用于根据所述ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成所述单通道的斑马鱼荧光图像，具体为：
所述自适应增强部分包括：第一卷积层、ECA层、第一跳跃连接层和第二卷积层；
其中，所述第一卷积层用于对所述多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成第一图像；
所述ECA层用于使用所述ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成第二图像；其中，所述第一图像和所述第二图像的维度均为第一维度；
所述第一跳跃连接层用于将所述第二图像与所述多通道斑马鱼荧光图像拼接后生成第三图像；其中，所述第三图像的维度为第二维度；
所述第二卷积层用于将所述第三图像进行降维处理，生成所述单通道的斑马鱼荧光图像；
其中，所述网络分割部分用于根据所述单通道的斑马鱼荧光图像进行分割，具体为：
所述网络分割部分包括：编码器、金字塔池化层、第二跳跃连接层和第三卷积层；
其中，所述编码器用于将所述单通道的斑马鱼荧光图像进行特征提取，得到感兴趣特征图；
所述金字塔池化层用于使用N个不同尺寸的卷积核进行池化操作得到N个池化结果后，对N个所述池化结果进行上采样，得到多个相同尺寸的采样特征图；其中，N为正整数；所述采样特征图的尺寸和所述感兴趣特征图的尺寸大小相同；
所述第二跳跃连接层用于将所述感兴趣特征图和所述采样特征图进行拼接后，生成拼接特征图；
所述第三卷积层用于对所述拼接特征图进行分割，得到分割结果。
2.根据权利要求1所述的一种斑马鱼荧光图像的分割方法，其特征在于，所述根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，具体为：
对所述多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成第一图像；
使用ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成第二图像；其中，所述第一图像和所述第二图像的维度均为第一维度；
将所述第二图像与所述多通道斑马鱼荧光图像拼接后生成第三图像；其中，所述第三图像的维度为第二维度；
将所述第三图像进行降维处理，生成所述单通道的斑马鱼荧光图像。
3.根据权利要求2所述的一种斑马鱼荧光图像的分割方法，其特征在于，所述使用ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成第二图像，具体为：
使用所述ECA注意力机制获取所述第一图像中每个通道的重要程度，根据所述重要程度增强重要特征表达后，完成图像增强处理并生成所述第二图像。
4.根据权利要求3所述的一种斑马鱼荧光图像的分割方法，其特征在于，所述根据所述单通道的斑马鱼荧光图像进行分割，具体为：
将所述单通道的斑马鱼荧光图像进行特征提取，得到感兴趣特征图；
使用N个不同尺寸的卷积核进行池化操作得到N个池化结果后，对N个所述池化结果进行上采样，得到多个相同尺寸的采样特征图；其中，N为正整数；所述采样特征图的尺寸和所述感兴趣特征图的尺寸大小相同；
将所述感兴趣特征图和所述采样特征图进行拼接后，生成拼接特征图；
对所述拼接特征图进行分割，得到分割结果。
5.根据权利要求4所述的一种斑马鱼荧光图像的分割方法，其特征在于，所述斑马鱼血管分割模型的生成过程具体为：
获取训练样本集；其中，所述训练样本集包括：含血管区域标注的多通道的斑马鱼荧光图像；
将所述训练样本集输入神经网络模型中，设置所述神经网络模型的超参数，加载预训练权重，以使所述神经网络模型进行训练后生成所述斑马鱼血管分割模型。
6.一种斑马鱼荧光图像的分割装置，其特征在于，包括：获取模块和预测模块；
其中，所述获取模块用于获取多通道的斑马鱼荧光图像；
所述预测模块用于将所述多通道斑马鱼荧光图像输入至斑马鱼血管分割模型中，以使所述斑马鱼血管分割模型进行分割最终输出分割结果；其中，所述斑马鱼血管分割模型用于根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，继而根据所述单通道的斑马鱼荧光图像进行分割；
其中，所述斑马鱼血管分割模型包括：自适应增强部分和网络分割部分；其中，所述自适应增强部分用于根据所述ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成所述单通道的斑马鱼荧光图像；所述网络分割部分用于根据所述单通道的斑马鱼荧光图像进行分割；
其中，所述自适应增强部分用于根据所述ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成所述单通道的斑马鱼荧光图像，具体为：
所述自适应增强部分包括：第一卷积层、ECA层、第一跳跃连接层和第二卷积层；
其中，所述第一卷积层用于对所述多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成第一图像；
所述ECA层用于使用所述ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成第二图像；其中，所述第一图像和所述第二图像的维度均为第一维度；
所述第一跳跃连接层用于将所述第二图像与所述多通道斑马鱼荧光图像拼接后生成第三图像；其中，所述第三图像的维度为第二维度；
所述第二卷积层用于将所述第三图像进行降维处理，生成所述单通道的斑马鱼荧光图像；
其中，所述网络分割部分用于根据所述单通道的斑马鱼荧光图像进行分割，具体为：
所述网络分割部分包括：编码器、金字塔池化层、第二跳跃连接层和第三卷积层；
其中，所述编码器用于将所述单通道的斑马鱼荧光图像进行特征提取，得到感兴趣特征图；
所述金字塔池化层用于使用N个不同尺寸的卷积核进行池化操作得到N个池化结果后，对N个所述池化结果进行上采样，得到多个相同尺寸的采样特征图；其中，N为正整数；所述采样特征图的尺寸和所述感兴趣特征图的尺寸大小相同；
所述第二跳跃连接层用于将所述感兴趣特征图和所述采样特征图进行拼接后，生成拼接特征图；
所述第三卷积层用于对所述拼接特征图进行分割，得到分割结果。
7.根据权利要求6所述的一种斑马鱼荧光图像的分割装置，其特征在于，所述根据ECA注意力机制对所述多通道斑马鱼荧光图像进行图像增强处理后，进行降维处理并生成单通道的斑马鱼荧光图像，具体为：
对所述多通道斑马鱼荧光图像进行升维处理并进行增加网络非线性处理之后，生成第一图像；
使用ECA注意力机制获取所述第一图像的重要程度，并根据所述重要程度进行图像增强处理后，生成第二图像；其中，所述第一图像和所述第二图像的维度均为第一维度；
将所述第二图像与所述多通道斑马鱼荧光图像拼接后生成第三图像；其中，所述第三图像的维度为第二维度；
将所述第三图像进行降维处理，生成所述单通道的斑马鱼荧光图像。
CN202110882760.XA 2021-08-02 2021-08-02 一种斑马鱼荧光图像的分割方法及装置 Active CN113706570B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110882760.XA CN113706570B (zh) 2021-08-02 2021-08-02 一种斑马鱼荧光图像的分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110882760.XA CN113706570B (zh) 2021-08-02 2021-08-02 一种斑马鱼荧光图像的分割方法及装置

Publications (2)

Publication Number Publication Date
CN113706570A CN113706570A (zh) 2021-11-26
CN113706570B true CN113706570B (zh) 2023-09-15

Family

ID=78651310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110882760.XA Active CN113706570B (zh) 2021-08-02 2021-08-02 一种斑马鱼荧光图像的分割方法及装置

Country Status (1)

Country Link
CN (1) CN113706570B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118134853A (zh) * 2024-02-04 2024-06-04 生态环境部南京环境科学研究所 基于深度学习的高内涵斑马鱼血管发育毒性筛查方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161290A (zh) * 2019-12-27 2020-05-15 西北大学 一种图像分割模型的构建方法、图像分割方法及系统
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN112288739A (zh) * 2020-11-20 2021-01-29 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112541503A (zh) * 2020-12-11 2021-03-23 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法
CN112800964A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及系统
CN113011444A (zh) * 2020-12-18 2021-06-22 浙江大学 一种基于神经网络频域注意力机制的图像识别方法
CN113052856A (zh) * 2021-03-12 2021-06-29 北京工业大学 一种基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111161290A (zh) * 2019-12-27 2020-05-15 西北大学 一种图像分割模型的构建方法、图像分割方法及系统
CN111862056A (zh) * 2020-07-23 2020-10-30 东莞理工学院 一种基于深度学习的视网膜血管图像分割方法
CN112288739A (zh) * 2020-11-20 2021-01-29 哈尔滨工业大学 一种基于深度学习的静脉血管分割方法
CN112541503A (zh) * 2020-12-11 2021-03-23 南京邮电大学 基于上下文注意力机制和信息融合的实时语义分割方法
CN113011444A (zh) * 2020-12-18 2021-06-22 浙江大学 一种基于神经网络频域注意力机制的图像识别方法
CN112800964A (zh) * 2021-01-27 2021-05-14 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及系统
CN113052856A (zh) * 2021-03-12 2021-06-29 北京工业大学 一种基于多尺度特征多路注意力融合机制的海马体三维语义网络分割方法

Also Published As

Publication number Publication date
CN113706570A (zh) 2021-11-26

Similar Documents

Publication Publication Date Title
Nketia et al. Analysis of live cell images: Methods, tools and opportunities
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
Jiang et al. White blood cells classification with deep convolutional neural networks
CN109300530B (zh) 病理图片的识别方法及装置
CN109949309A (zh) 一种基于深度学习的肝脏ct图像分割方法
Binder et al. Multi-organ gland segmentation using deep learning
İnik et al. A new method for automatic counting of ovarian follicles on whole slide histological images based on convolutional neural network
CN110070540A (zh) 图像生成方法、装置、计算机设备及存储介质
CN114252423B (zh) 超分辨显微镜完全采样图像的生成方法、装置
CN113706570B (zh) 一种斑马鱼荧光图像的分割方法及装置
CN113361353A (zh) 一种基于DeepLabV3Plus的斑马鱼形态学评分方法
Shah et al. Colorectal cancer segmentation using atrous convolution and residual enhanced unet
CN116797791A (zh) 一种基于深度学习的线粒体分割与分类方法
CN114155249A (zh) 一种基于深度矢量场回归的三维细胞图像实例分割方法
CN112634284B (zh) 基于权重图损失的分阶段神经网络ct器官分割方法及系统
Zhao et al. PhaseFIT: live-organoid phase-fluorescent image transformation via generative AI
CN113781403A (zh) 一种胸部ct影像处理方法与装置
Dai et al. Exceeding the limit for microscopic image translation with a deep learning-based unified framework
CN112132253A (zh) 3d动作识别方法、装置、计算机可读存储介质及设备
Samanta et al. Context aggregation network for semantic labeling in histopathology images
CN115131628A (zh) 一种基于分型辅助信息的乳腺图像分类方法及设备
Zhai et al. Deep Neural Network Guided by Attention Mechanism for Segmentation of Liver Pathology Image
Liu et al. VSG-GAN: A high-fidelity image synthesis method with semantic manipulation in retinal fundus image
Sun et al. Autopath: image-specific inference for 3D segmentation
Wang et al. A Multi-scale Network Based on Compound Extended Coding UNet++ for Polyp Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant