CN111768420A - 一种细胞图像分割模型 - Google Patents
一种细胞图像分割模型 Download PDFInfo
- Publication number
- CN111768420A CN111768420A CN202010629632.XA CN202010629632A CN111768420A CN 111768420 A CN111768420 A CN 111768420A CN 202010629632 A CN202010629632 A CN 202010629632A CN 111768420 A CN111768420 A CN 111768420A
- Authority
- CN
- China
- Prior art keywords
- model
- segmentation
- image
- cell
- residual block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 31
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 25
- 230000007246 mechanism Effects 0.000 claims abstract description 19
- 230000006870 function Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 7
- 230000001413 cellular effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 2
- 210000004027 cell Anatomy 0.000 description 52
- 230000011218 segmentation Effects 0.000 description 46
- 238000012549 training Methods 0.000 description 14
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 238000011156 evaluation Methods 0.000 description 6
- 230000008034 disappearance Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000024245 cell differentiation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001665 muscle stem cell Anatomy 0.000 description 1
- 210000003061 neural cell Anatomy 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种细胞图像分割模型，以U‑Net网络为基本框架，包括编码器、解码器以及注意力机制，其中，采用了残差块代替U‑Net网络的编码器及解码器中的卷积层。
Description
技术领域
本发明涉及航空航天技术领域，特别涉及一种细胞图像分割模型。
背景技术
细胞是生物体结构和功能的基本单位，对细胞的深入研究是揭开生命奥秘、改造生命和征服疾病的关键。而随着技术的发展，计算机辅助技术已广泛应用于细胞图像的自动分析中。在细胞图像分析中，细胞分割作为最为基础和重要的领域之一，是对细胞图像进行识别、计数、测量等的基本前提。
当前的光学成像系统在一些客观原因的影响下，采集的相差显微细胞图像存在亮度不均衡及细胞与背景对比度较低的问题，极大地增加了分割难度。针对上述问题，Yin等人通过对相差显微镜的成像原理进行分析，得到其近似线性成像模型，然后基于此模型和细胞图像的特性，制定二次优化函数进行图像复原，以剔除低亮度不均衡和低对比度的干扰，后续仅通过阈值处理即可完成高质量细胞分割。次年，Yin等人通过分析相机成像时间与图像强度估算出相机响应函数，利用该响应函数获得高对比度且亮度均衡的细胞图像，然后进行阈值分割。上述方法虽然有效解决了亮度不均衡及细胞与背景对比度较低的问题，但是通常需要将复杂的预处理操作与分割算法相结合，才能获取较好的分割结果。
此外，随着近年来深度学习在自然图像分割上取得的较大进展，其也已被逐步应用于生物医学图像分割领域。例如，Long等人提出的全卷积网络FCN，可以解决像素级细胞图像分割任务，其对每个像素点进行分类，实现了端到端的训练，但是由于池化操作的信息损失，该算法在进行细粒度分割时效果较差；Ronneberger等人提出的U-Net网络，通过反卷积层和特征层拼接弥补了信息损失，其结构简单、参数少、可塑性强，作为细胞图像分割基础模型之一被广泛使用，但是，U-Net网络仍存在微弱边缘分割断裂的问题,且由于梯度消失的原因，其可以构建的网络深度有限；Quan等人提出将分割网络与残差网络相结合，并引入基于求和的特征层连接，通过构建更深的网络架构来实现更精准的细胞分割。近期，递归神经网络、注意力机制等也分别被用于图像分割中，以提高分割效果。例如，Yi等人将SSD和U-Net网络相结合，对神经细胞进行实例分割，并在检测和分割模块中采用了注意力机制，以将模型重点放在与任务相关的特征上；以及Alom等人提出的一种基于U-Net网络的递归残差神经网络R2U-Net，残差单元在训练深度网络时可以减缓梯度消失，递归残差特征的累积可确保网络对分割任务实现更好的特征表示，但采用该方法进行图像分割，经常出现微弱边缘分割断裂现象。
发明内容
针对现有技术的部分或全部问题，本发明提供一种细胞图像分割模型，所述模型以U-Net网络为基本框架，包括：
编码器，包括残差块以及池化层；
解码器，与所述编码器呈对称状，所述解码器包括残差块以及上采样层；
注意力机制，包括卷积层以及激活函数。
本发明提供的一种细胞图像分割模型，其基于深度学习的分割模型AttentionResidual-UNet，以U-Net网络为基本框架，并结合了残差块(residual block)和注意力机制(attention mechanism)。将残差块引入U-Net网络，缩短了深层抽象特征与浅层特征之间的路径，增强了特征的传播能力，从而能够提取出更多的细胞细节信息，同时避免了梯度消失现象；通过注意力机制加强了细胞区域的权重，减缓了图像亮度不一致、对比度低对模型的干扰，提升了模型的灵敏度和分割精度。
附图说明
为进一步阐明本发明的各实施例的以上和其它优点和特征，将参考附图来呈现本发明的各实施例的更具体的描述。可以理解，这些附图只描绘本发明的典型实施例，因此将不被认为是对其范围的限制。在附图中，为了清楚明了，相同或相应的部件将用相同或类似的标记表示。
图1示出本发明一个实施例的一种细胞图像分割模型的框架示意图；
图2示出本发明一个实施例中的残差块结构示意图；
图3示出本发明一个实施例中的注意力机制结构示意图；
图4示出一测试图像的原始图像、真值图像及其对应的分别采用5种不同现有技术中的模型以及本发明一个实施例的一种细胞图像分割模型进行图像分割的结果示意图；
图5示出又一测试图像的原始图像、真值图像及其对应的分别采用5种不同现有技术中的模型以及本发明一个实施例的一种细胞图像分割模型进行图像分割的结果示意图；
图6示出再一测试图像的原始图像、真值图像及其对应的分别采用5种不同现有技术中的模型以及本发明一个实施例的一种细胞图像分割模型进行图像分割的结果示意图；
图7示出一测试图像的真值图像的局部及其对应的分别采用4种不同现有技术中的模型以及本发明一个实施例的一种细胞图像分割模型进行图像分割的结果示意图；
图8示出又一测试图像的真值图像的局部及其对应的分别采用4种不同现有技术中的模型以及本发明一个实施例的一种细胞图像分割模型进行图像分割的结果示意图；以及
图9示出再一测试图像的真值图像的局部及其对应的分别采用4种不同现有技术中的模型以及本发明一个实施例的一种细胞图像分割模型进行图像分割的结果示意图。
具体实施方式
以下的描述中，参考各实施例对本发明进行描述。然而，本领域的技术人员将认识到可在没有一个或多个特定细节的情况下或者与其它替换和/或附加方法、材料或组件一起实施各实施例。在其它情形中，未示出或未详细描述公知的结构、材料或操作以免模糊本发明的发明点。类似地，为了解释的目的，阐述了特定数量、材料和配置，以便提供对本发明的实施例的全面理解。然而，本发明并不限于这些特定细节。此外，应理解附图中示出的各实施例是说明性表示且不一定按正确比例绘制。
在本说明书中，对“一个实施例”或“该实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。在本说明书各处中出现的短语“在一个实施例中”并不一定全部指代同一实施例。
需要说明的是，本发明的实施例以特定顺序对工艺步骤进行描述，然而这只是为了阐述该具体实施例，而不是限定各步骤的先后顺序。相反，在本发明的不同实施例中，可根据工艺的调节来调整各步骤的先后顺序。
针对相差显微镜采集的细胞图像具有亮度不均衡且细胞与背景对比度较低的问题，本发明提供一种细胞图像分割模型，其以U-Net网络为基本框架，结合了残差块和注意力机制。其中，残差块用于强化特征的传播能力，提取更多细胞细节信息；以及注意力机制用于加重细胞区域的权重，减缓亮度不均衡、对比度较低对模型的干扰。
U-Net网络是由呈对称状的一个编码器和一个解码器组成，其中所述编码器包括卷积层和池化层，主要负责下采样的工作，用于获取丰富的上下文信息，对细胞和背景进行分类，所述解码器包括卷积层及上采样层，主要负责上采样的工作，用于实现细胞的精确定位，最后，通过特征层连接(skip connection)方法，结合细粒度层信息和粗粒度层信息，以获得更精确的上下文信息，得到更多的细胞细节信息。U-Net网络可以利用较少的训练集进行训练，得到较好的分割结果。但U-Net网络的池化层及上采样层会产生细节信息损失，因此，容易造成低对比度区域尤其是微弱边缘处出现分割断裂，且在图像亮度发生变化时，网络适应能力较差。
针对这一问题，在本发明的实施例中，为了从图像中提取出更多细节信息，缓解低对比度区域及微弱边缘处的欠分割问题，引入了残差块代替传统的卷积层，残差块认为，学习拟合一个残差映射y-x比直接学习拟合一个近似恒等映射y更加容易,残差块的基础计算公式如下：
y＝f(x,Wl)+x，
其中，x和y分别为网络的输入和输出，Wl为第l层参数，f(x,Wl)为残差映射。通过对上式求偏导数得到:
可以看出，由于其梯度始终大于1，故随着网络层数的加深梯度不会消失，因此，残差块解决了深层网络中的梯度消失问题；由于通常情况下f(x,Wl)与x特征维度并不相同，故引入参数Wm完成维度匹配，计算如下：
y＝f(x,Wl)+Wmx；
此外，由于低层特征中缺少语义信息，亮度不均衡、对比度较低仍会对细胞的分割造成干扰，因此，本发明实施例在特征层连接引入注意力机制捕获高级语义信息，加重细胞区域的权重，增强模型对前景的学习能力，提高模型的灵敏度和分割精度。下面结合实施例附图对本发明的方案做进一步描述。
图1示出本发明一个实施例的一种细胞图像分割模型的框架示意图。如图1所示，一种细胞图像分割模型，以U-Net网络为基本框架，包括：
编码器，所述编码器用于下采样，在使用本发明实施例中的方案进行细胞图像分割时，首先通过所述编码器进行不止一次下采样，在本发明的实施例中，所述编码器包括残差块以及池化层，其中，所述残差块的网络结构如图2所示：
首先，其通过两个标准3x3卷积层得到残差映射f(x,Wl)；
然后，通过1×1卷积层完成特征维度匹配；以及
最后，通过“Add”操作完成特征融合；
解码器，与所述编码器呈对称状，用于上采样，在本发明的实施例中，所述解码器包括残差块和上采样层，其中，所述残差块的网络结构如图2所示：
首先，其通过两个标准3x3卷积层得到残差映射f(x,Wl)；
然后，通过1×1卷积层完成特征维度匹配；以及
最后，通过“Add”操作完成特征融合；本发明实施例中的模型通过所述残差块，有效避免了因梯度消失而造成的模型性能下降的问题，降低了深层网络的训练难度，且相较于现有的U-Net网络，仅增加了1×1卷积层，所以并没有加大模型计算复杂度。同时，该模块缩短了前后层之间的距离，有效地提高了特征的学习能力，有助于提取出更多细节信息，一定程度上减缓了细胞与背景对比度较低对模型的干扰；以及
注意力机制，所述注意力机制包括卷积层以及激活函数，其通过注意力权重0＜＜α＜＜1来识别细胞特征的显著性区域，所述注意力权重由包含丰富语义信息的高级特征图和包含全局上下文信息的低级特征图得到，计算公式如下：
αi＝σ2(WTo1+b2)，
若将低级特征图与所述注意力权重逐元素相乘，则可得到输出的激活特征：
其中，
和
分别为低级特征图和高级特征图，Wd、Wu和W为线性变换参数，b1和b2为偏置项，以及σ1为ReLU激活函数，σ2为Sigmoid激活函数，所述Sigmoid激活函数用于将注意力权重归一化至[0,1]。如图3所示，在本发明的实施例中，三次线性变换均通过1×1卷积操作完成，引入极少参数即可明显提升模型的灵敏度和分割精度，而不会加大模型计算复杂度，有效地减少了参数数量，降低了模型计算复杂度。注意力机制在训练过程中无需额外监督即可自动学习目标结构，同时在测试过程中会自动生成软区域，以加重细胞区域权重。注意力机制利用高级特征图中的语义信息加重了细胞区域的特征权重，过滤掉背景中噪声的同时，减缓了亮度不均衡、对比度低对模型的干扰。此外，由于重点突出了细胞区域，一定程度上可以加快模型的训练速度。
采用本发明实施例中的模型进行细胞图像分割，首先需要网络训练，在本发明的一个实施例中，训练集及测试集选取中国科学院生物化学与细胞生物学研究所为肌肉干细胞分化过程中的细胞图像，共17张，其中7张作为测试集，部分原始图像如图4、5、6中的第一行的第一幅图像所示，各图像采集所用显微镜为奥林巴斯ix73，模式为相差模式，放大倍数调整为10倍，分辨率为1600pixel×1200pixel，位深为16，此外，图4、5、6中的第一行的第二幅图像示出了相对应的专家手动分割的真值图像。采用Inter Core i7-6850K与NvidiaGeForce GTX1080Ti，并使用以TensorFlow作为后端的Keras开源库训练和测试网络模型。由于原始图像过大，直接使用会导致模型参数爆炸，故先采用256×256的滑动窗口，同时将原始图像及对应真值图像裁剪为局部重叠的图像块，并对其进行归一化操作。为了增强模型的泛化能力，减少过拟合现象，分别对训练图像进行了90°旋转、270°旋转、水平翻转和垂直翻转，将训练集扩充至原来的5倍，最终获得1900张256×256的训练图像。
在二分类图像分割任务中常采用的损失函数为像素级的二进制交叉熵损失函数(binary cross entropy loss)，为了解决图像中正负类别不平衡的问题，在采用本发明的实施例中的模型进行训练及测试时，引入dice loss，则最终损失函数形式为：
其中，α＝β＝0.5，ε＝1e-3，pi为分割结果，yi为真值图像。在本发明的一个实施例中，还采用Adam算法优化所述损失函数，设置初始学习率为0.001。批量大小设置为16，训练迭代100次。训练时，加入dropout层，参数设置为0.2，并引入早停机制，若10次迭代后loss仍不下降，则停止训练，防止模型过拟合。
为了更好地说明本发明实施例的实施效果，分别采用本发明实施例的方案以及现有技术对测试集中的图像进行分割，并从主观评价和客观评价两方面进行比较与分析。其中，主观评价主要从视觉效果比较图像的整体分割以及微弱边缘的分割等情况；以及客观评价中，采用像素精度Pixel Accuracy、交并比Intersection over Union(IoU)和分割值Dice Score作为评价指标，计算公式如下：
其中，TP、TN、FP、FN分别为细胞像素正确分类数目、背景像素正确分类数目、背景像素错误分类数目、细胞像素错误分类数目，X、Y分别为真实值和预测值。Pixel Accuracy表示分割正确的像素占总像素的比例；Intersection over Union(IoU)为语义分割的标准度量，是真实值和预测值的交集与并集之比，其值为1时，表示两者完全相同；Dice Score为医学图像分割的重要度量，表示真实值与预测值的相似度，值越大两者相似度越高。
图4中的第一行的第三幅、第四幅图像及第二行图像依次显示了采用阈值分割Otsu算法、FCN-8s模型、U-Net模型、SegNet模型、R2U-Net模型及本发明实施例中的模型，对图4第一行的第一幅图像进行分割的结果；
图5中的第一行的第三幅、第四幅图像及第二行图像依次显示了采用阈值分割Otsu算法、FCN-8s模型、U-Net模型、SegNet模型、R2U-Net模型及本发明实施例中的模型，对图5第一行的第一幅图像进行分割的结果；
图6中的第一行的第三幅、第四幅图像及第二行图像依次显示了采用阈值分割Otsu算法、FCN-8s模型、U-Net模型、SegNet模型、R2U-Net模型及本发明实施例中的模型，对图6第一行的第一幅图像进行分割的结果；
以及图7、8以及9则分别示出了真值图像及相应的采用FCN-8s模型、U-Net模型、SegNet模型、R2U-Net模型及本发明实施例中的模型进行分割的结果中的局部细节。
从上述图像结果可以看出，由于未进行预处理与后处理等操作，Otsu算法分割结果较差；FCN-8s模型分割结果不够精细，由细节图可以发现其分割边缘出现锯齿状，且在图4第一行的第四幅图像中其分割结果的左上角区域，细胞与背景对比度极低时，有大量细胞区域未被识别出来；U-Net模型分割结果有所提升，边缘明显，但是在低对比度区域处仍存在欠分割现象，且对比图4、图5和图6第二行的第一幅图像可以发现，该模型受图像间亮度不均衡影响较大；SegNet模型分割结果较好，受低对比度和亮度不均衡的干扰较小，但是观察细节图发现，其分割边缘略为粗糙，出现轻微锯齿状边缘；R2U-Net模型分割边缘清晰，在亮度不均衡的图像中仍能取得较佳的分割结果，但是其经常出现微弱边缘分割断裂现象，例如图7第五幅图像处；而本发明实施例中的模型对低对比度和亮度不均衡适应良好，对细胞保留更为完整，且在微弱边缘部分往往能分割处比真值图像更多的细节信息。
尽管通过视觉观察比较直接，但是其易受人主观因素的影响，故仍需对分割结果进行定量评价，结果如表1所示，最优结果用加粗数字标出。从表1中可以看出，本文算法在Pixel Accuracy、IoU和Dice Score三个评价指标上表现均优于其它算法，说明了本文算法的合理性和有效性，可以分割出更多低对比度区域处细胞信息，且鲁棒性较强。Otsu算法由于细胞图像的复杂性，且未对图像进行预处理及后处理操作，各项指标均较低；FCN-8s模型由于上采样过程中细节信息恢复不足的原因，分割效果略差；U-Net模型通过引入反卷积和特征层连接，一定程度上弥补了丢失的细节信息，效果得到了大幅改善；SegNet模型则是借助反池化操作中的位置索引信息，弥补了细节信息，其效果与U-Net模型不相上下；R2U-Net模型借助递归神经网络，实现了更优的特征表示，各项指标均有明显提升；本文算法相较于R2U-Net模型，在各项指标上均有不同程度的提升，说明本文算法能分割出更多的低对比度区域细胞及微弱边缘，对亮度、噪声等干扰因素适应性更好，分割效果较佳。
表1
为了进一步验证残差块及注意力机制对整体模型的影响，在本发明实施例中，将U-Net模型、添加残差块的优化模型、添加注意力机制的优化模型和本发明实施例中的模型进行了对比，结果如表2所示，最优结果用加粗数字标出。U-Net网络作为基础网络，其PixelAccuracy为0.9347，IoU为0.7482，Dice Score为0.8592；添加残差块后，三项指标均有不同幅度的提升，其中Pixel Accuracy相较于U-Net网络提高了0.51％，说明残差块可以提供更多的细节信息，部分低对比度区域可以被有效分割出来，但是其IoU和Dice Score仍较低，说明该模型仍受亮度不均衡的干扰，导致模型鲁棒性不足整体分割效果一般。添加注意力机制后，IoU和Dice Score分别提高了1.11％和0.70％，说明了注意力机制对解决亮度不均衡及低对比度问题的重要性。可以看出虽然各模块对整体模型的影响有强有弱，但其效果可以叠加，当聚合各个模块后，Pixel Accuracy达到了0.9463，IoU为0.77757，Dice Score为0.8776，相较于U-Net网络，各项指标分别提升了1.24％、3.68％和2.14％，说明本文算法能分割出更多的低对比度区域细胞信息，对亮度不均衡、噪声等干扰因素适应性更好，充分证明了本发明实施例中的模型的有效性。
表2
尽管上文描述了本发明的各实施例，但是，应该理解，它们只是作为示例来呈现的，而不作为限制。对于相关领域的技术人员显而易见的是，可以对其做出各种组合、变型和改变而不背离本发明的精神和范围。因此，此处所公开的本发明的宽度和范围不应被上述所公开的示例性实施例所限制，而应当仅根据所附权利要求书及其等同替换来定义。
Claims (6)
1.一种细胞图像分割模型，其特征在于，所述模型以U-Net网络为基本框架，所述模型包括：
编码器，包括残差块以及池化层；
解码器，与所述编码器呈对称状，所述解码器包括残差块以及上采样层；
注意力机制，包括卷积层以及激活函数。
2.如权利要求1所述的模型，其特征在于，所述残差块的计算公式如下：
y＝f(x，Wl)+Wmx，
其中：
x和y分别为网络的输入和输出；
Wl为第l层参数；
f(x，Wl)为残差映射；以及
Wm为f(x，Wl)与x的特征维度匹配参数。
3.如权利要求2所述的模型，其特征在于，包括：
所述残差映射f(x，Wl)通过两个标准3×3卷积层得到；
所述特征维度匹配通过1×1卷积层完成。
4.如权利要求1所述的模型，其特征在于，所述注意力机制通过注意力权重来识别细胞特征的显著性区域。
5.如权利要求4所述的模型，其特征在于，所述注意力权重αi通过高级特征图及低级特征图经由线性变换得到：
αi＝σ2(WTo1+b2)，
其中，
Wd、Wu和W为线性变换参数；
b1和b2为偏置项；以及
σ1为ReLU激活函数，σ2为Sigmoid激活函数。
6.如权利要求5所述的模型，其特征在于，所述线性变化通过1×1卷积操作完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010629632.XA CN111768420A (zh) | 2020-07-03 | 2020-07-03 | 一种细胞图像分割模型 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010629632.XA CN111768420A (zh) | 2020-07-03 | 2020-07-03 | 一种细胞图像分割模型 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111768420A true CN111768420A (zh) | 2020-10-13 |
Family
ID=72723465
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010629632.XA Pending CN111768420A (zh) | 2020-07-03 | 2020-07-03 | 一种细胞图像分割模型 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111768420A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634243A (zh) * | 2020-12-28 | 2021-04-09 | 吉林大学 | 一种强干扰因素下基于深度学习的图像分类识别系统 |
| CN114049339A (zh) * | 2021-11-22 | 2022-02-15 | 江苏科技大学 | 一种基于卷积神经网络的胎儿小脑超声图像分割方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543667A (zh) * | 2018-11-14 | 2019-03-29 | 北京工业大学 | 一种基于注意力机制的文本识别方法 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
-
2020
- 2020-07-03 CN CN202010629632.XA patent/CN111768420A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109543667A (zh) * | 2018-11-14 | 2019-03-29 | 北京工业大学 | 一种基于注意力机制的文本识别方法 |
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
Non-Patent Citations (1)
| Title |
|---|
| 张文秀 等: "基于残差块和注意力机制的细胞图像分割方法", 《光 学 学 报》, vol. 40, no. 17, pages 2 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112634243A (zh) * | 2020-12-28 | 2021-04-09 | 吉林大学 | 一种强干扰因素下基于深度学习的图像分类识别系统 |
| CN112634243B (zh) * | 2020-12-28 | 2022-08-05 | 吉林大学 | 一种强干扰因素下基于深度学习的图像分类识别系统 |
| CN114049339A (zh) * | 2021-11-22 | 2022-02-15 | 江苏科技大学 | 一种基于卷积神经网络的胎儿小脑超声图像分割方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109191476B (zh) | 基于U-net网络结构的生物医学图像自动分割新方法 | |
| CN110399929B (zh) | 眼底图像分类方法、装置以及计算机可读存储介质 | |
| CN109035172B (zh) | 一种基于深度学习的非局部均值超声图像去噪方法 | |
| CN112116605A (zh) | 一种基于集成深度卷积神经网络的胰腺ct图像分割方法 | |
| CN111784671A (zh) | 基于多尺度深度学习的病理图像病灶区域检测方法 | |
| CN111612008A (zh) | 基于卷积网络的图像分割方法 | |
| CN110889852A (zh) | 基于残差-注意力深度神经网络的肝脏分割方法 | |
| CN111275686B (zh) | 用于人工神经网络训练的医学图像数据的生成方法及装置 | |
| CN113642390B (zh) | 一种基于局部注意力网络的街景图像语义分割方法 | |
| CN113012172A (zh) | 一种基于AS-UNet的医学图像分割方法及系统 | |
| CN114820635A (zh) | 联合注意力u形网络和多尺度特征融合的息肉分割方法 | |
| CN115409733A (zh) | 一种基于图像增强和扩散模型的低剂量ct图像降噪方法 | |
| CN115063373A (zh) | 基于多尺度特征智能感知的社交网络图像篡改定位方法 | |
| CN110659601B (zh) | 基于中心点的深度全卷积网络遥感图像密集车辆检测方法 | |
| Chen et al. | Cell nuclei detection and segmentation for computational pathology using deep learning | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| Popescu et al. | Retinal blood vessel segmentation using pix2pix gan | |
| CN113012163A (zh) | 一种基于多尺度注意力网络的视网膜血管分割方法、设备及存储介质 | |
| CN111768420A (zh) | 一种细胞图像分割模型 | |
| CN112052877A (zh) | 一种基于级联增强网络的图片细粒度分类方法 | |
| CN115375711A (zh) | 基于多尺度融合的全局上下文关注网络的图像分割方法 | |
| CN112580661A (zh) | 一种深度监督下的多尺度边缘检测方法 | |
| CN116524307A (zh) | 一种基于扩散模型的自监督预训练方法 | |
| CN115601330A (zh) | 一种基于多尺度空间反向注意力机制的结肠息肉分割方法 | |
| Wang et al. | SERR-U-Net: squeeze-and-excitation residual and recurrent block-based U-Net for automatic vessel segmentation in retinal image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |