CN111079825A - 针对医学图像的细胞核自动检测方法 - Google Patents
针对医学图像的细胞核自动检测方法 Download PDFInfo
- Publication number
- CN111079825A CN111079825A CN201911281620.6A CN201911281620A CN111079825A CN 111079825 A CN111079825 A CN 111079825A CN 201911281620 A CN201911281620 A CN 201911281620A CN 111079825 A CN111079825 A CN 111079825A
- Authority
- CN
- China
- Prior art keywords
- neural network
- deep neural
- attention module
- medical image
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Abstract
本发明公开了一种基于深度神经网络的医学图像细胞核自动检测方法,该方法在编码器‑解码器的网络结构基础上,设计了连接支路用于代替跳跃连接;连接支路中的多尺度特征提取器,能够有效利用不同层级特征图中的细胞核多尺度空间位置信息,同时连接支路中的通道注意力模块和空间注意力模块,能够对特征图中具有判别力的信息进行自动选择,显著提高了检测的性能。
Description
技术领域
本发明涉及医学图像自动分析领域,尤其涉及一种针对医学图像的细胞核自动检测方法。
背景技术
细胞核的检测是医学图像自动分析的重要基础,但是基于人工提取特征的传统检测算法费时费力,同时特征提取和筛选非常依赖专业知识,且难以涵盖图像的全面特征,导致其使用上存在局限性。而深度学习可以自动学习图像的特征表达,具有更强的自学习能力和自适应能力。因此,目前的技术大多使用深度学习的方法来实现细胞核检测。
目前用于医学图像细胞核检测的深度学习方法多采用基于U-Net的网络结构,主要由编码器(Encoder)和解码器(Decoder)构成。其中编码器通过连续卷积和下采样操作,从医学图像中逐层提取细胞核语义信息,得到多通道语义特征图,但空间位置信息会随之减少;而解码器则通过连续上采样和卷积操作,将语义特征图逐层还原到输入图像尺寸,从而最终实现对医学图像中细胞核的空间定位及检测。此外,U-Net在编码器和解码器之间使用跳跃连接(Skip Connection)技术融合空间位置信息,从而有助于解码器从语义特征图中准确定位细胞核。
现有医学图像细胞核检测方法中所采用的跳跃连接技术,存在以下问题:1)对特征图进行直接拼接的融合方式,无法有效利用不同层级特征图中的细胞核多尺度空间位置信息;2)对于细胞核检测任务而言,由于医学图像中存在大量背景噪声,直接利用编码器提取的特征图很难将细胞核与背景图像区分开来。
发明内容
本发明的目的是提供一种基于深度神经网络的医学图像细胞核自动检测方法,该方法在编码器-解码器的网络结构基础上,设计了连接支路用于代替跳跃连接;连接支路中的多尺度特征提取器,能够有效利用不同层级特征图中的细胞核多尺度空间位置信息,同时连接支路中的通道注意力模块和空间注意力模块,能够对特征图中具有判别力的信息进行自动选择,从而显著提高检测性能。
本发明的目的是通过以下技术方案实现的:
一种针对医学图像的细胞核自动检测方法,包括:
按如下方式构建深度神经网络:在编码器-解码器的网络结构基础上设计连接支路代替跳跃连接,连接支路由通道注意力模块、多尺度特征提取器和空间注意力模块串联组成;深度神经网络通过编码器逐层提取医学图像的语义信息,得到语义特征图;通过连接支路提取从语义特征图中提取多尺度的细胞核空间位置信息,并结合通道注意力模块和空间注意力模块从通道和空间位置两个角度自动选择与细胞核相关的信息;再通过解码器得到医学图像中每一像素被预测为细胞核的概率,即位置概率图Pk;
利用训练集对深度神经网络进行迭代训练,并通过验证集进行评估,选择其中性能最好的网络;
在测试阶段,将测试集中的医学图像输入至选择的性能最好的网络中,得到对应的位置概率图,对位置概率图进行后处理得到最终的检测结果。
由上述本发明提供的技术方案可以看出,多尺度特征提取器可有效利用不同层级特征图中的细胞核多尺度空间位置信息,而通道注意力模块和空间注意力模块能够对特征图中具有判别力的信息进行自动选择,显著提高了细胞核检测的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种针对医学图像的细胞核自动检测方法的流程图;
图2为本发明实施例提供的一种深度神经网络的结构示意图;
图3为本发明实施例提供的多尺度特征提取器的示意图;
图4为本发明实施例提供的inception模块的示意图;
图5为本发明实施例提供的通道注意力模块的示意图;
图6为本发明实施例提供的空间注意力模块的示意图;
图7为本发明实施例提供的一张医学图像的示意图;
图8为本发明实施例提供的对待检测医学图像使用本发明方案获得的检测结果示意图。
具体实施方式
下面结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明的保护范围。
本发明实施例提供一种针对医学图像的细胞核自动检测方法,如图1所示,其主要包括如下步骤:
步骤1、数据预处理。
1)数据划分及数据增广。
将数据集分成训练集、验证集和测试集三部分,并计算训练集的均值μ和方差σ;其中,针对训练集的数据采用旋转和翻转的方式进行数据增广。
示例性的,可以将CRCHistoPhenotypes数据集按照7:1:2的比例分成训练集、验证集和测试集三部分,并计算训练集的均值μ和方差σ。在本发明实施例中μ=[0.830,0.694,0.853],σ=[0.152,0.204,0.118]。其中,针对训练集的数据采用旋转和翻转的方式进行数据增广。
2)数据归一化。
步骤2、构建深度神经网络。
本发明实施例中,深度神经网络按如下方式构建:在编码器-解码器的网络结构基础上设计了连接支路代替跳跃连接,连接支路由通道注意力模块(channel-wiseattention module,ca)、多尺度特征提取器(multi-scale feature extractor)和空间注意力模块(spatial attention module,sa)串联组成;深度神经网络通过编码器逐层提取医学图像的语义信息,得到语义特征图,再通过解码器将语义特征图还原到输入图像尺寸,同时深度神经网络还通过连接支路实现以下功能:1)充分利用不同层级特征图中的细胞核多尺度空间位置信息,2)采用注意力机制对特征图中具有判别力的信息(也即,与细胞核相关的信息)进行自动选择;最终深度神经网络能够得到医学图像中每个像素被预测为细胞核的概率,即预测的位置概率图Pk。
如图2所示,为一个深度神经网络的结构示意图,具体为一个以编码器-解码器作为基础的4层网络结构,以及连接编码器和解码器的连接支路;其中3次下采样使用最大池化(max pooling)实现,3次上采样使用反卷积(deconv)实现,“/2”、“/1”、“x2”分别表示,将特征图的尺寸变为原来的1/2、保持不变、原来的2倍。
编码器和解码器之间的连接支路由通道注意力模块、多尺度特征提取器和空间注意力模块串联组成,其中多尺度特征提取器用于提取细胞核多尺度空间位置信息,通道注意力模块和空间注意力模块则分别从特征图的通道和空间位置两个角度对特征图中具有判别力的信息进行自动选择。编码器中的语义特征图经连接支路处理后,通过加权求和的方式同解码器中对应的语义特征图进行融合。
如图3所示,多尺度特征提取器是由串联的inception模块构成,#用来表示一个特征提取器中包含的inception的数量。
如图4所示,inception模块由4条并行的支路组成,分别对输入的特征图进行平均池化操作(avg pooling)和3种卷积核尺寸不同的卷积操作(conv),从而实现不同尺度的特征提取,其中3种卷积核尺寸分别为1×1、3×3和5×5,最后将4种不同尺度的特征拼接(concatenate)作为输出;为了提高计算效率,分别在3×3和5×5的卷积操作之前以及平均池化操作之后添加额外的1×1卷积操作来限制计算中特征的通道数,同时5×5卷积操作也被分解成2次连续的3×3卷积操作。
如图5所示,通道注意力模块包括以下操作:使用平均池化将输入的特征图h变成1维向量v,对该1维向量v进行卷积并用sigmoid函数得到1维通道注意力向量fca,将通道注意力向量fca按维度与输入的特征图h相乘得到通道注意力模块的输出。
如图6所示,空间注意力模块包括以下操作:对输入的特征图h′进行卷积并用sigmoid函数得到2维空间注意力向量fsa,将空间注意力向量fsa按像素与输入的特征图h′相乘得到空间注意力模块的输出。
本发明实施例中,选择二值交叉熵作为深度神经网络的损失函数,表示为:
其中,xi为训练样本,yi为对应的标签(已知信息),n为训练样本总数;Gθ(·)表示深度神经网络,θ是深度神经网络的参数集合。
示例性的,下面结合图2介绍深度神经网络处理医学图像的流程
对于该深度神经网络的第i层,首先输入会通过编码器中的inception模块进行初步的特征提取得到特征图对进行下采样即为下一层的输入同时还经由连接支路得到特征图连接支路中,多尺度特征提取器则会提取多尺度的细胞核空间位置信息,而通道注意力模块和空间注意力模块分别从特征图的通道和空间位置两个角度对特征图中具有判别力的信息进行自动选择。为了融合与来自下一层的输出对进行上采样使其与的尺寸相同,并通过加权求和的方式进行融合得到特征图最后,通过解码器中的inception模块得到该层的输出
步骤3、利用训练集对深度神经网络进行迭代训练,并通过验证集进行评估,选择性能最好的网络。
本发明实施例中,将训练集的医学图像送入构建好的深度神经网络进行迭代训练,每遍历一次训练集中的数据,就在验证集上计算一次评价指标,保留其中性能最好的网络。
示例性的,评价指标定义如下:
其中,TP表示被正确检测出的细胞核总数,FP表示被误检为细胞核的样本总数,FN表示未被检出的细胞核总数。
步骤4、在测试阶段,将测试集中的医学图像输入至选择的性能最好的网络中,得到对应的位置概率图,对位置概率图进行后处理得到最终的检测结果。
以图7所示的医学图像为例,将其送入选择的性能最好的网络中得到对应的位置概率图,对位置概率图进行后处理得到最终的检测结果。图8即为图7对应的检测结果。其中后处理包括以下步骤:针对位置概率图采用非极大值抑制法得到检测候选点,针对检测候选点采用阈值法得到最终的检测结果。在本发明实施例中,非极大值抑制法设定的半径为4个像素,阈值法设定的阈值为0.2。从图8可以看出,尽管医学图像背景复杂,细胞核的形态、大小、染色各不相同,但是本发明提供的细胞核自动检测方法可以有效地检测出细胞核。
为了定量地评估深度神经网络的性能,本发明实施例还计算了其在测试集上的评价指标,评价指标的定义同步骤3)一致,如表1所示。
TP | FP | FN | Precision | Recall | F1 score |
5971 | 947 | 1156 | 0.863 | 0.838 | 0.850 |
表1深度神经网络在CRCHistoPhenotypes数据测试集上的评价指标
由表1可知,Precision、Recall和F1 score分别为0.863,0.838和0.850,均处于较高水平。此外,每张图像的细胞核自动检测的平均耗时为0.8s,在时间效率上大幅度优于手工标注。
相较于现有基于深度学习的方法,本发明提供的方法能够充分利用不同层级特征图中的细胞核多尺度空间位置信息,同时采用注意力机制对特征图中具有判别力的信息进行自动选择,显著提高了检测的性能。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现,也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解,上述实施例的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明披露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求书的保护范围为准。
Claims (6)
1.一种针对医学图像的细胞核自动检测方法,其特征在于,包括:
按如下方式构建深度神经网络:在编码器-解码器的网络结构基础上设计连接支路代替跳跃连接,连接支路由通道注意力模块、多尺度特征提取器和空间注意力模块串联组成;深度神经网络通过编码器逐层提取医学图像的语义信息,得到语义特征图;通过连接支路提取从语义特征图中提取多尺度的细胞核空间位置信息,并结合通道注意力模块和空间注意力模块从通道和空间位置两个角度自动选择与细胞核相关的信息;再通过解码器得到医学图像中每一像素被预测为细胞核的概率,即位置概率图Pk;
利用训练集对深度神经网络进行迭代训练,并通过验证集进行评估,选择其中性能最好的网络;
在测试阶段,将测试集中的医学图像输入至选择的性能最好的网络中,得到对应的位置概率图,对位置概率图进行后处理得到最终的检测结果。
2.根据权利要求1所述的一种针对医学图像的细胞核自动检测方法,其特征在于,所述多尺度特征提取器由串联的inception模块构成;编码器和解码器间的连接支路采用加权求和的方式进行特征融合。
3.根据权利要求1所述的一种针对医学图像的细胞核自动检测方法,其特征在于,
通道注意力模块包括以下操作:使用平均池化将输入的特征图h变成1维向量v,对该1维向量v进行卷积并用sigmoid函数得到1维通道注意力向量fca,将通道注意力向量fca按维度与输入的特征图h相乘得到通道注意力模块的输出;
空间注意力模块包括以下操作:对输入的特征图h′进行卷积并用sigmoid函数得到2维空间注意力向量fsa,将空间注意力向量fsa按像素与输入的特征图h′相乘得到空间注意力模块的输出。
6.根据权利要求1所述的一种针对医学图像的细胞核自动检测方法,其特征在于,位置概率图进行后处理的方式包括:针对位置概率图采用非极大值抑制法得到检测候选点,针对检测候选点采用阈值法得到最终的检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911281620.6A CN111079825B (zh) | 2019-12-09 | 2019-12-09 | 针对医学图像的细胞核自动检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911281620.6A CN111079825B (zh) | 2019-12-09 | 2019-12-09 | 针对医学图像的细胞核自动检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111079825A true CN111079825A (zh) | 2020-04-28 |
CN111079825B CN111079825B (zh) | 2022-09-30 |
Family
ID=70314279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911281620.6A Active CN111079825B (zh) | 2019-12-09 | 2019-12-09 | 针对医学图像的细胞核自动检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111079825B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102324A (zh) * | 2020-09-17 | 2020-12-18 | 中国科学院海洋研究所 | 一种基于深度U-Net模型的遥感图像海冰识别方法 |
CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
CN112634279A (zh) * | 2020-12-02 | 2021-04-09 | 四川大学华西医院 | 一种基于注意力Unet模型的医学图像语义分割方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109165697A (zh) * | 2018-10-12 | 2019-01-08 | 福州大学 | 一种基于注意力机制卷积神经网络的自然场景文字检测方法 |
US20190043178A1 (en) * | 2018-07-10 | 2019-02-07 | Intel Corporation | Low-light imaging using trained convolutional neural networks |
CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
CN110264476A (zh) * | 2019-06-19 | 2019-09-20 | 东北大学 | 一种多尺度串行的卷积深度学习显微图像分割方法 |
KR20190113119A (ko) * | 2018-03-27 | 2019-10-08 | 삼성전자주식회사 | 합성곱 신경망을 위한 주의집중 값 계산 방법 |
-
2019
- 2019-12-09 CN CN201911281620.6A patent/CN111079825B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190113119A (ko) * | 2018-03-27 | 2019-10-08 | 삼성전자주식회사 | 합성곱 신경망을 위한 주의집중 값 계산 방법 |
US20190043178A1 (en) * | 2018-07-10 | 2019-02-07 | Intel Corporation | Low-light imaging using trained convolutional neural networks |
CN109165697A (zh) * | 2018-10-12 | 2019-01-08 | 福州大学 | 一种基于注意力机制卷积神经网络的自然场景文字检测方法 |
CN110120020A (zh) * | 2019-04-30 | 2019-08-13 | 西北工业大学 | 一种基于多尺度空洞残差注意力网络的sar图像去噪方法 |
CN110264476A (zh) * | 2019-06-19 | 2019-09-20 | 东北大学 | 一种多尺度串行的卷积深度学习显微图像分割方法 |
Non-Patent Citations (2)
Title |
---|
SANGHYUN WOO ET AL: "CBAM: Convolutional Block Attention Module", 《ARXIV:1807.06521V2》 * |
徐宏伟等: "基于残差双注意力U-Net模型的CT图像囊肿肾脏自动分割", 《计算机应用研究》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112102324A (zh) * | 2020-09-17 | 2020-12-18 | 中国科学院海洋研究所 | 一种基于深度U-Net模型的遥感图像海冰识别方法 |
CN112215117A (zh) * | 2020-09-30 | 2021-01-12 | 北京博雅智康科技有限公司 | 一种基于宫颈细胞学图像的异常细胞识别方法及系统 |
CN112634279A (zh) * | 2020-12-02 | 2021-04-09 | 四川大学华西医院 | 一种基于注意力Unet模型的医学图像语义分割方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111079825B (zh) | 2022-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109302410B (zh) | 一种内部用户异常行为检测方法、系统及计算机存储介质 | |
CN111079825B (zh) | 针对医学图像的细胞核自动检测方法 | |
CN108345827B (zh) | 识别文档方向的方法、系统和神经网络 | |
Nawaz et al. | A robust deep learning approach for tomato plant leaf disease localization and classification | |
CN114445670B (zh) | 图像处理模型的训练方法、装置、设备及存储介质 | |
Feng et al. | Multi‐scale classification network for road crack detection | |
CN113674288B (zh) | 一种非小细胞肺癌数字病理图像组织自动分割方法 | |
Khalil et al. | Text detection and script identification in natural scene images using deep learning | |
CN111931763A (zh) | 一种基于随机形态边缘几何建模的深度场景文本检测方法 | |
CN111444807A (zh) | 目标检测方法、装置、电子设备和计算机可读介质 | |
CN110866931B (zh) | 图像分割模型训练方法及基于分类的强化图像分割方法 | |
US11809519B2 (en) | Semantic input sampling for explanation (SISE) of convolutional neural networks | |
CN113177554B (zh) | 甲状腺结节识别与分割方法、系统、存储介质及设备 | |
CN114998756A (zh) | 一种基于yolov5的遥感图像检测方法、装置及存储介质 | |
Zhao et al. | Double attention for multi-label image classification | |
CN114764789A (zh) | 病理细胞的量化方法、系统、装置及存储介质 | |
CN112132867B (zh) | 一种遥感影像变化检测方法及装置 | |
İmamoğlu et al. | Saliency detection by forward and backward cues in deep-CNN | |
CN113344933A (zh) | 一种基于多层次特征融合网络的腺体细胞分割方法 | |
CN111291712B (zh) | 基于插值的cn和胶囊网络的森林火灾识别方法及装置 | |
CN112801960B (zh) | 图像处理方法及装置、存储介质、电子设备 | |
CN112785601B (zh) | 一种图像分割方法、系统、介质及电子终端 | |
CN112529908B (zh) | 一种基于级联卷积网络的数字病理图像分割方法及其模型 | |
Charisma et al. | Transfer Learning With Densenet201 Architecture Model For Potato Leaf Disease Classification | |
CN112613341A (zh) | 训练方法及装置、指纹识别方法及装置、电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |