CN112529908A - 一种基于级联卷积网络的数字病理图像分割方法及其模型 - Google Patents

一种基于级联卷积网络的数字病理图像分割方法及其模型 Download PDF

Info

Publication number
CN112529908A
CN112529908A CN202011408765.0A CN202011408765A CN112529908A CN 112529908 A CN112529908 A CN 112529908A CN 202011408765 A CN202011408765 A CN 202011408765A CN 112529908 A CN112529908 A CN 112529908A
Authority
CN
China
Prior art keywords
resolution
feature map
low
segmentation
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011408765.0A
Other languages
English (en)
Other versions
CN112529908B (zh
Inventor
姜志国
孙树娇
郑钰山
张浩鹏
谢凤英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202011408765.0A priority Critical patent/CN112529908B/zh
Publication of CN112529908A publication Critical patent/CN112529908A/zh
Application granted granted Critical
Publication of CN112529908B publication Critical patent/CN112529908B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H70/00—ICT specially adapted for the handling or processing of medical references
    • G16H70/60—ICT specially adapted for the handling or processing of medical references relating to pathologies
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于级联卷积网络的数字病理图像分割方法及其模型，该方法为：输入待分割的病理图像，通过采样获取高分辨率特征图和低分辨率特征图，根据当前低分辨率特征图获取低分辨率特征图的分割能力概率；对比分割能力概率与测试阈值的大小，若分割能力概率大于测试阈值，则通过训练好的低分辨率分割模型进行图像分割，若分割能力概率小于等于测试阈值，则通过训练好的高分辨率分割模型进行图像分割，获取分割结果；该模型包括第一注意力模块、阈值比较模块、低分辨率分割模型和高分辨率分割模型，其中高分辨率分割模型包括级联控制模块。本发明有效减少了高分辨率的数字病理图像处理过程中的计算量，使数字病理图像分割更加快速高效。

Description

一种基于级联卷积网络的数字病理图像分割方法及其模型
技术领域
本发明涉及数字图像处理技术领域，更具体的说是涉及一种基于级联卷积网络的数字病理图像分割方法及其模型。
背景技术
随着计算机与显微成像技术的快速发展，数字病理图像的获取也越来越便捷与快速，大量数字病理图像数据使得基于深度学习的数字病理图像分割方法研究成为大量研究人员关注的热点。
数字病理图像的分割即在病理全切片图像中分割出癌症区域，在病理图像的分割任务中，最常用的分割网络有FCN、U-Net等，这些网络都是在一个固定的分辨率下进行图像的分割，然而，病理图像分辨率很大，处理起来速度较慢，所以研究病理图像的快速分割方法有重要的意义。
现有的级联分割主要通过以下两种方法进行：(a)基于多个互相独立的分辨率网络来进行训练测试，虽然可以达到减少计算量，加快速度的最终目的，但是训练过程中训练两个网络模型，增加了训练的时间；测试过程中，对两个网络分别进行测试，虽然总时间减少了，但是非端到端的网络使用起来增加了不便性。(b)将多个分辨率的图像作为输入，但是多个分辨率的图像特征之间没有进行有效的结合，同等对待，多个分辨率的输入增加了网络的计算量，不利用于网络的高效分割。
因此，如何提供一种快速高效的基于级联卷积网络的数字病理图像分割方法是本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提供了一种基于级联卷积网络的数字病理图像分割方法及其模型，目的在于有效减少高分辨率的数字病理图像处理过程中的计算量，使数字病理图像分割更加快速高效。
为了实现上述目的，本发明采用如下技术方案：
一种基于级联卷积网络的数字病理图像分割方法，包括以下步骤：
输入待分割的病理图像，通过采样获取高分辨率特征图和低分辨率特征图，根据当前低分辨率特征图获取对低分辨率特征图的分割能力概率P；对比分割能力概率P与测试阈值Trd的大小，若分割能力概率P大于测试阈值Trd，则通过训练好的低分辨率分割模型进行图像分割，若分割能力概率P小于等于测试阈值Trd，则通过训练好的高分辨率分割模型进行图像分割，获取分割结果；
其中，通过训练好的低分辨率分割模型进行图像分割的方法包括：
对当前低分辨率特征图提取特征信息，获得最终分割结果；
通过训练好的高分辨率分割模型进行图像分割的方法包括：
S1.根据当前低分辨率特征图获取低分辨率特征图的权重α2，以及高分辨率特征图的权重α1；
S2.根据所获得的权重α1和权重α2分别对高分辨率特征图和低分辨率特征图进行加权融合；
S3.对加权融合后的特征图提取并融合浅层信息和深层信息，获得最终分割结果。
优选的，S1的具体内容包括：
对低分辨率特征图进行特征处理，将特征处理后的低分辨率特征图经过2×2池化层进行下采样，然后对下采样后的特征图进行全局平均池化得到1×1×c维的数组，再进行整平操作得到1×c维的数组，后续经过全连接层，得到两个输出，最后经过softmax函数得到权重α1和权重α2；
其中，c为通道数。
优选的，S2的具体内容包括：
对高分辨率特征图进行特征处理，对特征处理后的高分辨率特征图的每个值乘以权重α1完成对高分辨率特征图的加权，对特征处理后低分辨率特征图的每个值乘以权重α2完成对低分辨率特征图的加权，对加权后的高分辨率特征图和低分辨率特征图进行求和获取融合后的特征图，并对求和后的特征图进行特征处理。
优选的，特征处理具体方法为进行卷积。
优选的，对高分辨率分割模型的训练方法为：
(1)输入对应位置的高分辨率病理图像与低分辨率病理图像，并进一步获取高分辨率特征图与低分辨率特征图；
(2)根据当前低分辨率特征图获取低分辨率特征图的权重α2，以及高分辨率特征图的权重α1，其中α2＝1-α1；
(3)将低分辨率特征图和高分辨率特征图进行加权融合，得到融合后的特征图；
(4)将融合后的特征图进行卷积操作，得到低分辨率的分割结果与高分辨率的分割结果；
(5)损失函数包括低分辨率的Dice Loss和高分辨率的Dice Loss的加和，通过模型在验证集上的效果来选取最终的训练模型。
一种基于级联卷积网络的数字病理图像分割模型，第一注意力模块、阈值比较模块、低分辨率分割模型和高分辨率分割模型，
所述第一注意力模块，用于对待分割的病理图像的低分辨率特征图求取对低分辨率特征图的分割能力概率P；
所述阈值比较模块，用于比较分割能力概率P与测试阈值Trd的大小，并根据比较结果判断进行图像分割的模型；
所述低分辨率分割模型，用于在分割能力概率P大于测试阈值Trd的情况下对低分辨率特征图进行图像分割；
所述高分辨率分割模型，用于在分割能力概率P小于等于测试阈值Trd的情况下，对低分辨率特征图和高分辨率特征图进行加权融合，并根据加权融合后的特征图完成图像分割。
优选的，所述高分辨率分割模型包括：收缩网络；
所述收缩网络包括级联控制模块和特征提取模块；
所述级联控制模块包括第二注意力模块和求和模块；其中，
所述第二注意力模块，用于获取特征处理过后的低分辨率特征图并计算低分辨率特征图的权重α2，以及高分辨率特征图的权重α1；
所述求和模块，用于获取特征处理过后的高分辨率特征图，对特征处理后的高分辨率特征图的每个值乘以权重α1完成对高分辨率特征图的加权，对特征处理后低分辨率特征图的每个值乘以权重α2完成对低分辨率特征图的加权，对加权后的高分辨率特征图和低分辨率特征图进行求和获取融合后的特征图，并对求和后的特征图进行特征处理；
所述特征提取模块，用于获取求和后的特征图进行下采样完成浅层信息的提取。
优选的，所述高分辨率分割模型还包括扩张网络和特征融合部分；
所述扩张网络，用于对完成下采样后的特征图进行上采样完成深层信息的提取；
所述特征融合部分，用于将每一次下采样所获取的深层信息与所对应的浅层信息进行特征融合。
优选的，所述第一注意力模块和所述第二注意力模块的结构相同，且依次包括：2×2池化层、平均池化层、整平单元、全连接层和softmax函数单元；
所述2×2池化层，用于对特征处理后的低分辨率特征图进行下采样；
所述平均池化层，用于对下采样后的特征图进行全局平均池化得到1×1×c维的数组；
所述整平单元，用于对所得到的数组整平操作得到1×c维的数组；
所述全连接层，用于获取两个输出；
所述softmax函数单元，用于根据经过全连接层的输出获取权重α1和权重α2；
其中，c为通道数。
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于级联卷积网络的数字病理图像分割方法及其模型，该方法不仅实现了多分辨率输入，并且通过可训练参数作为权重，有效利用不同分辨率图像提取特征，在对病历图像分割的过程中通过计算低分辨率网络的分割能力指标确定是否需要高分辨率分割模型的参与，当指标大于设定阈值大小时，不需要高分辨率的多余计算量，由此大大减少了网络的计算量，加快了网络的处理速度，并且对于低分辨率图像的分割能力进行有效估计，不会因为使用图像的分辨率较低而影响网络的分割精度。另外，本发明中的该方法及模型，还实现了端对端训练和测试的效果，使训练的过程更加简便，提高了准确率，大大增强了级联网络的实用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1附图为本发明提供的一种基于级联卷积网络的数字病理图像分割模型的整体结构示意图；
图2附图为本发明提供的一种基于级联卷积网络的数字病理图像分割模型中高分辨率模型结构示意图；
图3附图为本发明提供的一种基于级联卷积网络的数字病理图像分割模型的低分辨率模型结构示意图；
图4附图为本发明提供的一种基于级联卷积网络的数字病理图像分割模型的第一注意力模块和第二注意力模块的结构示意图；
图5附图为本发明提供的一种基于级联卷积网络的数字病理图像分割模型的求和模块的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于级联卷积网络的数字病理图像分割方法，包括以下步骤：
输入待分割的病理图像，通过采样获取高分辨率特征图和低分辨率特征图，根据当前低分辨率特征图获取对低分辨率特征图的分割能力概率P；对比分割能力概率P与测试阈值Trd的大小，若分割能力概率P大于测试阈值Trd，则通过训练好的低分辨率分割模型进行图像分割，若分割能力概率P小于等于测试阈值Trd，则通过训练好的高分辨率分割模型进行图像分割，获取分割结果；
其中，通过训练好的低分辨率分割模型进行图像分割的方法包括：
对当前低分辨率特征图提取特征信息，获得最终分割结果；
通过训练好的高分辨率分割模型进行图像分割的方法包括：
S1.根据当前低分辨率特征图获取低分辨率特征图的权重α2，以及高分辨率特征图的权重α1；
S2.根据所获得的权重α1和权重α2分别对高分辨率特征图和低分辨率特征图进行加权融合；
S3.对加权融合后的特征图提取并融合浅层信息和深层信息，获得最终分割结果。
需要说明的是：
本发明中的低分辨率分割模型为少了一个分辨率阶段的分割网络，即分别少了一次上采样计算和下采样结算。
在本实施例中，输入是不同分辨率下的病理图像，包括10倍物镜下的高分辨率图像，大小是1024×1024，以及低分辨率5倍物镜下的图像，大小是512×512。图像均为RGB三通道彩色图像。低分辨率图像是由高分辨率图像下采样得到。输出有两个分辨率的分割概率图输出，经过softmax，概率图每个位置的值为0到1之间的概率值。其中低分辨率的输出上采样到高分辨率的输出，进行损失函数的计算。
在本实施例中，分割能力概率P与所述权重α2，的本质是相同的。
为了进一步实施上述技术方案，S1的具体内容包括：
对低分辨率特征图进行特征处理，将特征处理后的低分辨率特征图经过2×2池化层进行下采样，然后对下采样后的特征图进行全局平均池化得到1×1×c维的数组，再进行整平操作得到1×c维的数组，后续经过全连接层，得到两个输出，最后经过softmax函数得到权重α1和权重α2；
其中，c为通道数。
为了进一步实施上述技术方案，S2的具体内容包括：
对高分辨率特征图进行特征处理，对特征处理后的高分辨率特征图的每个值乘以权重α1完成对高分辨率特征图的加权，对特征处理后低分辨率特征图的每个值乘以权重α2完成对低分辨率特征图的加权，对加权后的高分辨率特征图和低分辨率特征图进行求和获取融合后的特征图，并对求和后的特征图进行特征处理。
为了进一步实施上述技术方案，特征处理具体方法为进行卷积。
为了进一步实施上述技术方案，对高分辨率分割模型的训练方法为：
(1)输入对应位置的高分辨率病理图像与低分辨率病理图像，并进一步获取高分辨率特征图与低分辨率特征图；
(2)根据当前低分辨率特征图获取低分辨率特征图的权重α2，以及高分辨率特征图的权重α1，其中α2＝1-α1；
(3)将低分辨率特征图和高分辨率特征图进行加权融合，得到融合后的特征图；
(4)将融合后的特征图进行卷积操作，得到低分辨率的分割结果与高分辨率的分割结果；
(5)损失函数包括低分辨率的Dice Loss和高分辨率的Dice Loss的加和，通过模型在验证集上的效果来选取最终的训练模型。
一种基于级联卷积网络的数字病理图像分割模型，如图1-5所示，第一注意力模块、阈值比较模块、低分辨率分割模型和高分辨率分割模型，
第一注意力模块，用于对待分割的病理图像的低分辨率特征图求取对低分辨率特征图的分割能力概率P；
阈值比较模块，用于比较分割能力概率P与测试阈值Trd的大小，并根据比较结果判断进行图像分割的模型；
低分辨率分割模型，用于在分割能力概率P大于测试阈值Trd的情况下对低分辨率特征图进行图像分割；
高分辨率分割模型，用于在分割能力概率P小于等于测试阈值Trd的情况下，对低分辨率特征图和高分辨率特征图进行加权融合，并根据加权融合后的特征图完成图像分割。
为了进一步实施上述技术方案，高分辨率分割模型包括：收缩网络；
收缩网络包括级联控制模块和特征提取模块；
级联控制模块包括第二注意力模块和求和模块；其中，
第二注意力模块，用于获取特征处理过后的低分辨率特征图并计算低分辨率特征图的权重α2，以及高分辨率特征图的权重α1；
求和模块，用于获取特征处理过后的高分辨率特征图，对特征处理后的高分辨率特征图的每个值乘以权重α1完成对高分辨率特征图的加权，对特征处理后低分辨率特征图的每个值乘以权重α2完成对低分辨率特征图的加权，对加权后的高分辨率特征图和低分辨率特征图进行求和获取融合后的特征图，并对求和后的特征图进行特征处理；
特征提取模块，用于获取求和后的特征图进行下采样完成浅层信息的提取。
为了进一步实施上述技术方案，高分辨率分割模型还包括扩张网络和特征融合部分；
扩张网络，用于对完成下采样后的特征图进行上采样完成深层信息的提取；
特征融合部分，用于将每一次下采样所获取的深层信息与所对应的浅层信息进行特征融合。
为了进一步实施上述技术方案，第一注意力模块和第二注意力模块的结构相同，且依次包括：2×2池化层、平均池化层、整平单元、全连接层和softmax函数单元；
2×2池化层，用于对特征处理后的低分辨率特征图进行下采样；
平均池化层，用于对下采样后的特征图进行全局平均池化得到1×1×c维的数组；
整平单元，用于对所得到的数组整平操作得到1×c维的数组；
全连接层，用于获取两个输出；
softmax函数单元，用于根据经过全连接层的输出获取权重α1和权重α2；
其中，c为通道数。
下面将通过各个算法对比实例对本发明进行进一步说明：
本实施例提出了一种基于级联卷积网络的数字病理图像分割方法及其模型，主要在于级联控制模块。该方法不仅实现了多分辨率输入，并且通过可训练参数作为权重，有效利用不同分辨率图像提取的特征。
本实施例在测试的过程中，通过计算低分辨率网络的分割能力指标确定是否需要高分辨率图像参与计算，当指标大于设定阈值大小时，不需要高分辨率的多余计算量，由此大大减少了网络的计算量，加快了网络的处理速度，并且对于低分辨率图像的分割能力进行有效估计，不会因为使用图像的分辨率较低而影响网络的分割精度。以U-Net为基础架构，分别以低分辨率图像为训练输入，高分辨率图像为训练输入，以及本文提出的高低分辨率相结合的输入，具体指标结果如表1所示。本实施例的实验在ACDC-LungHP数据集上进行，有150张切片，其中70张作为训练集，30张作为验证集，实验结果为根据验证集选取模型后在测试集上进行测试后的指标。本实施例所提出的算法明显精度好于只用低分辨率样本训练出的模型，Dice系数指标达到了0.695，这是因为当低分辨率图像满足分割要求时，只对低分辨率图像进行处理，更倾向于分割结果的连续性，与真值标签相比有较好的指标。级联网络可以达到端到端训练的目的，其处理50张测试切片所消耗的网络计算量为2.84×107B，有明显的减少。实验结果定量证明了本实施例算法的高效性。
因为本实施例中将提出的级联控制模块应用在了U-Net基本架构上，所以将本实施例算法与其他现有的较好的基于U-Net进行改进的网络方法进行比较，结果如图2所示，实验结果证明了本实施例所提方法与其他较前沿方法对比，仍旧表现出了其高效性，在保证精度的同时，网络计算量大大减少。
表1不同分辨率图像输入的U-Net网络分割结果
Figure BDA0002814796440000091
表2本文方法与其他方法比较
Figure BDA0002814796440000092
Figure BDA0002814796440000101
本发明中的级联控制模块，不仅在本发明的介绍过程中使用的U-Net网络有效，在任意网络均可使用。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种基于级联卷积网络的数字病理图像分割方法，其特征在于，包括以下步骤：
输入待分割的病理图像，通过采样获取高分辨率特征图和低分辨率特征图，根据当前低分辨率特征图获取对低分辨率特征图的分割能力概率P；对比分割能力概率P与测试阈值Trd的大小，若分割能力概率P大于测试阈值Trd，则通过训练好的低分辨率分割模型进行图像分割，若分割能力概率P小于等于测试阈值Trd，则通过训练好的高分辨率分割模型进行图像分割，获取分割结果；
其中，通过训练好的低分辨率分割模型进行图像分割的方法包括：
对当前低分辨率特征图提取特征信息，直接获得低分辨率分割结果，再上采样得到最终分割结果；
通过训练好的高分辨率分割模型进行图像分割的方法包括：
S1.根据当前低分辨率特征图获取低分辨率特征图的权重α2，以及高分辨率特征图的权重α1；
S2.根据所获得的权重α1和权重α2分别对高分辨率特征图和低分辨率特征图进行加权融合；
S3.对加权融合后的特征图提取并融合浅层信息和深层信息，获得最终分割结果。
2.根据权利要求1所述的一种基于级联卷积网络的数字病理图像分割方法，其特征在于，S1的具体内容包括：
对低分辨率特征图进行特征处理，将特征处理后的低分辨率特征图经过2×2池化层进行下采样，然后对下采样后的特征图进行全局平均池化得到1×1×c维的数组，再进行整平操作得到1×c维的数组，后续经过全连接层，得到两个输出，最后经过softmax函数得到权重α1和权重α2；
其中，c为通道数。
3.根据权利要求1所述的一种基于级联卷积网络的数字病理图像分割方法，其特征在于，S2的具体内容包括：
对高分辨率特征图进行特征处理，对特征处理后的高分辨率特征图的每个值乘以权重α1完成对高分辨率特征图的加权，对特征处理后低分辨率特征图的每个值乘以权重α2完成对低分辨率特征图的加权，对加权后的高分辨率特征图和低分辨率特征图进行求和获取融合后的特征图，并对求和后的特征图进行特征处理。
4.根据权利要求2或3中任意一项所述的一种基于级联卷积网络的数字病理图像分割方法，其特征在于，特征处理具体方法为进行卷积。
5.根据权利要求1所述的一种基于级联卷积网络的数字病理图像分割方法，其特征在于，对高分辨率分割模型的训练方法为：
(1)输入对应位置的高分辨率病理图像与低分辨率病理图像，并进一步获取高分辨率特征图与低分辨率特征图；
(2)根据当前低分辨率特征图获取低分辨率特征图的权重α2，以及高分辨率特征图的权重α1，其中α2α1+α2＝1；
(3)将低分辨率特征图和高分辨率特征图进行加权融合，得到融合后的特征图；
(4)将融合后的特征图进行卷积操作，得到低分辨率的分割结果与高分辨率的分割结果；
(5)损失函数包括低分辨率的Dice Loss和高分辨率的Dice Loss的加和，通过模型在验证集上的效果来选取最终的训练模型。
6.一种基于级联卷积网络的数字病理图像分割模型，其特征在于，第一注意力模块、阈值比较模块、低分辨率分割模型和高分辨率分割模型，
所述第一注意力模块，用于对待分割的病理图像的低分辨率特征图求取对低分辨率特征图的分割能力概率P；
所述阈值比较模块，用于比较分割能力概率P与测试阈值Trd的大小，并根据比较结果判断进行图像分割的模型；
所述低分辨率分割模型，用于在分割能力概率P大于测试阈值Trd的情况下对低分辨率特征图进行图像分割；
所述高分辨率分割模型，用于在分割能力概率P小于等于测试阈值Trd的情况下，对低分辨率特征图和高分辨率特征图进行加权融合，并根据加权融合后的特征图完成图像分割。
7.根据权利要求7所述的一种基于级联卷积网络的数字病理图像分割模型，其特征在于，所述高分辨率分割模型包括：收缩网络；
所述收缩网络包括级联控制模块和特征提取模块；
所述级联控制模块包括第二注意力模块和求和模块；其中，
所述第二注意力模块，用于获取特征处理过后的低分辨率特征图并计算低分辨率特征图的权重α2，以及高分辨率特征图的权重α1；
所述求和模块，用于获取特征处理过后的高分辨率特征图，对特征处理后的高分辨率特征图的每个值乘以权重α1完成对高分辨率特征图的加权，对特征处理后低分辨率特征图的每个值乘以权重α2完成对低分辨率特征图的加权，对加权后的高分辨率特征图和低分辨率特征图进行求和获取融合后的特征图，并对求和后的特征图进行特征处理；
所述特征提取模块，用于获取求和后的特征图进行下采样完成浅层信息的提取。
8.根据权利要求7所述的一种基于级联卷积网络的数字病理图像分割模型，其特征在于，所述高分辨率分割模型还包括扩张网络和特征融合部分；
所述扩张网络，用于对完成下采样后的特征图进行上采样完成深层信息的提取；
所述特征融合部分，用于将每一次下采样所获取的深层信息与所对应的浅层信息进行特征融合。
9.根据权利要求7所述的一种基于级联卷积网络的数字病理图像分割模型，其特征在于，所述第一注意力模块和所述第二注意力模块的结构相同，且依次包括：2×2池化层、平均池化层、整平单元、全连接层和softmax函数单元；
所述2×2池化层，用于对特征处理后的低分辨率特征图进行下采样；
所述平均池化层，用于对下采样后的特征图进行全局平均池化得到1×1×c维的数组；
所述整平单元，用于对所得到的数组整平操作得到1×c维的数组；
所述全连接层，用于获取两个输出；
所述softmax函数单元，用于根据经过全连接层的输出获取权重α1和权重α2；
其中，c为通道数。
CN202011408765.0A 2020-12-03 2020-12-03 一种基于级联卷积网络的数字病理图像分割方法及其模型 Active CN112529908B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011408765.0A CN112529908B (zh) 2020-12-03 2020-12-03 一种基于级联卷积网络的数字病理图像分割方法及其模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011408765.0A CN112529908B (zh) 2020-12-03 2020-12-03 一种基于级联卷积网络的数字病理图像分割方法及其模型

Publications (2)

Publication Number Publication Date
CN112529908A true CN112529908A (zh) 2021-03-19
CN112529908B CN112529908B (zh) 2022-10-04

Family

ID=74997646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011408765.0A Active CN112529908B (zh) 2020-12-03 2020-12-03 一种基于级联卷积网络的数字病理图像分割方法及其模型

Country Status (1)

Country Link
CN (1) CN112529908B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850812A (zh) * 2021-09-06 2021-12-28 北京航空航天大学 一种眼底动静脉图像分割方法、装置和设备
CN117012373A (zh) * 2023-10-07 2023-11-07 广州市妇女儿童医疗中心 一种葡萄胎辅助检查模型的训练方法、应用方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447062A (zh) * 2018-02-01 2018-08-24 浙江大学 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法
CN111047606A (zh) * 2019-12-05 2020-04-21 北京航空航天大学 一种基于级联思想的病理全切片图像分割算法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447062A (zh) * 2018-02-01 2018-08-24 浙江大学 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法
CN111047606A (zh) * 2019-12-05 2020-04-21 北京航空航天大学 一种基于级联思想的病理全切片图像分割算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GUOTAI WANG ET AL.: "Automatic Brain Tumor Segmentation Based on Cascaded Convolutional Neural Networks With Uncertainty Estimation", 《FRONTIERS IN COMPUTATIONAL NEUROSCIENCE》 *
SHUJIAO SUN ET AL.: "CANCER SENSITIVE CASCADED NETWORKS (CSC-NET) FOR EFFICIENT HISTOPATHOLOGY WHOLE SLIDE IMAGE SEGMENTATION", 《2020 IEEE 17TH INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》 *
郑钰山 等: "组织病理图像检索及其癌症辅助诊断方法概述", 《中国体视学与图像分析》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113850812A (zh) * 2021-09-06 2021-12-28 北京航空航天大学 一种眼底动静脉图像分割方法、装置和设备
CN117012373A (zh) * 2023-10-07 2023-11-07 广州市妇女儿童医疗中心 一种葡萄胎辅助检查模型的训练方法、应用方法及系统
CN117012373B (zh) * 2023-10-07 2024-02-23 广州市妇女儿童医疗中心 一种葡萄胎辅助检查模型的训练方法、应用方法及系统

Also Published As

Publication number Publication date
CN112529908B (zh) 2022-10-04

Similar Documents

Publication Publication Date Title
CN108447062B (zh) 一种基于多尺度混合分割模型的病理切片非常规细胞的分割方法
CN110211045B (zh) 基于srgan网络的超分辨率人脸图像重建方法
CN111696094B (zh) 免疫组化pd-l1膜染色病理切片图像处理方法、装置和设备
CN111950453B (zh) 一种基于选择性注意力机制的任意形状文本识别方法
CN110136062B (zh) 一种联合语义分割的超分辨率重建方法
CN110246148B (zh) 多模态的深度信息融合和注意力学习的显著性检测方法
CN112597985B (zh) 一种基于多尺度特征融合的人群计数方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN111369522B (zh) 基于生成对抗卷积神经网络的光场显著性目标检测方法
CN111612008A (zh) 基于卷积网络的图像分割方法
CN110223304B (zh) 一种基于多路径聚合的图像分割方法、装置和计算机可读存储介质
CN108961180B (zh) 红外图像增强方法及系统
CN111797841B (zh) 一种基于深度残差网络的视觉显著性检测方法
CN111353544B (zh) 一种基于改进的Mixed Pooling-YOLOV3目标检测方法
CN112529908B (zh) 一种基于级联卷积网络的数字病理图像分割方法及其模型
US20200279166A1 (en) Information processing device
CN110879982A (zh) 一种人群计数系统及方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN110866938B (zh) 一种全自动视频运动目标分割方法
CN114898284B (zh) 一种基于特征金字塔局部差异注意力机制的人群计数方法
CN111914654A (zh) 一种文本版面分析方法、装置、设备和介质
CN112149526B (zh) 一种基于长距离信息融合的车道线检测方法及系统
CN111798469A (zh) 基于深度卷积神经网络的数字图像小数据集语义分割方法
CN115375711A (zh) 基于多尺度融合的全局上下文关注网络的图像分割方法
CN111275126A (zh) 样本数据集生成方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant