CN112686850A - 基于空间位置和原型网络的ct图像的少样本分割方法和系统 - Google Patents
基于空间位置和原型网络的ct图像的少样本分割方法和系统 Download PDFInfo
- Publication number
- CN112686850A CN112686850A CN202011554513.9A CN202011554513A CN112686850A CN 112686850 A CN112686850 A CN 112686850A CN 202011554513 A CN202011554513 A CN 202011554513A CN 112686850 A CN112686850 A CN 112686850A
- Authority
- CN
- China
- Prior art keywords
- segmentation
- module
- segmented
- feature
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明提供了一种基于空间位置和原型网络的CT图像的少样本分割方法和系统，包括：步骤1：获取CT图像的训练集和测试集；步骤2：对训练集和测试集进行预处理；步骤3：对训练集分为支撑集和待分割集；步骤4：对选取的CT图像进行特征提取；步骤5：根据支撑集包含的分割标注，对每一块局部特征区域中的标注出的器官区域和背景区域进行局部平均池化，获取表征器官在该区域的原型向量以及背景的原型向量；步骤6：将待分割集与支持集进行相似度计算，得到2D分割结果；步骤7：将2D分割结果扩展到3D的CT上，获得3D分割结果。本发明根据相同种类器官在CT图像中的空间位置相似性先验，减少了传统全监督分割模型的大量标注的需求。
Description
技术领域
本发明涉及医学影像技术领域，具体地，涉及一种基于空间位置和原型网络的CT图像的少样本分割方法和系统。
背景技术
深度神经网络的出现给医学图像分割领域带来了革命性的发展。然而，尽管现有的全监督分割方法取得了巨大的成功，但它们的使用受到了标注数据集的限制。一般来说医学图像的标注过程极为繁琐，对于不同的标注内容往往需要开发特殊的标注工具并交由有经验的医生进行，这导致高标注质量的医学图像数据集非常稀缺。因此探索新的医学图像分割技术来对缺少标注的数据集进行分割是势在必行的。
在医学图像领域，大多数现存的工作聚焦于如何用更少的样本进行模型的训练，比如对少量的标记样本进行数据增强来合成更多的伪标记样本。但是这些方法在用于训练与测试集器官类别不同的数据集时，需要花费大量的时间对模型重新训练。因此我们采纳最近较新提出的原型网络(prototype network)技术，该技术可以到达如下目标：无论该种类的器官是否在训练集中见过，都可以利用非常少数量的支持集(support set)中的CT图像和相关器官分割标注作为依据，将支持集(support set)中相关器官分割的知识传递到待标注集(query set)中，以便分割待标注集(query set)中CT图像的对应器官(即使该器官为在训练集中未出现过)。
原型网络(prototype network)技术的性能十分依赖于先验信息和知识。和已有技术不同，我们的发明充分利用了医学图像中存在的大量空间位置先验信息，如人体中肝脏主要位于腹腔的右上位置，而脾则在腹腔的左上部分。显然这些位置先验信息对分割特定类别的器官有非常大的帮助。因此本专利提出了一种利用空间位置信息和原型网络(prototype network)的器官CT图像的少样本分割方法，一旦模型在训练集上完成训练，即可直接用于分割包含其他器官的数据集。
F-CNN等深度神经网络的应用大大提高了自然图像和医学图像语义分割的准确性。但它通常需要大量新的像素级标注来调整模型，以便其泛化到新的类别。Wang等人提出了一种基于全局原型向量的度量网络来进行自然图像的少样本分割，首先该方法用同一个特征提取网络来提取支持集和待分割集图像的嵌入特征，然后使用全局平均池化平均支持集的特征，并将不同的前景物体和背景嵌入不同的原型向量中，每个原型向量表示对应的类别，这样待分割集图像的每个的像素通过参考离它的嵌入特征最近的特定类的原型来标记，就可得到待分割集的预测标注。然而直接将该方法用于医学图像的少样本分割时，模型的表现就会大大下降，主要原因在于医学图像的背景中包含了多种不同的解剖结构，具有较大类内方差，如果直接进行全局平均池化，得到的背景原型向量就会缺乏判别性。针对这个问题，本发明充分利用了医学图像中固有的强位置先验信息，将全局平均池化分解成了局部平均池化，提高了模型的分割准确性。
专利文献CN105139377B(申请号：CN201510444164.8)公开了一种腹部CT序列图像肝脏鲁棒自动分割方法，包括：数据输入步骤，输入待分割CT序列，并指定初始切片；模型构建步骤，根据输入序列的数据特征，建立肝脏亮度模型和外观模型，抑制复杂背景突出肝脏区域；自动分割步骤，结合亮度模型和外观模型运用图割算法对初始切片进行快速自动分割，并利用相邻切片之间的空间相关性，以初始分割切片为起点分别向上、向下迭代分割肝脏CT序列中所有的切片。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于空间位置和原型网络的CT图像的少样本分割方法和系统。
根据本发明提供的基于空间位置和原型网络的CT图像的少样本分割方法，包括：
步骤1：获取CT图像的训练集和测试集；
步骤2：对训练集和测试集进行预处理；
步骤3：对训练集进行分类，随机选取一个类别的多张CT图像并分为支撑集和待分割集；
步骤4：对选取的CT图像进行特征提取；
步骤5：根据支撑集包含的分割标注，对每一块局部特征区域中的标注出的器官区域和背景区域进行局部平均池化，获取表征器官在该区域的原型向量以及背景的原型向量；
步骤6：将待分割集中特征子区域中每个位置的特征向量与支持集在该区域的器官原型向量和背景原型向量进行相似度计算，按照计算得到的相似度大小获取位置的分割标签，得到2D分割结果；
步骤7：在测试时，采用均匀间隔配对策略，将2D分割结果扩展到3D的CT上，获得3D分割结果；
对训练集和测试集的CT图像进行最大最小归一化处理，将其灰度值归一化到[0,1]区间，并采用随机对比度变换、随机亮度变换、随机Gamma变换来对训练集进行数据增强；所述训练集和测试集互斥，测试时样本数据的未在训练时出现。
优选的，所述步骤4包括如下步骤：
步骤4.1：采用的特征提取网络主干来自ResNet50的前3个block，并且由ImageNet上的预训练参数进行初始化，将输入图像输入该特征提取网络，并将第二个block输出的大小为512x128x128的特征图与第三个block输出的大小为1024x128x128的特征图进行拼接，拼接后得到的特征图大小为1536x512x512；
步骤4.2：将拼接后的特征图通过一个空洞率为2的空洞卷积层进行特征融合，得到最后的输出特征图大小为256x64x64。
优选的，所述步骤5包括如下步骤：
步骤5.1：将支持集的分割标注图缩小到步骤4.2中获得的特征图大小，将特征图的行维度和列维度都划分为8个部分的同时相互重叠；
步骤5.2：对支持集特征图
的每一个局部特征区域g，通过其对应分割标注
进行局部平均池化计算代表该区域器官c的原型向量
步骤5.3：同理得到代表该区域背景的特征向量
k表示支持集的CT数量；(x，y)为图像的离散坐标。
优选的，所述步骤6包括如下步骤：
步骤6.1：计算待分割特征图每个位置的特征向量Fq(x,y)与对应支持集的局部区域的原型向量
的余弦相似度
得到相似度矩阵；
步骤6.2：使用softmax函数对得到的相似度矩阵进行激活，得到预测标签的概率图
步骤6.3：对预测标签的概率图Pq和待分割集的真值标注Mq计算交叉熵损失Lce(Pq,Mq)，并采用反向传播算法进行端对端训练，训练过程中，使用SGD优化算法来不断改进学习特征提取网络的每一层参数，并采用学习率衰减策略，来动态调整学习率；
步骤6.4：通过预测的概率图得到预测的待分割集的分割标注
优选的，所述步骤7包括如下步骤：
步骤7.1：给定待分割的器官类别，确定支持集和待分割集中该类器官的起止范围；
步骤7.2：将支持集范围内的器官和待分割集范围内的器官各自均匀分组；
步骤7.3：从支持集中的每个小组中均匀选取预设数量的2D CT切片构成新的支持集，并运用步骤4-6所示的算法将其应用于待分割集的对应等份中的所有CT切片；
步骤7.4：将分割完后的所有2D CT切片拼接起来，得到待分割的整个3D分割结果。
根据本发明提供的基于空间位置和原型网络的CT图像的少样本分割系统，包括：
模块M1：获取CT图像的训练集和测试集；
模块M2：对训练集和测试集进行预处理；
模块M3：对训练集进行分类，随机选取一个类别的多张CT图像并分为支撑集和待分割集；
模块M4：对选取的CT图像进行特征提取；
模块M5：根据支撑集包含的分割标注，对每一块局部特征区域中的标注出的器官区域和背景区域进行局部平均池化，获取表征器官在该区域的原型向量以及背景的原型向量；
模块M6：将待分割集中特征子区域中每个位置的特征向量与支持集在该区域的器官原型向量和背景原型向量进行相似度计算，按照计算得到的相似度大小获取位置的分割标签，得到2D分割结果；
模块M7：在测试时，采用均匀间隔配对策略，将2D分割结果扩展到3D的CT上，获得3D分割结果；
对训练集和测试集的CT图像进行最大最小归一化处理，将其灰度值归一化到[0,1]区间，并采用随机对比度变换、随机亮度变换、随机Gamma变换来对训练集进行数据增强；所述训练集和测试集互斥，测试时样本数据的未在训练时出现。
优选的，所述模块M4包括：
模块M4.1：采用的特征提取网络主干来自ResNet50的前3个block，并且由ImageNet上的预训练参数进行初始化，将输入图像输入该特征提取网络，并将第二个block输出的大小为512x128x128的特征图与第三个block输出的大小为1024x128x128的特征图进行拼接，拼接后得到的特征图大小为1536x512x512；
模块M4.2：将拼接后的特征图通过一个空洞率为2的空洞卷积层进行特征融合，得到最后的输出特征图大小为256x64x64。
优选的，所述模块M5包括：
模块M5.1：将支持集的分割标注图缩小到模块M4.2中获得的特征图大小，将特征图的行维度和列维度都划分为8个部分的同时相互重叠；
模块M5.2：对支持集特征图
的每一个局部特征区域g，通过其对应分割标注
进行局部平均池化计算代表该区域器官c的原型向量
模块M5.3：同理得到代表该区域背景的特征向量
k表示支持集的CT数量；(x，y)为图像的离散坐标。
优选的，所述模块M6包括：
模块M6.1：计算待分割特征图每个位置的特征向量Fq(x,y)与对应支持集的局部区域的原型向量
的余弦相似度
得到相似度矩阵；
模块M6.2：使用softmax函数对得到的相似度矩阵进行激活，得到预测标签的概率图
模块M6.3：对预测标签的概率图Pq和待分割集的真值标注Mq计算交叉熵损失Lce(Pq,Mq)，并采用反向传播算法进行端对端训练，训练过程中，使用SGD优化算法来不断改进学习特征提取网络的每一层参数，并采用学习率衰减策略，来动态调整学习率；
模块M6.4：通过预测的概率图得到预测的待分割集的分割标注
优选的，所述模块M7包括：
模块M7.1：给定待分割的器官类别，确定支持集和待分割集中该类器官的起止范围；
模块M7.2：将支持集范围内的器官和待分割集范围内的器官各自均匀分组；
模块M7.3：从支持集中的每个小组中均匀选取预设数量的2D CT切片构成新的支持集，并运用模块M4-6所示的算法将其应用于待分割集的对应等份中的所有CT切片；
模块M7.4：将分割完后的所有2D CT切片拼接起来，得到待分割的整个3D分割结果。
与现有技术相比，本发明具有如下的有益效果：
本发明利用相同种类器官在CT图像中的空间位置相似性先验，将支持集中的带某类器官分割标注的CT图像作为待标注集中未标注的该类器官的分割依据，减少了传统全监督分割模型的大量标注的需求。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明整体流程图；
图2为少样本分割模块示意图；
图3为均匀间隔采样策略示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
实施例：
本发明提出了一种利用空间位置信息和原型网络(prototype network)的器官CT图像的少样本分割方法，整体流程图如图1所示，包括如下步骤：
步骤1：采用Visceral器官分割数据集作为训练(65个CT scans)与测试数据集(20个CT scans)，其中训练集中的器官类别和测试集中的器官类别严格互斥，即测试时的器官类别未在训练时出现；
步骤2：对用于训练与测试的CT图像进行最大最小归一化处理，将其灰度值归一化到[0,1]区间，并采用随机对比度变换、随机亮度变换、随机Gamma变换来对训练数据集进行数据增强；
步骤3：在每一个训练batch中，随机选取训练集中的一类器官，并从所有带该类器官分割标注的CT图像中随机选取K+N张CT图像，其中K张作为支持集，剩下的N张作为待分割集，每张图片的大小均为512x512；
步骤4：搭建基于ResNet50的特征提取网络用于对支持集和待分割集中的图像进行特征提取，以获得大小为256x64x64的特征图；
步骤5：将支持集的分割标注图缩小到步骤4.2中获得的特征图大小即(64x64)。将特征图平均分成8X8(即特征图的行维度和列维度都划分为8个部分)的同时相互重叠的局部特征区域(总共有64个局部特征区域)。对每一块局部特征区域中的标注出的器官区域和背景区域进行局部平均池化，来获得表征该器官在该区域的原型向量以及背景的原型向量；在开发过程中中我们发现8X8(即特征图的宽度维度和高度维度都分为8个区域)和“相互重叠”这两个参数设计对于系统效果帮助很大；
步骤6：依次将待分割集中特征子区域中每个位置的特征向量与步骤5中得到的支持集在该区域的器官原型向量和背景原型向量进行相似度计算，按照计算得到的相似度大小来获得该位置的分割标签，步骤456具体如图2所示；
步骤7：在测试时，采用一种均匀间隔配对策略，将2D的分割结果扩展到整个3D的CT上来，最后获得3D的分割结果，具体如图3所示。
所述步骤1包括如下步骤：
步骤1.1：从20类带标注的器官中选取6个典型的器官类别：1.肝脏；2.脾；3.左肾；4.右肾；5.左腰大肌；6.右腰大肌来进行训练与测试；
步骤1.2：我们将训练和测试数据集分成4折，这样在每一折中选取的6个类中的一个或两个类作为测试类别，其他类则作为训练类别。比如在第1折训练中，我们选取脾、左右肾和左右腰大肌作为训练集中的器官类别，测试集中的器官则为肝脏；其他几折实验也以此类推；
所述步骤4包括如下步骤：
步骤4.1：采用的特征提取网络主干来自ResNet50的前3个block，并且由ImageNet上的预训练参数进行初始化。将输入图像输入该特征提取网络，并将第二个block输出的大小为512x128x128的特征图与第三个block输出的大小为1024x128x128的特征图进行拼接，拼接后得到的特征图大小为1536x512x512；
步骤4.2：将拼接后的特征图通过一个空洞率为2的空洞卷积层进行特征融合，得到最后的输出特征图大小为256x64x64。
所述步骤5包括如下步骤：
步骤5.1：将支持集的分割标注图缩小到步骤4.2中获得的特征图大小即(64x64)。将特征图平均分成8X8(即特征图的行维度和列维度都划分为8个部分)的同时相互重叠的局部特征区域(总共有64个局部特征区域)。注意，在开发过程中中我们发现8X8(即特征图的宽度维度和高度维度都分为8个区域)和“相互重叠”这两个参数设计对于系统效果帮助很大。
步骤5.2：对于支持集特征图
的每一个局部特征区域g，我们通过其对应分割标注
进行局部平均池化来计算代表该区域器官c的原型向量
k表示支持集的CT slice数量；(x，y)表示图像的离散坐标；
步骤5.3：同理我们可以得到代表该区域背景的特征向量
所述步骤6包括如下步骤：
步骤6.1：计算待分割特征图每个位置的特征向量Fq(x,y)与对应支持集的局部区域的原型向量
的cosine相似度
得到相似度矩阵。
步骤6.2：使用softmax函数对得到的相似度矩阵进行激活，得到预测标签的概率图
步骤6.3：对预测标签的概率图Pq和待分割集的真值标注Mq计算交叉熵损失：Lce(Pq,Mq)，并采用反向传播算法进行端对端训练。训练过程中，使用SGD优化算法来不断改进学习特征提取网络的每一层参数，并采用学习率衰减策略，来动态调整学习率。
步骤6.4：通过预测的概率图我们可以得到预测的待分割集的分割标注
所述步骤7包括如下步骤：
步骤7.1：给定待分割的器官类别，首先确定支持CT和待分割CT中该类器官的起止范围，假定支持CT中该类器官起止范围为[s1,e1]，待分割CT则为[s2,e2]；
步骤7.2：将支持CT范围内的器官和待分割CT范围内的器官各自均匀分成L组，对于支持集我们可以得到{[s1,t1],[t1,t2],…,[tL-1,e1]}，对于待分割集我们可以得到{[s2,h1],[h1,h2],…,[hL-1,e2]}；
步骤7.3：从支持CT中的每个小组中均匀选取K张CT图像构成支持集，并将其应用于待分割CT的对应等份中的所有CT图像；
步骤7.4：将分割完后的图像拼接起来，就得到了待分割CT的分割结果。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (10)
1.一种基于空间位置和原型网络的CT图像的少样本分割方法，其特征在于，包括：
步骤1：获取CT图像的训练集和测试集；
步骤2：对训练集和测试集进行预处理；
步骤3：对训练集进行分类，随机选取一个类别的多张CT图像并分为支撑集和待分割集；
步骤4：对选取的CT图像进行特征提取；
步骤5：根据支撑集包含的分割标注，对每一块局部特征区域中的标注出的器官区域和背景区域进行局部平均池化，获取表征器官在该区域的原型向量以及背景的原型向量；
步骤6：将待分割集中特征子区域中每个位置的特征向量与支持集在该区域的器官原型向量和背景原型向量进行相似度计算，按照计算得到的相似度大小获取位置的分割标签，得到2D分割结果；
步骤7：在测试时，采用均匀间隔配对策略，将2D分割结果扩展到3D的CT上，获得3D分割结果；
对训练集和测试集的CT图像进行最大最小归一化处理，将其灰度值归一化到[0,1]区间，并采用随机对比度变换、随机亮度变换、随机Gamma变换来对训练集进行数据增强；所述训练集和测试集互斥，测试时样本数据的未在训练时出现。
2.根据权利要求1所述的基于空间位置和原型网络的CT图像的少样本分割方法，其特征在于，所述步骤4包括如下步骤：
步骤4.1：采用的特征提取网络主干来自ResNet50的前3个block，并且由ImageNet上的预训练参数进行初始化，将输入图像输入该特征提取网络，并将第二个block输出的大小为512x128x128的特征图与第三个block输出的大小为1024x128x128的特征图进行拼接，拼接后得到的特征图大小为1536x512x512；
步骤4.2：将拼接后的特征图通过一个空洞率为2的空洞卷积层进行特征融合，得到最后的输出特征图大小为256x64x64。
3.根据权利要求2所述的基于空间位置和原型网络的CT图像的少样本分割方法，其特征在于，所述步骤5包括如下步骤：
步骤5.1：将支持集的分割标注图缩小到步骤4.2中获得的特征图大小，将特征图的行维度和列维度都划分为8个部分的同时相互重叠；
步骤5.2：对支持集特征图
的每一个局部特征区域g，通过其对应分割标注
进行局部平均池化计算代表该区域器官c的原型向量
步骤5.3：同理得到代表该区域背景的特征向量
k表示支持集的CT数量；(x，y)为图像的离散坐标。
4.根据权利要求1所述的基于空间位置和原型网络的CT图像的少样本分割方法，其特征在于，所述步骤6包括如下步骤：
步骤6.1：计算待分割特征图每个位置的特征向量Fq(x,y)与对应支持集的局部区域的原型向量
的余弦相似度
得到相似度矩阵；
步骤6.2：使用softmax函数对得到的相似度矩阵进行激活，得到预测标签的概率图
步骤6.3：对预测标签的概率图Pq和待分割集的真值标注Mq计算交叉熵损失Lce(Pq,Mq)，并采用反向传播算法进行端对端训练，训练过程中，使用SGD优化算法来不断改进学习特征提取网络的每一层参数，并采用学习率衰减策略，来动态调整学习率；
步骤6.4：通过预测的概率图得到预测的待分割集的分割标注
5.根据权利要求1所述的基于空间位置和原型网络的CT图像的少样本分割方法，其特征在于，所述步骤7包括如下步骤：
步骤7.1：给定待分割的器官类别，确定支持集和待分割集中该类器官的起止范围；
步骤7.2：将支持集范围内的器官和待分割集范围内的器官各自均匀分组；
步骤7.3：从支持集中的每个小组中均匀选取预设数量的2D CT切片构成新的支持集，并运用步骤4-6所示的算法将其应用于待分割集的对应等份中的所有CT切片；
步骤7.4：将分割完后的所有2D CT切片拼接起来，得到待分割的整个3D分割结果。
6.一种基于空间位置和原型网络的CT图像的少样本分割系统，其特征在于，包括：
模块M1：获取CT图像的训练集和测试集；
模块M2：对训练集和测试集进行预处理；
模块M3：对训练集进行分类，随机选取一个类别的多张CT图像并分为支撑集和待分割集；
模块M4：对选取的CT图像进行特征提取；
模块M5：根据支撑集包含的分割标注，对每一块局部特征区域中的标注出的器官区域和背景区域进行局部平均池化，获取表征器官在该区域的原型向量以及背景的原型向量；
模块M6：将待分割集中特征子区域中每个位置的特征向量与支持集在该区域的器官原型向量和背景原型向量进行相似度计算，按照计算得到的相似度大小获取位置的分割标签，得到2D分割结果；
模块M7：在测试时，采用均匀间隔配对策略，将2D分割结果扩展到3D的CT上，获得3D分割结果；
对训练集和测试集的CT图像进行最大最小归一化处理，将其灰度值归一化到[0,1]区间，并采用随机对比度变换、随机亮度变换、随机Gamma变换来对训练集进行数据增强；所述训练集和测试集互斥，测试时样本数据的未在训练时出现。
7.根据权利要求6所述的基于空间位置和原型网络的CT图像的少样本分割系统，其特征在于，所述模块M4包括：
模块M4.1：采用的特征提取网络主干来自ResNet50的前3个block，并且由ImageNet上的预训练参数进行初始化，将输入图像输入该特征提取网络，并将第二个block输出的大小为512x128x128的特征图与第三个block输出的大小为1024x128x128的特征图进行拼接，拼接后得到的特征图大小为1536x512x512；
模块M4.2：将拼接后的特征图通过一个空洞率为2的空洞卷积层进行特征融合，得到最后的输出特征图大小为256x64x64。
8.根据权利要求7所述的基于空间位置和原型网络的CT图像的少样本分割系统，其特征在于，所述模块M5包括：
模块M5.1：将支持集的分割标注图缩小到模块M4.2中获得的特征图大小，将特征图的行维度和列维度都划分为8个部分的同时相互重叠；
模块M5.2：对支持集特征图
的每一个局部特征区域g，通过其对应分割标注
进行局部平均池化计算代表该区域器官c的原型向量
模块M5.3：同理得到代表该区域背景的特征向量
k表示支持集的CT数量；(x，y)为图像的离散坐标。
9.根据权利要求6所述的基于空间位置和原型网络的CT图像的少样本分割系统，其特征在于，所述模块M6包括：
模块M6.1：计算待分割特征图每个位置的特征向量Fq(x,y)与对应支持集的局部区域的原型向量
的余弦相似度
得到相似度矩阵；
模块M6.2：使用softmax函数对得到的相似度矩阵进行激活，得到预测标签的概率图
模块M6.3：对预测标签的概率图Pq和待分割集的真值标注Mq计算交叉熵损失Lce(Pq,Mq)，并采用反向传播算法进行端对端训练，训练过程中，使用SGD优化算法来不断改进学习特征提取网络的每一层参数，并采用学习率衰减策略，来动态调整学习率；
模块M6.4：通过预测的概率图得到预测的待分割集的分割标注
10.根据权利要求6所述的基于空间位置和原型网络的CT图像的少样本分割系统，其特征在于，所述模块M7包括：
模块M7.1：给定待分割的器官类别，确定支持集和待分割集中该类器官的起止范围；
模块M7.2：将支持集范围内的器官和待分割集范围内的器官各自均匀分组；
模块M7.3：从支持集中的每个小组中均匀选取预设数量的2D CT切片构成新的支持集，并运用模块M4-6所示的算法将其应用于待分割集的对应等份中的所有CT切片；
模块M7.4：将分割完后的所有2D CT切片拼接起来，得到待分割的整个3D分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011554513.9A CN112686850B (zh) | 2020-12-24 | 2020-12-24 | 基于空间位置和原型网络的ct图像的少样本分割方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011554513.9A CN112686850B (zh) | 2020-12-24 | 2020-12-24 | 基于空间位置和原型网络的ct图像的少样本分割方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112686850A true CN112686850A (zh) | 2021-04-20 |
| CN112686850B CN112686850B (zh) | 2021-11-02 |
Family
ID=75452972
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011554513.9A Active CN112686850B (zh) | 2020-12-24 | 2020-12-24 | 基于空间位置和原型网络的ct图像的少样本分割方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112686850B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223011A (zh) * | 2021-04-25 | 2021-08-06 | 山东师范大学 | 基于引导网络和全连接条件随机场的小样本图像分割方法 |
| CN113920127A (zh) * | 2021-10-27 | 2022-01-11 | 华南理工大学 | 一种训练数据集独立的单样本图像分割方法和系统 |
| CN114493402A (zh) * | 2021-12-17 | 2022-05-13 | 重庆特斯联智慧科技股份有限公司 | 物流机器人配送时间预测方法和系统 |
| CN115482231A (zh) * | 2022-09-27 | 2022-12-16 | 推想医疗科技股份有限公司 | 图像分割方法、装置、存储介质和电子设备 |
| CN115661113A (zh) * | 2022-11-09 | 2023-01-31 | 浙江酷趣智能科技有限公司 | 吸湿排汗的面料及其制备工艺 |
| CN116580133A (zh) * | 2023-07-14 | 2023-08-11 | 北京大学 | 图像合成方法、装置、电子设备和存储介质 |
| CN117422879A (zh) * | 2023-12-14 | 2024-01-19 | 山东大学 | 原型演化的小样本语义分割方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105957063A (zh) * | 2016-04-22 | 2016-09-21 | 北京理工大学 | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 |
| CN107194408A (zh) * | 2017-06-21 | 2017-09-22 | 安徽大学 | 一种混合块稀疏协作模型的目标跟踪方法 |
| CN109658419A (zh) * | 2018-11-15 | 2019-04-19 | 浙江大学 | 一种医学图像中小器官的分割方法 |
| CN109961089A (zh) * | 2019-02-26 | 2019-07-02 | 中山大学 | 基于度量学习和元学习的小样本和零样本图像分类方法 |
| CN111079901A (zh) * | 2019-12-19 | 2020-04-28 | 南开大学 | 基于小样本学习的急性脑卒中病变分割方法 |
| US20200201992A1 (en) * | 2018-12-19 | 2020-06-25 | Accenture Global Solutions Limited | Cyber range integrating technical and non-technical participants, participant substitution with ai bots, and ai bot training |
| CN111445481A (zh) * | 2020-03-23 | 2020-07-24 | 江南大学 | 一种基于尺度融合的腹部ct多器官的分割方法 |
| CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
| CN111488857A (zh) * | 2020-04-29 | 2020-08-04 | 北京华捷艾米科技有限公司 | 一种三维人脸识别模型训练方法及装置 |
| CN111667488A (zh) * | 2020-04-20 | 2020-09-15 | 浙江工业大学 | 一种基于多角度U-Net的医学图像分割方法 |
| US20200327445A1 (en) * | 2019-04-09 | 2020-10-15 | International Business Machines Corporation | Hybrid model for short text classification with imbalanced data |
-
2020
- 2020-12-24 CN CN202011554513.9A patent/CN112686850B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105957063A (zh) * | 2016-04-22 | 2016-09-21 | 北京理工大学 | 基于多尺度加权相似性测度的ct图像肝脏分割方法及系统 |
| CN107194408A (zh) * | 2017-06-21 | 2017-09-22 | 安徽大学 | 一种混合块稀疏协作模型的目标跟踪方法 |
| CN109658419A (zh) * | 2018-11-15 | 2019-04-19 | 浙江大学 | 一种医学图像中小器官的分割方法 |
| US20200201992A1 (en) * | 2018-12-19 | 2020-06-25 | Accenture Global Solutions Limited | Cyber range integrating technical and non-technical participants, participant substitution with ai bots, and ai bot training |
| CN109961089A (zh) * | 2019-02-26 | 2019-07-02 | 中山大学 | 基于度量学习和元学习的小样本和零样本图像分类方法 |
| US20200327445A1 (en) * | 2019-04-09 | 2020-10-15 | International Business Machines Corporation | Hybrid model for short text classification with imbalanced data |
| CN111079901A (zh) * | 2019-12-19 | 2020-04-28 | 南开大学 | 基于小样本学习的急性脑卒中病变分割方法 |
| CN111445481A (zh) * | 2020-03-23 | 2020-07-24 | 江南大学 | 一种基于尺度融合的腹部ct多器官的分割方法 |
| CN111476292A (zh) * | 2020-04-03 | 2020-07-31 | 北京全景德康医学影像诊断中心有限公司 | 医学图像分类处理人工智能的小样本元学习训练方法 |
| CN111667488A (zh) * | 2020-04-20 | 2020-09-15 | 浙江工业大学 | 一种基于多角度U-Net的医学图像分割方法 |
| CN111488857A (zh) * | 2020-04-29 | 2020-08-04 | 北京华捷艾米科技有限公司 | 一种三维人脸识别模型训练方法及装置 |
Non-Patent Citations (6)
| Title |
|---|
| CHENG OUYANG等: "Self-supervision with superpixels: Training few-shot medical image segmentation without annotation", 《ARXIV:2007.09886》 * |
| KAIXIN WANG等: "PANet: Few-Shot Image Semantic Segmentation with Prototype Alignment", 《ARXIV:1908.06391V2》 * |
| 潘亚玲等: "基于深度学习的肺炎病灶分割技术用于新型冠状病毒肺炎的定量分析", 《中国医学计算机成像杂志》 * |
| 王年等: "基于改进关系网络的小样本学习", 《安徽大学学报(自然科学版)》 * |
| 董阳等: "面向多模态磁共振脑瘤图像的小样本分割方法", 《计算机应用》 * |
| 陈彤: "基于改进深度学习的乳腺癌医学影像检测方法", 《现代计算机》 * |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113223011A (zh) * | 2021-04-25 | 2021-08-06 | 山东师范大学 | 基于引导网络和全连接条件随机场的小样本图像分割方法 |
| CN113920127A (zh) * | 2021-10-27 | 2022-01-11 | 华南理工大学 | 一种训练数据集独立的单样本图像分割方法和系统 |
| CN113920127B (zh) * | 2021-10-27 | 2024-04-23 | 华南理工大学 | 一种训练数据集独立的单样本图像分割方法和系统 |
| CN114493402A (zh) * | 2021-12-17 | 2022-05-13 | 重庆特斯联智慧科技股份有限公司 | 物流机器人配送时间预测方法和系统 |
| CN114493402B (zh) * | 2021-12-17 | 2024-04-09 | 重庆特斯联智慧科技股份有限公司 | 物流机器人配送时间预测方法和系统 |
| CN115482231A (zh) * | 2022-09-27 | 2022-12-16 | 推想医疗科技股份有限公司 | 图像分割方法、装置、存储介质和电子设备 |
| CN115482231B (zh) * | 2022-09-27 | 2023-08-29 | 推想医疗科技股份有限公司 | 图像分割方法、装置、存储介质和电子设备 |
| CN115661113A (zh) * | 2022-11-09 | 2023-01-31 | 浙江酷趣智能科技有限公司 | 吸湿排汗的面料及其制备工艺 |
| CN116580133A (zh) * | 2023-07-14 | 2023-08-11 | 北京大学 | 图像合成方法、装置、电子设备和存储介质 |
| CN116580133B (zh) * | 2023-07-14 | 2023-09-22 | 北京大学 | 图像合成方法、装置、电子设备和存储介质 |
| CN117422879A (zh) * | 2023-12-14 | 2024-01-19 | 山东大学 | 原型演化的小样本语义分割方法及系统 |
| CN117422879B (zh) * | 2023-12-14 | 2024-03-08 | 山东大学 | 原型演化的小样本语义分割方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112686850B (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112686850B (zh) | 基于空间位置和原型网络的ct图像的少样本分割方法和系统 | |
| CN110738207B (zh) | 一种融合文字图像中文字区域边缘信息的文字检测方法 | |
| US20220277572A1 (en) | Artificial intelligence-based image processing method, apparatus, device, and storage medium | |
| Wan et al. | Robust nuclei segmentation in histopathology using ASPPU-Net and boundary refinement | |
| CN111563502B (zh) | 图像的文本识别方法、装置、电子设备及计算机存储介质 | |
| CN110197182A (zh) | 基于上下文信息和注意力机制的遥感影像语义分割方法 | |
| CN105894517A (zh) | 基于特征学习的ct图像肝脏分割方法及系统 | |
| CN111583210B (zh) | 基于卷积神经网络模型集成的乳腺癌图像自动识别方法 | |
| CN110223300A (zh) | Ct图像腹部多器官分割方法及装置 | |
| CN110415250A (zh) | 一种基于深度学习的重叠染色体分割方法及装置 | |
| CN113706562B (zh) | 图像分割方法、装置、系统及细胞分割方法 | |
| CN113689436A (zh) | 图像语义分割方法、装置、设备及存储介质 | |
| CN113378937B (zh) | 一种基于自监督增强的小样本图像分类方法及系统 | |
| CN114821052A (zh) | 基于自调节策略的三维脑肿瘤核磁共振图像分割方法 | |
| CN107533760B (zh) | 一种图像分割方法和装置 | |
| Susilo et al. | Accuracy enhancement in early detection of breast cancer on mammogram images with convolutional neural network (CNN) methods using data augmentation and transfer learning | |
| CN109583584B (zh) | 可使具有全连接层的cnn接受不定形状输入的方法及系统 | |
| CN116012709A (zh) | 一种高分辨率遥感影像建筑物提取方法及系统 | |
| CN112632315B (zh) | 一种遥感图像检索的方法和装置 | |
| CN115830592A (zh) | 一种重叠宫颈细胞分割方法及系统 | |
| CN114496099A (zh) | 细胞功能注释方法、装置、设备及介质 | |
| Wang et al. | SCU-net: semantic segmentation network for learning channel information on remote sensing images | |
| Majeed | Text detection on images using region-based convolutional neural network | |
| CN117593648B (zh) | 基于弱监督学习的遥感目标建筑物提取方法 | |
| Xue et al. | User-guided chinese painting completion–a generative adversarial network approach |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |