CN113870258B - 一种基于对抗学习的无标签胰腺影像自动分割系统 - Google Patents

一种基于对抗学习的无标签胰腺影像自动分割系统 Download PDF

Info

Publication number
CN113870258B
CN113870258B CN202111453631.5A CN202111453631A CN113870258B CN 113870258 B CN113870258 B CN 113870258B CN 202111453631 A CN202111453631 A CN 202111453631A CN 113870258 B CN113870258 B CN 113870258B
Authority
CN
China
Prior art keywords
pancreas
image
image data
segmentation
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111453631.5A
Other languages
English (en)
Other versions
CN113870258A (zh
Inventor
李劲松
朱琰
田雨
周天舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111453631.5A priority Critical patent/CN113870258B/zh
Publication of CN113870258A publication Critical patent/CN113870258A/zh
Application granted granted Critical
Publication of CN113870258B publication Critical patent/CN113870258B/zh
Priority to PCT/CN2022/124228 priority patent/WO2023098289A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4046—Scaling the whole image or part thereof using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本发明公开了一种基于对抗学习的无标签胰腺影像自动分割系统，本发明利用对抗学习方法寻找有标签影像数据和无标签影像数据中的共性影像特征，并强化无标签影像数据的个性化影像特征，构建适用于无标签胰腺CT影像的胰腺影像分割模型；本发明引入Transformer结构对胰腺CT影像进行分割，通过对胰腺CT影像数据进行像素块分区处理，并加入自注意力机制建立起像素块之间的长连接互相关关系，在多阶段编码器‑解码器结构中使用残差结构，让多尺度胰腺目标影像特征能够加权交互，显著提升对胰腺组织这类小目标的分割效果。本发明能够针对无标签胰腺CT影像数据给出可靠的分割结果，有效缩短医生读片时间，优化胰腺相关疾病诊疗流程，提高医生诊疗效率。

Description

一种基于对抗学习的无标签胰腺影像自动分割系统
技术领域
本发明属于图像数据处理技术领域，尤其涉及一种基于对抗学习的无标签胰腺影像自动分割系统。
背景技术
胰腺相关疾病在临床上病情发展快、预后效果差。胰腺癌是一种5年存活率不足5%，恶性程度极高的消化道恶性肿瘤，早期发现胰腺部位病变并实施精准治疗对改善胰腺相关疾病患者生存质量至关重要。胰腺癌治疗方案目前主要有手术切除和新辅助治疗，这两种治疗方案均需要术前对胰腺组织精准定位。腹部计算机断层扫描（ComputedTomography）是胰腺相关疾病诊断流程中的重要的检查方式，胰腺CT影像自动分割工具可以辅助影像科医生快速定位胰腺位置和轮廓，节省医生读片时间，加速患者诊疗流程，对胰腺相关疾病早期筛查和后续治疗意义重大。
随着大数据分析技术的发展，也产生了一些基于深度学习的胰腺CT影像自动分割方案。二维胰腺影像分割多采用由粗到精（Coarse-to-Fine）的两步分割方法，在不同阶段针对不同细粒度的胰腺影像感兴趣区域（ROI）进行分割，但这种方法缺乏纠错机制，在粗分割阶段的误差会被引入细分割阶段导致分割结果失真。三维胰腺影像分割相比于二维胰腺影像分割可以利用CT影像的三维轴向连续性信息和组织解剖学信息，分割网络多采用U-Net或ResNet及二者对应的改进网络，通过跳跃连接和残差结构对不同尺度特征进行级联融合，增强自动分割模型对胰腺这类小目标物体的识别能力。
深度学习模型的优秀性能依靠大数据驱动，胰腺CT影像自动分割工具训练过程需要大量具有精准标注的数据。但胰腺组织位于后腹膜，体积小，结构复杂多变，且紧邻胃、十二指肠、脾脏、大血管等多种组织，胰腺CT影像具有边界不清、与邻近组织间对比度较低等特点。对胰腺CT影像的标注需要多名专家医生互相验证结果，标注费用和时间代价都相当昂贵，因此胰腺CT影像的标注数据匮乏，这对胰腺自动分割模型的构建带来一定限制。
直接使用胰腺影像公共数据集或有标签胰腺影像数据集训练出的分割模型，对无标签胰腺影像数据进行自动分割时效果往往不佳，医学大数据模型的泛化能力是深度学习在医疗领域广泛推广上的一大技术难题。不同医疗中心间由于就诊患者人群、成像设备、成像协议、成像参数等的差异，扫描出的CT影像也存在异质性。胰腺影像异质性的存在使得胰腺影像自动分割模型难以泛化，导致临床产生的大量无标签胰腺影像数据难以被利用起来，难以构建出辅助临床医生的胰腺影像分割模型。
发明内容
本发明的目的在于针对无标签数据难以被利用的医学大数据困境，提供一种基于对抗学习的无标签胰腺影像自动分割系统，主要解决如下技术问题：
1. 本发明重点关注在医疗中心缺少胰腺影像数据标注的情况下，利用对抗学习方法寻找有标签影像数据和无标签影像数据中的共性影像特征，并强化无标签影像数据的个性化影像特征，构建适用于无标签胰腺CT影像数据的性能可靠的胰腺影像分割模型，辅助影像科医生读片诊断，改善医疗大数据分析领域模型的泛化性问题。
2. 本发明引入Transformer结构对胰腺CT影像进行自动分割，通过对胰腺CT影像数据进行像素块分区处理，并加入自注意力机制建立起像素块之间的长连接互相关关系，在多阶段编码器-解码器结构中使用残差结构，让多尺度胰腺目标影像特征能够进行加权交互，能够显著提升对胰腺组织这类小目标的分割效果。
本发明的目的是通过以下技术方案实现的：一种基于对抗学习的无标签胰腺影像自动分割系统，该系统包括以下模块：
数据筛选模块：用于采集和筛选胰腺CT影像数据；
数据质量对齐模块：用于对不同数据源的胰腺CT影像数据做影像规范化预处理；
迁移学习模块，包括用于构建胰腺影像分割模型的分割模块、用于不同数据源间影像特征对抗学习的对抗学习模块；
所述分割模块中构建的胰腺影像分割模型使用多阶段编码器-解码器结构，编码器采用Transformer，多个阶段的编码器将特征层层抽象，得到多尺度胰腺目标影像特征，多尺度胰腺目标影像特征通过残差连接，被引入对应阶段的解码器，进行目标分割特征解码计算，得到对应尺度的三维特征图，多个阶段的解码器最终输出分割掩膜；
所述对抗学习模块中，将有标签影像数据训练的胰腺影像分割模型作为无标签影像数据对应的初始胰腺影像分割模型，提取有标签影像数据和无标签影像数据的多尺度胰腺目标影像特征，并通过判别器对抗训练，更新无标签影像数据对应的胰腺影像分割模型；
所述判别器为三维多尺度渐进式特征融合判别器，所述判别器具有多个入口，分别输入所述分割模块中多个阶段的解码器输出的三维特征图，每张特征图经过降维操作后与下一个尺度的特征图进行拼接操作，所述判别器完成多尺度特征图特征融合后，输出不同数据源的预测结果，对应真实数据源标签计算判别器损失函数，并更新判别器权重。
进一步地，所述数据质量对齐模块中，对胰腺CT影像数据进行感兴趣区域筛选，包括：
有效腹部范围框定：对胰腺CT影像进行二值化处理，对图像区域属性进行度量，找到影像中所有连通域，最大连通域的边界对角顶点框定的矩形范围被认为是有效腹部范围；
感兴趣层面筛选：利用目标检测算法对胰腺进行粗定位后得到有效层面范围，取有效层面范围及其边界上下若干张胰腺CT影像作为感兴趣层面。
进一步地，所述数据质量对齐模块中，对感兴趣区域筛选后的胰腺CT影像进行超分辨率重建，在水平面上超分辨率重建至预设W*L像素尺寸，在轴向上超分辨率重建至预设层厚d，其中超分辨率重建采用三维线性立方体插值进行体素插值。
进一步地，所述数据质量对齐模块中，对胰腺CT影像进行多倍角度旋转扩增，角度范围为[-10°,+10°]；将胰腺CT影像灰度值截断至[-100,240]，并使用Min-Max归一化方法将影像灰度归一化至[0,1]。
进一步地，所述分割模块中，所述胰腺影像分割模型的输入为由原始胰腺CT影像进行像素块分区得到的所有像素块；
第一阶段编码器由线性变换操作和Swin Transformer Block组成，后续阶段编码器由像素块组合操作和Swin Transformer Block组成；所述线性变换操作用于将像素块转换成序列化的特征向量；所述像素块组合操作用于将若干相邻的像素块进行组合并降采样；所述Swin Transformer Block由一个多头滑动窗口的自注意力模块MSA和一个多层感知模块MLP组成，每个MSA和MLP前均接有LayerNorm层，并在每个MSA和MLP之后使用残差连接，所述Swin Transformer Block得到像素相对位置相关的特征图；
解码器由上采样操作和解码模块组成，所述上采样操作由三维转置卷积层和激活函数层组成，所述解码模块由若干堆叠的三维卷积层和激活函数层组成。
进一步地，所述迁移学习模块中，根据有标签影像数据训练胰腺影像分割模型的过程包括：
将有标签影像数据集记为
Figure 884492DEST_PATH_IMAGE001
，其中
Figure 681678DEST_PATH_IMAGE002
为有标签胰腺CT影像数据，
Figure 870214DEST_PATH_IMAGE003
为
Figure 445552DEST_PATH_IMAGE002
对应的标签；将有标签影像数据集
Figure 453959DEST_PATH_IMAGE004
的胰腺CT影像数据和标签数据
Figure 445049DEST_PATH_IMAGE005
成对输入 所述分割模块中的胰腺影像分割模型，
Figure 691354DEST_PATH_IMAGE006
为
Figure 375276DEST_PATH_IMAGE004
中的样本总数，所述胰腺影像分割模型基于得 到对于输入
Figure 933296DEST_PATH_IMAGE007
映射标签数据
Figure 993656DEST_PATH_IMAGE008
误差最小的权重的假设进行优化，将总损失函数
Figure 94467DEST_PATH_IMAGE009
定义为 交叉熵损失函数
Figure 683712DEST_PATH_IMAGE010
和Dice Loss损失函数
Figure 994607DEST_PATH_IMAGE011
的线性组合
Figure 593079DEST_PATH_IMAGE012
，
Figure 548397DEST_PATH_IMAGE013
为线性 权重系数；经过损失函数优化训练得到有标签影像数据对应的胰腺影像分割模型
Figure 902017DEST_PATH_IMAGE014
。
进一步地，所述迁移学习模块中，在得到有标签影像数据对应的胰腺影像分割模 型
Figure 372313DEST_PATH_IMAGE015
后，将无标签影像数据对应的胰腺影像分割模型
Figure 712159DEST_PATH_IMAGE016
初始化为
Figure 53141DEST_PATH_IMAGE014
，在判别器对抗训练 过程中，
Figure 515347DEST_PATH_IMAGE015
的参数始终冻结保持不变，
Figure 800834DEST_PATH_IMAGE016
的参数不断更新。
进一步地，所述迁移学习模块中，所述判别器的对抗训练包括以下步骤：
（1）有标签影像数据集
Figure 944371DEST_PATH_IMAGE004
将数据
Figure 733335DEST_PATH_IMAGE017
输入模型
Figure 569704DEST_PATH_IMAGE014
得到多尺度胰腺目标影像特征
Figure 737294DEST_PATH_IMAGE018
；将无标签影像数据集记为
Figure 809155DEST_PATH_IMAGE019
，其中
Figure 593572DEST_PATH_IMAGE020
为无标签胰腺CT影像数据，无标签影像数 据集T将数据
Figure DEST_PATH_IMAGE021
输入模型
Figure 663159DEST_PATH_IMAGE016
得到多尺度胰腺目标影像特征
Figure 798605DEST_PATH_IMAGE022
，k为T中的样本总 数；
（2）将两组多尺度胰腺目标影像特征通过两个支路成对输入所述对抗学习模块的 判别器
Figure 815103DEST_PATH_IMAGE023
，给定有标签影像数据集
Figure 844239DEST_PATH_IMAGE004
的数据
Figure 491252DEST_PATH_IMAGE017
标签为1，无标签影像数据集T的数据
Figure 238628DEST_PATH_IMAGE024
标签为0，所述判别器
Figure 324396DEST_PATH_IMAGE023
基于寻找有标签胰腺CT影像数据和无标签胰腺CT影像数据 差异最大的权重的假设进行优化，判别器
Figure 83404DEST_PATH_IMAGE023
的损失函数
Figure 557111DEST_PATH_IMAGE025
表示为：
Figure 135991DEST_PATH_IMAGE026
其中，
Figure 759870DEST_PATH_IMAGE027
为
Figure 763598DEST_PATH_IMAGE028
单支路输入对抗学习模块的判别器预测结果；
Figure 752414DEST_PATH_IMAGE029
为
Figure 208803DEST_PATH_IMAGE030
单支路输入对抗学习模块的判别器预测结果；更新判别器权重，得到更新后的判别 器
Figure 636374DEST_PATH_IMAGE031
；
（3）判别器更新完成后，暂时保持冻结状态；将无标签影像数据集T的数据
Figure 369974DEST_PATH_IMAGE021
标签变化为1，将数据
Figure 919904DEST_PATH_IMAGE032
单支路输入当前判别器
Figure 738956DEST_PATH_IMAGE031
，根据判别器的损失函数计算更新梯 度，反向传播给无标签影像数据对应的胰腺影像分割模型
Figure 32534DEST_PATH_IMAGE016
，实现模型
Figure 417379DEST_PATH_IMAGE016
更新；
（4）重复步骤（2）、（3），不断更新判别器
Figure 13576DEST_PATH_IMAGE031
和无标签影像数据对应的胰腺影像分割 模型
Figure 444558DEST_PATH_IMAGE016
，将无标签影像数据的分割问题优化为无标签影像数据对应的胰腺影像分割模型
Figure 213931DEST_PATH_IMAGE016
和判别器
Figure 656544DEST_PATH_IMAGE031
之间的纳什均衡，表示为：
Figure 548277DEST_PATH_IMAGE033
直到预设最大迭代次数完成训练，得到无标签影像数据对应的最终的胰腺影像分 割模型
Figure 341921DEST_PATH_IMAGE034
。
进一步地，所述系统还包括结果展示模块，用于对所述分割模块输出的分割掩膜进行后处理，并提供胰腺CT影像数据及胰腺自动分割结果的可视化影像结果和结构化图表信息展示。
进一步地，所述结果展示模块中，采用条件随机场模型和空洞填充算法对分割掩膜进行后处理；所述可视化影像结果包括原始三维胰腺CT影像、胰腺三维分割掩膜、原始三维胰腺组织影像、胰腺二维分割掩膜、原始二维胰腺组织分层影像；所述结构化图表信息包括胰腺体积、胰腺三维尺寸、胰腺二维分层尺寸、胰腺组织占位深度。
本发明的有益效果是：
1. 在有标签胰腺CT影像数据和无标签胰腺CT影像数据存在异质性时，利用对抗学习的思想，设计融合多尺度胰腺目标影像特征的判别器结构，找到有标签胰腺CT影像数据和无标签胰腺CT影像数据的共性影像特征和无标签胰腺CT影像数据的个性化影像特征之间的纳什均衡，构建适用于无标签胰腺CT影像数据的性能可靠的胰腺影像分割模型。
2. 为改善胰腺组织这类小目标分割问题固有的特征语义不丰富的情况，胰腺影像分割模型设计中采用Transformer结构作为特征编码器，并设计了多阶段编码器-解码器结构，相比传统的卷积神经网络编码器，Transformer结构优点在于无需通过较深的网络层数设计让模型适应逐渐降维的特征图，而是通过对像素块分区并建立像素块之间的关系提高编码器对胰腺影像的底层特征学习能力，网络显存访问显著降低，运算速度加快；在多阶段编码器和解码器之间采用残差结构连接，对多尺度胰腺目标影像特征进行级联运算，有效解决胰腺体积小且结构复杂多变的问题。
3. 本发明面向医疗中心实际应用场景，针对现有胰腺影像分割模型在影像数据存在异质性时泛化性能不佳的问题，在无需医疗人员对医疗中心的本地影像数据库中无标签胰腺CT影像数据进行标注的情况下，构建出适用于无标签胰腺CT影像的胰腺影像分割模型，实现对医疗中心的本地影像数据库中大量无标签胰腺CT影像数据的自动分割，并给出多种可靠且有指导性的可视化影像结果和结构化图表信息以展示分割结果，有效缩短医生读片时间，优化胰腺相关疾病诊疗流程，提高医生诊疗效率。
附图说明
图1为本发明实施例提供的基于对抗学习的无标签胰腺影像自动分割系统框架图；
图2为本发明实施例提供的分割模块中构建的胰腺影像分割模型结构示意图；
图3为本发明实施例提供的对抗学习模块中构建的判别器结构示意图；
图4为本发明实施例提供的迁移学习模块的工作流程图；
图5为本发明实施例提供的结果展示模块中的系统使用流程图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
本发明实施例提供一种基于对抗学习的无标签胰腺影像自动分割系统，如图1所示，该系统包括数据筛选模块、数据质量对齐模块、迁移学习模块和结果展示模块，下面详细阐述每个模块的实现过程。
一、数据筛选模块
数据筛选模块的主要任务为根据研究任务从医疗中心的本地影像数据库中筛选符合研究条件的胰腺CT影像数据，可以由系统使用者设置筛选参数，包括研究入组样本基本特征（年龄、性别、就诊时间等）、研究入组样本CT影像拍摄时间、拍摄仪器、胰腺健康状况、胰腺疾病种类等。根据设置的筛选参数从医疗中心的本地影像数据库中查询并提取胰腺CT影像数据，根据实际需求将其转换为.nii格式或.nii.gz格式用于后续分割。
二、数据质量对齐模块
数据质量对齐模块通过对胰腺CT影像数据进行影像规范化预处理，以减小不同来源胰腺CT影像间的数据异质性，对筛选出的胰腺CT影像数据从感兴趣区域筛选、超分辨率重建、数据扩增、灰度归一化等方面进行质量对齐。对于有标签胰腺CT影像数据，对其标签进行相同的规范化预处理。具体实施方式为：
感兴趣区域筛选：包括有效腹部范围框定和感兴趣层面筛选；不同来源胰腺CT影像在拍摄FOV（Field of View）上有一定差异，拍摄出的胰腺CT影像中腹部范围和视角高度不同，本发明对胰腺CT影像进行二值化处理后，对二维CT影像的图像区域属性进行度量，找到影像中所有的连通域，其中最大连通域的边界对角顶点(x1,y1),(x2,y2)框定的矩形范围即认为是有效腹部范围；胰腺体积较小，在胰腺CT影像中只在部分层面上出现，因此利用Faster-RCNN对胰腺进行粗定位后得到有效层面范围[zstart,zend]，考虑到胰腺粗定位误差和正负样本比例设置，取有效层面范围及其边界上下各G张胰腺CT影像[zstart-G,zend+G]作为感兴趣层面，G根据胰腺CT影像的层厚动态设置，本实例中取G=20。
超分辨率重建：对感兴趣区域筛选后的胰腺CT影像，在水平面上超分辨率重建至预设W*L像素尺寸，在轴向上超分辨率重建至预设层厚d，其中超分辨率重建采用三维线性立方体插值进行体素插值，超分辨率重建后的胰腺CT影像的尺寸为W*L*((zend-zstart+2G) *(z0/d))，其中z0为胰腺CT影像的原始层厚；本实例中，取宽W=512，长L=512，层厚d=1mm。
数据扩增：针对不同胰腺CT影像在拍摄过程中角度轻微扰动带来的影像差异，对超分辨率重建后的影像进行多倍角度旋转扩增，例如可进行±5°和±10°小角度旋转扩增。
灰度归一化：腹部器官有效CT值强度范围一般为[-160,240]HU，胰腺有效CT值强度范围一般为[-100,240]HU。本发明在前述预处理步骤完成后，对当前胰腺CT影像灰度值截断至[-100,240]，并使用Min-Max归一化方法将影像灰度归一化至[0,1]。
三、迁移学习模块
迁移学习模块主要包括两个子模块：用于构建胰腺影像分割模型的分割模块、用于不同数据源间影像特征对抗学习的对抗学习模块。
所述分割模块中，胰腺影像分割模型使用多阶段编码器-解码器结构，以改善胰腺小目标分割中的特征语义不丰富的情况；编码器采用Transformer结构，多个阶段的编码器将特征层层抽象，得到多种尺度的高维细粒度胰腺目标影像特征，多尺度胰腺目标影像特征通过残差（Residual）连接，被引入对应阶段的解码器，进行目标分割特征解码计算，得到对应尺度的三维特征图；多个阶段的解码器最终输出结果表示为对输入的胰腺CT影像每一个像素点识别为前景胰腺组织或背景的预测结果，即分割掩膜。
其中，胰腺影像分割模型的输入为由原始胰腺CT影像进行像素块分区得到的所有像素块；
第一阶段编码器由线性变换操作和Swin Transformer Block组成，后续阶段编码器由像素块组合操作和Swin Transformer Block组成；线性变换操作用于将像素块转换成序列化的特征向量；像素块组合操作用于将若干相邻的像素块进行组合并降采样，之后将降采样后的像素块输入Swin Transformer Block；Swin Transformer Block由一个多头滑动窗口的自注意力模块MSA（Multi-head Self Attention）和一个多层感知模块MLP（Multilayer Perception）组成，每个MSA和MLP前均接有LayerNorm层，并在每个MSA和MLP之后使用残差连接，Swin Transformer Block得到像素相对位置相关的特征图。每一阶段解码器都对Swin Transformer Block多层堆叠，使模型能够充分提取输入影像的特征。
解码器由上采样操作和解码模块Decoder Block组成，上采样操作由三维转置卷积（Transpose Convolution）层和激活函数层组成，Decoder Block由若干堆叠的三维卷积层和激活函数层组成。
在一个具体实例中，如图2所示，对于给定的512*512*S尺寸的原始胰腺CT影像，其 中S为原始胰腺CT影像的总层数，先做P*P尺寸的像素块分区，得到
Figure 649405DEST_PATH_IMAGE035
数量的像素 块（常用经验值包括但不限于P=7），所得到像素块的尺寸为P*P*S。将得到的所有像素块输 入胰腺影像分割模型。胰腺影像分割模型经过4个阶段的编码器和4个阶段的解码器得到最 终分割结果。编码器1（E_Stage1）由线性变换操作和Swin Transformer Block组成，编码器 2-4（E_Stage2- E_Stage4）由像素块组合操作和Swin Transformer Block组成。编码器1-4 中Swin Transformer Block的数量分别为2，2，18，2。解码器1-4（DE_Stage1- DE_Stage4） 由上采样操作和Decoder Block组成。其中对于编码器1，线性变换操作用于将像素块转换 成序列化的特征向量，Swin Transformer Block用于得到像素相对位置相关的特征图，序 列化的特征向量和Swin Transformer Block提示的像素相对位置相结合，从而得到像素块 之间的位置关系。其中编码器2-4的操作一致，先通过像素块组合操作，将4个相邻的像素块 以2*2规格进行组合并降采样，之后将降采样后的像素块输入Swin Transformer Block。解 码器1-4由上采样操作和Decoder Block组成，上采样操作由三维转置卷积层和激活函数层 PReLU组成，其中三维转置卷积步长（stride）设置为2，Decoder Block由3个堆叠的三维卷 积层和激活函数层PReLU组成。编码器和解码器在同级阶段之间用残差连接，用于4种尺度 胰腺目标影像特征级联交互。最后由解码器1输出分割掩膜。
所述对抗学习模块将根据有标签影像数据训练的胰腺影像分割模型作为无标签影像数据对应的初始胰腺影像分割模型，提取有标签影像数据和无标签影像数据的多尺度胰腺目标影像特征，并通过多尺度判别器对抗训练，更新无标签影像数据对应的胰腺影像分割模型。
具体地，判别器可以采用三维多尺度渐进式特征融合判别器，判别器具有多个入口，分别输入分割模块中多个阶段的解码器输出的三维特征图，本实例中判别器具有4个入口，如图3所示，分别输入来自分割模块解码器DE_Stage1- DE_Stage4输出的4种尺度的三维特征图。每张特征图依次经过三维卷积层和激活函数层（激活函数层可采用PReLU），三维卷积层的步长可设定为2，每经过一次该操作，图像特征的空间尺度会缩小至下一个尺度的特征图大小，接着与下一个尺度的特征图进行拼接操作，一起送入下一个尺度的三维卷积层和激活函数层。多个尺度的特征图完成特征融合后，依次输入平均池化层和全连接层，输出不同数据源的预测结果，对应真实数据源标签计算判别器损失函数，并更新判别器权重。
所述迁移学习模块具体工作流程如下：
如图4所示，有标签影像数据集记为
Figure 71159DEST_PATH_IMAGE001
，其中
Figure 274739DEST_PATH_IMAGE002
为有标签胰腺CT影 像数据，
Figure 414733DEST_PATH_IMAGE003
为
Figure 791488DEST_PATH_IMAGE002
对应的标签。所述有标签胰腺CT影像数据可以为医疗中心诊疗产生的有胰腺 精准标注的CT影像，也可以为公开发布的国内外有标注胰腺影像数据。无标签影像数据集 记为
Figure 208694DEST_PATH_IMAGE036
，其中
Figure 442229DEST_PATH_IMAGE020
为无标签胰腺CT影像数据。
（1）有标签影像数据集
Figure 944886DEST_PATH_IMAGE004
的胰腺CT影像数据和标签数据
Figure 594173DEST_PATH_IMAGE005
成对输入胰腺 影像分割模型，
Figure 990519DEST_PATH_IMAGE006
为
Figure 535901DEST_PATH_IMAGE037
中的样本总数，此时胰腺影像分割模型基于得到对于输入
Figure 650487DEST_PATH_IMAGE007
映射标签 数据
Figure 103466DEST_PATH_IMAGE008
误差最小的权重的假设进行优化，将总损失函数
Figure 495264DEST_PATH_IMAGE009
定义为交叉熵损失函数
Figure 70602DEST_PATH_IMAGE038
和 Dice Loss损失函数
Figure 547850DEST_PATH_IMAGE039
的线性组合，表示为：
Figure 132416DEST_PATH_IMAGE012
其中，
Figure 175458DEST_PATH_IMAGE013
为线性权重系数，取模型实测经验数值，本实例中取
Figure 62642DEST_PATH_IMAGE040
。
交叉熵损失函数
Figure 620663DEST_PATH_IMAGE010
表示为：
Figure 884285DEST_PATH_IMAGE041
其中，
Figure 606053DEST_PATH_IMAGE042
为单个像素点预测为前景胰腺组织的概率值。
Dice Loss损失函数
Figure 788772DEST_PATH_IMAGE039
表示为：
Figure 975034DEST_PATH_IMAGE043
其中，P为胰腺影像分割模型预测的胰腺区域，Z为标签y标注的胰腺区域。
经过如上损失函数优化训练得到有标签影像数据对应的胰腺影像分割模型记为
Figure 901402DEST_PATH_IMAGE015
。
（2）将胰腺影像分割模型
Figure 653457DEST_PATH_IMAGE014
拷贝至无标签影像数据支路，此时无标签影像数据对 应的胰腺影像分割模型初始化为
Figure 882444DEST_PATH_IMAGE044
。在后续对抗学习过程中，有标签影像数据对应 的胰腺影像分割模型
Figure 680636DEST_PATH_IMAGE015
的参数始终冻结保持不变，无标签影像数据对应的胰腺影像分割 模型
Figure 20482DEST_PATH_IMAGE016
的参数不断更新。
（3）有标签影像数据集
Figure 892623DEST_PATH_IMAGE004
将数据
Figure 682724DEST_PATH_IMAGE017
输入模型
Figure 577999DEST_PATH_IMAGE014
得到多尺度胰腺目标影像特征
Figure 846169DEST_PATH_IMAGE045
，无标签影像数据集T将数据
Figure 307238DEST_PATH_IMAGE032
输入模型
Figure 815710DEST_PATH_IMAGE016
得到多尺度胰腺目标影像特征
Figure 260598DEST_PATH_IMAGE022
，k为T中的样本总数。
（4）将两组多尺度胰腺目标影像特征通过两个支路成对输入对抗学习模块的判别 器
Figure 66880DEST_PATH_IMAGE023
，给定有标签影像数据集
Figure 648034DEST_PATH_IMAGE004
的数据
Figure 655305DEST_PATH_IMAGE017
标签为1，无标签影像数据集T的数据
Figure 56330DEST_PATH_IMAGE046
标 签为0，判别器
Figure 338407DEST_PATH_IMAGE023
基于寻找有标签胰腺CT影像数据和无标签胰腺CT影像数据差异最大的权 重的假设进行优化，使得判别器具有区分有标签胰腺CT影像数据和无标签胰腺CT影像数据 个性化影像特征的能力，判别器
Figure 367543DEST_PATH_IMAGE023
的损失函数
Figure 811293DEST_PATH_IMAGE025
表示为：
Figure 168457DEST_PATH_IMAGE026
其中，
Figure 582120DEST_PATH_IMAGE027
为
Figure 341129DEST_PATH_IMAGE028
单支路输入对抗学习模块的判别器预测结果；
Figure 221360DEST_PATH_IMAGE029
为
Figure 190453DEST_PATH_IMAGE030
单支路输入对抗学习模块的判别器预测结果，
Figure 17595DEST_PATH_IMAGE047
为求期望。
由此，判别器优化问题转换为神经网络中损失函数最小化问题，对判别器权重参 数采用梯度下降法进行更新，得到更新后的判别器，记为
Figure 755744DEST_PATH_IMAGE031
。
（5）判别器更新完成后，暂时保持冻结状态。为得到有标签胰腺CT影像数据和无标 签胰腺CT影像数据的共性影像特征，将无标签影像数据集T的数据
Figure 72456DEST_PATH_IMAGE024
标签变化为1，将 数据
Figure 935370DEST_PATH_IMAGE021
单支路输入当前判别器
Figure 300623DEST_PATH_IMAGE031
中，根据判别器的损失函数计算更新梯度，反向传播 给无标签影像数据对应的胰腺影像分割模型
Figure 158858DEST_PATH_IMAGE016
，实现模型
Figure 380891DEST_PATH_IMAGE016
更新。
（6）重复步骤（4）、（5），不断更新判别器
Figure 731101DEST_PATH_IMAGE031
和无标签影像数据对应的胰腺影像分割 模型
Figure 900046DEST_PATH_IMAGE016
。
Figure 284891DEST_PATH_IMAGE031
和
Figure 5722DEST_PATH_IMAGE016
在交替训练时寻找有标签影像数据集
Figure 337170DEST_PATH_IMAGE004
和无标签影像数据集T中数据的 共性影像特征，并强化无标签影像数据集T中的个性化影像特征，即此时无标签影像数据的 分割问题可优化为无标签影像数据对应的胰腺影像分割模型
Figure 168860DEST_PATH_IMAGE016
和判别器
Figure 408211DEST_PATH_IMAGE048
之间的纳什均 衡，表示为：
Figure 972048DEST_PATH_IMAGE049
直到预设最大迭代次数完成训练，此时得到无标签影像数据对应的最终的胰腺影 像分割模型
Figure 234533DEST_PATH_IMAGE034
。
四、结果展示模块
结果展示模块对分割模块输出的分割掩膜进行后处理，并对胰腺CT影像数据及胰 腺自动分割结果进行展示，展示内容分为可视化影像结果和结构化图表信息。具体实现为， 如图5所示，当无标签影像数据对应的胰腺影像分割模型
Figure 135493DEST_PATH_IMAGE050
训练完成后，系统使用者可通 过数据筛选模块选取医疗中心本地影像数据库中待研究胰腺CT影像数据，完成选定的胰腺 CT影像数据的格式转换，并在数据质量对齐模块中自定义参数对胰腺CT影像数据做影像规 范化预处理，利用分割模块对预处理后胰腺CT影像数据进行分割得到分割掩膜。分割过程 是对胰腺CT影像中每一个像素点预测为目标前景胰腺组织或背景的概率值，因此分割掩膜 中通常会存在一些孤立点和噪声点，本发明采用条件随机场（CRF）模型和空洞填充算法对 分割掩膜做进一步优化以消除分割掩膜中的空洞结构并进行边缘平滑，对优化后的分割掩 膜及原始胰腺CT影像提供可视化影像结果和结构化图表信息展示。可视化影像结果包括但 不限于原始三维胰腺CT影像、胰腺三维分割掩膜、原始三维胰腺组织影像、胰腺二维分割掩 膜、原始二维胰腺组织分层影像等，并支持鼠标拖动旋转、缩放影像等操作实现更丰富的结 果展示。结构化图表信息包括但不限于胰腺体积、胰腺三维尺寸、胰腺二维分层尺寸、胰腺 组织占位深度等。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。

Claims (6)

1.一种基于对抗学习的无标签胰腺影像自动分割系统，其特征在于，包括：
数据筛选模块：用于采集和筛选胰腺CT影像数据；
数据质量对齐模块：用于对不同数据源的胰腺CT影像数据做影像规范化预处理；
迁移学习模块，包括用于构建胰腺影像分割模型的分割模块、用于不同数据源间影像特征对抗学习的对抗学习模块；
所述分割模块中构建的胰腺影像分割模型使用多阶段编码器-解码器结构，编码器和解码器在同级阶段之间用残差连接，编码器采用Transformer，多个阶段的编码器将特征层层抽象，得到多尺度胰腺目标影像特征，多尺度胰腺目标影像特征通过残差连接，被引入对应阶段的解码器，进行目标分割特征解码计算，得到对应尺度的三维特征图，多个阶段的解码器最终输出分割掩膜；
所述胰腺影像分割模型的输入为由原始胰腺CT影像进行像素块分区得到的所有像素块；
第一阶段编码器由线性变换操作和Swin Transformer Block组成，后续阶段编码器由像素块组合操作和Swin Transformer Block组成；所述线性变换操作用于将像素块转换成序列化的特征向量；所述像素块组合操作用于将若干相邻的像素块进行组合并降采样；所述Swin Transformer Block由一个多头滑动窗口的自注意力模块MSA和一个多层感知模块MLP组成，每个MSA和MLP前均接有LayerNorm层，并在每个MSA和MLP之后使用残差连接，所述Swin Transformer Block得到像素相对位置相关的特征图；
解码器由上采样操作和解码模块组成，所述上采样操作由三维转置卷积层和激活函数层组成，所述解码模块由若干堆叠的三维卷积层和激活函数层组成；
所述对抗学习模块中，将有标签影像数据训练的胰腺影像分割模型作为无标签影像数据对应的初始胰腺影像分割模型，提取有标签影像数据和无标签影像数据的多尺度胰腺目标影像特征，并通过判别器对抗训练，更新无标签影像数据对应的胰腺影像分割模型；
所述判别器为三维多尺度渐进式特征融合判别器，所述判别器具有多个入口，分别输入所述分割模块中多个阶段的解码器输出的三维特征图，每张特征图经过降维操作后与下一个尺度的特征图进行拼接操作，所述判别器完成多尺度特征图特征融合后，输出不同数据源的预测结果，对应真实数据源标签计算判别器损失函数，并更新判别器权重；
所述迁移学习模块中，根据有标签影像数据训练胰腺影像分割模型的过程包括：
将有标签影像数据集记为
Figure DEST_PATH_IMAGE001
，其中
Figure 703233DEST_PATH_IMAGE002
为有标签胰腺CT影像数据，
Figure DEST_PATH_IMAGE003
为
Figure 181619DEST_PATH_IMAGE002
对应的标签；将有标签影像数据集
Figure DEST_PATH_IMAGE005
的胰腺CT影像数据和标签数据
Figure 638139DEST_PATH_IMAGE006
成对输入所 述分割模块中的胰腺影像分割模型，
Figure DEST_PATH_IMAGE007
为
Figure 35622DEST_PATH_IMAGE005
中的样本总数，所述胰腺影像分割模型基于得到 对于输入
Figure 872866DEST_PATH_IMAGE008
映射标签数据
Figure DEST_PATH_IMAGE009
误差最小的权重的假设进行优化，将总损失函数
Figure 154943DEST_PATH_IMAGE010
定义为交 叉熵损失函数
Figure DEST_PATH_IMAGE011
和Dice Loss损失函数
Figure 980816DEST_PATH_IMAGE012
的线性组合
Figure DEST_PATH_IMAGE013
，
Figure 831092DEST_PATH_IMAGE014
为线性权 重系数；经过损失函数优化训练得到有标签影像数据对应的胰腺影像分割模型
Figure DEST_PATH_IMAGE015
；
在得到有标签影像数据对应的胰腺影像分割模型
Figure 109626DEST_PATH_IMAGE015
后，将无标签影像数据对应的胰 腺影像分割模型
Figure 460973DEST_PATH_IMAGE016
初始化为
Figure 670849DEST_PATH_IMAGE015
，在判别器对抗训练过程中，
Figure 347818DEST_PATH_IMAGE015
的参数始终冻结保持不 变，
Figure DEST_PATH_IMAGE017
的参数不断更新；
所述判别器的对抗训练包括以下步骤：
（1）有标签影像数据集
Figure 113648DEST_PATH_IMAGE005
将数据
Figure 3107DEST_PATH_IMAGE018
输入模型
Figure 819884DEST_PATH_IMAGE015
得到多尺度胰腺目标影像特征
Figure DEST_PATH_IMAGE019
；将无标签影像数据集记为
Figure 402175DEST_PATH_IMAGE020
，其中
Figure 920881DEST_PATH_IMAGE022
为无标签胰腺CT影像数据，无标签影像数 据集T将数据
Figure 879610DEST_PATH_IMAGE024
输入模型
Figure 409949DEST_PATH_IMAGE017
得到多尺度胰腺目标影像特征
Figure DEST_PATH_IMAGE025
，k为T中的样本总数；
（2）将两组多尺度胰腺目标影像特征通过两个支路成对输入所述对抗学习模块的判别 器
Figure 271463DEST_PATH_IMAGE026
，给定有标签影像数据集
Figure 277465DEST_PATH_IMAGE005
的数据
Figure 39885DEST_PATH_IMAGE018
标签为1，无标签影像数据集T的数据
Figure 690309DEST_PATH_IMAGE028
标 签为0，所述判别器
Figure 224190DEST_PATH_IMAGE026
基于寻找有标签胰腺CT影像数据和无标签胰腺CT影像数据差异最大 的权重的假设进行优化，判别器
Figure 592854DEST_PATH_IMAGE026
的损失函数
Figure DEST_PATH_IMAGE029
表示为：
Figure 486861DEST_PATH_IMAGE030
其中，
Figure 522950DEST_PATH_IMAGE031
为
Figure DEST_PATH_IMAGE032
单支路输入对抗学习模块的判别器预测结果；
Figure 198038DEST_PATH_IMAGE033
为
Figure DEST_PATH_IMAGE034
单支路输入对抗学习模块的判别器预测结果；更新判别器权重，得到更新后的判别器
Figure 178633DEST_PATH_IMAGE035
；
（3）判别器更新完成后，暂时保持冻结状态；将无标签影像数据集T的数据
Figure 17276DEST_PATH_IMAGE024
标签变 化为1，将数据
Figure DEST_PATH_IMAGE036
单支路输入当前判别器
Figure 986500DEST_PATH_IMAGE037
，根据判别器的损失函数计算更新梯度，反 向传播给无标签影像数据对应的胰腺影像分割模型
Figure DEST_PATH_IMAGE038
，实现模型
Figure 111451DEST_PATH_IMAGE038
更新；
（4）重复步骤（2）、（3），不断更新判别器
Figure 189128DEST_PATH_IMAGE039
和无标签影像数据对应的胰腺影像分割模型
Figure 470942DEST_PATH_IMAGE038
，将无标签影像数据的分割问题优化为无标签影像数据对应的胰腺影像分割模型
Figure 950465DEST_PATH_IMAGE038
和判别器
Figure 652842DEST_PATH_IMAGE039
之间的纳什均衡，表示为：
Figure DEST_PATH_IMAGE040
直到预设最大迭代次数完成训练，得到无标签影像数据对应的最终的胰腺影像分割模 型
Figure DEST_PATH_IMAGE042
。
2.根据权利要求1所述的一种基于对抗学习的无标签胰腺影像自动分割系统，其特征在于，所述数据质量对齐模块中，对胰腺CT影像数据进行感兴趣区域筛选，包括：
有效腹部范围框定：对胰腺CT影像进行二值化处理，对图像区域属性进行度量，找到影像中所有连通域，最大连通域的边界对角顶点框定的矩形范围被认为是有效腹部范围；
感兴趣层面筛选：利用目标检测算法对胰腺进行粗定位后得到有效层面范围，取有效层面范围及其边界上下若干张胰腺CT影像作为感兴趣层面。
3.根据权利要求2所述的一种基于对抗学习的无标签胰腺影像自动分割系统，其特征在于，所述数据质量对齐模块中，对感兴趣区域筛选后的胰腺CT影像进行超分辨率重建，在水平面上超分辨率重建至预设W*L像素尺寸，在轴向上超分辨率重建至预设层厚d，所述超分辨率重建采用三维线性立方体插值进行体素插值。
4.根据权利要求1所述的一种基于对抗学习的无标签胰腺影像自动分割系统，其特征在于，所述数据质量对齐模块中，对胰腺CT影像进行多倍角度旋转扩增，角度范围为[-10°,+10°]；将胰腺CT影像灰度值截断至[-100,240]，并使用Min-Max归一化方法将影像灰度归一化至[0,1]。
5.根据权利要求1所述的一种基于对抗学习的无标签胰腺影像自动分割系统，其特征在于，所述系统还包括结果展示模块，用于对所述分割模块输出的分割掩膜进行后处理，并提供胰腺CT影像数据及胰腺自动分割结果的可视化影像结果和结构化图表信息展示。
6.根据权利要求5所述的一种基于对抗学习的无标签胰腺影像自动分割系统，其特征在于，所述结果展示模块中，采用条件随机场模型和空洞填充算法对分割掩膜进行后处理；所述可视化影像结果包括原始三维胰腺CT影像、胰腺三维分割掩膜、原始三维胰腺组织影像、胰腺二维分割掩膜、原始二维胰腺组织分层影像；所述结构化图表信息包括胰腺体积、胰腺三维尺寸、胰腺二维分层尺寸、胰腺组织占位深度。
CN202111453631.5A 2021-12-01 2021-12-01 一种基于对抗学习的无标签胰腺影像自动分割系统 Active CN113870258B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111453631.5A CN113870258B (zh) 2021-12-01 2021-12-01 一种基于对抗学习的无标签胰腺影像自动分割系统
PCT/CN2022/124228 WO2023098289A1 (zh) 2021-12-01 2022-10-10 一种基于对抗学习的无标签胰腺影像自动分割系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111453631.5A CN113870258B (zh) 2021-12-01 2021-12-01 一种基于对抗学习的无标签胰腺影像自动分割系统

Publications (2)

Publication Number Publication Date
CN113870258A CN113870258A (zh) 2021-12-31
CN113870258B true CN113870258B (zh) 2022-03-25

Family

ID=78985357

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111453631.5A Active CN113870258B (zh) 2021-12-01 2021-12-01 一种基于对抗学习的无标签胰腺影像自动分割系统

Country Status (2)

Country Link
CN (1) CN113870258B (zh)
WO (1) WO2023098289A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113870258B (zh) * 2021-12-01 2022-03-25 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统
CN115953654A (zh) * 2022-03-24 2023-04-11 北京字跳网络技术有限公司 一种图像处理方法、装置、电子设备及存储介质
CN114742802B (zh) * 2022-04-19 2023-04-18 江南大学 基于3Dtransformer混合卷积神经网络的胰腺CT图像分割方法
CN114565613B (zh) * 2022-04-29 2022-08-23 之江实验室 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN115018711B (zh) * 2022-07-15 2022-10-25 成都运荔枝科技有限公司 一种用于仓库调度的图像超分辨率重建方法
CN115578406B (zh) * 2022-12-13 2023-04-07 四川大学 基于上下文融合机制的cbct颌骨区域分割方法及系统
CN116416261B (zh) * 2023-06-09 2023-09-12 南京航空航天大学 超分辨率重建辅助的ct图像超分辨率分割方法
CN116758100A (zh) * 2023-08-17 2023-09-15 神州医疗科技股份有限公司 一种3d医学图像分割系统及方法
CN116912253B (zh) * 2023-09-14 2023-12-05 吉林大学 基于多尺度混合神经网络的肺癌病理图像分类方法
CN117274883B (zh) * 2023-11-20 2024-01-26 南昌工程学院 基于多头注意力优化特征融合网络的目标跟踪方法与系统
CN117455906B (zh) * 2023-12-20 2024-03-19 东南大学 基于多尺度交叉融合和边界引导的数字化病理胰腺癌神经分割方法
CN117636076B (zh) * 2024-01-25 2024-04-12 北京航空航天大学 基于深度学习影像模型的前列腺mri图像分类方法
CN117746045A (zh) * 2024-02-08 2024-03-22 江西师范大学 一种Transformer和卷积融合的医学图像分割方法及系统
CN117809052A (zh) * 2024-03-01 2024-04-02 海豚乐智科技(成都)有限责任公司 一种块状目标检测及特征提取方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742122A (zh) * 2017-10-27 2018-02-27 浙江大华技术股份有限公司 一种x光图像的分割方法及装置
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109948798A (zh) * 2019-03-21 2019-06-28 西安电子科技大学 基于生成对抗网络模型的混合进化优化方法
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
CN110363122A (zh) * 2019-07-03 2019-10-22 昆明理工大学 一种基于多层特征对齐的跨域目标检测方法
CN111583262A (zh) * 2020-04-23 2020-08-25 北京小白世纪网络科技有限公司 一种血管分割方法与系统
CN111985314A (zh) * 2020-07-09 2020-11-24 东南大学 一种基于ViBe与改进LBP的烟雾检测方法
CN112270244A (zh) * 2020-10-23 2021-01-26 平安科技（深圳）有限公司 目标物违规监控方法、装置、电子设备及存储介质
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN113408537A (zh) * 2021-07-19 2021-09-17 中南大学 一种遥感影像域适应语义分割方法
CN113674253A (zh) * 2021-08-25 2021-11-19 浙江财经大学 基于U-Transformer的直肠癌CT影像自动分割方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600185B2 (en) * 2017-03-08 2020-03-24 Siemens Healthcare Gmbh Automatic liver segmentation using adversarial image-to-image network
US10624558B2 (en) * 2017-08-10 2020-04-21 Siemens Healthcare Gmbh Protocol independent image processing with adversarial networks
CN112116593A (zh) * 2020-08-06 2020-12-22 北京工业大学 一种基于基尼指数的领域自适应语义分割方法
CN112381831B (zh) * 2020-11-26 2022-08-16 南开大学 基于图像间语义辅助的个性化图像分割方法及系统
CN112634265B (zh) * 2021-01-04 2023-04-07 西北大学 基于dnn的胰腺全自动分割模型的构建、分割方法及系统
CN113870258B (zh) * 2021-12-01 2022-03-25 浙江大学 一种基于对抗学习的无标签胰腺影像自动分割系统

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107742122A (zh) * 2017-10-27 2018-02-27 浙江大华技术股份有限公司 一种x光图像的分割方法及装置
CN108062753A (zh) * 2017-12-29 2018-05-22 重庆理工大学 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
CN109948798A (zh) * 2019-03-21 2019-06-28 西安电子科技大学 基于生成对抗网络模型的混合进化优化方法
CN110097131A (zh) * 2019-05-08 2019-08-06 南京大学 一种基于对抗协同训练的半监督医疗图像分割方法
CN110148142A (zh) * 2019-05-27 2019-08-20 腾讯科技（深圳）有限公司 图像分割模型的训练方法、装置、设备和存储介质
CN110363122A (zh) * 2019-07-03 2019-10-22 昆明理工大学 一种基于多层特征对齐的跨域目标检测方法
CN111583262A (zh) * 2020-04-23 2020-08-25 北京小白世纪网络科技有限公司 一种血管分割方法与系统
CN111985314A (zh) * 2020-07-09 2020-11-24 东南大学 一种基于ViBe与改进LBP的烟雾检测方法
CN112270244A (zh) * 2020-10-23 2021-01-26 平安科技（深圳）有限公司 目标物违规监控方法、装置、电子设备及存储介质
CN112598759A (zh) * 2020-12-15 2021-04-02 太原科技大学 抑制低剂量ct图像中伪影噪声的多尺度特征生成对抗网络
CN113408537A (zh) * 2021-07-19 2021-09-17 中南大学 一种遥感影像域适应语义分割方法
CN113674253A (zh) * 2021-08-25 2021-11-19 浙江财经大学 基于U-Transformer的直肠癌CT影像自动分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Attentively Conditioned Generative Adversarial Network for Semantic Segmentation;ARIYO OLUWASANMI et al;《IEEE Access》;20200220;第1-9页 *
Automatic Pancreas Segmentation in CT Images With Distance-Based Saliency-Aware DenseASPP Network;Peijun Hu et al;《IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS》;20210531;第25卷(第5期);第1601-1611页 *
基于条件深度卷积生成对抗网络的视网膜血管分割;蒋芸等;《自动化学报》;20210131;第47卷(第1期);第136-147页 *
基于编码器-解码器的半监督图像语义分割;刘贝贝等;《计算机系统应用》;20191231;第28卷(第11期);第182-187页 *

Also Published As

Publication number Publication date
WO2023098289A1 (zh) 2023-06-08
CN113870258A (zh) 2021-12-31

Similar Documents

Publication Publication Date Title
CN113870258B (zh) 一种基于对抗学习的无标签胰腺影像自动分割系统
CN110310281B (zh) 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN113674281B (zh) 一种基于深度形状学习的肝脏ct自动分割方法
CN113674253B (zh) 基于U-Transformer的直肠癌CT影像自动分割方法
WO2023221954A1 (zh) 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN113344951A (zh) 一种边界感知双重注意力引导的肝段分割方法
CN114972362A (zh) 一种基于RMAU-Net网络的医学图像自动分割方法与系统
CN114202545A (zh) 一种基于UNet++的低级别胶质瘤图像分割方法
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN112396605B (zh) 网络训练方法及装置、图像识别方法和电子设备
CN112164447B (zh) 图像处理方法、装置、设备及存储介质
Pal et al. A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
Wang et al. Multi-scale boundary neural network for gastric tumor segmentation
CN114972266A (zh) 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
Wang et al. Spatial attention lesion detection on automated breast ultrasound
CN116385814B (zh) 一种检测目标的超声筛查方法、系统、装置及介质
Zhang et al. Pneumothorax segmentation of chest X-rays using improved UNet++
Micomyiza et al. An effective automatic segmentation of abdominal adipose tissue using a convolution neural network
Zhang et al. Residual Inter-slice Feature Learning for 3D Organ Segmentation
Ojala Differently stained whole slide image registration technique with landmark validation
Li et al. Attention Guided Multi Scale Feature Fusion Network for Automatic Prostate Segmentation.
CN117710681A (zh) 基于数据增强策略的半监督医学影像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant