CN114663431B - 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 - Google Patents

基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 Download PDF

Info

Publication number
CN114663431B
CN114663431B CN202210543491.9A CN202210543491A CN114663431B CN 114663431 B CN114663431 B CN 114663431B CN 202210543491 A CN202210543491 A CN 202210543491A CN 114663431 B CN114663431 B CN 114663431B
Authority
CN
China
Prior art keywords
segmentation
image
layer
reinforcement learning
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210543491.9A
Other languages
English (en)
Other versions
CN114663431A (zh
Inventor
李劲松
董凯奇
田雨
周天舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210543491.9A priority Critical patent/CN114663431B/zh
Publication of CN114663431A publication Critical patent/CN114663431A/zh
Application granted granted Critical
Publication of CN114663431B publication Critical patent/CN114663431B/zh
Priority to PCT/CN2023/094394 priority patent/WO2023221954A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统，利用三维粗分割模型提取ROI区域，并将ROI区域图像和原始图像沿着z轴切分为2D图像，利用强化学习网络从切分后的ROI区域图像中选取两个参考层，在切分后的原始图像中选择一个分割层，共同输入到带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互，得到胰腺肿瘤的分割结果；本发明利用交叉注意力机制学习不相邻2D图像的相关信息，既避免了2D神经网络无法利用层间信息来准确定位肿瘤的局限性，又避免了3D神经网络因为3D数据信息的冗余和干扰造成的肿瘤分割不准确问题。

Description

基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
技术领域
本发明涉及图像分割领域，尤其涉及一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统。
背景技术
胰腺癌确诊后的五年生存率约10%，是预后最差的恶性肿瘤之一。计算机断层扫描(Computed Tomography，CT) 已广泛应用于癌症的研究、预防、诊断和治疗中，是目前胰腺癌诊断和治疗的主要影像诊断依据。胰腺肿瘤的全自动分割技术可以实现大规模临床CT图像处理，提高病人诊治水平、加快相关临床研究，对家庭、社会和国民经济有重要意义。
胰腺和胰腺肿瘤在CT图像中的自动分割面临着巨大挑战，一方面，胰腺肿瘤与胰腺，以及腹部周围其他器官在CT影像中差异较小，难有明确的界限。另一方面，胰腺肿瘤的形状、大小、位置并不固定，有较高的复杂性。并且，胰腺属于腹部小器官，而胰腺肿瘤更小，通过传统方法以及一般的神经网络方法并不能够准确的对目标区域进行定位。现有的胰腺肿瘤分割还是主要依靠医生进行手动标注，标注过程枯燥低效，更重要的是胰腺标注经常需要医生丰富的经验，对于医生而言，标注工作是一个不小的挑战。
对于CT胰腺肿瘤的分割算法开发难点，主要在以下几个方面：
1. 随着卷积神经网络的在图像处理上的广泛应用，卷积神经网络也被广泛用于医学图像分割。当前主流的针对三维图像的分割方法，是利用一层或多层CT图像作为输入，通过一个复杂的卷积神经网络，输出对胰腺区域的预测，来实现分割。通过学习预测的错误，来提高分割的准确率。尽管取得了一定的成果，但是神经网络模型是独立地对这些二维图像进行分割，忽略了这些二维图像之间的内在联系，从而导致分割精度不够。
2. 直接用三维神经网络进行分割时虽然，相邻层之间的信息虽然更容易利用，但是三维神经网络把所有的切片看做同等重要，在分割时会引入大量的无效信息和干扰信息。另外，由于卷积神经核的视野范围小，不相邻层的切片间的信息很难被有效的利用。
现有的医学图像分割方法在进行采用级联的方法进行分割，既先用一个网络进行粗分割得到目标区域的感兴趣区域ROI（region of interest），然后再用一个精分割网络进行分割。精分割网络往往会将粗分割网络产生的概率图作为输入，精分割网络只负责对粗分割的结果进行优化。但是这样的方法会使得精分割网络无法利用ROI之外的信息，会放大粗分割网络预测错误的地方，引入大量的假阴性。对于胰腺肿瘤这种小目标来说，级联方法造成的假阴性问题会更为突出。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统，针对现有二维卷积神经网络胰腺肿瘤CT无法利用层间信息，而三维卷积神经网络会学习到层间错误的位置和形状信息的问题，临床医生在标注时，往往会依据某几张关键切片判断胰腺和肿瘤的大概形状和位置，并依靠几张关键的切片进行其他层的分割，这种方法高效且准确。针对二维和三维网络中存在的问题，本发明提出一种利用强化学习方法模拟临床医生在标注肿瘤过程中的行为模式，将一个CT影像序列的注意力集中在几张关键CT层上。其次，为了避免级联网络造成的假阴性问题，利用层间注意力机制进行层间信息的流动，来实现胰腺肿瘤的准确分割。
本发明的目的是通过以下技术方案来实现的：一方面，本发明提供了一种基于强化学习和注意力的胰腺肿瘤图像分割方法，该方法包括以下步骤：
（1）采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
（2）构建用于胰腺CT粗分割的三维粗分割模型，获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；
（3）构建带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互；
（3.1）将训练集的数据和标签按照和步骤（2）中ROI区域的图像同样的方式沿着z轴切分为2D图像，随机选取步骤（2）中切分后的两个2D图像作为参考层，训练集数据切分后的2D图像作为分割层；利用强化学习网络选取胰腺肿瘤的参考层；
（3.2）每个参考层对应一个交叉注意力特征融合模块，分别与分割层进行信息的交互，交叉注意力特征融合模块将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，作为分割结果；
（4）给定一个待分割的胰腺肿瘤图像并进行预处理后，输入到三维粗分割模型中获取ROI区域并进行切分，利用强化学习网络选取参考层，将待分割的胰腺肿瘤图像切分后选择一个分割层，将分割层和参考层输入到二维精分割模型进行分割，得到肿瘤的分割结果。
进一步地，步骤（1）中，预处理过程具体为：将训练集中所有数据的体素空间距离space调整到1mm；将图像的HU值截断到-100至240之间，然后归一化到0到1之间。
进一步地，步骤（2）中，三维粗分割模型由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一个下采样层；解码部分包括四个解码块，每个解码块前面连接一个上采样层；每个编码块和解码块均由数目不等的卷积-激活层组成。
进一步地，步骤（2）中，将ROI区域图像记为
Figure 100002_DEST_PATH_IMAGE001
，对应训练集中第n个胰腺癌患者胰 腺CT图像；将
Figure 699352DEST_PATH_IMAGE001
沿着z轴切分为2D图像，于是
Figure DEST_PATH_IMAGE002
，
Figure 100002_DEST_PATH_IMAGE003
表示切分后第k层的2D 图像，截断后CT图像的标签记为
Figure DEST_PATH_IMAGE004
，对应训练集中第n个胰腺癌患者胰腺CT图像的标签，同 样沿着z轴切分为2D图像，于是
Figure 100002_DEST_PATH_IMAGE005
，
Figure DEST_PATH_IMAGE006
表示对应第k层的2D图像标签，其 中
Figure 100002_DEST_PATH_IMAGE007
为截断后的最小层号，
Figure DEST_PATH_IMAGE008
为截断后的最大层号。
进一步地，步骤（2）中，三维粗分割模型采用的损失函数为交叉熵损失函数
Figure 100002_DEST_PATH_IMAGE009
：
Figure DEST_PATH_IMAGE010
其中，
Figure 100002_DEST_PATH_IMAGE011
代表网络输出的预测粗分割结果，
Figure DEST_PATH_IMAGE012
为CT图像胰腺肿瘤分割标签，m是输 入图像中的像素点个数，
Figure 100002_DEST_PATH_IMAGE013
和
Figure DEST_PATH_IMAGE014
分别是像素点j的真实标签和预测标签，
Figure 100002_DEST_PATH_IMAGE015
分别代表 背景，胰腺或胰腺肿瘤；函数I(·)是示性函数，函数log为对数函数，p(·)为模型预测的概 率函数。
进一步地，步骤（3.1）中，强化学习网络的环境为从原始CT图像获取的ROI区域，状态为沿z轴随机选取的两层切片，动作为每次迭代代理在上次选择的参考层沿z轴进行前后移动，每个参考层对应一个代理，动作价值函数为二维精分割模型预测结果与真实标签的损失函数，并通过启发函数计算当前状态下的下一步动作的最大奖励值；在迭代过程中，利用负反馈的方法对强化学习网络进行训练。
进一步地，强化学习网络训练后，固定强化学习网络的参数，利用强化学习网络筛选参考层将参考层与分割层输入到二维精分割模型完成二维精分割模型训练。
进一步地，步骤（3.2）中，将两个参考层分别记为
Figure DEST_PATH_IMAGE016
和
Figure 100002_DEST_PATH_IMAGE017
，将分割层记为
Figure DEST_PATH_IMAGE018
，
Figure 100002_DEST_PATH_IMAGE019
切分后第
Figure DEST_PATH_IMAGE020
层的2D图像，对于参考层
Figure 100002_DEST_PATH_IMAGE021
和分割层
Figure DEST_PATH_IMAGE022
的交互过程以及参考层
Figure 100002_DEST_PATH_IMAGE023
和分割 层
Figure DEST_PATH_IMAGE024
的交互过程一致；对于参考层
Figure 100002_DEST_PATH_IMAGE025
和分割层
Figure DEST_PATH_IMAGE026
而言，交叉注意力特征融合模块的实 现如下：
将参考层
Figure 100002_DEST_PATH_IMAGE027
和分割层
Figure DEST_PATH_IMAGE028
经过下采样和多次卷积操作后分别得到高维度特征
Figure 100002_DEST_PATH_IMAGE029
和
Figure DEST_PATH_IMAGE030
；
Figure 100002_DEST_PATH_IMAGE031
和
Figure DEST_PATH_IMAGE032
作为交叉注意力特征融合模块的输入；
交叉注意力特征融合模块首先利用两个线性映射函数
Figure 100002_DEST_PATH_IMAGE033
和
Figure DEST_PATH_IMAGE034
，将输入特征由三 维转为一维，并将一维特征进行维度变换，使相关特征的维度保持一致；通过
Figure 925148DEST_PATH_IMAGE033
和
Figure 100002_DEST_PATH_IMAGE035
对特 征
Figure 767202DEST_PATH_IMAGE031
和
Figure DEST_PATH_IMAGE036
进行映射操作，使得特征的维度统一：
Figure 100002_DEST_PATH_IMAGE037
将
Figure DEST_PATH_IMAGE038
与
Figure 100002_DEST_PATH_IMAGE039
并行，再使用一个卷积核
Figure DEST_PATH_IMAGE040
进行映射操作，对二者进行第一次融合， 融合后的特征作为参考特征：
Figure 100002_DEST_PATH_IMAGE041
Figure DEST_PATH_IMAGE042
为沿通道方向的拼接操作；
利用
Figure 100002_DEST_PATH_IMAGE043
和
Figure DEST_PATH_IMAGE044
进行点积操作，生成交叉注意力机制的信息相关矩阵A：
Figure 100002_DEST_PATH_IMAGE045
其中，
Figure DEST_PATH_IMAGE046
是三个卷积用于给与各个特征自适应的权重；
Figure 100002_DEST_PATH_IMAGE047
为sigmoid 函数；D为特征
Figure DEST_PATH_IMAGE048
的通道数量；
信息相关矩阵A与v进行点积操作，完成第二次融合，并用残差操作将
Figure 100002_DEST_PATH_IMAGE049
的信息融 合到
Figure DEST_PATH_IMAGE050
：
Figure 100002_DEST_PATH_IMAGE051
其中，
Figure DEST_PATH_IMAGE052
为线性映射函数。
进一步地，步骤（3）中，二维精分割模型将分割层和参考层作为输入，分割层的预测结果作为输出，采用损失函数Dice Loss进行负反馈学习：
Figure 100002_DEST_PATH_IMAGE053
其中，
Figure DEST_PATH_IMAGE054
是输入2D图像中的像素点个数，
Figure 100002_DEST_PATH_IMAGE055
表示切分后第
Figure DEST_PATH_IMAGE056
层的2D图像的标签，
Figure 100002_DEST_PATH_IMAGE057
为分割层的预测结果，
Figure DEST_PATH_IMAGE058
和
Figure DEST_PATH_IMAGE059
分别是像素点h的真实标签和预测标签。
另一方面，本发明还提供了一种基于强化学习和注意力的胰腺肿瘤图像分割系统，该系统包括胰腺肿瘤分割训练集构建模块、三维粗分割模型模块、强化学习网络模块和二维精分割模型模块；
所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
所述三维粗分割模型模块用于获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；
所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个参考层；
所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并选择一个分割层，二维精分割模型模块包括两个交叉注意力特征融合子模块，分别对应两个参考层，所述两个交叉注意力特征融合子模块分别与分割层进行信息的交互，将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，得到肿瘤的分割结果。
本发明的有益效果：
1. 利用强化学习网络从三维图像中选取两层2D图像作为参考层，不涉及层间信息的传递，为二维神经分割网络的分割提供一个可以参考的分割样例。
2. 利用交叉注意力机制学习不相邻2D图像的相关信息，既避免了2D神经网络无法利用层间信息来准确定位肿瘤的局限性，又避免了3D神经网络因为3D数据信息的冗余和干扰造成的肿瘤分割不准确问题。
3. 使用全自动化分割方法模拟临床医生的分割流程，训练和验证过程都不需要医生的介入。
附图说明
图1为本发明提供的一种基于强化学习和注意力的胰腺肿瘤图像分割方法流程图。
图2为本发明的交叉注意力特征融合模块示意图。
图3为本发明的粗分割模型3D UNet结构示意图。
图4为本发明的精分割模型2D UNet结构示意图。
图5为本发明的强化学习训练流程图。
图6为本发明提供的一种基于强化学习和注意力的胰腺肿瘤图像分割系统示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示，本发明提供的一种基于强化学习和注意力的胰腺肿瘤分割方法，实现步骤如下：
(1) 胰腺肿瘤分割数据集建立和预处理
(1.1) 收集CT体数据，并做出这些数据的肝脏标准分割结果；采集胰腺癌患者胰 腺CT图像，记为
Figure DEST_PATH_IMAGE060
。勾画CT图像胰腺肿瘤分割的标签，记为
Figure DEST_PATH_IMAGE061
，
Figure DEST_PATH_IMAGE062
， 其中|X|代表X中所有体素个数，
Figure DEST_PATH_IMAGE063
表示X中的第j个 体素，K表示z轴的层数，
Figure DEST_PATH_IMAGE064
表示自然数集合，
Figure DEST_PATH_IMAGE065
分别代表体素j属于背景， 胰腺或胰腺肿瘤。记胰腺肿瘤分割数据集为
Figure DEST_PATH_IMAGE066
，其中N为CT图像个数，
Figure DEST_PATH_IMAGE067
为S中第r个胰腺癌患者胰腺CT图像，
Figure DEST_PATH_IMAGE068
为对应的CT图像胰腺肿瘤分割标签。将分割数据集 划分为训练集
Figure DEST_PATH_IMAGE069
和测试集
Figure DEST_PATH_IMAGE070
， 其中
Figure DEST_PATH_IMAGE071
为训练集个数，
Figure DEST_PATH_IMAGE072
为测试集个数，
Figure DEST_PATH_IMAGE073
为
Figure DEST_PATH_IMAGE074
中第n个胰腺癌患者胰腺CT图像，
Figure DEST_PATH_IMAGE075
为对应的CT图像胰腺肿瘤分割标签，
Figure DEST_PATH_IMAGE076
为
Figure DEST_PATH_IMAGE077
中第
Figure DEST_PATH_IMAGE078
个胰腺癌患者胰腺CT图像，
Figure DEST_PATH_IMAGE079
为对应 的CT图像胰腺肿瘤分割标签。
(1.2) 将所有数据的x，y，z轴的体素空间距离space调整到1mm。将图像的HU值截断在[-100，240]之间，然后归一化到[0，1]之间。所述HU值即CT值，是测定人体某一局部组织或器官密度大小的一种计量单位，通常称亨氏单位(hounsfield unit，HU)，空气为-1000，致密骨为+1000。
(2) 利用3D UNet网络构建用于胰腺CT粗分割的三维粗分割模型
Figure DEST_PATH_IMAGE080
，并进行训练。
(2.1) 如图3所示，构建用于胰腺CT粗分割的3D UNet网络，记为三维粗分割模型
Figure DEST_PATH_IMAGE081
，该模型由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一 个下采样层。解码部分包括四个解码块，每个解码块前面连接一个上采样层。每个编码块和 解码块均由数目不等的卷积-激活层组成。利用训练集样本训练该网络，采用的损失函数为 交叉熵损失函数
Figure DEST_PATH_IMAGE082
：
Figure DEST_PATH_IMAGE083
其中，
Figure DEST_PATH_IMAGE084
代表网络输出的预测粗分割结果，m是输入图像中的像素点个数，
Figure DEST_PATH_IMAGE085
和
Figure DEST_PATH_IMAGE086
分别是像素点j的真实标签和预测标签，
Figure DEST_PATH_IMAGE087
分别代表背景，胰腺或胰腺肿瘤；函数I (·)是示性函数，函数log为对数函数，p(·)为网络预测的概率函数。
(2.2)通过
Figure DEST_PATH_IMAGE088
模型获取胰腺ROI（region of interest）区域。
通过模型
Figure 461331DEST_PATH_IMAGE088
获得训练集
Figure DEST_PATH_IMAGE089
中3D CT图像
Figure DEST_PATH_IMAGE090
的预测概率图
Figure DEST_PATH_IMAGE091
，根据条件
Figure DEST_PATH_IMAGE092
，在 3D CT图像
Figure DEST_PATH_IMAGE093
上对数据进行截断，生成一个长方体的矩形框，截断后CT图像记为获取的3D ROI区域
Figure DEST_PATH_IMAGE094
，将
Figure DEST_PATH_IMAGE095
沿着z轴分为2D图像，于是
Figure DEST_PATH_IMAGE096
，
Figure DEST_PATH_IMAGE097
表示切分后第k层的 2D图像，截断后CT图像的标签记为
Figure DEST_PATH_IMAGE098
，同样沿着z轴分为2D图像，于是
Figure DEST_PATH_IMAGE099
，
Figure DEST_PATH_IMAGE100
表示对应第k层的2D图像标签，其中
Figure DEST_PATH_IMAGE101
为截断后的最小层 号，
Figure DEST_PATH_IMAGE102
为截断后的最大层号。
(3) 利用带有交叉注意力特征融合模块的2D UNet网络构建二维精分割模型
Figure DEST_PATH_IMAGE103
用 于胰腺肿瘤分割（见图4），并进行预训练。
(3.1) 训练一个二维的精分割模型
Figure DEST_PATH_IMAGE104
。该模型的主要作用是利用层间的交叉注意 力特征融合模块，使得分割特征可以在主要分割层和参考层中进行信息的交互。
将训练集数据
Figure DEST_PATH_IMAGE105
和
Figure DEST_PATH_IMAGE106
按照3D ROI区域
Figure DEST_PATH_IMAGE107
同样的方法进行切片，于是
Figure DEST_PATH_IMAGE108
，
Figure DEST_PATH_IMAGE109
表示切分后第
Figure DEST_PATH_IMAGE110
层的2D图像，
Figure DEST_PATH_IMAGE111
，
Figure DEST_PATH_IMAGE112
表示切分后第
Figure DEST_PATH_IMAGE113
层的2D图像的标签。从将步骤(2)中获取的3D ROI区域
Figure DEST_PATH_IMAGE114
中随机选取两个 切片2D图像，第a层
Figure DEST_PATH_IMAGE115
和第b层
Figure DEST_PATH_IMAGE116
，其中
Figure DEST_PATH_IMAGE117
。利用
Figure DEST_PATH_IMAGE118
和
Figure DEST_PATH_IMAGE119
作为参考层，对 训练集数据
Figure DEST_PATH_IMAGE120
第c层进行分割。
(3.2) 交叉注意力特征融合模块的实现。在模型中，本发明设计了两个基于交叉 注意力机制的层间信息交互模块使得层间信息可以在参考层和分割层中进行交互，其中两 个交叉注意力特征融合模块完全一致。对于参考层
Figure DEST_PATH_IMAGE121
和分割层
Figure DEST_PATH_IMAGE122
而言，交叉注意力特 征融合模块（见图2）的实现如下，对于参考层
Figure DEST_PATH_IMAGE123
和分割层
Figure DEST_PATH_IMAGE124
的交互过程以及参考层
Figure DEST_PATH_IMAGE125
和分割层
Figure DEST_PATH_IMAGE126
的交互过程一致：
将参考层
Figure DEST_PATH_IMAGE127
和分割层
Figure DEST_PATH_IMAGE128
经过下采样和多次卷积操作后分别得到高维度特征
Figure DEST_PATH_IMAGE129
和
Figure DEST_PATH_IMAGE130
。
Figure DEST_PATH_IMAGE131
和
Figure DEST_PATH_IMAGE132
作为交叉注意力特征融合模块的输入。
交叉注意力特征融合模块首先利用两个线性映射函数
Figure DEST_PATH_IMAGE133
和
Figure DEST_PATH_IMAGE134
，将输入特征由三 维转为一维，并将一维特征进行维度变换，使相关特征的维度保持一致。通过
Figure 624504DEST_PATH_IMAGE133
和
Figure 243704DEST_PATH_IMAGE035
对特 征
Figure DEST_PATH_IMAGE135
和
Figure DEST_PATH_IMAGE136
进行映射操作，使得特征的维度统一：
Figure DEST_PATH_IMAGE137
将
Figure DEST_PATH_IMAGE138
与
Figure DEST_PATH_IMAGE139
并行，再使用一个卷积核
Figure DEST_PATH_IMAGE140
进行映射操作，对二者进行第一次融 合，融合后的特征作为参考特征：
Figure DEST_PATH_IMAGE141
Figure DEST_PATH_IMAGE142
为沿通道方向的拼接操作。
利用
Figure DEST_PATH_IMAGE143
和
Figure DEST_PATH_IMAGE144
进行点积操作，生成交叉注意力机制的信息相关矩阵A：
Figure DEST_PATH_IMAGE145
其中，
Figure DEST_PATH_IMAGE146
是三个卷积用于给与各个特征自适应的权重。
Figure DEST_PATH_IMAGE147
为sigmoid 函数。D为特征
Figure DEST_PATH_IMAGE148
的通道数量。
相关矩阵A与v进行点积操作，完成第二次融合，并用残差操作将
Figure DEST_PATH_IMAGE149
的信息融合 到
Figure DEST_PATH_IMAGE150
：
Figure DEST_PATH_IMAGE151
其中，
Figure DEST_PATH_IMAGE152
为线性映射函数。
(3.3) 二维精分割模型
Figure DEST_PATH_IMAGE153
的预训练。将
Figure DEST_PATH_IMAGE154
，
Figure DEST_PATH_IMAGE155
以及
Figure DEST_PATH_IMAGE156
作为输入，
Figure DEST_PATH_IMAGE157
的预 测结果
Figure DEST_PATH_IMAGE158
为输出，Dice Loss为损失函数进行负反馈学习，训练二维精分割模型
Figure 326716DEST_PATH_IMAGE153
。
其中Dice Loss的定义为：
Figure DEST_PATH_IMAGE159
其中，
Figure DEST_PATH_IMAGE160
是输入2D图像中的像素点个数，
Figure DEST_PATH_IMAGE161
和
Figure DEST_PATH_IMAGE162
分别是像素点h的真实标签和预测 标签。
(4) 强化学习网络训练。
(4.1) 利用强化学习网络Q选取胰腺肿瘤分割层。
强化学习网络由一个3D ResNet网络构成，其输出为一个向量，映射到代理的动作空间。整个强化学习框架可以分为以下几个部分：环境（Environment），代理（Agents），状态（States），行动（Action），启发函数（Reword）以及损失函数。本发明就每个部分的含义及强化学习的过程进行说明:
环境
Figure DEST_PATH_IMAGE163
：从原始CT图像获取的ROI区域
Figure DEST_PATH_IMAGE164
作为整个强化学习的环境。
代理
Figure DEST_PATH_IMAGE165
：为了选取参考层第a层
Figure DEST_PATH_IMAGE166
和第b层
Figure DEST_PATH_IMAGE167
，本发明设置两个代理
Figure DEST_PATH_IMAGE168
和
Figure DEST_PATH_IMAGE169
。
状态：
Figure DEST_PATH_IMAGE170
定义在迭代次数t从
Figure DEST_PATH_IMAGE171
中被强化学习网络选择的两个参考层第a层和第b 层，其初始状态为从
Figure 244992DEST_PATH_IMAGE171
中沿z轴随机选取的两层切片。
行动
Figure DEST_PATH_IMAGE172
的行动策略函数为
Figure DEST_PATH_IMAGE173
，这里本发明选择贪婪策略， 对动作空间中所有的动作进行遍历，
Figure DEST_PATH_IMAGE174
和
Figure DEST_PATH_IMAGE175
分别是状态和当前代理的动作。
Figure DEST_PATH_IMAGE176
是代理
Figure DEST_PATH_IMAGE177
和
Figure DEST_PATH_IMAGE178
的动作空间具体为{-3，-2，-1，0，1，2，3，Stop }，每个动作表示每次迭 代
Figure 163138DEST_PATH_IMAGE177
和
Figure 953240DEST_PATH_IMAGE178
在上次选择的参考层沿z轴进行前后移动。最后的Stop操作表示Q选择终止， 表示
Figure DEST_PATH_IMAGE179
和
Figure 769886DEST_PATH_IMAGE178
找不到可以再提升的参考层。
动作价值函数：本发明用一个CT图像
Figure DEST_PATH_IMAGE180
的所有2D体数据层在二维精分割模型
Figure DEST_PATH_IMAGE181
的 预测结果的集合
Figure DEST_PATH_IMAGE182
与真实的标签Y的Dice loss来表示：
Figure DEST_PATH_IMAGE183
启发函数：启发函数用于计算当前状态下的下一步动作的最大奖励值：
Figure DEST_PATH_IMAGE184
其中，
Figure DEST_PATH_IMAGE185
是衰减系数，动作越多，受益越小。
损失函数：在迭代过程中，利用负反馈的方法对强化学习网络进行训练，使得代理
Figure 162690DEST_PATH_IMAGE177
和
Figure DEST_PATH_IMAGE186
可以快速准确地找到最合适的参考层。第t次迭代的损失函数可以表示为：
Figure DEST_PATH_IMAGE187
强化学习网络的训练步骤说明(见图5)：
在一次迭代t中，强化学习网络使得代理
Figure 607447DEST_PATH_IMAGE179
和
Figure DEST_PATH_IMAGE188
从环境
Figure DEST_PATH_IMAGE189
中选取两个参考层 第a层
Figure DEST_PATH_IMAGE190
和第b层
Figure DEST_PATH_IMAGE191
记为状态
Figure DEST_PATH_IMAGE192
。将
Figure DEST_PATH_IMAGE193
输入到二维精分割模型
Figure DEST_PATH_IMAGE194
中，得到 当前动作的价值函数
Figure DEST_PATH_IMAGE195
。利用贪心算法，穷举求得当前最大奖励值
Figure DEST_PATH_IMAGE196
，进而 求得用于负反馈的损失函数
Figure DEST_PATH_IMAGE197
，更新强化学习网络Q的权重。
(5) 固定强化学习网络，更新二维精分割模型
Figure DEST_PATH_IMAGE198
模型权重。
强化学习网络训练后，固定强化学习网络的参数。利用强化学习网络筛选参考层 第a层
Figure DEST_PATH_IMAGE199
和第b层
Figure DEST_PATH_IMAGE200
，将参考层与分割层
Figure DEST_PATH_IMAGE201
输入到模型
Figure 276106DEST_PATH_IMAGE198
中完成二维精分割模型训 练。
(6) 胰腺肿瘤的自动分割。
(6.1) 对给定的测试集中的测试图像，进行重采样和灰度值调整，并将图像的HU 值截断在[-100，240]之间，然后归一化到[0，1]。将处理后的测试图像输入到三维粗分割模 型
Figure DEST_PATH_IMAGE202
中，得到胰腺和肿瘤的分割概率图
Figure DEST_PATH_IMAGE203
。并根据
Figure DEST_PATH_IMAGE204
获取ROI区域
Figure DEST_PATH_IMAGE205
。
(6.2) 将ROI区域
Figure DEST_PATH_IMAGE206
输入到强化学习网络Q，获取参考体数据层数参考层。
(6.3) 将测试图像沿体数据层逐层分为2D图像，选择一个分割层，将分割层和参 考层输入到
Figure 970262DEST_PATH_IMAGE198
进行分割，得到肿瘤的分割结果。
另一方面，如图6所示，本发明还提供了一种基于强化学习和注意力的胰腺肿瘤图像分割系统，该系统包括胰腺肿瘤分割训练集构建模块、三维粗分割模型模块、强化学习网络模块和二维精分割模型模块；
所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
所述三维粗分割模型模块用于获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；
所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个参考层；
所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并选择一个分割层，二维精分割模型模块包括两个交叉注意力特征融合子模块，分别对应两个参考层，所述两个交叉注意力特征融合子模块分别与分割层进行信息的交互，将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，得到胰腺肿瘤的分割结果。
以下为本发明的一个具体实施例
本实例使用公开数据集医学马拉松数据集（The Medical SegmentationDecathlon， MSD）胰腺肿瘤分割数据集的CT图像数据进行研究。MSD数据集共有281例胰腺肿瘤数据。
本发明将数据划分训练集224例，测试集57例。训练集的数据用于训练三维粗分割 模型
Figure DEST_PATH_IMAGE207
，强化学习网络Q和二维精分割模型
Figure DEST_PATH_IMAGE208
，测试集用于测试模型的性能。本发明采用 DSC系数，Jaccard系数，准确率Precision和召回率Recall来评估2D UNet，3D UNet网络。
另外，为了验证交叉注意力特征融合模块的有效性，本发明增加了一个去掉强化学习网络的仿真过程，从ROI中的随机选取参考层，与本发明进行比较，结果如表1所示。
表1. 基于强化学习与交叉注意力的分割方法与其他方法在胰腺肿瘤分割的对比结果
Figure DEST_PATH_IMAGE209
由结果可知，基于强化学习与注意力的胰腺肿瘤图像分割方法相比于其他方法策略取得了最佳效果。相较于2D UNet网络和3DUNet网络，参考层和交叉注意力的引入可以增强2D网络对分割目标的识别和定位，同时避免3D网络引入过多的冗余信息，造成分割困难。另外，强化学习方法可以更好的减少错误伪标签在模型训练过程中的传播与累积（准确率提高8.67%）。相比其它方法，本发明在胰腺肿瘤分割上获得了最好的结果。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (10)

1.一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，该方法包括以下步骤：
（1）采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
（2）构建用于胰腺CT粗分割的三维粗分割模型，获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；
（3）构建带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互；
（3.1）将训练集的数据和标签按照和步骤（2）中ROI区域的图像同样的方式沿着z轴切分为2D图像，随机选取步骤（2）中切分后的两个2D图像作为参考层，训练集数据切分后的2D图像作为分割层；利用强化学习网络选取胰腺肿瘤的其他参考层；强化学习网络的环境为从原始CT图像获取的ROI区域，状态为沿z轴随机选取的两层切片，动作为每次迭代代理在上次选择的参考层沿z轴进行前后移动，每个参考层对应一个代理；
（3.2）每个参考层对应一个交叉注意力特征融合模块，分别与分割层进行信息的交互，交叉注意力特征融合模块将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，作为分割结果；
（4）给定一个待分割的胰腺肿瘤图像并进行预处理后，输入到三维粗分割模型中获取ROI区域并进行切分，利用强化学习网络选取参考层，将待分割的胰腺肿瘤图像切分后选择一个分割层，将分割层和参考层输入到二维精分割模型进行分割，得到胰腺肿瘤的分割结果。
2.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（1）中，预处理过程具体为：将训练集中所有数据的体素空间距离space调整到1mm；将图像的HU值截断到-100至240之间，然后归一化到0到1之间。
3.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（2）中，三维粗分割模型由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一个下采样层；解码部分包括四个解码块，每个解码块前面连接一个上采样层；每个编码块和解码块均由数目不等的卷积-激活层组成。
4.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（2）中，将ROI区域图像记为
Figure DEST_PATH_IMAGE001
，对应训练集中第n个胰腺癌患者胰腺CT图像；将
Figure 556646DEST_PATH_IMAGE001
沿着z轴切分为2D图像，于是
Figure 354838DEST_PATH_IMAGE002
，
Figure DEST_PATH_IMAGE003
表示切分后第k层的2D图像，截断后CT图像的标签记为
Figure 678372DEST_PATH_IMAGE004
，对应训练集中第n个胰腺癌患者胰腺CT图像的标签，同样沿着z轴切分为2D图像，于是
Figure DEST_PATH_IMAGE005
，
Figure 612830DEST_PATH_IMAGE006
表示对应第k层的2D图像标签，其中
Figure DEST_PATH_IMAGE007
为截断后的最小层号，
Figure 668511DEST_PATH_IMAGE008
为截断后的最大层号。
5.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（2）中，三维粗分割模型采用的损失函数为交叉熵损失函数
Figure DEST_PATH_IMAGE009
：
Figure 750736DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
代表网络输出的预测粗分割结果，
Figure 753327DEST_PATH_IMAGE012
为CT图像胰腺肿瘤分割标签，m是输入图像中的像素点个数，
Figure DEST_PATH_IMAGE013
和
Figure 339029DEST_PATH_IMAGE014
分别是像素点j的真实标签和预测标签，
Figure DEST_PATH_IMAGE015
分别代表背景，胰腺或胰腺肿瘤；函数I(·)是示性函数，函数log为对数函数，p(·)为模型预测的概率函数。
6.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（3.1）中，强化学习网络的动作价值函数为二维精分割模型预测结果与真实标签的损失函数，并通过启发函数计算当前状态下的下一步动作的最大奖励值；在迭代过程中，利用负反馈的方法对强化学习网络进行训练。
7.根据权利要求6所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，强化学习网络训练后，固定强化学习网络的参数，利用强化学习网络筛选参考层将参考层与分割层输入到二维精分割模型完成二维精分割模型训练。
8.根据权利要求4所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（3.2）中，将两个参考层分别记为
Figure 96770DEST_PATH_IMAGE016
和
Figure DEST_PATH_IMAGE017
，将分割层记为
Figure 603974DEST_PATH_IMAGE018
，
Figure DEST_PATH_IMAGE019
切分后第
Figure 941415DEST_PATH_IMAGE020
层的2D图像，对于参考层
Figure DEST_PATH_IMAGE021
和分割层
Figure 647203DEST_PATH_IMAGE022
的交互过程以及参考层
Figure DEST_PATH_IMAGE023
和分割层
Figure 310265DEST_PATH_IMAGE024
的交互过程一致；对于参考层
Figure DEST_PATH_IMAGE025
和分割层
Figure 119082DEST_PATH_IMAGE026
而言，交叉注意力特征融合模块的实现如下：
将参考层
Figure DEST_PATH_IMAGE027
和分割层
Figure 463475DEST_PATH_IMAGE028
经过下采样和多次卷积操作后分别得到高维度特征
Figure DEST_PATH_IMAGE029
和
Figure 289349DEST_PATH_IMAGE030
；
Figure DEST_PATH_IMAGE031
和
Figure 326575DEST_PATH_IMAGE032
作为交叉注意力特征融合模块的输入；
交叉注意力特征融合模块首先利用两个线性映射函数
Figure DEST_PATH_IMAGE033
和
Figure 339531DEST_PATH_IMAGE034
，将输入特征由三维转为一维，并将一维特征进行维度变换，使相关特征的维度保持一致；通过
Figure 18774DEST_PATH_IMAGE033
和
Figure 902416DEST_PATH_IMAGE034
对特征
Figure 579385DEST_PATH_IMAGE031
和
Figure 548478DEST_PATH_IMAGE032
进行映射操作，使得特征的维度统一：
Figure DEST_PATH_IMAGE035
将
Figure 296991DEST_PATH_IMAGE036
与
Figure DEST_PATH_IMAGE037
并行，再使用一个卷积核
Figure 831878DEST_PATH_IMAGE038
进行映射操作，对二者进行第一次融合，融合后的特征作为参考特征：
Figure DEST_PATH_IMAGE039
Figure 210906DEST_PATH_IMAGE040
为沿通道方向的拼接操作；
利用
Figure DEST_PATH_IMAGE041
和
Figure 464033DEST_PATH_IMAGE042
进行点积操作，生成交叉注意力机制的信息相关矩阵A：
Figure DEST_PATH_IMAGE043
其中，
Figure 953920DEST_PATH_IMAGE044
是三个卷积用于给与各个特征自适应的权重；
Figure DEST_PATH_IMAGE045
为sigmoid函数；D为特征
Figure 343313DEST_PATH_IMAGE046
的通道数量；
信息相关矩阵A与v进行点积操作，完成第二次融合，并用残差操作将
Figure DEST_PATH_IMAGE047
的信息融合到
Figure 689981DEST_PATH_IMAGE048
：
Figure DEST_PATH_IMAGE049
其中，
Figure 368087DEST_PATH_IMAGE050
为线性映射函数。
9.根据权利要求5所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（3）中，二维精分割模型将分割层和参考层作为输入，分割层的预测结果作为输出，采用损失函数Dice Loss进行负反馈学习：
Figure DEST_PATH_IMAGE051
其中，
Figure 723982DEST_PATH_IMAGE052
是输入2D图像中的像素点个数，
Figure DEST_PATH_IMAGE053
表示切分后第
Figure 967882DEST_PATH_IMAGE054
层的2D图像的标签，
Figure DEST_PATH_IMAGE055
为分割层的预测结果，
Figure 423134DEST_PATH_IMAGE056
和
Figure DEST_PATH_IMAGE057
分别是像素点h的真实标签和预测标签。
10.一种基于强化学习和注意力的胰腺肿瘤图像分割系统，其特征在于，该系统包括胰腺肿瘤分割训练集构建模块、三维粗分割模型模块、强化学习网络模块和二维精分割模型模块；
所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
所述三维粗分割模型模块用于获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着轴z切分为2D图像；
所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个参考层；
所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并选择一个分割层，二维精分割模型模块包括两个交叉注意力特征融合子模块，分别对应两个参考层，所述两个交叉注意力特征融合子模块分别与分割层进行信息的交互，将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，得到胰腺肿瘤的分割结果。
CN202210543491.9A 2022-05-19 2022-05-19 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 Active CN114663431B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210543491.9A CN114663431B (zh) 2022-05-19 2022-05-19 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
PCT/CN2023/094394 WO2023221954A1 (zh) 2022-05-19 2023-05-16 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210543491.9A CN114663431B (zh) 2022-05-19 2022-05-19 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN114663431A CN114663431A (zh) 2022-06-24
CN114663431B true CN114663431B (zh) 2022-08-30

Family

ID=82037025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210543491.9A Active CN114663431B (zh) 2022-05-19 2022-05-19 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Country Status (2)

Country Link
CN (1) CN114663431B (zh)
WO (1) WO2023221954A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114663431B (zh) * 2022-05-19 2022-08-30 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN115359881B (zh) * 2022-10-19 2023-04-07 成都理工大学 一种基于深度学习的鼻咽癌肿瘤自动勾画方法
CN116189166A (zh) * 2023-02-07 2023-05-30 台州勃美科技有限公司 一种仪表读数方法、装置及机器人
CN116109605B (zh) * 2023-02-13 2024-04-02 北京医智影科技有限公司 医学影像肿瘤分割系统、训练集构建方法和模型训练方法
CN116309385B (zh) * 2023-02-27 2023-10-10 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN115954106B (zh) * 2023-03-15 2023-05-12 吉林华瑞基因科技有限公司 基于计算机辅助模拟的肿瘤模型优化系统
CN116468741B (zh) * 2023-06-09 2023-09-22 南京航空航天大学 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法
CN117291913B (zh) * 2023-11-24 2024-04-16 长江勘测规划设计研究有限责任公司 一种水工混凝土结构表观裂缝测量方法
CN117393043B (zh) * 2023-12-11 2024-02-13 浙江大学 一种甲状腺乳头状瘤braf基因突变检测装置
CN117422715B (zh) * 2023-12-18 2024-03-12 华侨大学 一种基于全局信息的乳腺超声肿瘤病变区域检测方法
CN117455935B (zh) * 2023-12-22 2024-03-19 中国人民解放军总医院第一医学中心 基于腹部ct医学图像融合及器官分割方法及系统
CN117593292B (zh) * 2024-01-18 2024-04-05 江西师范大学 一种基于三维正交注意力的ct图像目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112201328A (zh) * 2020-10-09 2021-01-08 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
CN113221987A (zh) * 2021-04-30 2021-08-06 西北工业大学 一种基于交叉注意力机制的小样本目标检测方法
CN114119515A (zh) * 2021-11-14 2022-03-01 北京工业大学 一种基于注意力机制和mri多模态融合的脑肿瘤检测方法
CN114219943A (zh) * 2021-11-24 2022-03-22 华南理工大学 一种基于深度学习的ct图像危及器官分割系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047082B (zh) * 2019-03-27 2023-05-16 深圳大学 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
CN111091575B (zh) * 2019-12-31 2022-10-18 电子科技大学 一种基于强化学习方法的医学图像分割方法
CN111415342B (zh) * 2020-03-18 2023-12-26 北京工业大学 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
US11526698B2 (en) * 2020-06-05 2022-12-13 Adobe Inc. Unified referring video object segmentation network
CA3194826A1 (en) * 2020-10-05 2022-04-14 Joseph N. STEMBER Reinforcement learning to perform localization, segmentation, and classification on biomedical images
CN114494289A (zh) * 2022-01-13 2022-05-13 同济大学 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法
CN114663431B (zh) * 2022-05-19 2022-08-30 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112201328A (zh) * 2020-10-09 2021-01-08 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
CN113221987A (zh) * 2021-04-30 2021-08-06 西北工业大学 一种基于交叉注意力机制的小样本目标检测方法
CN114119515A (zh) * 2021-11-14 2022-03-01 北京工业大学 一种基于注意力机制和mri多模态融合的脑肿瘤检测方法
CN114219943A (zh) * 2021-11-24 2022-03-22 华南理工大学 一种基于深度学习的ct图像危及器官分割系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Attention-Guided Version of 2D UNet for Automatic Brain Tumor Segmentation;Mehrdad Noori et al;《2019 9th International Conference on Computer and Knowledge Engineering (ICCKE)》;20200123;全文 *
CT 图像肺及肺病变区域分割方法综述;冯龙锋等;《中国图象图形学报》;20220331;全文 *
HAUNet-3D: a Novel Hierarchical Attention 3D UNet for Lung Nodule Segmentation;Fu Zhou et al;《2021 IEEE International Conference on Bioinformatics and Biomedicine (BIBM)》;20220114;全文 *
基于区域层次相似度的图像目标分割算法研究;何洪涛;《中国优秀硕士学位论文全文数据库》;20210715;全文 *

Also Published As

Publication number Publication date
CN114663431A (zh) 2022-06-24
WO2023221954A1 (zh) 2023-11-23

Similar Documents

Publication Publication Date Title
CN114663431B (zh) 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
CN109035197B (zh) 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN111445481A (zh) 一种基于尺度融合的腹部ct多器官的分割方法
CN110675406A (zh) 基于残差双注意力深度网络的ct图像肾脏分割算法
WO2023071531A1 (zh) 一种基于深度形状学习的肝脏ct自动分割方法
CN111640120B (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN114240962B (zh) 一种基于深度学习的ct图像肝脏肿瘤区域自动分割方法
CN109493346A (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN109872325B (zh) 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法
JP2023544466A (ja) Ｐｅｔ／ｃｔに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN112465754B (zh) 基于分层感知融合的3d医疗图像分割方法、装置及存储介质
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN115131369A (zh) 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法
CN112750137A (zh) 基于深度学习的肝脏肿瘤分割方法及系统
CN114066883A (zh) 一种基于特征选择与残差融合的肝肿瘤分割方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN117197454A (zh) 一种肝脏及肝肿瘤数据分割方法及系统
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN115841457A (zh) 一种融合多视图信息的三维医学图像分割方法
CN115527204A (zh) 一种框架辅助肝癌组织全幻灯片的肿瘤微环境分析方法
CN115775252A (zh) 一种基于全局局部级联的磁共振影像宫颈癌肿瘤分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant