CN114663431A - 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 - Google Patents

基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 Download PDF

Info

Publication number
CN114663431A
CN114663431A CN202210543491.9A CN202210543491A CN114663431A CN 114663431 A CN114663431 A CN 114663431A CN 202210543491 A CN202210543491 A CN 202210543491A CN 114663431 A CN114663431 A CN 114663431A
Authority
CN
China
Prior art keywords
segmentation
image
layer
dimensional
reinforcement learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210543491.9A
Other languages
English (en)
Other versions
CN114663431B (zh
Inventor
李劲松
董凯奇
田雨
周天舒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202210543491.9A priority Critical patent/CN114663431B/zh
Publication of CN114663431A publication Critical patent/CN114663431A/zh
Application granted granted Critical
Publication of CN114663431B publication Critical patent/CN114663431B/zh
Priority to PCT/CN2023/094394 priority patent/WO2023221954A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统，利用三维粗分割模型提取ROI区域，并将ROI区域图像和原始图像沿着z轴切分为2D图像，利用强化学习网络从切分后的ROI区域图像中选取两个参考层，在切分后的原始图像中选择一个分割层，共同输入到带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互，得到胰腺肿瘤的分割结果；本发明利用交叉注意力机制学习不相邻2D图像的相关信息，既避免了2D神经网络无法利用层间信息来准确定位肿瘤的局限性，又避免了3D神经网络因为3D数据信息的冗余和干扰造成的肿瘤分割不准确问题。

Description

基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
技术领域
本发明涉及图像分割领域，尤其涉及一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统。
背景技术
胰腺癌确诊后的五年生存率约10%，是预后最差的恶性肿瘤之一。计算机断层扫描(Computed Tomography，CT) 已广泛应用于癌症的研究、预防、诊断和治疗中，是目前胰腺癌诊断和治疗的主要影像诊断依据。胰腺肿瘤的全自动分割技术可以实现大规模临床CT图像处理，提高病人诊治水平、加快相关临床研究，对家庭、社会和国民经济有重要意义。
胰腺和胰腺肿瘤在CT图像中的自动分割面临着巨大挑战，一方面，胰腺肿瘤与胰腺，以及腹部周围其他器官在CT影像中差异较小，难有明确的界限。另一方面，胰腺肿瘤的形状、大小、位置并不固定，有较高的复杂性。并且，胰腺属于腹部小器官，而胰腺肿瘤更小，通过传统方法以及一般的神经网络方法并不能够准确的对目标区域进行定位。现有的胰腺肿瘤分割还是主要依靠医生进行手动标注，标注过程枯燥低效，更重要的是胰腺标注经常需要医生丰富的经验，对于医生而言，标注工作是一个不小的挑战。
对于CT胰腺肿瘤的分割算法开发难点，主要在以下几个方面：
1. 随着卷积神经网络的在图像处理上的广泛应用，卷积神经网络也被广泛用于医学图像分割。当前主流的针对三维图像的分割方法，是利用一层或多层CT图像作为输入，通过一个复杂的卷积神经网络，输出对胰腺区域的预测，来实现分割。通过学习预测的错误，来提高分割的准确率。尽管取得了一定的成果，但是神经网络模型是独立地对这些二维图像进行分割，忽略了这些二维图像之间的内在联系，从而导致分割精度不够。
2. 直接用三维神经网络进行分割时虽然，相邻层之间的信息虽然更容易利用，但是三维神经网络把所有的切片看做同等重要，在分割时会引入大量的无效信息和干扰信息。另外，由于卷积神经核的视野范围小，不相邻层的切片间的信息很难被有效的利用。
现有的医学图像分割方法在进行采用级联的方法进行分割，既先用一个网络进行粗分割得到目标区域的感兴趣区域ROI（region of interest），然后再用一个精分割网络进行分割。精分割网络往往会将粗分割网络产生的概率图作为输入，精分割网络只负责对粗分割的结果进行优化。但是这样的方法会使得精分割网络无法利用ROI之外的信息，会放大粗分割网络预测错误的地方，引入大量的假阴性。对于胰腺肿瘤这种小目标来说，级联方法造成的假阴性问题会更为突出。
发明内容
本发明目的在于针对现有技术的不足，提出一种基于强化学习和注意力的胰腺肿瘤图像分割方法及系统，针对现有二维卷积神经网络胰腺肿瘤CT无法利用层间信息，而三维卷积神经网络会学习到层间错误的位置和形状信息的问题，临床医生在标注时，往往会依据某几张关键切片判断胰腺和肿瘤的大概形状和位置，并依靠几张关键的切片进行其他层的分割，这种方法高效且准确。针对二维和三维网络中存在的问题，本发明提出一种利用强化学习方法模拟临床医生在标注肿瘤过程中的行为模式，将一个CT影像序列的注意力集中在几张关键CT层上。其次，为了避免级联网络造成的假阴性问题，利用层间注意力机制进行层间信息的流动，来实现胰腺肿瘤的准确分割。
本发明的目的是通过以下技术方案来实现的：一方面，本发明提供了一种基于强化学习和注意力的胰腺肿瘤图像分割方法，该方法包括以下步骤：
（1）采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
（2）构建用于胰腺CT粗分割的三维粗分割模型，获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；
（3）构建带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互；
（3.1）将训练集的数据和标签按照和步骤（2）中ROI区域的图像同样的方式沿着z轴切分为2D图像，随机选取步骤（2）中切分后的两个2D图像作为参考层，训练集数据切分后的2D图像作为分割层；利用强化学习网络选取胰腺肿瘤的参考层；
（3.2）每个参考层对应一个交叉注意力特征融合模块，分别与分割层进行信息的交互，交叉注意力特征融合模块将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，作为分割结果；
（4）给定一个待分割的胰腺肿瘤图像并进行预处理后，输入到三维粗分割模型中获取ROI区域并进行切分，利用强化学习网络选取参考层，将待分割的胰腺肿瘤图像切分后选择一个分割层，将分割层和参考层输入到二维精分割模型进行分割，得到肿瘤的分割结果。
进一步地，步骤（1）中，预处理过程具体为：将训练集中所有数据的体素空间距离space调整到1mm；将图像的HU值截断到-100至240之间，然后归一化到0到1之间。
进一步地，步骤（2）中，三维粗分割模型由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一个下采样层；解码部分包括四个解码块，每个解码块前面连接一个上采样层；每个编码块和解码块均由数目不等的卷积-激活层组成。
进一步地，步骤（2）中，将ROI区域图像记为
Figure 335847DEST_PATH_IMAGE001
，对应训练集中第n个胰腺癌患者胰 腺CT图像；将
Figure 159447DEST_PATH_IMAGE001
沿着z轴切分为2D图像，于是
Figure 547703DEST_PATH_IMAGE002
，
Figure 773148DEST_PATH_IMAGE003
表示切分后第k 层的2D图像，截断后CT图像的标签记为
Figure 955867DEST_PATH_IMAGE004
，对应训练集中第n个胰腺癌患者胰腺CT图像的标 签，同样沿着z轴切分为2D图像，于是
Figure 532342DEST_PATH_IMAGE005
，
Figure 694596DEST_PATH_IMAGE006
表示对应第k层的2D 图像标签，其中
Figure 774547DEST_PATH_IMAGE007
为截断后的最小层号，
Figure 393747DEST_PATH_IMAGE008
为截断后的最大层号。
进一步地，步骤（2）中，三维粗分割模型采用的损失函数为交叉熵损失函数
Figure 191939DEST_PATH_IMAGE009
：
Figure 921998DEST_PATH_IMAGE010
其中，
Figure 122035DEST_PATH_IMAGE011
代表网络输出的预测粗分割结果，
Figure 646557DEST_PATH_IMAGE012
为CT图像胰腺肿瘤分割标签，m是输 入图像中的像素点个数，
Figure 932045DEST_PATH_IMAGE013
和
Figure 692891DEST_PATH_IMAGE014
分别是像素点j的真实标签和预测标签，
Figure 747435DEST_PATH_IMAGE015
分别 代表背景，胰腺或胰腺肿瘤；函数I(·)是示性函数，函数log为对数函数，p(·)为模型预测 的概率函数。
进一步地，步骤（3.1）中，强化学习网络的环境为从原始CT图像获取的ROI区域，状态为沿z轴随机选取的两层切片，动作为每次迭代代理在上次选择的参考层沿z轴进行前后移动，每个参考层对应一个代理，动作价值函数为二维精分割模型预测结果与真实标签的损失函数，并通过启发函数计算当前状态下的下一步动作的最大奖励值；在迭代过程中，利用负反馈的方法对强化学习网络进行训练。
进一步地，强化学习网络训练后，固定强化学习网络的参数，利用强化学习网络筛选参考层将参考层与分割层输入到二维精分割模型完成二维精分割模型训练。
进一步地，步骤（3.2）中，将两个参考层分别记为
Figure 708437DEST_PATH_IMAGE016
和
Figure 215642DEST_PATH_IMAGE017
，将分割层记为
Figure 287503DEST_PATH_IMAGE018
，
Figure 462133DEST_PATH_IMAGE019
切分后第
Figure 328457DEST_PATH_IMAGE020
层的2D图像，对于参考层
Figure 588538DEST_PATH_IMAGE021
和分割层
Figure 699975DEST_PATH_IMAGE022
的交互过程以及参考 层
Figure 729111DEST_PATH_IMAGE023
和分割层
Figure 766337DEST_PATH_IMAGE024
的交互过程一致；对于参考层
Figure 513713DEST_PATH_IMAGE025
和分割层
Figure 927377DEST_PATH_IMAGE026
而言，交叉注意 力特征融合模块的实现如下：
将参考层
Figure 811020DEST_PATH_IMAGE027
和分割层
Figure 284726DEST_PATH_IMAGE028
经过下采样和多次卷积操作后分别得到高维度 特征
Figure 253819DEST_PATH_IMAGE029
和
Figure 500868DEST_PATH_IMAGE030
；
Figure 504596DEST_PATH_IMAGE031
和
Figure 883624DEST_PATH_IMAGE032
作为交叉注意力特征融合模块的输入；
交叉注意力特征融合模块首先利用两个线性映射函数
Figure 543276DEST_PATH_IMAGE033
和
Figure 298742DEST_PATH_IMAGE034
，将输入特征由 三维转为一维，并将一维特征进行维度变换，使相关特征的维度保持一致；通过
Figure 156977DEST_PATH_IMAGE033
对特征
Figure 769224DEST_PATH_IMAGE031
和
Figure 214374DEST_PATH_IMAGE035
进行映射操作，使得特征的维度统一：
Figure 507952DEST_PATH_IMAGE036
将
Figure 220693DEST_PATH_IMAGE037
与
Figure 207104DEST_PATH_IMAGE038
并行，再使用一个卷积核
Figure 372506DEST_PATH_IMAGE039
进行映射操作，对二者进行第一次 融合，融合后的特征作为参考特征：
Figure 469775DEST_PATH_IMAGE040
Figure 37022DEST_PATH_IMAGE041
为沿通道方向的拼接操作；
利用
Figure 194334DEST_PATH_IMAGE042
和
Figure 617006DEST_PATH_IMAGE043
进行点积操作，生成交叉注意力机制的信息相关矩阵A：
Figure 252387DEST_PATH_IMAGE044
其中，
Figure 736458DEST_PATH_IMAGE045
是三个卷积用于给与各个特征自适应的权重；
Figure 267933DEST_PATH_IMAGE046
为 sigmoid函数；D为特征
Figure 407928DEST_PATH_IMAGE047
的通道数量；
信息相关矩阵A与v进行点积操作，完成第二次融合，并用残差操作将
Figure 112578DEST_PATH_IMAGE048
的信息 融合到
Figure 654418DEST_PATH_IMAGE049
：
Figure 153533DEST_PATH_IMAGE050
其中，
Figure 79026DEST_PATH_IMAGE051
为线性映射函数。
进一步地，步骤（3）中，二维精分割模型将分割层和参考层作为输入，分割层的预测结果作为输出，采用损失函数Dice Loss进行负反馈学习：
Figure 56209DEST_PATH_IMAGE052
其中，
Figure 718134DEST_PATH_IMAGE053
是输入2D图像中的像素点个数，
Figure 388150DEST_PATH_IMAGE054
表示切分后第
Figure 502737DEST_PATH_IMAGE055
层的2D图像的标 签，
Figure 283611DEST_PATH_IMAGE056
为分割层的预测结果，
Figure 800043DEST_PATH_IMAGE057
和
Figure 139495DEST_PATH_IMAGE058
分别是像素点h的真实标签和预测标签。
另一方面，本发明还提供了一种基于强化学习和注意力的胰腺肿瘤图像分割系统，该系统包括胰腺肿瘤分割训练集构建模块、三维粗分割模型模块、强化学习网络模块和二维精分割模型模块；
所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
所述三维粗分割模型模块用于获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；
所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个参考层；
所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并选择一个分割层，二维精分割模型模块包括两个交叉注意力特征融合子模块，分别对应两个参考层，所述两个交叉注意力特征融合子模块分别与分割层进行信息的交互，将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，得到肿瘤的分割结果。
本发明的有益效果：
1. 利用强化学习网络从三维图像中选取两层2D图像作为参考层，不涉及层间信息的传递，为二维神经分割网络的分割提供一个可以参考的分割样例。
2. 利用交叉注意力机制学习不相邻2D图像的相关信息，既避免了2D神经网络无法利用层间信息来准确定位肿瘤的局限性，又避免了3D神经网络因为3D数据信息的冗余和干扰造成的肿瘤分割不准确问题。
3. 使用全自动化分割方法模拟临床医生的分割流程，训练和验证过程都不需要医生的介入。
附图说明
图1为本发明提供的一种基于强化学习和注意力的胰腺肿瘤图像分割方法流程图。
图2为本发明的交叉注意力特征融合模块示意图。
图3为本发明的粗分割模型3D UNet结构示意图。
图4为本发明的精分割模型2D UNet结构示意图。
图5为本发明的强化学习训练流程图。
图6为本发明提供的一种基于强化学习和注意力的胰腺肿瘤图像分割系统示意图。
具体实施方式
以下结合附图对本发明具体实施方式作进一步详细说明。
如图1所示，本发明提供的一种基于强化学习和注意力的胰腺肿瘤分割方法，实现步骤如下：
(1) 胰腺肿瘤分割数据集建立和预处理
(1.1) 收集CT体数据，并做出这些数据的肝脏标准分割结果；采集胰腺癌患者胰 腺CT图像，记为
Figure 741378DEST_PATH_IMAGE059
。勾画CT图像胰腺肿瘤分割的标签，记为
Figure 325943DEST_PATH_IMAGE060
，
Figure 696881DEST_PATH_IMAGE061
， 其中|X|代表X中所有体素个数，
Figure 708700DEST_PATH_IMAGE062
表示X 中的第j个体素，K表示z轴的层数，
Figure 532299DEST_PATH_IMAGE063
表示自然数集合，
Figure 920555DEST_PATH_IMAGE064
分别代表 体素j属于背景，胰腺或胰腺肿瘤。记胰腺肿瘤分割数据集为
Figure 146000DEST_PATH_IMAGE065
，其 中N为CT图像个数，
Figure 830185DEST_PATH_IMAGE066
为S中第r个胰腺癌患者胰腺CT图像，
Figure 406659DEST_PATH_IMAGE067
为对应的CT图像胰腺肿瘤分 割标签。将分割数据集划分为训练集
Figure 333027DEST_PATH_IMAGE068
和测试集
Figure 412979DEST_PATH_IMAGE069
，其中
Figure 32179DEST_PATH_IMAGE070
为训练集个数，
Figure 830370DEST_PATH_IMAGE071
为测试集个数，
Figure 294850DEST_PATH_IMAGE072
为
Figure 494887DEST_PATH_IMAGE073
中第n个胰腺癌患者胰腺CT图像，
Figure 535523DEST_PATH_IMAGE074
为对应的CT图像胰腺 肿瘤分割标签，
Figure 555431DEST_PATH_IMAGE075
为
Figure 354760DEST_PATH_IMAGE076
中第
Figure 409304DEST_PATH_IMAGE077
个胰腺癌患者胰腺CT图像，
Figure 104727DEST_PATH_IMAGE078
为对应的CT图像胰腺肿 瘤分割标签。
(1.2) 将所有数据的x，y，z轴的体素空间距离space调整到1mm。将图像的HU值截断在[-100，240]之间，然后归一化到[0，1]之间。所述HU值即CT值，是测定人体某一局部组织或器官密度大小的一种计量单位，通常称亨氏单位(hounsfield unit，HU)，空气为-1000，致密骨为+1000。
(2) 利用3D UNet网络构建用于胰腺CT粗分割的三维粗分割模型
Figure 877511DEST_PATH_IMAGE079
，并进行训 练。
(2.1) 如图3所示，构建用于胰腺CT粗分割的3D UNet网络，记为三维粗分割模型
Figure 683793DEST_PATH_IMAGE080
，该模型由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接 一个下采样层。解码部分包括四个解码块，每个解码块前面连接一个上采样层。每个编码块 和解码块均由数目不等的卷积-激活层组成。利用训练集样本训练该网络，采用的损失函数 为交叉熵损失函数
Figure 592843DEST_PATH_IMAGE081
：
Figure 226212DEST_PATH_IMAGE082
其中，
Figure 486292DEST_PATH_IMAGE083
代表网络输出的预测粗分割结果，m是输入图像中的像素点个数，
Figure 361844DEST_PATH_IMAGE084
和
Figure 390980DEST_PATH_IMAGE085
分别是像素点j的真实标签和预测标签，
Figure 162627DEST_PATH_IMAGE086
分别代表背景，胰腺或胰腺肿瘤；函数I (·)是示性函数，函数log为对数函数，p(·)为网络预测的概率函数。
(2.2)通过
Figure 910003DEST_PATH_IMAGE087
模型获取胰腺ROI（region of interest）区域。
通过模型
Figure 589246DEST_PATH_IMAGE087
获得训练集
Figure 472889DEST_PATH_IMAGE088
中3D CT图像
Figure 913972DEST_PATH_IMAGE089
的预测概率图
Figure 883065DEST_PATH_IMAGE090
，根据条件
Figure 100420DEST_PATH_IMAGE091
，在3D CT图像
Figure 838569DEST_PATH_IMAGE092
上对数据进行截断，生成一个长方体的矩形框，截断后CT图像记为获取的 3D ROI区域
Figure 483177DEST_PATH_IMAGE093
，将
Figure 939566DEST_PATH_IMAGE094
沿着z轴分为2D图像，于是
Figure 695032DEST_PATH_IMAGE095
，
Figure 553267DEST_PATH_IMAGE096
表示切 分后第k层的2D图像，截断后CT图像的标签记为
Figure 870241DEST_PATH_IMAGE097
，同样沿着z轴分为2D图像，于是
Figure 548347DEST_PATH_IMAGE098
，
Figure 107504DEST_PATH_IMAGE099
表示对应第k层的2D图像标签，其中
Figure 820245DEST_PATH_IMAGE100
为截断后的 最小层号，
Figure 806656DEST_PATH_IMAGE101
为截断后的最大层号。
(3) 利用带有交叉注意力特征融合模块的2D UNet网络构建二维精分割模型
Figure 237637DEST_PATH_IMAGE102
用于胰腺肿瘤分割（见图4），并进行预训练。
(3.1) 训练一个二维的精分割模型
Figure 334906DEST_PATH_IMAGE103
。该模型的主要作用是利用层间的交叉注意 力特征融合模块，使得分割特征可以在主要分割层和参考层中进行信息的交互。
将训练集数据
Figure 902154DEST_PATH_IMAGE104
和
Figure 360598DEST_PATH_IMAGE105
按照3D ROI区域
Figure 216558DEST_PATH_IMAGE106
同样的方法进行切片，于是
Figure 117518DEST_PATH_IMAGE107
，
Figure 601589DEST_PATH_IMAGE108
表示切分后第
Figure 929802DEST_PATH_IMAGE109
层的2D图像，
Figure 69797DEST_PATH_IMAGE110
，
Figure 712131DEST_PATH_IMAGE111
表示切分后第
Figure 253970DEST_PATH_IMAGE112
层的2D图像的标签。从将步骤(2)中获取的3D ROI区域
Figure 254550DEST_PATH_IMAGE113
中随机选 取两个切片2D图像，第a层
Figure 678578DEST_PATH_IMAGE114
和第b层
Figure 921340DEST_PATH_IMAGE115
，其中
Figure 583266DEST_PATH_IMAGE116
。利用
Figure 253281DEST_PATH_IMAGE117
和
Figure 102289DEST_PATH_IMAGE118
作为参考层，对训练集数据
Figure 148742DEST_PATH_IMAGE119
第c层进行分割。
(3.2) 交叉注意力特征融合模块的实现。在模型中，本发明设计了两个基于交叉 注意力机制的层间信息交互模块使得层间信息可以在参考层和分割层中进行交互，其中两 个交叉注意力特征融合模块完全一致。对于参考层
Figure 163709DEST_PATH_IMAGE120
和分割层
Figure 4626DEST_PATH_IMAGE121
而言，交叉注意力 特征融合模块（见图2）的实现如下，对于参考层
Figure 340930DEST_PATH_IMAGE122
和分割层
Figure 925495DEST_PATH_IMAGE123
的交互过程以及参 考层
Figure 30854DEST_PATH_IMAGE124
和分割层
Figure 42673DEST_PATH_IMAGE125
的交互过程一致：
将参考层
Figure 131851DEST_PATH_IMAGE126
和分割层
Figure 520107DEST_PATH_IMAGE127
经过下采样和多次卷积操作后分别得到高维度特 征
Figure 247017DEST_PATH_IMAGE128
和
Figure 429737DEST_PATH_IMAGE129
。
Figure 740632DEST_PATH_IMAGE130
和
Figure 463738DEST_PATH_IMAGE131
作为交叉注意力特征融合模块的输入。
交叉注意力特征融合模块首先利用两个线性映射函数
Figure 809268DEST_PATH_IMAGE132
和
Figure 162889DEST_PATH_IMAGE133
，将输入特征由 三维转为一维，并将一维特征进行维度变换，使相关特征的维度保持一致。通过
Figure 961081DEST_PATH_IMAGE132
对特征
Figure 918236DEST_PATH_IMAGE134
和
Figure 383853DEST_PATH_IMAGE135
进行映射操作，使得特征的维度统一：
Figure 908375DEST_PATH_IMAGE136
将
Figure 193863DEST_PATH_IMAGE137
与
Figure 727612DEST_PATH_IMAGE138
并行，再使用一个卷积核
Figure 782156DEST_PATH_IMAGE139
进行映射操作，对二者进行第一次 融合，融合后的特征作为参考特征：
Figure 212000DEST_PATH_IMAGE140
Figure 984784DEST_PATH_IMAGE141
为沿通道方向的拼接操作。
利用
Figure 558110DEST_PATH_IMAGE142
和
Figure 467160DEST_PATH_IMAGE143
进行点积操作，生成交叉注意力机制的信息相关矩阵A：
Figure 599064DEST_PATH_IMAGE144
其中，
Figure 390303DEST_PATH_IMAGE145
是三个卷积用于给与各个特征自适应的权重。
Figure 265855DEST_PATH_IMAGE146
为 sigmoid函数。D为特征
Figure 29412DEST_PATH_IMAGE147
的通道数量。
相关矩阵A与v进行点积操作，完成第二次融合，并用残差操作将
Figure 332217DEST_PATH_IMAGE148
的信息融合 到
Figure 312549DEST_PATH_IMAGE149
：
Figure 726213DEST_PATH_IMAGE150
其中，
Figure 344276DEST_PATH_IMAGE151
为线性映射函数。
(3.3) 二维精分割模型
Figure 83562DEST_PATH_IMAGE152
的预训练。将
Figure 52655DEST_PATH_IMAGE153
，
Figure 270010DEST_PATH_IMAGE154
以及
Figure 8159DEST_PATH_IMAGE155
作为输入，
Figure 387187DEST_PATH_IMAGE156
的 预测结果
Figure 345041DEST_PATH_IMAGE157
为输出，Dice Loss为损失函数进行负反馈学习，训练二维精分割模型
Figure 100508DEST_PATH_IMAGE152
。
其中Dice Loss的定义为：
Figure 958742DEST_PATH_IMAGE158
其中，
Figure 508672DEST_PATH_IMAGE159
是输入2D图像中的像素点个数，
Figure 452358DEST_PATH_IMAGE160
和
Figure 11515DEST_PATH_IMAGE161
分别是像素点h的真实标签和预 测标签。
(4) 强化学习网络训练。
(4.1) 利用强化学习网络Q选取胰腺肿瘤分割层。
强化学习网络由一个3D ResNet网络构成，其输出为一个向量，映射到代理的动作空间。整个强化学习框架可以分为以下几个部分：环境（Environment），代理（Agents），状态（States），行动（Action），启发函数（Reword）以及损失函数。本发明就每个部分的含义及强化学习的过程进行说明:
环境
Figure 724256DEST_PATH_IMAGE162
：从原始CT图像获取的ROI区域
Figure 710667DEST_PATH_IMAGE163
作为整个强化学习的环境。
代理
Figure 177201DEST_PATH_IMAGE164
：为了选取参考层第a层
Figure 477732DEST_PATH_IMAGE165
和第b层
Figure 107297DEST_PATH_IMAGE166
，本发明设置两个代理
Figure 467871DEST_PATH_IMAGE167
和
Figure 917307DEST_PATH_IMAGE168
。
状态：
Figure 818267DEST_PATH_IMAGE169
定义在迭代次数t从
Figure 505600DEST_PATH_IMAGE170
中被强化学习网络选择的两个参考层第a层和 第b层，其初始状态为从
Figure 335278DEST_PATH_IMAGE170
中沿z轴随机选取的两层切片。
行动
Figure 475272DEST_PATH_IMAGE171
的行动策略函数为
Figure 914344DEST_PATH_IMAGE172
，这里本发明选择贪婪 策略，对动作空间中所有的动作进行遍历，
Figure 456184DEST_PATH_IMAGE173
和
Figure 955298DEST_PATH_IMAGE174
分别是状态和当前代理的动作。
Figure 582588DEST_PATH_IMAGE175
是代理
Figure 825351DEST_PATH_IMAGE176
和
Figure 221697DEST_PATH_IMAGE177
的动作空间具体为{-3，-2，-1，0，1，2，3，Stop }，每个 动作表示每次迭代
Figure 390248DEST_PATH_IMAGE176
和
Figure 504835DEST_PATH_IMAGE177
在上次选择的参考层沿z轴进行前后移动。最后的Stop 操作表示Q选择终止，表示
Figure 285709DEST_PATH_IMAGE178
和
Figure 536562DEST_PATH_IMAGE177
找不到可以再提升的参考层。
动作价值函数：本发明用一个CT图像
Figure 377479DEST_PATH_IMAGE179
的所有2D体数据层在二维精分割模型
Figure 776099DEST_PATH_IMAGE180
的预测结果的集合
Figure 360664DEST_PATH_IMAGE181
与真实的标签Y的Dice loss来表示：
Figure 233067DEST_PATH_IMAGE182
启发函数：启发函数用于计算当前状态下的下一步动作的最大奖励值：
Figure 244886DEST_PATH_IMAGE183
其中，
Figure 334065DEST_PATH_IMAGE184
是衰减系数，动作越多，受益越小。
损失函数：在迭代过程中，利用负反馈的方法对强化学习网络进行训练，使得代理
Figure 456741DEST_PATH_IMAGE176
和
Figure 416607DEST_PATH_IMAGE185
可以快速准确地找到最合适的参考层。第t次迭代的损失函数可以表示 为：
Figure 864906DEST_PATH_IMAGE186
强化学习网络的训练步骤说明(见图5)：
在一次迭代t中，强化学习网络使得代理
Figure 175802DEST_PATH_IMAGE178
和
Figure 367748DEST_PATH_IMAGE187
从环境
Figure 963813DEST_PATH_IMAGE188
中选取两个参考层 第a层
Figure 583013DEST_PATH_IMAGE189
和第b层
Figure 115626DEST_PATH_IMAGE190
记为状态
Figure 845685DEST_PATH_IMAGE191
。将
Figure 45722DEST_PATH_IMAGE192
输入到二维精分割模型
Figure 570244DEST_PATH_IMAGE193
中， 得到当前动作的价值函数
Figure 855732DEST_PATH_IMAGE194
。利用贪心算法，穷举求得当前最大奖励值
Figure 123902DEST_PATH_IMAGE195
，进而求得用于负反馈的损失函数
Figure 679911DEST_PATH_IMAGE196
，更新强化学习网络Q的权重。
(5) 固定强化学习网络，更新二维精分割模型
Figure 640913DEST_PATH_IMAGE197
模型权重。
强化学习网络训练后，固定强化学习网络的参数。利用强化学习网络筛选参考层 第a层
Figure 413697DEST_PATH_IMAGE198
和第b层
Figure 219979DEST_PATH_IMAGE199
，将参考层与分割层
Figure 394609DEST_PATH_IMAGE200
输入到模型
Figure 260934DEST_PATH_IMAGE197
中完成二维精分割模型 训练。
(6) 胰腺肿瘤的自动分割。
(6.1) 对给定的测试集中的测试图像，进行重采样和灰度值调整，并将图像的HU 值截断在[-100，240]之间，然后归一化到[0，1]。将处理后的测试图像输入到三维粗分割模 型
Figure 317751DEST_PATH_IMAGE201
中，得到胰腺和肿瘤的分割概率图
Figure 426259DEST_PATH_IMAGE202
。并根据
Figure 455395DEST_PATH_IMAGE203
获取ROI区域
Figure 758201DEST_PATH_IMAGE204
。
(6.2) 将ROI区域
Figure 443260DEST_PATH_IMAGE205
输入到强化学习网络Q，获取参考体数据层数参考层。
(6.3) 将测试图像沿体数据层逐层分为2D图像，选择一个分割层，将分割层和参 考层输入到
Figure 653661DEST_PATH_IMAGE197
进行分割，得到肿瘤的分割结果。
另一方面，如图6所示，本发明还提供了一种基于强化学习和注意力的胰腺肿瘤图像分割系统，该系统包括胰腺肿瘤分割训练集构建模块、三维粗分割模型模块、强化学习网络模块和二维精分割模型模块；
所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
所述三维粗分割模型模块用于获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；
所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个参考层；
所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并选择一个分割层，二维精分割模型模块包括两个交叉注意力特征融合子模块，分别对应两个参考层，所述两个交叉注意力特征融合子模块分别与分割层进行信息的交互，将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，得到胰腺肿瘤的分割结果。
以下为本发明的一个具体实施例
本实例使用公开数据集医学马拉松数据集（The Medical SegmentationDecathlon， MSD）胰腺肿瘤分割数据集的CT图像数据进行研究。MSD数据集共有281例胰腺肿瘤数据。
本发明将数据划分训练集224例，测试集57例。训练集的数据用于训练三维粗分割 模型
Figure 537304DEST_PATH_IMAGE206
，强化学习网络Q和二维精分割模型
Figure 11010DEST_PATH_IMAGE207
，测试集用于测试模型的性能。本发明采用 DSC系数，Jaccard系数，准确率Precision和召回率Recall来评估2D UNet，3D UNet网络。
另外，为了验证交叉注意力特征融合模块的有效性，本发明增加了一个去掉强化学习网络的仿真过程，从ROI中的随机选取参考层，与本发明进行比较，结果如表1所示。
表1. 基于强化学习与交叉注意力的分割方法与其他方法在胰腺肿瘤分割的对比结果
Figure 980103DEST_PATH_IMAGE208
由结果可知，基于强化学习与注意力的胰腺肿瘤图像分割方法相比于其他方法策略取得了最佳效果。相较于2D UNet网络和3DUNet网络，参考层和交叉注意力的引入可以增强2D网络对分割目标的识别和定位，同时避免3D网络引入过多的冗余信息，造成分割困难。另外，强化学习方法可以更好的减少错误伪标签在模型训练过程中的传播与累积（准确率提高8.67%）。相比其它方法，本发明在胰腺肿瘤分割上获得了最好的结果。
上述实施例用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (10)

1.一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，该方法包括以下步骤：
（1）采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
（2）构建用于胰腺CT粗分割的三维粗分割模型，获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着z轴切分为2D图像；
（3）构建带有交叉注意力特征融合模块的二维精分割模型，利用层间的交叉注意力特征融合模块，使得分割特征在分割层和参考层中进行信息的交互；
（3.1）将训练集的数据和标签按照和步骤（2）中ROI区域的图像同样的方式沿着z轴切分为2D图像，随机选取步骤（2）中切分后的两个2D图像作为参考层，训练集数据切分后的2D图像作为分割层；利用强化学习网络选取胰腺肿瘤的参考层；
（3.2）每个参考层对应一个交叉注意力特征融合模块，分别与分割层进行信息的交互，交叉注意力特征融合模块将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，作为分割结果；
（4）给定一个待分割的胰腺肿瘤图像并进行预处理后，输入到三维粗分割模型中获取ROI区域并进行切分，利用强化学习网络选取参考层，将待分割的胰腺肿瘤图像切分后选择一个分割层，将分割层和参考层输入到二维精分割模型进行分割，得到胰腺肿瘤的分割结果。
2.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（1）中，预处理过程具体为：将训练集中所有数据的体素空间距离space调整到1mm；将图像的HU值截断到-100至240之间，然后归一化到0到1之间。
3.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（2）中，三维粗分割模型由编码和解码两部分组成，编码部分包括四个编码块，每个编码块后面均连接一个下采样层；解码部分包括四个解码块，每个解码块前面连接一个上采样层；每个编码块和解码块均由数目不等的卷积-激活层组成。
4.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特 征在于，步骤（2）中，将ROI区域图像记为
Figure 79907DEST_PATH_IMAGE001
，对应训练集中第n个胰腺癌患者胰腺CT图像； 将
Figure 823478DEST_PATH_IMAGE001
沿着z轴切分为2D图像，于是
Figure 868795DEST_PATH_IMAGE002
，
Figure 795162DEST_PATH_IMAGE003
表示切分后第k层的2D图 像，截断后CT图像的标签记为
Figure 140693DEST_PATH_IMAGE004
，对应训练集中第n个胰腺癌患者胰腺CT图像的标签，同样 沿着z轴切分为2D图像，于是
Figure 291052DEST_PATH_IMAGE005
，
Figure 823664DEST_PATH_IMAGE006
表示对应第k层的2D图像标签，其 中
Figure 851925DEST_PATH_IMAGE007
为截断后的最小层号，
Figure 51963DEST_PATH_IMAGE008
为截断后的最大层号。
5.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特 征在于，步骤（2）中，三维粗分割模型采用的损失函数为交叉熵损失函数
Figure 107643DEST_PATH_IMAGE009
：
Figure 393131DEST_PATH_IMAGE010
其中，
Figure 661301DEST_PATH_IMAGE011
代表网络输出的预测粗分割结果，
Figure 450266DEST_PATH_IMAGE012
为CT图像胰腺肿瘤分割标签，m是输入图 像中的像素点个数，
Figure 700682DEST_PATH_IMAGE013
和
Figure 473466DEST_PATH_IMAGE014
分别是像素点j的真实标签和预测标签，
Figure 342065DEST_PATH_IMAGE015
分别代表 背景，胰腺或胰腺肿瘤；函数I(·)是示性函数，函数log为对数函数，p(·)为模型预测的概 率函数。
6.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（3.1）中，强化学习网络的环境为从原始CT图像获取的ROI区域，状态为沿z轴随机选取的两层切片，动作为每次迭代代理在上次选择的参考层沿z轴进行前后移动，每个参考层对应一个代理，动作价值函数为二维精分割模型预测结果与真实标签的损失函数，并通过启发函数计算当前状态下的下一步动作的最大奖励值；在迭代过程中，利用负反馈的方法对强化学习网络进行训练。
7.根据权利要求6所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，强化学习网络训练后，固定强化学习网络的参数，利用强化学习网络筛选参考层将参考层与分割层输入到二维精分割模型完成二维精分割模型训练。
8.根据权利要求4所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特 征在于，步骤（3.2）中，将两个参考层分别记为
Figure 251115DEST_PATH_IMAGE016
和
Figure 117440DEST_PATH_IMAGE017
，将分割层记为
Figure 878985DEST_PATH_IMAGE018
，
Figure 488958DEST_PATH_IMAGE019
切分 后第
Figure 314831DEST_PATH_IMAGE020
层的2D图像，对于参考层
Figure 617637DEST_PATH_IMAGE021
和分割层
Figure 99433DEST_PATH_IMAGE022
的交互过程以及参考层
Figure 513097DEST_PATH_IMAGE023
和分割层
Figure 396740DEST_PATH_IMAGE024
的交互过程一致；对于参考层
Figure 368981DEST_PATH_IMAGE025
和分割层
Figure 338075DEST_PATH_IMAGE026
而言，交叉注意力特征融合模块的 实现如下：
将参考层
Figure 289850DEST_PATH_IMAGE027
和分割层
Figure 293578DEST_PATH_IMAGE028
经过下采样和多次卷积操作后分别得到高维度特征
Figure 938186DEST_PATH_IMAGE029
和
Figure 394575DEST_PATH_IMAGE030
；
Figure 884462DEST_PATH_IMAGE031
和
Figure 477118DEST_PATH_IMAGE032
作为交叉注意力特征融合模块的输入；
交叉注意力特征融合模块首先利用两个线性映射函数
Figure 794092DEST_PATH_IMAGE033
和
Figure 737777DEST_PATH_IMAGE034
，将输入特征由三维 转为一维，并将一维特征进行维度变换，使相关特征的维度保持一致；通过
Figure 93672DEST_PATH_IMAGE033
对特征
Figure 9675DEST_PATH_IMAGE031
和
Figure 730507DEST_PATH_IMAGE035
进行映射操作，使得特征的维度统一：
Figure 161488DEST_PATH_IMAGE036
将
Figure 258757DEST_PATH_IMAGE037
与
Figure 392716DEST_PATH_IMAGE038
并行，再使用一个卷积核
Figure 284449DEST_PATH_IMAGE039
进行映射操作，对二者进行第一次融合， 融合后的特征作为参考特征：
Figure 202726DEST_PATH_IMAGE040
Figure 103686DEST_PATH_IMAGE041
为沿通道方向的拼接操作；
利用
Figure 525440DEST_PATH_IMAGE042
和
Figure 588074DEST_PATH_IMAGE043
进行点积操作，生成交叉注意力机制的信息相关矩阵A：
Figure 728068DEST_PATH_IMAGE044
其中，
Figure 432719DEST_PATH_IMAGE045
是三个卷积用于给与各个特征自适应的权重；
Figure 476024DEST_PATH_IMAGE046
为sigmoid 函数；D为特征
Figure 975138DEST_PATH_IMAGE047
的通道数量；
信息相关矩阵A与v进行点积操作，完成第二次融合，并用残差操作将
Figure 868008DEST_PATH_IMAGE048
的信息融合 到
Figure 845191DEST_PATH_IMAGE049
：
Figure 38275DEST_PATH_IMAGE050
其中，
Figure 911553DEST_PATH_IMAGE051
为线性映射函数。
9.根据权利要求5所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特征在于，步骤（3）中，二维精分割模型将分割层和参考层作为输入，分割层的预测结果作为输出，采用损失函数Dice Loss进行负反馈学习：
Figure 822877DEST_PATH_IMAGE052
其中，
Figure 807014DEST_PATH_IMAGE053
是输入2D图像中的像素点个数，
Figure 618719DEST_PATH_IMAGE054
表示切分后第
Figure 459636DEST_PATH_IMAGE055
层的2D图像的标签，
Figure 61518DEST_PATH_IMAGE056
为分割层的预测结果，
Figure 646084DEST_PATH_IMAGE057
和
Figure 17022DEST_PATH_IMAGE058
分别是像素点h的真实标签和预测标签。
10.一种基于强化学习和注意力的胰腺肿瘤图像分割系统，其特征在于，该系统包括胰腺肿瘤分割训练集构建模块、三维粗分割模型模块、强化学习网络模块和二维精分割模型模块；
所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并进行预处理，勾画CT图像胰腺肿瘤分割的标签，构建胰腺肿瘤分割训练集；
所述三维粗分割模型模块用于获取获取胰腺感兴趣ROI区域，并将ROI区域的图像及其标签沿着轴z切分为2D图像；
所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个参考层；
所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并选择一个分割层，二维精分割模型模块包括两个交叉注意力特征融合子模块，分别对应两个参考层，所述两个交叉注意力特征融合子模块分别与分割层进行信息的交互，将参考层和分割层的特征维度统一，然后进行拼接操作，进行第一次融合，第一次融合结果与特征维度统一后的分割层特征进行点积操作，生成交叉注意力机制的信息相关矩阵，然后再与特征维度统一后的分割层特征进行点积操作进行第二次融合，并用残差操作将第二次融合结果与原始分割层特征的信息进行融合，得到胰腺肿瘤的分割结果。
CN202210543491.9A 2022-05-19 2022-05-19 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 Active CN114663431B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210543491.9A CN114663431B (zh) 2022-05-19 2022-05-19 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
PCT/CN2023/094394 WO2023221954A1 (zh) 2022-05-19 2023-05-16 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210543491.9A CN114663431B (zh) 2022-05-19 2022-05-19 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Publications (2)

Publication Number Publication Date
CN114663431A true CN114663431A (zh) 2022-06-24
CN114663431B CN114663431B (zh) 2022-08-30

Family

ID=82037025

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210543491.9A Active CN114663431B (zh) 2022-05-19 2022-05-19 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Country Status (2)

Country Link
CN (1) CN114663431B (zh)
WO (1) WO2023221954A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115359881A (zh) * 2022-10-19 2022-11-18 成都理工大学 一种基于深度学习的鼻咽癌肿瘤自动勾画方法
CN115954106A (zh) * 2023-03-15 2023-04-11 吉林华瑞基因科技有限公司 基于计算机辅助模拟的肿瘤模型优化系统
CN116109605A (zh) * 2023-02-13 2023-05-12 北京医智影科技有限公司 医学影像肿瘤分割系统、训练集构建方法和模型训练方法
CN116189166A (zh) * 2023-02-07 2023-05-30 台州勃美科技有限公司 一种仪表读数方法、装置及机器人
CN116309385A (zh) * 2023-02-27 2023-06-23 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN116468741A (zh) * 2023-06-09 2023-07-21 南京航空航天大学 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法
WO2023221954A1 (zh) * 2022-05-19 2023-11-23 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117291913B (zh) * 2023-11-24 2024-04-16 长江勘测规划设计研究有限责任公司 一种水工混凝土结构表观裂缝测量方法
CN117393043B (zh) * 2023-12-11 2024-02-13 浙江大学 一种甲状腺乳头状瘤braf基因突变检测装置
CN117422715B (zh) * 2023-12-18 2024-03-12 华侨大学 一种基于全局信息的乳腺超声肿瘤病变区域检测方法
CN117455935B (zh) * 2023-12-22 2024-03-19 中国人民解放军总医院第一医学中心 基于腹部ct医学图像融合及器官分割方法及系统
CN117593292B (zh) * 2024-01-18 2024-04-05 江西师范大学 一种基于三维正交注意力的ct图像目标检测方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091575A (zh) * 2019-12-31 2020-05-01 电子科技大学 一种基于强化学习方法的医学图像分割方法
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN111415342A (zh) * 2020-03-18 2020-07-14 北京工业大学 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112201328A (zh) * 2020-10-09 2021-01-08 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
CN113221987A (zh) * 2021-04-30 2021-08-06 西北工业大学 一种基于交叉注意力机制的小样本目标检测方法
US20210383171A1 (en) * 2020-06-05 2021-12-09 Adobe Inc. Unified referring video object segmentation network
CN114119515A (zh) * 2021-11-14 2022-03-01 北京工业大学 一种基于注意力机制和mri多模态融合的脑肿瘤检测方法
CN114219943A (zh) * 2021-11-24 2022-03-22 华南理工大学 一种基于深度学习的ct图像危及器官分割系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110047082B (zh) * 2019-03-27 2023-05-16 深圳大学 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
AU2021358905A1 (en) * 2020-10-05 2023-05-18 Memorial Sloan Kettering Cancer Center Reinforcement learning to perform localization, segmentation, and classification on biomedical images
CN114494289A (zh) * 2022-01-13 2022-05-13 同济大学 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法
CN114663431B (zh) * 2022-05-19 2022-08-30 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020119679A1 (zh) * 2018-12-14 2020-06-18 深圳先进技术研究院 三维左心房分割方法、装置、终端设备及存储介质
CN111091575A (zh) * 2019-12-31 2020-05-01 电子科技大学 一种基于强化学习方法的医学图像分割方法
CN111415342A (zh) * 2020-03-18 2020-07-14 北京工业大学 一种融合注意力机制的三维卷积神经网络肺部结节图像自动检测方法
US20210383171A1 (en) * 2020-06-05 2021-12-09 Adobe Inc. Unified referring video object segmentation network
CN112116605A (zh) * 2020-09-29 2020-12-22 西北工业大学深圳研究院 一种基于集成深度卷积神经网络的胰腺ct图像分割方法
CN112201328A (zh) * 2020-10-09 2021-01-08 浙江德尚韵兴医疗科技有限公司 一种基于交叉注意力机制的乳腺肿块分割方法
CN113221987A (zh) * 2021-04-30 2021-08-06 西北工业大学 一种基于交叉注意力机制的小样本目标检测方法
CN114119515A (zh) * 2021-11-14 2022-03-01 北京工业大学 一种基于注意力机制和mri多模态融合的脑肿瘤检测方法
CN114219943A (zh) * 2021-11-24 2022-03-22 华南理工大学 一种基于深度学习的ct图像危及器官分割系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FU ZHOU ET AL: "HAUNet-3D: a Novel Hierarchical Attention 3D UNet for Lung Nodule Segmentation", 《2021 IEEE INTERNATIONAL CONFERENCE ON BIOINFORMATICS AND BIOMEDICINE (BIBM)》 *
MEHRDAD NOORI ET AL: "Attention-Guided Version of 2D UNet for Automatic Brain Tumor Segmentation", 《2019 9TH INTERNATIONAL CONFERENCE ON COMPUTER AND KNOWLEDGE ENGINEERING (ICCKE)》 *
何洪涛: "基于区域层次相似度的图像目标分割算法研究", 《中国优秀硕士学位论文全文数据库》 *
冯龙锋等: "CT 图像肺及肺病变区域分割方法综述", 《中国图象图形学报》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023221954A1 (zh) * 2022-05-19 2023-11-23 浙江大学 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN115359881A (zh) * 2022-10-19 2022-11-18 成都理工大学 一种基于深度学习的鼻咽癌肿瘤自动勾画方法
CN115359881B (zh) * 2022-10-19 2023-04-07 成都理工大学 一种基于深度学习的鼻咽癌肿瘤自动勾画方法
CN116189166A (zh) * 2023-02-07 2023-05-30 台州勃美科技有限公司 一种仪表读数方法、装置及机器人
CN116109605A (zh) * 2023-02-13 2023-05-12 北京医智影科技有限公司 医学影像肿瘤分割系统、训练集构建方法和模型训练方法
CN116109605B (zh) * 2023-02-13 2024-04-02 北京医智影科技有限公司 医学影像肿瘤分割系统、训练集构建方法和模型训练方法
CN116309385A (zh) * 2023-02-27 2023-06-23 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN116309385B (zh) * 2023-02-27 2023-10-10 之江实验室 基于弱监督学习的腹部脂肪与肌肉组织测量方法及系统
CN115954106A (zh) * 2023-03-15 2023-04-11 吉林华瑞基因科技有限公司 基于计算机辅助模拟的肿瘤模型优化系统
CN115954106B (zh) * 2023-03-15 2023-05-12 吉林华瑞基因科技有限公司 基于计算机辅助模拟的肿瘤模型优化系统
CN116468741A (zh) * 2023-06-09 2023-07-21 南京航空航天大学 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法
CN116468741B (zh) * 2023-06-09 2023-09-22 南京航空航天大学 基于3d物理空间域和螺旋分解空间域的胰腺癌分割方法

Also Published As

Publication number Publication date
WO2023221954A1 (zh) 2023-11-23
CN114663431B (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
CN114663431B (zh) 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
CN111445481A (zh) 一种基于尺度融合的腹部ct多器官的分割方法
CN109035197B (zh) 基于三维卷积神经网络的ct造影图像肾脏肿瘤分割方法及系统
CN113674281B (zh) 一种基于深度形状学习的肝脏ct自动分割方法
CN110675406A (zh) 基于残差双注意力深度网络的ct图像肾脏分割算法
CN110321920A (zh) 图像分类方法、装置、计算机可读存储介质和计算机设备
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN109493346A (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN109872325B (zh) 基于双路三维卷积神经网络的全自动肝脏肿瘤分割方法
Du et al. Identification of COPD from multi-view snapshots of 3D lung airway tree via deep CNN
JP2023544466A (ja) Ｐｅｔ／ｃｔに基づく肺腺癌扁平上皮癌診断モデルの訓練方法及び装置
Xie et al. SERU: A cascaded SE‐ResNeXT U‐Net for kidney and tumor segmentation
CN112465754B (zh) 基于分层感知融合的3d医疗图像分割方法、装置及存储介质
CN113436173A (zh) 基于边缘感知的腹部多器官分割建模、分割方法及系统
CN114998265A (zh) 一种基于改进U-Net的肝脏肿瘤分割方法
CN111127487B (zh) 一种实时多组织医学图像的分割方法
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN115131369A (zh) 一种基于3DA-U-Nets架构的CT图像肝脏肿瘤分割方法
CN114066883A (zh) 一种基于特征选择与残差融合的肝肿瘤分割方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN117197454A (zh) 一种肝脏及肝肿瘤数据分割方法及系统
CN116486156A (zh) 融合多尺度特征上下文的全视野数字切片图像分类方法
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN115841457A (zh) 一种融合多视图信息的三维医学图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant