CN115760868A - 基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 - Google Patents
基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 Download PDFInfo
- Publication number
- CN115760868A CN115760868A CN202211260255.2A CN202211260255A CN115760868A CN 115760868 A CN115760868 A CN 115760868A CN 202211260255 A CN202211260255 A CN 202211260255A CN 115760868 A CN115760868 A CN 115760868A
- Authority
- CN
- China
- Prior art keywords
- colorectal
- segmentation
- coordinate
- colorectal cancer
- loss
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 195
- 206010009944 Colon cancer Diseases 0.000 title claims abstract description 91
- 208000001333 Colorectal Neoplasms Diseases 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000008447 perception Effects 0.000 title claims abstract description 23
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000006243 chemical reaction Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000005070 sampling Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 8
- 238000002372 labelling Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 239000003550 marker Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 210000000664 rectum Anatomy 0.000 abstract description 4
- 210000001072 colon Anatomy 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 3
- 230000003902 lesion Effects 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 229940088594 vitamin Drugs 0.000 description 2
- 229930003231 vitamin Natural products 0.000 description 2
- 235000013343 vitamin Nutrition 0.000 description 2
- 239000011782 vitamin Substances 0.000 description 2
- 150000003722 vitamin derivatives Chemical class 0.000 description 2
- 208000015634 Rectal Neoplasms Diseases 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 239000002872 contrast media Substances 0.000 description 1
- 229940039231 contrast media Drugs 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000001990 intravenous administration Methods 0.000 description 1
- 231100000518 lethal Toxicity 0.000 description 1
- 230000001665 lethal effect Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 206010038038 rectal cancer Diseases 0.000 description 1
- 201000001275 rectum cancer Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质，方法包括：将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图；在分割模型中引入辅助的回归任务用于预测结直肠坐标图，得到预测的坐标图和坐标回归损失误差；在分割模型中融合自注意力模块用以获取全局的图像信息和分割损失误差；对所述分割模型进行训练，基于真实标签图进行结直肠及结直肠癌分割图的预测，基于转换得到的坐标图进行坐标图的预测；将坐标回归损失误差与分割损失误差联合作为分割模型的总误差，直到训练满足设定的终止条件；利用训练好的分割模型进行分割处理。本发明能对医学影像中结直肠及其癌变病灶进行自动分割。
Description
技术领域
本发明属于医学影像处理的技术领域，具体涉及一种基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质。
背景技术
结直肠癌(CRC)是全球第三大常见以及致死率第二高的癌症。医学成像能够提供结直肠和CRC的位置和形态学信息，可用于结直肠结构评估和CRC检测、诊断、分期以及治疗响应评估。在临床工作中，放射科医生需要逐层地检查医学影像，判断并手动标注出CRC肿瘤区域，这个过程极其耗时费力且可重复性低。因此，对CRC进行自动分割就显得尤为重要。
近年来，深度学习技术在医学图像分割任务中取得了显著的成功。目前关于CRC的自动分割算法主要是基于磁共振(MR)和CT肠镜(CTC)图像开展的。然而，由于MR在临床实践中主要用于直肠部分的扫描，这类基于MR图像的分割算法仅对直肠癌的分割有效。另一方面，CTC扫描虽然能进行整个结直肠的检查和CRC的检查，但是CTC需要进行肠道准备，这个过程可能会引起一些类似抽筋疼痛或者晕厥等不良反应。因此，常规的增强CT扫描(仅需静脉注射造影剂，无需肠道准备)在CRC任务中具有更广泛的应用潜力。
然而，在常规的增强CT图像中分割结直肠癌也面临着更大的挑战：1)结直肠在腹部占很大的空间，但因为其与诸如小肠之类的其他器官粘连紧密，导致其结构在常规的增强CT图像中很难被完整地检测并分割出来，而结直肠的不完整分割可能最终导致CRC的误诊。2)在无需进行肠道准备的常规增强CT扫描图像中，CRC体积通常很小，很难与结直肠内其他正常组织区分开。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足，提供一种基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质，更好的对结直肠及结直肠癌进行分割。
为了达到上述目的，本发明采用以下技术方案：
第一方面，本发明提供了一种基于拓扑感知的结直肠和结直肠癌分割方法，包括下述步骤：
获取结直肠标签图，将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，所述结直肠坐标图中对结直肠标注区域中每一个体素的位置信息进行了编码；
在分割模型中引入辅助的回归任务用于预测结直肠坐标图，得到预测的坐标图Pc和坐标回归损失误差Lreg；
在分割模型中融合自注意力模块用以获取全局的图像信息和分割损失误差Lseg；所述分割模型的主干网络为“下采样-上采样”架构，在每个下采样阶段整合了自注意力模块，通过添加带有位置嵌入的自注意力层，以增强网络对图像全局信息建模的能力；
对所述分割模型进行训练，训练任务为两部分，第一部分是基于真实标签图Y进行结直肠及结直肠癌分割图的预测，第二部分是基于转换得到的坐标图E进行坐标图的预测；将坐标回归损失误差Lreg与分割损失误差Lseg联合作为分割模型的总误差，直到训练满足设定的终止条件，得到训练好的分割模型；
利用训练好的分割模型对待处理的图片进行结直肠和结直肠癌分割。
作为优选的技术方案，所述将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，具体为：
基于像素级标签图Y，根据中心线提取算法，提取出结直肠标签图的3D中心线C；
建立一个结直肠坐标系S，将S初始化为与Y形状相同的全零矩阵，然后在中心线C上找到最低的位置，以这个最低的位置为起点沿中心线进行遍历并在S上递增标记：将最低的位置在S上的值标记为0并开始遍历中心线C，每遍历到中心线的第n个点就将该点在S上的值标记为n-1，最后，将S的值归一化到[0，1]的范围；
建立一个结直肠坐标图E，将E初始化为与Y形状相同的全零矩阵，沿结直肠坐标系S对标签图Y中的各个体素建立结直肠坐标并赋给结直肠坐标图E：对于标签图Y上每个前景位置p，找到p在坐标系S上最近的点q，并以S上q的相同坐标更新p的坐标图EP。
作为优选的技术方案，所述在分割模型中引入辅助的回归任务用于预测结直肠坐标图的步骤中：
通过减少分割模型中预测的坐标图Pc与真实坐标图E之间的回归损失误差Lreg，来保证分割的整体性及连续性，回归损失误差Lreg的计算公式如下：
其中，j代表第j个体素，
代表预测的坐标图Pc上第j个体素的值，Ej代表真实坐标图E上第j个体素的值。
作为优选的技术方案，对于每个自注意力模块，处理过程如下：
先将大小为(H×W×D)的特征图下采样得到固定的空间大小(H0，W0，D0)，再将其进行重塑成一串长度为τ＝H0×W0×D0的标记Fin；随后通过一个可训练的线性投影层fproj将Fin投射到
维，并利用一个可学习的位置嵌入层Fpos让分割模型获取各个标记的相对位置信息，该过程表示为Z0：
Z0＝fproj(Fin)+Fpos
然后将Z0送入多头自注意力模块，所述多头自注意力模块分别包括L层多头自注意力层MSA以及多层感知机MLP，具体如下：
Z′l＝MSA(LN(Z′l-1))+Z′l-1，l＝1，...，L
Zl＝MLP(LN(Z′l))+Z′l，l＝1，...，L
其中，LN代表层归一化；Z′l代表第l层多头自注意力层输出，Z′l-1代表第l层多层感知机输出，l代表多头自注意力模块的第l层；
经过多头自注意力计算后，将计算得到的输出Fout重塑回(H0，W0，D0)大小，并将其上采样到特征图的原始大小(H×W×D)，最后再通过一个卷积层将原始特征图与自注意力特征图进行融合。
作为优选的技术方案，所述分割模型进行训练具体为：
在分割模型中，为每个输入图片X得到预测的分割图Ps和预测的坐标图PC：
Ps，Pc＝fseg(X，Y，E)
将回归损失误差Lreg与分割损失误差Lseg经过合成作为联合损失来优化整个分割模型的性能，其中分割损失Lseg是交叉熵损失LCE及Dice损失LDC之和，于是分割模型总损失L为：
L＝(LCE+LDC)+αLreg，其中α代表平衡分割损失和回归损失权重的超参数；
反向传播并重复上述步骤，直至到达设定的终止条件。
作为优选的技术方案，所述交叉熵损失LCE及Dice损失LDC的计算公式如下：
Lseg＝LCE+LDC
其中
为数据样本量，I(·)是一个指示函数，当Yt＝n时I(Yt＝n)＝1，否则I(Yt＝n)＝0，H，W，D为输入图片X的大小，
为第t个体素于第n类的分割概率输出。
作为优选的技术方案，在下采样阶段，将输入图片放入五个连续的下采样块中进行特征提取，每一次下采样都紧跟一层自注意力层；在上采样阶段，下采样特征提取完成后，再紧接五个连续的带有跳跃连接机制的上采样块进行特征图还原解码。
第二方面，本发明提供了一种基于拓扑感知的结直肠和结直肠癌分割系统，应用于所述的基于拓扑感知的结直肠和结直肠癌分割方法，包括坐标转换模块、坐标回归模块、全局图像获取模块、模型训练模块以及分割处理模块；
所述坐标转换模块，用于获取结直肠标签图，将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，所述结直肠坐标图中对结直肠标注区域中每一个体素的位置信息进行了编码；
所述坐标回归模块，用于在分割模型中引入辅助的回归任务用于预测结直肠坐标图，得到预测的坐标图Pc和坐标回归损失误差Lreg；
所述全局图像获取模块，用于在分割模型中融合自注意力模块用以获取全局的图像信息和分割损失误差Lseg；所述分割模型的主干网络为“下采样-上采样”架构，在每个下采样阶段整合了自注意力模块，通过添加带有位置嵌入的自注意力层，以增强网络对图像全局信息建模的能力；
所述模型训练模块，用于对所述分割模型进行训练，训练任务为两部分，第一部分是基于真实标签图Y进行结直肠及结直肠癌分割图的预测，第二部分是基于转换得到的坐标图E进行坐标图的预测；将坐标回归损失误差Lreg与分割损失误差Lseg联合作为分割模型的总误差，直到训练满足设定的终止条件，得到训练好的分割模型；
所述分割处理模块，用于利用训练好的分割模型对待处理的图片进行结直肠和结直肠癌分割。
第三方面，本发明提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行所述的基于拓扑感知的结直肠和结直肠癌分割方法。
第四方面，本发明还提供了一种计算机可读存储介质，存储有程序，其所述程序被处理器执行时，实现所述的基于拓扑感知的结直肠和结直肠癌分割方法。
本发明与现有技术相比，具有如下优点和有益效果：
(1)由于医学影像的特殊性，一般来说只有放射医生和具有医学临床知识的人才能根据影像对CRC进行判断并进行像素级标注，本发明提出了一种基于深度学习的结直肠和结直肠癌分割方法，很大程度上减轻了医生逐层对图像进行标注的负担，实现了自动化的CRC分割。
(2)本发明基于结直肠连续且具有单一路径的拓扑结构设计了坐标图，提出了一个坐标图回归任务辅助网络进行结直肠和结直肠癌的分割，从而大大提高了模型的分割性能，帮助模型更好地分割出完整的结直肠。
(3)本发明整合了自注意力机制去帮助分割网络获取全局的纹理信息，一方面为辅助回归任务提供了架构基础，另外还提高了区分病灶和正常组织的能力，从而进行更准确的结直肠癌分割。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于拓扑感知的结直肠和结直肠癌分割方法的流程图；
图2为本发明实施例分割模型进行训练的流程图；
图3为本发明实施例基于拓扑感知的结直肠和结直肠癌分割系统的方框图。
图4为本发明实施例电子设备的结构图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
对医学影像中特定器官及病灶进行分割可以为后续诸如计算机辅助诊疗、计算机辅助手术以及放射治疗等临床应用提供帮助。临床上，医生通常需要逐层地判断并手动标注器官及病灶区域，该过程是极其耗时且费力的。因此，本发明研究了一种基于拓扑感知的结直肠癌自动分割算法，用于对医学影像中结直肠及其癌变病灶进行自动分割。
请参阅图1，本实施例一种基于拓扑感知的结直肠和结直肠癌分割方法，包括下述步骤：
S100、获取结直肠标签图，将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，所述结直肠坐标图中对结直肠标注区域中每一个体素的位置信息进行了编码。
可以理解的是，由于结直肠的结构形态多变、不同个体间差异较大，传统的分割网络难以将结直肠整体精准地分割出来。本步骤S100建立了一个结直肠坐标图，用于对结直肠标注区域中每一个体素的位置信息进行编码，具体通过以下步骤进行实现：
S110、结直肠中心线提取：
首先基于像素级标签图Y，根据中心线提取算法fcl，提取出结直肠标签的3D中心线C(对应图1中中心线C)，中心线C的公式表达如下：
C＝fcl(Y)
可以理解的是，基于像素级标签图Y进行处理，是为本发明后续像素级分割做准备，所述像素级分割：对于每一个像素，判断其属于哪一个类别(例：背景、结直肠、结直肠癌)，根据像素类别进行固定语义的分割。
S120、结直肠坐标系建立：
建立一个结直肠坐标系S，将S初始化与Y形状相同的全零矩阵，然后在中心线C上找到最低的位置(直肠底端)，以这个最低的位置为起点沿中心线进行遍历并在S上递增标记。
进一步的，标记方式为：将起点在坐标系S上的值标记为0并开始遍历中心线C，每遍历到中心线的第n个点就将该点在S上的值标记为n-1；最后，将S的值归一化到[0，1]的范围(对应图1中坐标系S)。
S130、结直肠坐标图建立：
建立一个结直肠坐标图E，将E初始化为与Y形状相同的全零矩阵，沿坐标系S对标签图Y中的各个体素建立结直肠坐标并赋给结直肠坐标图E。
进一步的，沿坐标系S将其坐标传到标签Y中的各个体素上，具体为：
对于结直肠标注上每个前景位置p，找到其在坐标系上最近的点g，并以坐标系上q的相同坐标更新p的坐标图EP。
在经过步骤S130的处理后，即可将标签Y转化为坐标图E∈[0，1]H×W×D(对应图1中坐标图E)。图1中‘结直肠坐标转换’部分给出了一个完整过程的示例。
S200、在分割模型中引入辅助的回归任务用于预测结直肠坐标图，得到预测的坐标图Pc和坐标回归损失误差Lreg，从而帮助模型更好地分割出结直肠。
具体的，通过步骤S100，获取了结直肠标签转换后的坐标图E，本步骤要求模型在训练阶段输出像素级分割结果的前提下，再输出其对结直肠坐标图的预测Pc。通过减少网络预测的坐标图Pc与真实坐标图E之间的回归损失误差Lreg，来保证分割的整体性及连续性：
其中，j代表第j个体素，
代表预测的坐标图Pc上第j个体素的值，Ej代表真实坐标图E上第j个体素的值。这样就可以在一定程度上保证分割的一致性以及整体性，使得网络对结直肠的整体分割结果更为精确有效。
S300、在分割模型中融合自注意力模块用以获取全局的图像信息和分割损失误差Lseg。
可以理解的是，将自注意力模块整合到分割模型中用以获取全局的图像信息，这种设计不仅为所提出的坐标回归任务提供了架构基础，同时而且也提高了肿瘤和正常组织的区分能力，从而进行更准确的CRC分割。
请再次参阅图1，所述分割模型的主干网络是一种“编码(下采样)-解码(上采样)”架构，并且在每个下采样阶段整合了自注意力模块，通过添加带有位置嵌入的自注意力层，以增强网络对图像全局信息建模的能力。
进一步的，请参阅图2，对于每个自注意力模块，处理过程如下：
先将大小为(H×W×D)的特征图下采样得到固定的空间大小(H0，Wo，D0)，再将其进行重塑成一串长度为τ＝H0×W0×D0的标记Fin；随后通过一个可训练的线性投影层fproj将Fin投射到
维，并利用一个可学习的位置嵌入层Fpos让分割模型获取各个标记的相对位置信息，该过程表示为：
Z0＝fproj(Fin)+Fpos
然后将Z0送入多头自注意力模块，所述多头自注意力模块分别包括L层多头自注意力层MSA以及多层感知机MLP，具体如下：
Z′l＝MSA(LN(Z′l-1))+Z′l-1，l＝1，...，L
Zl＝MLP(LN(Z′l))+Z′l，l＝1，...，L
其中LN代表层归一化；Z′l代表第l层多头自注意力层输出，Z′l-1代表第l层多层感知机输出，l代表多头自注意力模块的第l层；
经过多头自注意力计算后，将计算得到的输出Fout重塑回(H0，W0，D0)大小，并将其上采样到特征图的原始大小(H×W×D)，最后再通过一个卷积层将原始特征图与自注意力特征图进行融合。
S400、对所述分割模型进行训练：
分割模型fseg的训练主要分为两部分，一部分是基于真实标签图Y进行结直肠及结直肠癌分割图的预测，另一部分是基于转换得到的坐标图E进行坐标图的预测，整体架构基础即为引入了自注意力机制的“编码(下采样)-解码(上采样)”网络，具体流程如下：
S410、在分割模型中，为每个输入图片X得到预测的分割图Ps和预测的坐标图PC：
Ps，Pc＝fseg(X，Y，E)
S420、其中两部分的损失(分割损失Lseg，回归损失Lreg)经过合成作为联合损失来优化整个模型的性能，其中语义分割损失Lseg是交叉熵损失LCE及Dice损失LDC的综合：
Lseg＝LCE+LDC
其中
为数据样本量，I(·)是一个指示函数，当Yt＝n时I(Yt＝n)＝1，否则I(Yt＝n)＝0。h，w，d为输入数据x的大小，
为第t个体素于第n类的分割概率输出。坐标图回归损失如步骤S200坐标回归任务中所介绍来进行求得，于是分割模型总损失L为：
L＝Lseg+αLreg
L＝(LCE+LDC)+αLreg
其中α代表平衡分割损失和回归损失权重的超参数；
S430、反向传播并重复步骤S410、S420，直至到达设定的停止条件。
S500、在完成对分割模型的训练后，对分割网络进行测试，测试过程如下：
输入图片在分割网络中计算得到预测结果：
Ppred＝fseg(X)
在测试阶段，训练完成的网络模型只需将CT图像X作为输入，并简单地保留分割预测Ppred作为最终输出；因为训练完成的网络模型已经可以很好地保证其所分割的结直肠语义的一致性与连续性，所以测试阶段不需要结直肠坐标变换的过程。
本发明在分割模型中引入辅助的回归任务用于预测结直肠坐标图，保证了结直肠分割的整体性及连续性。此外，本发明将自注意力模块整合到模型中用以获取全局的图像信息，从而进行更准确的CRC分割。
请参阅图2，在本申请的另一实施中，基于拓扑感知的结直肠和结直肠癌分割方法，包括下述步骤：
S200、将原始输入CT图像X重采样到(2mm，2mm，5mm)大小的空间。对应的像素级标注标签Y和坐标图E是两个大小同X一样的矩阵。Y包含三个值0，1，2，其中不同的值代表对应像素所属的语义类(0代表背景，1代表结直肠，2代表结直肠癌)，E的范围在[0，1]之间。
S210、将X作为输入放入五个连续的下采样块中进行特征提取，每一次下采样都紧跟一层自注意力层。在进行自注意力特征提取时先将特征图下采样到一个固定的空间大小(10×10×10)，再将其进行重塑以获取1000个标记，随后为每个标记添加一个位置嵌入，最后传入多头自注意力层进行计算。
S230、下采样特征提取完成后，再紧接五个连续的带有跳跃连接机制的上采样块进行特征图还原解码。
S240、经过整个模型可以得到两个输出，分别为结直肠及结直肠癌分割图预测Ps以及坐标图预测Pc，综合分割损失Lseg＝LCE+LDC和回归损失
得到总损失误差L＝Lseg+αLreg，其中α＝50是一个可以测试取优的超参数。将L进行反向传播更新网络权重。
S250、整体优化过程采用初始学习率为0.001的RAdam优化器，具体学习率衰减策略为多项式衰减，训练过程的批数据大小(Batch-size)为2，迭代训练75000次。
需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。
基于与上述实施例中的基于拓扑感知的结直肠和结直肠癌分割方法相同的思想，本发明还提供了基于拓扑感知的结直肠和结直肠癌分割系统，该系统可用于执行上述基于拓扑感知的结直肠和结直肠癌分割方法。为了便于说明，基于拓扑感知的结直肠和结直肠癌分割系统实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
请参阅图3，在本申请的另一个实施例中，提供了一种基于拓扑感知的结直肠和结直肠癌分割系统100，该系统包括坐标转换模块101、坐标回归模块102、全局图像获取模块103、模型训练模块104以及分割处理模块105；
所述坐标转换模块101，用于获取结直肠标签图，将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，所述结直肠坐标图中对结直肠标注区域中每一个体素的位置信息进行了编码；
所述坐标回归模块102，用于在分割模型中引入辅助的回归任务用于预测结直肠坐标图，得到预测的坐标图Pc和坐标回归损失误差Lreg；
所述全局图像获取模块103，用于在分割模型中融合自注意力模块用以获取全局的图像信息和分割损失误差Lseg；所述分割模型的主干网络为“下采样-上采样”架构，在每个下采样阶段整合了自注意力模块，通过添加带有位置嵌入的自注意力层，以增强网络对图像全局信息建模的能力；
所述模型训练模块104，用于对所述分割模型进行训练，训练任务为两部分，第一部分是基于真实标签图Y进行结直肠及结直肠癌分割图的预测，第二部分是基于转换得到的坐标图E进行坐标图的预测；将坐标回归损失误差Lreg与分割损失误差Lseg联合作为分割模型的总误差，直到训练满足设定的终止条件，得到训练好的分割模型；
所述分割处理模块105，用于利用训练好的分割模型对待处理的图片进行结直肠和结直肠癌分割。
需要说明的是，本发明的基于拓扑感知的结直肠和结直肠癌分割系统与本发明的基于拓扑感知的结直肠和结直肠癌分割方法一一对应，在上述基于拓扑感知的结直肠和结直肠癌分割方法的实施例阐述的技术特征及其有益效果均适用于基于拓扑感知的结直肠和结直肠癌分割的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。
此外，上述实施例的基于拓扑感知的结直肠和结直肠癌分割系统的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将所述基于拓扑感知的结直肠和结直肠癌分割系统的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。
请参阅图4，在一个实施例中，提供了一种实现基于拓扑感知的结直肠和结直肠癌分割方法的电子设备，所述电子设备200可以包括第一处理器201、第一存储器202和总线，还可以包括存储在所述第一存储器202中并可在所述第一处理器201上运行的计算机程序，如基于拓扑感知的结直肠和结直肠癌分割程序203。
其中，所述第一存储器202至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：SD或DX存储器等)、磁性存储器、磁盘、光盘等。所述第一存储器202在一些实施例中可以是电子设备200的内部存储单元，例如该电子设备200的移动硬盘。所述第一存储器202在另一些实施例中也可以是电子设备200的外部存储设备，例如电子设备200上配备的插接式移动硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(SecureDigital，SD)卡、闪存卡(Flash Card)等。进一步地，所述第一存储器202还可以既包括电子设备200的内部存储单元也包括外部存储设备。所述第一存储器202不仅可以用于存储安装于电子设备200的应用软件及各类数据，例如基于拓扑感知的结直肠和结直肠癌分割程序203的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
所述第一处理器201在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述第一处理器201是所述电子设备的控制核心(Control Unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述第一存储器202内的程序或者模块，以及调用存储在所述第一存储器202内的数据，以执行电子设备200的各种功能和处理数据。
图4仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图4示出的结构并不构成对所述电子设备200的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
所述电子设备200中的所述第一存储器202存储的基于拓扑感知的结直肠和结直肠癌分割程序203是多个指令的组合，在所述第一处理器201中运行时，可以实现：
获取结直肠图像，将结直肠图像在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，所述结直肠坐标图中对结直肠标注区域中每一个体素的位置信息进行了编码；
在分割模型中引入辅助的回归任务用于预测结直肠坐标图，得到预测的坐标图Pc和坐标回归损失误差Lreg；
在分割模型中融合自注意力模块用以获取全局的图像信息和分割损失误差Lseg；所述分割模型的主干网络为“下采样-上采样”架构，在每个下采样阶段整合了自注意力模块，通过添加带有位置嵌入的自注意力层，以增强网络对图像全局信息建模的能力；
对所述分割模型进行训练，训练任务为两部分，第一部分是基于真实标签图Y进行结直肠及结直肠癌分割图的预测，第二部分是基于转换得到的坐标图E进行坐标图的预测；将坐标回归损失误差Lreg与分割损失误差Lseg联合作为分割模型的总误差，直到训练满足设定的终止条件，得到训练好的分割模型；
利用训练好的分割模型对待处理的图片进行结直肠和结直肠癌分割。
进一步地，所述电子设备200集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个非易失性计算机可读取存储介质中。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (10)
1.基于拓扑感知的结直肠和结直肠癌分割方法，其特征在于，包括下述步骤：
获取结直肠标签图，将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，所述结直肠坐标图中对结直肠标注区域中每一个体素的位置信息进行了编码；
在分割模型中引入辅助的回归任务用于预测结直肠坐标图，得到预测的坐标图Pc和坐标回归损失误差Lreg；
在分割模型中融合自注意力模块用以获取全局的图像信息和分割损失误差Lseg；所述分割模型的主干网络为“下采样-上采样”架构，在每个下采样阶段整合了自注意力模块，通过添加带有位置嵌入的自注意力层，以增强网络对图像全局信息建模的能力；
对所述分割模型进行训练，训练任务为两部分，第一部分是基于真实标签图Y进行结直肠及结直肠癌分割图的预测，第二部分是基于转换得到的坐标图E进行坐标图的预测；将坐标回归损失误差Lreg与分割损失误差Lseg联合作为分割模型的总误差，直到训练满足设定的终止条件，得到训练好的分割模型；
利用训练好的分割模型对待处理的图片进行结直肠和结直肠癌分割。
2.根据权利要求1所述基于拓扑感知的结直肠和结直肠癌分割方法，其特征在于，所述将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，具体为：
基于像素级标签图Y，根据中心线提取算法，提取出结直肠标签图的3D中心线C；
建立一个结直肠坐标系S，将S初始化为与Y形状相同的全零矩阵，然后在中心线C上找到最低的位置，以这个最低的位置为起点沿中心线进行遍历并在S上递增标记：将最低的位置在S上的值标记为0并开始遍历中心线C，每遍历到中心线的第n个点就将该点在S上的值标记为n-1，最后，将S的值归一化到[0，1]的范围；
建立一个结直肠坐标图E，将E初始化为与Y形状相同的全零矩阵，沿结直肠坐标系S对标签图Y中的各个体素建立结直肠坐标并赋给结直肠坐标图E：对于标签图Y上每个前景位置p，找到p在坐标系S上最近的点q，并以S上q的相同坐标更新p的坐标图EP。
3.根据权利要求1所述基于拓扑感知的结直肠和结直肠癌分割方法，其特征在于，所述在分割模型中引入辅助的回归任务用于预测结直肠坐标图的步骤中：
通过减少分割模型中预测的坐标图Pc与真实坐标图E之间的回归损失误差Lreg，来保证分割的整体性及连续性，回归损失误差Lreg的计算公式如下：
其中，j代表第j个体素，
代表预测的坐标图Pc上第j个体素的值，Ej代表真实坐标图E上第j个体素的值。
4.根据权利要求1所述基于拓扑感知的结直肠和结直肠癌分割方法，其特征在于，对于每个自注意力模块，处理过程如下：
先将大小为(H×W×D)的特征图下采样得到固定的空间大小(H0，W0，D0)，再将其进行重塑成一串长度为τ＝H0×W0×D0的标记Fin；随后通过一个可训练的线性投影层fproj将Fin投射到
维，并利用一个可学习的位置嵌入层Fpos让分割模型获取各个标记的相对位置信息，该过程表示为Z0：
Z0＝fproj(Fin)+Fpos
然后将Z0送入多头自注意力模块，所述多头自注意力模块分别包括L层多头自注意力层MSA以及多层感知机MLP，具体如下：
Z′l＝MSA(LN(Z′l-1))+Z′l-1，l＝1，...，L
Zl＝MLP(LN(Z′l))+Z′l，l＝1，...，L
其中，LN代表层归一化；Z′l代表第l层多头自注意力层输出，Z′l-1代表第l层多层感知机输出，l代表多头自注意力模块的第l层；
经过多头自注意力计算后，将计算得到的输出Fout重塑回(H0，W0，D0)大小，并将其上采样到特征图的原始大小(H×W×D)，最后再通过一个卷积层将原始特征图与自注意力特征图进行融合。
5.根据权利要求1所述基于拓扑感知的结直肠和结直肠癌分割方法，其特征在于，所述分割模型进行训练具体为：
在分割模型中，为每个输入图片X得到预测的分割图Ps和预测的坐标图PC：
PS，Pc＝fseg(X，Y，E)
将回归损失误差Lreg与分割损失误差Lseg经过合成作为联合损失来优化整个分割模型的性能，其中分割损失Lseg是交叉熵损失LCE及Dice损失LDC之和，于是分割模型总损失L为：
L＝(LCE+LDC)+αLreg，其中α代表平衡分割损失和回归损失权重的超参数；
反向传播并重复上述步骤，直至到达设定的终止条件。
6.根据权利要求5所述基于拓扑感知的结直肠和结直肠癌分割方法，其特征在于，所述交叉熵损失LCE及Dice损失LDC的计算公式如下：
Lseg＝LCE+LDC
其中
为数据样本量，I(·)是一个指示函数，当Yt＝n时I(Yt＝n)＝1，否则I(Yt＝n)＝0，H，W，D为输入图片X的大小，
为第t个体素于第n类的分割概率输出。
7.根据权利要求1所述基于拓扑感知的结直肠和结直肠癌分割方法，其特征在于，在下采样阶段，将输入图片放入五个连续的下采样块中进行特征提取，每一次下采样都紧跟一层自注意力层；在上采样阶段，下采样特征提取完成后，再紧接五个连续的带有跳跃连接机制的上采样块进行特征图还原解码。
8.基于拓扑感知的结直肠和结直肠癌分割系统，其特征在于，应用于权利要求1-7中任一项所述的基于拓扑感知的结直肠和结直肠癌分割方法，包括坐标转换模块、坐标回归模块、全局图像获取模块、模型训练模块以及分割处理模块；
所述坐标转换模块，用于获取结直肠标签图，将结直肠标签图在预设的结直肠坐标系中进行坐标转换，得到结直肠坐标图，所述结直肠坐标图中对结直肠标注区域中每一个体素的位置信息进行了编码；
所述坐标回归模块，用于在分割模型中引入辅助的回归任务用于预测结直肠坐标图，得到预测的坐标图Pc和坐标回归损失误差Lreg；
所述全局图像获取模块，用于在分割模型中融合自注意力模块用以获取全局的图像信息和分割损失误差Lseg；所述分割模型的主干网络为“下采样-上采样”架构，在每个下采样阶段整合了自注意力模块，通过添加带有位置嵌入的自注意力层，以增强网络对图像全局信息建模的能力；
所述模型训练模块，用于对所述分割模型进行训练，训练任务为两部分，第一部分是基于真实标签图Y进行结直肠及结直肠癌分割图的预测，第二部分是基于转换得到的坐标图E进行坐标图的预测；将坐标回归损失误差Lreg与分割损失误差Lseg联合作为分割模型的总误差，直到训练满足设定的终止条件，得到训练好的分割模型；
所述分割处理模块，用于利用训练好的分割模型对待处理的图片进行结直肠和结直肠癌分割。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的基于拓扑感知的结直肠和结直肠癌分割方法。
10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的基于拓扑感知的结直肠和结直肠癌分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211260255.2A CN115760868A (zh) | 2022-10-14 | 2022-10-14 | 基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211260255.2A CN115760868A (zh) | 2022-10-14 | 2022-10-14 | 基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115760868A true CN115760868A (zh) | 2023-03-07 |
Family
ID=85351457
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211260255.2A Pending CN115760868A (zh) | 2022-10-14 | 2022-10-14 | 基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115760868A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797794A (zh) * | 2023-07-10 | 2023-09-22 | 北京透彻未来科技有限公司 | 基于深度学习的肠癌病理分型系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022057078A1 (zh) * | 2020-09-21 | 2022-03-24 | 深圳大学 | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 |
| CN114511508A (zh) * | 2022-01-11 | 2022-05-17 | 浙江工业大学 | 融合卷积与多层感知机神经网络的结直肠息肉分割方法 |
| CN114782307A (zh) * | 2022-02-11 | 2022-07-22 | 安徽医科大学第一附属医院 | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 |
| CN115131289A (zh) * | 2022-05-24 | 2022-09-30 | 阿里巴巴（中国）有限公司 | 图像处理模型的训练方法 |
-
2022
- 2022-10-14 CN CN202211260255.2A patent/CN115760868A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022057078A1 (zh) * | 2020-09-21 | 2022-03-24 | 深圳大学 | 基于集成知识蒸馏的实时肠镜影像分割方法及装置 |
| CN114511508A (zh) * | 2022-01-11 | 2022-05-17 | 浙江工业大学 | 融合卷积与多层感知机神经网络的结直肠息肉分割方法 |
| CN114782307A (zh) * | 2022-02-11 | 2022-07-22 | 安徽医科大学第一附属医院 | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 |
| CN115131289A (zh) * | 2022-05-24 | 2022-09-30 | 阿里巴巴（中国）有限公司 | 图像处理模型的训练方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116797794A (zh) * | 2023-07-10 | 2023-09-22 | 北京透彻未来科技有限公司 | 基于深度学习的肠癌病理分型系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113870258B (zh) | 一种基于对抗学习的无标签胰腺影像自动分割系统 | |
| WO2023221954A1 (zh) | 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 | |
| CN113674253B (zh) | 基于U-Transformer的直肠癌CT影像自动分割方法 | |
| CN118334070A (zh) | 用于在图像分析中进行解剖结构分割的系统和方法 | |
| JP2023540910A (ja) | 病変検出のための共同訓練を伴う接続機械学習モデル | |
| Li et al. | Automated measurement network for accurate segmentation and parameter modification in fetal head ultrasound images | |
| US11996198B2 (en) | Determination of a growth rate of an object in 3D data sets using deep learning | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN113935943A (zh) | 颅内动脉瘤识别检测的方法、装置、计算机设备和存储介质 | |
| CN112598656A (zh) | 一种基于UNet++优化和权值预算的脑肿瘤分割算法 | |
| CN111325714A (zh) | 感兴趣区域的处理方法、计算机设备和可读存储介质 | |
| CN113706451B (zh) | 颅内动脉瘤识别检测的方法、装置、系统和计算机可读存储介质 | |
| CN115423754A (zh) | 一种图像分类方法、装置、设备及存储介质 | |
| TW202347180A (zh) | 影像處理模型的訓練方法 | |
| CN114693671B (zh) | 基于深度学习的肺结节半自动分割方法、装置、设备及介质 | |
| CN115760868A (zh) | 基于拓扑感知的结直肠和结直肠癌分割方法、系统、设备及介质 | |
| CN117974672A (zh) | 基于全局信息的乳腺超声肿瘤病变区域检测方法及装置 | |
| Pal et al. | A fully connected reproducible SE-UResNet for multiorgan chest radiographs segmentation | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN116433734A (zh) | 一种多模态影像引导放射治疗的配准方法 | |
| CN113408595B (zh) | 病理图像处理的方法、装置、电子设备及可读存储介质 | |
| CN113129297B (zh) | 基于多期相肿瘤影像的直径自动测量方法及系统 | |
| CN115187512A (zh) | 肝细胞癌大血管侵犯风险预测方法、系统、装置及介质 | |
| CN115035133A (zh) | 一种模型训练方法、图像分割方法及相关装置 | |
| CN114004795A (zh) | 一种乳腺结节的分割方法及相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20230307 |