CN115953420B - 深度学习网络模型以及医疗图像分割方法、装置和系统 - Google Patents
深度学习网络模型以及医疗图像分割方法、装置和系统 Download PDFInfo
- Publication number
- CN115953420B CN115953420B CN202310245416.9A CN202310245416A CN115953420B CN 115953420 B CN115953420 B CN 115953420B CN 202310245416 A CN202310245416 A CN 202310245416A CN 115953420 B CN115953420 B CN 115953420B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- block
- convolution
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000013135 deep learning Methods 0.000 title claims abstract description 54
- 238000003709 image segmentation Methods 0.000 title claims abstract description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 47
- 238000002597 diffusion-weighted imaging Methods 0.000 claims description 116
- 238000012549 training Methods 0.000 claims description 48
- 230000011218 segmentation Effects 0.000 claims description 46
- 238000005192 partition Methods 0.000 claims description 31
- 238000009792 diffusion process Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 12
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 8
- 238000012935 Averaging Methods 0.000 claims description 7
- 230000008447 perception Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013136 deep learning model Methods 0.000 abstract description 11
- 230000009191 jumping Effects 0.000 abstract description 2
- 210000002307 prostate Anatomy 0.000 description 23
- 239000011159 matrix material Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 210000004907 gland Anatomy 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 206010060862 Prostate cancer Diseases 0.000 description 8
- 208000000236 Prostatic Neoplasms Diseases 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 239000006185 dispersion Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000007781 pre-processing Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 4
- 201000011510 cancer Diseases 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000003860 storage Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000001574 biopsy Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007170 pathology Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 108010001267 Protein Subunits Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 238000013316 zoning Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本申请涉及一种深度学习网络模型以及医疗图像分割方法、装置和系统，其中，该深度学习网络模型包括：解码网络、编码网络和中间网络；所述解码网络和所述编码网络之间通过所述中间网络实现跳跃连接，所述中间网络包括空洞卷积自注意力机制块；所述空洞卷积自注意力机制块包括空洞卷积堆叠块和空间自注意力机制块，所述空洞卷积堆叠块的输出端与所述空间自注意力机制块的输入端连接；所述空洞卷积堆叠块包括多个相互堆叠的空洞卷积核，多个所述空洞卷积核的大小各不相同。该深度学习模型可以有效地兼容不同形状、大小的目标部位，从而可以更加准确地对目标图像进行分割。可以解决现有深度学习模型无法有效准确地对目标磁共振图像进行分割的问题。
Description
技术领域
本申请涉及图像处理领域，特别是涉及一种深度学习网络模型以及医疗图像分割方法、装置和系统。
背景技术
磁共振（MR）成像相比于电子计算机断层扫描（CT）成像和超声成像，磁共振成像有很多显著的优点，对软组织分辨率高，可以多参数成像，能对任意断层进行扫描等。因此，磁共振成像更加适用于具有病灶体积小且轮廓模糊等特点的疾病的辅助治疗。
示例性地，临床上主要使用磁共振成像来对前列腺癌进行诊断。传统的人工阅片方法耗时长，且易受主观因素影响。计算机辅助诊断系统可有效提高医生诊断的效率和准确率。但是由于前列腺癌病灶具有体积小、轮廓模糊等特点，使用磁共振图像进行前列腺癌自动检测非常具有挑战性。前列腺磁共振图像的分割在临床应用和研究中有着极为重要的地位，医生可以通过前列腺磁共振图像的分割结果检测前列腺的大小及形状，这能帮助医生更好地诊断患者的病情并为以后治疗方案的设计打下基础。但是前列腺磁共振图像成像模糊，灰度分布不均匀而且前列腺的形状也因人而异，而现有的深度学习模型由于模型结构较为简单，无法侧重于前列腺中发病率更高部位的检测，同时也无法较好的兼容不同形状、大小的前列腺，进而无法有效准确地对前列腺磁共振图像进行分割。
同样的，面对具有上述特点的其他病症磁共振图像，现有的深度学习模型无法有效准确地对其进行分割。
针对现有的深度学习模型无法较好的兼容不同形状、大小的目标部位，进而无法有效准确地对目标磁共振图像进行分割的问题，目前还没有提出有效的解决方案。
发明内容
在本发明中提供了一种深度学习网络模型以及医疗图像分割方法、装置和系统，以解决相关技术中深度学习模型无法较好的兼容不同形状、大小的目标部位，进而无法有效准确地对目标磁共振图像进行分割的问题。
第一个方面，在本发明中提供了一种深度学习网络模型，所述网络模型包括：编码网络、解码网络和中间网络；
所述编码网络和所述解码网络之间通过所述中间网络实现跳跃连接，所述中间网络包括空洞卷积自注意力机制块；
所述空洞卷积自注意力机制块包括空洞卷积堆叠块和空间自注意力机制块，所述空洞卷积堆叠块的输出端与所述空间自注意力机制块的输入端连接；
所述空洞卷积堆叠块包括多个相互堆叠的空洞卷积核，多个所述空洞卷积核的大小各不相同。
在其中的一些实施例中，所述空洞卷积核至少为四个。
在其中的一些实施例中，所述空洞卷积堆叠块还包括与所述空洞卷积核堆叠的第一卷积核，所述第一卷积核的大小为1×3×3；
所述第一卷积核和多个所述空洞卷积核通道叠加后，通过第二卷积核与所述空间自注意力机制块连接，所述第二卷积核的大小为1×1×1。
在其中的一些实施例中，所述空间自注意力机制块包括：最大值池化通道、用于在通道层面求特征图平均值的第一通道、用于在通道层面求特征图最小值的第二通道、感知神经网络和激活函数；
所述最大值池化通道、所述第一通道和所述第二通道堆叠后，通过所述感知神经网络与所述激活函数连接。
在其中的一些实施例中，所述中间网络还包括与所述空洞卷积自注意力机制块堆叠的可变形三维卷积块。
第二个方面，在本发明中提供了一种图像分割方法，所述分割方法包括：
获取待分割的第一图像；
采用训练后的深度学习网络模型对所述第一图像进行病灶分割，得到所述第一图像的病灶分割结果；
其中，所述深度学习网络模型为第一个方面中所述的深度学习网络模型。
在其中的一些实施例中，所述图像为多模态磁共振图像；
所述获取待分割的第一图像包括：
获取第二图像，所述第二图像包括第一弥散加权成像模态图像和表观弥散系数模态图像；
根据所述第一弥散加权成像模态图像和所述表观弥散系数模态图像以及弥散加权指数公式，得到第二弥散加权成像模态图像；
根据所述第二弥散加权成像模态图像和所述表观弥散系数模态图像得到所述第一图像；
其中，所述第二弥散加权成像模态图像的弥散敏感因子高于所述第一弥散加权成像模态图像。
在其中的一些实施例中，所述图像为多模态磁共振图像；
所述获取待分割的第一图像包括：
获取第二图像，所述第二图像包括多个第一弥散加权成像模态图像；
根据多个所述第一弥散加权成像模态图像和弥散加权指数公式，得到第二弥散加权成像模态图像；
根据多个所述第二弥散加权成像模态图像得到所述第一图像；
其中，所述第二弥散加权成像模态图像的弥散敏感因子高于所述第一弥散加权成像模态图像。
在其中的一些实施例中，所述分割方法还包括：
对所述第二图像进行刚性配准，对所述第一图像进行归一化处理。
在其中的一些实施例中，所述分割方法还包括：
采用预设训练方法对所述深度学习网络模型进行训练；
所述预设训练方法包括：
采用分割网络对样本图像进行分区分割，得到所述样本图像的分区分割结果；
根据所述分区分割结果和先验信息生成分区概率图；
通过所述样本图像和所述分区概率图对所述深度学习网络模型进行训练。
在其中的一些实施例中，所述样本图像为样本多模态磁共振图像，所述样本多模态磁共振图像包括第一样本弥散加权成像模态图像；
所述预设训练方法还包括：
根据所述第一样本弥散加权成像模态图像和弥散加权指数公式，得到第二样本弥散加权成像模态图像；
其中，所述第二样本弥散加权成像模态图像的弥散敏感因子高于所述第一样本弥散加权成像模态图像。
在其中的一些实施例中，所述通过所述样本图像和所述分区概率图对所述深度学习网络模型进行训练包括：
在所述样本图像中标注目标分割区域，生成所述样本图像的标签；
通过标注后的所述样本图像和所述分区概率图对所述深度学习网络模型进行训练。
第三个方面，在本发明中提供了一种图像分割装置，所述分割装置包括：
图像获取模块，用于获取待分割的图像；
图像分割模块，用于采用训练后的深度学习网络模型对所述图像进行病灶分割，得到所述图像的病灶分割结果；
其中，所述深度学习网络模型为第一个方面中所述的深度学习网络模型。
第四个方面，在本发明中提供了一种图像的分割系统，其特征在于，所述分割系统用于执行上述第二个方面所述的图像分割方法。
第五个方面，在本发明中提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第二个方面所述的图像分割方法。
与相关技术相比，在本发明中提供的深度学习网络模型以及医疗图像分割方法、装置和系统，通过空洞卷积自注意力机制块实现编码网络和解码网络的跳跃连接。空洞卷积堆叠块由多个相互堆叠的空洞卷积核构成，多个空洞卷积核的大小各不相同。因此，该深度学习模型可以有效地兼容不同形状、大小的目标部位，从而可以更加准确地对目标图像进行分割。比如将该深度学习网络模型应用至磁共振扫描领域，可以解决现有深度学习模型无法有效准确地对目标磁共振图像进行分割的问题。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是执行本发明的图像分割方法的终端硬件结构框图；
图2是本发明的实施例中的深度学习网络模型的结构图；
图3是本发明的一些实施例中的深度学习网络模型的结构图；
图4是本发明的一种实施例中的空洞卷积自注意力机制块的结构图；
图5是本发明的一些实施例中的空间自注意力机制块的结构图；
图6是本发明的一些实施例中的中间网络的结构图；
图7是本发明的实施例中的图像分割方法的流程图；
图8是本发明的具体实施例中的图像分割方法的流程图；
图9是本发明的实施例中的图像分割装置的结构框图。
具体实施方式
为更清楚地理解本申请的目的、技术方案和优点，下面结合附图和实施例，对本申请进行了描述和说明。
除另作定义外，本申请所涉及的技术术语或者科学术语应具有本申请所属技术领域具备一般技能的人所理解的一般含义。在本申请中的“一”、“一个”、“一种”、“该”、“这些”等类似的词并不表示数量上的限制，它们可以是单数或者复数。在本申请中所涉及的术语“包括”、“包含”、“具有”及其任何变体，其目的是涵盖不排他的包含；例如，包含一系列步骤或模块（单元）的过程、方法和系统、产品或设备并未限定于列出的步骤或模块（单元），而可包括未列出的步骤或模块（单元），或者可包括这些过程、方法、产品或设备固有的其他步骤或模块（单元）。在本申请中所涉及的“连接”、“相连”、“耦接”等类似的词语并不限定于物理的或机械连接，而可以包括电气连接，无论是直接连接还是间接连接。在本申请中所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。通常情况下，字符“/”表示前后关联的对象是一种“或”的关系。在本申请中所涉及的术语“第一”、“第二”、“第三”等，只是对相似对象进行区分，并不代表针对对象的特定排序。
在本实施例中提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。比如在终端上运行，图1是执行本发明的图像分割方法的终端硬件结构框图。如图1所示，终端可以包括一个或多个（图1中仅示出一个）处理器102和用于存储数据的存储器104，其中，处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置。上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限制。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示出的不同配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如在本发明中的图像分割方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（NetworkInterface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（RadioFrequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。
在本发明中提供了一种深度学习网络模型，图2是本发明的实施例中的深度学习网络模型的结构图，如图2所示，深度学习网络模型包括：编码网络100、解码网络200和中间网络300；编码网络100和解码网络200之间通过中间网络300实现跳跃连接，中间网络300包括空洞卷积自注意力机制块400。具体的，编码网络100和解码网络200通常为多层结构。比如可以在分别解码网络200和编码网络100中进行四次采样操作。
图3是本发明的一些实施例中的深度学习网络模型的结构图。参照图3，示例性地，在编码网络100中进行4次2倍下采样，因此每层结构包括一个残差卷积块和一个2倍下采样卷积。在解码网络200中进行4次2倍上采样，因此每层结构包括一个残差卷积块和一个2倍上采样卷积。编码网络100通过常见卷积块600与解码网络200常规连接之外，还会通过中间网络300实现跳跃连接。中间网络300可以为多个，比如通过跳跃连接，可以直接将编码网络100的第一层结构与解码网络200的第一层结构连接，以及直接将编码网络100的第二层结构与解码网络200的第二层结构连接等。跳跃连接主要是为了减少图像降采样等操作，从而可以降低图像信息损失。
其中，空洞卷积自注意力机制块400包括空洞卷积堆叠块410和空间自注意力机制块420，空洞卷积堆叠块410的输出端与空间自注意力机制块420的输入端连接；空洞卷积堆叠块410包括多个相互堆叠的空洞卷积核411，多个空洞卷积核411的大小各不相同。具体的，编码网络100中残差卷积块的输出作为空洞卷积堆叠块410的输入，空洞卷积堆叠块410产生的输出作为空间自注意力机制块420的输入，而空间自注意力机制块420产生的输出作为解码网络200中相应残差卷积块的输入。进一步优化的，空洞卷积堆叠块410由多个相互堆叠的空洞卷积核411构成。也就是说，多个空洞卷积核411会分别对输入空洞卷积自注意力机制块400的特征图进行卷积处理，多个通道的卷积结果堆叠后输入至空间自注意力机制块420中。多个空洞卷积核411的大小各不相同，可以针对不同尺度的特征图进行卷积操作，从而可以扩大网络的感受野，也更好的泛化大小差异较大的各种类型图像。而在空间自注意力机制块420中，可以让网络更加注意图像的目标区域，甚至是很小的目标区域。
本发明中提出的深度学习网络模型，通过空洞卷积自注意力机制块400实现编码网络100和解码网络200的跳跃连接。空洞卷积堆叠块410由多个相互堆叠的空洞卷积核411构成，多个空洞卷积核411的大小各不相同。因此，该深度学习模型可以有效地兼容不同形状、大小的目标部位，从而可以更加准确地对目标图像进行分割。比如将该深度学习网络模型应用至磁共振扫描领域，可以解决现有深度学习模型无法有效准确地对目标磁共振图像进行分割的问题。
在其中的一些实施例中，空洞卷积核411为四个，四个空洞卷积核411的大小分别为1×3×3、1×5×5、1×7×7、1×9×9。其中，卷积一般为二维数组，因此上述四个空洞卷积核411的大小也可以表示为3×3、5×5、7×7、9×9，而其中1表示卷积核的深度。因此，本实施例中，四个大小不同的空洞卷积核411相互堆叠也可以理解为四个卷积层相互堆叠，每个卷积层中的卷积核深度均为1，长宽分别为3×3、5×5、7×7、9×9。采用不同大小的空洞卷积核411分别对输入空洞卷积堆叠块410的特征图进行特征提取，可以扩大网络的感受野，也更好的泛化大小差异较大的各种类型。
需要说明的是，上述仅是对空洞卷积核411的数量和大小的示例性说明，除了采用四个空洞卷积核之外，也可以采用更少的空洞卷积核，或是采用更多的空洞卷积核，比如五个、六个、八个甚至更多。空洞卷积核411的大小还可以为1×11×11、1×13×13、1×15×15等。
图4是本发明的一种实施例中的空洞卷积自注意力机制块的结构图。参照图4，进一步的，在一些具体的实施例中，空洞卷积堆叠块410还包括与空洞卷积核411堆叠的第一卷积核412，第一卷积核412的大小为1×3×3；第一卷积核412和多个空洞卷积核411通道叠加后，通过第二卷积核430与空间自注意力机制块420连接，第二卷积核430的大小为1×1×1。空洞卷积堆叠块410包括多个大小不同的空洞卷积核411之外，还包括一个大小为3×3的第一卷积核412，该卷积核可以采用普通卷积核。其作用主要是特征图信息的保真，防止模型信息传递失真。以及，空洞卷积堆叠块410中所有不同卷积核的输出通道叠加后连接有一个大小为1×1×1的第二卷积核430，所有通道的输出经过该卷积核处理后输入空间自注意力机制块420中。
图5是本发明的一些实施例中的空间自注意力机制块的结构图。参照图5，在其中的一些实施例中，空间自注意力机制块420包括：最大值池化通道421、用于在通道层面求特征图平均值的第一通道422、用于在通道层面求特征图最小值的第二通道423、感知神经网络424和激活函数425；最大值池化通道421、第一通道422和第二通道423堆叠后，通过感知神经网络424与激活函数425连接。具体的，空间自注意力机制块420前半部分主要由最大值池化通道421和第一通道422以及和第二通道423堆叠构成，分别对输入空间自注意力机制块420的特征图进行最大值池化操作，以及在通道层面求特征图的平均值和最小值。空间自注意力机制块420可以让网络更注意目标区域，甚至很小的目标区域，分别将特征图做最大值池化操作、在通道层面取特征图平均值和最小值，将得到的3个空间特征图叠加到一起，经感知神经网络424和激活函数425后，基于得到的特征图即可获得每个空间像素的权重，然后将获取的权重与输入空间自注意力机制块420的特征图相乘，即实现特征图空间层面的权重赋值。其中，激活函数425可以是Sigmoid激活函数。
图6是本发明的一些实施例中的中间网络的结构图。参照图6，在其中的一些实施例中，中间网络300还包括与空洞卷积自注意力机制块400堆叠的可变形三维卷积块500。具体的本实施例中，中间网络300除了包括空洞卷积自注意力机制块400之外，还包括可变形三维卷积块500，可变形三维卷积块500与空洞卷积自注意力机制块400堆叠，两者同时对输入中间网络300的特征图进行处理，且输出通道相互叠加，两者的输出结果叠加后作为中间网络300的最终输出结果，也就是解码网络200的输入。可变形三维卷积块500是指标准卷积操作中采样位置增加了一个偏移量补偿，这样卷积核就能在训练过程中扩展到很大的范围，以防止网络模型在某些区域出现漏检等情况，同时能兼顾网络对不同形态目标区域的泛化性。
在本发明中还提供了一种图像分割方法，图7是本发明的实施例中的图像分割方法的流程图。如图7所示，该流程包括如下步骤：
步骤S710，获取待分割的第一图像；步骤S720，采用训练后的深度学习网络模型对第一图像进行病灶分割，得到第一图像的病灶分割结果；其中，深度学习网络模型为本发明中提出的深度学习网络模型。
本发明中提出的图像分割方法，主要采用本发明中所提出的深度学习网络模型对图像进行分割。首先是获取待分割图像，然后将该图像输入训练后的深度学习网络模型中，网络模型则会输出图像的分割结果，得到目标分割区域。其中，待分割的图像可以是医疗图像，从而利用本发明中的分割方法，可以有效分割出医疗图像中的病灶区域。进而在医疗领域，本发明中的图像分割方法可以用于辅助疾病诊断，判断患者是否出现相应疾病。示例性地，医疗图像可以是前列腺磁共振图像。前列腺癌病灶具有体积小、轮廓模糊等特点，因此分割前列腺磁共振图像存在一定的挑战性，而本发明中的深度学习网络模型中采用了空洞卷积堆叠块，其由不同大小的空洞卷积核组成，不同的空洞卷积可以获取不同层次的图像感受野，可以兼顾不同大小、不同形态的病灶，同时设计了一个普通卷积层用于特征图信息的保真，防止模型信息传递失真，加上可变性卷积和空间自注意力机制的协助，可以从各方面提高网络模型的泛化性。
相应的，医疗图像还可以是人体其他部位的磁共振图像，比如心脏磁共振图像、脑部磁共振图像等。
本发明中的图像分割方法应用于磁共振图像领域时，图像为多模态磁共振图像，多模态磁共振图像包括DWI（弥散加权成像）图像，分割方法还包括：基于弥散加权指数公式和低B值（弥散敏感因子）的DWI图像，得到高B值的DWI图像，并对高B值的DWI图像进行分割。具体的，磁共振图像通常包括多种模态，主要包含T2W（T2加权成像）、ADC（表观弥散系数）、DWI、DCE（动态对比增强）、抑脂的T2W等多种模态。其中，高B值的DWI图像有利于病灶的检出，而通常从磁共振扫描设备中获取的初始DWI图像的B值较低，因此实施例中还会基于低B值的DWI图像，得到高B值的DWI图像。在磁共振扫描领域，通常认定B值低于1400时为低B值，B值高于1400时为高B值。其中具体的，得到高B值的DWI图像的方法可以分为两种。一种是基于多个低B值的DWI图像，另一种是基于一个ADC图像和一个低B值DWI图像。分别对应下述两个具体实施例。
在其中一个实施例中，步骤S710，获取待分割的第一图像包括：
步骤S711，获取第二图像，第二图像包括第一弥散加权成像模态图像和表观弥散系数模态图像；步骤S712，根据第一弥散加权成像模态图像和表观弥散系数模态图像以及弥散加权指数公式，得到第二弥散加权成像模态图像；步骤S713，根据第二弥散加权成像模态图像和表观弥散系数模态图像得到第一图像；其中，第二弥散加权成像模态图像的弥散敏感因子高于第一弥散加权成像模态图像。本实施例中，第一弥散加权成像模态图像是低B值DWI图像，第二弥散加权成像模态图像是高B值DWI图像。主要通过一个ADC图像和一个低B值DWI图像得到高B值DWI图像。
示例性地，弥散加权指数公式可以是：
其中，S1为待计算的高B值DWI模态的矩阵，S0为低B值的DWI模态的矩阵，ADC为ADC模态的矩阵，b1为待算的高B值数值，b0为低B值数值。
弥散加权指数公式还可以是：
其中，S1为待计算的高B值DWI矩阵，S0为低B值的DWI矩阵，ADC为ADC模态的矩阵，b为高B值与低B值之间的数值差。
通过上述弥散加权指数公式，可以基于一个ADC图像和一个低B值DWI图像，计算得到高B值DWI图像。
在另一个实施例中，步骤S710，获取待分割的第一图像包括：
步骤S714，获取第二图像，第二图像包括多个第一弥散加权成像模态图像；步骤S715，根据多个第一弥散加权成像模态图像和弥散加权指数公式，得到第二弥散加权成像模态图像；步骤S716，根据多个第二弥散加权成像模态图像得到第一图像；其中，第二弥散加权成像模态图像的弥散敏感因子高于第一弥散加权成像模态图像。本实施例中，第一弥散加权成像模态图像是低B值DWI图像，第二弥散加权成像模态图像是高B值DWI图像。主要通过多个低B值DWI图像得到高B值DWI图像。
在其中的一些实施例中，分割方法还包括：步骤S730，对第二图像进行刚性配准，对第一图像进行归一化处理。
在本实施例中，当第二图像为磁共振图像时，由于磁共振图像包括多种模态图像，每个模态图像基本都需要重新扫描一次得到，每次扫描都会有一定时间间隔，进而导致各模态图像间有一定的运动，因此需要采用常规的刚性配准将各模态图像进行刚性配准。较优的，可以将T2W模态图像作为基准进行刚性配准。进一步的，可以将多模态图像数据进行归一化处理，也就是T2W、ADC、DWI（可以是高B值的，也可以是低B值的）等多种模态图像数据归一化。
具体的，归一化公式如下：
其中，x为待归一化的数据，μ为均值，σ为方差，x`为归一化后的值。
在其中的一些实施例中，分割方法还包括：步骤S740，采用预设训练方法对深度学习网络模型进行训练。预设训练方法包括：
步骤S741，采用分割网络对样本图像进行分区分割，得到样本图像的分区分割结果；步骤S742，根据分区分割结果和先验信息生成分区概率图；步骤S743，通过样本图像和分区概率图对深度学习网络模型进行训练。
具体的，本发明中的分割方法主要是采用训练后的深度学习网络模型对图像进行分割，相应地，还需要对深度学习网络模型进行训练。与常规的模型训练步骤相比，本发明中还通过先验信息对样本图片进行预处理，从而提高模型训练效果和效率。首先是采用分割网络对样本图像进行分区分割，从而分割得到样本图像的不同部分，然后基于先验信息对不同部分附加不同概率，该概率是相应图像部分存在目标区域的概率，从而分区概率图体现了图像的各个不同部分存在目标区域的概率。概率越高的图像部分越容易出现目标区域，通过分区概率图，可以使得深度学习模型更加集中于概率高的图像部分，从而更容易检测分割出目标区域。示例性的，对于前列腺磁共振图像而言，前列腺可以初步分为外周带区和中央腺体区，通过分割网络可以分割出前列腺的外周带区和中央腺体区，基于先验信息可知，前列腺外周带区出现癌灶的概率是中央腺体区的3倍，进而赋予前列腺外周带区和中央腺体区3:1的预设概率值，赋予概率值的分区结果输入至深度学习网络中，使得深度学习网络模型更加关注前列腺的外周带区（相比于中央腺体区为3倍的关注程度），从而更容易检测分割出癌灶区域。
进一步的，分割网络可以是常见的U-Net网络、FCN（全卷积神经网络）、V-Net网络等。同时在对图像进行分区分割时，对于多模态的磁共振图像，可以对图像配准时的基准模态图像进行分区分割。比如，对于T2W、ADC、DWI三种模态的磁共振图像，若是以T2W模态图像为基准进行配准，则可以对T2W模态图像进行分区分割，相应的也会得到其他模态图像的分区结果。
在其中的一些实施例中，样本图像为样本多模态磁共振图像，样本多模态磁共振图像包括第一样本弥散加权成像模态图像；预设训练方法还包括：
步骤S744，根据第一样本弥散加权成像模态图像和弥散加权指数公式，得到第二样本弥散加权成像模态图像；其中，第二样本弥散加权成像模态图像的弥散敏感因子高于第一样本弥散加权成像模态图像。
具体的，第一样本弥散加权成像模态图像为低B值的样本DWI图像，第二样本弥散加权成像模态图像为高B值的样本DWI图像。如前文说明的，采用高B值的DWI图像有利于深度学习网络模型检测出病灶区域。因此在训练过程中，也需要对低B值的样本DWI图像进行处理，得到高B值的样本DWI图像。具体过程与步骤S710中的过程一致，主要也是通过一个样本ADC模态图像和一个低B值的样本DWI图像得到高B值的样本DWI图像，或者是通过多个低B值的样本DWI图像得到高B值的样本DWI图像。
示例性地，弥散加权指数公式可以是：
其中，S1为待计算的高B值DWI模态的矩阵，S0为低B值的DWI模态的矩阵，ADC为ADC模态的矩阵，b1为待算的高B值数值，b0为低B值数值。
弥散加权指数公式还可以是：
其中，S1为待计算的高B值DWI矩阵，S0为低B值的DWI矩阵，ADC为ADC模态的矩阵，b为高B值与低B值之间的数值差。
在其中的一些实施例中，步骤S743，通过样本图像和分区概率图对深度学习网络模型进行训练包括：在样本图像中标注目标分割区域，生成样本图像的标签；通过标注后的样本图像和分区概率图对深度学习网络模型进行训练。
具体的，在模型训练过程中，还需要生成样本标签。因此还需要预先在样本图像中标注目标区域，作为模型训练的金标准。示例性的，对于前列腺磁共振图像，借助常用的医学图像标注工具和病人相关的活检病理报告以及其他临床信息在T2W、ADC、DWI三个模态上标注前列腺癌灶区域，即获得图像金标准，作为模型训练集的标签。
上述实施例分别对样本图像进行了不同的预处理。进一步具体的，模型训练过程如下：
通过上述处理，可以基于样本图像构建训练集和测试集，模型训练主要使用训练集中的数据进行训练，并对图像进行归一化以及适当概率的裁剪、翻转等增强操作，最终相同尺寸的样本图像输入网络进行训练。
构建基于先验知识的多尺度空洞自注意力机制网络的学习函数为DoubleLoss，其实现原理如下：
FocalLoss实现公式如下：
其中，均为常数，通常设为0.25、2，/>为模型预测值。
MultiTverskyLoss实现公式如下：
其中，为模型预测值，/>为金标准，Wi为每种分割类别的权重，α和β为权重系数，MultiTverskyLoss将每种类别根据其学习难易程度，分配不同的权重学习；当α=β= 0.5时，此时TverskyLoss便退化为Dice系数（分子分母同乘于2），当α=β= 1时，此时TverskyLoss便退化为Jaccard系数，一般设置α+β=1，仅需控制α和β便可以控制假阴性和假阳性之间的平衡。
采用adam与权重衰减相结合对模型进行训练，adam可以根据模型的学习情况，自动调整学习率大小，而权重衰减设定在模型迭代至一定比例时，给予一定的衰减，其主要防止模型过拟合，起到一定正则化的作用。
当模型的学习函数降低至不再降低时，模型设置早停机制，停止模型的训练。
将上述训练获得的权重参数以及网络结构作为分割方法的核心模型。将测试集的数据送入该模型，即可获得测试集数据的目标区域的分割结果。
下面通过该分割方法应用至前列腺磁共振图像中为例，对本发明中的技术方案进行说明。图8是本发明的具体实施例中的图像分割方法的流程图。参照图8，分割方法用于分割前列腺磁共振图像包括如下步骤：
步骤S810，收集原始图像：获取MR设备的多模态DICOM图像，主要包含T2W、ADC、DWI三种模态的图像，并将其匿名化并转换成常用的nii图像格式。
步骤S820，图像数据预处理：首先对接收的图像进行有效性校验，校验正常后进行预处理。图像预处理主要包括两个方面：
第一方面：由于输入数据包含多个模态MR数据，每个模态基本需要都需要重新扫描一次，每次扫描都会有一定时间间隔，进而导致各模态间有一定的运动等情况，因此需要采用常规的刚性配准将各模态以T2W为基准进行刚性配准。将配准后的T2W/ADC/DWI数据中，任取一个ADC模态以及已知低B值的DWI模态或者多个低B值的DWI模态，进行如下公式计算，获得高B值的DWI重建数据。公式如下：
其中，S1为待计算的高B值DWI模态的矩阵，S0为低B值的DWI模态的矩阵，ADC为ADC模态的矩阵，b1为待算的高B值数值，b0为低B值数值。或者如下公式：
其中，S1为待计算的高B值DWI矩阵，S0为低B值的DWI矩阵，ADC为ADC模态的矩阵，b为高B值与低B值之间的数值差。
最后将原有T2W/ADC/DWI以及新生成的高B值DWI等体数据进行归一化操作，归一化公式如下：
其中，x为待归一化的数据，μ为均值，σ为方差，x`为归一化后的值。
无论是网络模型的训练集还是测试集中的图像数据，又或是实际使用时待分割的图像数据，均需要经过上述预处理。对于训练集中的图像数据还需要经过下述处理。
第二方面：使用常见的UNet网络对前列腺T2W模态的腺体进行分区分割，得到腺体分区结果mask，定义腺体为中央腺体区和外周带两部分，其中中央腺体区包含中央带和移行带。
步骤S830，获取图像金标准：对于训练集中的图像数据，在进行数据预处理的同时，还需要生成训练标签。借助常用的医学图像标注工具和病人相关的活检病理报告以及其他临床信息在T2W/ADC/DWI三个模态上标注前列腺癌灶区域，即获得图像金标准，记为label1，作为模型训练集的标签。
步骤S840，训练网络模型：将经预处理的训练集数据、分区分割结果和前列腺癌灶标注输入构建好的基于先验知识的多尺度空洞自注意力机制网络进行训练，获得模型参数等，将预处理好的测试集数据和模型参数输入基于先验知识的多尺度空洞自注意力机制网络进行癌灶分割，获得癌灶结果。具体的训练过程如下：
模型训练主要使用训练集中的数据进行训练，并对图像进行归一化以及适当概率的裁剪、翻转等增强操作，最终相同尺寸的192×192×18的多模态图像输入网络进行训练，多模态包括：T2W/ADC/DWI/高B值DWI/分区结果概率图以记金标准等。
以上述提到的label1为模型的金标准，构建基于先验知识的多尺度空洞自注意力机制网络的学习函数为DoubleLoss，其实现原理如下：
FocalLoss实现公式如下：
其中，均为常数，通常设为0.25、2，/>为模型预测值。
MultiTverskyLoss实现公式如下：
其中，为模型预测值，/>为金标准，Wi为每种分割类别的权重，α和β为权重系数，MultiTverskyLoss将每种类别根据其学习难易程度，分配不同的权重学习；当α=β= 0.5时，此时TverskyLoss便退化为Dice系数（分子分母同乘于2），当α=β= 1时，此时TverskyLoss便退化为Jaccard系数，一般设置α+β=1，仅需控制α和β便可以控制假阴性和假阳性之间的平衡。
采用adam与权重衰减相结合对模型进行训练，adam可以根据模型的学习情况，自动调整学习率大小，而权重衰减设定在模型迭代至一定比例时，给予一定的衰减，其主要防止模型过拟合，起到一定正则化的作用。
当模型的学习函数降低至不再降低时，模型设置早停机制，停止模型的训练。
将上述训练获得的权重参数以及网络结构作为分割方法的核心模型。将测试集的数据送入该模型，即可获得测试集数据的目标区域的分割结果。
步骤S850，通过训练后的网络模型进行图像分割。
进一步的，基于先验知识的多尺度空洞自注意力机制网络结构及其数据处理过程如下：
1、通过常用的U型卷积神经网络将输入的预处理数据进行前列腺分区分割，对分区分割的结果掩膜部分赋予一定的概率值，对非掩膜部分赋予0的概率值，由于大量文献研究发现，前列腺癌在外周带发生的概率是中央腺体区的三倍，因此给予掩膜中央腺体区域赋予0.05的概率值，给予掩膜外周带区域赋予0.15的概率值，因此获得分区概率图。
2、将前列腺分区解剖先验概率图加入输入数据中，作为输入数据的额外通道，即T2W/ADC/DWI/高B值DWI以及分区概率图，合计5个道输入残差卷积块，该残差卷积块包含常用的通道自注意力机制结构。
3、本实施例中的卷积神经网络在编码网络中每个阶段做四次降采样，用于调整通道数以及缩小分辨率，进而减少网络的计算量以及提取更多尺度的特征，获得丰富的感受野等。
4、本实施例在编码网络与解码网络之间有一种跳跃链接，跳跃连接主要是为了减少图像降采样等操作，而导致图像信息损失；同时在跳跃链接中设计一种多尺度深度注意力网络块，其由三部分组成：
首先是‘金字塔’式的空洞卷积堆叠块，其将4个分别为1×3×3、1×5×5、1×7×7、1×9×9的空洞卷积堆叠，并与一个普通的1×3×3卷积堆叠，上述堆叠的卷积块通道相加，经1×1×1卷积输入到空间注意力机制中，该结构是一种多尺度结构，可以扩大网络的感受野，也更好的泛化大小差异较大的各种类型等。
其次是空间注意力机制是多尺度深度注意力网络块，它可以让网络更注意病灶区域，甚至很小的病灶区域，分别将特征图做Max池化操作、在通道层面取特征图平均值和最小值，将得到的3个空间特征图叠加到一起，经感知神经网络和Sigmoid激活函数后，得到的特征图即可获得每个空间像素的权重，然后将获取的权重与输入特征图相乘，即实现特征图空间层面的权重赋值。
最后与可变形三维卷积块结合，可变形卷积块是指标准卷积操作中采样位置增加了一个偏移量offset，这样卷积核就能在训练过程中扩展到很大的范围，以防止网络模型在某些区域出现漏检等情况，同时能兼顾网络对不同形态病灶的泛化性。
综上，多尺度深度注意力网络块可以从点到面，再到整个三维前列腺，全面地检测每一个感兴趣区，从而提高模型的准确性
在本实施例中还提供了一种图像分割装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。以下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管在以下实施例中所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是本发明的实施例中的图像分割装置的结构框图。如图9所示，该装置包括：
图像获取模块910，用于获取待分割的图像；
图像分割模块920，用于采用训练后的深度学习网络模型对图像进行病灶分割，得到图像的病灶分割结果；
其中，深度学习网络模型为本发明中提出的深度学习网络模型。
本发明中提出的图像分割方法，主要采用本发明中所提出的深度学习网络模型对图像进行分割。首先是获取待分割图像，然后将该图像输入训练后的深度学习网络模型中，网络模型则会输出图像的分割结果，得到目标分割区域。其中，待分割的图像可以是医疗图像，从而利用本发明中的分割方法，可以有效分割出医疗图像中的病灶区域。进而在医疗领域，本发明中的图像分割方法可以用于辅助疾病诊断，判断患者是否出现相应疾病。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
在本实施例中还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
需要说明的是，在本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，在本实施例中不再赘述。
此外，结合上述实施例中提供的图像分割方法，在本实施例中还可以提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种图像分割方法。
需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
应该明白的是，这里描述的具体实施例只是用来解释这个应用，而不是用来对它进行限定。根据本申请提供的实施例，本领域普通技术人员在不进行创造性劳动的情况下得到的所有其它实施例，均属本申请保护范围。
显然，附图只是本申请的一些例子或实施例，对本领域的普通技术人员来说，也可以根据这些附图将本申请适用于其他类似情况，但无需付出创造性劳动。另外，可以理解的是，尽管在此开发过程中所做的工作可能是复杂和漫长的，但是，对于本领域的普通技术人员来说，根据本申请披露的技术内容进行的某些设计、制造或生产等更改仅是常规的技术手段，不应被视为本申请公开的内容不足。
“实施例”一词在本申请中指的是结合实施例描述的具体特征、结构或特性可以包括在本申请的至少一个实施例中。该短语出现在说明书中的各个位置并不一定意味着相同的实施例，也不意味着与其它实施例相互排斥而具有独立性或可供选择。本领域的普通技术人员能够清楚或隐含地理解的是，本申请中描述的实施例在没有冲突的情况下，可以与其它实施例结合。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对专利保护范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。
Claims (12)
1.一种图像分割方法，其特征在于，所述分割方法包括：
获取待分割的第一图像；
采用训练后的深度学习网络模型对所述第一图像进行病灶分割，得到所述第一图像的病灶分割结果；
其中，所述网络模型包括：编码网络（100）、解码网络（200）和中间网络（300）；
所述编码网络（100）和所述解码网络（200）之间通过所述中间网络（300）实现跳跃连接，所述中间网络（300）包括空洞卷积自注意力机制块（400）；
所述空洞卷积自注意力机制块（400）包括空洞卷积堆叠块（410）和空间自注意力机制块（420），所述空洞卷积堆叠块（410）的输出端与所述空间自注意力机制块（420）的输入端连接；
所述空洞卷积堆叠块（410）包括多个相互堆叠的空洞卷积核（411），多个所述空洞卷积核（411）的大小各不相同；
所述空间自注意力机制块（420）包括：最大值池化通道（421）、用于在通道层面求特征图平均值的第一通道（422）、用于在通道层面求特征图最小值的第二通道（423）、感知神经网络（424）和激活函数（425），所述最大值池化通道（421）、所述第一通道（422）和所述第二通道（423）堆叠后，通过所述感知神经网络（424）与所述激活函数（425）连接。
2.根据权利要求1所述的图像分割方法，其特征在于，所述空洞卷积核（411）至少为四个。
3.根据权利要求1所述的图像分割方法，其特征在于，所述空洞卷积堆叠块（410）还包括与所述空洞卷积核（411）堆叠的第一卷积核（412），所述第一卷积核（412）的大小为1×3×3；
所述第一卷积核（412）和多个所述空洞卷积核（411）通道叠加后，通过第二卷积核（430）与所述空间自注意力机制块（420）连接，所述第二卷积核（430）的大小为1×1×1。
4.根据权利要求1所述的图像分割方法，其特征在于，所述中间网络（300）还包括与所述空洞卷积自注意力机制块（400）堆叠的可变形三维卷积块（500）。
5.根据权利要求1所述的图像分割方法，其特征在于，所述图像为多模态磁共振图像；
所述获取待分割的第一图像包括：
获取第二图像，所述第二图像包括第一弥散加权成像模态图像和表观弥散系数模态图像；
根据所述第一弥散加权成像模态图像和所述表观弥散系数模态图像以及弥散加权指数公式，得到第二弥散加权成像模态图像；
根据所述第二弥散加权成像模态图像和所述表观弥散系数模态图像得到所述第一图像；
其中，所述第二弥散加权成像模态图像的弥散敏感因子高于所述第一弥散加权成像模态图像。
6.根据权利要求1所述的图像分割方法，其特征在于，所述图像为多模态磁共振图像；
所述获取待分割的第一图像包括：
获取第二图像，所述第二图像包括多个第一弥散加权成像模态图像；
根据多个所述第一弥散加权成像模态图像和弥散加权指数公式，得到第二弥散加权成像模态图像；
根据多个所述第二弥散加权成像模态图像得到所述第一图像；
其中，所述第二弥散加权成像模态图像的弥散敏感因子高于所述第一弥散加权成像模态图像。
7.根据权利要求5所述的图像分割方法，其特征在于，所述分割方法还包括：
对所述第二图像进行刚性配准，对所述第一图像进行归一化处理。
8.根据权利要求1所述的图像分割方法，其特征在于，所述分割方法还包括：
采用预设训练方法对所述深度学习网络模型进行训练；
所述预设训练方法包括：
采用分割网络对样本图像进行分区分割，得到所述样本图像的分区分割结果；
根据所述分区分割结果和先验信息生成分区概率图；
通过所述样本图像和所述分区概率图对所述深度学习网络模型进行训练。
9.根据权利要求8所述的图像分割方法，其特征在于，所述样本图像为样本多模态磁共振图像，所述样本多模态磁共振图像包括第一样本弥散加权成像模态图像；
所述预设训练方法还包括：
根据所述第一样本弥散加权成像模态图像和弥散加权指数公式，得到第二样本弥散加权成像模态图像；
其中，所述第二样本弥散加权成像模态图像的弥散敏感因子高于所述第一样本弥散加权成像模态图像。
10.根据权利要求8所述的图像分割方法，其特征在于，所述通过所述样本图像和所述分区概率图对所述深度学习网络模型进行训练包括：
在所述样本图像中标注目标分割区域，生成所述样本图像的标签；
通过标注后的所述样本图像和所述分区概率图对所述深度学习网络模型进行训练。
11.一种图像分割装置，其特征在于，所述分割装置包括：
图像获取模块，用于获取待分割的图像；
图像分割模块，用于采用训练后的深度学习网络模型对所述图像进行病灶分割，得到所述图像的病灶分割结果；
其中，所述网络模型包括：编码网络（100）、解码网络（200）和中间网络（300）；
所述编码网络（100）和所述解码网络（200）之间通过所述中间网络（300）实现跳跃连接，所述中间网络（300）包括空洞卷积自注意力机制块（400）；
所述空洞卷积自注意力机制块（400）包括空洞卷积堆叠块（410）和空间自注意力机制块（420），所述空洞卷积堆叠块（410）的输出端与所述空间自注意力机制块（420）的输入端连接；
所述空洞卷积堆叠块（410）包括多个相互堆叠的空洞卷积核（411），多个所述空洞卷积核（411）的大小各不相同；
所述空间自注意力机制块（420）包括：最大值池化通道（421）、用于在通道层面求特征图平均值的第一通道（422）、用于在通道层面求特征图最小值的第二通道（423）、感知神经网络（424）和激活函数（425），所述最大值池化通道（421）、所述第一通道（422）和所述第二通道（423）堆叠后，通过所述感知神经网络（424）与所述激活函数（425）连接。
12.一种图像的分割系统，其特征在于，所述分割系统用于执行权利要求1至权利要求10中任一项所述的图像分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310245416.9A CN115953420B (zh) | 2023-03-15 | 2023-03-15 | 深度学习网络模型以及医疗图像分割方法、装置和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310245416.9A CN115953420B (zh) | 2023-03-15 | 2023-03-15 | 深度学习网络模型以及医疗图像分割方法、装置和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115953420A CN115953420A (zh) | 2023-04-11 |
| CN115953420B true CN115953420B (zh) | 2023-08-22 |
Family
ID=87287998
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310245416.9A Active CN115953420B (zh) | 2023-03-15 | 2023-03-15 | 深度学习网络模型以及医疗图像分割方法、装置和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953420B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116630628B (zh) * | 2023-07-17 | 2023-10-03 | 四川大学 | 一种主动脉瓣钙化分割方法、系统、设备及存储介质 |
| CN118429334B (zh) * | 2024-07-02 | 2024-08-30 | 西安市第三医院 | 一种端到端的骨密度测量方法及设备 |
| CN118470078B (zh) * | 2024-07-11 | 2024-09-24 | 杭州唯精医疗机器人有限公司 | 图像配准方法、图像优化显示方法、设备、介质和程序产品 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN111028206A (zh) * | 2019-11-21 | 2020-04-17 | 万达信息股份有限公司 | 一种基于深度学习前列腺癌自动检测和分类系统 |
| CN112017191A (zh) * | 2020-08-12 | 2020-12-01 | 西北大学 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
| CN114494144A (zh) * | 2021-12-28 | 2022-05-13 | 深圳市联影高端医疗装备创新研究院 | 图像分割方法、装置、计算机设备和存储介质 |
| CN114612656A (zh) * | 2022-01-12 | 2022-06-10 | 山东师范大学 | 基于改进ResU-Net神经网络的MRI图像分割方法及系统 |
| CN115205300A (zh) * | 2022-09-19 | 2022-10-18 | 华东交通大学 | 基于空洞卷积和语义融合的眼底血管图像分割方法与系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10922816B2 (en) * | 2018-08-27 | 2021-02-16 | Siemens Healthcare Gmbh | Medical image segmentation from raw data using a deep attention neural network |
-
2023
- 2023-03-15 CN CN202310245416.9A patent/CN115953420B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189334A (zh) * | 2019-05-28 | 2019-08-30 | 南京邮电大学 | 基于注意力机制的残差型全卷积神经网络的医学图像分割方法 |
| CN111028206A (zh) * | 2019-11-21 | 2020-04-17 | 万达信息股份有限公司 | 一种基于深度学习前列腺癌自动检测和分类系统 |
| CN112017191A (zh) * | 2020-08-12 | 2020-12-01 | 西北大学 | 基于注意力机制的肝脏病理图像分割模型建立及分割方法 |
| CN114494144A (zh) * | 2021-12-28 | 2022-05-13 | 深圳市联影高端医疗装备创新研究院 | 图像分割方法、装置、计算机设备和存储介质 |
| CN114612656A (zh) * | 2022-01-12 | 2022-06-10 | 山东师范大学 | 基于改进ResU-Net神经网络的MRI图像分割方法及系统 |
| CN115205300A (zh) * | 2022-09-19 | 2022-10-18 | 华东交通大学 | 基于空洞卷积和语义融合的眼底血管图像分割方法与系统 |
Non-Patent Citations (1)
| Title |
|---|
| 多尺度特征融合的图像语义分割;马冬梅;杨彩锋;李鹏辉;西北师范大学学报(自然科学版)(第01期);48-54 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115953420A (zh) | 2023-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115953420B (zh) | 深度学习网络模型以及医疗图像分割方法、装置和系统 | |
| WO2020182033A1 (zh) | 图像区域定位方法、装置和医学图像处理设备 | |
| US10769791B2 (en) | Systems and methods for cross-modality image segmentation | |
| CN109035284B (zh) | 基于深度学习的心脏ct图像分割方法、装置、设备及介质 | |
| Zhang et al. | Multi‐needle localization with attention U‐net in US‐guided HDR prostate brachytherapy | |
| WO2022121100A1 (zh) | 一种基于darts网络的多模态医学图像融合方法 | |
| CN113470029B (zh) | 训练方法及装置、图像处理方法、电子设备和存储介质 | |
| WO2022001237A1 (zh) | 鼻咽癌原发肿瘤图像自动识别方法及系统 | |
| CN114037714B (zh) | 一种面向前列腺系统穿刺的3d mr与trus图像分割方法 | |
| CN112396605B (zh) | 网络训练方法及装置、图像识别方法和电子设备 | |
| CN113012173A (zh) | 基于心脏mri的心脏分割模型和病理分类模型训练、心脏分割、病理分类方法及装置 | |
| CN116402865B (zh) | 一种利用扩散模型的多模态影像配准方法、装置和介质 | |
| CN106709920B (zh) | 血管提取方法及其装置 | |
| TWI697010B (zh) | 醫療矢面影像的取得方法、神經網路的訓練方法及計算機裝置 | |
| CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
| CN114119637B (zh) | 基于多尺度融合和拆分注意力的脑白质高信号分割方法 | |
| CN114219755B (zh) | 基于图像和临床数据的肺结核智能检测方法及系统 | |
| CN117408908B (zh) | 一种基于深度神经网络的术前与术中ct图像自动融合方法 | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| CN114863225A (zh) | 图像处理模型训练方法、生成方法、装置、设备及介质 | |
| CN114445334A (zh) | 图像分析的方法、装置、设备及存储介质 | |
| CN116091466A (zh) | 图像分析方法、计算机设备和存储介质 | |
| CN108038840A (zh) | 一种图像处理方法、装置、图像处理设备及存储介质 | |
| US11455755B2 (en) | Methods and apparatus for neural network based image reconstruction | |
| CN112767403A (zh) | 医学影像分割模型训练方法、医学影像分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |