CN115829962A - 医学图像分割装置、训练方法及医学图像分割方法 - Google Patents
医学图像分割装置、训练方法及医学图像分割方法 Download PDFInfo
- Publication number
- CN115829962A CN115829962A CN202211497454.5A CN202211497454A CN115829962A CN 115829962 A CN115829962 A CN 115829962A CN 202211497454 A CN202211497454 A CN 202211497454A CN 115829962 A CN115829962 A CN 115829962A
- Authority
- CN
- China
- Prior art keywords
- extraction module
- information extraction
- module
- image segmentation
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003709 image segmentation Methods 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims description 50
- 238000012549 training Methods 0.000 title claims description 40
- 238000000605 extraction Methods 0.000 claims abstract description 99
- 238000005070 sampling Methods 0.000 claims abstract description 50
- 230000004927 fusion Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 35
- 239000000284 extract Substances 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 10
- 238000011176 pooling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 description 22
- 201000001441 melanoma Diseases 0.000 description 13
- 230000008569 process Effects 0.000 description 12
- 230000004913 activation Effects 0.000 description 8
- 238000010606 normalization Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 208000014081 polyp of colon Diseases 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
Abstract
一种医学图像分割装置,包括:编码器,接收待分割图像,并对待切割图像进行特征提取;所述编码器包括n层编码单元,每层编码单元包括纹理信息提取模块、形状信息提取模块、边缘信息提取模块和融合模块;n≥3;解码器,用于恢复图像细节,最终输出图像分割结果;所述解码器包括n层解码单元;每层解码单元包括上采样模块;n≥3;所述编码器和解码器通过跳跃连接方式连接;每层编码单元的所述边缘信息提取模块与所述第n层解码单元的上采样模块连接,用于接收上一次的图像分割结果。通过提取待处理图像的多维度信息,然后对所提取的细节纹理,形状偏差和边缘信息进行融合,能够全面、高效地利用病灶图片的信息,从而达到精准分割病灶的目的。
Description
技术领域
本公开涉及医学图像分割技术领域,尤其涉及一种多特征融合的图像分割技术。
背景技术
图像分割是计算机视觉领域的一个重要分支,广泛应用于工业检测、生物识别、智能交通、安防、智慧医疗等各个领域。图像分割技术大致可划分为基于图论的方法、基于像素聚类的方法和基于深度语义的方法这三大类。传统的分割方法仅根据像素点的颜色、亮度、纹理等较低层次的内容信息,分割效果差,容易产生错误的分割。基于基于深度语义的图像分割能够利用高级语义信息,很大程度上解决了传统图像分割方法中语义信息缺失的问题,获得了较大的成功。
目前,对于医学图像的分割,特别是黑色素瘤图像分割,基于深度语义的分割方法大多基于U-Net网络架构以及在U-Net架构之上的拓展模型。最初Ronneberger O等最先将U-Net网络应用于黑色素瘤图像分割。随后,Zhou Z等提出Unet++,它应用一系列的网格状的密集跳跃路径来提升U-net分割的准确性。Xiao X等提出了Res-UNet,通过在U-net的每一个子模块中加入残差链接,提升了黑色素瘤图像分割任务的基准。Jieneng Chen等提出TransUNet,它将Transformer应用在医学图像分割任务中,并得出很高的精度,进一步提升了黑色素瘤图像的分割基准。Jeya Maria Jose Valanarasu等提出了UNeXt,它是一个融合了卷积和MLP的轻量化架构。相关专利文献可参考下述文献6、7。
以上这些黑色素瘤图像分割网络,分割的精准性等效果仍有待提高。
参考文献:
1.Ronneberger O,Fischer P,Brox T.U-net:Convolutional networks forbiomedical image segmentation[C]//International Conference on Medical imagecomputing and computer-assisted intervention.Springer,Cham,2015:234-241。
2.Zhou Z,Rahman Siddiquee M M,Tajbakhsh N,et al.Unet++:A nested u-netarchitecture for medicalimage segmentation[M]//Deep learning in medical imageanalysis and multimodal leaming for clinical decision support.Springer,Cham,2018:3-11。
3.Xiao X,Lian S,Luo Z,et al.Weighted res-unet for high-qualityretinavessel segmentation[C]//20189th international conference on informationtechnology in medicine and education(ITME).IEEE,2018:327-331。
4.Jieneng Chen,Yongyi Lu,Qihang Yu,Xiangde Luo,Ehsan Adeli,Yan Wang,Le Lu,Alan L. Yuille,Yuyin Zhou.TransUNet:Transformers Make StrongEncodersfor MedicalImage Segmentation.arXiv preprint arXiv:2102.04306,2021。
5.Jeya Maria Jose Valanarasu and Vishal M.Patel.UNeXt:MLP-based RapidMedicalImage Segmentation Network.arXiv preprint arXiv:2203.04967,2022,3.9。
6.CN 111860528 A,公开日2020.10.30。
7.CN 113077471 A,公开日2021.07.06。
发明内容
有鉴于此,本公开的目的在于提供一种医学图像分割装置、训练方法及医学图像分割方法,能够解决上述医学图像分割精准性不足的技术问题。
本公开提供一种医学图像分割装置,包括:
编码器接收待分割图像,并对待切割图像进行特征提取;所述编码器包括n层编码单元,每层编码单元包括纹理信息提取模块、形状信息提取模块、边缘信息提取模块和融合模块;n≥3;
解码器,用于恢复图像细节,最终输出图像分割结果;所述解码器包括n层解码单元;每层解码单元包括上采样模块;n≥3;
所述编码器和解码器通过跳跃连接方式连接;
每层编码单元的所述边缘信息提取模块与所述第n层解码单元的上采样模块连接,用于接收上一次的图像分割结果。
可选的,所述纹理信息提取模块用于获取纹理信息,包括至少两个小核卷积模块和残差连接。
可选的,所述形状信息提取模块用于获取形状信息,包括大核卷积、多层感知器和残差连接。
可选的,所述边缘信息提取模块用于获取边缘信息,包括最大池化结构。
可选的,所述纹理信息提取模块、形状信息提取模块、边缘信息提取模块的处理方式为并行处理。
可选的,所述融合模块包括拼接模块,用于将所述纹理信息提取模块、形状信息提取模块、边缘信息提取模块所提取的纹理信息、形状信息和边缘信息进行融合。
本公开还提供一种医学图像分割装置的训练方法,包括以下步骤:
数据集预处理,将数据集按照预定的比例随机划分成训练集和验证集;
建立上述医学图像分割装置;
将训练集输入所述医学图像分割装置进行训练;
将验证集图像输入所述医学图像分割装置进行验证。
可选的,所述训练方法包括:将训练集输入所述医学图像分割装置进行训练进一步包括:每一层编码单元的边缘信息提取模块接收上一轮训练输出的图片,提取边缘信息。
可选的,所述训练方法包括:将所提取的纹理信息、形状信息和边缘信息进行融合。
本公开还提供一种医学图像分割方法,包括以下步骤:
获取待分割医学图像;
采用上述医学图像分割装置接收待分割图像,并进行图像分割处理,输出处理结果。
有益效果:
1、采用纹理信息提取模块、形状信息提取模块、边缘信息提取模块并行提取待处理图像的多维度信息,然后对所提取的纹理,形状和边缘信息进行融合,能够全面、高效地利用病灶图片的信息,从而达到精准分割病灶的目的。
2、将每层编码单元的边缘信息提取模块与第n解码单元的上采样模块连接,用于接收上一轮训练输出的预测图片,或上一次预测的结果,一方面能够为分割任务提供边缘信息,加强了图像分割装置对病灶轮廓的关注。同时预测图片还起到了一定的监督作用,它为网络提供先验信息,在训练过程中有助于改进新预测的图片。另一方面,在编码器的每一层都加入边缘信息提取模块,使得网络能够一直聚焦和强调关键的边缘特征,达到特征流收敛的目标。
附图说明
为了更清楚地说明本公开中的技术方案,下面将对实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开的医学图像分割装置示意图;
图2为本公开的纹理信息提取模块示意图;
图3为本公开的形状信息提取模块示意图;
图4为本公开的融合模块示意图;
图5为对黑色素瘤图像进行分割的结果示意图;
图6为对结肠息肉图像进行分割的结果示意图。
具体实施方式
下面将结合本说明书中的附图,对本说明书提供的实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是一部分实施方式,而不是全部的实施方式。基于本说明书提供的实施方式,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
发明人发现,现有的黑色素瘤图像分割网络只考虑如何提取单方面的特征,没有全面地利用图像的多尺度和多方面的信息,导致分割的精准度不足。
本公开提供一种医学图像分割装置,如图1所示,包括:编码器,解码器。
编码器接收待分割图像,并对待分割图像进行特征提取,捕获图像内容的抽象信息,同时消除噪声等。其包括多层编码单元,第一编码单元、第二编码单元……,第n编码单元,n≥3,优选4。每层编码单元包括第一输入端、第二输入端以及输出端。每层编码单元之间通过下采样单元连接起来。下采样单元,或称池化单元,包括卷积操作,优选平均池化实现。
可以理解的,若有n层编码单元,则存在n-1个下采样单元。每个下采样单元包括输入端、第一输出端和第二输出端。第一下采样单元的输入端与第一编码单元的输出端连接,用于接收第一编码单元的输出数据。第一下采样单元的第一输出端与第二编码单元的输入端连接。依此类推,第n-1下采样单元的输入端与第n-1编码单元的输出端连接,第n-1下采样单元的第一输出端与第n编码单元的输出端连接。
解码器,用于实现上采样过程,恢复图像细节,最终输出图像分割结果。上采样的实现方式包括双线性插值、反卷积、反池化等,优选反卷积。解码器包括多层解码单元,第一解码单元、第二解码单元……,第n编码单元。n≥3,优选4。每层解码单元之间相互串联、堆叠。每层解码单元包括第一输入端、第二输入端和输出端。
第1至第n-1层解码单元包括相互串联堆叠的上采样模块(Up)和卷积模块(Conv2)。卷积模块(Conv2)优选由2层3×3卷积构成,用于突出局部特征。上采样模块是反卷积结构,实现反卷积操作。第n解码单元仅包括上采样模块,包括输入端、第一输出端和第二输出端。第n解码单元的第一输出端输出最终图像切割处理结果。
第一解码单元的第一输入端连接第n编码单元输出端,用于接收第n编码单元的输出数据。第二解码单元的第一输入端连接第一解码单元的输出端,用于对上一阶段的解码单元输出数据进行处理。同理,第n解码单元的第一输入端连接第n-1解码单元的输出端。
编码单元与解码单元一一对应,数量相同。
每层编码单元包括纹理信息提取模块、形状信息提取模块、边缘信息提取模块和融合模块。每层编码单元的第二输入端与边缘信息提取模块连接,向其输入信息。
纹理信息提取模块用于提取图像的细节纹理特征,优选具有残差结构的小核卷积,在接受城内进行提取,例如3×3小核卷积。
形状信息提取模块用于提取图像的全局特征,包括大核卷积和多层感知器(MLP)。通过采用大核卷积,来覆盖更大感受野上的信息,从而能够提取特征的形状信息。优选7×7大核卷积。
每层编码单元的边缘信息提取模块与第n层解码单元的上采样模块连接,用于接收上一次图像分割输出的预测图片,提取其边缘信息。该模块在第一轮训练时的初始输入为一张随机生成的图片。边缘信息指的是图像中待分割物的整体边缘。例如,对于黑色素瘤图像,其边缘信息为黑色素瘤与其他区域的完整边缘。边缘信息提取模块包含最大池化,来修改所述预测图片的大小,以便后续的融合工作。
纹理信息提取模块、形状信息提取模块、边缘信息提取模块的处理方式为并行处理。
融合模块用于融合纹理信息提取模块、形状信息提取模块、边缘信息提取模块三个并行模块处理后的特征图。每层编码单元的融合模块与输出端连接,通过其输出编码单元的处理结果。经融合处理后的特征图同时保留了细节纹理信息,粗粒度的形状信息和边缘信息。
编码器和解码器之间通过跳跃连接方式连接。具体而言,n层编码单元中每层编码单元的第二输入端接收上一轮训练输出的图像分割结果。所述上一轮指的是从编码器接收待处理图像到解码器输出分割后的图像的一次完整处理。第一下采样单元的第二输出端与第n-1解码单元的上采样模块的第二输入端连接。依此类推,第n下采样单元的第二输出端与第一解码单元的上采样模块的第二输入端连接。第n层解码单元的上采样模块的第二输出端将该轮处理结果输入至每层编码单元的第二输入端。
随着网络的深度增加,一些信息例如梯度信息会随之丢失,通过跳跃连接使来自深层的梯度能够不受阻碍地传播到上层,从而避免信息丢失。
通过采用纹理信息提取模块、形状信息提取模块和边缘信息提取模块三个分支,分别并行提取待处理图像的纹理信息、形状信息和边缘信息,然后通过融合模块将所提取的这三种信息相互融合,提高了图像分割的精准性。
上述医学图像分割装置的工作过程如下:
编码器接收待处理图像后,采用多层编码单元进行多个阶段的特征提取。具体而言,在第一特征提取阶段,第一编码单元的纹理信息提取模块、形状信息提取模块分别提取原始图像的纹理信息和形状信息。同时,第一编码单元的边缘信息提取模块接收上一次的图像分割结果图片,提取边缘信息,如此,能够为分割任务提供边缘信息,强化对待分割对象轮廓的关注,从而相对抑制无关特征的提取。融合模块融合上述三个并行模块处理后的特征图,输出第一特征提取阶段的处理结果。第一下采样单元接收第一编码单元的处理结果,进行下采样后,将处理结果输出至第二编码单元。
在第二特征提取阶段,第二编码单元的纹理信息提取模块、形状信息提取模块分别提取第一下采样单元所输出的特征图的纹理信息和形状信息。同时,第二编码单元的边缘信息提取模块接收上一次的图像分割结果图片,提取边缘信息,如此,能够为分割任务提供边缘信息,强化对待分割对象轮廓的关注,从而相对抑制无关特征的提取。第二编码单元的融合模块融合上述三个并行模块处理后的特征图,输出第二特征提取阶段的处理结果。第二下采样单元接收第二编码单元的处理结果,进行下采样后,将处理结果输出至下一层编码单元。
与上述处理过程相同的,在第n特征提取阶段,第n编码单元的纹理信息提取模块、形状信息提取模块分别提取前一下采样单元所输出的特征图的纹理信息和形状信息。同时,第n编码单元的边缘信息提取模块接收上一次的图像分割结果图片,提取边缘信息。第n编码单元的融合模块融合上述三个并行模块处理后的特征图,输出第n特征提取阶段的处理结果。n≥3。
经过多层编码单元的特征提取之后,编码器将结果输出至解码器,由解码器的多层解码单元进行逐层上采样操作,恢复图像细节,最终输出图像分割结果。具体而言,编码器的每一层解码单元依次采用上采样模块和卷积模块对编码器的输出结果进行上采样和卷积操作。第n层解码单元接收第n-1层解码单元的输出结果,进行解码处理。n≥3,优选4。最后一层解码单元只包含上采样单元,对上一层解码单元输出的结果进行解码处理后输出解码器的图像处理结果。
其中,第一层解码单元的上采样模块接收第n-1层下采样单元的输出结果,第二层的解码单元的上采样模块接收第n-2层下采样单元的输出结果……第n层解码单元的上采样模块接收第1层下采样单元的输出结果,如此实现编码器和解码器的跳跃连接。随着网络的深度增加,一些信息例如梯度信息会随之丢失,通过跳跃连接使来自深层的梯度能够不受阻碍地传播到上层,从而避免信息丢失。
在本公开的一些实施方式中:
上述医学图像分割装置采用纯卷积网络实现;优选ConVUNeXt。
纹理信息提取模块包括至少两个卷积单元和残差连接。其结构如图2所示,第一卷积单元对输入信号进行处理后输出至第二卷积单元,由第二卷积单元处理后输出。同时输入信号直接与第二卷积单元的输出信号进行求和,以实现残差连接。在卷积操作之中加入残差连接,能够在追求更深的网络显著提高模型的性能,同时避免深度的增加带来的梯度消失或爆炸的问题。
至少两个卷积单元均包括第一卷积模块、通道内归一化模块和神经激活模块。所述第一卷积模块为小核卷积,优选3×3卷积。通过接受域内3×3卷积操作覆盖更多的细粒度的纹理特征,从而有效地提取图片的纹理信息。所述3×3卷积是深度可分离卷积,在减少计算量的同时又不影响其特征提取的性能。通道内归一化模块(Instance Norm)由于计算归一化统计量时没有混合批量和通道之间的数据,其适用于批量较小且单独考虑每个像素点的场景中,例如数据集ISIC-2018。神经激活模块优选Leaky Relu激活函数。用于避免神经元“死亡”的问题。
形状信息提取模块的结构如图3所示,包括大核卷积模块、多层感知器(MLP)和残差连接。大核卷积模块包括大核卷积层和通道方向归一化层。大核卷积层优选7×7大核卷积。大核卷积为深度可分离卷积,可以覆盖更大感受野中的信息,在减少计算量的同时有效地获得更高的形状偏差。多层感知器(MLP)依次由线性层、激活层和线性层叠加而成。大核卷积模块对输入信号进行处理后输出至多层感知器(MLP),由多层感知器(MLP)处理后输出。同时输入信号直接与多层感知器(MLP)的输出信号进行求和,以实现残差连接。
边缘信息提取模块的输入为上一次输出的预测图片(也叫mask图片),Mask图片能够为分割任务提供边缘信息。其结构包含了一个最大池化,用来调整mask图片的大小。mask图片采用上一轮的预测图片(第一轮训练时,mask图片为一张随机生成的图片),能够为分割任务提供边缘信息,加强了网络对病灶轮廓的关注,从而相对抑制无关特征的提取。同时mask图片还起到了一定的监督作用,为网络提供先验信息,在与另外两条支路的特征图融合时保证提取的特征聚焦于病灶形状和结构,在训练过程中有助于改进新预测的mask图片。随着网络的加深,在经过卷积和下采样操作后,底层的特征会流失很多信息。为了避免特征流失,在编码器的每一层都加入mask模块,来使网络能够一直聚焦和强调关键的边缘特征,达到特征流收敛的目标。
在本公开的一些实施方式中,如图4所示,融合模块包括:第一卷积模块、第二卷积模块、第三卷积模块、拼接模块、第四卷积模块、批归一化模块和神经激活模块。第一卷积模块、第二卷积模块、第三卷积模块分别对纹理信息提取模块、形状信息提取模块和边缘信息提取模块所提取的特征图进行1×1卷积操作,改变所述特征图通道数,使三者的通道数一致。然后通过拼接模块把卷积操作后的数据在通道数维度上连接起来。最后,依次采用第四卷积模块、批归一化模块和神经激活模块进行处理。第四卷积模块优选3×3的卷积。神经激活模块优选relu激活函数。通过融合模块使融合后的特征图同时保留了细节纹理,形状和边缘信息。
本公开还提供了上述医学图像的分割装置的训练方法,包括以下步骤:
S10,数据集预处理。可选的,数据集采用ISIC-2018或Kavsir-SEG。该数据集由2594张和1000张图像组成。将所有图像的大小调整为预定尺寸,可选的,512×512。然后按照预定的比例随机划分成训练集和验证集。所述预定的比例优选9:1。
S20,准备上述医学图像分割装置。优选在PyTorch中完成医学图像分割装置的架构。所述医学图像分割装置采用纯卷积网络实现;优选ConVUNeXt。
S30,设置训练参数,将训练集图像输入所述医学图像分割装置进行训练。优选的,采用AdamW优化器,初始学习率为0.0001,训练期为100次迭代,批大小设置成2,损失函数采用Dice Coefficient。保存网络训练的权重。
每一轮(每次迭代)训练过程如下:
采用多层编码单元进行多个阶段的特征提取。具体而言,在第一特征提取阶段,第一编码单元的纹理信息提取模块、形状信息提取模块分别提取原始图像的纹理信息和形状信息。同时,第一编码单元的边缘信息提取模块接收上一轮训练输出的图片,提取边缘信息(在第一轮训练时,该模块的输入为一张随机生成的图片)。融合模块融合上述三个并行模块处理后的特征图,输出第一特征提取阶段的处理结果。所述上一轮指的是从编码器接收待处理图像到解码器输出分割后的图像的一次完整处理。第一轮训练时,其初始输入为一个随机构造的图片。第一下采样单元接收第一编码单元的处理结果,进行下采样后,将处理结果输出至第二编码单元。
在第二特征提取阶段,第二编码单元的纹理信息提取模块、形状信息提取模块分别提取第一下采样单元所输出的特征图的纹理信息和形状信息。同时,第二编码单元的边缘信息提取模块接收上一轮训练输出的图片,提取边缘信息(在第一轮训练时,该模块的输入为一张随机生成的图片)。第二编码单元的融合模块融合上述三个并行模块处理后的特征图,输出第二特征提取阶段的处理结果。第二下采样单元接收第二编码单元的处理结果,进行下采样后,将处理结果输出至下一层编码单元。
与上述处理过程相同的,在第n特征提取阶段,第n编码单元的纹理信息提取模块、形状信息提取模块分别提取前一下采样单元所输出的特征图的纹理信息和形状信息。同时,第n编码单元的边缘信息提取模块接收上一轮训练输出的图片,提取边缘信息(在第一轮训练时,该模块的输入为一张随机生成的图片)。第n编码单元的融合模块融合上述三个并行模块处理后的特征图,输出第n特征提取阶段的处理结果。n≥3。
经过多层编码单元的特征提取之后,编码器将结果输出至解码器,由解码器的多层解码单元进行逐层上采样操作,恢复图像细节,最终输出图像分割结果。具体而言,编码器的每一层解码单元依次采用上采样模块和卷积模块对编码器的输出结果进行上采样和卷积操作。第n层解码单元接收第n-1层解码单元的输出结果,进行解码处理。n≥3,优选4。最后一层解码单元只包含上采样单元,对上一层解码单元输出的结果进行解码处理后输出解码器的图像处理结果。
其中,第一层解码单元的上采样模块接收第n-1层下采样单元的输出结果,第二层的解码单元的上采样模块接收第n-2层下采样单元的输出结果……第n层解码单元的上采样模块接收第1层下采样单元的输出结果,如此实现编码器和解码器的跳跃连接。随着网络的深度增加,一些信息例如梯度信息会随之丢失,通过跳跃连接使来自深层的梯度能够不受阻碍地传播到上层,从而避免信息丢失。
S40,将验证集图像输入所述医学图像分割装置进行验证。在验证集上,权重采用步骤S30所述的权重。
本公开还提供一种医学图像分割方法,包括以下步骤:
P10,获取待分割图像。获取方式包括图像采集单元,例如图像传感器、摄像头等;图像接收单元包括能够通过有线或无线方式接收图像信号的装置,例如图像采集卡、上位机、下位机、服务器、工作站等。
P20,采用上述医学图像分割装置接收待分割图像,并进行图像分割处理,输出处理结果。
参照图5,采用上述医学图像分割装置或方法对黑色素瘤图像进行分割的结果。图5a0、图5b0、图5c0为原始待处理图像。图5a1、图5b1、图5c1为相应的真实的黑色素瘤分割结果。图5a2、图5b2、图5c2为采用上述医学图像分割装置或方法进行黑色素瘤分割的结果。分割精度为89.8。本公开能够全面地提取黑色素瘤图像的纹理,形状和边缘信息,这三种信息相互融合能够提高图像分割的精准性。
参照图6,采用上述医学图像分割装置或方法对结肠息肉图像进行分割的结果。图6a0、图6b0、图6c0为原始待处理图像。图6a1、图6b1、图6c1为相应的真实的结肠息肉分割结果。图6a2、图6b2、图6c2为采用上述医学图像分割装置或方法进行结肠息肉分割的结果。分割精度为83.18。本公开能够全面地提取结肠息肉图像的纹理,形状和边缘信息,这三种信息相互融合能够提高图像分割的精准性。
通过上述实例可证明,本公开提供的装置和方法在医学图像分割应用领域具有良好的泛化能力和鲁棒性。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被计算机执行时使得,该计算机执行上述任一实施方式中的医学图像分割方法。
本公开还提供一种包含指令的计算机程序产品,该指令被计算机执行时使得计算机执行上述任一实施方式中的医学图像分割方法。
可以理解,本文中的具体的例子只是为了帮助本领域技术人员更好地理解本公开,而非限制本发明的范围。
可以理解,在本说明书中的各种实施方式中,各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开的实施过程构成任何限定。
可以理解,本说明书中描述的各种实施方式,既可以单独实施,也可以组合实施,本公开对此并不限定。
除非另有说明,本公开所使用的所有技术和科学术语与本说明书的技术领域的技术人员通常理解的含义相同。本说明书中所使用的术语只是为了描述具体的实施方式的目的,不是旨在限制本说明书的范围。本说明书所使用的术语“和/或”包括一个或多个相关的所列项的任意的和所有的组合。在本公开和所附权利要求书中所使用的单数形式的“一种”、“上述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
本领域普通技术人员可以意识到,结合本文中所公开的实施方式描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本说明书的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施方式中的对应过程,在此不再赘述。
在本说明书所提供的几个实施方式中,应所述理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本说明书各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本说明书的技术方案本质上或者说对现有技术做出贡献的部分或者所述技术方案的部分可以以软件产品的形式体现出来,所述计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM)、随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本说明书的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本说明书的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种医学图像分割装置,其特征在于,包括:
编码器,接收待分割图像,并对待切割图像进行特征提取;所述编码器包括n层编码单元,每层编码单元包括纹理信息提取模块、形状信息提取模块、边缘信息提取模块和融合模块;n≥3;
解码器,用于恢复图像细节,最终输出图像分割结果;所述解码器包括n层解码单元;每层解码单元包括上采样模块;n≥3;
所述编码器和解码器通过跳跃连接方式连接;
每层编码单元的所述边缘信息提取模块与所述第n层解码单元的上采样模块连接,用于接收上一次的图像分割结果。
2.根据权利要求1所述的装置,其特征在于,所述纹理信息提取模块用于获取纹理信息,包括至少两个小核卷积模块和残差连接。
3.根据权利要求1所述的装置,其特征在于,所述形状信息提取模块用于获取形状信息,包括大核卷积、多层感知器和残差连接。
4.根据权利要求1所述的装置,其特征在于,所述边缘信息提取模块用于获取边缘信息,包括最大池化结构。
5.根据权利要求1所述的装置,其特征在于,所述纹理信息提取模块、形状信息提取模块、边缘信息提取模块的处理方式为并行处理。
6.根据权利要求1所述的装置,其特征在于,所述融合模块包括拼接模块,用于将所述纹理信息提取模块、形状信息提取模块、边缘信息提取模块所提取的纹理信息、形状信息和边缘信息进行融合。
7.一种医学图像分割装置的训练方法,包括以下步骤:
数据集预处理,将数据集按照预定的比例随机划分成训练集和验证集;
建立权利要求1-5任一项所述的医学图像分割装置;
将训练集输入所述医学图像分割装置进行训练;
将验证集图像输入所述医学图像分割装置进行验证。
8.根据权利要求7所述的方法,其特征在于,将训练集输入所述医学图像分割装置进行训练的步骤包括:
每一层编码单元的边缘信息提取模块接收上一轮训练输出的图片,提取边缘信息。
9.根据权利要求8所述的方法,其特征在于,将所提取的纹理信息、形状信息和边缘信息进行融合。
10.一种医学图像分割方法,其特征在于,包括以下步骤:
获取待分割医学图像;
采用权利要求1-5任一项所述的医学图像分割装置接收待分割图像,并进行图像分割处理,输出处理结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211497454.5A CN115829962B (zh) | 2022-11-25 | 2022-11-25 | 医学图像分割装置、训练方法及医学图像分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211497454.5A CN115829962B (zh) | 2022-11-25 | 2022-11-25 | 医学图像分割装置、训练方法及医学图像分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115829962A true CN115829962A (zh) | 2023-03-21 |
CN115829962B CN115829962B (zh) | 2024-04-16 |
Family
ID=85531976
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211497454.5A Active CN115829962B (zh) | 2022-11-25 | 2022-11-25 | 医学图像分割装置、训练方法及医学图像分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115829962B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117132595A (zh) * | 2023-10-25 | 2023-11-28 | 北京市肿瘤防治研究所 | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112085743A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种肾肿瘤的图像分割方法 |
CN113554669A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
US20210397966A1 (en) * | 2020-06-18 | 2021-12-23 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
CN114612477A (zh) * | 2022-03-03 | 2022-06-10 | 成都信息工程大学 | 一种轻量化图像分割方法、系统、介质、终端及应用 |
WO2022197917A1 (en) * | 2021-03-18 | 2022-09-22 | Leica Biosystems Imaging, Inc. | Apparatus and method for training of machine learning models using annotated image data for pathology imaging |
-
2022
- 2022-11-25 CN CN202211497454.5A patent/CN115829962B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210397966A1 (en) * | 2020-06-18 | 2021-12-23 | Shanghai United Imaging Intelligence Co., Ltd. | Systems and methods for image segmentation |
CN112085743A (zh) * | 2020-09-04 | 2020-12-15 | 厦门大学 | 一种肾肿瘤的图像分割方法 |
WO2022197917A1 (en) * | 2021-03-18 | 2022-09-22 | Leica Biosystems Imaging, Inc. | Apparatus and method for training of machine learning models using annotated image data for pathology imaging |
CN113554669A (zh) * | 2021-07-28 | 2021-10-26 | 哈尔滨理工大学 | 一种改进注意力模块的Unet网络脑肿瘤MRI图像分割方法 |
CN114119638A (zh) * | 2021-12-02 | 2022-03-01 | 上海理工大学 | 一种融合多尺度特征和注意力机制的医学图像分割方法 |
CN114612477A (zh) * | 2022-03-03 | 2022-06-10 | 成都信息工程大学 | 一种轻量化图像分割方法、系统、介质、终端及应用 |
Non-Patent Citations (2)
Title |
---|
BINGE CUI ET AL.: "SANet A SeaLand Segmentation Network Via Adaptive Multiscale Feature Learning", IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING, vol. 14 * |
撖子奇 等: "一种结合HarDNet和反向注意力的息肉分割方法", 激光与光电子学进展 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117132595A (zh) * | 2023-10-25 | 2023-11-28 | 北京市肿瘤防治研究所 | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 |
CN117132595B (zh) * | 2023-10-25 | 2024-01-16 | 北京市肿瘤防治研究所 | 一种直肠癌及宫颈癌dwi图像智能轻量处理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115829962B (zh) | 2024-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Anwar et al. | Image colorization: A survey and dataset | |
Li et al. | Efficient violence detection using 3d convolutional neural networks | |
CN110188239B (zh) | 一种基于跨模态注意力机制的双流视频分类方法和装置 | |
Tian et al. | Instance and panoptic segmentation using conditional convolutions | |
CN114119975A (zh) | 一种语言引导的跨模态实例分割方法 | |
CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
CN111951195A (zh) | 图像增强方法及装置 | |
CN109766918B (zh) | 基于多层次上下文信息融合的显著性物体检测方法 | |
CN116721334B (zh) | 图像生成模型的训练方法、装置、设备及存储介质 | |
CN115829962B (zh) | 医学图像分割装置、训练方法及医学图像分割方法 | |
CN111914731A (zh) | 一种基于自注意力机制的多模态lstm的视频动作预测方法 | |
Li et al. | Dual attention convolutional network for action recognition | |
CN111160378A (zh) | 基于单张图像的多任务增强的深度估计系统 | |
CN111242068B (zh) | 基于视频的行为识别方法、装置、电子设备和存储介质 | |
CN115115540A (zh) | 基于光照信息引导的无监督低光图像增强方法及装置 | |
CN115731597A (zh) | 一种人脸口罩掩膜图像自动分割与修复管理平台及方法 | |
Kan et al. | A GAN-based input-size flexibility model for single image dehazing | |
CN115082306A (zh) | 一种基于蓝图可分离残差网络的图像超分辨率方法 | |
Leng et al. | Augmented two stream network for robust action recognition adaptive to various action videos | |
CN113379606A (zh) | 一种基于预训练生成模型的人脸超分辨方法 | |
CN110782503B (zh) | 一种基于两分支深度相关网络的人脸图像合成方法和装置 | |
CN116612416A (zh) | 一种指代视频目标分割方法、装置、设备及可读存储介质 | |
Lai et al. | Generative focused feedback residual networks for image steganalysis and hidden information reconstruction | |
CN116957921A (zh) | 图像渲染方法、装置、设备及存储介质 | |
Dastbaravardeh et al. | Channel Attention-Based Approach with Autoencoder Network for Human Action Recognition in Low-Resolution Frames |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |