CN113177938B - 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 - Google Patents
基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 Download PDFInfo
- Publication number
- CN113177938B CN113177938B CN202110569754.9A CN202110569754A CN113177938B CN 113177938 B CN113177938 B CN 113177938B CN 202110569754 A CN202110569754 A CN 202110569754A CN 113177938 B CN113177938 B CN 113177938B
- Authority
- CN
- China
- Prior art keywords
- sampling
- feature map
- target
- convolution
- circular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 201000007983 brain glioma Diseases 0.000 title claims abstract description 65
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000005070 sampling Methods 0.000 claims abstract description 96
- 238000004364 calculation method Methods 0.000 claims abstract description 77
- 230000011218 segmentation Effects 0.000 claims abstract description 36
- 239000012634 fragment Substances 0.000 claims abstract description 25
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 208000032612 Glial tumor Diseases 0.000 claims abstract description 9
- 206010018338 Glioma Diseases 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 claims description 23
- 230000004913 activation Effects 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 5
- 206010028980 Neoplasm Diseases 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 206010017711 Gangrene Diseases 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010030113 Oedema Diseases 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical compound CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 1
- 230000001490 effect on brain Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002075 inversion recovery Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件，该方法包括：获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像；利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段；将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积计算；利用U‑Net网络对经过卷积计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片。本发明通过将方形卷积核转变为圆形卷积核，从而更好地提取脑胶质瘤弧形边界的信息，使最终的分割结果更加精准。
Description
技术领域
本发明涉及图像分割技术领域，特别涉及基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件。
背景技术
脑胶质瘤是最常见的原发性脑肿瘤，会对患者的健康造成巨大威胁。治疗过程中医生通常要先根据MRI(核磁共振)图像来判断肿瘤的大小形状，才能进而做出诊断，制定治疗计划。例如，Flair(核共振成像液体衰减反转恢复序列)图上分割出的是Whole Tumor(整个肿瘤)，包括水肿、坏疽和增强瘤，而有的图像上分割出的是Tumor core(肿瘤核心)，包括坏疽和增强瘤，还有的图像可以分割Enhancing core，也就是增强瘤。但准确获取肿瘤的大小形状信息对医生来说费时费力，且对新手医生具有挑战性。而利用计算机辅助诊断手段来对脑胶质瘤区域进行图像分割可以减轻医生的负担并可以辅助医生做出更精准的诊断，具有重要的临床意义。
现有技术中，基于深度学习的脑胶质瘤分割方法可以解决传统的图像处理算法和机器学习算法中人工分析数据和设计分割特征的问题，并能实现自动脑胶质瘤分割，提升了算法的鲁棒性和有效性。但是，现有针对脑胶质瘤的深度学习分割方法鲜有将医学影像的先验知识运用到模型的学习和训练过程中，因此，模型精度提升有限。具体来说，周围组织的形变和脑胶质瘤的边界大多是弧形，而现有分割方法通常利用方形卷积核(3*3或5*5)对脑胶质瘤图像进行滤波操作。但方形卷积核容易将脑胶质瘤的弧形边界和其他信息混杂，不利于边界的识别，从而降低了模型对脑胶质瘤的分割精准度。
发明内容
本发明实施例提供了一种基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件，旨在提高对于脑胶质瘤的分割精准度。
第一方面，本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割方法，包括：
获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像；
利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段；
将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积点乘计算；
利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片。
第二方面，本发明实施例提供了一种基于圆形卷积核的脑胶质瘤的分割装置，包括：
图像预处理单元，用于获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像；
插值计算单元，用于利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段；
第一拼接单元，用于将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积点乘计算；
采样处理单元，用于利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片。
第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于圆形卷积核的脑胶质瘤的分割方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于圆形卷积核的脑胶质瘤的分割方法。
本发明实施例提供了一种基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件，该方法包括：获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像；利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段；将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积点乘计算；利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片。本发明实施例通过将方形卷积核转变为圆形卷积核，从而更好地提取脑胶质瘤弧形边界的信息，使最终的分割结果更加精准。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割方法的流程示意图；
图2为本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割方法的子流程示意图；
图3为本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割方法的示例示意图；
图4为本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割方法的另一示例示意图；
图5为本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割装置的示意性框图；
图6为本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割装置的子示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面请参见图1，图1为本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割方法的流程示意图，具体包括：步骤S101～S104。
S101、获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像；
S102、利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段；
S103、将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积点乘计算；
S104、利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片。
本实施例中，通过对获取的脑胶质瘤的医学图像进行预处理，得到多个方形特征图片段，然后利用双线性插值的方法将方形特征图片段转变为对应的圆形特征图片段，继而通过拼接圆形特征图片段得到目标特征图。在再对所述目标特征图进行卷积点乘计算，使目标特征图与最初的医学图像大小相等，然后通过U-Net网络对所述目标特征图进行采样处理，以得到最终的脑胶质瘤的分割图片。
脑胶质瘤往往会对周围的组织造成挤压，使其发生形变，而这些形变以及脑胶质瘤自身的边界信息是对脑胶质瘤医学图像进行分割的重要依据。同时，考虑到脑胶质瘤周围组织的形变和脑胶质瘤的边界大多是弧形，而相比于现有技术中常用的方形卷积核容易将重要的信息和不重要的信息混杂，圆形的卷积核更擅长提取这一类有弧度的信息，因此本实施例将方形卷积核转变为圆形卷积核，更好地提取脑胶质瘤周围组织的形变和脑胶质瘤的边界信息，进一步提升了对于脑胶质瘤图像的分割精准度。
在一实施例中，所述步骤S101包括：
对所述医学图像进行填充，得到特征图像；
按照预设卷积核大小对所述特征图像进行分离，得到多个方形特征图片段。
本实施例中，在对医学图像进行预处理时，首先对医学图像进行填充，然后为了便于特征图像与卷积核进行点乘操作，故将特征图像拆分为多个方形特征图片段。
在一具体应用场景中，卷积核大小为3×3，对医学图像进行0填充，即padding＝1；然后将特征图像拆分成多个待与卷积核做点乘的3×3的方形特征图片段，例如5×5的特征图像会被拆分为25个3×3方形特征图片段。
在一实施例中，所述步骤S102包括：
基于所述方形特征图片段与对应的圆形特征图片段的关系确定所述圆形特征图片段的位置和大小；
根据所述方形特征图片段与所述圆形特征图片段中位置相同的已知点，确定所述圆形特征图片段中待进行插值计算的目标点；
通过已知点和目标点的位置关系对所述目标点进行插值计算。
本实施例中，为了将方形卷积核转变为圆形卷积核，因此根据方形特征图片段和圆形特征图片段之间的关系对圆形特征图片段的位置和大小进行确定。换句话说，为了降低插值计算难度，本实施例使圆形特征图片段与方形特征图片段之间的重合度最大，也就是说，使方形特征图片段上的点尽可能地与圆形特征图片段上点重合。又由于卷积核大小为3×3，且后续圆形特征图片段会与卷积核进行点乘操作，即对于圆形特征图片段来说，需要确定圆形特征图片段上的9个点，因此可以根据方形特征图片段与圆形特征图片段重合的已知点对圆形特征图片段上的其他点(即所述目标点)进行插值计算。
在一具体实施例中，所述已知点为所述方形特征图片段的中心点(即所述圆形特征图片段的圆心)以及各边的中点和各边相交的顶点。举例来说，结合图3，在图3中，c0、c1、c2和c3即为已知点，e0为目标点。由于方形特征图片段的对角线与水平面的夹角为45度，e0与d0、d1的距离比值为(1-2**0.5/2):(2**0.5/2)，这也是d0与c0、c1的距离比，d1与c1、c3点距离比，因此利用插值点方法，根据已知点c0、c1、c2、c3计算d0、d1，进而计算e0的数值。具体计算过程如下所示：
按照上述计算e0的过程，可以依次计算确定方形特征图片段中对角线用于圆形特征图片段的其余3个交点。
在一实施例中，所述通过已知点和目标点的位置关系对所述目标点进行插值计算，包括：
利用矩阵乘法对所述圆形特征图片段上的目标点进行并行插值计算。
本实施例中，为了使插值计算的过程更加迅速，可以采用并行计算的方式进行插值计算。具体的，按照下式可以达到并行插值计算的效果：
上述公式的A、B均为依据目标点而得到的矩阵，在利用A矩阵和B矩阵对目标点进行插值计算后，最终得到的圆形特征图片段大小为：A×3×3方形特征图片段×B。
在一实施例中，所述步骤S103包括：
根据各所述方形特征图片段在所述特征图像中的位置顺序对对应的各所述圆形特征图片段进行拼接，得到目标特征图；
对所述目标特征图进行卷积点乘计算，得到大小与所述特征图像相同的目标特征图。
本实施例中，在将各圆形特征图片段拼接为目标特征图后，所述目标特征图的大小可能是特征图像大小的几倍之多，因此通过对所述目标特征图进行卷积点乘计算，可以使所述目标特征图与特征图像大小相同。
在一具体实施例中，对所述目标特征图进行kernel＝3,channel＝3,stride＝3,padding＝1的卷积点乘计算。
在一实施例中，如图2所示，所述步骤S104包括：步骤S201～S204。
S201、将经过卷积点乘计算的所述目标特征图输入至所述U-Net网络的第一下采样层中；
S202、利用批标准化和激活函数对所述目标特征图进行第一次处理；
S203、对处理后的目标特征图进行卷积计算；
S204、利用批标准化、激活函数和最大池化依次对卷积计算后的目标特征图进行第二次处理，得到目标特征图，并作为第一下采样层的输出结果。
本实施例中，将经过卷积点乘计算的所述目标特征图输入到U-Net网络的第一下采样层中，作为U-Net网络中第一个卷积计算的输出。具体的，在第一下采样中，首先对目标特征图进行批标准化和激活函数处理，然后进行卷积计算，再对目标特征图进行批标准化、激活函数和最大池化处理，即可得到第一下采样层的输出结果。
在一具体实施例中，经过卷积点乘计算的所述目标特征图大小为160×160×64，将其输入至第一下采样层，经过一个批标准化(batch normalization)和Relu激活函数处理后，再进行kernel＝3,channel＝64,stride＝1,padding＝1的卷积计算，然后继续批标准化和Relu激活函数处理，得到160×160×64的目标特征图，随后使用kernel＝3,stride＝2的2d最大池化对所述目标特征图进行处理，得到80×80×64的目标特征图，而80×80×64的目标特征图则将输入至第二下采样层和第四上采样层。
需要说明的是，U-Net网络包含Encoder(编码)和Decoder(解码)两部分。其中，Encoder由两个3×3的卷积层(ReLU)+2×2的max polling层(stride＝2)反复组成，每经过一次下采样，通道数翻倍；Decode由一个2×2的上采样卷积层(ReLU)+Concatenation(crop对应的Encoder层的输出特征图然后与Decoder层的上采样结果相加)+2个3×3的卷积层(ReLU)反复构成；最后一层通过一个1×1卷积将通道数变成期望的类别数。Encoder下采样4次，一共下采样16倍，对称地，decoder也相应上采样4次，将encoder得到的高级语义特征图恢复到原图片的分辨率。相比于FCN和Deeplab等，U-Net共进行了4次上采样，并在同一个相应的阶段使用了skip connection，而不是直接在高级语义特征上进行监督和loss反传，这样就保证了最后恢复出来的特征图融合了更多的低级特征，也使得不同尺寸的特征得到了的融合，从而可以进行多尺度预测。4次上采样也使得分割图恢复边缘等信息更加精细。
进一步的，在一实施例中，如图2所示，所述步骤S104还包括：
将第一下采样层的输出结果分别输入至第二下采样层和第四上采样层中进行下采样和上采样；
将所述第二下采样层的输出结果分别输入至第三层下采样和第三层上采样中进行下采样和上采样；
将第三下采样层的输出结果分别输入至第四层下采样和第二层上采样中进行下采样和上采样；
对第四层下采样的输出结果连续进行两次的卷积计算和批标准化处理，并将处理后的结果进行上采样和合并处理，从而得到最终的采样结果。
本实施例中，在得到第一下采样层的输出结果后，会将该输出结果分别经过至U-Net网络的第二下采样层和第三上采样层、第三下采样层和第二上采样层和第四下采样层和第一上采样层，进行相应的处理，然后将第四下采样层输出的结果与上采样层的输出结果进行合并处理，从而得到最终的采样结果，也即最终的脑胶质瘤的分割图片。
在一具体实施例中，在第二下采样层中，输入的80×80×64的目标特征图经过kernel＝3,channel＝128,stride＝1,padding＝1的卷积计算后，变为80×80×128的目标特征图，然后通过批标准化和Relu激活函数处理，再依次经过channel＝128的卷积计算、批标准化、Relu激活函数和最大池化，最终得到40×40×128的目标特征图，并作为第二下采样层的输出结果输入至第三下采样和第三上采样层。同样的，在第三下采样层和第四下采样层的处理过程与第二下采样层相似。最终第四下采样层输出的目标特征图的大小为10×512×512，对其进行两次kernel＝1,channel＝1024,stride＝1,padding＝1的卷积和批处理操作，然后对输出开始做上采样和合并，得到最终的结果。
在一实施例中，在Brats2019脑胶质瘤分割竞赛的公开的训练集数据中获取脑胶质瘤的分割图像。该训练集数据包括256个严重程度较高的病例和76个严重程度较低的病例，每个病例的标签是有多个经验丰富的医生分别做出判断，然后讨论得到的，数据多且可靠。
在另一实施例中，将本实施例提供的基于圆形卷积核的脑胶质瘤的分割方法与现有技术中对于脑胶质瘤的分割方法进行比较，比较结果如表1所示：
| Method | Whole tumor Dice | Tumor core Dice | Enhancing core Dice |
| U-net | 0.8137 | 0.7673 | 0.7876 |
| Round U-net | 0.8199 | 0.7761 | 0.7892 |
表1
由表1可知，Round U-Net(圆形卷积核U-Net网络)为本实施例提供的基于圆形卷积核的脑胶质瘤的分割方法。如表1所示，Round U-Net的分割结果在Whole tumor(整个肿瘤)、Tumor core(肿瘤核心)、Enhancing core(增核心)这三种病灶的Dice指标上都优于现有技术中使用U-Net网络的分割结果。结合图4可知，相比于现有技术中的分割方法(即图4中的U-Net网络)以及对应的真实结果(Ground Truth)，本实施例提供的基于圆形卷积核的脑胶质瘤的分割方法对于脑胶质瘤的分割效果更加优异明显。
图5为本发明实施例提供的一种基于圆形卷积核的脑胶质瘤的分割装置500的示意性框图，该装置500包括：
图像预处理单元501，用于获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像；
插值计算单元502，用于利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段；
第一拼接单元503，用于将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积点乘计算；
采样处理单元504，用于利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片。
图像预处理单元501包括：
填充单元，用于对所述医学图像进行填充，得到特征图像；
分离单元，用于按照预设卷积核大小对所述特征图像进行分离，得到多个方形特征图片段。
插值计算单元502包括：
关系确定单元，用于基于所述方形特征图片段与对应的圆形特征图片段的关系确定所述圆形特征图片段的位置和大小；
目标点确定单元，用于根据所述方形特征图片段与所述圆形特征图片段中位置相同的已知点，确定所述圆形特征图片段中待进行插值计算的目标点；
目标点计算单元，用于通过已知点和目标点的位置关系对所述目标点进行插值计算。
在一实施例中，所述目标点计算单元包括：
并行计算单元，用于利用矩阵乘法对所述圆形特征图片段上的目标点进行并行插值计算。
在一实施例中，所述第一拼接单元503包括：
第二拼接单元，用于根据各所述方形特征图片段在所述特征图像中的位置顺序对对应的各所述圆形特征图片段进行拼接，得到目标特征图；
第一卷积计算单元，用于对所述目标特征图进行卷积点乘计算，得到大小与所述特征图像相同的目标特征图。
在一实施例中，如图6所示，所述采样处理单元504包括：
第一输入单元601，用于将经过卷积点乘计算的所述目标特征图输入至所述U-Net网络的第一下采样层中；
第一处理单元602，用于利用批标准化和激活函数对所述目标特征图进行第一次处理；
第二卷积计算单元603，用于对处理后的目标特征图进行卷积计算；
第二处理单元604，用于利用批标准化、激活函数和最大池化依次对卷积计算后的目标特征图进行第二次处理，得到目标特征图，并作为第一下采样层的输出结果。
在一实施例中，所述采样处理单元504还包括：
第二输入单元，用于将第一下采样层的输出结果分别输入至第二下采样层和第四上采样层中进行下采样和上采样；
第三输入单元，用于将所述第二下采样层的输出结果分别输入至第三层下采样和第三层上采样中进行下采样和上采样；
第四输入单元，用于将第三下采样层的输出结果分别输入至第四层下采样和第二层上采样中进行下采样和上采样；
合并处理单元，用于对第四层下采样的输出结果连续进行两次的卷积计算和批标准化处理，并将处理后的结果进行上采样和合并处理，从而得到最终的采样结果。
由于装置部分的实施例与方法部分的实施例相互对应，因此装置部分的实施例请参见方法部分的实施例的描述，这里暂不赘述。
本发明实施例还提供了一种计算机可读存储介质，其上存有计算机程序，该计算机程序被执行时可以实现上述实施例所提供的步骤。该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供了一种计算机设备，可以包括存储器和处理器，存储器中存有计算机程序，处理器调用存储器中的计算机程序时，可以实现上述实施例所提供的步骤。当然计算机设备还可以包括各种网络接口，电源等组件。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的状况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (7)
1.一种基于圆形卷积核的脑胶质瘤的分割方法，其特征在于，包括：
获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像；
利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段；
将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积点乘计算；
利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片；
所述将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积点乘计算，包括：
根据各所述方形特征图片段在所述特征图像中的位置顺序对对应的各所述圆形特征图片段进行拼接，得到目标特征图；
对所述目标特征图进行卷积点乘计算，得到大小与所述特征图像相同的目标特征图；
所述利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片，包括：
将经过卷积点乘计算的所述目标特征图输入至所述U-Net网络的第一下采样层中；
利用批标准化和激活函数对所述目标特征图进行第一次处理；
对处理后的目标特征图进行卷积计算；
利用批标准化、激活函数和最大池化依次对卷积计算后的目标特征图进行第二次处理，得到目标特征图，并作为第一下采样层的输出结果；
所述利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片，还包括：
将第一下采样层的输出结果分别输入至第二下采样层和第四上采样层中进行下采样和上采样；
将所述第二下采样层的输出结果分别输入至第三层下采样和第三层上采样中进行下采样和上采样；
将第三下采样层的输出结果分别输入至第四层下采样和第二层上采样中进行下采样和上采样；
对第四层下采样的输出结果连续进行两次的卷积计算和批标准化处理，并将处理后的结果进行上采样和合并处理，从而得到最终的采样结果。
2.根据权利要求1所述的基于圆形卷积核的脑胶质瘤的分割方法，其特征在于，所述获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像，包括：
对所述医学图像进行填充，得到特征图像；
按照预设卷积核大小对所述特征图像进行分离，得到多个方形特征图片段。
3.根据权利要求1所述的基于圆形卷积核的脑胶质瘤的分割方法，其特征在于，所述利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段，包括：
基于所述方形特征图片段与对应的圆形特征图片段的关系确定所述圆形特征图片段的位置和大小；
根据所述方形特征图片段与所述圆形特征图片段中位置相同的已知点，确定所述圆形特征图片段中待进行插值计算的目标点；
通过已知点和目标点的位置关系对所述目标点进行插值计算。
4.根据权利要求3所述的基于圆形卷积核的脑胶质瘤的分割方法，其特征在于，所述通过已知点和目标点的位置关系对所述目标点进行插值计算，包括：
利用矩阵乘法对所述圆形特征图片段上的目标点进行并行插值计算。
5.一种基于圆形卷积核的脑胶质瘤的分割装置，其特征在于，包括：
图像预处理单元，用于获取脑胶质瘤的医学图像，并对所述医学图像进行预处理，得到包含多个方形特征图片段的特征图像；
插值计算单元，用于利用双线性插值对每一方形特征图片段进行插值计算，得到每一方形特征图片段对应的圆形特征图片段；
第一拼接单元，用于将各所述圆形特征图片段进行拼接得到目标特征图，然后对所述目标特征图进行卷积点乘计算；
采样处理单元，用于利用U-Net网络对经过卷积点乘计算的所述目标特征图进行采样处理，并将采样结果作为最终的脑胶质瘤的分割图片；
所述第一拼接单元包括：
第二拼接单元，用于根据各所述方形特征图片段在所述特征图像中的位置顺序对对应的各所述圆形特征图片段进行拼接，得到目标特征图；
第一卷积计算单元，用于对所述目标特征图进行卷积点乘计算，得到大小与所述特征图像相同的目标特征图；
所述采样处理单元包括：
第一输入单元，用于将经过卷积点乘计算的所述目标特征图输入至所述U-Net网络的第一下采样层中；
第一处理单元，用于利用批标准化和激活函数对所述目标特征图进行第一次处理；
第二卷积计算单元，用于对处理后的目标特征图进行卷积计算；
第二处理单元，用于利用批标准化、激活函数和最大池化依次对卷积计算后的目标特征图进行第二次处理，得到目标特征图，并作为第一下采样层的输出结果；
所述采样处理单元还包括：
第二输入单元，用于将第一下采样层的输出结果分别输入至第二下采样层和第四上采样层中进行下采样和上采样；
第三输入单元，用于将所述第二下采样层的输出结果分别输入至第三层下采样和第三层上采样中进行下采样和上采样；
第四输入单元，用于将第三下采样层的输出结果分别输入至第四层下采样和第二层上采样中进行下采样和上采样；
合并处理单元，用于对第四层下采样的输出结果连续进行两次的卷积计算和批标准化处理，并将处理后的结果进行上采样和合并处理，从而得到最终的采样结果。
6.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的基于圆形卷积核的脑胶质瘤的分割方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的基于圆形卷积核的脑胶质瘤的分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110569754.9A CN113177938B (zh) | 2021-05-25 | 2021-05-25 | 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110569754.9A CN113177938B (zh) | 2021-05-25 | 2021-05-25 | 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113177938A CN113177938A (zh) | 2021-07-27 |
| CN113177938B true CN113177938B (zh) | 2023-04-07 |
Family
ID=76929922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110569754.9A Active CN113177938B (zh) | 2021-05-25 | 2021-05-25 | 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177938B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115984105B (zh) * | 2022-12-07 | 2023-08-01 | 深圳大学 | 空洞卷积优化方法、装置、计算机设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112365496A (zh) * | 2020-12-02 | 2021-02-12 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
| WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109342456B (zh) * | 2018-09-14 | 2021-05-11 | 广东工业大学 | 一种焊点缺陷检测方法、装置、设备及可读存储介质 |
| CN110910405B (zh) * | 2019-11-20 | 2023-04-18 | 湖南师范大学 | 基于多尺度空洞卷积神经网络的脑肿瘤分割方法及系统 |
| CN112446891B (zh) * | 2020-10-23 | 2024-04-02 | 浙江工业大学 | 基于U-Net网络脑胶质瘤的医学图像分割方法 |
-
2021
- 2021-05-25 CN CN202110569754.9A patent/CN113177938B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021031066A1 (zh) * | 2019-08-19 | 2021-02-25 | 中国科学院深圳先进技术研究院 | 一种软骨图像分割方法、装置、可读存储介质及终端设备 |
| CN112365496A (zh) * | 2020-12-02 | 2021-02-12 | 中北大学 | 基于深度学习和多引导的多模态mr影像脑肿瘤分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113177938A (zh) | 2021-07-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102321A (zh) | 一种基于深度卷积神经网络的病灶图像分割方法及系统 | |
| CN110796670B (zh) | 一种夹层动脉分割方法及装置 | |
| CN113808146B (zh) | 一种医学图像多器官分割方法及系统 | |
| CN113506310B (zh) | 医学图像的处理方法、装置、电子设备和存储介质 | |
| CN112258488A (zh) | 一种医疗影像病灶分割方法 | |
| CN116309648A (zh) | 一种基于多注意力融合的医学图像分割模型构建方法 | |
| CN111369567B (zh) | 三维图像中目标对象的分割方法、装置及电子设备 | |
| CN115496771A (zh) | 一种基于脑部三维mri图像设计的脑肿瘤分割方法 | |
| CN116030259B (zh) | 一种腹部ct图像多器官分割方法、装置及终端设备 | |
| CN115546570A (zh) | 一种基于三维深度网络的血管图像分割方法及系统 | |
| CN112634265B (zh) | 基于dnn的胰腺全自动分割模型的构建、分割方法及系统 | |
| CN113393469A (zh) | 基于循环残差卷积神经网络的医学图像分割方法和装置 | |
| CN116503607B (zh) | 一种基于深度学习的ct图像分割方法和系统 | |
| CN112581458A (zh) | 一种图像处理方法和装置 | |
| Shan et al. | SCA-Net: A spatial and channel attention network for medical image segmentation | |
| CN110570394A (zh) | 医学图像分割方法、装置、设备及存储介质 | |
| CN113177938B (zh) | 基于圆形卷积核的脑胶质瘤的分割方法、装置及相关组件 | |
| CN117649385A (zh) | 一种基于全局和局部注意力机制的肺部ct图像分割方法 | |
| CN116740081A (zh) | Ct图像中肺血管分割方法、装置、终端设备及介质 | |
| CN117152173A (zh) | 一种基于DUNetR模型的冠状动脉分割方法和系统 | |
| Delmoral et al. | Segmentation of pathological liver tissue with dilated fully convolutional networks: A preliminary study | |
| CN113379770B (zh) | 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置 | |
| CN113379691B (zh) | 一种基于先验引导的乳腺病灶深度学习分割方法 | |
| CN113744284B (zh) | 脑肿瘤图像区域分割方法、装置、神经网络及电子设备 | |
| CN110533637B (zh) | 一种检测对象的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |