CN116797519A - 脑胶质瘤分割和三维可视化模型训练方法及系统 - Google Patents
脑胶质瘤分割和三维可视化模型训练方法及系统 Download PDFInfo
- Publication number
- CN116797519A CN116797519A CN202211416486.8A CN202211416486A CN116797519A CN 116797519 A CN116797519 A CN 116797519A CN 202211416486 A CN202211416486 A CN 202211416486A CN 116797519 A CN116797519 A CN 116797519A
- Authority
- CN
- China
- Prior art keywords
- brain
- fusion
- segmentation
- mode
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 67
- 238000012800 visualization Methods 0.000 title claims abstract description 36
- 238000012549 training Methods 0.000 title claims abstract description 27
- 238000000034 method Methods 0.000 title claims abstract description 25
- 201000007983 brain glioma Diseases 0.000 title claims abstract description 23
- 230000004927 fusion Effects 0.000 claims abstract description 104
- 208000003174 Brain Neoplasms Diseases 0.000 claims abstract description 35
- 210000004556 brain Anatomy 0.000 claims abstract description 32
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 206010028980 Neoplasm Diseases 0.000 claims description 12
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000012512 characterization method Methods 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 9
- 208000032612 Glial tumor Diseases 0.000 claims description 8
- 206010018338 Glioma Diseases 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 238000003759 clinical diagnosis Methods 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000005070 sampling Methods 0.000 claims description 2
- 238000010200 validation analysis Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 2
- 230000007547 defect Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 12
- 238000002595 magnetic resonance imaging Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 208000005017 glioblastoma Diseases 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000002503 metabolic effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 206010051290 Central nervous system lesion Diseases 0.000 description 1
- 201000010915 Glioblastoma multiforme Diseases 0.000 description 1
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000011510 cancer Diseases 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002285 radioactive effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明揭示了一种基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统，包括：将多模态医学影像数据输入拉普拉斯金字塔多模态融合学习模型生成融合图，然后将融合图输入包含一个编码器和一个解码器的U‑net分割模型得到多模态融合图下的分割掩码；最后基于多模态融合图和分割掩码，采用Marching cubes(MC)算法进行脑区三维重建可视化和脑肿瘤区域标注。本发明提供的基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统，优化了单模态下信息不充分、建模不完整等弊端，充分利用了多模态数据的完备性的优势，进行多模态融合、分割和三维可视化，可以更加全面的辅助手术医生进行治疗，并提升手术过程中的准确性。
Description
技术领域
本发明涉及计算机和医学领域，特别是涉及一种基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统。
背景技术
脑胶质瘤(GlioBlastoma Multiforme，GBM)是脑肿瘤中最常见的、死亡率最高的一种恶性肿瘤。统计表明，脑胶质瘤患者术后存活时间的中位数仅为8 个月，而5年以上的存活率几乎为零。磁共振成像(MRI)在诊断脑肿瘤方面发挥着重要作用。由于GBM肿瘤在组织形态上的复杂性与特殊性，单模态MRI无法清晰地反映GBM的不同组织结构。所以医生往往会让患者拍摄多种不同模态下的医学影像来进行综合的研判。但是多种不同模态下的医学影像对比困难，往往需要依靠医生的多年经验进行分辨肿瘤区域。而且脑胶质瘤在大脑中真实呈现的情况是三维的立体目标物，而医生使用的放射性医学影像是二维平面图形，导致了定位困难和边缘难以处理的问题时常发生。容易发生肿瘤区域切除不彻底导致病情复发，或者切除了正常脑部区域导致了不必要的人身健康损伤。
为了综合使用不同模态下的医学影像数据，研究者们提出了多模态融合技术，将单一模态的影像学资料进行叠加、互补、融合，使组织的解剖影像和功能代谢影像在同一张影像资料中展现出来，帮助医生更加全面的了解病灶信息。但是目前图像融合算法大多为单尺度算法。虽然单尺度算法具有空间小、易于实现的特点，通常被应用在不同焦距的图像融合中，但是其保留细节能力较弱，生成的融合图像较为模糊，因此难以适用于医学领域。另一方面，在三维展示上，大多技术也是基于单一模态进行人脑的三维重建，并且无法明显标注出脑肿瘤具体区域，在帮助医生手术治疗方面比较有限。
相比之下，多参数磁共振成像中含有丰富的组织结构信息，所以需要通过图像融合技术结合多参数磁共振成像技术，将单一模态的影像学资料进行叠加、互补、融合，使组织的解剖影像和功能代谢影像在同一张影像资料中展现出来，能够帮助医生更加全面的了解病灶信息。多模态影像融合在胶质瘤手术治疗的应用中，通过将融合后的资料与电脑技术结合，进一步通过分割模型对肿瘤区域进行分割，然后进行三维重建，向医生提供胶质瘤的空间位置、功能代谢、颅脑解剖的三维图像，从而更好地指导术者进行肿瘤的切除。
发明内容
本发明的目的是：实现来自不同医学设备的脑胶质瘤患者的医学影像信息的融合，并且根据融合算法得到的融合图实现脑胶质瘤的分割和三维成像显示，从而辅助手术医生完成脑胶质瘤切割手术。
为了达到上述目的，本发明的一个技术方案是提供了一种脑胶质瘤分割和三维可视化系统，其特征在于，包括：
样本数据库，存储有不同模态下的影像数据，用于对多模态融合图生成模块、脑肿瘤区域分割模块以及脑区三维可视化生成模块进行训练；
多模态融合图生成模块，采用拉普拉斯金字塔模型结构，多尺度地提取不同模态下的影像数据的表征信息，基于表征信息采用最大融合策略和局部梯度能量策略进行信息融合，生成多模态融合图；
脑肿瘤区域分割模块，将多模态融合图进行数据预处理和数据增强，然后采用U-Net网络结构训练出编码器和解码器对多模态融合图中脑肿瘤区域进行分割，获得分割掩码；
脑区三维可视化生成模块，将多模态融合图和分割掩码对齐后，采用 MarchingCubes算法进行脑区三维重建，并标注脑肿瘤区域，显示标注有脑肿瘤区域的脑区三维图像。
优选地，在所述样本数据库中，不同模态的医学影像数据和患者为一一对应的关系，并且包括训练集、测试集以及验证集。
本发明的另一个技术方案是提供了一种脑胶质瘤分割和三维可视化模型训练方法，其特征在于，包括以下步骤：
S100、样本数据采集：通过多种常用临床诊疗影像设备采集人脑胶质瘤的多模态放射学影像，并将多模态下的影像数据传输至样本数据库存储；
S200、多模态融合图生成：
采用拉普拉斯金字塔模型结构，多尺度地提取不同模态下的影像数据的表征信息，基于表征信息采用最大融合策略和局部梯度能量策略进行信息融合，生成多模态融合图；
S300、脑肿瘤分割区域掩码生成：
将多模态融合图进行数据预处理和数据增强，然后采用U-Net网络结构训练出编码器和解码器对多模态融合图中的脑肿瘤区域进行分割，获得分割掩码；
S400、脑区三维可视化生成：
将多模态融合图和分割掩码进行对齐，然后采用Marching Cubes算法进行脑区三维重建，并标注脑肿瘤区域，显示标注有脑肿瘤区域的脑区三维图像。
优选地，所述步骤S200包括以下步骤：
步骤S201、获得不同模态下的影像数据，将其进行下采样生成多个不同尺度的特征图像，每次下采样尺度缩小为原来的一半；
步骤S202、对不同尺度的特征图进行残差计算，获得残差信息：
将拉普拉斯金字塔模型结构中每一层的上一层的特征图进行上采样得到与当前层尺度相同的特征图，然后将当前层的特征图减去上采样后的特征图得到两个特征图间的残差信息；
步骤S203、将获得的不同模态的不同尺度的特征图和残差信息进行融合生成多模态融合特征图：
将不同尺度的特征图和残差信息先后采用两层最大融合策略和两层局部梯度能量策略进行融合，最后再采用最大梯度融合策略进行融合。
优选地，步骤S203中，在所述最大融合策略中，比较融合的两种图像的在同一个位置上的灰度值大小，选取较大的灰度值作为新图像在该位置的灰度值，遍历图像中所有的点，得到融合图；
在所述局部梯度能量策略中，计算两个图像每个像素点周围上下左右五个点的区域梯度能量，对五个像素点的区域梯度能量求和，比较区域梯度能量和的大小，取能量大的点的灰度值作为新图像的点的灰度值，重复前面的步骤直至遍历图像所有的点，其中，局部梯度能量计算公式如下所示：
GE(i,j)＝(I(i+1,j)-I(i,j))2+(I(i,j+1)-I(i,j))2
式中，(i,j)分别表示像素点的行索引和列索引的位置，I(i,j)表示位置(i,j)处的像素点的值，GE(i,j)表示位置(i,j)处的像素点的局部能量梯度大小。
优选地，所述步骤S300包括以下步骤：
步骤S301、对步骤S200中生成的多模态融合图进行数据预处理，包括标准化和背景增强；
步骤S302、对步骤S301中处理完成的数据，进行多种手段的数据增强，提高数据的广泛性；
步骤S303、将增强后的数据输入包含一个编码器和一个解码器的U-Net网络中，生成分割掩码。
优选地，所述步骤S400包括以下步骤：
步骤S401、将所述步骤S200和所述步骤S300得到的多模态融合图和分割掩码进行对齐：
对齐针对多模态融合图与分割掩码进行脑肿瘤区映射对应标注，将分割掩码所分割出的脑肿瘤区域在多模态融合图对应体素点位置上面进行显著性标注和展示；
步骤S402、将对齐后的数据通过Marching Cubes算法从二维平面向三维立体成像进行绘图，输出三维可视化脑图并标注肿瘤区域：
首先定义对齐后数据序列中的一个立方体单元为一个体素，每一个体元均由 8个顶点所构成，其中，体素顶点有两种不同的状态量所表示：第一、高于或等于势值表示在物体表面的内部；第二、低于势值表示在物体表面的外部，则体素的一个顶点存在两种可能的状态，则一个体素的所有8顶点存在256种状态：
其次根据旋转、映射不变特性，将体素的状态归纳为15种基本构型，即体素所有的256种状态都能够通过这15种基本构型通过旋转、对称变换获得，其中每一种体素状态中都含有若干三个面片，体素中三角面片顶点的具体位置根据等值面的值和所在边的两个顶点的值进行线性插值计算得到；
然后对体素所有的256种状态制作一个查找表，以重建三维图像时应用，Marching Cubes算法通过遍历所有体素，找出其中的三角面片并将它们组合起来构成最后的大脑三维可视化模型。
本发明结构设计合理，利用多模态样本数据库进行多模态融合学习，将多模态融合图送入分割网络生成分割掩码，最终通过多模态融合图和分割掩码对脑区进行三维可视化建模，并标注脑胶质瘤区域，辅助手术医生做出诊断，极大提升了诊断过程中的准确性。
相比于现有技术，本发明至少具有以下优点：
(1)本发明提出了一种基于拉普拉斯金字塔模型的多模态融合模型，具有多尺度融合特点，使得多模态融合图的细节更完备，融合信息丢失度更低，融合精确性更高。
(2)融合图兼备了不同模态下医学影像的信息，使得医生能够更加全面的了解患者脑部病变区域整体情况，大大提高了医生的手术的成功率。
(3)本发明提出了一种由编码器和解码器组成的基于U-net结构的分割模型，并采用多种数据预处理和数据增强方式进行训练，使得模型分割精确度更高，鲁棒性更好。
(4)本发明采用MC算法对脑区进行三维建模，完成了二维医学影像向更符合人类器官实际形态的三维立体模型的转变。这将更有利于辅助手术过程的进行，并且我们通过分割掩码和多模态融合图的对齐标注了脑肿瘤区域，能够方便医生快速准确的定位肿瘤位置。
(5)本发明所提出的一种基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统，结合了多模态融合技术、神经网络分割技术和三维成像技术，完成了流程的一体化操作，具有快速性、方便性和全面性的特点和优势。
附图说明
图1为本发明一种基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统的整体框架图；
图2为本发明一种基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统实施例的样本数据；
图3为本发明一种基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统的多模态融合模型框架图；
图4为本发明一种基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统的分割模型框架图；
图5为本发明一种基于多模态融合的脑胶质瘤分割和三维可视化模型训练方法及系统的三维可视化示意图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
在下列段落中参照附图以举例方式更具体地描述本发明。根据下面说明和权利要求书，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
如图1所示，本发明所提出的技术方案通过多模态融合和分割等人工智能技术实现精确的脑区三维重建可视化和脑肿瘤区域标注，为每一位患者生成一个与之对应的多模态融合的脑区和肿瘤三维可视化模型，具体包括如下步骤：
步骤S100、多模态样本数据采集：通过核磁共振仪、CT等设备采集人体脑部的放射学影像，并将多模态影像数据传送至多模态样本数据库。
具体的，参考图2，多模态样本数据库中的不同模态的数据和患者为一一对应的关系，并且数据集包括训练集、测试集以及验证集。
步骤S200、多模态融合图生成：采用拉普拉斯金字塔模型结构，多尺度地提取不同模态下的表征信息，采用最大融合策略和局部梯度能量策略进行信息融合。
具体的，参考图3，采用拉普拉斯金字塔模型进行多模态融合图生成具体包括如下步骤：
步骤S201、输入多模态医学影像数据，对每个模态下的数据生成不同尺度的特征图，具体的，我们输入不同模态的数据，将其进行下采样生成多个不同尺度的特征图像，每次下采样尺度缩小为原来的一半。
步骤S202，对不同尺度的特征图进行残差计算，获得残差信息：
具体的，我们将每一层的上一层的特征图进行上采样得到与当前层尺度相同图像，然后当前层的图像减去上采样后的图像得到两个图像间的残差信息。
步骤S203、将通过上述步骤学习到的不同模态的不同尺度的特征图和残差信息进行融合生成多模态融合特征图。
具体的，我们将不同尺度的特征图和残差信息，先后采用两层最大融合策略和两层局部梯度能量策略进行融合，最后再采用最大梯度融合策略进行融合。两种融合策略的计算方式为：最大融合策略，比较融合的两种图像的在同一个位置上的灰度值大小，选取较大的灰度值作为新图像在该位置的灰度值，遍历图像中所有的点，得到融合图；局部梯度能量策略，计算两个图像每个像素点周围上下左右五个点的区域梯度能量，对五个像素点的区域梯度能量求和，比较区域梯度能量和的大小，取能量大的点的灰度值作为新图像的点的灰度值，重复前面的步骤直至遍历图像所有的点。局部梯度能量计算公式如下所示：
GE(i,j)＝(I(i+1,j)-I(i,j))2+(I(i,j+1)-I(i,j))2
式中，(i,j)分别表示像素点的行索引和列索引的位置，I(i,j)表示位置(i,j)处的像素点的值，GE(i,j)表示位置(i,j)处的像素点的局部能量梯度大小。
步骤S300、脑肿瘤分割区域掩码生成：将多模态融合图进行数据预处理和数据增强，然后采用U-Net网络结构训练出编码器和解码器对脑肿瘤区域进行分割，获得分割掩码。
具体的，参考图4，采用U-Net网络结构训练出编码器和解码器对脑肿瘤区域进行分割，获得分割掩码具体包括如下步骤：
步骤S301、对步骤S200中生成的多模态融合图进行数据预处理，包括标准化和背景增强。具体的，我们裁剪每个体素边界上的冗余背景体素(使体素值为零)，因为它们不提供任何有用信息，并且可以被神经网络忽略。随后，对于每个示例，分别在每个通道的非零区域内计算平均值和标准偏差。然后每个体素值减去平均值，再除以标准偏差，实现对所有体素的归一化处理。背景体素不需要进行规范化，因此其值保持为零。为了区分背景体素和值接近零的体素，使用一个针对前景体素的热编码创建了一个额外的输入通道，并与输入数据堆叠在一起。
步骤S302、对步骤S301中处理完成的数据，进行多种手段的数据增强，提高数据的广泛性。
具体的，数据增强是一种通过在训练阶段人为地扩展数据集来缓解过拟合问题的技术。在训练阶段使用以下数据增强：
随机裁剪：从输入体素中，随机裁剪了一块尺寸(5，128，128，128)的 patch。此外，概率为0.4时，通过随机Biased Crop选择的patch可确保裁剪区域中存在一些前景体素。
图像缩放：在概率为0.15的情况下，从(1.0，1.4)中均匀采样一个随机值，并使用三次插值将图像大小调整为其原始大小乘以采样值。
水平翻转：在概率为0.5的情况下，对于每个x、y和z轴，体积沿该轴翻转。
高斯噪声：在概率为0.15的情况下，使用均值为零且标准偏差从(0，0.33) 均匀采样的随机高斯噪声进行增强。
高斯模糊：在概率为0.15的情况下，对输入体素应用高斯模糊，高斯核的标准偏差从(0.5，1.5)均匀采样。
亮度调整：在概率为0.15的情况下，从(0.7，1.3)中均匀采样一个随机值，然后将输入体素乘以该值。
步骤S303、将增强后的数据输入包含一个编码器和一个解码器的U-Net网络中，生成分割掩码。
具体的，U-Net结构的特点是对称的U形，可以分为两部分，即编码器和解码器。第一部分是将输入体素转换为低维空间的收缩路径(编码器)。编码器具有由重复卷积块组成的模块化结构。每个卷积块都有两个较小的转换块。第一个较小的转换块是通过具有3x3x3内核和2x2x2步幅的卷积层将输入特征图的空间维度减少两倍。另外一个转换块卷积层的步幅为1x1x1，除该转换块卷积层的步幅为1x1x1外，下一个特征图使用几乎相同的卷积操作进行转换。将特征图的空间维度转换为2x2x2的大小后，解码器部分开始。解码器也具有模块化结构，但其目标是通过减少编码器特征图来增加空间维度。解码器中的块由三个较小的块构成。第一个是转置卷积，内核为2x2x2，步幅为2x2x2，它将特征图的空间维度增加了两倍。然后将上采样的特征图与来自等效空间级别的编码器特征图连接起来，再通过两个相同卷积层块(内核为3x3x3，步幅为1x1x1) 进行卷积计算。
步骤S400、脑区三维可视化生成：将多模态融合图和分割掩码进行对齐，然后采用Marching Cubes(MC)算法进行脑区三维重建，并根据分割掩码标注脑肿瘤区域。
具体的，其三维可视化模型示意图参考图5，使用MC算法进行脑区三维重建并根据分割掩码标注脑肿瘤区域的具体步骤如下：
步骤S401、将步骤S200和步骤S300得到的多模态融合图和分割掩码进行对齐：
具体的，对齐主要针对多模态融合图与分割掩码进行脑肿瘤区映射对应标注，将分割掩码所分割出的脑肿瘤区域在多模态融合图对应体素点位置上面进行显著性标注和展示。
步骤S402、将对齐后的数据通过MC算法从二维平面向三维立体成像进行绘图，输出三维可视化脑图并标注肿瘤区域。
具体的，MC算法在三维离散数据场中通过线性差值来逼近等值面。首先定义对齐后数据序列中的一个立方体单元为一个体素，每一个体元均由8个顶点所构成。体素顶点有两种不同的状态量所表示：1、高于或等于势值表示在物体表面的内部2、低于势值表示在物体表面的外部。因此，体素的一个顶点有两种可能的状态，则一个体素(8个顶点)就一共有28＝256种状态。根据旋转、映射不变等特性，体素的状态可以被归纳为15种基本构型。也就是说，体素所有的 256中状态都可以通过这15种基本构型通过旋转、对称变换等操作获得。其中每一种体素状态中都含有若干三个面片，体素中三角面片顶点的具体位置需要根据等值面的值和所在边的两个顶点的值进行线性插值计算得到。可以对这256 种状态制作一个查找表(look up table)，便于重建时应用。通过遍历所有体素，找出其中的三角面片并将它们组合起来构成最后的大脑三维可视化模型。
具体的，所述结果输出模块信号连接有显示屏和打印机。通过设置结果输出模块信号连接有显示屏和打印机，实现诊断报告的屏幕显示以及文档打印，方便医学人员进行详细的分析。
所述放射学影像通过多种不同的医学影像设备进行获取。磁共振成像(MRI) 在诊断脑肿瘤方面发挥着重要作用。由于肿瘤在组织形态上的复杂性与特殊性，单模态MRI无法清晰地反映肿瘤的不同组织结构。相比之下，多参数磁共振成像中含有丰富的组织结构信息，所以需要通过图像融合技术结合多参数磁共振成像技术，将单一模态的影像学资料进行叠加、互补、融合，使组织的解剖影像和功能代谢影像在同一张影像资料中展现出来，帮助术者更加全面的了解病灶信息。
Claims (7)
1.一种脑胶质瘤分割和三维可视化系统，其特征在于，包括：
样本数据库，存储有不同模态下的影像数据，用于对多模态融合图生成模块、脑肿瘤区域分割模块以及脑区三维可视化生成模块进行训练；
多模态融合图生成模块，采用拉普拉斯金字塔模型结构，多尺度地提取不同模态下的影像数据的表征信息，基于表征信息采用最大融合策略和局部梯度能量策略进行信息融合，生成多模态融合图；
脑肿瘤区域分割模块，将多模态融合图进行数据预处理和数据增强，然后采用U-Net网络结构训练出编码器和解码器对多模态融合图中脑肿瘤区域进行分割，获得分割掩码；
脑区三维可视化生成模块，将多模态融合图和分割掩码对齐后，采用Marching Cubes算法进行脑区三维重建，并标注脑肿瘤区域，显示标注有脑肿瘤区域的脑区三维图像。
2.如权利要求1所述的一种脑胶质瘤分割和三维可视化系统，其特征在于，在所述样本数据库中，不同模态的医学影像数据和患者为一一对应的关系，并且包括训练集、测试集以及验证集。
3.一种脑胶质瘤分割和三维可视化模型训练方法，其特征在于，包括以下步骤：
S100、样本数据采集：通过多种常用临床诊疗影像设备采集人脑胶质瘤的多模态放射学影像，并将多模态下的影像数据传输至样本数据库存储；
S200、多模态融合图生成：
采用拉普拉斯金字塔模型结构，多尺度地提取不同模态下的影像数据的表征信息，基于表征信息采用最大融合策略和局部梯度能量策略进行信息融合，生成多模态融合图；
S300、脑肿瘤分割区域掩码生成：
将多模态融合图进行数据预处理和数据增强，然后采用U-Net网络结构训练出编码器和解码器对多模态融合图中的脑肿瘤区域进行分割，获得分割掩码；
S400、脑区三维可视化生成：
将多模态融合图和分割掩码进行对齐，然后采用Marching Cubes算法进行脑区三维重建，并标注脑肿瘤区域，显示标注有脑肿瘤区域的脑区三维图像。
4.如权利要求3所述的一种脑胶质瘤分割和三维可视化模型训练方法，其特征在于，所述步骤S200包括以下步骤：
步骤S201、获得不同模态下的影像数据，将其进行下采样生成多个不同尺度的特征图像，每次下采样尺度缩小为原来的一半；
步骤S202、对不同尺度的特征图进行残差计算，获得残差信息：
将拉普拉斯金字塔模型结构中每一层的上一层的特征图进行上采样得到与当前层尺度相同的特征图，然后将当前层的特征图减去上采样后的特征图得到两个特征图间的残差信息；
步骤S203、将获得的不同模态的不同尺度的特征图和残差信息进行融合生成多模态融合特征图：
将不同尺度的特征图和残差信息先后采用两层最大融合策略和两层局部梯度能量策略进行融合，最后再采用最大梯度融合策略进行融合。
5.如权利要求4所述的一种脑胶质瘤分割和三维可视化模型训练方法，其特征在于，步骤S203中，在所述最大融合策略中，比较融合的两种图像的在同一个位置上的灰度值大小，选取较大的灰度值作为新图像在该位置的灰度值，遍历图像中所有的点，得到融合图；
在所述局部梯度能量策略中，计算两个图像每个像素点周围上下左右五个点的区域梯度能量，对五个像素点的区域梯度能量求和，比较区域梯度能量和的大小，取能量大的点的灰度值作为新图像的点的灰度值，重复前面的步骤直至遍历图像所有的点，其中，局部梯度能量计算公式如下所示：
GE(i,j)＝(I(i+1,j)-I(i,j))2+(I(i,j+1)-I(i,j))2
式中，(i,j)分别表示像素点的行索引和列索引的位置，I(i,j)表示位置(i,j)处的像素点的值，GE(i,j)表示位置(i,j)处的像素点的局部能量梯度大小。
6.如权利要求3所述的一种脑胶质瘤分割和三维可视化模型训练方法，其特征在于，所述步骤S300包括以下步骤：
步骤S301、对步骤S200中生成的多模态融合图进行数据预处理，包括标准化和背景增强；
步骤S302、对步骤S301中处理完成的数据，进行多种手段的数据增强，提高数据的广泛性；
步骤S303、将增强后的数据输入包含一个编码器和一个解码器的U-Net网络中，生成分割掩码。
7.如权利要求3所述的一种脑胶质瘤分割和三维可视化模型训练方法，其特征在于，所述步骤S400包括以下步骤：
步骤S401、将所述步骤S200和所述步骤S300得到的多模态融合图和分割掩码进行对齐：
对齐针对多模态融合图与分割掩码进行脑肿瘤区映射对应标注，将分割掩码所分割出的脑肿瘤区域在多模态融合图对应体素点位置上面进行显著性标注和展示；
步骤S402、将对齐后的数据通过Marching Cubes算法从二维平面向三维立体成像进行绘图，输出三维可视化脑图并标注肿瘤区域：
首先定义对齐后数据序列中的一个立方体单元为一个体素，每一个体元均由8个顶点所构成，其中，体素顶点有两种不同的状态量所表示：第一、高于或等于势值表示在物体表面的内部；第二、低于势值表示在物体表面的外部，则体素的一个顶点存在两种可能的状态，则一个体素的所有8顶点存在256种状态：
其次根据旋转、映射不变特性，将体素的状态归纳为15种基本构型，即体素所有的256种状态都能够通过这15种基本构型通过旋转、对称变换获得，其中每一种体素状态中都含有若干三个面片，体素中三角面片顶点的具体位置根据等值面的值和所在边的两个顶点的值进行线性插值计算得到；
然后对体素所有的256种状态制作一个查找表，以重建三维图像时应用，MarchingCubes算法通过遍历所有体素，找出其中的三角面片并将它们组合起来构成最后的大脑三维可视化模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211416486.8A CN116797519A (zh) | 2022-11-12 | 2022-11-12 | 脑胶质瘤分割和三维可视化模型训练方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211416486.8A CN116797519A (zh) | 2022-11-12 | 2022-11-12 | 脑胶质瘤分割和三维可视化模型训练方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116797519A true CN116797519A (zh) | 2023-09-22 |
Family
ID=88038626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211416486.8A Pending CN116797519A (zh) | 2022-11-12 | 2022-11-12 | 脑胶质瘤分割和三维可视化模型训练方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797519A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117711579A (zh) * | 2024-02-02 | 2024-03-15 | 首都医科大学宣武医院 | 基于多模态影像的脑胶质瘤病理可视化方法及装置 |
-
2022
- 2022-11-12 CN CN202211416486.8A patent/CN116797519A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117711579A (zh) * | 2024-02-02 | 2024-03-15 | 首都医科大学宣武医院 | 基于多模态影像的脑胶质瘤病理可视化方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jin et al. | 3D PBV-Net: an automated prostate MRI data segmentation method | |
| CN113506334B (zh) | 基于深度学习的多模态医学图像融合方法及系统 | |
| CN113450294A (zh) | 多模态医学图像配准融合方法、装置及电子设备 | |
| US20120027278A1 (en) | Methods, systems, and computer readable media for mapping regions in a model of an object comprising an anatomical structure from one image data set to images used in a diagnostic or therapeutic intervention | |
| CN111640100A (zh) | 肿瘤图像的处理方法和装置、电子设备、存储介质 | |
| CN112150524B (zh) | 一种基于深度学习的二维和三维医学图像配准方法和系统 | |
| CN103325143A (zh) | 基于模型匹配的标记点自动注册方法 | |
| Wang et al. | Semi-supervised mp-MRI data synthesis with StitchLayer and auxiliary distance maximization | |
| JP7101809B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| CN115830016B (zh) | 医学图像配准模型训练方法及设备 | |
| Forsberg et al. | Model-based registration for assessment of spinal deformities in idiopathic scoliosis | |
| CN116563533A (zh) | 基于目标位置先验信息的医学图像分割方法及系统 | |
| Baydoun et al. | Dixon-based thorax synthetic CT generation using Generative Adversarial Network | |
| CN116797519A (zh) | 脑胶质瘤分割和三维可视化模型训练方法及系统 | |
| Wang et al. | Automated delineation of nasopharynx gross tumor volume for nasopharyngeal carcinoma by plain CT combining contrast-enhanced CT using deep learning | |
| Wang et al. | Automatic segmentation of lumbar spine MRI images based on improved attention U-net | |
| CN116797612B (zh) | 基于弱监督深度活动轮廓模型的超声图像分割方法及装置 | |
| CN113361689A (zh) | 超分辨率重建网络模型的训练方法和扫描图像处理方法 | |
| CN116958094A (zh) | 一种动态增强磁共振影像特征生成病理图像特征的方法 | |
| CN115312198B (zh) | 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 | |
| US20220164967A1 (en) | Method of establishing an enhanced three-dimensional model of intracranial angiography | |
| Zhou et al. | Multimodality MRI synchronous construction based deep learning framework for MRI-guided radiotherapy synthetic CT generation | |
| Öcal et al. | Prostate segmentation via fusing the nested-V-net3d and V-net2d | |
| CN114943714A (zh) | 医学图像处理系统、装置、电子设备及存储介质 | |
| CN114519770A (zh) | 一种腰骶丛神经分割及三维可视化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |