CN115880425A - 一种脑肿瘤的标签化三维多模态脑结构融合重建方法 - Google Patents

Abstract

本发明公开了一种脑肿瘤的标签化三维多模态脑结构融合重建方法，获取脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像；以T1薄层扫描影像为基准，分别对脑CT影像、增强影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行配准，并将所有配准后的影像进行融合，得到脑结构3D影像；在脑结构3D影像中的增强影像层中分离出脑肿瘤结构，得到具有脑肿瘤的多模态脑结构3D影像。本发明通过多模态影像进行融合重建，可以生成具有脑功能分区的多模态脑结构3D影像，通过该多模态脑结构3D影像可以精准确定肿瘤范围、以及判断肿瘤与周围重要脑结构的比邻关系。

Description

一种脑肿瘤的标签化三维多模态脑结构融合重建方法

技术领域

本发明属于脑结构重建技术领域，尤其涉及一种脑肿瘤的标签化三维多模态脑结构融合重建方法。

背景技术

脑肿瘤包含众多的分类，其中恶性肿瘤包括胶质瘤、转移瘤、淋巴瘤、恶性脑膜瘤等；良性肿瘤包括脑膜瘤、神经鞘瘤、垂体瘤等。由于其在颅内的占位性可导致局部或全身性的症状。全身性症状主要由肿瘤导致的颅内压增高所致，多可出现头痛，严重时还会有恶心、呕吐以及脑神经麻痹表现(常见第六脑神经麻痹)。局部症状主要由肿瘤的占位性病变引起，依肿瘤的发生位置而不同，例如可出现偏瘫、失语等。头痛为脑肿瘤最常见的症状，约发生于一般的患者。其次常见的症状为癫痫、偏瘫、精神症状。

颅内肿瘤中，恶性胶质瘤为成人最常见的恶性脑肿瘤，根据最新分类，分为1-4级，其中3-4级属于高级别胶质瘤，预后差。其治疗方法依赖于手术切除及术后放化疗。其中手术切除是第一步，也是最重要的一步。然而，由于胶质瘤表现为在脑实质内的浸润性、无边界生长方式，因此其切除范围的准确确定是神经外科重要的难题之一。

复杂脑肿瘤是指具有以下1个或若干特点的脑肿瘤：1.肿瘤位于脑深部或波及到重要的结构如神经、血管、脑核团等。2.脑肿瘤生长方式为在脑实质内浸润性无边界生长，因而其边界难以精确确定，从而难以完全切除；3.脑肿瘤压迫或浸润性生长至大脑功能区，如语言区、运动区、感觉区等，手术切除会引起严重的功能障碍。手术切除治疗上述复杂脑肿瘤是最主要的手段，其技术要求是“最大范围的安全切除”，具体而言，就是尽可能完全的切除肿瘤，同时尽可能完全的保留肿瘤周围正常脑结构的解剖和功能。然而，由于这些肿瘤具有上述的特点，从而为手术切除带来巨大挑战，该问题一致是神经外科的重点和难点。手术切除的核心问题就是详细了解肿瘤生长的空间特点，以及肿瘤与其周围重要脑结构的位置关系。

因此，术前详尽的分析，可以从最大程度上理解肿瘤生长方式、评估肿瘤对周围结构的影像，并在术中辅助指导手术切除，以达到“最大范围的安全切除”的目的。为了实现上述目的，现有的技术手段主要有神经导航技术、术中超声技术、术中核磁技术，但是，神经导航技术只能定位，不能确定精确的大脑分区和结构，尤其是无法针对这些分区和结构进行标签的注释。也就是说，导航可以确定所作为位置，但是无法精确判断所在的位置代表的哪个脑区。术中超声技术和术中核磁技术，是手术开始后对肿瘤及大脑进行实时的检测，但是无法完成术前的详细评估，尤其是肿瘤和周围脑区的三维空间关系的观察和分析，更无法对所观测的区域进行标签注释等。

发明内容

本发明的目的是提供一种脑肿瘤的标签化三维多模态脑结构融合重建方法，通过将多种影像学检测影像进行融合，可以在术前精准地判断脑肿瘤与重要脑功能区及脑重要结构之间的比邻关系，以使医护人员最大程度上理解肿瘤生长方式。

本发明采用以下技术方案：一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，包括以下步骤：

获取脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像；其中，脑MRI影像包括T1薄层扫描影像和增强影像，增强影像为T1增强影像或T2Flair影像；

以T1薄层扫描影像为基准，分别对脑CT影像、增强影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行配准，并将所有配准后的影像进行融合，得到脑结构3D影像；

在脑结构3D影像中的增强影像层中分离出脑肿瘤结构，得到具有脑肿瘤的多模态脑结构3D影像。

进一步地，对弥散张量影像进行配准包括：

在弥散张量影像中选择基本序列；

基于T1薄层扫描影像，对基本序列进行配准；

根据配准后的基本序列和配准前的基准序列生成转换矩阵；

根据转换矩阵对弥散张量影像中的其他序列进行配准。

进一步地，将所有配准后的影像进行融合之前包括：

对T1薄层扫描影像进行脑功能分区重建，得到具有脑功能分区的T1薄层扫描影像。

进一步地，将所有配准后的影像进行融合包括：

利用具有脑功能分区的T1薄层扫描影像进行融合。

进一步地，将所有配准后的影像进行融合包括：

利用3Dslicer软件对所有配准后的影像进行融合。

进一步地，在脑结构3D影像中的增强影像层中分离出脑肿瘤结构包括：

利用3Dslicer软件分别在增强影像层中的肿瘤轮廓中心部分和肿瘤轮廓外围部分进行描画；

利用3Dslicer软件的分割功能分离出脑肿瘤结构。

进一步地，在脑结构3D影像中的增强影像层中分离出脑肿瘤结构后还包括：

基于脑肿瘤结构的参数对配准后的弥散张量影像进行重建。

进一步地，对T1薄层扫描影像进行脑功能分区重建包括：

利用Freesurfe软件对T1薄层扫描影像进行脑功能分区重建。

进一步地，分别对脑CT影像、增强影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行配准并融合之前包括：

将脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像均进行格式转换。

本发明的另一种技术方案：一种脑肿瘤的标签化三维多模态脑结构融合重建装置，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法。

本发明的有益效果是：本发明通过将脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行融合重建，可以生成具有脑功能分区的多模态脑结构3D影像，通过该多模态脑结构3D影像可以精准确定肿瘤范围、以及判断肿瘤与周围重要脑结构的比邻关系，可以作为脑肿瘤手术入路设计的基础，使医护人员最大程度上理解肿瘤生长方式，以实现对脑肿瘤“最大范围的安全切除”。

附图说明

图1为本发明实施例一种脑肿瘤的标签化三维多模态脑结构融合重建方法的流程图；

图2为本发明实施例中脑功能区胶质瘤的多模态脑结构3D影像示意图；

图3为图2的另一视角示意图；

图4为本发明实施例1对应的肿瘤范围及其周围功能区域的具体结构示意图；

图5为本发明实施例2中的肿瘤位置示意图；

图6为本发明实施例2中肿瘤与侧脑室和血管的关系示意图；

图7为本发明实施例2中肿瘤与纤维束的关系示意图；

图8为本发明实施例2中肿瘤与脑区的关系示意图；

图9为本发明实施例2中根据标签化三维多模态脑结构做出的手术入路设计示意图；

图10为本发明实施例一种脑肿瘤的标签化三维多模态脑结构融合重建装置的结构示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

目前脑功能分区研究所采用的一般为具有正常结构的大脑(包括精神疾病患者等，其结构一般大致正常，也就是没有肿瘤占位效应)。这些研究的目的在于研究正常大脑的结构和功能，但是并未在脑肿瘤上进行运用，尤其是没有将脑功能分区与脑肿瘤、脑血管、颅骨进行融合，并进而运用于临床，指导神经外科的手术切除。

对于神经外科中脑肿瘤的切除手术而言，最重要和最核心的问题，就是如何精确地确定肿瘤与周围正常脑结构的关系，从而做到“最大范围的安全切除”，即只切除肿瘤而尽量不破坏这些正常结构。因此，肿瘤与周围脑结构的三维空间关系的分析，就是核心中的核心。

长期以来，缺乏个体化的脑肿瘤与脑功能结构的三维融合，其原因是，三维重建和融合涉及到大量的计算机和影像学知识，还有一些数学知识，因此神经外科医师难以掌握并进行发展。而影像学和计算机专业的人，更无法理解肿瘤及周围解剖知识，尤其是手术中需要了解哪些细节，因此，又无法完成这样的重建。本发明就是在外科手术丰富经验的基础上，深入整合了多个资源，从而建立其了一套行之有效的、实用性强的带标签三维融合和重建技术，特别重要的是，在临床的实际手术中进行了应用，证实可辅助指导临床手术。其适用的范围包括，肿瘤精准位置的确定、手术入路的设计、脑肿瘤与周围重要脑结构的位置分析和判断。因此，本发明方法特别适合于在外科进行快速推广，从而极大的促进神经外科手术的进步和发展。

三维多模态技术涉及到颅骨手术入路、脑功能分区、大脑动脉系统、静脉系统、脑室、大脑深部核团、神经纤维束，其中脑肿瘤的影像学涉及到肿瘤增强范围的三维结构、肿瘤T2flair序列的三维结构、以及ASL脑灌注成像的三维结构。

本发明中所指出的结构，是指下列三维重建结构：颅骨手术入路的开颅范围、脑功能分区、大脑动脉系统、静脉系统、脑室、大脑深部核团、神经纤维束，其中脑肿瘤的影像学涉及到肿瘤增强范围的三维结构、肿瘤T2flair序列的三维结构、以及ASL脑灌注成像的三维结构。因而，该方法具有其他方法无法替代的优势，并且，对设备的需要很低，具有容易推广的特点。

本发明公开了一种脑肿瘤的标签化三维多模态脑结构融合重建方法，如图1所示，包括以下步骤：步骤S110、获取脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像；其中，脑MRI影像包括T1薄层扫描影像(即T1_3D)和增强影像，增强影像为T1增强影像(即T1_C)或T2Flair影像(即T2Flair)；步骤S120、以T1薄层扫描影像为基准，分别对脑CT影像、增强影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行配准，并将所有配准后的影像进行融合，得到脑结构3D影像；步骤S130、在脑结构3D影像中的增强影像层中分离出脑肿瘤结构，得到具有脑肿瘤的多模态脑结构3D影像。

本发明通过将脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行融合重建，可以生成具有脑功能分区的多模态脑结构3D影像，通过该多模态脑结构3D影像可以精准确定肿瘤范围、以及判断脑肿瘤与周围重要脑结构的比邻关系，可以作为脑肿瘤手术入路设计的基础，使医护人员最大程度上理解肿瘤生长方式，以实现对脑肿瘤“最大范围的安全切除”。由此可见，本发明方法为神经外科手术切除脑肿瘤提供了新的辅助手段，为设计颅骨开颅范围及手术入路的提供了基础。

在本发明实施例中，应用了相关软件完成了本发明的方法，具体包括Freesurfer软件、Mricro软件、SPM12软件和3DSlicer软件。

具体的，脑CT影像(即CT)、脑MRI影像、脑动脉血管影像(即MRA)、脑静脉血管影像(即MRV)、弥散张量影像(即DTI)和脑灌注影像(即ASL)均为DICOM格式的图像序列，是患者做完检查后的数据格式。

在分别对脑CT影像、增强影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行配准并融合之前需要将这些文件的格式进行转换，由于最终的影像融合是在3DSlicer软件中进行，因此，将脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像均进行格式转换，即将DICOM格式转换为nii.gz格式。

具体格式转换时，本发明实施例中选择Mricro软件进行。具体是将图像DICOM格式所在文件夹，直接拖进Mricro软件，然后选择File-Save as NifTl，就可以保存为nii.gz格式文件。这样，将上述所有的影像序列均保存为nii.gz格式文件。

DTI序列的转换相对于其他影像的方法有所不同。具体的，在Mricro软件中，选择Import-Convert DICOM to NifTl，就可以打开转换界面。在output directory中选择要保存的地方，然后将DTI的DICOM文件直接拖到本界面，即可完成转换。转换完成之后，outputdirectory的文件夹中，会有4个文件，后缀分别是.nii.gz、bval、bvec和json，其中前3个文件是本发明实施例使用到的文件。

再将转换完毕后的nii.gz文件拖入到Mricro软件打开，这里会包含多个序列，是指DTI弥散张量成像的32个方向，以及一个基本序列，总共33个序列。其中第一个序列是校准图像的序列(即基本序列)，因此选择第一个序列，然后另存为nii.gz格式，名称为DTI_0.nii.gz，此文件用于校准DTI影像的空间位置。

对于DTI影像的空间位置的配准。首先在弥散张量影像中选择基本序列；接着基于T1薄层扫描影像，对基本序列进行配准；然后，根据配准后的基本序列和配准前的基准序列生成转换矩阵；最后，根据转换矩阵对弥散张量影像中的其他序列进行配准。

具体的，先将T1_3D文件作为配准的基本文件，采用SPM12软件将基本序列DTI_0转换为rDTI_0。然后，在3DSlicer中导入rDTI_0和DTI_0这2个数据。对于DTI数据，只有第一个序列rDTI_0是校准过的，因此，需要将整个的DTI进行校准。

首先在3Dslicer中，打开Registration->General Registration(Elastic)工具，选择Fixed Volume，再选择rDTI_0，Moving Volume选择DTI_0，在output transform中新建一个transform，名称为transform_DTI(可自行命名)，点击Apply，即可完成。这个步骤，会生成一个转换的矩阵，其名称为transform_DTI，这个矩阵代表了将DTI_0转换为rDTI_0的具体参数。

因为所有的DTI数据和DTI_0是一致的，因此，将此transform_DTI应用到DTI即可完成。具体的，选择如下的组件：import and export->diffusion weighted DICOM import(DWI convert)时，选择FSLToNrrd，输出文件命名自定义，这里定义为DTI_Volume。FSLNifTi File选择nii文件，Input bval file选择bval文件，Input bvec file选择bvec文件，然后点Apply导入。

以上的文件都在DTI序列转换输出的文件夹中。然后，在3Dslicer的Data界面，右键最右侧的方块图像，这个表示对此数据实现某个转换的操作。可见里面有所有的transform的矩阵。这里可看到刚才生成的transform_DTI，点击之后，就对图像进行了变换。接着仍是右键点击这个位置，可看到Harden Transform的图标进行点击，这样就完成了DTI_Volume变换之后的固化，这个数据就可以在下一步应用了。

另外，在本发明实施例中，将所有配准后的影像进行融合之前包括：对T1薄层扫描影像进行脑功能分区重建，得到具有脑功能分区的T1薄层扫描影像。具体的，需要利用Freesurfe软件对T1薄层扫描影像进行脑功能分区重建。

更为具体的，在Freesurfe软件中，可直接运行命令，从而将T1_3D处理为标签化的大脑结构分区文件，本实施例中使用的文件名称为aparc+aseg.mgz。运行的方法采用代码运行的方式，其命令如下：recon-all-i/${dir}/T1_3D.nii.gz-spatientID-sd/${dirResults}-all。其中，${dir}是T1_3D.nii.gz文件所在的目录，而${dirResults}则是最后结果需要存贮的目录。此命令运行之后，将会基于T1_3D对患者大脑运行分区，最后在${dirResults}目录下生成几个文件夹。其中，mri文件夹下的文件aparc+aseg.mgz可直接在3DSlicer中使用，其他文件则是不同的分区模式。此过程时间较长，一般需要6-8小时。

在一个实施例中，对各种类型的影像进行配准按照如下方法进行。将T1_3D文件作为配准的基本文件，将所有影像按照T1_3D文件的空间坐标进行匹配。采用SPM12软件进行。因为SPM12只能识别nii文件，因此首先将上述所有文件解压缩为nii文件。接下来运行SPM12软件。在界面中选择PET&VBM，再在打开的界面中选择Coregister(Est&Res)，在打开的界面中，Reference File选T1_3D.nii，Source Image，则依次选择上述的T1_C、T2Flair、ASL、MRA、MRV、DTI_0和CT，每次只能选择一个文件，每个文件运行后，会在同样的文件夹下生成一个匹配好的文件，点击软件中绿的三角形按钮就可运行了。运行之后，上述文件分别生成了rT1_C、rT2Flair、rASL、rMRA、rMRV、rDTI_0和rCT，这些文件都和T1_3D的位置是精准匹配的。

另外，在进行配准后，利用具有脑功能分区的T1薄层扫描影像进行融合，融合过程利用3Dslicer软件进行。融合过程中，将rT1_C、rT2Flair、rASL、rMRA、rMRV和rCT导入之后，因为这些序列都是已经和T1_3D配准过的，因此打开之后，这些图像都是融合在一起的。所以，直接将文件拖进3Dslicer界面即可完成。

这部分融合重建的包括颅骨(通过rCT获得)、动脉(通过rMRA获得)和静脉(通过rMRV获得)，主要采用阈值的方法进行重建。即在data界面，右键所在的序列，选择“segmentthis…”即可进入分割界面。点击绿色“+”，新建一个三维结构的名称，此结构的颜色可自行选择(需要注意的是，不同的结构选择不同的颜色，以便于后期的观察。之后，再点击绿色“Segmentations”按钮，即可打开分割的工具，选择Threshold工具，就可以拖动阈值的大小，最终确定一个最佳的分割结果。然后，再点击“Show 3D”即可将分割好的图像以3D的形式展示。

关于rDTI序列的融合重建，首先根据上述方法导入数据。然后选择diffusion->process->Diffusion brain masking这里输入上的volume，同时会有2个新的文件生成：一个baseline，一个mask。然后，diffusion->process->diffusion tensor estimation，这里需要输入3个文件，就是上述的volume以及第二部的mask和baseline。生成一个文件，output DTI volume。此时可生成彩色的纤维束走行文件。然后，diffusion->quatify->Diffusion Tensor Scalar Maps这一步，采用上面的output DTI volume作为输入，生成一个新的文件，起名可为FA，这里有很多选项，选择FA即可。最后，选择Diffusion->Tractography->Tractography Seeding这里输入为上述的volume，生成一个新的文件，output Fiber Bundle这里的文件名。再点击update，可以通过调整下面的参数进行改变纤维束的阈值。

上述的融合重建过程后，需要在脑结构3D影像中的增强影像层中分离出脑肿瘤结构，具体是利用3Dslicer软件分别在增强影像层中的肿瘤轮廓中心部分和肿瘤轮廓外围部分进行描画，再利用3Dslicer软件的分割功能分离出脑肿瘤结构。在该过程中，通常需要神经外科医师进行操作，这样可以获得更为准确的结果。不过为了方便，可以设计相关的颜色阈值，进而可以系统自动根据颜色阈值选择对应的肿瘤轮廓部分进行描画。

本发明实施例中，主要采用3Dslicer软件中Editor组件的GrowCutEffect功能对脑肿瘤进行分割。所使用的影像序列，根据脑肿瘤的情况，可以采用rT1_C或者rT2Flair。有些脑肿瘤rT1_C比较明显，有些脑肿瘤rT2Flair比较明显。此外，部分肿瘤rASL比较明显，则表示该肿瘤增殖活跃，那么此时可对rASL进行分割，从而增加一个可观察的模态序列。在菜单栏中点击搜索按钮，输入Editor即可列出Editor的界面。可以选择默认的颜色模式。然后，在组件栏中，选择paintEffect，在颜色栏中任意选择一个颜色编号，例如是1号。然后，在肿瘤的中心部分进行粗略的描画，注意将描画的部分画在肿瘤内部就可。然后，再选择另外的颜色，例如是2号，在肿瘤的外部(即非肿瘤的部分)，将肿瘤包围起来描画。

为了使得最后的结果更加准确，在轴位、矢状位、冠状位均进行一定的描画。此时，肿瘤内部和外部均被不同的颜色所标记。然后，再点击按钮中的GrowCutEffect按钮，然后点击出现的Apply按钮，就可自动运行，将肿瘤的边界精确的描画出来，的结果可在data界面看到，其名称为label结尾的文件。

例如，假如分割的文件是T2Flair，那么分割的结果就是一个T2Flair-Label。在data界面，右键点击T2Flair-Label，选择菜单中的Convert Labelmap to Segmentationnode，就可以将这2种颜色转化为2种Segmentation的模型。这2个模型保存在一个T2Flair-Label-Segmentation的文件夹种，下面有2个segmentation的模型，分别是肿瘤和外界的模型。同样，右键点击“Edit properties…”进入到编辑界面，然后选中肿瘤模型，点击菜单中的Edit Selected，再点击出现的“Show 3D”即可显示肿瘤的三维重建形态。

最后，需要进行标签化脑功能分区的三维重建，在前面T1_3D文件大脑分区及标签化步骤中，生成的aparc+aseg.mgz文件，就是大脑标签化的数据。导入3Dslicer中之后，是一个文件夹。将文件夹展开，可以看到每一个大脑的结构，是一个分割图像，并由不同的颜色表示。这些大脑结构，包括了大脑皮层分区、深部核团、脑室等结构。点击右键的EditProperties即可进入编辑模式。在此模式下点击Edit selected，然后点击Show 3D就可以显示分割结构的3D图像。通过控制每一个大脑区域是否可视，可以分析一个或多个脑区的关系，以及与脑血管、肿瘤的结构的关系。

在本发明实施例中，在脑结构3D影像中的增强影像层中分离出脑肿瘤结构后还包括：基于脑肿瘤结构的参数对配准后的弥散张量影像进行重建。具体的，这部分是接着上面分割步骤之后进行的。首先，先创建一个Label数据。例如对于肿瘤所占据的体积，选中该数据，点击右键，点击“export visible segments to binary labelmap”，此时会生成一个labelmap数据。此时可生成经过这个labelmap定义的大脑区域的纤维束。具体而言，Diffusion->tractography->region based->tractography ROI seeding。此时，可进入生成纤维束的界面，在此界面，input DTI Volume选择“DTI数据的纤维束重建”步骤中生成的DTI Volume,input Label Map则选择上面生成的labelmap，output Fiber Bundle是输出的纤维束文件，可自行定义。之后，点击下面的Apply按钮，即可生成通过这个labelmap定义的三维对象的纤维束。通过对不同脑区、肿瘤区域，运行这个方法，可以生成通过不同部分的纤维束，特别是通过肿瘤区域的纤维束。

至此，已完成所有模态的重建。接下来，在data界面，可以通过对每一个模态的3D影像显示或不显示，分析肿瘤与任何一个或多个模态结构的关系。通过对上述不同三维重建对象的观察合分析，可以详细的研究脑肿瘤对脑功能区域的挤压和破坏效果，从而精准的指导外科手术切除。

为了更清楚的说明本发明方法，例1为脑功能区胶质瘤的多模态脑结构3D影像，可以实现中央前回胶质瘤的精准定位及手术入路设计。如图2所示，左侧图像为多模态重建的大脑结构，包括了脑肿瘤、带标签的大脑功能分区、动脉、静脉。右侧图像为同样的重建结构，与左侧图像相比增加了颅骨的部分，其中箭头指出的部分为肿瘤的位置，该肿瘤颜色可按照实际需要进行更改，可以看到肿瘤恰好位于中央前回(中央前回为肿瘤上下部分，是大脑的运动功能区)区域中，后面紧邻的是中央后回(图中肿瘤左侧区域，是大脑的感觉功能区)。

如图3所示，为图2对应的另一视角的示意图，用于术中的精准定位，该大脑的位置是从术者的角度看，是从头顶向颅底的方向看。左侧图片为图2左侧图像另一视角的三维多模态重建结构，右侧图像为实际手术中看到的大脑结构，可见重建的多模态结构比较真实的反应了实际的结构，有利于术前对病变的具体情况继续预判。从重建的三维结构(左侧图像)看，该肿瘤的前上界，有一个迂曲的静脉(即白色箭头指向位置)，肿瘤的后方也有一个较直的粗大静脉。在实际手术过程中(右侧图像)，打开颅骨之后，仍然难以辨认肿瘤的精确位置。但从白色箭头指出的2个静脉所在位置，就可以精确的判断出，肿瘤所在的区域，从而辅助指导手术切除。此外，根据重建的分区(即图3左侧图像)，可以清晰的判别出肿瘤范围及周围功能区域的具体结构，即得到图4。

在图4中，左侧图像为如图3的局部放大图，用虚线将肿瘤部分进行了勾画，同时外围的虚线勾画出了中央前回和中央后回。通过该图可以清晰的判别出肿瘤范围及周围功能区域的具体结构，其中，中部范围较小的圆环形虚线指示了肿瘤范围，右侧范围更大的环形虚线(即黑色虚线)指示了中央后回，左侧范围更大的环形虚线指示了中央前回。

作为另一个实际应用的例2，为脑深部胶质瘤的多模态三维重建及辅助手术示例。该病例是一个脑深部的胶质瘤，因此其位置深在，周围结构复杂。周围结构包括了：基本的脑功能分区、脑血管、大脑静脉、侧脑室。图5-8详细展示了该病例的带标签的三维重建及融合结果，并展示了实际手术过程中，肿瘤位置及手术入路的设计和判定。

如图5所示，左侧图像是患者肿瘤MRI扫描(虚线描绘了肿瘤的范围)。右侧图像是重建结果的外表，可见左侧大脑(上侧图像)的沟回较为明显，而右侧(下侧图像)则显示脑回肿胀，形态欠佳。

肿瘤位于右侧颞枕叶的深部，位置复杂，周围解剖结构复杂。左侧图片是患者肿瘤MRI扫描。右侧图片是重建结果的外表，可见左侧大脑(右上图)大脑的沟回较为明显，而右侧(右下图)则显示脑回肿胀，形态欠佳。

由于肿瘤位置深在，如图6左图所示，为肿瘤与大脑深部结构侧脑室的关系(左图)，以及肿瘤与重要的血管的关系(右图)，包括大脑中动脉(MCA)、大脑后动脉(PCA)。周围波及到大脑的深部结构侧脑室，以及重要的血管(如图6右图)，包括大脑中动脉(MCA)、大脑后动脉(PCA)。

如图7所示，显示了肿瘤的内测与重要的神经纤维束——皮质脊髓束的关系，包括三维多模态重建图(上图)和融合的MRI图(下图)。图中可以看出肿瘤的内侧还比邻了重要的神经纤维束皮质脊髓束，显示了肿瘤与右侧皮质脊髓束的关系。

如图8所示，为肿瘤与深部的大脑功能区的关系图。这些深部的功能区包括舌回、梭形回、海马旁回、杏仁核等结构，都可以带有标签的进行很好的展示。上图为三维重建的多模态图，下图为融合的MRI图。从图中可以看出，这些深部的功能区包括舌回、梭形回、海马旁回、杏仁核等结构，都可以带有标签的进行很好的展示。

如图9所示，根据以上重建结果的分析，进行手术入路骨瓣的设计示意图。术中实际情况下，根据重建的脑表面形态以及周围静脉血管等空间关系，可鉴别出labbe静脉和大脑的枕外侧回，从而辅助确定手术入路。其中左图为三维多模态重建的图，包括了脑功能分区、脑肿瘤、动脉血管、静脉血管、神经纤维束、颅骨等结构；右图为术中实际看到的大脑结构示意图。根据以上重建结果的分析，进行手术入路骨瓣的设计。术中实际情况下，根据重建的脑表面形态以及周围静脉血管等空间关系，可鉴别出labbe静脉和大脑的枕外侧回，从而辅助确定手术入路。

本发明还公开了一种脑肿瘤的标签化三维多模态脑结构融合重建装置，如图10所示，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法。

上述的装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该装置可包括但不仅限于处理器、存储器。本领域技术人员可以理解，该装置可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。

处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器在一些实施例中可以是所述装置的内部存储单元，例如装置的硬盘或内存。所述存储器在另一些实施例中也可以是所述装置的外部存储设备，例如所述装置上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器还可以既包括所述装置的内部存储单元也包括外部存储设备。所述存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。

需要说明的是，上述装置的具体内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

Claims (10)

1.一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，包括以下步骤：

获取脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像；其中，所述脑MRI影像包括T1薄层扫描影像和增强影像，所述增强影像为T1增强影像或T2Flair影像；

以所述T1薄层扫描影像为基准，分别对所述脑CT影像、所述增强影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行配准，并将所有配准后的影像进行融合，得到脑结构3D影像；

在所述脑结构3D影像中的增强影像层中分离出脑肿瘤结构，得到具有脑肿瘤的多模态脑结构3D影像。

2.如权利要求1所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，对所述弥散张量影像进行配准包括：

在所述弥散张量影像中选择基本序列；

基于所述T1薄层扫描影像，对所述基本序列进行配准；

根据配准后的基本序列和配准前的基准序列生成转换矩阵；

根据所述转换矩阵对所述弥散张量影像中的其他序列进行配准。

3.如权利要求2所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，将所有配准后的影像进行融合之前包括：

对所述T1薄层扫描影像进行脑功能分区重建，得到具有脑功能分区的T1薄层扫描影像。

4.如权利要求3所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，将所有配准后的影像进行融合包括：

利用具有脑功能分区的T1薄层扫描影像进行融合。

5.如权利要求2-4任一所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，将所有配准后的影像进行融合包括：

利用3Dslicer软件对所有配准后的影像进行融合。

6.如权利要求5所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，在所述脑结构3D影像中的增强影像层中分离出脑肿瘤结构包括：

利用3Dslicer软件分别在所述增强影像层中的肿瘤轮廓中心部分和肿瘤轮廓外围部分进行描画；

利用所述3Dslicer软件的分割功能分离出脑肿瘤结构。

7.如权利要求6所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，在所述脑结构3D影像中的增强影像层中分离出脑肿瘤结构后还包括：

基于所述脑肿瘤结构的参数对配准后的所述弥散张量影像进行重建。

8.如权利要求3所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，对所述T1薄层扫描影像进行脑功能分区重建包括：

利用Freesurfe软件对所述T1薄层扫描影像进行脑功能分区重建。

9.如权利要求6-8任一所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法，其特征在于，分别对所述脑CT影像、所述增强影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像进行配准并融合之前包括：

将所述脑CT影像、脑MRI影像、脑动脉血管影像、脑静脉血管影像、弥散张量影像和脑灌注影像均进行格式转换。

10.一种脑肿瘤的标签化三维多模态脑结构融合重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-9任一项所述的一种脑肿瘤的标签化三维多模态脑结构融合重建方法。

Images