CN113538495A - 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质 - Google Patents

一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质 Download PDF

Info

Publication number
CN113538495A
CN113538495A CN202010307736.9A CN202010307736A CN113538495A CN 113538495 A CN113538495 A CN 113538495A CN 202010307736 A CN202010307736 A CN 202010307736A CN 113538495 A CN113538495 A CN 113538495A
Authority
CN
China
Prior art keywords
image
temporal lobe
brain
t1mri
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010307736.9A
Other languages
English (en)
Inventor
王圣平
朱森华
常敦瑞
于洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Lianxin Medical Technology Co ltd
Original Assignee
Chengdu Lianxin Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Lianxin Medical Technology Co ltd filed Critical Chengdu Lianxin Medical Technology Co ltd
Priority to CN202010307736.9A priority Critical patent/CN113538495A/zh
Publication of CN113538495A publication Critical patent/CN113538495A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质，包括：采集预设数量的CT脑影像和T1 MRI脑影像，并制作每例T1 MRI脑影像的颞叶分割标签；对CT脑影像、T1 MRI脑影像和颞叶分割标签进行预处理、配准变换和图像裁剪；将裁剪后的CT脑影像和T1 MRI脑影像作为网络输入、裁剪后的颞叶分割标签作为网络目标输出，在语义分割卷积神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的颞叶分割神经网络模型；将待分割图像输入到训练后的颞叶分割神经网络模型中，得到对应的CT影像的颞叶自动分割结果，并对颞叶自动分割结果进行后处理和边缘检测，得到颞叶勾画结果。

Description

一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和 存储介质
技术领域
本发明涉及图像识别技术领域，具体涉及一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质。
背景技术
颞叶的功能主要是负责处理听觉信息，同时颞叶也和记忆、情感有一定的关系。因此，在放疗等科室的临床诊断中，精确分割颞叶显得极其重要。但基于CT脑影像的临床实践中，CT脑影像上的颞叶与其他大脑区域没有明确的边界，不容易直接在CT脑影像上进行手工颞叶区域的勾画或者基于边缘检测算法的颞叶区域的自动勾画。相对地，由于MRI成像对软组织成像分辨率高，可进行多参数、任意方位成像，对大脑颞叶等脑结构可以进行边界清晰的医学成像。因此，更适合基于MRI成像来进行大脑颞叶勾画，进而指导基于CT脑影像的颞叶勾画。
此外，传统的图像分割算法包含基于阈值分割、自适应边缘检测、活动轮廓模型等分割方法等，这些方法对于脑器官的分割存在抗噪性较差、数据适应性较差等问题，在实际应用中的性能和鲁棒性不高。深度学习是用神经网络尝试对数据做高层次的抽象,其专注于学习数据的表征,对数据做不同层次的抽象，已被大量应用到图像和模式识别领域。若将卷积神经网络运用到包括颞叶在内的各种身体分割中去，必将能进一步提高身体组织勾画的鲁棒性和自动分割的准确率，这正是本发明要解决的问题。
发明内容
针对现有技术中存在的上述问题，本发明提供一种基于多模态影像(T1MRI脑影像与CT脑影像)的颞叶勾画方法、勾画系统、计算设备和存储介质。
本发明第一目的在于提供一种基于多模态影像的颞叶勾画方法，包括：
采集预设数量的CT脑影像和T1 MRI脑影像，并制作每例T1 MRI脑影像的颞叶分割标签；
对所述CT脑影像、T1 MRI脑影像和颞叶分割标签进行预处理；
以预处理后的CT脑影像作为参考影像，将预处理后的T1 MRI脑影像和颞叶分割标签向预处理后的CT脑影像进行配准变换，得到配准变换后的T1MRI脑影像和颞叶分割标签；
对预处理后的CT脑影像和配准变换后的T1 MRI脑影像和颞叶分割标签进行相同大小的图像裁剪；
搭建有效的语义分割卷积神经网络；其中，所述语义分割卷积神经网络具有两个输入、一个输出；
将裁剪后的CT脑影像和T1 MRI脑影像作为网络输入、裁剪后的颞叶分割标签作为网络目标输出，在语义分割卷积神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的颞叶分割神经网络模型；
将对待分割的CT脑影像和T1 MRI脑影像进行相同的预处理、配准变换和图像裁剪，得到待分割图像；
将所述待分割图像输入到训练后的颞叶分割神经网络模型中，得到对应的CT影像的颞叶自动分割结果；
对所述颞叶自动分割结果进行后处理和边缘检测，得到颞叶勾画结果。
作为本发明的进一步改进，同步采集至少50例包含完整大脑的所述CT脑影像和T1MRI脑影像；
基于T1 MRI脑影像的个体脑功能区制作每例MRI脑影像的颞叶分割标签。
作为本发明的进一步改进，所述预处理包括去除无关影像信息、图像插值和归一化处理；其中，
所述去除无关影像信息为采用阈值分割和保留最大连通域方法去除无关影像，所述无关影像包括床板和身体覆盖物；
所述图像插值为采用线性插值方法使所述CT脑影像和T1 MRI脑影像具有相同大小；
所述归一化处理用于使所述CT脑影像和T1 MRI脑影像具有相同的值域。
作为本发明的进一步改进，所述配准变换的方法为：
以预处理后的CT脑影像作为参考影像、预处理后的T1 MRI脑影像作为浮动图像，将预处理的T1 MRI脑影像向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和配准变换参数；
根据所述配准变换参数，对预处理后的颞叶分割标签进行相同的配准变换，得到配准变换后的颞叶分割标签。
作为本发明的进一步改进，所述语义分割卷积神经网络为双输入的语义分割卷积神经网络，两个输入通道尺寸均为x×y，一个输出尺寸为x×y×2，2为通道数量。
作为本发明的进一步改进，所述训练包括前向传播和反向传播，一次前向传播和反向传播为一次网络迭代计算；
采用Early-stop的方式来让神经网络自动停止迭代，得到最佳的颞叶分割神经网络模型。
作为本发明的进一步改进，所述后处理包括最大连通区域保留和平滑处理。
本发明的第二目的在于提供一种基于多模态影像的颞叶勾画系统，基于所述颞叶勾画系统实现上述颞叶勾画方法，包括：
采集模块，用于采集预设数量的CT脑影像和T1 MRI脑影像，并制作每例T1 MRI脑影像的颞叶分割标签；
预处理模块，用于对所述CT脑影像、T1 MRI脑影像和颞叶分割标签进行预处理；
配准变换模块，用于以预处理后的CT脑影像作为参考影像，将预处理后的T1 MRI脑影像和颞叶分割标签向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和颞叶分割标签；
图像裁剪模块，用于对预处理后的CT脑影像和配准变换后的T1 MRI脑影像和颞叶分割标签进行相同大小的图像裁剪；
模型生成模块，用于搭建有效的语义分割卷积神经网络；其中，所述语义分割卷积神经网络具有两个输入、一个输出；
模型训练模块，用于将裁剪后的CT脑影像和T1 MRI脑影像作为网络输入、裁剪后的颞叶分割标签作为网络目标输出，在语义分割卷积神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的颞叶分割神经网络模型；
分割模块，用于将待分割图像输入到训练后的颞叶分割神经网络模型中，得到对应的CT影像的颞叶自动分割结果；其中，所述待分割图像是将对待分割的CT脑影像和T1MRI脑影像进行相同的预处理、配准变换和图像裁剪得到的；
勾画模块，用于对所述颞叶自动分割结果进行后处理和边缘检测，得到颞叶勾画结果。
本发明的第三目的在于提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，述处理器执行所述指令时实现上述颞叶勾画方法的步骤。
本发明的第四目的在于提供一种存储介质，其存储有计算机指令，其特征在于，所述计算机指令指令被处理器执行时实现上述颞叶勾画方法的步骤。
与现有技术相比，本发明的有益效果为：
1.本发明通过采用深度学习语义分割神经网络的方法对CT和T1 MRI多模态影像特征进行联合学习，能够完成对CT脑影像上无明显边界特征的颞叶区域的分割边界的分割规则提取；
2.本发明采用基于标准脑区分割的方法来获得T1 MRI的分割标签，进而辅助语义分割神经网络习得在CT脑影像上的颞叶边界，有效解决了CT脑影像上难以勾画颞叶分割标签的问题；
3.本发明采用多输入通道的语义分割神经网络架构来完成多模态影像的网络特征融合，从而提高了最终语义分割结果的鲁棒性；
4.本发明在利用神经网络模型进行多模态的训练前，对MRI图像与CT图像进行了配准，使得MRI图像与CT图像组织对应关系更准确，从而提高了多模态神经网络分割的稳定性；
5.本发明在利用MRI图像与CT图像配准前，先进行了去除床板和垫块的操作，使得MRI的配准效果更好，配准结果更稳定，从而提高了后面的神经网络分割算法的鲁棒性。
附图说明
图1为本发明一种实施例公开的基于多模态影像的颞叶勾画方法的流程图；
图2a为本发明一种实施例公开的去床板前的图像；
图2b为本发明一种实施例公开的去床板后的图像；
图3为本发明一种实施例公开的全卷积语义分割神经网络架构示意图；
图4为本发明一种实施例公开的颞叶勾画结果图；
图5为本发明一种实施例公开的基于多模态影像的颞叶勾画系统的框架图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述：
如图1所示，本发明提供一种基于多模态影像的颞叶勾画方法，包括：
步骤1、采集预设数量的CT脑影像和T1 MRI脑影像，并制作每例T1 MRI脑影像的颞叶分割标签；其中，
同步采集一批人员(建议为50例全脑扫描数据，这个数据量越大效果越好)包含完整大脑的CT脑影像和T1 MRI脑影像；基于T1 MRI脑影像的个体脑功能区制作每例MRI脑影像的颞叶分割标签。
步骤2、对CT脑影像、T1 MRI脑影像和颞叶分割标签进行预处理；其中，预处理包括去除无关影像信息、图像插值和归一化处理等处理；具体的：
本发明去除无关影像信息的目的为：降低图像配准的计算量和增加配准结果的稳定性；为此，本发明采用阈值分割和保留最大连通域方法去除无关影像，无关影像包括床板、垫块和身体覆盖物等；去除床板前图像如2a所示，去除床板后的图像如图2b所示。基于阈值分割和保留最大连通域方法具体包括：
a)对于CT图像的点，首先对于输入图像进行取阈值处理，如果HU小于阈值,则把图像的HU设置为0，如果HU大于阈值，则把图像的HU设置为1，得到二值化图像A；
b)对于二值化图像A，使用先图像morphology.disk值为3或5的形态学开操作，得到图像B；
c)对图像B取最大的两个联通区域a和b，然后取联通区域a和b的中心点坐标{x1,y1}和{x2,y2}，如果y1大于等于y2，则取区域a，反之取区域b，因此得到图像C；
d)根据图像C取最大包围矩形，使用最大包围矩形去截取输入图像，即得到去除床板的图像，如图2b所示。
本发明在去除无关影像信息后还要先后进行插值处理及图像归一化处理。插值处理的目的是T1 MRI图像的尺寸变换为跟CT图像相同大小；优选地，本发明采用线性插值方法。图像归一化处理的目的是让T1 MRI和CT影像具有相同值域，以保证模型训练时的迭代稳定性。
步骤3、以预处理后的CT脑影像作为参考影像，将预处理后的T1 MRI脑影像和颞叶分割标签向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和颞叶分割标签；其中，
配准变换可以使用刚性配准、仿射配准、非刚性配准和深度学习配准；优选地，本发明采用仿射配准方法，其包括：以预处理后的CT脑影像作为参考影像、预处理后的T1 MRI脑影像作为浮动图像，将预处理的T1 MRI脑影像向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和配准变换参数；根据配准变换参数，对预处理后的颞叶分割标签进行相同的配准变换，得到配准变换后的颞叶分割标签。
步骤4、对预处理后的CT脑影像和配准变换后的T1 MRI脑影像和颞叶分割标签进行相同大小的图像裁剪；图像裁剪后的CT脑影像和T1 MRI脑影像作为语义分割卷积神经网络的两个输入，图像裁剪后的颞叶分割标签作为语义分割卷积神经网络的一个目标输出；其中，
本发明进行图像裁剪的目的为：节约计算力。
步骤5、搭建有效的语义分割卷积神经网络；其中，语义分割卷积神经网络具有两个输入、一个输出；两个输入通道尺寸均为x×y，一个输出尺寸为x×y×2，2为通道数量；其中，
本发明优选采用的为双输入的语义分割卷积神经网络，网络的输入通道尺寸均为256x 256,分别接收步骤4中得到的裁剪后T1 MRI和CT影像作为输出。双输入的语义分割卷积神经网络如图3所示,图中矩形的长度代表该神经网络块的特征图尺寸大小，矩形的宽度代表该神经网络块的通道数量，卷积神经网络包括输入层，卷积层，激活层，最大池化层，上采样层，融合层和输出层。在整个网络构建过程中，使用编码器-解码器(encoder-decoder)结构，让图像尺寸由大变小再恢复原样，同时卷积核的数量也不断增长，编码器和解码器特征图大小相同的层通过连接(concatenate)方法拼接到一起，让网络可以同时学习到高层的语义信息以及底层的定位信息。本实施例神经网络优选地通道1和通道2有独立的编码卷积网络，它们通过连接(concatenate)方法连接在一起。
步骤6、将裁剪后的CT脑影像和T1 MRI脑影像作为网络输入、裁剪后的颞叶分割标签作为网络目标输出，在语义分割卷积神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的颞叶分割神经网络模型，并将训练好的颞叶分割神经网络模型和权重保存到硬盘；其中，
训练包括前向传播和反向传播，一次前向传播和反向传播为一次网络迭代计算。优选地，本发明不设定网络训练迭代次数，而采用通用的Early-stop的方式来让网络自动停止迭代，输出最佳的迭代模型，即颞叶分割神经网络模型。
步骤7、将对待分割的CT脑影像和T1 MRI脑影像进行上述相同的预处理、配准变换和图像裁剪，得到待分割图像；
步骤8、将网络模型结构和权重加载到网络执行环境中，将待分割图像输入到训练后的颞叶分割神经网络模型中，得到对应的CT影像的颞叶自动分割结果；
步骤9、对颞叶自动分割结果进行后处理和边缘检测，得到颞叶勾画结果；其中，
后处理包含最大连通区域保留、平滑等操作，再对后处理的结果进行反插值处理，即可得到原始CT影像对应大小的脑组织的轮廓勾画结果，如图4所示。
如图5所示，本发明提供一种基于多模态影像的颞叶勾画方法，包括：采集模块、预处理模块、配准变换模块、图像裁剪模块、模型生成模块、模型训练模块、分割模块和勾画模块；
本发明的采集模块，用于采集预设数量的CT脑影像和T1 MRI脑影像，并制作每例T1 MRI脑影像的颞叶分割标签；其中，
同步采集一批人员(建议为50例全脑扫描数据，这个数据量越大效果越好)包含完整大脑的CT脑影像和T1 MRI脑影像；基于T1 MRI脑影像的个体脑功能区制作每例MRI脑影像的颞叶分割标签。
本发明的预处理模块，用于对CT脑影像、T1 MRI脑影像和颞叶分割标签进行预处理；其中，预处理包括去除无关影像信息、图像插值和归一化处理等处理；具体的：
本发明去除无关影像信息的目的为：降低图像配准的计算量和增加配准结果的稳定性；为此，本发明采用阈值分割和保留最大连通域方法去除无关影像，无关影像包括床板、垫块和身体覆盖物等；去除床板前图像如2a所示，去除床板后的图像如图2b所示。基于阈值分割和保留最大连通域方法具体包括：
a)对于CT图像的点，首先对于输入图像进行取阈值处理，如果HU小于阈值,则把图像的HU设置为0，如果HU大于阈值，则把图像的HU设置为1，得到二值化图像A；
b)对于二值化图像A，使用先图像morphology.disk值为3或5的形态学开操作，得到图像B；
c)对图像B取最大的两个联通区域a和b，然后取联通区域a和b的中心点坐标{x1,y1}和{x2,y2}，如果y1大于等于y2，则取区域a，反之取区域b，因此得到图像C；
d)根据图像C取最大包围矩形，使用最大包围矩形去截取输入图像，即得到去除床板的图像，如图2b所示。
本发明在去除无关影像信息后还要先后进行插值处理及图像归一化处理。插值处理的目的是T1 MRI图像的尺寸变换为跟CT图像相同大小；优选地，本发明采用线性插值方法。图像归一化处理的目的是让T1 MRI和CT影像具有相同值域，以保证模型训练时的迭代稳定性。
本发明的配准变换模块，用于以预处理后的CT脑影像作为参考影像，将预处理后的T1 MRI脑影像和颞叶分割标签向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和颞叶分割标签；其中，
配准变换可以使用刚性配准、仿射配准、非刚性配准和深度学习配准；优选地，本发明采用仿射配准方法，其包括：以预处理后的CT脑影像作为参考影像、预处理后的T1 MRI脑影像作为浮动图像，将预处理的T1 MRI脑影像向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和配准变换参数；根据配准变换参数，对预处理后的颞叶分割标签进行相同的配准变换，得到配准变换后的颞叶分割标签。
本发明的图像裁剪模块，用于对预处理后的CT脑影像和配准变换后的T1 MRI脑影像和颞叶分割标签进行相同大小的图像裁剪；图像裁剪后的CT脑影像和T1 MRI脑影像作为语义分割卷积神经网络的两个输入，图像裁剪后的颞叶分割标签作为语义分割卷积神经网络的一个输出；其中，
本发明进行图像裁剪的目的为：节约计算力。
本发明的模型生成模块，用于搭建有效的语义分割卷积神经网络；其中，语义分割卷积神经网络具有两个输入、一个输出；两个输入通道尺寸均为x×y，一个输出尺寸为x×y×2，2为通道数量；其中，
本发明优选采用的为双输入的语义分割卷积神经网络，网络的输入通道尺寸均为256x 256,分别接收步骤4中得到的裁剪后T1 MRI和CT影像作为输出。双输入的语义分割卷积神经网络如图3所示,图中矩形的长度代表该神经网络块的特征图尺寸大小，矩形的宽度代表该神经网络块的通道数量，卷积神经网络包括输入层，卷积层，激活层，最大池化层，上采样层，融合层和输出层。在整个网络构建过程中，使用编码器-解码器(encoder-decoder)结构，让图像尺寸由大变小再恢复原样，同时卷积核的数量也不断增长，编码器和解码器特征图大小相同的层通过连接(concatenate)方法拼接到一起，让网络可以同时学习到高层的语义信息以及底层的定位信息。本实施例神经网络优选地通道1和通道2有独立的编码卷积网络，它们通过连接(concatenate)方法连接在一起。
本发明的模型训练模块，用于将裁剪后的CT脑影像和T1 MRI脑影像作为网络输入、裁剪后的颞叶分割标签作为网络目标输出，在语义分割卷积神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的颞叶分割神经网络模型，并将训练好的颞叶分割神经网络模型和权重保存到硬盘；其中，
训练包括前向传播和反向传播，一次前向传播和反向传播为一次网络迭代计算。优选地，本发明不设定网络训练迭代次数，而采用通用的Early-stop的方式来让网络自动停止迭代，输出最佳的迭代模型，即颞叶分割神经网络模型。
本发明的分割模块，用于将网络模型结构和权重加载到网络执行环境中，将待分割图像输入到训练后的颞叶分割神经网络模型中，得到对应的CT影像的颞叶自动分割结果；其中，待分割图像的生成方法为：将对待分割的CT脑影像和T1 MRI脑影像进行上述相同的预处理、配准变换和图像裁剪，得到待分割图像；
本发明的勾画模块，用于对颞叶自动分割结果进行后处理和边缘检测，得到颞叶勾画结果；其中，
后处理包含最大连通区域保留、平滑等操作，再对后处理的结果进行反插值处理，即可得到原始CT影像对应大小的脑组织的轮廓勾画结果，如图4所示。
本发明提供一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，处理器执行指令时实现上述颞叶勾画方法的步骤；其中，
该计算设备的技术方案与上述勾画方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述勾画方法的技术方案的描述。
计算设备可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或PC的静止计算设备；计算设备还可以是移动式或静止式的服务器。
计算机指令包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本发明提供一种存储介质，其存储有计算机指令，计算机指令指令被处理器执行时实现上述颞叶勾画方法的步骤；其中，
该存储介质的技术方案与上述勾画方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述勾画方法的技术方案的描述。
存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
在上述勾画方法及勾画系统中：
1.本发明以大脑颞叶的多模态勾画为优选实施例提出在CT影像上无明显边界的颞叶自动勾画算法解决方案，这种方法可以拓展用于诸如脑干、顶叶、枕叶、额叶、海马等其它脑部组织的自动勾画任务中去。
2.本发明提出的算法解决框架可以进一步拓展用于同时进行多个脑区的自动勾画任务中去，只需要把语义分割网络的输出层通道数修改为与待分割脑区数量相同的通道数即可。
3.本发明的多模态影像不局限于CT和T1 MRI，在适合的场景，可拓展为用正电子CT(PET)和单光子CT(SPECT)取代MRI成像，也可以进一步采用包括CT、MRI、PET等在内的多于两种成像方式的多模态分割。
4.本发明中使用的语义分割卷积神经网络模型可以根据所采用的多模态成像数量扩展为三通道或更多通道的神经网络模型。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上公开的本发明优选实施例只是用于帮助阐述本发明。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种基于多模态影像的颞叶勾画方法，其特征在于，包括：
采集预设数量的CT脑影像和T1 MRI脑影像，并制作每例T1 MRI脑影像的颞叶分割标签；
对所述CT脑影像、T1 MRI脑影像和颞叶分割标签进行预处理；
以预处理后的CT脑影像作为参考影像，将预处理后的T1 MRI脑影像和颞叶分割标签向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和颞叶分割标签；
对预处理后的CT脑影像和配准变换后的T1 MRI脑影像和颞叶分割标签进行相同大小的图像裁剪；
搭建有效的语义分割卷积神经网络；其中，所述语义分割卷积神经网络具有两个输入、一个输出；
将裁剪后的CT脑影像和T1 MRI脑影像作为网络输入、裁剪后的颞叶分割标签作为网络目标输出，在语义分割卷积神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的颞叶分割神经网络模型；
将对待分割的CT脑影像和T1 MRI脑影像进行相同的预处理、配准变换和图像裁剪，得到待分割图像；
将所述待分割图像输入到训练后的颞叶分割神经网络模型中，得到对应的CT影像的颞叶自动分割结果；
对所述颞叶自动分割结果进行后处理和边缘检测，得到颞叶勾画结果。
2.如权利要求1所述的颞叶勾画方法，其特征在于，同步采集至少50例包含完整大脑的所述CT脑影像和T1 MRI脑影像；
基于T1 MRI脑影像的个体脑功能区制作每例MRI脑影像的颞叶分割标签。
3.如权利要求1所述的颞叶勾画方法，其特征在于，所述预处理包括去除无关影像信息、图像插值和归一化处理；其中，
所述去除无关影像信息为采用阈值分割和保留最大连通域方法去除无关影像，所述无关影像包括床板和身体覆盖物；
所述图像插值为采用线性插值方法使所述CT脑影像和T1 MRI脑影像具有相同大小；
所述归一化处理用于使所述CT脑影像和T1 MRI脑影像具有相同的值域。
4.如权利要求1所述的颞叶勾画方法，其特征在于，所述配准变换的方法为：
以预处理后的CT脑影像作为参考影像、预处理后的T1 MRI脑影像作为浮动图像，将预处理的T1 MRI脑影像向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和配准变换参数；
根据所述配准变换参数，对预处理后的颞叶分割标签进行相同的配准变换，得到配准变换后的颞叶分割标签。
5.如权利要求1所述的颞叶勾画方法，其特征在于，所述语义分割卷积神经网络为双输入的语义分割卷积神经网络，两个输入通道尺寸均为x×y，一个输出尺寸为x×y×2，2为通道数量。
6.如权利要求1所述的颞叶勾画方法，其特征在于，所述训练包括前向传播和反向传播，一次前向传播和反向传播为一次网络迭代计算；
采用Early-stop的方式来让神经网络自动停止迭代，得到最佳的颞叶分割神经网络模型。
7.如权利要求1所述的颞叶勾画方法，其特征在于，所述后处理包括最大连通区域保留和平滑处理。
8.一种基于多模态影像的颞叶勾画系统，其特征在于，基于所述颞叶勾画系统实现权利要求1-7中任一项所述的颞叶勾画方法，包括：
采集模块，用于采集预设数量的CT脑影像和T1 MRI脑影像，并制作每例T1 MRI脑影像的颞叶分割标签；
预处理模块，用于对所述CT脑影像、T1 MRI脑影像和颞叶分割标签进行预处理；
配准变换模块，用于以预处理后的CT脑影像作为参考影像，将预处理后的T1 MRI脑影像和颞叶分割标签向预处理后的CT脑影像进行配准变换，得到配准变换后的T1 MRI脑影像和颞叶分割标签；
图像裁剪模块，用于对预处理后的CT脑影像和配准变换后的T1 MRI脑影像和颞叶分割标签进行相同大小的图像裁剪；
模型生成模块，用于搭建有效的语义分割卷积神经网络；其中，所述语义分割卷积神经网络具有两个输入、一个输出；
模型训练模块，用于将裁剪后的CT脑影像和T1 MRI脑影像作为网络输入、裁剪后的颞叶分割标签作为网络目标输出，在语义分割卷积神经网络中进行训练，直到模型稳定收敛，停止训练，得到最佳的颞叶分割神经网络模型；
分割模块，用于将待分割图像输入到训练后的颞叶分割神经网络模型中，得到对应的CT影像的颞叶自动分割结果；其中，所述待分割图像是将对待分割的CT脑影像和T1 MRI脑影像进行相同的预处理、配准变换和图像裁剪得到的；
勾画模块，用于对所述颞叶自动分割结果进行后处理和边缘检测，得到颞叶勾画结果。
9.一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，其特征在于，所述处理器执行所述指令时实现权利要求1-7中任一项所述的颞叶勾画方法的步骤。
10.一种存储介质，其存储有计算机指令，其特征在于，所述计算机指令指令被处理器执行时实现权利要求1-7中任一项所述的颞叶勾画方法的步骤。
CN202010307736.9A 2020-04-17 2020-04-17 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质 Pending CN113538495A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010307736.9A CN113538495A (zh) 2020-04-17 2020-04-17 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010307736.9A CN113538495A (zh) 2020-04-17 2020-04-17 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质

Publications (1)

Publication Number Publication Date
CN113538495A true CN113538495A (zh) 2021-10-22

Family

ID=78123415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010307736.9A Pending CN113538495A (zh) 2020-04-17 2020-04-17 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质

Country Status (1)

Country Link
CN (1) CN113538495A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989277A (zh) * 2021-12-24 2022-01-28 青岛美迪康数字工程有限公司 用于医用放射诊疗检查的成像方法及装置
WO2023124888A1 (zh) * 2021-12-31 2023-07-06 深圳先进技术研究院 基于pet/mr成像系统的自动脑区分割方法及装置
CN117078703A (zh) * 2023-08-30 2023-11-17 深圳扬奇医芯智能科技有限公司 一种基于mri引导的ct图像分割方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989277A (zh) * 2021-12-24 2022-01-28 青岛美迪康数字工程有限公司 用于医用放射诊疗检查的成像方法及装置
WO2023124888A1 (zh) * 2021-12-31 2023-07-06 深圳先进技术研究院 基于pet/mr成像系统的自动脑区分割方法及装置
CN117078703A (zh) * 2023-08-30 2023-11-17 深圳扬奇医芯智能科技有限公司 一种基于mri引导的ct图像分割方法及系统
CN117078703B (zh) * 2023-08-30 2024-05-28 深圳扬奇医芯智能科技有限公司 一种基于mri引导的ct图像分割方法及系统

Similar Documents

Publication Publication Date Title
Fu et al. Three dimensional fluorescence microscopy image synthesis and segmentation
Fakhry et al. Residual deconvolutional networks for brain electron microscopy image segmentation
US20210118144A1 (en) Image processing method, electronic device, and storage medium
CN113538495A (zh) 一种基于多模态影像的颞叶勾画方法、勾画系统、计算设备和存储介质
CN109389129A (zh) 一种图像处理方法、电子设备及存储介质
Popescu et al. Retinal blood vessel segmentation using pix2pix gan
CN113344933B (zh) 一种基于多层次特征融合网络的腺体细胞分割方法
CN111091575B (zh) 一种基于强化学习方法的医学图像分割方法
CN116188479B (zh) 基于深度学习的髋关节图像分割方法及系统
Jia et al. Skin lesion classification using class activation map
Ho et al. Nuclei detection and segmentation of fluorescence microscopy images using three dimensional convolutional neural networks
CN113538209A (zh) 一种多模态医学影像配准方法、配准系统、计算设备和存储介质
CN117523194A (zh) 一种基于稀疏标注的图像分割方法
CN110874855B (zh) 一种协同成像方法、装置、存储介质和协同成像设备
Wang et al. Superpixel inpainting for self-supervised skin lesion segmentation from dermoscopic images
CN114511513B (zh) 基于深度卷积神经网络的脑动脉瘤三维检测分割方法
CN118430790A (zh) 一种基于多模态图神经网络的乳腺肿瘤bi-rads分级方法
Du et al. Boosting dermatoscopic lesion segmentation via diffusion models with visual and textual prompts
Jamil et al. Computer based melanocytic and nevus image enhancement and segmentation
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN117372687A (zh) 一种基于深度学习的多模态神经图像肿瘤分割方法和系统
CN113538496A (zh) 一种mri头部影像的脑组织自动勾画方法、勾画系统、计算设备和存储介质
Resmi et al. Skull stripping in magnetic resonance imaging of brain using semantic segmentation
CN115937163A (zh) 一种spect肺灌注成像的目标区域提取方法与系统
Krishna et al. MLRNet: Skin lesion segmentation using hybrid Gaussian guided filter with CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination