一种基于深度学习的肿瘤定位系统
技术领域
本发明属于肿瘤定位技术领域,尤其涉及一种基于深度学习的肿瘤三维定位系统。
背景技术
肿瘤追踪治疗技术是近年来发展起来的新型运动肿瘤治疗技术,在临床中得到越来越多的应用,如何在治疗过程中准确估计肿瘤的位置则是肿瘤追踪治疗的关键。
目前,现有的肿瘤定位方法主要分为三类,分别是基于植入标记物的肿瘤定位,基于替代物的肿瘤定位以及基于X光透视图像的肿瘤定位。基于植入标记物方法是一种比较常用的肿瘤定位方法,但植入标记物可能会引起气胸等临床并发症。基于替代物的肿瘤定位不会引起气胸等并发症,但其依赖的替代物与肿瘤运动之间的关系可能在治疗过程中发生变动,从而影响肿瘤定位精度。目前,随着图像处理技术与机器学习技术的发展,基于X光透视图像的肿瘤定位吸引了越来越多研究人员的关注。然而,现有的主流放疗设备上安装的Cone Beam CT成像系统在同一时刻只能获取单一的二维X光透视图像,难以直接解算出肿瘤的三维空间位置。因此如何利用单幅X光透视图像进行肿瘤三维定位是目前放疗领域的研究热点。
现有的基于单X光透视图像的肿瘤定位方法主要分为两类:基于配准的方法与基于回归的方法。基于配准的方法精度较高,但由于配准迭代过程计算量过大,难以做到实时定位。基于回归的方法可以实现对肿瘤的实时定位,但目前该类方法需要针对每一个治疗角度训练一个模型,只能应对治疗过程中机架角固定不变的情况(比如定角度的IMRT,Intensity-modulated radiotherapy),而无法应用于诸如容积调强放射治疗(VMAT,Volumetric Arc Therapy)等机架角持续变化的治疗模式中。
发明内容
针对现有的基于回归的肿瘤定位方法无法应用于VMAT中的问题,本发明提供一种可以应用于任意机架角度下,利用单幅CBCT透视图像对肿瘤进行实时精确三维定位的装置,从而满足包含VMAT等治疗模式下对肿瘤定位的临床需要。该装置通过结合CBCT透视图像与机架角度信息,构建可以描述不同角度下CBCT透视图像与肿瘤呼吸运动之间的映射关系的回归模型,从而实现基于任意角度的CBCT透视图像的肿瘤实时精确三维定位。
一种基于深度学习的肿瘤定位系统,其特征在于,包括用于获取训练数据的训练数据生成模块、用于估计肿瘤运动与CBCT透视图像之间关系的肿瘤定位模型模块、用于实现治疗过程中肿瘤实时精确定位的肿瘤定位应用模块,其中,
所述训练数据生成模块的处理过程如下:
S11:构建Principal Component Analysis(PCA)呼吸运动模型:
在4D-CT图像序列中选择某一时相的3D-CT图像作为参考图像Iref,并将其他时相的3D-CT图像向所述参考图像Iref形变配准,得到一组形变场;
利用PCA方法对所述形变场降维,得到包含一个平均运动向量场和少数主运动模式Pi的呼吸运动模型;
通过调整所述主运动模式Pi的系数ui得到从所述参考图像Iref到呼吸周期中任一时相t的运动向量场i为所述主运动模式Pi的序号;
利用所述运动向量场Vt对所述参考图像Iref进行形变变换得到对应的三维图像It,所述主运动模式Pi的系数ui是PCA呼吸运动参数;
S12:对所述PCA呼吸运动参数ui随机采样,生成不同呼吸时相的三维形变场以及3D-CT图像数据;
S13:利用治疗前的3D-CBCT图像数据对所述3D-CT图像数据进行灰度修正,以消除DRR与CBCT透视图像之间的灰度差异;
S14:对修正后的3D-CT图像,在[0°,360°]的范围内随机选择不同的投影角度计算DRR图像;
S15:将步骤S14获取的DRR图像及相应的角度信息作为训练数据,PCA呼吸运动参数ui作为训练标签,进行深度学习训练获取卷积神经网络模型;
所述肿瘤定位模型模块的处理过程如下:
S21:所述卷积神经网络模型包括输入层、Layerl1层、Layerl2层、Layerl3层、Layerl4层、全连接层、输出层,在所述的Layerl1层对输入的训练图像进行如下角度加权:R(k)=(mk×a+nk)×S(k),其中,S是输入的训练图像,R是加权后的图像,k是输入图像与加权后图像中像素的坐标,a是与所述输入的训练图像相对应的成像角度,m与n是待训练的网络参数;
S22:所述的Layerl2层、Layerl3层、Layerl4层均包含若干的卷积层和ReLU激活函数、若干的池化层,利用Layerl2层、Layerl3层、Layerl4层的卷积操作,在三个不同尺度下对CBCT透视图像的特征进行自动选择与提取;
S23:在全连接层中根据如下公式将成像角度信息引入至卷积神经网络模型:
其中,Out为所述全连接层的输出,i∈[1,1024]为输出层元素的序号,I4为全连接层的输入,即Layerl4层的输出,其本质是由所述Layerl2层至Layerl4层提取出来的维度为32×32×32的特征矩阵,j为I4特征矩阵中元素的序号,a是与所述输入的训练图像相对应的成像角度,wi、bi是待训练的应用于I4特征矩阵的网络参数,wangle、bangle是待训练的应用于成像角度a线性加权参数,输出层输出与CBCT透视图像相对应的PCA呼吸模型运动参数;
所述肿瘤定位应用模块的处理过程如下:
S31:将治疗中的CBCT图像与成像角度a输入至所述肿瘤定位模型模块,得到相应的PCA呼吸运动参数;
S32:根据步骤S31输出的PCA呼吸运动参数,结合步骤S11构建的PCA呼吸运动模型,获得当前病人组织结构相对于所述参考图像Iref的三维形变场:其中,Fpatient为希望获得的病人形变场,是所述PCA呼吸运动模型中的平均运动向量场,Pi是所述PCA呼吸运动模型中的主运动模式,Qi为获得的与当前病人组织结构相对应的PCA呼吸运动参数,i为所述主运动模式Pi的序号;
S33:根据在治疗前获取的参考图像Iref中肿瘤的三维轮廓以及质心位置,结合S32步骤获得的形变场Fpatient,计算得到当前时刻肿瘤的三维轮廓以及相应的肿瘤质心位置。
本发明的有益效果在于:
通过将机架角度信息与CBCT透视图像共同作为回归模型的输入,使得构建的深度学习回归模型可以对不同角度下的CBCT透视图像与模型运动参数进行估计,从而实现任意角度下的基于单幅CBCT透视图像的肿瘤三维定位。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,通过参考附图会更加清楚的理解本发明的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以根据这些附图获得其他的附图。其中:
图1是基于深度学习的回归模型结构图;
图2是本发明的总体流程图;
图3是PCA呼吸运动模型构建流程图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
本发明提供一种基于深度学习的利用单幅CBCT透视图像对病人肺部肿瘤进行实时精确三维定位的方法,具体涉及一种利用卷积神经网络根据任意机架角度下的单幅二维CBCT透视图像解算病人肺部肿瘤在三维空间中的实时位置的技术。
目前,基于回归模型的肿瘤定位方法的一大缺陷就是无法应对成像角度变化的情况,主要是由于任意角度下的CBCT透视图像与病人组织运动之间的关系过于复杂以至于现有的回归模型无法对其进行准确的估计。现有研究工作表明,DRR(DigitalReconstruction Radiography)图像中某些区域的灰度分布与组织运动之间具有比较好的相关性(这些区域被称为运动相关区域),但在不同角度下运动相关区域的位置不同。另外不同机架角度下,CBCT透视图像的运动相关区域中的图像特征与肿瘤运动之间的关系也可能不同。因此,本发明提出一种新型的卷积神经网络,通过引入机架角度信息,使得新构建的卷积神经网络可以根据机架角度自动选择需要进行特征提取的感兴趣区域。另外在最后的全连接层中引入机架角度信息,以实现对不同机架角度下CBCT(Cone Beam ComputedTomography)透视图像与肿瘤运动之间关系的准确描述。本方法提出的基于深度学习的回归模型结构如图1所示。
一种基于深度学习的肿瘤定位系统,其特征在于,包括用于获取训练数据的训练数据生成模块、用于估计肿瘤运动与CBCT透视图像之间关系的肿瘤定位模型模块、用于实现治疗过程中肿瘤实时精确定位的肿瘤定位应用模块,其中,
训练数据生成模块的处理过程如下:
S11:构建Principal Component Analysis(PCA)呼吸运动模型:
在4D-CT图像序列中选择某一时相的3D-CT图像作为参考图像Iref,并将其他时相的3D-CT图像向参考图像Iref形变配准,得到一组形变场;利用PCA方法对形变场降维,得到包含一个平均运动向量场和少数主运动模式Pi的呼吸运动模型;通过调整主运动模式Pi的系数ui得到从参考图像Iref到呼吸周期中任一时相t的运动向量场i为所述主运动模式Pi的序号;利用运动向量场Vt对参考图像Iref进行形变变换得到对应的三维图像It,主运动模式Pi的系数ui是PCA呼吸运动参数;
S12:对PCA呼吸运动参数ui随机采样,生成不同呼吸时相的三维形变场以及3D-CT图像数据;
S13:利用治疗前的3D-CBCT图像数据对3D-CT图像数据进行灰度修正,以消除DRR与CBCT透视图像之间的灰度差异;
S14:对修正后的3D-CT图像,在[0°,360°]的范围内随机选择不同的投影角度计算DRR图像;
S15:将步骤S14获取的DRR图像及相应的角度信息作为训练数据,PCA呼吸运动参数ui作为训练标签,进行深度学习训练获取卷积神经网络模型;
肿瘤定位模型模块的处理过程如下:
S21:卷积神经网络模型包括输入层、Layerl1层、Layerl2层、Layerl3层、Layerl4层、全连接层、输出层,在Layerl1层对输入的训练图像进行如下角度加权:R(k)=(mk×a+nk)×S(k),其中,S是输入的训练图像,R是加权后的图像,k是输入图像与加权后图像中像素的坐标,a是与所述输入的训练图像相对应的成像角度,m与n是待训练的网络参数;
S22:Layerl2层、Layerl3层、Layerl4层均包含若干的卷积层和ReLU激活函数、若干的池化层,利用Layerl2层、Layerl3层、Layerl4层的卷积操作,在三个不同尺度下对CBCT透视图像的特征进行自动选择与提取;
S23:在全连接层中根据如下公式将成像角度信息引入至卷积神经网络模型:
其中,Out为全连接层的输出,i∈[1,1024]为输出层元素的序号,I4为全连接层的输入,即Layerl4层的输出,其本质是由Layerl2层至Layerl4层提取出来的维度为32×32×32的特征矩阵,j为I4特征矩阵中元素的序号,a是与输入的训练图像相对应的成像角度,wi、bi是待训练的应用于I4特征矩阵的网络参数,wangle、bangle是待训练的应用于成像角度a线性加权参数,输出层输出与CBCT透视图像相对应的PCA呼吸模型运动参数;
肿瘤定位应用模块的处理过程如下:
S31:将治疗中的CBCT图像与成像角度a输入至肿瘤定位模型模块,得到相应的PCA呼吸运动参数;
S32:根据步骤S31输出的PCA呼吸运动参数,结合步骤S11构建的PCA呼吸运动模型,获得当前病人组织结构相对于参考图像Iref的三维形变场:其中,Fpatient为希望获得的病人形变场,是所述PCA呼吸运动模型中的平均运动向量场,Pi是所述PCA呼吸运动模型中的主运动模式,Qi为获得的与当前病人组织结构相对应的PCA呼吸运动参数,i为主运动模式Pi的序号;
S33:根据在治疗前获取的参考图像Iref中肿瘤的三维轮廓以及质心位置,结合S32步骤获得的形变场Fpatient,计算得到当前时刻肿瘤的三维轮廓以及相应的肿瘤质心位置。
在PCA呼吸运动模型中,不同的主运动模式的重要性是不一样的,越靠前的主成分越重要。
在Layerl1层,对输入图像的每个像素都进行一次加权操作,并且每个像素的权值与成像角度相关,利用该加权操作,可以使得深度学习网络根据成像角度自动选择需要进行回归分析的CBCT透视图像区域。
在肿瘤定位模型模块引入角度信息的原因主要是考虑到不同成像角度下,CBCT透视图像中不同区域与组织运动的关系也可能不同。利用引入了成像角度的全连接层,可以使得深度学习模型根据成像角度使用不同的回归参数去估计CBCT透视图像与组织运动之间的关系,从而实现更加准确的肿瘤定位。
输出层输出与CBCT透视图像相对应的PCA呼吸模型运动参数,与传统的基于PCA模型的肿瘤定位方法不同的是,输出所有N个PCA系数,而不只是与前三个最大的特征值相对应的PCA系数。当肿瘤的运动幅度较小时,与三个最大的特征值相对应的主运动向量,可能只代表了横膈膜等幅度较大的呼吸运动,而没有包含小范围的肿瘤运动,从而造成肿瘤定位的误差。对于传统的基于PCA模型的肿瘤定位算法,出于计算效率与模型复杂度的考虑,都仅仅使用了与前三个最大的特征值相对应的PCA系数进行肿瘤位置估计。相比较而言,本发明的基于深度学习的回归模型一方面具有强大的非线性建模能力,另一方面不包含对输出结果维度敏感的迭代优化过程,因此可以在保证计算效率的前提下,直接输出所有的N个PCA系数,提高了肿瘤定位的精度。
本发明的装置不仅获得了肿瘤的位置,还计算出了实时的肿瘤的三维轮廓,因此可以调整多叶光栅使得治疗射束的适形率进一步得到改善,提高治疗的效果。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中,除非另有明确的规定和限定,第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触,也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且,第一特征在第二特征“之上”、上方”和“上面”包括第一特征在第二特征正上方和斜上方,或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、下方”和“下面”包括第一特征在第二特征正下方和斜下方,或仅仅表示第一特征水平高度小于第二特征。
在本发明中,术语“第一”、“第二”、“第三”、“第四”仅用于描述目的,而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上,除非另有明确的限定。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。