医学图像分割模型构建方法与CBCT图像骨分割方法
技术领域
本申请涉及医学图像处理技术领域,特别是涉及一种医学图像分割模型构建方法、装置、计算机设备和存储介质以及CBCT(Cone Beam Computed Tomography,锥形束CT)图像骨分割方法、装置、计算机设备和存储介质。
背景技术
放射治疗,简称放疗,是肿瘤治疗三大重要手段(包括:手术、化疗、放疗)之一。IGRT(Image Guided Radiotherapy,图像引导放射治疗)是肿瘤患者进行放射治疗过程中的核心关键技术,利用患者内部解剖结构实现对患者摆位的验证及调整。
基于锥形束CT的图像引导放疗定位系统是图像引导放射治疗技术重要的实现方式之一。在放射治疗室,与放射治疗设备配套的CBCT成像系统采用平板探测器和锥形X射线束,围绕患者肿瘤部位圆周旋转并进行多角度曝光,从而得到诸多二维投影数据,对这些投影数据进行CBCT图像重建,得到一组连续的CBCT图像,利用CBCT图像中患者内部解剖结构与患者先前在影像室拍摄的CT图像进行图像配准,从而实现对患者摆位的验证及调整。
可见,CBCT图像与CT图像之间的图像配准是实现对患者摆位的验证及调整关键,常规的配准方式中有采用刚性配准的方式,刚性配准虽然配准速度快,但是以骨组织作为标记物进行配准需要将CT图像和CBCT图像中的骨组织精确分割出来再进行配准,由于CBCT图像中常伴有硬化伪影、散射伪影等因素存在,导致CBCT图像中骨组织分割出来精确度不高,最终导致无法准确实现对患者摆位的验证及调整。
发明内容
基于此,有必要针对上述技术问题,提供一种能够支持准确CBCT图像骨分割的医学图像分割模型构建方法、装置、计算机设备和存储介质以及支持准确实现对患者摆位的验证及调整的CBCT图像骨分割方法、装置、计算机设备和存储介质。
一种医学图像分割模型构建方法,所述方法包括:
获取单个样本对象目标部位的CT图像以及CBCT图像;
以所述CT图像作为浮动图像、且以所述CBCT图像作为参考图像对所述CT图像和所述CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果;
对所述配准结果中CT图像进行骨分割,得到二值图像,将所述二值图像作为所述配准结果中CBCT图像的骨性组织标签图,得到单组样本数据;
重新选取单个样本对象,返回所述获取单个样本对象目标部位的CT图像以及CBCT图像,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集;
根据所述样本数据集训练初始神经网络模型,得到医学图像分割模型。
在其中一个实施例中,所述获取单个样本对象目标部位的CT图像以及CBCT图像包括:
获取单个样本对象目标部位的初始CT图像以及初始CBCT图像;
利用DICOM(Digital Imaging and Communications in Medicine,医学数字成像和通信)格式数据的坐标中心与像素间隔,并通过插值将所述初始CT图像与初始CBCT图像的分辨率统一,得到单个样本对象目标部位的CT图像以及CBCT图像。
在其中一个实施例中,所述获取单个样本对象目标部位的初始CT图像以及初始CBCT图像包括:
记录由CT设备在样本对象目标部位所属区域设置至少两个标志位;
通过所述CT设备采集样本对象目标部位的初始CT图像;
调整样本对象相对CBCT成像系统的位置,以使所述CBCT成像系统中定位装置中标志位对齐所述样本对象上所述至少两个标志位;
通过所述CBCT成像系统采集初始CBCT图像。
在其中一个实施例中,所述根据所述样本数据集训练初始神经网络模型,得到医学图像分割模型之前,还包括:
对所述样本数据集进行预处理和数据增强,得到扩充后的样本数据集;
所述根据所述样本数据集训练初始神经网络模型,得到医学图像分割模型包括:
根据所述扩充后的样本数据集训练初始神经网络模型,得到医学图像分割模型。
在其中一个实施例中,所述对所述配准结果中CT图像进行骨分割,得到二值图像包括:
基于直方图的阈值骨分割算法对所述配准结果中CT图像进行骨分割,得到二值化CT图像。
在其中一个实施例中,所述以所述CT图像作为浮动图像、且以所述CBCT图像作为参考图像对所述CT图像和所述CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果包括:
以所述CT图像作为浮动图像、且以所述CBCT图像作为参考图像,基于最大互信息的弹性配准算法,对所述CT图像和所述CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果。
在其中一个实施例中,所述根据所述样本数据集训练初始神经网络模型,得到医学图像分割模型包括:
根据所述样本数据集训练U-Net神经网络模型,以调整所述U-Net神经网络模型中模型层数以及每层的通道数,得到医学图像分割模型。
一种医学图像分割模型构建装置,包括:
样本图像获取模块,用于获取单个样本对象目标部位的CT图像以及CBCT图像;
弹性配准模块,用于以所述CT图像作为浮动图像、且以所述CBCT图像作为参考图像对所述CT图像和所述CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果;
样本生成模块,用于对所述配准结果中CT图像进行骨分割,得到二值图像,将所述二值图像作为所述配准结果中CBCT图像的骨性组织标签图,得到单组样本数据;
循环迭代模块,用于重新选取单个样本对象,控制所述样本图像获取模块、所述弹性配准模块以及所述样本生成模块重新执行对应操作,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集;
模型构建模块,用于根据所述样本数据集训练初始神经网络模型,得到医学图像分割模型。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取单个样本对象目标部位的CT图像以及CBCT图像;
以所述CT图像作为浮动图像、且以所述CBCT图像作为参考图像对所述CT图像和所述CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果;
对所述配准结果中CT图像进行骨分割,得到二值图像,将所述二值图像作为所述配准结果中CBCT图像的骨性组织标签图,得到单组样本数据;
重新选取单个样本对象,返回所述获取单个样本对象目标部位的CT图像以及CBCT图像,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集;
根据所述样本数据集训练初始神经网络模型,得到医学图像分割模型。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取单个样本对象目标部位的CT图像以及CBCT图像;
以所述CT图像作为浮动图像、且以所述CBCT图像作为参考图像对所述CT图像和所述CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果;
对所述配准结果中CT图像进行骨分割,得到二值图像,将所述二值图像作为所述配准结果中CBCT图像的骨性组织标签图,得到单组样本数据;
重新选取单个样本对象,返回所述获取单个样本对象目标部位的CT图像以及CBCT图像,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集;
根据所述样本数据集训练初始神经网络模型,得到医学图像分割模型。
另外,本申请还提供一种CBCT图像骨分割方法,所述方法包括:
获取待处理CBCT图像;
将所述待处理CBCT图像输入至预设医学图像分割模型;
根据所述医学图像分割模型输出数据,得到与所述待处理CBCT图像对应的骨组织二值图像;
根据所述骨组织二值图像对所述待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,其中,所述预设医学图像分割模型由上述方法构建。
另外,本申请还提供一种CBCT图像骨分割装置,包括:
待处理图像获取模块,用于获取待处理CBCT图像;
模型输入模块,用于将所述待处理CBCT图像输入至预设医学图像分割模型;
模型输出模块,用于根据所述医学图像分割模型输出数据,得到与所述待处理CBCT图像对应的骨组织二值图像;
分割模块,用于根据所述骨组织二值图像对所述待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,其中,所述预设医学图像分割模型由上述方法构建。
一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理CBCT图像;
将所述待处理CBCT图像输入至预设医学图像分割模型;
根据所述医学图像分割模型输出数据,得到与所述待处理CBCT图像对应的骨组织二值图像;
根据所述骨组织二值图像对所述待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,其中,所述预设医学图像分割模型由上述方法构建。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理CBCT图像;
将所述待处理CBCT图像输入至预设医学图像分割模型;
根据所述医学图像分割模型输出数据,得到与所述待处理CBCT图像对应的骨组织二值图像;
根据所述骨组织二值图像对所述待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,其中,所述预设医学图像分割模型由上述方法构建。
上述医学图像分割模型构建方法、装置、计算机设备和存储介质,获取单个样本对象目标部位的CT图像以及CBCT图像,以CT图像作为浮动图像、且以CBCT图像作为参考图像对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果,对配准结果中CT图像进行骨分割,得到二值图像,将二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据,重复操作得到包含多组样本的样本数据集,根据样本数据集训练初始神经网络模型,得到医学图像分割模型。整个过程汇总,对CT图像进行骨分割,由于CT图像可以较为准确反映各种组织结构的密度差异,且不容易受到散射伪影、硬化伪影等因素的干扰,进行CT图像骨组织分割更加准确,通过大样本数据训练出鲁棒性强的神经网络模型,以使最终得到的医学图像分割模型支持后续对CBCT图像骨分割。
上述CBCT图像骨分割方法、装置、计算机设备和存储介质,获取待处理CBCT图像;将待处理CBCT图像输入至预设医学图像分割模型,预设医学图像分割模型为通过大量样本数据训练得到具有很强鲁棒性的神经网络模型,由于样本数据中包括大量CT图像和CBCT图像弹性配准结果数据、以及CT图像骨分割得到二值图像,因此预设医学图像分割模型能够得到与待处理CBCT图像对应的骨组织二值图像,根据该骨组织二值图像对待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,整个方案支持后续准确对患者摆位的验证及调整。
附图说明
图1为一个实施例中医学图像分割模型构建方法的应用环境图;
图2为一个实施例中CBCT图像骨分割方法的应用环境图;
图3为一个实施例中医学图像分割模型构建方法的流程示意图;
图4为另一个实施例中医学图像分割模型构建方法的流程示意图;
图5为U-Net网络架构示意图;
图6为一个实施例中CBCT图像骨分割方法的流程示意图;
图7为其中一个应用实例中CBCT图像骨分割方法的流程示意图;
图8为一个实施例中医学图像分割模型构建装置的结构框图;
图9为一个实施例中CBCT图像骨分割装置的结构框图;
图10为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅用以解释本申请,并不用于限定本申请。
本申请提供的医学图像分割模型构建方法,可以应用于如图1所示的应用环境中。服务器102分别与CT设备104(图形仅用于示意)和CBCT成像系统106(图形仅用于示意)连接,服务器102获取历史记录中单个样本对象目标部位的CT图像以及CBCT图像;以CT图像作为浮动图像、且以CBCT图像作为参考图像对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果;对配准结果中CT图像进行骨分割,得到二值图像,将二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据;重新选取历史记录汇总单个样本对象,返回获取单个样本对象目标部位的CT图像以及CBCT图像,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集;根据样本数据集训练初始神经网络模型,得到医学图像分割模型。其中,服务器102可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
另外,本申请提供的CBCT图像骨分割方法可以应用于图2所示的应用环境中,服务器202与CBCT成像系统204(图形仅用于示意)连接,服务器202执行上述医学图像分割模型构建方法得到预设医学图像分割模型,在需要对当前最新的CBCT图像进行骨分割时,将最新的CBCT图像输入至预设医学图像分割模型;得到与最新的CBCT图像对应的骨组织二值图像,根据该骨组织二值图像对最新的CBCT图像进行处理,得到分割出骨组织的CBCT图像。其中,服务器202可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中,如图3所示,提供了一种医学图像分割模型构建方法,以该方法应用于图1中的服务器102为例进行说明,包括以下步骤:
S310:获取单个样本对象目标部位的CT图像以及CBCT图像。
样本对象是指进行样本数据采集的对象,具体可以是历史记录中某位已经确诊存在组织病变病情的患者,例如患有癌症的患者甲。目标部位是指医院图像中关注的目标位置,包括但不限于病灶位置、感兴趣区域、肿瘤位置等。在这里,服务器直接获取历史记录中单个样本对象目标的CT图像以及CBCT图像,其中具体可以获取癌症患者甲肿瘤部位的CT图像以及CBCT图像。
S320:以CT图像作为浮动图像、且以CBCT图像作为参考图像对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果。
浮动图像是指图像的组织结构可能发生平移和/或变形,参考图像是浮动图像的参照物,根据参考图像的组织结构使得浮动图像进行结构组织位置变化,使两幅图像结构组织完全重合。弹性配准指的是浮动图像中的每个像素点各自都有一个独立的位移矢量,该位移矢量包括三维平移以及三维旋转。弹性配准可以基于弹性配准算法来实现,具体的,可以基于最大互信息的弹性配准算法,对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果。需要指出的是,也可以采用其它成熟有效的CBCT图像和CT图像的弹性配准技术,实现上述弹性配准的过程。
S330:对配准结果中CT图像进行骨分割,得到二值图像,将二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据。
由于CT图像可以较为准确反映各种组织结构的密度差异,且不容易受到散射伪影、硬化伪影等因素的干扰,进行CT图像骨组织分割较为容易且准确。对CT图像进行骨分割可以基于陈述的骨分割算法来实现,得到二值图像,在二值图像中骨组织像素为1,其他组织像素为0(反之亦然),即在二值图像中可以清楚表明CT图像中骨性组织,以该二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据,即在单组样本数据中包含有CBCT图像、与该CBCT图像弹性配准的CT图像,以及该CT图像的二值图像,该二值图像作为该CBCT图像的骨性组织标签图,换言之,在样本数据中搭建起CBCT图像、弹性配准CT图像以及弹性配准CT图像的二值图像(CBCT图像的骨性组织标签图)三者之间对应关系。下面将采用实例,进一步说明三组图像之间的对应关系,根据配准结果得到1号CBCT图像与2号CT图像弹性配准,对2号CT图像进行骨分割,得到二值图像X,将二值图像X作为1号CBCT图像的骨性组织标签图,得到一组样本数据,在该组样本数据中记载有1号CBCT图像以及2号CT图像的骨分割图像为二值图像X,二值图像X为1号CBCT图像的骨性组织标签图。
S340:重新选取单个样本对象,返回步骤S310,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集。
重新选取新的样本对象,返回步骤S310重新执行S310~S330之间的步骤,直至得到一定数量组的样本数据集。预设数量阈值可以根据所需样本量大小进行设置,例如可以为600,即需要针对600个不同的根本对象执行上述S310至S330的操作,得到600组样本数据,构建样本数据集。
S350:根据样本数据集训练初始神经网络模型,得到医学图像分割模型。
以步骤S340得到的样本数据作为训练数据训练初始神经网络模型,充分利用神经网络模型具备鲁棒性的良好特性,待模型训练稳定之后,得到医学图像分割模型。在后续操作中可以通过该医学图像分割模型对CBCT图像进行准确骨分割。
上述医学图像分割模型构建方法,获取单个样本对象目标部位的CT图像以及CBCT图像,以CT图像作为浮动图像、且以CBCT图像作为参考图像对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果,对配准结果中CT图像进行骨分割,得到二值图像,将二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据,重复操作得到包含多组样本的样本数据集,根据样本数据集训练初始神经网络模型,得到医学图像分割模型。整个过程汇总,对CT图像进行骨分割,由于CT图像可以较为准确反映各种组织结构的密度差异,且不容易受到散射伪影、硬化伪影等因素的干扰,进行CT图像骨组织分割更加准确,通过大样本数据训练出鲁棒性强的神经网络模型,以使最终得到的医学图像分割模型支持后续对CBCT图像骨分割。
如图4所示,在其中一个实施例中,步骤S310包括:
S312:获取单个样本对象目标部位的初始CT图像以及初始CBCT图像;
S314:利用DICOM格式数据的坐标中心与像素间隔,并通过插值将初始CT图像与初始CBCT图像的分辨率统一,得到单个样本对象目标部位的CT图像以及CBCT图像。
针对采集到的初始CT图像以及初始CBCT图像进行分辨率统一预处理。具体来说,将采集得到的初始CT图像和初始CBCT图像进行数据预处理,利用DICOM格式数据的坐标中心与像素间隔,再通过插值把图像的分辨率统一起来,即将原始图像转换为统一的分辨率,具体可以统一为1mm*1mm*1mm的分辨率。
更进一步来说,在获取单个样本对象目标部位的初始CT图像以及初始CBCT图像过程,需要对相同单个样本对象目标部位进行图像采集,在采集过程中初始CT图像由CT设备采集,初始CBCT图像由CBCT成像系统采集,由于在实际操作中CT设备和CBCT成像系统摆放在不同位置,在将样本对象转移到不同设备下进行图像采集过程需要相对位置“对准”。这个过程具体包括以下处理过程:记录由CT设备在样本对象目标部位所属区域设置至少两个标志位;通过CT设备采集样本对象目标部位的初始CT图像;调整样本对象相对CBCT成像系统的位置,以使CBCT成像系统中定位装置中标志位对齐样本对象上至少两个标志位;通过CBCT成像系统采集初始CBCT图像。
标志位可以是简单的十字光标,记录在CT设备进行图像采集时设置于样本对象目标部位所属区域设置的至少2个十字光标,在CBCT成像系统进行图像采集时,调整样本对象相对CBCT成像系统的位置,以使CBCT成像系统中定位装置中标志位对齐样本对象上该至少2个十字光标,通过CBCT成像系统采集初始CBCT图像。上述过程中通过至少2个标志位来实现CT设备和CBCT成像系统采集图像过程中相对样本对象之间的位置确定,确保采集到的初始图像精准。
下面将以样本对象为患者甲,目标部位为患者甲的肿瘤部位为例详细说明在实际应用上述实例的实现过程。拍摄患者肿瘤部位的CT图像前,患者静躺在CT支撑床上,影像技师通过调整支撑床的空间位置(即移动床的上、下、左、右、前、后位置)使得肿瘤部位尽可能在CT扫描范围内。为了便于对患者肿瘤位置进行标记,影像室中的三处激光定位装置会发出相互垂直的平面激光,在患者身体的上方和侧方投照,各自形成一处十字线,医生可选择使用皮肤记号笔在患者身上对应描画出十字线,这样做的目的是为了在放射治疗室内同样的三处激光形成的十字线与该患者身体上画出的十字线重合,以保证治疗计划中患者模型与实际治疗过程中患者的照射体位保持一致。在放射治疗室,利用放射治疗设备上配有的CBCT成像系统采集肿瘤患者同一肿瘤部位的CBCT图像。对患者进行初步摆位,患者静躺在治疗床上,调整治疗床空间位置(即移动床的上、下、左、右、前、后位置),使得治疗室的激光定位装置投照出两处十字线与患者身上肿瘤部位周围的两处十字线重合。
在其中一个实施例中,根据样本数据集训练初始神经网络模型,得到医学图像分割模型之前,还包括:
对样本数据集进行预处理和数据增强,得到扩充后的样本数据集;根据样本数据集训练初始神经网络模型,得到医学图像分割模型包括:根据扩充后的样本数据集训练初始神经网络模型,得到医学图像分割模型。
对样本数据集进行预处理和数据增强的目的是增加样本数据量和维度,以使后续可以训练得到更加丰富、全面、准确的医学图像分割模型。具体来说,预处理和数据增强具体包括以下过程:对CBCT图像进行类型转换,转换为uint8类型,灰度图重新保存为图片。进一步地,将预处理后的图像以及对应的标签图像进行平移、翻转、旋转、缩放、交换空间位置这些手段,创造出更多的训练数据集,使训练出来的模型具有更鲁邦的泛化能力,数据增强后的数据集容量可以扩充为之前的10倍。例如若原本样本数据集包含600组样本数据,经过本次预处理和数据增强后可以得到高达6000组样本数据作为训练数据。
在其中一个实施例中,根据样本数据集训练初始神经网络模型,得到医学图像分割模型包括:根据样本数据集训练U-Net神经网络模型,以调整U-Net神经网络模型中模型层数以及每层的通道数,得到医学图像分割模型。
U-Net神经网络模型包括用于提取特征的网络收缩路径和用于多尺度融合收缩路径输出特征的网络扩张路径,收缩路径包括最大池化单元、第一卷积单元、第一ReLU(Rectified Linear Unit,线性整流函数)激活层;扩张路径包括融合单元、反卷积单元、第二卷积单元、第二ReLU激活层以及第三卷积单元。
具体来说,如图5所示,搭建的U-Net网络结构包含左边的网络收缩路径以及右边的网络扩张路径,收缩路径用于提取特征,其包括四个最大池化单元,十个3x3的卷积单元及ReLU激活层。扩张路径用于多尺度融合收缩路径输出的特征,其包括四个融合单元,四个反卷积单元,六个3x3的卷积单元及ReLU激活层,一个1x1的卷积单元。所涉及3x3卷积单元具有一个多通道输出特征图,具体来说,通道指的是卷积核的数量,该卷积单元可以根据实际情况定义通道数,该卷积单元对上一层卷积单元输出的特征图进行卷积运算,得到新的多通道输出特征图,并对该特征图进行ReLU运算,ReLU激活层的表达式为f(x)=max(0,x)。所涉及1x1卷积单元具有两个输出特征图通道,该卷积单元对上一层卷积单元输出的特征图进行卷积运算,得到新的输出特征图,一个输出通道为背景的特征图,另外一个输出通道为前景的特征图,并对该特征图中的每个像素进行Softmax运算,得到该两个类别的识别概率,Softmax激活层的表达式为
其中a(x)为特征图x位置的特征值,k为当前通道数,K为最大类别数。所涉及最大池化单元的卷积核尺寸为2x2,步长均为2。所涉及融合单元将收缩路径输出的多通道特征图进行裁剪并与同一个层级的扩张路径上采样后的多通道特征图进行拼接得到新的一个卷积层,类似的,该融合单元同样可以根据实际情况定义通道数。所涉及反卷积单元采用最邻近插值进行特征图的扩充,卷积核尺寸为2x2,步长为2。U-Net网络将二元交叉熵作为损失函数,损失函数公式为BCELoss(x,t)=-[t*log(x)+(1-t)*log(1-x)]。其中x为输出层中某像素的识别概率,t为该像素对应的标签,t=0代表背景点,1代表前景点。U-Net网络训练所使用的优化算法为自适应梯度下降及学习率的Adam算法。
另外,如图6所示,本申请还提供一种CBCT图像骨分割方法,方法包括:
S620:获取待处理CBCT图像。
S640:将待处理CBCT图像输入至预设医学图像分割模型。
S660:根据医学图像分割模型输出数据,得到与待处理CBCT图像对应的骨组织二值图像;
S680:根据骨组织二值图像对待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,其中,预设医学图像分割模型由上述方法构建。
待处理CBCT图像是指需要进行骨分割的CBCT图像,例如当前即时采集到最新患者的CBCT图像,将该待处理CBCT图像输入至预设医学图像分割模型,获取该模型输出的数据,得到分割出骨组织的CBCT图像。预设医学图像分割模型是由上述医学图像分割模型构建方法构建得到的,其可以输出待处理CBCT图像对应的骨组织二值图像,根据该骨组织二值图像对待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像。
上述CBCT图像骨分割方法,获取待处理CBCT图像;将待处理CBCT图像输入至预设医学图像分割模型,预设医学图像分割模型为通过大量样本数据训练得到具有很强鲁棒性的神经网络模型,由于样本数据中包括大量CT图像和CBCT图像弹性配准结果数据、以及CT图像骨分割得到二值图像,因此预设医学图像分割模型能够得到与待处理CBCT图像对应的骨组织二值图像,根据该骨组织二值图像对待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,整个方案支持后续准确对患者摆位的验证及调整。
非必要的,在得到分割出骨组织的CBCT图像之后,可以与该最新患者的分割出骨组织的CT图像进行骨配准,计算出患者摆位偏差,根据患者的摆位偏差,控制治疗床移动修正摆位偏差。
可以理解的是,在其中一个实际应用实例中,本申请CBCT图像骨分割方法大体可以分为模型构建阶段和骨分割阶段(模型应用阶段)。为更进一步解释完整的技术方案,下面将采用具体实例,并结合图7详细说明整个过程。
如图7所示,在其中一个应用实例中,本申请CBCT图像骨分割方法包括以下步骤:
步骤一:在放射影像室,利用CT设备采集肿瘤患者肿瘤部位的CT图像。
步骤二:在放射治疗室,利用放射治疗设备上配有的CBCT成像系统采集肿瘤患者同一肿瘤部位的CBCT图像。
步骤三:将采集得到的CT图像和CBCT图像进行数据预处理,利用DICOM格式数据的坐标中心,像素间隔,在通过插值把图像的分辨率统一起来。
步骤四:以CT图像作为浮动图像,以CBCT图像作为参考图像,利用现有技术进行CBCT图像和CT图像之间的弹性配准,使得CBCT图像中的组织结构与CT图像中的组织结构高度吻合。
步骤五:利用分割技术对CT图像进行骨分割,得到骨组织像素值为1,其它组织像素值为0的二值图像,此二值图像作为CBCT图像骨性组织的标签图。
步骤六:对新肿瘤患者的CBCT图像和CT图像重复步骤一到步骤五,直到满足一定数量的样本数据。
步骤七:对采集的样本数据进行预处理和数据增强,以扩充样本量,具体可以扩充到6000组样本数据。
步骤八:搭建U-Net神经网络模型,输入一定样本量的配准后的CBCT图像和二值图像,训练该神经网络模型,不断优化模型参数,直至模型稳定。
步骤九:对最新患者的CBCT图像输入进该训练好的神经网络模型,输出最新患者的CBCT图像对应的骨组织二值图像,根据该骨组织二值图像对最新患者的CBCT图像进行处理,得到分割出骨组织的CBCT图像。具体来说,模型的输出是CBCT图像骨组织的二值图像,骨组织部分的值为1,其他部分为0,基于该图像可以得到CBCT骨组织的灰度图像。其具体处理过程为:对于图像中每个像素(x,y)进行如下操作OutputImg(x,y)=InputImg(x,y)*Mask(x,y),其中OutputImg为CBCT骨组织的灰度图像,InputImg为待处理CBCT图像,Mask为模型输出模块输出的骨组织二值图像。
步骤十:利用步骤九中得到的分割出骨组织的CBCT图像与该最新患者的分割出骨组织的CT图像进行骨配准,计算出患者摆位偏差,根据患者的摆位偏差,控制治疗床移动修正摆位偏差。
在上述应用本申请CBCT图像骨分割方法的具体应用实例中,利用放射治疗中大量患者的CT图像和CBCT图像数据进行图像处理和深度学习,训练出输入一套新患者的CBCT图像就可以精确分割出骨组织的神经网络模型。由于能精确分割出CBCT骨组织,实现CT图像与CBCT图像的精确骨配准,能够显著提高摆位偏差的计算精度,从而提升定位效果。
应该理解的是,虽然图3、图4、图6以及图7的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3、图4、图6以及图7中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
如图8所示,本申请还提供一种医学图像分割模型构建装置,包括:
样本图像获取模块810,用于获取单个样本对象目标部位的CT图像以及CBCT图像;
弹性配准模块820,用于以CT图像作为浮动图像、且以CBCT图像作为参考图像对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果;
样本生成模块830,用于对配准结果中CT图像进行骨分割,得到二值图像,将二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据;
循环迭代模块840,用于重新选取单个样本对象,控制样本图像获取模块810、弹性配准模块820以及样本生成模块830重新执行对应操作,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集;
模型构建模块850,用于根据样本数据集训练初始神经网络模型,得到医学图像分割模型。
上述医学图像分割模型构建装置,获取单个样本对象目标部位的CT图像以及CBCT图像,以CT图像作为浮动图像、且以CBCT图像作为参考图像对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果,对配准结果中CT图像进行骨分割,得到二值图像,将二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据,重复操作得到包含多组样本的样本数据集,根据样本数据集训练初始神经网络模型,得到医学图像分割模型。整个过程汇总,对CT图像进行骨分割,由于CT图像可以较为准确反映各种组织结构的密度差异,且不容易受到散射伪影、硬化伪影等因素的干扰,进行CT图像骨组织分割更加准确,通过大样本数据训练出鲁棒性强的神经网络模型,以使最终得到的医学图像分割模型支持后续对CBCT图像骨分割。
在其中一个实施例中,样本图像获取模块810还用于获取单个样本对象目标部位的初始CT图像以及初始CBCT图像;利用DICOM格式数据的坐标中心与像素间隔,并通过插值将初始CT图像与初始CBCT图像的分辨率统一,得到单个样本对象目标部位的CT图像以及CBCT图像。
在其中一个实施例中,样本图像获取模块810还用于记录由CT设备在样本对象目标部位所属区域设置至少两个标志位;通过CT设备采集样本对象目标部位的初始CT图像;调整样本对象相对CBCT成像系统的位置,以使CBCT成像系统中定位装置中标志位对齐样本对象上至少两个标志位;通过CBCT成像系统采集初始CBCT图像。
在其中一个实施例中,模型构建模块850还用于对样本数据集进行预处理和数据增强,得到扩充后的样本数据集;根据扩充后的样本数据集训练初始神经网络模型,得到医学图像分割模型。
在其中一个实施例中,样本生成模块830用于基于直方图的阈值骨分割算法对配准结果中CT图像进行骨分割,得到二值化CT图像。
在其中一个实施例中,弹性配准模块820还用于以CT图像作为浮动图像、且以CBCT图像作为参考图像,基于最大互信息的弹性配准算法,对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果。
在其中一个实施例中,模型构建模块850,用于根据样本数据集训练U-Net神经网络模型,以调整U-Net神经网络模型中模型层数以及每层的通道数,得到医学图像分割模型。
关于医学图像分割模型构建装置的具体限定可以参见上文中对于医学图像分割模型构建方法的限定,在此不再赘述。上述医学图像分割模型构建装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
另外,如图9所示,本申请还提供一种CBCT图像骨分割装置,包括:
待处理图像获取模块920,用于获取待处理CBCT图像;
模型输入模块940,用于将待处理CBCT图像输入至预设医学图像分割模型;
模型输出模块960,用于根据医学图像分割模型输出数据,得到与待处理CBCT图像对应的骨组织二值图像;
分割模块980,用于根据骨组织二值图像对待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,其中,预设医学图像分割模型由上述方法构建。
上述CBCT图像骨分割装置,获取待处理CBCT图像;将待处理CBCT图像输入至预设医学图像分割模型,预设医学图像分割模型为通过大量样本数据训练得到具有很强鲁棒性的神经网络模型,由于样本数据中包括大量CT图像和CBCT图像弹性配准结果数据、以及CT图像骨分割得到二值图像,因此预设医学图像分割模型能够得到与待处理CBCT图像对应的骨组织二值图像,根据该骨组织二值图像对待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,整个方案支持后续准确对患者摆位的验证及调整。
关于CBCT图像骨分割装置的具体限定可以参见上文中对于CBCT图像骨分割方法的限定,在此不再赘述。上述CBCT图像骨分割装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储历史医学图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种医学图像分割模型构建或一种CBCT图像骨分割方法。
本领域技术人员可以理解,图10中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取单个样本对象目标部位的CT图像以及CBCT图像;
以CT图像作为浮动图像、且以CBCT图像作为参考图像对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果;
对配准结果中CT图像进行骨分割,得到二值图像,将二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据;
重新选取单个样本对象,返回获取单个样本对象目标部位的CT图像以及CBCT图像,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集;
根据样本数据集训练初始神经网络模型,得到医学图像分割模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
获取单个样本对象目标部位的初始CT图像以及初始CBCT图像;利用DICOM格式数据的坐标中心与像素间隔,并通过插值将初始CT图像与初始CBCT图像的分辨率统一,得到单个样本对象目标部位的CT图像以及CBCT图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
记录由CT设备在样本对象目标部位所属区域设置至少两个标志位;通过CT设备采集样本对象目标部位的初始CT图像;调整样本对象相对CBCT成像系统的位置,以使CBCT成像系统中定位装置中标志位对齐样本对象上至少两个标志位;通过CBCT成像系统采集初始CBCT图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
对样本数据集进行预处理和数据增强,得到扩充后的样本数据集;根据扩充后的样本数据集训练初始神经网络模型,得到医学图像分割模型。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
基于直方图的阈值骨分割算法对配准结果中CT图像进行骨分割,得到二值化CT图像。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
以CT图像作为浮动图像、且以CBCT图像作为参考图像,基于最大互信息的弹性配准算法,对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果。
在一个实施例中,处理器执行计算机程序时还实现以下步骤:
根据样本数据集训练U-Net神经网络模型,以调整U-Net神经网络模型中模型层数以及每层的通道数,得到医学图像分割模型。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现以下步骤:
获取待处理CBCT图像;
将待处理CBCT图像输入至预设医学图像分割模型;
根据医学图像分割模型输出数据,得到与待处理CBCT图像对应的骨组织二值图像;
根据骨组织二值图像对待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,其中,预设医学图像分割模型由上述方法构建。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取单个样本对象目标部位的CT图像以及CBCT图像;
以CT图像作为浮动图像、且以CBCT图像作为参考图像对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果;
对配准结果中CT图像进行骨分割,得到二值图像,将二值图像作为配准结果中CBCT图像的骨性组织标签图,得到单组样本数据;
重新选取单个样本对象,返回获取单个样本对象目标部位的CT图像以及CBCT图像,直至得到的样本数据的组数大于预设数量阈值,得到样本数据集;
根据样本数据集训练初始神经网络模型,得到医学图像分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
获取单个样本对象目标部位的初始CT图像以及初始CBCT图像;利用DICOM格式数据的坐标中心与像素间隔,并通过插值将初始CT图像与初始CBCT图像的分辨率统一,得到单个样本对象目标部位的CT图像以及CBCT图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
记录由CT设备在样本对象目标部位所属区域设置至少两个标志位;通过CT设备采集样本对象目标部位的初始CT图像;调整样本对象相对CBCT成像系统的位置,以使CBCT成像系统中定位装置中标志位对齐样本对象上至少两个标志位;通过CBCT成像系统采集初始CBCT图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
对样本数据集进行预处理和数据增强,得到扩充后的样本数据集;根据扩充后的样本数据集训练初始神经网络模型,得到医学图像分割模型。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
基于直方图的阈值骨分割算法对配准结果中CT图像进行骨分割,得到二值化CT图像。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
以CT图像作为浮动图像、且以CBCT图像作为参考图像,基于最大互信息的弹性配准算法,对CT图像和CBCT图像进行弹性配准,得到CT图像与CBCT图像的配准结果。
在一个实施例中,计算机程序被处理器执行时还实现以下步骤:
根据样本数据集训练U-Net神经网络模型,以调整U-Net神经网络模型中模型层数以及每层的通道数,得到医学图像分割模型。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取待处理CBCT图像;
将待处理CBCT图像输入至预设医学图像分割模型;
根据医学图像分割模型输出数据,得到与待处理CBCT图像对应的骨组织二值图像;
根据骨组织二值图像对待处理CBCT图像进行处理,得到分割出骨组织的CBCT图像,其中,预设医学图像分割模型由上述方法构建。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。