CN110599447A - 一种肝癌病灶数据的处理方法、系统和存储介质 - Google Patents
一种肝癌病灶数据的处理方法、系统和存储介质 Download PDFInfo
- Publication number
- CN110599447A CN110599447A CN201910686971.9A CN201910686971A CN110599447A CN 110599447 A CN110599447 A CN 110599447A CN 201910686971 A CN201910686971 A CN 201910686971A CN 110599447 A CN110599447 A CN 110599447A
- Authority
- CN
- China
- Prior art keywords
- liver
- image
- liver cancer
- images
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30056—Liver; Hepatic
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种肝癌病灶数据的处理方法、系统和存储介质,方法包括以下步骤:采集肝癌患者不同期相的能谱CT图像;对能谱CT图像进行预处理,得到预处理图像;对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像;对不同期相的肝脏区域的图像进行配准;在配准后的肝脏区域的图像上分割出肝癌病灶区。本发明通过采集肝癌患者不同期相的能谱CT图像,以提供多种成像信息,然后在预处理过程中对动脉期和静脉期图像进行自动对齐,以降低配准难度,最后再通过先分割出肝脏区域后,再进行配准,以加快配准的速度,以实现精确分割出肝癌病灶区的功能。本发明可应用于图像处理技术领域。
Description
技术领域
本发明涉及图像处理技术领域,尤其是一种肝癌病灶数据的处理方法、系统和存储介质。
背景技术
名词解释:
CT:Computed Tomography,计算机断层扫描;
CNR:Contrast-to-noise Ratio,对比噪声比;
MIND:Modality Independent Neighbourhood Descriptor,模态独立邻域算子;
ReLU:Rectified Linear Unit,修正线性单元;
LReLU:Leaky Rectified Linear Unit,弱修正线性单元;
DSC:Dice Similarity Coefficient,Dice相似系数;
MI:Mutual Information,互信息。
肝癌是一种异质性极强、发病率极高的难治性疾病,分为原发性肝癌和转移性肝癌,其中,肝细胞癌约占原发性肝癌的90%。据统计,2012年世界肝癌发病数约占癌症总发病数的5.6%,其中,中国肝癌发病数占比高达50%,同期肝癌死亡率居于恶性肿瘤死亡率的第二位。目前,早期肝癌治疗中较为有效的方法是肝切除手术,晚期肝癌治疗中较为有效的方法是动脉栓塞和放射治疗,而医学影像技术则能够为肝切除手术、动脉栓塞和放射治疗提供可靠的术前指导。
在医学影像分析中,图像分割是一项常见的任务。分割往往是计算机辅助诊断的基础环节,特定器官、组织或其他亚结构的分割,有助于定量分析体积、形状等方面的临床参数。病变区的分割也有很多临床应用,如疾病的病理诊断、手术计划、术后评估等。例如,在进行肝切除手术时,医生不仅完全切除肝内肿瘤,还需要保证剩余的肝脏能够维持血供以及充分引流胆汁,从而避免术后肝功能不全或者衰竭。而基于CT图像的肝癌分割能够辅助医生制定肝切除的术前方案。但是,CT图像只能提供单能量图像信息,对于基物质图像、能谱曲线和有效原子序数等多种成像信息,CT图像则无法提供,导致在进行肝癌病灶分割时,由于成像信息的单一,使得分割出的肝癌病灶区的误差过大,从而影响肝癌治疗过程。
发明内容
为解决上述技术问题,本发明的目的在于:提供一种能够实现精确分割肝癌病灶区的肝癌病灶数据的处理方法、系统和存储介质。
本发明所采用的第一种技术方案是:
一种肝癌病灶数据的处理方法,其包括以下步骤:
采集肝癌患者不同期相的能谱CT图像;
对能谱CT图像进行预处理,得到预处理图像;
对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像;
对不同期相的肝脏区域的图像进行配准;
在配准后的肝脏区域的图像上分割出肝癌病灶区。
进一步地,所述不同期相的能谱CT图像包括动脉期50千电子伏特的能谱CT图像、动脉期70千电子伏特的能谱CT图像和静脉期70千电子伏特的能谱CT图像。
进一步地,所述对能谱CT图像进行预处理,得到预处理图像,其具体包括:
调节能谱CT图像的窗宽窗位,得到调节图像;
通过层间自动对齐算法对调节图像进行层间对齐,得到预处理图像。
进一步地,所述对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像,其具体包括:
对深度学习分割网络进行肝脏分割训练;
通过训练之后的深度学习分割网络对预处理图像进行分割,得到深度学习分割网络的输出概率图;
对输出概率图进行二值化处理,得到分割图像;
取出分割图像中最大的连通域,作为肝脏分割区域;
根据肝脏分割区域限定一个立体框范围,然后在立体框外周补零,得到立体框的坐标范围;
根据立体框的坐标范围,从预处理图像中得到肝脏区域的图像。
进一步地,所述对不同期相的肝脏区域的图像进行配准,其具体为:
通过模态独立邻域算子对不同期相的肝脏区域的图像的进行配准。
进一步地,所述在配准后的肝脏区域的图像上分割出肝癌病灶区,其具体包括:
对深度学习分割网络的参数进行调整,并加入特征融合模块,得到多特征融合网络;
通过多特征融合网络,在配准后的肝脏区域的图像上分割出肝癌病灶区。
进一步地,所述通过多特征融合网络,在配准后的肝脏区域的图像上分割出肝癌病灶区,其具体包括:
将配准后的肝脏区域的图像切分成大小相同的多个子图像;
通过多特征融合网络依次对所有子图像进行分割;
根据所有子图像的分割结果,确定出肝脏区域图像中的肝癌病灶区。
本发明所采用的第二种技术方案是:
一种肝癌病灶数据的处理系统,其包括:
采集模块,用于采集肝癌患者不同期相的能谱CT图像;
预处理模块,用于对能谱CT图像进行预处理,得到预处理图像;
肝脏分割模块,用于对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像;
配准模块,用于对不同期相的肝脏区域的图像进行配准;
肝癌分割模块,用于在配准后的肝脏区域的图像上分割出肝癌病灶区。
本发明所采用的第三种技术方案是:
一种肝癌病灶数据的处理系统,其包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行所述的一种肝癌病灶数据的处理方法。
本发明所采用的第四种技术方案是:
一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于实现所述的一种肝癌病灶数据的处理方法。
本发明的有益效果是:本发明通过采集肝癌患者不同期相的能谱CT图像,以提供多种成像信息,然后在预处理过程中对动脉期和静脉期图像进行自动对齐,从而降低配准难度,最后再通过先分割出肝脏区域后,再进行配准,从而加快配准的速度,以实现精确分割出肝癌病灶区的功能。
附图说明
图1为本发明具体实施例的一种肝癌病灶数据的处理方法的流程图;
图2为本发明具体实施例中窗宽窗位调整前动脉期50keV的原始图像;
图3为本发明具体实施例中窗宽窗位调整后动脉期50keV的图像;
图4为本发明具体实施例中窗宽窗位调整前动脉期70keV的原始图像;
图5为本发明具体实施例中窗宽窗位调整后动脉期70keV的图像;
图6为本发明具体实施例中窗宽窗位调整前静脉期70keV的原始图像;
图7为本发明具体实施例中窗宽窗位调整后静脉期70keV的图像;
图8为本发明具体实施例中归一化处理前的动脉曲线和静脉曲线对比图;
图9为本发明具体实施例中归一化处理后的动脉曲线和静脉曲线对比图;
图10为本发明具体实施例中静脉曲线与动脉曲线的距离曲线图;
图11为本发明具体实施例中层间对齐后的动脉期曲线和静脉期曲线对比图;
图12为本发明具体实施例中肝脏分割结果的后处理的第一图像示意图;
图13为本发明具体实施例中肝脏分割结果的后处理的第二图像示意图;
图14为本发明具体实施例中肝脏分割结果的后处理的第三图像示意图;
图15为本发明具体实施例中单一患者的每层图像与互信息值的关系图;
图16为本发明具体实施例中多个患者中的每个患者与互信息值的关系图。
具体实施方式
下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
参照图1,本发明实施例提供了一种肝癌病灶数据的处理方法,其包括以下步骤:
S101、采集肝癌患者不同期相的能谱CT图像;所述不同期相包括动脉期、静脉期、延迟期和平扫期。所述不同期相的能谱CT图像为位于上述期相内的图像数据。所述能谱CT是一种新型的CT扫描技术,能够分离不同能量下的信息,其还能提供基物质图像、能谱曲线和有效原子序数等多种成像信息。所述能谱CT图像则是通过能谱CT扫描得到的图像。
在临床上,常结合动脉期和静脉期图像来完成肝癌诊断,尤其是动脉期70keV图像的图像质量较高。本实施例采集到的能谱CT数据的层厚为1.25mm,图像的尺寸为512×512×n其中,n为层数,随扫描范围的变化而变化,动脉期图像的n约为180,静脉期图像的n约为260,其中肝脏这一器官约占130层。然后重建了以5keV为间隔的40~140keV的能谱CT单能量图像。通过研究显示,在能谱CT单能量70keV左右的图像上,肝脏内部具有较小的噪声;在动脉期50keV和静脉期70keV的图像上,肝癌具有较高的CNR。因此,本实施例选择动脉期50keV、动脉期70keV和静脉期70keV的图像来进行肝癌病灶的分割。
S102、对能谱CT图像进行预处理,得到预处理图像;本步骤具体包括对能谱CT图像的窗宽窗位进行调整,以及能谱CT图像的层间对齐,其中,当采集的能谱CT图像只是位于静脉期或者动脉期时,则不需要对能谱CT图像进行层间对齐。
S103、对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像;本步骤的目的是为了在能谱CT图像上缩小分割肿瘤的范围,从而提高分割效率。
S104、对不同期相的肝脏区域的图像进行配准;由于前面步骤中处理的不同期相的能谱CT图像是没有经过配准的,而为了利用不同期相中的能谱CT多参数图像,则需要通过本步骤对不同期相的能谱CT图像进行配准,以保证能够准确分割肝癌病灶。
S105、在配准后的肝脏区域的图像上分割出肝癌病灶区。所述配准后的肝脏区域的图像是步骤S104配准之后的图像。
本实施例在具体的应用过程中,步骤S102具体包括窗宽窗位的调整和能谱CT多参数图像的层间对齐,其具体过程如下:
A1、窗宽窗位的调整;
根据临床经验,将动脉期50keV图像的窗宽设定为200HU,窗位设定为40HU;将动脉期70keV图像的窗宽设定为150HU,窗位设定为40HU;将静脉期70keV图像的窗宽设定为200HU,窗位设定为70HU,调整前动脉期50keV的原始图像如图2所示,调整后动脉期50keV的图像如图3所示;调整前动脉期70keV的原始图像如图4所示,调整后动脉期70keV的图像如图5所示;调整前静脉期70keV的原始图像如图6所示,调整后静脉期70keV的图像如图7所示。最后,我们将调整好的图像作归一化处理。
A2、能谱CT多参数图像的层间对齐;
根据临床经验,放射科医生常会在上腹部实行动脉期的扫描,在全腹部实行门静脉期的扫描。因此,本实施例采集得到的动脉期图像要比静脉期的少。为了更加有效地结合多参数的图像信息,则需要进行动脉期和静脉期图像的层间对齐。
根据人体的解剖结构,可知每层CT图像中人体的体素个数都有一定差异。因此,根据这一图像特点,本步骤通过一种基于体素数量的层间自动对齐算法来实现能谱CT多参数图像的层间对齐。经过窗宽窗位的调整,空气在图像中的值为0。因此,划定一个较小的阈值来区分出人体组织,从而求出每层CT图像中人体的体素个数,并绘制成曲线。其中,动脉期原始曲线和静脉期图像的原始曲线如图8所示,横坐标代表层号,纵坐标代表体素个数,a1为动脉期原始曲线,b1为静脉期原始曲线。
为了求曲线的相似度,需要分别将两曲线进行归一化,如图9所示,a2为归一化后的动脉期曲线,b2为归一化后的静脉期曲线。然后,移动动脉期曲线a2,并求出两曲线的距离。便可以把多参数图像层间对齐的问题转化为曲线距离最小化的问题。移动动脉期曲线得到的曲线距离如图10所示,横坐标代表平移量,纵坐标代表曲线距离。由图10可知,当动脉期曲线平移155层后,曲线距离达到最小,对齐后的曲线如图11所示,其中,a3为对齐后的动脉期曲线,b3为对齐后的静脉期曲线。因此,将该患者动脉期图像的起始位置移至静脉期图像的第156层,再取层间对齐后的公共层既可。
为了缩小肿瘤的搜索范围、提高分割效率,本实施例先分割出肝脏,在此基础上再分割肿瘤。在本实施例中,肝脏的分割网络是基于经典的分割网络U-Net进行改进的。
从分割网络的宏观结构上,一方面,将原始U-Net的四层下采样结构改成了三层,使得分辨率最低的特征图的尺寸由32×32变为64×64,这样能够减少小肿瘤在下采样时信息丢失所带来的影响。另一方面,在原始U-Net的卷积模块中加入了残差块。残差块通过一个短程跳跃连接将绝对量求解问题转化为了相对量的求解问题,从而解决网络训练过程中梯度消失和梯度爆炸的问题,辅助具体实操过程中训练出较深且性能较高的网络。
从网络的微观参数上,一方面,将原始U-Net中的ReLU换成了LReLU,而LReLU有助于解决ReLU导致的神经元失活的问题。另一方面,为了分离相接触的细胞,原始U-Net中使用的是基于边缘加权的损失函数。而本实施例中没有相接触的目标,所以本实施例仅使用常规的交叉熵作为损失函数。
具体地,步骤S103包括深度学习分割肝脏和肝脏结果的后处理:
B1、深度学习分割肝脏;
首先,由于肝脏在能谱CT单参数图像中已足够清晰,且动脉期70keV的图像具有较低的噪声和较高的CNR,因此本步骤仅选用动脉期70keV的图像进行肝脏分割。
随后需要进行数据扩增,本步骤一共使用了三种数据扩增的方式:平移、旋转和缩放,在实际操作中会随机选择其一。为使得扩增后的数据更接近于真实数据,将平移范围限制在-20~20个像素内、将旋转限制在-20°~20°内、将缩放比例限制在0.8~1.2内,即将4520张原图扩增至15000张左右。
最后,根据训练目标和训练数据集的大小,将初始学习率定为1×10-5、将迭代次数定为100000次,其中,深度学习的批处理参数batch_size设置为1。在这10万次迭代中,每个样本都参与了6~7次迭代,使得深度学习分割网络可以充分学习到每个样本的特征。最后采用留一交叉验证的方法来检验肝脏分割模型的性能,可得到所有患者的测试结果。留一交叉验证是用于在机器学习中评价某个算法在数据集上的表现的方法,其中,训练集包含19例患者的数据、验证集包含4例、测试集包含1例。通过测试结果,可以了解深度学习分割网络的分割性能。
B2、肝脏分割结果的后处理;
对于步骤B1中的深度学习分割网络的输出概率图,对输出概率图进行二值化,并取出最大的三维连通域作为肝脏的分割结果。根据肝脏的分割结果,将肿瘤的搜索范围限定在一个较小的立体框内如图12所示,根据立体框得到的图形如图13所示。为了便于后续步骤的处理,在立体框周围补零如图14所示,使得每个立体框的长和高一致。
具体地,在步骤S104中,由于能谱CT动脉期和静脉期的图像是未配准的,为了利用能谱CT多参数图像的信息,通过MIND来配准二者,本步骤选取动脉期70keV和静脉期70keV的图像来获取两期相图像间的变换矩阵。而为了加快参数寻优的速度,使用4层的金字塔模板匹配算法。具体在第四层、第三层、第二层、第一层分别进行了8次、4次、4次、2次的参数寻优。在一个具体的实施例中,分别基于能谱CT原图和裁剪后的图像进行配准,其中金字塔每一层的配准耗时如表1所示。通过表1可知,随着图像尺寸的增大,每一层的配准耗时都有所增加,其中第一层的耗时占比最大且增加最多。
表1
在临床应用中,医生则更倾向于使用高效、实时输出的软件。然而,上述配准方法耗时太长,无法满足临床上对实时性的需求。从表1可见,金字塔第一层上的耗时占据着主体的地位。因此,本实施例通过去掉金字塔第一层的配准,并对第二层配准得到的变换矩阵进行线性插值,即可用于原图的变换。为了验证这种做法的可行性,本实施例利用MI来评估配准结果的好坏。其中,MI的计算公式如下:
MI(X,Y)=H(X)+H(Y)-H(X,Y)
其中,H(X)和H(Y)表示变量X和Y的熵,H(X,Y)表示X和Y的联合熵。MI(X,Y)为0表示X与Y独立;反之,MI(X,Y)越大表示X和Y越相关,在本实施例中表示配准效果更好。在本实施例中,计算出单一患者的动脉期和静脉期每层对应图像的互信息值,以层号为横坐标,MI为纵坐标作图,得到的曲线如图15所示,图15中,c1为未配准图像前图像的互信息,c2为4层金字塔去掉第一层后配准得到图像的互信息,c3为经过4层金字塔配准后得到图像的互信息。从图15可知,去除金字塔第一层前后得到的曲线很相近,都能够较好地配准动脉期和静脉期的图像。然后再计算出所有患者的图像互信息值,如图16所示,以患者序号为横坐标,MI为纵坐标作图,d1为未配准图像前图像的互信息,d2为4层金字塔去掉第一层后配准得到图像的互信息,d3为经过4层金字塔配准后得到图像的互信息。由图16可知,去除金字塔第一层后得到的平均互信息值略微低于去除前,但均明显高于未配准图像的互信息值。从图15和图16可知,通过损失较小的配准精度,即能大大提高配准效率。
具体地,在步骤S105中,首先,为了更好的利用能谱CT图像的三维空间信息,本实施例将调整后的U-Net网络的二维操作单元换成相应的三维操作单元,然后再将最大池化层替换为步长为2的卷积层,即能将下采样的固定模式转化为可学习模式,还能够减少反向传播中占用的内存。最后,由于当前的计算力有限,将调整后的U-Net网络中提取的64、128、256、512个特征图分别改为16、32、64、128个。经过上述改进,即能得到了一个适用于肝癌分割的三维网络。
为了融合本实施例采集的动脉期50keV、70keV和静脉期70keV图像的信息,本实施例基于上述的三维网络设计了多特征融合网络。多特征融合网络分别融合了不同分辨率下的特征图,最后利用多尺度融合模块,结合了不同分辨率下的信息。所以,这种多层融合方式能够同时融合多参数图像的语义信息和细节信息,从而更加精确的分割出肝癌病灶区。
在进行三维分割时,受计算力的限制,本实施例将320×400×N的立体框分成了多个大小相同的小块。具体地,本实施例选取的大小为192×192×32的块,然后前两维分别以32和52为步长进行分块,则可以得到25个小块;最后一维的分块步长如下公式所示:
stride_z=(N-32)//9
其中,stride_z标识最后一维的分块步长,(N-32)//9表示(N-32)除以9的商的整数部分。当stride_z小于0时,直接舍弃当前患者的数据;当stride_z等于0时,若N等于32,则最后一维不分块,若N大于32,则最后一维分成两小块,即1~32和N-31~N;当stride_z大于0时,最后一维以stride_z为步长进行分块,可以得到10小块,若仍有剩余层未包含进去,则加上N-31~N的块。
通常情况下,一般会从一个患者的CT数据集中得到25×11个小块。与肝脏分割时的数据扩增类似,每个患者仅需扩增一轮便可得到大约13000个小块。类似地,将初始学习率定为1×10-5、将迭代次数定位100000次,其中,batch_size设置为1。随后进行留一交叉验证,便可以得到所有小块的测试结果。为了将小块的结果还原成原图的结果,将重叠小块的预测结果取平均值,最后,以医生勾画的肝癌病灶区为金标准,计算出肝癌分割结果的DSC。其中,DSC均值为76.1%,标准差为11.2%。
本实施例通过采集肝癌患者不同期相的能谱CT图像,以提供多种成像信息,然后在预处理过程中对动脉期和静脉期图像进行自动对齐,从而降低配准难度,最后再通过先分割出肝脏区域后,再进行配准,从而加快配准的速度,以实现精确分割出肝癌病灶区的功能。
进一步作为优选的实施方式,所述不同期相的能谱CT图像包括动脉期50千电子伏特的能谱CT图像、动脉期70千电子伏特的能谱CT图像和静脉期70千电子伏特的能谱CT图像。由于不同期相的能谱CT图像会携带不同的信息,又因为在能谱CT单能量70keV左右的图像上,肝脏内部具有较小的噪声,在动脉期50keV和静脉期70keV的图像上,肝癌具有较高的CNR,所以,本实施例通过采集上述三种不同期相的能谱CT图像,保证后续肝癌病灶的分割过程能够根据多种信息进行分割,从而提高分割准确率。
进一步作为优选的实施方式,所述对能谱CT图像进行预处理,得到预处理图像,其具体包括:
调节能谱CT图像的窗宽窗位,得到调节图像;本步骤的窗宽窗位的调整,对于不同期相的能谱CT图像,调整的范围对应不同。
通过层间自动对齐算法对调节图像进行层间对齐,得到预处理图像。所述层间自动对齐算法为一种基于体素数量的层间自动对齐算法。通过调节能谱CT图像的窗宽窗位后,再通过层间自动对齐算法处理不同期相的能谱CT图像,能使后续肝癌分割更加高效。
进一步作为优选的实施方式,所述对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像,其具体包括:
对深度学习分割网络进行肝脏分割训练;所述对深度学习网络进行训练的集合为从步骤S101中采集的能谱CT图像中选取的部分图像数据,然后对部分图像数据进行扩增得到用于训练的数据集合。
通过训练之后的深度学习分割网络对预处理图像进行分割,得到深度学习分割网络的输出概率图;所述输出概率图使通过深度学习分割网络对能谱CT图像进行分割之后,得到范围更小的,且包含肝癌病灶的能谱CT图像,从而加快肝癌病灶分割的过程。
对输出概率图进行二值化处理,得到分割图像;对输出概率图进行二值化处理是为了确定目标区域。
取出分割图像中最大的连通域,作为肝脏分割区域;
根据肝脏分割区域限定一个立体框范围,然后在立体框外周补零,得到立体框的坐标范围;
根据立体框的坐标范围,从预处理图像中得到肝脏区域的图像。
本实施例通过深度学习分割网络进行训练,从而能够快速从能谱CT图像中分割出范围更小且包含肝癌病灶的图像,使得后续处理步骤能够更加快速,更加精确。
进一步作为优选的实施方式,所述对不同期相的肝脏区域的图像进行配准,其具体为:
通过模态独立邻域算子对不同期相的肝脏区域的图像的进行配准。本实施例利用基于模态独立邻域算子的金字塔模板匹配算法,能够加快配准过程,提高配准效率。除开本实施例提供的配准方法外,还可以通过B样条配准方法配准。
进一步作为优选的实施方式,所述在配准后的肝脏区域的图像上分割出肝癌病灶区,其具体包括:
对深度学习分割网络的参数进行调整,并加入特征融合模块,得到多特征融合网络;对深度学习分割网络的参数进行调整是为了利用三维网络单元的优点。然后,再加入特征融合模块得到多特征融合网络,所述多特征融合网络能够同时融合多种参数图像的语义信息和细节信息。
通过多特征融合网络,在配准后的肝脏区域的图像上分割出肝癌病灶区。其中,本步骤具体是:
将配准后的肝脏区域的图像切分成大小相同的多个子图像;具体是,当前硬件的计算能力有限,为了能够分割出肝癌病灶区,则需要通过本步骤切分得到符合当前硬件计算能力的图像。
通过多特征融合网络依次对所有子图像进行分割;通过多特征融合网络可以得到子图像。
根据所有子图像的分割结果,确定出肝脏区域图像中的肝癌病灶区。通过上述步骤处理后,再以医生勾画的肝癌病灶区为金标准,计算出了肝癌分割结果的DSC。其中,DSC均值为76.1%,标准差为11.2%。由此可知,通过多特征融合网络,能够更加精确的分割出肝癌病灶区。
本发明实施例还提供了一种与图1方法相对应的肝癌病灶数据的处理系统,其包括:
采集模块,用于采集肝癌患者不同期相的能谱CT图像;
预处理模块,用于对能谱CT图像进行预处理,得到预处理图像;
肝脏分割模块,用于对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像;
配准模块,用于对不同期相的肝脏区域的图像进行配准;
肝癌分割模块,用于在配准后的肝脏区域的图像上分割出肝癌病灶区。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法所达到的有益效果也相同。
本发明实施例还提供了一种与图1方法相对应的肝癌病灶数据的处理系统,其包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行所述的一种肝癌病灶数据的处理方法。
上述方法实施例中的内容均适用于本系统实施例中,本系统实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法所达到的有益效果也相同。
此外,本发明实施例还提供了一种存储介质,其中存储有处理器可执行的指令,所述处理器可执行的指令在由处理器执行时用于实现所述的一种肝癌病灶数据的处理方法。
综上所述,本发明通过采集肝癌患者不同期相的能谱CT图像,以提供多种成像信息,然后在预处理过程中对动脉期和静脉期图像进行自动对齐,从而降低配准难度,最后再通过先分割出肝脏区域后,再进行配准,从而加快配准的速度,以实现精确分割出肝癌病灶区的功能。
以上是对本发明的较佳实施进行了具体说明,但本发明并不限于所述实施例,熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换,这些等同的变形或替换均包含在本申请权利要求所限定的范围内。
Claims (10)
1.一种肝癌病灶数据的处理方法,其特征在于:包括以下步骤:
采集肝癌患者不同期相的能谱CT图像;
对能谱CT图像进行预处理,得到预处理图像;
对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像;
对不同期相的肝脏区域的图像进行配准;
在配准后的肝脏区域的图像上分割出肝癌病灶区。
2.根据权利要求1所述的一种肝癌病灶数据的处理方法,其特征在于:所述不同期相的能谱CT图像包括动脉期50千电子伏特的能谱CT图像、动脉期70千电子伏特的能谱CT图像和静脉期70千电子伏特的能谱CT图像。
3.根据权利要求1所述的一种肝癌病灶数据的处理方法,其特征在于:所述对能谱CT图像进行预处理,得到预处理图像,其具体包括:
调节能谱CT图像的窗宽窗位,得到调节图像;
通过层间自动对齐算法对调节图像进行层间对齐,得到预处理图像。
4.根据权利要求1所述的一种肝癌病灶数据的处理方法,其特征在于:所述对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像,其具体包括:
对深度学习分割网络进行肝脏分割训练;
通过训练之后的深度学习分割网络对预处理图像进行分割,得到深度学习分割网络的输出概率图;
对输出概率图进行二值化处理,得到分割图像;
取出分割图像中最大的连通域,作为肝脏分割区域;
根据肝脏分割区域限定一个立体框范围,然后在立体框外周补零,得到立体框的坐标范围;
根据立体框的坐标范围,从预处理图像中得到肝脏区域的图像。
5.根据权利要求1所述的一种肝癌病灶数据的处理方法,其特征在于:所述对不同期相的肝脏区域的图像进行配准,其具体为:
通过模态独立邻域算子对不同期相的肝脏区域的图像的进行配准。
6.根据权利要求4所述的一种肝癌病灶数据的处理方法,其特征在于:所述在配准后的肝脏区域的图像上分割出肝癌病灶区,其具体包括:
对深度学习分割网络的参数进行调整,并加入特征融合模块,得到多特征融合网络;
通过多特征融合网络,在配准后的肝脏区域的图像上分割出肝癌病灶区。
7.根据权利要求6所述的一种肝癌病灶数据的处理方法,其特征在于:所述通过多特征融合网络,在配准后的肝脏区域的图像上分割出肝癌病灶区,其具体包括:
将配准后的肝脏区域的图像切分成大小相同的多个子图像;
通过多特征融合网络依次对所有子图像进行分割;
根据所有子图像的分割结果,确定出肝脏区域图像中的肝癌病灶区。
8.一种肝癌病灶数据的处理系统,其特征在于:包括:
采集模块,用于采集肝癌患者不同期相的能谱CT图像;
预处理模块,用于对能谱CT图像进行预处理,得到预处理图像;
肝脏分割模块,用于对预处理图像进行肝脏分割,得到不同期相的肝脏区域的图像;
配准模块,用于对不同期相的肝脏区域的图像进行配准;
肝癌分割模块,用于在配准后的肝脏区域的图像上分割出肝癌病灶区。
9.一种肝癌病灶数据的处理系统,其特征在于:包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于加载所述程序以执行如权利要求1-7任一项所述的一种肝癌病灶数据的处理方法。
10.一种存储介质,其中存储有处理器可执行的指令,其特征在于:所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-7任一项所述的一种肝癌病灶数据的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910686971.9A CN110599447B (zh) | 2019-07-29 | 2019-07-29 | 一种肝癌病灶数据的处理方法、系统和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910686971.9A CN110599447B (zh) | 2019-07-29 | 2019-07-29 | 一种肝癌病灶数据的处理方法、系统和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110599447A true CN110599447A (zh) | 2019-12-20 |
CN110599447B CN110599447B (zh) | 2023-10-20 |
Family
ID=68852989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910686971.9A Active CN110599447B (zh) | 2019-07-29 | 2019-07-29 | 一种肝癌病灶数据的处理方法、系统和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110599447B (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079863A (zh) * | 2019-12-31 | 2020-04-28 | 重庆青信科技有限公司 | 利用能谱曲线统计指纹识别病灶组织的系统 |
CN111161258A (zh) * | 2019-12-31 | 2020-05-15 | 重庆青信科技有限公司 | 基于能谱曲线统计指纹的能谱ct图像分割方法 |
CN111340807A (zh) * | 2020-05-15 | 2020-06-26 | 中南大学 | 病灶定位核心数据提取方法、系统、电子设备及存储介质 |
CN112419396A (zh) * | 2020-12-03 | 2021-02-26 | 前线智能科技(南京)有限公司 | 一种甲状腺超声视频自动分析方法与系统 |
CN112712532A (zh) * | 2020-12-30 | 2021-04-27 | 南京邮电大学 | 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法 |
CN115526843A (zh) * | 2022-09-14 | 2022-12-27 | 阿里巴巴(中国)有限公司 | 医学图像的处理方法和系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117378A (zh) * | 2009-12-31 | 2011-07-06 | 苏州瑞派宁科技有限公司 | 一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统 |
CN104835112A (zh) * | 2015-05-07 | 2015-08-12 | 厦门大学 | 一种肝脏多相期ct图像融合方法 |
CN104825177A (zh) * | 2014-02-11 | 2015-08-12 | 西门子(中国)有限公司 | 修正脑血容积的方法及装置、血管照影设备 |
CN107845098A (zh) * | 2017-11-14 | 2018-03-27 | 南京理工大学 | 基于随机森林和模糊聚类的肝癌图像全自动分割方法 |
CN108366753A (zh) * | 2015-10-07 | 2018-08-03 | 生物质子有限责任公司 | 用于评估具有指定对比度机制的结构空间频率的选择性采样 |
CN108961273A (zh) * | 2018-07-03 | 2018-12-07 | 东北大学 | 一种从ct影像中分割肺动脉和肺静脉的方法及系统 |
CN109102506A (zh) * | 2018-08-20 | 2018-12-28 | 东北大学 | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 |
CN109685809A (zh) * | 2018-12-18 | 2019-04-26 | 清华大学 | 一种基于神经网络的肝包虫病灶分割方法及系统 |
-
2019
- 2019-07-29 CN CN201910686971.9A patent/CN110599447B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102117378A (zh) * | 2009-12-31 | 2011-07-06 | 苏州瑞派宁科技有限公司 | 一种基于三维多模影像的肝肿瘤综合手术规划模拟方法及其系统 |
CN104825177A (zh) * | 2014-02-11 | 2015-08-12 | 西门子(中国)有限公司 | 修正脑血容积的方法及装置、血管照影设备 |
CN104835112A (zh) * | 2015-05-07 | 2015-08-12 | 厦门大学 | 一种肝脏多相期ct图像融合方法 |
CN108366753A (zh) * | 2015-10-07 | 2018-08-03 | 生物质子有限责任公司 | 用于评估具有指定对比度机制的结构空间频率的选择性采样 |
CN107845098A (zh) * | 2017-11-14 | 2018-03-27 | 南京理工大学 | 基于随机森林和模糊聚类的肝癌图像全自动分割方法 |
CN108961273A (zh) * | 2018-07-03 | 2018-12-07 | 东北大学 | 一种从ct影像中分割肺动脉和肺静脉的方法及系统 |
CN109102506A (zh) * | 2018-08-20 | 2018-12-28 | 东北大学 | 一种基于三级级联网络进行腹部ct肝脏病变图像的自动分割方法 |
CN109685809A (zh) * | 2018-12-18 | 2019-04-26 | 清华大学 | 一种基于神经网络的肝包虫病灶分割方法及系统 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111079863A (zh) * | 2019-12-31 | 2020-04-28 | 重庆青信科技有限公司 | 利用能谱曲线统计指纹识别病灶组织的系统 |
CN111161258A (zh) * | 2019-12-31 | 2020-05-15 | 重庆青信科技有限公司 | 基于能谱曲线统计指纹的能谱ct图像分割方法 |
CN111161258B (zh) * | 2019-12-31 | 2023-05-09 | 重庆青信科技有限公司 | 基于能谱曲线统计指纹的能谱ct图像分割方法 |
CN111340807A (zh) * | 2020-05-15 | 2020-06-26 | 中南大学 | 病灶定位核心数据提取方法、系统、电子设备及存储介质 |
CN111340807B (zh) * | 2020-05-15 | 2020-09-11 | 中南大学 | 病灶定位核心数据提取方法、系统、电子设备及存储介质 |
CN112419396A (zh) * | 2020-12-03 | 2021-02-26 | 前线智能科技(南京)有限公司 | 一种甲状腺超声视频自动分析方法与系统 |
CN112419396B (zh) * | 2020-12-03 | 2024-04-26 | 前线智能科技(南京)有限公司 | 一种甲状腺超声视频自动分析方法与系统 |
CN112712532A (zh) * | 2020-12-30 | 2021-04-27 | 南京邮电大学 | 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法 |
CN112712532B (zh) * | 2020-12-30 | 2022-08-30 | 南京邮电大学 | 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法 |
CN115526843A (zh) * | 2022-09-14 | 2022-12-27 | 阿里巴巴(中国)有限公司 | 医学图像的处理方法和系统 |
Also Published As
Publication number | Publication date |
---|---|
CN110599447B (zh) | 2023-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110599447B (zh) | 一种肝癌病灶数据的处理方法、系统和存储介质 | |
Shamshad et al. | Transformers in medical imaging: A survey | |
JP6567179B2 (ja) | 特徴回帰モデルを用いたmrデータからの疑似ct生成 | |
US10751548B2 (en) | Automated image segmentation using DCNN such as for radiation therapy | |
JP7030050B2 (ja) | 組織パラメータ推定を用いたmrデータからの疑似ct生成 | |
Park et al. | Annotated normal CT data of the abdomen for deep learning: Challenges and strategies for implementation | |
Balik et al. | Evaluation of 4-dimensional computed tomography to 4-dimensional cone-beam computed tomography deformable image registration for lung cancer adaptive radiation therapy | |
CN111415404B (zh) | 术中预设区域的定位方法、装置、存储介质及电子设备 | |
CN113409456B (zh) | 颅脑穿刺术前三维模型的建模方法、系统、装置、介质 | |
Dutande et al. | Deep residual separable convolutional neural network for lung tumor segmentation | |
Jodeiri et al. | Fully automatic estimation of pelvic sagittal inclination from anterior-posterior radiography image using deep learning framework | |
CN113421226B (zh) | 基于互信息的ct-dr多模态食管图像配准方法及系统 | |
CN111340825A (zh) | 一种纵膈淋巴结分割模型的生成方法及系统 | |
Li et al. | Large-kernel attention for 3D medical image segmentation | |
Midya et al. | Computerized diagnosis of liver tumors from CT scans using a deep neural network approach | |
Lysdahlgaard | Comparing Radiomics features of tumour and healthy liver tissue in a limited CT dataset: A machine learning study | |
Albarqouni et al. | Single-view X-ray depth recovery: toward a novel concept for image-guided interventions | |
Dandıl et al. | A Mask R-CNN based Approach for Automatic Lung Segmentation in Computed Tomography Scans | |
Pocė et al. | Pancreas segmentation in CT images: state of the art in clinical practice | |
Al Abboodi et al. | Supervised Transfer Learning for Multi Organs 3D Segmentation With Registration Tools for Metal Artifact Reduction in CT Images | |
CN108135552B (zh) | 投影x射线图像的改进的可视化 | |
Peter et al. | Novel registration-based framework for CT angiography in lower legs | |
Roelofs | Deep learning-based affine and deformable 3D medical image registration | |
Wodzinski et al. | Usage of ICP algorithm for initial alignment in B-splines FFD image registration in breast cancer radiotherapy planning | |
Rodriguez Ruiz | Artificial intelligence and tomosynthesis for breast cancer detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |