CN113129297A - 基于多期相肿瘤影像的直径自动测量方法及系统 - Google Patents

基于多期相肿瘤影像的直径自动测量方法及系统 Download PDF

Info

Publication number
CN113129297A
CN113129297A CN202110487932.3A CN202110487932A CN113129297A CN 113129297 A CN113129297 A CN 113129297A CN 202110487932 A CN202110487932 A CN 202110487932A CN 113129297 A CN113129297 A CN 113129297A
Authority
CN
China
Prior art keywords
tumor
phase
segmentation
tumor segmentation
diameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110487932.3A
Other languages
English (en)
Other versions
CN113129297B (zh
Inventor
曾蒙苏
盛若凡
黄静
吴迪嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongshan Hospital Fudan University
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Zhongshan Hospital Fudan University
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongshan Hospital Fudan University, Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Zhongshan Hospital Fudan University
Priority to CN202110487932.3A priority Critical patent/CN113129297B/zh
Publication of CN113129297A publication Critical patent/CN113129297A/zh
Application granted granted Critical
Publication of CN113129297B publication Critical patent/CN113129297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种基于多期相肿瘤影像的直径自动测量方法及系统，该方法包括：构建肿瘤分割网络架构；利用构建好的肿瘤分割网络架构训练肿瘤分割模型；获取四期相的肿瘤影像；将其输入所述肿瘤分割模型，获取肿瘤分割结果；选取延迟期的肿瘤分割二值结果计算肿瘤直径；使用深度学习结合传统机器学习在多期相增强影像上进行肿瘤直径自动测量的方法，通过机器学习由肿瘤轮廓精准的计算肿瘤直径，减少测量耗时的同时最大程度保证测量的准确性，降低观察者间差异及测量误差。

Description

基于多期相肿瘤影像的直径自动测量方法及系统
技术领域
本发明涉及医学图像处理领域，尤其是一种基使用深度学习结合传统机器学习在多期相增强影像上进行肿瘤直径自动测量的方法及系统。
背景技术
癌症是导致死亡的重要或首要原因，根据《2012中国肿瘤登记年报》，我国癌症发病率为285.91/10万。肿瘤的早期发现和诊断对于患者的治疗以及预后都有着极其重要的作用。现有技术中，基于多期相的增强计算机断层扫描(CT)和增强核磁共振影像(MRI)作为一种无创伤检查手段，为肿瘤的早期发现提供了技术条件。在基于多期相CT或MRI的肿瘤影像评估过程中，肿瘤的直径作为一项重要指标被用于肿瘤评级、疗效评估中。对于多期相的肿瘤影像，医生一般会选择一个固定的期相来测量肿瘤直径，在这个期相上，肿瘤的轮廓是相对容易被分辨的，然而在少数情况下，此固定期相上肿瘤的边界也会产生模糊的可能，这时医生可能会结合其它期相的影像来更快更准的确定肿瘤边界，所以多期相肿瘤直径的测量对医生的专业性有一定的要求，同时，在实际临床操作中，肿瘤直径的测量相对耗时，不同观察者间测量结果可能存在较大的差异。
对于多期相的肿瘤直径测量，医生在临床实践中需要先选取一个合适的期相，然后基于选取的期相预估一个最大肿瘤层面，基于此层面再手动量取肿瘤的最大长径。但有些情况下，医生可能需要对比多个期相才能确定所要量取肿瘤的边界，同时最大层面的估计也可能存在一定的误差，此外，对于肿瘤直径的起始点和终止点的选择，不同观察者间仍然会存在一定的差异。
随着人工智能技术在医学影像方面的应用越来越多，也有研究致力于将深度学习应用于肿瘤直径的自动测量，在文献(TangY,HarrisonA,Bagheri M,et al.Semi-Automatic RECIST Labeling on CT Scans with Cascaded ConvolutionalNeuralNetworks,2018.)中，作者基于实体肿瘤的疗效评价标准(RECIST)提出一种半自动计算肿瘤长短径的方法，该方法是基于平扫CT影像,由医生事先选取影像的某一层，之后手动剪切出一个包含肿瘤的影像区域，然后借助深度神经网络去分别定位出肿瘤长短径的起始点以及终止点。这种方式虽然可以一定程度上实现肿瘤的自动测量，但也需要医生花费相当多的时间去做图像的预处理，包含定位肿瘤最大平面。尤其针对要解决的多期相肿瘤影像问题，医生的预处理可能更加费时。
发明内容
有鉴于此，本公开提供了一种基于多期相肿瘤影像的直径自动测量方法及系统。解决了计算肿瘤直径耗时且存在测量误差的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
本发明实施例的第一方面，提供一种基于多期相肿瘤影像的直径自动测量方法，包括：构建肿瘤分割网络架构；利用构建好的肿瘤分割网络架构训练肿瘤分割模型；获取四期相的肿瘤影像；将其输入所述肿瘤分割模型，获取肿瘤分割结果，所述四个期相分别为平扫期、动脉期、静脉期以及延迟期；选取其中一个期相的肿瘤分割二值结果计算肿瘤直径。
在一个实施例中，选取其中一个期相的肿瘤分割二值结果包括：选取延迟期的肿瘤分割二值结果。
在一个实施例中，肿瘤分割网络采用改进过的U-Net为基础网络架构；
在一个实施例中，网络架构包括四个期相独立的子网络，每个单独的子网络，都包含四个独立的下采样模块和四个独立的上采样模块，同时编码模块和解码模块中嵌入了多个BL子模块，四个子网络共享最后一次下采样后的输出特征；四个下采样模块分别提取各自期相的影像特征，之后将各自的特征在最后一次下采样后融合在一起。
在一个实施例中，利用构建好的肿瘤分割网络架构训练肿瘤分割模型包括：数据预处理步骤，获取肿瘤bbox，选取四个期相bbox中最大的X、Y、Z方向的物理尺寸作为四个期相共同的bbox的尺寸，之后以各自期相原始的bbox的中心，共同的size去裁剪出各个期相的ROI区域,同时各个期相图像自适应的做归一化，将像素归一化到-1～1之间，然后将裁剪出的ROI重采样到48*48*48的像素大小；模型训练步骤，将四个期相的图像作为四个输入送入对应的子网络进行前向传播，每个子网络分别输出两个跟原图一样大小的概率图，一个表示预测为前景的概率图，另一个表示预测为背景的概率图，之后以各自期相的mask金标准分别计算各期相肿瘤分割的Dice损失系数，然后将四个Dice损失系数相加作为整个分割网络的最终Dice损失，之后将此损失系数进行反向传播，进行神经网络权重的更新，权重更新的方式按照随机梯度下降法。
在一个实施例中，分别计算各期相肿瘤分割的Dice损失系数为：
Figure BDA0003049609330000031
其中，B，W，H分别为原始图像的长宽高，p为预测的概率，gt为对应的二值groundtruth。
在一个实施例中，整个分割网络的最终Dice损失系数具体为：将四个期相的Dice损失系数相加作为整个分割网络的最终Dice损失系数。
在一个实施例中，进行神经网络权重的更新为：
Figure BDA0003049609330000032
其中，W'为更新后的卷积核权重，W为更新前的权重，η为神经网络的学习率，
Figure BDA0003049609330000041
为权重梯度。
在一个实施例中，选取延迟期的肿瘤分割二值结果计算肿瘤的直径包括：基于选取的延迟期的肿瘤分割的二值化结果计算肿瘤在Z方向上的最大平面；采用PCA方法计算肿瘤形状上的最大特征值对应的特征矢量，将肿瘤上的所有点投影在特征矢量的方向上；肿瘤直径等于最大的投影长度减去最小的投影长度。
本发明实施例的第二方面，提供一种基于多期相肿瘤影像的直径自动测量系统，包括：模型训练模块，被配置为构建肿瘤分割网络架构，并利用构建好的肿瘤分割网络架构训练肿瘤分割模型；获取模块，被配置为获取四期相的肿瘤影像；将其输入所述肿瘤分割模型，获取肿瘤分割结果；所述四个期相分别为平扫期、动脉期、静脉期以及延迟期；计算模块，被配置为选取其中一个期相的肿瘤分割二值结果计算肿瘤直径。
本发明实施例的第三方面，提供一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本发明实施例的第一方面所述的方法。
本发明实施例的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有可执行指令，该指令被处理器执行时使处理器执行本发明实施例的第一方面所述的方法。
根据本公开的实施例，本公开结合具有强大特征提取能力的深度学习和计算精准的传统机器学习，分两个阶段对肿瘤直径进行测量。独创的深度学习分割网络可用于准确高效的分割各期相肿瘤轮廓，机器学习可由肿瘤轮廓精准的计算肿瘤直径，本案具体带来了以下有益的技术效果：
1)相对自然图像，医疗图像本身比较稀缺，而相对目标分类或检测，目标分割对数据量的需求又相对较少，本发明结合实际情况，选取分割网络对多期相肿瘤进行预先分割，分两个阶段对肿瘤直径进行测量，多期相的联合分割可使各期相间的特征互相参考，可保证各期相肿瘤边界分割的准确性，可保证为后面的肿瘤计算提供一个准确的肿瘤形状。
2)本发明将四期相的肿瘤影像作为深度神经网络的输入，使分割网络针对每个期相既保持有自己的子网络，又有共享的公共网络，各子网络负责提取各自期相的特征，共享网络可使不同期相间的特征进行融合，从而在分割时，可保证不同期相间的特征互相参考，最终可提升各期相肿瘤的分割性能。
3)由于患者的呼吸运动，同一个肿瘤在不同期相的影像上可能产生位移和形变，这种两阶段的网络结构将提取单个期相肿瘤影像特征和融合不同期相肿瘤影像特征分开，可抵抗不同期相肿瘤的位移和形变，最终可提升各期相肿瘤的分割性能。
4)本发明参考临床实践，在保证各期相肿瘤分割准确的前提下，选取延迟期的肿瘤分割结果进行肿瘤直径的计算，其中包括最大肿瘤层面的自动选取，最长直径的计算。直径计算采用PCA的方式，在肿瘤轮廓准确的前提下，尽可能降低直径测量误差。
附图说明
通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1为本发明实施例提供的一种基于多期相肿瘤影像的直径自动测量方法的流程示意图；
图2为本发明实施例提供的多期相肿瘤分割网络结构示意图；
图3A-3C为本发明实施例提供的分割网络输出肿瘤概率图热图及处理后的mask示意图，其中图3A为肿瘤前景概率仿真示意图；图3B为肿瘤背景概率仿真示意图；图3C为肿瘤mask仿真示意图；
图4为本发明实施例提供的PCA计算肿瘤直径的示意图；
图5为本发明实施例提供的一种基于多期相肿瘤影像的直径自动测量系统的结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。显然，本发明所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
以下描述中，为了说明而不是为了限定，提出了诸如特定内部程序、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
如本发明中所使用，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
如本发明中所使用，术语“装置”、“模块”等意在指代计算机相关实体，其为硬件、软件、执行中的软件、固件、中间件、微码，或其任何组合。举例来说，模块可以是(但不限于)在处理器上运行的进程、处理器、对象、可执行程序、执行线程、程序或计算机。一个或一个以上组件可储存在一进程或执行线程内，且模块可局限于一个计算机上或分布在两个或两个以上计算机之间。另外，这些模块可从上面存储有各种数据结构的各种计算机可读媒体执行。另外，本发明所描述的系统的模块可重新布置或由额外组件补充以便促进实现相对于其描述的各个目标、优点等，且不限于给定图式中陈述的精确配置，如所属领域的技术人员将了解。
如本发明所使用，本发明的肿瘤以肝肿瘤影像为例，也可以是其他类型的肿瘤，在此不做限定。
本公开的实施例提供了一种基于多期相肿瘤影像的直径自动测量方法及系统，该方法包括：构建肿瘤分割网络架构；利用构建好的肿瘤分割网络架构训练肿瘤分割模型；获取四期相的肿瘤影像；将其输入所述肿瘤分割模型，获取肿瘤分割结果，所述四个期相分别为平扫期、动脉期、静脉期以及延迟期；选取延迟期的肿瘤分割二值结果计算肿瘤直径。采用独创的深度学习分割网络准确高效的分割各期相肿瘤轮廓，通过机器学习由肿瘤轮廓精准的计算肿瘤直径，减少测量耗时的同时最大程度保证测量的准确性，降低观察者间差异及测量误差。以下将结合附图来详细描述本发明的实施例及其优点。在以下描述中，出于阐释的目的，陈述大量特定细节以便提供对一个或一个以上方面的透彻理解。然而，可显而易见，可在无这些特定细节的情况下实践各种方面。在其它实施例子中，以框图形式来展示众所周知的结构和装置，以便促进描述这些方面。
如图1所示，基于多期相肿瘤影像的直径自动测量方法的流程示意图，包括：
S101、构建肿瘤分割网络架构。
可选的，肿瘤分割网络采用改进过的U-Net为基础网络架构，图2示意性示出了多期相肿瘤分割网络结构示意图，网络输入的四个期相分别为平扫期(Native)、动脉期(Arterial)、静脉期(Venous)以及延迟期(Delay)，四个期相各自拥有自己独立的子网络；对于每个单独的子网络，都包含四个独立的下采样模块和四个独立的上采样模块，四个独立的下采样用作特征的编码，四个独立的上采样用作特征的解码，同时编码模块和解码模块中又嵌入了多个Bottle Neck(BL)子模块，BL模块包含了两个1×1和一个3×3的卷积层，1×1的卷积层可以变换输入输出通道，3×3卷积层进行特征提取，这种网络结构一方面可以加深神经网络的层数以便更充分的提取肿瘤特征，与此同时也可以保证模型较高的训练效率。
可选的，四个子网络共享最后一次下采样后的输出特征，这样的网络设计可保证四个下采样能充分提取各自期相的影像特征，之后将各自的特征在最后一次下采样后融合在一起。
可选的，融合步骤如图2左半部分网络图所示，各自期相的图像经过四次下采样后，分别产生了一个256×3×3×3大小的特征图，其中256为特征图通道，此时我们将不同的特征图按照通道进行拼接，最终形成了一个1024×3×3×3的融合特征图。在解码时，各自期相根据融合的特征进行对应期相的解码，如图2右边的网络结构图，基于前面融合的1024×3×3×3特征图，分别进行四次上采样，各自期相的解码需要依据每次下采样时产生的特征图，对于每一层的解码，融合的特征图需要与下采样产生的特征图进行通道间的拼接，可保证不同期相间的特征具有一定的参考价值，同时符合多期相影像在临床阅片时的逻辑。
可选的，神经网络最后一层softmax层用于将前一层的特征图转化为两个通道的概率图，此概率图最终产生二值化的分割结果，对于某一个像素点，通过比较预测为前景的概率和预测为背景的概率值大小，若前景概率更大则此像素点被分类为前景，反之为背景。
S102、利用构建好的肿瘤分割网络架构训练肿瘤分割模型；获取四期相的肿瘤影像，将其输入所述肿瘤分割模型，获取肿瘤分割结果。
数据预处理步骤
基于医生提供的肿瘤boundingbox(bbox)，选取四个期相bbox中最大的X、Y、Z方向的物理尺寸size(mm)作为四个期相共同的bbox的size，之后以各自期相原始的bbox的中心，共同的size去裁剪(crop)出各个期相的ROI区域,同时各个期相图像自适应的做归一化，将像素归一化到-1～1之间，然后将crop出的ROI重采样到48*48*48的像素大小，最后还可以选择的将图像作旋转、平移、缩放等增强处理，对于图像数据的具体处理过程，可根据实际需要选择不同的处理步骤，此处不做强制性限定。
网络训练步骤
将四个期相的图像作为四个输入送入对应的子网络进行前向传播，每个子网络分别输出两个跟原图一样大小的概率图，一个表示预测为前景(即肿瘤区域)的概率图，另一个表示预测为背景(非肿瘤区域)的概率图，之后以各自期相的mask金标准分别计算各期相肿瘤分割的Dice损失系数，计算表达式如公式(1)所示：
Figure BDA0003049609330000091
其中，B，W，H分别为原始图像的长宽高，p为预测的概率，gt为对应的二值groundtruth。
然后将四个Dice损失系数相加作为整个分割网络的最终Dice损失，之后将此损失进行反向传播，进行神经网络权重的更新，权重更新的方式按照随机梯度下降法，依据链式求导逐层将各层的梯度由最后一层向前传递，计算表达式如公式(2)所示：
Figure BDA0003049609330000092
其中，W'为更新后的卷积核权重，W为更新前的权重，η为神经网络的学习率，
Figure BDA0003049609330000093
为权重梯度。
S103、选取延迟期的肿瘤分割二值结果计算肿瘤直径。
可选的，延迟期的图像轮廓更清晰，效果更好，因此，选取延迟期的肿瘤分割二值结果用于计算肿瘤的直径。
可选的，下面参考图3A～图3C，结合具体实施例对S103的方法做进一步说明。
图3A～图3C是对应的网络输出模拟图以及最终的分割二值mask图。
可选的，基于多期相肿瘤联合分割的结果，选取延迟期肿瘤分割得到的两个三维概率图；两个概率图上每个像素点的概率值分别代表该像素点为前景(如图3A为前景概率图热图)或背景的概率值(如图3B为背景概率图热图)，如果前景概率图上某个像素点的概率值大于背景概率图上对应位置的概率值(图中前景对应为浅色，背景为黑色的区域)，那么该像素点即为前景，同理，如果前景概率图上某个像素点的概率值小于背景概率图上对应位置的概率值，那么该像素点即为背景。通过对比两个概率图上所有像素点的概率值大小，将前景的像素值设为1，背景的像素值设为0，得到延迟期肿瘤图像的一个最终二值化的分割结果(binarymask)，如图3C，之后统计三维分割mask(即分割二值化结果)的每一层图像前景像素点个数(即像素值为1的像素点个数)，选取最大层面(即前景像素点最多的层面)来进行计算肿瘤直径。
如图3C所示为从某个肿瘤分割的三维mask中选取的一个最大的肿瘤层面计算肿瘤直径的示意图，黑色部分为背景，白色部分为前景。首先计算出每个前景像素的像素坐标(xi,yi)，组成一个N*2的矩阵M：
Figure BDA0003049609330000101
其中，N为肿瘤区域像素点个数。
根据此矩阵进行PCA计算，得到M矩阵的两个特征矢量
Figure BDA0003049609330000102
和两个特征值(λ1,λ2)，具体的计算步骤为：
1)去中心化，将M矩阵中的每一列分别减去各自的均值，具体为：
Figure BDA0003049609330000103
Figure BDA0003049609330000104
其中，xi为M矩阵的x坐标，xi'为去中心化后的值。
2)计算去中心化后矩阵的协方差矩阵M'，将去中心化后矩阵的第一列记为向量
Figure BDA0003049609330000105
将去中心化后矩阵的第二列记为向量
Figure BDA0003049609330000106
Figure BDA0003049609330000107
Figure BDA0003049609330000108
其中，
Figure BDA0003049609330000109
为
Figure BDA00030496093300001010
中每个元素的均值。
3)计算M'的所有特征值λi及对应的特征向量
Figure BDA0003049609330000111
具体计算公式为：
Figure BDA0003049609330000112
取最大特征值对应的特征向量(例如为
Figure BDA0003049609330000113
)即为肿瘤最大直径的方向。图4示意性示出了根据本公开的实施例的计算肿瘤直径的示意图；如图4中从肿瘤中心出发的向下的矢量方向即为该层面肿瘤最大直径的方向。肿瘤上每个点到坐标原点均有一个矢量
Figure BDA0003049609330000114
之后将
Figure BDA0003049609330000115
投影到
Figure BDA0003049609330000116
上便得到一个投影长度，在所有点的投影中，取最大的投影长度减去最小的投影长度即为最终的直径。图4中两个圆点的投影在所有前景投影中分别为最小投影距离和最大投影距离，两个圆点之间即为肿瘤的直径。算出此直径即为肿瘤直径的像素距离，用像素距离乘以肿瘤x,y平面的像素间距(即spacing，代表两个像素点间真实的物理尺寸)可得到该肿瘤真实的物理直径(单位毫米mm)。
本发明分两个阶段对肿瘤直径进行测量，多期相的联合分割可使各期相间的特征互相参考，保证各期相肿瘤边界分割的准确性。在肿瘤分割准确的前提下，选取延迟期的肝肿瘤分割二值结果，采用PCA技术进行直径计算，由肿瘤的分割结果到直径的计算过程几乎不引入额外的误差，减少测量耗时的同时最大程度保证测量的准确性，降低观察者间差异及测量误差。
下面将基于图1对应的基于多期相肿瘤影像的直径自动测量方法的实施例中的相关描述对本发明实施例提供的一种基于多期相肿瘤影像的直径自动测量的系统进行介绍。以下实施例中与上述实施例相关的技术术语、概念等的说明可以参照上述的实施例，这里不再赘述。
如图5所示，为本发明实施例提供的一种作弊风险评估的装置的结构示意图，该系统500包括：模型训练模块501，被配置为构建肿瘤分割网络架构，并利用构建好的肿瘤分割网络架构训练肿瘤分割模型；获取模块502，被配置为获取四期相的肿瘤影像；将其输入所述肿瘤分割模型，分别获取肿瘤分割结果；所述四个期相分别为平扫期、动脉期、静脉期以及延迟期；计算模块503，被配置为选取其中一个期相的肿瘤分割二值结果计算肿瘤直径。
可选的，计算模块还被配置为选取延迟期的肿瘤分割二值结果。
可选的，模型训练模块501，被配置为构建肿瘤分割网络架构，所述肿瘤分割网络采用改进的U-Net为基础网络架构；网络架构包括四个期相独立的子网络，每个单独的子网络分别包含四个独立的下采样模块和四个独立的上采样模块，并在编码模块和解码模块中嵌入了多个BL子模块，四个子网络共享最后一次下采样后的输出特征；四个下采样模块分别提取各自期相的影像特征之后将各自的特征在最后一次下采样后进行融合。
可选的，模型训练模块501被配置为利用构建好的肿瘤分割网络架构训练肿瘤分割模型，具体包括：数据预处理，获取肿瘤bbox，选取四个期相bbox中最大的X、Y、Z方向的物理尺寸作为四个期相共同的bbox的尺寸；以各自期相原始的bbox的中心，共同的物理尺寸去裁剪出各个期相的ROI区域,同时对各个期相图像自适应的做归一化处理，将裁剪出的ROI区域重采样；模型训练，将四个期相的图像分别输入各自的子网络进行前向传播，获取每个子网络分别输出的前景的概率图和背景的概率图，分别计算各期相肿瘤分割的Dice损失系数及整个分割网络的最终Dice损失系数，将此损失系数进行反向传播，进行神经网络权重的更新。
本发明产品可在多期相增强影像图像上进行肿瘤直径的自动测量，整个过程全自动实现，无需进行额外的图像预处理，操作方法简便智能。
本领域技术人员熟知，任何分割相关的卷积神经网络都适用于本发明中的基础卷积神经网络；本发明的肿瘤直径测量方法适用于任何多期相肿瘤、或其它病灶的直径测量，也包含相应的肿瘤或病灶的分割。
如图6所示，为本发明实施例提供的一种电子设备的结构示意图，电子设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有电子设备600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线607。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
本发明实施例提供一种计算机存储介质，包括计算机指令，当所述计算机指令在计算机上运行时，使得所述计算机执行如上所述的方法流程。示例性的，计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘，硬盘、磁带)、光介质(例如，DVD)或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多期相肿瘤影像的直径自动测量方法，所述方法包括：
构建肿瘤分割网络架构；
利用构建好的肿瘤分割网络架构训练肿瘤分割模型；
获取四期相的肿瘤影像；
将所述四期相的肿瘤影像输入所述肿瘤分割模型，分别获取四期相的肿瘤分割二值结果；所述四个期相分别为平扫期、动脉期、静脉期以及延迟期；
选取其中一个期相的肿瘤分割二值结果计算肿瘤直径。
2.根据权利要求1所述的方法，其特征在于：所述选取其中一个期相的肿瘤分割二值结果包括：选取延迟期的肿瘤分割二值结果。
3.根据权利要求1或2所述的方法，其特征在于：所述肿瘤分割网络采用改进的U-Net为基础网络架构；
所述网络架构包括四个期相独立的子网络，每个单独的子网络分别包含四个独立的下采样模块和四个独立的上采样模块，并在编码模块和解码模块中嵌入了多个BL子模块，四个子网络共享最后一次下采样后的输出特征；四个下采样模块分别提取各自期相的影像特征之后将各自的特征在最后一次下采样后进行融合。
4.根据权利要求3所述的方法，其特征在于：所述利用构建好的肿瘤分割网络架构训练肿瘤分割模型包括：
数据预处理步骤，获取肿瘤bbox，选取四个期相bbox中最大的X、Y、Z方向的物理尺寸作为四个期相共同的bbox的尺寸；以各自期相原始的bbox的中心，共同的物理尺寸去裁剪出各个期相的ROI区域,同时对各个期相图像自适应的做归一化处理，将裁剪出的ROI区域重采样；
模型训练步骤，将四个期相的图像分别输入各自的子网络进行前向传播，获取每个子网络分别输出的前景的概率图和背景的概率图，分别计算各期相肿瘤分割的Dice损失系数及整个分割网络的最终Dice损失系数，将此损失系数进行反向传播，进行神经网络权重的更新。
5.根据权利要求4所述的方法，其特征在于：所述计算各期相肿瘤分割的Dice损失系数为：
Figure FDA0003049609320000021
其中，B，W，H分别为原始图像的长宽高，p为预测的概率，gt为对应的二值groundtruth；
所述整个分割网络的最终Dice损失系数具体为：将四个期相的Dice损失系数相加作为整个分割网络的最终Dice损失系数。
6.根据权利要求5所述的方法，其特征在于：所述进行神经网络权重的更新为：
Figure FDA0003049609320000022
其中，W'为更新后的卷积核权重，W为更新前的权重，η为神经网络的学习率，
Figure FDA0003049609320000023
为权重梯度。
7.根据权利要求6所述的方法，其特征在于：所述选取延迟期的肿瘤分割二值结果计算肿瘤的直径包括：
基于选取的延迟期的肿瘤分割的二值化结果计算肿瘤在Z方向上的最大平面；
采用PCA方法计算肿瘤形状上的最大特征值对应的特征矢量，将肿瘤上的所有点投影在特征矢量的方向上；
肿瘤直径等于最大的投影长度减去最小的投影长度。
8.一种基于多期相肿瘤影像的直径自动测量系统，其特征在于，所述系统包括：
模型训练模块，被配置为构建肿瘤分割网络架构，并利用构建好的肿瘤分割网络架构训练肿瘤分割模型；
获取模块，被配置为获取四期相的肿瘤影像；将其输入所述肿瘤分割模型，分别获取肿瘤分割结果；所述四个期相分别为平扫期、动脉期、静脉期以及延迟期；
计算模块，被配置为选取其中一个期相的肿瘤分割二值结果计算肿瘤直径。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
CN202110487932.3A 2021-04-30 2021-04-30 基于多期相肿瘤影像的直径自动测量方法及系统 Active CN113129297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110487932.3A CN113129297B (zh) 2021-04-30 2021-04-30 基于多期相肿瘤影像的直径自动测量方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110487932.3A CN113129297B (zh) 2021-04-30 2021-04-30 基于多期相肿瘤影像的直径自动测量方法及系统

Publications (2)

Publication Number Publication Date
CN113129297A true CN113129297A (zh) 2021-07-16
CN113129297B CN113129297B (zh) 2024-03-26

Family

ID=76781198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110487932.3A Active CN113129297B (zh) 2021-04-30 2021-04-30 基于多期相肿瘤影像的直径自动测量方法及系统

Country Status (1)

Country Link
CN (1) CN113129297B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022226153A1 (en) * 2021-04-23 2022-10-27 The University Of Chicago Machine learning based histopathological recurrence prediction models for hpv+ head / neck squamous cell carcinoma

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110047082A (zh) * 2019-03-27 2019-07-23 深圳大学 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
CN110929789A (zh) * 2019-11-22 2020-03-27 北京理工大学 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN111553892A (zh) * 2020-04-23 2020-08-18 北京小白世纪网络科技有限公司 基于深度学习的肺结节分割计算方法、装置及系统
CN111754511A (zh) * 2020-07-06 2020-10-09 苏州六莲科技有限公司 基于深度学习的肝脏血管分割方法、装置及存储介质
CN112365473A (zh) * 2020-11-12 2021-02-12 同心医联科技（北京）有限公司 一种ai医学影像处理系统、设备及存储介质
CN112651960A (zh) * 2020-12-31 2021-04-13 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及存储介质
CN112712532A (zh) * 2020-12-30 2021-04-27 南京邮电大学 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109961443A (zh) * 2019-03-25 2019-07-02 北京理工大学 基于多期ct影像引导的肝脏肿瘤分割方法及装置
CN110047082A (zh) * 2019-03-27 2019-07-23 深圳大学 基于深度学习的胰腺神经内分泌肿瘤自动分割方法及系统
CN110929789A (zh) * 2019-11-22 2020-03-27 北京理工大学 基于多期ct影像分析的肝肿瘤自动分类方法及装置
CN111553892A (zh) * 2020-04-23 2020-08-18 北京小白世纪网络科技有限公司 基于深度学习的肺结节分割计算方法、装置及系统
CN111754511A (zh) * 2020-07-06 2020-10-09 苏州六莲科技有限公司 基于深度学习的肝脏血管分割方法、装置及存储介质
CN112365473A (zh) * 2020-11-12 2021-02-12 同心医联科技（北京）有限公司 一种ai医学影像处理系统、设备及存储介质
CN112712532A (zh) * 2020-12-30 2021-04-27 南京邮电大学 基于瓶颈结构的多尺度DC-CUNets的肝脏肿瘤分割方法
CN112651960A (zh) * 2020-12-31 2021-04-13 上海联影智能医疗科技有限公司 一种图像处理方法、装置、设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022226153A1 (en) * 2021-04-23 2022-10-27 The University Of Chicago Machine learning based histopathological recurrence prediction models for hpv+ head / neck squamous cell carcinoma

Also Published As

Publication number Publication date
CN113129297B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN110475505B (zh) 利用全卷积网络的自动分割
JP6993334B2 (ja) 自動化された心臓ボリュームセグメンテーション
JP6877868B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20230104173A1 (en) Method and system for determining blood vessel information in an image
US9858665B2 (en) Medical imaging device rendering predictive prostate cancer visualizations using quantitative multiparametric MRI models
Danilov et al. Methods of graph network reconstruction in personalized medicine
CN111105424A (zh) 淋巴结自动勾画方法及装置
US20070165917A1 (en) Fully automatic vessel tree segmentation
CN111553892B (zh) 基于深度学习的肺结节分割计算方法、装置及系统
US10405834B2 (en) Surface modeling of a segmented echogenic structure for detection and measurement of anatomical anomalies
US20140355854A1 (en) Segmentation of a structure
JP2023540910A (ja) 病変検出のための共同訓練を伴う接続機械学習モデル
US10878564B2 (en) Systems and methods for processing 3D anatomical volumes based on localization of 2D slices thereof
US7233330B2 (en) Organ wall analysis with ray-casting
US9905002B2 (en) Method and system for determining the prognosis of a patient suffering from pulmonary embolism
US20200143934A1 (en) Systems and methods for semi-automatic tumor segmentation
JP2022111357A (ja) 磁気共鳴イメージで正中矢状平面を決定するための方法、イメージ処理デバイス及び格納媒体
JP2008535613A (ja) 多次元データセットにおける生体構造をセグメント化する方法、装置及びコンピュータプログラム
Jaffar et al. Anisotropic diffusion based brain MRI segmentation and 3D reconstruction
CN113610752A (zh) 乳腺图像配准方法、计算机设备和存储介质
US20090310883A1 (en) Image processing apparatus, method, and program
CN113129297B (zh) 基于多期相肿瘤影像的直径自动测量方法及系统
Yang et al. A benchmark study of convolutional neural networks in fully automatic segmentation of aortic root
JP2010538729A (ja) 経路近傍レンダリング

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant